Arama Motoru Örümcekleri – Crawler

Arama motoru örümcekleri her gün, her saat, her saniye neler olduğunu takip etmek çok zordur. Bu durumda örümcekler (crawler) devreye girer.

Bilgilerinizi kaydeden örümcekler, her girdiğiniz sayfadaki köprülerinizi (hyperlink) takip eder. Bir örümceğin, ördüğü ağa yakalanan böcekleri kendi ağını takip ederek bulması gibi, Arama motoru örümcekleri de köprülerinizi takip ederek sizi bulur.

Örümcekler sitenizde gezinmeye başladığında, bütün içerikleriniz bir veri tabanına yüklenir.

Siteniz veri tabanına yüklendikten sonra, arama motorları sitenizi indekslemeye başlar.

Daha sonrasında örümcekler sayfalarınızı bulup, bütün kelimeleri analiz edip, sitenizdeki linkleri kendi içerisinde güçlendirmeye başlar.

Örümcekler, sayfanızı ziyaret etmeye geldiğinde ilk kontrol ettikleri şey “robots.txt” dosyasıdır.

Örümcek robots.txt dosyasını bulamazsa sayfayı dikkate almayacaktır.

Robots.txt dosyası, örümceklere neleri indeksleyip, neleri indekslememesi gerektiğini söyleyen bir dosyadır.

İnceleyin :

https://www.imperva.com/blog/googlebot-study-dr-crawlit/?utm_campaign=Incapsula-moved

Tweetable İstatistikleri

  • Google, diğer tüm arama motorlarından daha fazla sayfa tarar.
  • Google hiçbir favoriye ayrım yapmıyor ???????? Küçük web siteleri en popüler web siteleri kadar sık ​​taranır.
  • Googlebot’un ortalama tarama hızı, site başına günlük 187 ziyaret ve ziyaret başına 4 sayfadır.
  • Googlebot ziyaretleri ABD, Danimarka, Belçika, Fransa, İngiltere ve Çin’den gelebilir.

YAZAR : Admin

Elektronik Mühendisi / E.Üni. Kalibrasyon Lab. Sorumlusu / Biyomedikal Kalibrasyon Laboratuvarı Sorumlu Müdürü (Sağ.Bak.) / X-Işınlı Görüntüleme Sistemleri Test Kontrol ve Kalibrasyon Uzmanı (Sağ.Bak.) / Ultrason-Doppler Sistemleri Test Kontrol ve Kalibrasyon Uzmanı (Sağ.Bak.) - Hatalı veya kaldırılmasını istediğiniz sayfaları diyot.net@gmail.com bildirin

BU YAZIYI DA İNCELEDİNİZ Mİ ?

Google Asistan ‘kulak misafiri’ oluyor

Amazon’un sesli asistanı Alexa’nın izinsiz dinleme yaptığının duyulmasının ardından Google’ın da konuşmalara ‘kulak misafiri olduğu’ …

Bir cevap yazın