Googlebot

Googlebot, Google Arama tarafından kullanılan iki tür web tarayıcısının genel adıdır:

İstekteki HTTP user-agent istek başlığında bakarak Googlebot'un alt türünü tanımlayabilirsiniz. Ancak, her iki tarayıcı türü de robots.txt dosyasında aynı ürün jetonuna (kullanıcı aracısı jetonu) uyar. Bu nedenle, robots.txt dosyası üzerinden Googlebot mobil veya Googlebot masaüstünü seçerek hedefleyemezsiniz.

Google Arama çoğu sitede öncelikle içeriğin mobil sürümünü dizine ekler. Bu nedenle, Googlebot tarama isteklerinin çoğunluğu mobil tarayıcı ve küçük bir kısmı da masaüstü tarayıcı kullanılarak yapılır.

Googlebot sitenize nasıl erişir?

Çoğu site için Googlebot'un, sitenize ortalama olarak her birkaç saniyede birden fazla erişmemesi gerekir. Ancak, gecikmeler yüzünden, kısa dönemlerde bu hızın biraz daha yüksek olduğunu görebilirsiniz. Siteniz Google’ın tarama isteklerini yerine getirme konusunda sorun yaşıyorsa tarama hızını azaltabilirsiniz.

Googlebot, HTML dosyasının veya desteklenen metin tabanlı dosyanın ilk 15 MB'ını tarayabilir. HTML'de başvurulan her kaynak (CSS ve JavaScript gibi) ayrı olarak getirilir ve her getirme işlemi aynı dosya boyutu sınırlamasına tabidir. Dosyanın ilk 15 MB'ından sonra, Googlebot taramayı durdurur ve yalnızca ilk 15 MB'lık içeriği dizine eklenmek üzere dikkate alınması için gönderir. Dosya boyutu sınırlaması sıkıştırılmamış verilere uygulanır. Googlebot Video ve Googlebot Image gibi diğer Google tarayıcılarının dosya boyutu sınırlamaları farklı olabilir.

ABD'deki IP adreslerinden tarama yaparken Googlebot'un saat dilimi Pasifik Saati'dir.

Googlebot'un diğer teknik özellikleri, Google tarayıcılarına genel bakış bölümünde açıklanmıştır.

Googlebot’un sitenizi ziyaret etmesini engelleme

Googlebot, taranacak yeni URL'leri öncelikle daha önce taranmış sayfalara yerleştirilen bağlantılardan keşfeder. Bağlantıları yayınlamayarak bir siteyi gizli tutmak neredeyse imkansızdır. Örneğin, bir kullanıcı "gizli" sitenizdeki bir bağlantıyı izleyerek başka bir siteye gittiği anda "gizli" URL'niz yönlendiren etiketinde görülebilir ve diğer site tarafından yönlendiren günlüğüne kaydedilip herkesin erişebileceği şekilde yayınlanabilir.

Googlebot’un sitenizdeki içeriği taramasını önlemek istiyorsanız bunun için çeşitli seçenekleriniz vardır. Tarama ile dizine ekleme arasında fark olduğunu hatırlatırız. Googlebot'un bir sayfayı taramasını engellemek, sayfanın URL'sinin arama sonuçlarında görünmesini engellemez:

  • Googlebot'un bir sayfayı taramasını engellemek mi istiyorsunuz? Robots.txt dosyası kullanın.
  • Google'ın bir sayfayı dizine eklemesini istemiyor musunuz? noindex etiketini kullanın
  • Bir sayfaya hem tarayıcıların hem de kullanıcıların erişmesini engellemek mi istiyorsunuz? Şifre koruması gibi başka bir yöntem kullanın.

Googlebot'u engellemek, Google Arama'nın (Keşfet ve tüm Google Arama özellikleri dahil) yanı sıra Google Görseller, Google Video ve Google Haberler gibi diğer ürünleri de etkiler.

Googlebot'u doğrulama

Googlebot’u engellemeye karar vermeden önce, Googlebot’un kullandığı HTTP user-agent istek başlığının çoğu zaman diğer tarayıcılar tarafından adres sahteciliği için kullanıldığını unutmayın. Sorunlu bir isteğin gerçekten Google’dan geldiğini doğrulamak önemlidir. Bunu yapmanın en iyi yolu, isteğin kaynak IP'sinde ters DNS araması kullanmak veya kaynak IP'sini Googlebot IP aralıklarıyla eşleştirmektir.