17 Şubat 2020, Cuma
Son birkaç aydır web sitesi sahiplerinde ve bazı içerik yayınlama ağlarında (CDN'ler), Googlebot’un tarama hızını azaltmak amacıyla 404 ve diğer 4xx istemci hatalarını (429 değil) kullanmaya yönelik bir artış gözlemledik.
Bu blog yayınının özeti şudur: Lütfen bunu yapmayın. Googlebot'un tarama hızını nasıl azaltacağınız konusunu ele alan dokümanlarımız mevcuttur. O makaleyi okuyarak Googlebot'un tarama hızını etkili şekilde nasıl yöneteceğinizi öğrenin.
Temel bilgilere bakış: İstemci hatalarına yönelik 4xx hataları
Sunucuların istemcilere döndürdüğü 4xx hataları, istemcinin isteğinin bir şekilde yanlış olduğunu belirten bir işarettir. Bu kategorideki hataların çoğu yararlıdır:
"bulunamadı" hataları, "yasak", "Ben bir çaydanlığım (evet, bu tür bir şey). Bunlar sunucunun kendisinde bir hata olduğuna ilişkin bir işaret değildir.
Bunun tek istisnası, "çok fazla istek" anlamına gelen 429 hatasıdır. Bu hata, popüler robotumuz da dahil olmak üzere iyi çalışan tüm robotlara yavaşlaması gerektiğini, çünkü sunucunun aşırı yüklenmesine neden olduğunu bildiren net bir işarettir.
Googlebot'un hızını sınırlamak amacıyla kullanılan 4xxhatalarının (429 değil) kötü sonuç vermesinin nedenleri
İstemci hatası sadece basit bir hatadır. Genellikle sunucuda bir hata olduğuna, örneğin, aşırı yüklü olduğuna, kritik bir hatayla karşılaştığına veya isteğe yanıt veremediğine dair bir işaret değildir. Sadece istemcinin gönderdiği isteğin bir şekilde bozuk olduğunu belirtir. Sunucunun aşırı yüklendiği bir durumda 404 hatasını kullanmak mantıksızdır.
Böyle bir durumda: Arkadaşınızdan gelen ve yanlışlıkla sitenizdeki yanlış sayfalara bağlantı veren bir çok 404 hatası alırsınız ve sonuçta Googlebot tarama işlemini yavaşlatır. Evet, böyle bir durum çok kötü olurdu. Aynı durum 403, 410, 418 için de geçerlidir.
En önemli istisna ise çok fazla istek demek olan 429 durum kodudur.
4xx ile hızı sınırlamak Googlebot'a ne yapar?
Tüm 4xx HTTP durum kodları (yine 429 hariç olmak üzere) içeriğinizin Google Arama'dan kaldırılmasına neden olur. Daha da kötüsü, robots.txt dosyanızı da bir 4xx HTTP durum koduyla sunarsanız tamamen yokmuş gibi sayılır. Eğer kirli çamaşırlarınızı taramaya izin vermeyen bir kuralınız olsa, ki Googlebot onu da bilir; her iki taraf için de pek hoş olmaz.
Googlebot'un tarama hızı doğru şekilde nasıl azaltılır?
Googlebot'un tarama hızını azaltma ve ayrıca Googlebot'un (ve Arama dizine ekleme işlevinin) farklı HTTP durum kodlarını nasıl işlediği hakkında kapsamlı dokümanlarımız vardır Bunlara mutlaka göz atın. Özet olarak; aşağıdakilerden birini yapmak istiyorsunuz:
- Tarama hızını geçici olarak azaltmak için Search Console'u kullanın.
-
Googlebot'a çok hızlı taradığında bir
500,503veya429HTTP durum kodu döndürün.
Daha fazla ipucuna veya açıklamaya ihtiyacınız varsa Twitter'dan bize ulaşabilir veya yardım forumlarımızdan soru sorabilirsiniz.