Googlebot'un tarama hızını azaltma
Google, bir site için en uygun tarama hızını belirlemek üzere gelişmiş algoritmalara sahiptir. Amacımız, sunucunuzun bant genişliğinde aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Bazı durumlarda Google'ın sitenizi taraması, altyapınıza önemli ölçüde yük yüklenmesine veya bir kesinti sırasında istenmeyen maliyetlere neden olabilir. Bu tür etkileri hafifletmek için Googlebot tarafından yapılan isteklerin sayısını azaltmaya karar verebilirsiniz.
Tarama hızını, kısa bir süre için (örneğin, birkaç saat veya 1-2 gün) acilen azaltmanız gerekiyorsa
tarama isteklerine 200 yerine 500, 503 veya 429
HTTP durum kodu döndürün. Googlebot, çok sayıda 500, 503 veya 429 HTTP yanıt durum koduna sahip URL ile karşılaştığında (örneğin, sitenizi devre dışı bıraktığınızda) tarama hızını düşürür.
Düşük tarama hızı, sitenizin ana makine adının tamamını (örneğin subdomain.example.com),
hem hata döndüren URL'lerin hem de içerik döndüren URL'lerin taranmasını
etkiler. Bu hataların sayısı azaltıldığında, tarama hızı otomatik olarak tekrar artmaya başlar.
Taramada ani bir artışın, sitenizin yapısındaki verimsizliklerden veya sitenizle ilgili sorunlardan kaynaklanabileceğini unutmayın. Tarama verimliliğini optimize etme ile ilgili kılavuzumuzu inceleyin.
Googlebot'a hata sunmak altyapınıza uygun değilse tarama hızını azaltmak için özel istekte bulunun. Tarama hızında artış isteğinde bulunamazsınız.