Google tarama hızını azaltma

Google tarayıcısının altyapısı, bir sitedeki en iyi tarama hızını belirlemek için gelişmiş algoritmalar kullanır. Amacımız, sunucunuzda aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Bazı durumlarda Google'ın sitenizi taraması, altyapınıza önemli ölçüde yük yüklenmesine veya bir kesinti sırasında istenmeyen maliyetlere neden olabilir. Bu tür etkileri hafifletmek için Google tarayıcıları tarafından yapılan isteklerin sayısını azaltmaya karar verebilirsiniz.

Taramada ani artışın nedenini anlama

Taramada ani artış, sitenizin yapısındaki verimsizliklerden veya sitenizle ilgili sorunlardan kaynaklanabilir. Geçmişte aldığımız raporlara göre en yaygın nedenler şunlardır:

• Sitedeki URL'lerin verimsiz bir şekilde yapılandırılması. Bu durum genellikle sitenin belirli bir işlevinden kaynaklanır:
  • Filtreli (faceted) gezinme veya sitenin diğer sıralama ve filtreleme işlevleri
  • Belirli tarihler için çok sayıda URL içeren bir takvim
• Dinamik Arama Ağı Reklamı hedefi

Trafik kaynağını anlamak ve bunun, taramada ani artışın yukarıda belirtilen yaygın nedenlerine uyup uymadığını görmek için barındırma şirketinizle iletişime geçip sunucunuzun son erişim günlüklerine bakmanızı önemle tavsiye ederiz. Ardından, filtreli (faceted) gezinme URL'lerinin taranmasını yönetme ve tarama verimliliğini optimize etme ile ilgili kılavuzlarımızı inceleyin.

Tarayıcı trafiğini acilen azaltma (acil durumlar için)

Uyarı: Google'ın tarama hızını azaltmayı düşünürken bunun etkilerinin geniş kapsamlı olacağını unutmayın. Arama'da Googlebot daha az yeni sayfa keşfeder, mevcut sayfalar daha seyrek yenilenir (örneğin, fiyatların ve ürün stok durumunun Arama'da görünmesi daha uzun sürebilir) ve kaldırılan sayfalar dizinde daha uzun süre kalabilir. Google Ads'de kampanyalarınız iptal edilebilir veya duraklatılabilir ve reklamlarınız yayınlanmayabilir.

Tarama hızını, kısa bir süre için (örneğin, birkaç saat veya 1-2 gün) acilen azaltmanız gerekiyorsa tarama isteklerine 200 yerine 500, 503 veya 429 HTTP durum kodu döndürün. Google'ın tarama altyapısı, çok sayıda 500, 503 veya 429 HTTP yanıt durum koduna sahip URL ile karşılaştığında (örneğin, web sitenizi devre dışı bıraktığınızda) sitenizin tarama hızını düşürür. Düşük tarama hızı, sitenizin ana makine adının tamamını (örneğin subdomain.example.com), hem hata döndüren URL'lerin hem de içerik döndüren URL'lerin taranmasını etkiler. Bu hataların sayısı azaltıldığında, tarama hızı otomatik olarak tekrar artmaya başlar.

Uyarı: Sitenizin Google ürünlerinde görünme şeklini olumsuz etkileyebileceği için bu işlemi, uzun süre (yani 1-2 günden daha uzun) uygulamamanızı öneririz. Örneğin, Arama'da Googlebot bu durum kodlarını aynı URL'de birkaç gün boyunca gözlemlerse URL, Google'ın dizininden çıkarılabilir.

Tarama hızını azaltmayla ilgili istisnai istekler

Google tarayıcılarına hata sunmak altyapınıza uygun değilse anormal derecede yüksek tarama hızıyla ilgili bir sorun bildirmek için özel istekte bulunun ve isteğinizde sitenize en uygun hızı belirtin. Tarama hızında artış isteğinde bulunamazsınız ve isteğin değerlendirilip karşılanması birkaç gün sürebilir.