Büyük site sahiplerine yönelik tarama bütçenizi yönetme kılavuzu

Genel bakış

Bu kılavuzda, Google'ın çok büyük ve sık güncellenen sitelerde yaptığı tarama işleminin nasıl optimize edileceği açıklanmaktadır.

Sitenizde hızla değişen çok sayıda sayfa yoksa veya sayfalarınız yayınlandıkları gün taranıyorsa bu kılavuzu okumanız gerekmez. Site haritanızı güncel tutmanız ve düzenli olarak dizin kapsamınızı kontrol etmeniz yeterli olacaktır.

Bir süredir kullanılabilir durumda olmasına rağmen hiç dizine eklenmemiş içerikleriniz varsa bu farklı bir sorundur. Sayfanızın neden dizine eklenmediğini öğrenmek için bunun yerine URL Denetleme aracını kullanın.

Bu kılavuz kimlere yöneliktir?

Bu, ileri düzey bir kılavuz olup aşağıdakilere yöneliktir:

  • İçeriği sık sık (haftada bir) değişen büyük siteler (1 milyondan fazla benzersiz sayfa) veya
  • İçeriği çok hızlı değişen (her gün) orta ölçekli veya büyük siteler (10.000'den fazla benzersiz sayfa)

Burada verilen sayıların, sitenizi sınıflandırmanıza yardımcı olmaya yönelik kabaca tahminler olduğunu lütfen unutmayın. Bunlar bire bir eşik değerleri değildir.

Genel tarama teorisi

Web, Google'ın her bir URL'yi keşfedip dizine eklemesini imkansız hale getiren neredeyse sınırsız bir alandır. Bu nedenle, Googlebot'un bir siteyi taramaya ayırabileceği süre kısıtlıdır. Google'ın bir siteyi taramak için harcadığı süre ve kaynaklar genellikle sitenin tarama bütçesi olarak adlandırılır. Sitenizde taranan her şeyin dizine eklenmeyebileceğini unutmayın. Her sayfa tarandıktan sonra dizine eklenip eklenmeyeceğini belirlemek için değerlendirilmeli ve birleştirilmelidir.

Tarama bütçesi iki ana öğeye göre belirlenir: Tarama kapasitesi sınırı ve tarama talebi.

Tarama kapasitesi sınırı

Googlebot, sunucularınızda aşırı yoğunluğa yol açmadan sitenizi taramak ister. Googlebot bunun için tarama kapasitesi sınırını (Googlebot'un bir siteyi taramak için kullanabileceği maksimum eş zamanlı paralel bağlantı sayısı) ve getirmeler arasındaki gecikme süresini hesaplar. Bu, sunucularınızda aşırı yoğunluğa yol açmadan tüm önemli içeriklerinizin kapsanmasını sağlamak için hesaplanır.

Tarama kapasitesi sınırı birkaç faktöre bağlı olarak artıp azalabilir:

  • Tarama durumu: Site bir süre hızlı yanıt verirse sınır artar, yani tarama için daha fazla bağlantı kullanılabilir. Site yavaşlar veya sunucu hatalarıyla yanıt verirse sınır azalır ve Googlebot daha az tarama yapar.
  • Search Console'da site sahibi tarafından belirlenen sınır: Web sitesi sahipleri isteğe bağlı olarak Googlebot'un sitelerini tarama oranını düşürebilir. Daha yüksek sınırlar belirlemenin tarama oranını otomatik olarak artırmayacağını unutmayın.
  • Google'ın tarama sınırları: Google'ın çok fazla makinesi olsa da sınırsız sayıda makinesi yoktur. Bu nedenle, sahip olduğumuz kaynaklarla seçim yapmamız gerekir.

Tarama talebi

Google genellikle bir sitenin boyutunu, güncelleme sıklığını, sayfa kalitesini ve diğer sitelere kıyasla alaka düzeyini dikkate alarak taranması için gereken süreyi harcar.

Tarama talebini belirlemede önemli rol oynayan faktörler şunlardır:

  • Algılanan envanter: Googlebot, siz yol göstermezseniz sitenizde bildiği URL'lerin tümünü veya çoğunu taramaya çalışır. Bu URL'lerin birçoğu birbirinin kopyasıysa veya başka bir nedenle (kaldırıldığı, önemsiz olduğu vb. için) taranmaması gerekiyorsa bu durum, Google'ın sitenizi tararken boşuna çok fazla vakit harcamasına neden olur. Bu, olumlu yönde en fazla kontrol edebileceğiniz faktördür.
  • Popülerlik: İnternette daha popüler olan URL'ler, dizinimizde daha güncel kalmaları için genellikle daha sık taranır.
  • Eskilik: Sistemlerimiz herhangi bir değişikliği tespit etmek için dokümanları sık sık yeniden taramak ister.

Ayrıca, site taşıma gibi site genelindeki etkinlikler, yeni URL'lerin içeriğini yeniden dizine eklemek için tarama talebindeki artışı tetikleyebilir.

Özet olarak

Tarama kapasitesini ve tarama talebini birlikte değerlendiren Google, bir sitenin tarama bütçesini Googlebot'un tarayabileceği ve taramak istediği URL grubu olarak tanımlar. Tarama talebi düşükse tarama kapasitesi sınırına ulaşılmasa bile Googlebot, sitenizi daha az tarar.

Ok Google, bana daha fazla tarama bütçesi ayır
Google; popülerliğe, kullanıcı değerine, benzersizliğe ve sunum kapasitesine göre her siteye ayrılacak tarama kaynağı miktarını belirler. Tarama bütçenizi artırmanın tek yolu, taramalar için sunum kapasitenizi artırmak ve (daha da önemlisi) arama yapanlar açısından sitenizdeki içeriğin değerini artırmaktır.

En iyi uygulamalar

Tarama verimliliğinizi en üst düzeye çıkarmak için aşağıdaki en iyi uygulamaları izleyin:

  • URL envanterinizi yönetin: Uygun araçları kullanarak Google'a hangi sayfaların taranıp hangilerinin taranmayacağını bildirin. Google, dizin için uygun olmayan URL'leri taramaya çok fazla vakit harcarsa Googlebot, sitenizin geri kalanına bakmaya (veya bunun için bütçenizi artırmaya) değmeyeceğine karar verebilir.
    • Yinelenen içerikleri birleştirin. Benzersiz URL'lerden ziyade benzersiz içerikleri taramaya odaklanmak için yinelenen içerikleri kaldırın.
    • Dizine eklenmemesi gereken URL'lerin taranmasını engelleyin. Bazı sayfalar kullanıcılar için önemli olsa da Arama sonuçlarında görünmemelidir. Örneğin, bağlantı verilen sayfalardaki bilgileri veya aynı sayfanın farklı şekilde sıralanmış sürümlerini kopyalayan sonsuz kaydırma sayfaları. Bunları ilk maddede açıklandığı gibi birleştiremiyorsanız arama için önemsiz olan bu sayfaları, robots.txt dosyasını veya URL Parametreleri aracını (URL parametrelerinin ulaştığı yinelenen içerikler için) kullanarak engelleyin. noindex etiketi kullanmayın. Zira Google yine de tarama isteği gönderecek, ancak noindex etiketini gördüğünde sayfayı bırakacak, bu da tarama süresinin harcanmasına neden olacaktır. Diğer sayfalara geçici olarak tarama bütçesi açmak için robots.txt kullanmayın; taramamamız gerektiğini düşündüğünüz sayfa veya kaynakları engellemek için robots.txt kullanın. Google, sitenizin sunum sınırına ulaşmadığı sürece, boşa çıkan bu tarama bütçesini diğer sayfalara aktarmaz.
    • Kalıcı olarak kaldırılan sayfalar için 404/410 hatası döndürün. Google bildiği bir URL'yi unutmaz ama 404, bu URL'yi tekrar taramaması yönünde güçlü bir sinyaldir. Ancak engellenen URL'ler uzun süre tarama sıranızın bir parçası olarak kalır ve engelleme kaldırıldığında yeniden taranır.
    • Soft 404 hatalarını ortadan kaldırın. Soft 404 hataları taranmaya devam ederek bütçenizi harcar. Soft 404 hataları için Dizin Kapsamı raporunu kontrol edin.
    • Site haritalarınızı güncel tutun. Google, site haritanızı düzenli olarak okur. Bu nedenle, Google'ın taramasını istediğiniz tüm içeriği eklediğinizden emin olun. Sitenizde güncellenen içerik varsa <lastmod> etiketini eklemenizi öneririz.
    • Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerinden kaçının.
  • Sayfalarınızın etkin bir şekilde yüklenmesini sağlayın. Google, sayfalarınızı daha hızlı yükleyip oluşturabilirse sitenizden daha fazla içerik okuyabiliriz.
  • Sitenizin taranmasını izleyin. Tarama sırasında sitenizin kullanılabilirlik sorunu olup olmadığını izleyip taramayı daha etkin hale getirmenin yollarını arayın.

Sitenizin taranmasını ve dizine eklenmesini izleme

Sitenizin tarama profilini izlemenin temel adımları şöyledir:

  1. Googlebot'un sitenizde kullanılabilirlik sorunlarıyla karşılaşıp karşılaşmadığını öğrenin.
  2. Taranmayan ancak taranması gereken sayfalarınız olup olmadığını kontrol edin.
  3. Sitenizin herhangi bir bölümünün olduğundan daha hızlı taranmasının gerekli olup olmadığına bakın.
  4. Sitenizin tarama etkinliğini artırın.
  5. Sitenizin aşırı taranması sorununu giderin.

1. Googlebot'un sitenizde kullanılabilirlik sorunlarıyla karşılaşıp karşılaşmadığını öğrenin

Sitenizin kullanılabilirliğini artırmak her zaman tarama bütçenizi artırmaz. Google daha önce açıklandığı gibi tarama talebine göre en iyi tarama hızını belirler. Ancak kullanılabilirlik sorunları, Google'ın sitenizi istediği kadar taramasını engeller.

Teşhis etme:

Googlebot'un sitenizle ilgili tarama geçmişini görmek için Tarama İstatistikleri raporunu kullanın. Google, sitenizde kullanılabilirlik sorunlarıyla karşılaştığında raporda bu gösterilir. Siteniz için kullanılabilirlik hataları veya uyarıları bildirilirse Ana makine kullanılabilirliği grafiklerinde Googlebot isteklerinin kırmızı sınır çizgisini aştığı örnekleri bulun, hangi URL'lerin başarısız olduğunu görmek için grafiği tıklayın ve bunları sitenizdeki sorunlarla ilişkilendirmeye çalışın.

Sorunun çözümü:

  • Kullanılabilirlik sorunlarını nasıl bulup çözeceğinizi öğrenmek için Tarama İstatistikleri raporuyla ilgili dokümanları okuyun.
  • Taranmaması gereken sayfaların taranmasını engelleyin. (Envanterinizi yönetin bölümüne bakın)
  • Sayfa yükleme ve oluşturma hızını artırın. (Sitenizin tarama etkinliğini artırın bölümüne bakın)
  • Sunucu kapasitenizi artırın. Google sitenizi sürekli olarak sunum kapasitesi sınırında taramasına rağmen hâlâ gerektiği kadar taranmayan veya güncellenmeyen önemli URL'leriniz varsa daha fazla sunum kaynağına sahip olmak Google'ın sitenizde daha fazla sayfa taramak istemesini sağlayabilir. Google'ın, tarama hızı sınırını sıklıkla geçip geçmediğini görmek için Tarama İstatistikleri raporundaki ana makine kullanılabilirlik geçmişinizi kontrol edebilirsiniz. Böyle bir durumda sunum kaynaklarınızı bir ay boyunca artırın ve bu dönemde tarama isteklerinin artıp artmadığını kontrol edin.

2. Sitenizde taranması gerektiği halde taranmayan bölümler olup olmadığına bakın

Google, bulabildiği tüm yüksek kaliteli ve kullanıcı açısından değerli içerikleri dizine eklemek için sitenizde gerektiği kadar zaman geçirir. Googlebot'un önemli içerikleri bulamadığını düşünüyorsanız bunun nedeni içerikten haberdar olmaması, içeriğin Google tarafından engellenmesi veya sitenizin kullanılabilirliğinin Google'ın erişimini kısıtlaması (ya da Google'ın sitenizde aşırı yoğunluk oluşturmamaya çalışması) olabilir.

Tarama ile dizine ekleme arasındaki farkı unutmayın. Bu sayfanın konusu, bulunan sayfaların dizine eklenip eklenmemesi değil, Google'ın sitenizi verimli bir şekilde taramasına yardımcı olmaktır.

Teşhis etme:

Search Console, siteniz için URL'ye veya yola göre filtrelenebilen bir tarama geçmişi sağlamaz, ancak site günlüklerinizi inceleyerek belirli URL'lerin Googlebot tarafından taranıp taranmadığını görebilirsiniz. Bu taranan URL'lerin dizine eklenip eklenmemesi başka bir konudur.

Çoğu sitede yeni sayfaların fark edilmesinin en az birkaç gün süreceğini unutmayın. Haber siteleri gibi zamana duyarlı siteler hariç çoğu sitede, URL'lerin aynı gün taranması beklenmemelidir.

Sorunun çözümü:

Sitenize eklediğiniz sayfalar makul bir süre içinde taranmıyorsa bunun nedeni Google'ın bu sayfaları bilmemesi, içeriğin engellenmiş olması, sitenizin maksimum sunum kapasitesine ulaşması veya tarama bütçenizin tükenmesi olabilir.

  1. Google'a yeni sayfalarınız hakkında bilgi verin: Site haritalarınızı yeni URL'leri yansıtacak şekilde güncelleyin.
  2. Yanlışlıkla sayfaları engellemediğinizden emin olmak için robots.txt kurallarınızı inceleyin.
  3. Dizine eklenmemiş tüm sayfalarınızda URL parametreleri varsa URL Parametreleri aracındaki ayarlar nedeniyle sayfalarınız hariç tutulmuş olabilir. Maalesef bu tür hariç tutmaları kontrol etmenin bir yolu yoktur. Bu nedenle, genellikle bu aracın kullanılmamasını öneririz.
  4. Tarama önceliklerinizi gözden geçirin (diğer bir deyişle, tarama bütçenizi akıllıca kullanın). Envanterinizi yönetin ve sitenizin tarama etkinliğini artırın.
  5. Sunum kapasitenizin tükenmediğinden emin olun. Googlebot, sunucularınızın tarama isteklerine yanıt verme konusunda sorun yaşadığını tespit ederse tarama ölçeğini küçültür.

İçerik yeterince değerli değilse veya kullanıcılardan talep görmüyorsa, sayfalar taransa bile arama sonuçlarında gösterilmeyebilir.

3. Güncellemelerin yeterince hızlı bir şekilde taranıp taranmadığını kontrol edin

Sitenizdeki yeni veya güncellenmiş sayfaları taramadıysak bunun nedeni muhtemelen onları görmemiş veya güncellendiklerini fark etmemiş olmamızdır. Sayfa güncellemelerinden haberdar olmamıza nasıl yardımcı olabileceğiniz aşağıda açıklanmıştır.

Google'ın sayfaları mümkün olduğunca zamanında kontrol edip dizine eklemeye çalıştığını belirtmek isteriz. Çoğu site için bu süre en az üç gündür. Siteniz bir haber sitesi değilse veya yüksek değere sahip, zamana karşı son derece duyarlı başka bir içerik barındırmıyorsa Google'dan sayfaları yayınladığınız gün içinde dizine eklemesini beklemeyin.

Teşhis etme:

Belirli URL'lerin Googlebot tarafından ne zaman tarandığını görmek için site günlüklerinizi inceleyin.

Dizine ekleme tarihini öğrenmek için URL Denetleme aracını kullanın veya güncellediğiniz URL'lerle ilgili bir Google araması yapın.

Sorunun çözümü:

Şunları yapın:

  • Sitenizde haber içeriği varsa haberler site haritasını kullanın. Site haritanız yayınlandığında veya değiştiğinde Google'ı pingleyin.
  • Dizine eklenmiş bir URL'nin ne zaman güncellendiğini belirtmek için site haritalarında <lastmod> etiketini kullanın.
  • Google'ın sayfalarınızı bulmasına yardımcı olmak için basit bir URL yapısı kullanın.
  • Google'ın sayfalarınızı bulmasına yardımcı olmak için standart, taranabilir <a> bağlantıları sağlayın.

Kaçınılması gerekenler:

  • Aynı site haritasını değiştirmeden günde birkaç kez göndermek.
  • Googlebot'un bir site haritasındaki her şeyi taramasını veya bunları hemen taramasını beklemek. Site haritaları mutlak gereksinimler değil, Googlebot için yararlı önerilerdir.
  • Aramada görünmemesi gereken URL'leri site haritalarınıza eklemek. Bunu yapmak, tarama bütçenizin dizine eklenmemesi gereken sayfalarla harcanmasına neden olabilir.

4. Sitenizin tarama etkinliğini artırın

Sayfa yükleme hızınızı artırma

Google'ın taraması; bant genişliği, süre ve Googlebot örneklerinin kullanılabilirliği ile sınırlıdır. Sunucunuz isteklere daha hızlı yanıt verirse sitenizde daha fazla sayfa tarayabiliriz. Bununla birlikte, Google yalnızca yüksek kaliteli içeriği taramak istediğinden düşük kaliteli sayfaları daha hızlı hale getirmek Googlebot'u sitenizin daha büyük bir bölümünü taramaya teşvik etmez. Öte yandan, sitenizdeki yüksek kaliteli içeriği gözden kaçırdığımızı düşünürsek muhtemelen bu içeriği taramak için bütçenizi artırırız.

Sayfalarınızı ve kaynaklarınızı tarama için nasıl optimize edebileceğiniz aşağıda açıklanmıştır:

  • robots.txt dosyası kullanarak, büyük fakat önemsiz kaynakların Googlebot tarafından yüklenmesini önleyin. Yalnızca kritik olmayan kaynakları, yani sayfanın anlamını kavramak açısından önemli olmayan kaynakları (ör. süsleme amaçlı resimler) engellediğinizden emin olun.
  • Sayfalarınızın hızlı yüklendiğinden emin olun.
  • Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerine dikkat edin.
  • Hem sunucu isteklerine yanıt verme süresi hem de sayfaları oluşturmak için gereken süre (resimler ve komut dosyaları gibi yerleşik kaynaklar için yükleme ve çalıştırma süresi dahil) önemlidir. Dizine ekleme için gereken büyük veya yavaş kaynaklara dikkat edin.

Arama sonuçlarında olmaması gereken URL'leri gizleme

Sunucu kaynaklarını gereksiz sayfalarda boşa harcamak, sizin için önemli olan sayfalardaki tarama etkinliğini azaltabilir. Bu da bir sitedeki yeni veya güncellenmiş iyi içeriklerin bir hayli geç keşfedilmesine neden olabilir.

Google, sitenizin sunum sınırına ulaşmadığı sürece, taranmış olan sayfaları engelleyerek veya gizleyerek yeniden taranmamasını sağlasanız bile tarama bütçeniz sitenizin başka bir bölümüne aktarılmaz.

Sitenizde arama tarafından taranmaması gereken çok sayıda URL'nin gösterilmesi, sitenin taranmasını ve dizine eklenmesini olumsuz etkileyebilir. Bu URL'ler genellikle aşağıdaki kategorilere girer:

Şunları yapın:

  • Bir kaynağı veya sayfayı hiç taramamamız gerektiğini düşünüyorsanız robots.txt dosyasını kullanın.
  • Ortak bir kaynak birden fazla sayfada yeniden kullanılıyorsa (ör. paylaşılan bir resim veya JavaScript dosyası) Google'ın aynı kaynağı birden çok kez istemesine gerek kalmadan önbelleğe ekleyip yeniden kullanabilmesi için aynı URL'deki kaynağa başvurun.

Kaçınılması gerekenler:

  • Siteniz için ek tarama bütçesi "açmak" amacıyla sayfaları veya dizinleri düzenli olarak robots.txt'ye ekleyip kaldırmak. robots.txt dosyasını yalnızca uzun vadede Google'da görünmemesi gereken sayfalar veya kaynaklar için kullanın.
  • "Daha fazla bütçe açmak" için site haritalarını dönüşümlü yayınlamak veya diğer geçici gizleme mekanizmalarını kullanmak.

Acil durum taramasını azaltma

Googlebot, tarama istekleriyle sitenizde aşırı yük oluşturmasını önleyen algoritmalara sahiptir. Ancak Googlebot'un sitenizde aşırı yük oluşturduğunu fark ederseniz yapabileceğiniz birkaç şey vardır.

Teşhis etme:

Sunucunuzu izleyerek sitenize Googlebot'tan çok fazla istek gelip gelmediğine bakın.

Sorunun çözümü:

Acil bir durumda, Googlebot'un aşırı yük oluşturan taramasını yavaşlatmak için aşağıdaki adımları uygulamanızı öneririz:

  1. Sunucunuzda aşırı yük oluştuğunda Googlebot istekleri için geçici olarak 503/429 HTTP sonuç kodları döndürün. Googlebot yaklaşık 2 gün boyunca bu URL'leri yeniden taramayı dener. "Kullanılamıyor" kodlarını birkaç günden fazla döndürürseniz Google'ın sitenizdeki URL'leri taraması kalıcı olarak yavaşlar veya durur. Bu yüzden aşağıdaki ek işlemleri yapmanız gerekir.
  2. Sitenizde Googlebot tarama hızını azaltın. Bu işlemin geçerlilik kazanması 2 gün kadar sürebilir ve Search Console mülk sahibinin iznini gerektirir. Bunu yalnızca Tarama İstatistikleri raporunda, Ana makine kullanılabilirliği > Ana makine kullanımı grafiğinde uzun süreli, tekrar eden aşırı tarama etkinlikleri görürseniz yapın.
  3. Tarama hızı düştüğünde, tarama istekleri için 503/429 hatası döndürmeyi bırakın. 503 hatasının 2 günden fazla döndürülmesi, Google'ın 503 hatalı URL'leri dizinden çıkarmasına neden olur.
  4. Zaman içinde tarama ve ana makine kapasitenizi izleyin. Gerekirse tarama hızınızı tekrar artırın ya da varsayılan tarama hızına izin verin.
  5. Sorunlu tarayıcı AdsBot tarayıcılarından biriyse büyük olasılıkla sorun, siteniz için oluşturduğunuz ve Google'ın taramaya çalıştığı Dinamik Arama Ağı Reklamları hedefleridir. Bu tarama her 2 haftada bir yeniden gerçekleşir. Bu taramaları kaldırabilecek sunucu kapasitesiniz yoksa reklam hedeflerinizi sınırlandırmanız veya sunum kapasitesini artırmanız gerekir.

Tarama ile ilgili gerçekler ve doğru bilinen yanlışlar

Site haritalarımı sıkıştırırsam tarama bütçemi artırabilirim.

  • Bu doğru değil. Sıkıştırılmış site haritalarının da sunucudan getirilmesi gerekir. Bu nedenle, sıkıştırılmış site haritaları göndererek Google'ın tarama süresini kısaltmış veya daha az uğraşmasını sağlamış olmazsınız.

Google daha yeni içerikler tercih ettiğinden sayfamda sürekli değişiklikler yapsam iyi olur

  • İçerik, yeni olup olmadığına bakılmaksızın kaliteye göre derecelendirilir. İçeriğinizi oluşturun ve gerektikçe güncelleyin, ancak ufak tefek değişiklikler yapıp sayfa tarihini güncelleyerek sayfalara yapay bir şekilde yeniymiş izlenimi vermek ek bir değer kazandırmaz.

Google yeni içerikten ziyade eski içeriği tercih eder (daha fazla ağırlığa sahiptir)

  • Yanlış: Sayfanız faydalıysa faydalıdır; yeni veya eski olması fark etmez.

Google temiz URL'leri tercih eder ve sorgu parametrelerinden hoşlanmaz

Küçük siteler büyükler kadar sık taranmaz

  • Yanlış: Bir sitede sık sık değişen önemli içerikler varsa boyutundan bağımsız olarak bu içeriği sık sık tararız.

İçeriğiniz ana sayfaya ne kadar yakın olursa Google için o kadar önemlidir

  • Kısmen doğru: Sitenizin ana sayfası genellikle en önemli sayfa olduğundan, doğrudan ana sayfaya bağlı olan sayfalar daha önemli görülerek daha sık taranabilir. Ancak bu, söz konusu sayfaların sitenizdeki diğer sayfalardan daha üst sıralarda yer alacağı anlamına gelmez.

Sayfalarınız ne kadar hızlı yüklenip oluşturulursa Google o kadar fazla sayfa tarayabilir

  • Doğru... Kaynaklarımız gerek süre gerek tarama botlarının sayısı açısından sınırlamalara tabidir. Sınırlı bir süre içinde bize daha fazla sayfa sunabilirseniz daha fazla sayfa tarayabiliriz. Ancak daha yavaş olmasına rağmen daha önemli bilgiler içeren bir siteyi taramaya daha fazla zaman ayırabiliriz. Kullanıcılarınız için sitenizin hızını artırmak sizin açınızdan muhtemelen tarama kapsamınızı genişletmek için sitenizin hızını artırmaktan daha önemlidir. Google için doğru içeriği taramak, her defasında tüm içeriğinizi taramaktan çok daha kolaydır.
  • Bir sitenin taranmasının hem içerik almayı hem de oluşturmayı gerektirdiğini unutmayın. Sayfanın oluşturulması için harcanan süre, sayfanın istenmesi için harcanan süre kadar önemlidir. Dolayısıyla, sayfalarınızın daha hızlı oluşturulmasını sağlamak da tarama hızını artırır.

URL sürümü oluşturmak, Google'ı sayfalarımı yeniden taramaya teşvik etmenin iyi bir yoludur

  • Kısmen doğru: Google'ın sayfanızı çok geçmeden tekrar taramasını sağlamak için sayfanızın sürüm oluşturulmuş URL'sini kullanmak muhtemelen işe yarar. Ancak çoğu zaman buna gerek yoktur ve sayfa gerçekten değiştirilmezse tarama kaynakları boşa harcanmış olur. Genel olarak, site haritasına <lastmod> değerini eklemek, güncellenen içeriği Google'a bildirmenin en iyi yoludur. Yeni içeriği belirtmek için sürüm oluşturulmuş URL'leri kullanıyorsanız, yalnızca sayfa içeriğinde anlamlı değişiklikler yapıldığında URL'yi değiştirmeniz gerekir.

Site hızı ve hataları tarama bütçemi etkiliyor

  • Doğru: Bir siteyi daha hızlı hale getirmek hem kullanıcı deneyimini iyileştirir hem de tarama hızını artırır. Bir sitenin hızlı olması, Googlebot için sağlıklı bir sunucunun göstergesidir. Böylece aynı sayıda bağlantı üzerinden daha fazla içerik alabilir. Öte yandan, çok sayıda 5xx HTTP sonuç kodu (sunucu hatası) veya bağlantı zaman aşımı bunun tersini işaret eder ve tarama yavaşlar.
  • Search Console'daki Tarama İstatistikleri raporuna dikkat etmenizi ve sunucu hatalarını düşük sayıda tutmanızı öneririz.

Tarama bir sıralama faktörüdür

  • Yanlış: Tarama hızınızı artırmak Arama sonuçlarında daha iyi bir konum elde etmenizi garanti etmez. Google, sonuçları sıralarken birçok işaretten yararlanır. Bir sayfanın arama sonuçlarında yer alabilmesi için taranması gerekse de bu bir sıralama işareti değildir.

Alternatif URL'ler ve yerleşik içerikler, tarama bütçesine dahil edilir

  • Doğru: Genel olarak, Googlebot'un taradığı her URL, sitenin tarama bütçesine dahil edilir. AMP veya hreflang gibi alternatif URL'lerin yanı sıra CSS ve JavaScript gibi yerleşik içeriklerin de (XHR getirmeleri dahil) taranması gerekebilir ve bunlar sitenin tarama bütçesini harcar.

Googlebot'u "crawl-delay" direktifiyle kontrol edebilirim

  • Yanlış: Standart olmayan "crawl-delay" robots.txt direktifi Googlebot tarafından işlenmez.

nofollow direktifi tarama bütçesini etkiler

  • Kısmen doğru: Taranan her URL, tarama bütçesini etkiler. Dolayısıyla, sayfanız bir URL'yi nofollow olarak işaretlese bile, sitenizdeki başka bir sayfa ya da web'deki herhangi bir sayfa bu bağlantıyı nofollow olarak etiketlemiyorsa bu URL taranabilir.