Büyük site sahiplerine yönelik tarama bütçenizi yönetme kılavuzu

Bu kılavuzda, Google'ın çok büyük ve sık güncellenen sitelerde yaptığı tarama işleminin nasıl optimize edileceği açıklanmaktadır.

Sitenizde hızla değişen çok sayıda sayfa yoksa veya sayfalarınız yayınlandıkları gün taranıyorsa bu kılavuzu okumanız gerekmez. Site haritanızı güncel tutmanız ve düzenli olarak dizin kapsamınızı kontrol etmeniz yeterli olacaktır.

Bir süredir kullanılabilir durumda olmasına rağmen hiç dizine eklenmemiş içerikleriniz varsa bu farklı bir sorundur. Sayfanızın neden dizine eklenmediğini öğrenmek için bunun yerine URL Denetleme aracını kullanın.

Bu kılavuz kimlere yöneliktir?

Bu, ileri düzey bir kılavuz olup aşağıdakilere yöneliktir:

  • İçeriği sık sık (haftada bir) değişen büyük siteler (1 milyondan fazla benzersiz sayfaya sahip) veya
  • İçeriği çok hızlı değişen (her gün) orta ölçekli ya da büyük siteler (10.000'den fazla benzersiz sayfa)
  • Tüm URL'lerinin büyük bir kısmı Search Console tarafından Keşfedildi - şu anda dizine eklenmiş değil olarak sınıflandırılmış siteler

Genel tarama teorisi

Web, Google'ın her bir URL'yi keşfedip dizine eklemesini imkansız hale getiren neredeyse sınırsız bir alandır. Bu nedenle, Googlebot'un bir siteyi taramaya ayırabileceği süre kısıtlıdır. Google'ın bir siteyi taramak için harcadığı süre ve kaynaklar genellikle sitenin tarama bütçesi olarak adlandırılır. Sitenizde taranan her şeyin dizine eklenmeyebileceğini unutmayın. Her sayfa tarandıktan sonra dizine eklenip eklenmeyeceğini belirlemek için değerlendirilmeli ve birleştirilmelidir.

Tarama bütçesi iki ana öğeye göre belirlenir: tarama kapasitesi sınırı ve tarama talebi.

Tarama kapasitesi sınırı

Googlebot, sunucularınızda aşırı yoğunluğa yol açmadan sitenizi taramak ister. Googlebot bunun için tarama kapasitesi sınırını (Googlebot'un bir siteyi taramak için kullanabileceği maksimum eş zamanlı paralel bağlantı sayısı) ve getirmeler arasındaki gecikme süresini hesaplar. Bu, sunucularınızda aşırı yoğunluğa yol açmadan tüm önemli içeriklerinizin kapsanmasını sağlamak için hesaplanır.

Tarama kapasitesi sınırı birkaç faktöre bağlı olarak artıp azalabilir:

  • Tarama durumu: Site bir süre hızlı yanıt verirse sınır artar, yani tarama için daha fazla bağlantı kullanılabilir. Site yavaşlar veya sunucu hatalarıyla yanıt verirse sınır azalır ve Googlebot daha az tarama yapar.
  • Google'ın tarama sınırları: Google'ın makine sayısı çok fazla olsa da sınırsız değildir. Bu nedenle, sahip olduğumuz kaynakları kullanırken doğru seçim yapmamız gerekir.

Tarama talebi

Google genellikle bir sitenin boyutunu, güncelleme sıklığını, sayfa kalitesini ve diğer sitelere kıyasla alaka düzeyini dikkate alarak taranması için gereken süreyi harcar.

Tarama talebini belirlemede önemli rol oynayan faktörler şunlardır:

  • Algılanan envanter: Googlebot, siz yol göstermezseniz sitenizde bildiği URL'lerin tümünü veya çoğunu taramaya çalışır. Bu URL'lerin birçoğu birbirinin kopyasıysa veya başka bir nedenle (kaldırıldığı, önemsiz olduğu vb. için) taranmasını istemiyorsanız bu durum, Google'ın sitenizi tararken boşuna çok fazla vakit harcamasına neden olur. Bu, olumlu yönde en fazla kontrol edebileceğiniz faktördür.
  • Popülerlik: İnternette daha popüler olan URL'ler, dizinimizde daha güncel kalmaları için genellikle daha sık taranır.
  • Eskilik: Sistemlerimiz herhangi bir değişikliği tespit etmek için dokümanları sık sık yeniden taramak ister.

Ayrıca, site taşıma gibi site genelindeki etkinlikler, yeni URL'lerin içeriğini yeniden dizine eklemek için tarama talebindeki artışı tetikleyebilir.

Özet olarak

Tarama kapasitesini ve tarama talebini birlikte değerlendiren Google, bir sitenin tarama bütçesini Googlebot'un tarayabileceği ve taramak istediği URL grubu olarak tanımlar. Tarama talebi düşükse tarama kapasitesi sınırına ulaşılmasa bile Googlebot, sitenizi daha az tarar.

En iyi uygulamalar

Tarama verimliliğinizi en üst düzeye çıkarmak için aşağıdaki en iyi uygulamaları izleyin:

  • URL envanterinizi yönetin: Uygun araçları kullanarak Google'a hangi sayfaların taranıp hangilerinin taranmayacağını bildirin. Google, dizin için uygun olmayan URL'leri taramaya çok fazla vakit harcarsa Googlebot, sitenizin geri kalanına bakmaya (veya bunun için bütçenizi artırmaya) değmeyeceğine karar verebilir.
    • Yinelenen içerikleri birleştirin. Benzersiz URL'lerden ziyade benzersiz içerikleri taramaya odaklanmak için yinelenen içerikleri kaldırın.
    • Robots.txt dosyasını kullanarak URL'lerin taranmasını engelleyin. Bazı sayfalar kullanıcılar için önemli olsa da Arama sonuçlarında görünmesini istemeyebilirsiniz. Örneğin, bağlantı verilen sayfalardaki bilgileri veya aynı sayfanın farklı şekilde sıralanmış sürümlerini kopyalayan sonsuz kaydırma sayfaları. Bunları ilk maddede açıklandığı gibi birleştiremiyorsanız arama için önemsiz olan bu sayfaları robots.txt dosyasını kullanarak engelleyin. URL'lerin robots.txt ile engellenmesi, bunların dizine eklenme olasılığını önemli ölçüde azaltır.
    • Kalıcı olarak kaldırılan sayfalar için 404 veya 410 durum kodunu döndürün. Google bildiği bir URL'yi unutmaz ama 404 kodu bu URL'yi tekrar taramaması yönünde güçlü bir sinyaldir. Ancak engellenen URL'ler uzun süre tarama sıranızın bir parçası olarak kalır ve engelleme kaldırıldığında yeniden taranır.
    • soft 404 hatayı kaldırın. soft 404 döndüren sayfalar taranmaya devam ederek bütçenizi boşa harcar. soft 404 hataları için Dizin Kapsamı raporunu kontrol edin.
    • Site haritalarınızı güncel tutun. Google, site haritanızı düzenli olarak okur. Bu nedenle, Google'ın taramasını istediğiniz tüm içeriği eklediğinizden emin olun. Sitenizde güncellenen içerik varsa <lastmod> etiketini eklemenizi öneririz.
    • Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerinden kaçının.
  • Sayfalarınızın etkin bir şekilde yüklenmesini sağlayın. Google, sayfalarınızı daha hızlı yükleyip oluşturabilirse sitenizden daha fazla içerik okuyabiliriz.
  • Sitenizin taranmasını izleyin. Tarama sırasında sitenizin kullanılabilirlik sorunu olup olmadığını izleyip taramayı daha etkin hale getirmenin yollarını arayın.

Sitenizin taranmasını ve dizine eklenmesini izleme

Sitenizin tarama profilini izlemenin temel adımları şöyledir:

  1. Googlebot'un sitenizde kullanılabilirlik sorunlarıyla karşılaşıp karşılaşmadığını öğrenin.
  2. Taranmayan ancak taranması gereken sayfalarınız olup olmadığını kontrol edin.
  3. Sitenizin herhangi bir bölümünün olduğundan daha hızlı taranmasının gerekli olup olmadığına bakın.
  4. Sitenizin tarama etkinliğini artırın.
  5. Sitenizin aşırı taranması sorununu giderin.

Googlebot'un sitenizde kullanılabilirlik sorunlarıyla karşılaşıp karşılaşmadığını öğrenin.

Sitenizin kullanılabilirliğini artırmak her zaman tarama bütçenizi artırmaz. Google daha önce açıklandığı gibi tarama talebine göre en iyi tarama hızını belirler. Ancak kullanılabilirlik sorunları, Google'ın sitenizi istediği kadar taramasını engeller.

Teşhis etme:

Googlebot'un sitenizle ilgili tarama geçmişini görmek için Tarama İstatistikleri raporunu kullanın. Google, sitenizde kullanılabilirlik sorunlarıyla karşılaştığında raporda bu gösterilir. Siteniz için kullanılabilirlik hataları veya uyarıları bildirilirse Ana makine kullanılabilirliği grafiklerinde Googlebot isteklerinin kırmızı sınır çizgisini aştığı örnekleri bulun, hangi URL'lerin başarısız olduğunu görmek için grafiği tıklayın ve bunları sitenizdeki sorunlarla ilişkilendirmeye çalışın.

Buna ek olarak, sitenizdeki birkaç URL'yi test etmek için URL Denetleme Aracı'nı da kullanabilirsiniz. Araç Ana makine yükü aşıldı uyarıları döndürürse Googlebot, sitenizde bulduğu URL'lerin hepsini tarayamaz.

Sorunun çözümü:

  • Kullanılabilirlik sorunlarını nasıl bulup çözeceğinizi öğrenmek için Tarama İstatistikleri raporuyla ilgili dokümanları okuyun.
  • Taranmasını istemediğiniz sayfaların taranmasını engelleyin. (Envanterinizi yönetin bölümüne bakın)
  • Sayfa yükleme ve oluşturma hızını artırın. (Sitenizin tarama etkinliğini artırın bölümüne bakın)
  • Sunucu kapasitenizi artırın. Google sitenizi sürekli olarak sunum kapasitesi sınırında taramasına rağmen hâlâ gerektiği kadar taranmayan veya güncellenmeyen önemli URL'leriniz varsa daha fazla sunum kaynağına sahip olmak Google'ın sitenizde daha fazla sayfa taramak istemesini sağlayabilir. Google tarama hızının belirlenen sınırı sıklıkla geçip geçmediğini görmek için Tarama İstatistikleri raporundaki ana makine kullanılabilirlik geçmişinizi kontrol edebilirsiniz. Böyle bir durumda sunum kaynaklarınızı bir ay boyunca artırın ve bu dönemde tarama isteklerinin artıp artmadığını kontrol edin.

Sitenizde taranması gerektiği halde taranmayan bölümler olup olmadığına bakın

Google, bulabildiği tüm yüksek kaliteli ve kullanıcı açısından değerli içerikleri dizine eklemek için sitenizde gerektiği kadar zaman geçirir. Googlebot'un önemli içerikleri bulamadığını düşünüyorsanız bunun nedeni içerikten haberdar olmaması, içeriğin Google tarafından engellenmesi veya sitenizin kullanılabilirliğinin Google'ın erişimini kısıtlaması (ya da Google'ın sitenizde aşırı yoğunluk oluşturmamaya çalışması) olabilir.

Teşhis etme:

Search Console, siteniz için URL'ye veya yola göre filtrelenebilen bir tarama geçmişi sağlamaz, ancak site günlüklerinizi inceleyerek belirli URL'lerin Googlebot tarafından taranıp taranmadığını görebilirsiniz. Bu taranan URL'lerin dizine eklenip eklenmemesi başka bir konudur.

Çoğu sitede yeni sayfaların fark edilmesinin en az birkaç gün süreceğini unutmayın. Haber siteleri gibi zamana duyarlı siteler hariç çoğu sitede, URL'lerin aynı gün taranması beklenmemelidir.

Sorunun çözümü:

Sitenize eklediğiniz sayfalar makul bir süre içinde taranmıyorsa bunun nedeni Google'ın bu sayfaları bilmemesi, içeriğin engellenmiş olması, sitenizin maksimum sunum kapasitesine ulaşması veya tarama bütçenizin tükenmesi olabilir.

  1. Google'a yeni sayfalarınız hakkında bilgi verin: Site haritalarınızı yeni URL'leri yansıtacak şekilde güncelleyin.
  2. Yanlışlıkla sayfaları engellemediğinizden emin olmak için robots.txt kurallarınızı inceleyin.
  3. Tarama önceliklerinizi gözden geçirin (diğer bir deyişle, tarama bütçenizi akıllıca kullanın). Envanterinizi yönetin ve sitenizin tarama etkinliğini artırın.
  4. Sunum kapasitenizin tükenmediğinden emin olun. Googlebot, sunucularınızın tarama isteklerine yanıt verme konusunda sorun yaşadığını tespit ederse tarama ölçeğini küçültür.

İçerik yeterince değerli değilse veya kullanıcılardan talep görmüyorsa, sayfalar taransa bile arama sonuçlarında gösterilmeyebilir.

Güncellemelerin yeterince hızlı bir şekilde taranıp taranmadığını kontrol edin

Sitenizdeki yeni veya güncellenmiş sayfaları taramadıysak bunun nedeni muhtemelen onları görmemiş veya güncellendiklerini fark etmemiş olmamızdır. Sayfa güncellemelerinden haberdar olmamıza nasıl yardımcı olabileceğiniz aşağıda açıklanmıştır.

Google'ın sayfaları mümkün olduğunca zamanında kontrol edip dizine eklemeye çalıştığını belirtmek isteriz. Çoğu site için bu süre en az üç gündür. Siteniz bir haber sitesi değilse veya yüksek değere sahip, zamana karşı son derece duyarlı başka bir içerik barındırmıyorsa Google'ın yayınladığınız gün içinde sayfaları dizine eklemesini beklemeyin.

Teşhis etme:

Belirli URL'lerin Googlebot tarafından ne zaman tarandığını görmek için site günlüklerinizi inceleyin.

Dizine ekleme tarihini öğrenmek için URL Denetleme aracını kullanın veya güncellediğiniz URL'lerle ilgili bir Google araması yapın.

Sorunun çözümü:

Şunları yapın:

  • Sitenizde haber içeriği varsa haberler site haritasını kullanın.
  • Dizine eklenmiş bir URL'nin ne zaman güncellendiğini belirtmek için site haritalarında <lastmod> etiketini kullanın.
  • Google'ın sayfalarınızı bulmasına yardımcı olmak için basit bir URL yapısı kullanın.
  • Google'ın sayfalarınızı bulmasına yardımcı olmak için standart, taranabilir <a> bağlantıları sağlayın.

Şunlardan kaçının:

  • Aynı site haritasını değiştirmeden günde birkaç kez göndermek.
  • Googlebot'un bir site haritasındaki her şeyi taramasını veya bunları hemen taramasını beklemek. Site haritaları mutlak gereksinimler değil, Googlebot için yararlı önerilerdir.
  • Arama'da görünmesini istemediğiniz URL'leri site haritalarınıza ekleme. Bunu yapmak, tarama bütçenizin dizine eklenmesini istemediğiniz sayfalarla harcanmasına neden olabilir.

Sitenizin tarama etkinliğini artırın

Sayfa yükleme hızınızı artırma

Google'ın taraması; bant genişliği, süre ve Googlebot örneklerinin kullanılabilirliği ile sınırlıdır. Sunucunuz isteklere daha hızlı yanıt verirse sitenizde daha fazla sayfa tarayabiliriz. Bununla birlikte, Google yalnızca yüksek kaliteli içeriği taramak istediğinden düşük kaliteli sayfaları daha hızlı hale getirmek Googlebot'u sitenizin daha büyük bir bölümünü taramaya teşvik etmez. Öte yandan, sitenizdeki yüksek kaliteli içeriği gözden kaçırdığımızı düşünürsek muhtemelen bu içeriği taramak için bütçenizi artırırız.

Sayfalarınızı ve kaynaklarınızı tarama için nasıl optimize edebileceğiniz aşağıda açıklanmıştır:

  • robots.txt dosyası kullanarak, büyük fakat önemsiz kaynakların Googlebot tarafından yüklenmesini önleyin. Yalnızca kritik olmayan kaynakları, yani sayfanın anlamını kavramak açısından önemli olmayan kaynakları (ör. süsleme amaçlı resimler) engellediğinizden emin olun.
  • Sayfalarınızın hızlı yüklendiğinden emin olun.
  • Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerine dikkat edin.
  • Hem sunucu isteklerine yanıt verme süresi hem de sayfaları oluşturmak için gereken süre (resimler ve komut dosyaları gibi yerleşik kaynaklar için yükleme ve çalıştırma süresi dahil) önemlidir. Dizine ekleme için gereken büyük veya yavaş kaynaklara dikkat edin.

HTTP durum kodlarıyla içerik değişikliklerini belirtme

Google genellikle tarama için If-Modified-Since ve If-None-Match HTTP istek başlıklarını destekler. Google tarayıcıları, başlıkları tüm tarama denemeleriyle göndermez. Bu, isteğin kullanım alanına bağlıdır (örneğin, AdsBot'un If-Modified-Since ve If-None-Match HTTP istek başlıklarını ayarlama olasılığı daha yüksektir). Tarayıcılarımız If-Modified-Since başlığını gönderirse başlığın değeri, içeriğin son tarandığı tarih ve saat olur. Bu değere bağlı olarak sunucu, yanıt gövdesi olmadan bir 304 (Not Modified) HTTP durum kodu döndürmeyi tercih edebilir. Bu durumda Google, en son taradığı içerik sürümünü yeniden kullanır. İçerik, tarayıcının If-Modified-Since başlığında belirttiği tarihten daha yeniyse sunucu, yanıt gövdesi olan bir 200 (OK) HTTP durum kodu döndürebilir.

İstek başlıklarından bağımsız olarak, Googlebot'un URL'yi son ziyaretinden beri içerik değişmediyse Googlebot istekleri için yanıt gövdesi olmadan 304 (Not Modified) HTTP durum kodu gönderebilirsiniz. Bu şekilde, sunucunuzun işlem süresinden ve kaynaklardan tasarruf ederek tarama verimliliğini dolaylı olarak artırabilirsiniz.

Arama sonuçlarında görünmesini istemediğiniz URL'leri gizleme

Sunucu kaynaklarını gereksiz sayfalarda boşa harcamak, sizin için önemli olan sayfalardaki tarama etkinliğini azaltabilir. Bu da bir sitedeki yeni veya güncellenmiş iyi içeriklerin bir hayli geç keşfedilmesine neden olabilir.

Sitenizde Arama tarafından taranmasını istemediğiniz çok sayıda URL'nin gösterilmesi, sitenin taranmasını ve dizine eklenmesini olumsuz etkileyebilir. Bu URL'ler genellikle aşağıdaki kategorilere girer:

  • Filtreli (faceted) gezinme ve oturum tanımlayıcıları: Filtreli gezinme, sitedeki yinelenen içeriktir. Yalnızca sayfayı sıralayan veya filtreleyen oturum tanımlayıcıları ve diğer URL parametreleri yeni içerik sağlamaz. Filtreli gezinme sayfalarını engellemek için robots.txt dosyasını kullanın.
  • Yinelenen içerik: Gereksiz taramayı önlemek için Google'ın yinelenen içeriği tanımlamasına yardımcı olun.
  • soft 404 sayfaları: Bir sayfa yayından kalktığında 404 kodu döndürün.
  • Saldırıya uğramış sayfalar: Güvenlik Sorunları raporunu kontrol ettiğinizden ve bulduğunuz saldırıya uğramış sayfaları düzelttiğinizden veya kaldırdığınızdan emin olun.
  • Sonsuz boşluklar ve proxy'ler: Bunların taranmasını robots.txt ile engelleyin.
  • Düşük kaliteli ve spam içerik: Bunlardan tabii ki kaçınılmalıdır.
  • Alışveriş sepeti sayfaları, sonsuz kaydırma sayfaları ve işlem gerçekleştiren sayfalar (ör. "kaydolun" veya "hemen satın alın" sayfaları).

Şunları yapın:

  • Google'ın bir kaynağı veya sayfayı hiç taramamasını istiyorsanız robots.txt dosyasını kullanın.
  • Ortak bir kaynak birden fazla sayfada yeniden kullanılıyorsa (ör. paylaşılan bir resim veya JavaScript dosyası) Google'ın aynı kaynağı birden çok kez istemesine gerek kalmadan önbelleğe ekleyip yeniden kullanabilmesi için aynı URL'deki kaynağa başvurun.

Şunlardan kaçının:

  • Siteniz için tarama bütçesini yeniden tahsis etmek amacıyla robots.txt'ye düzenli olarak sayfa veya dizin ekleyip kaldırmayın. robots.txt dosyasını, yalnızca uzun vadede Google'da görünmesini istemediğiniz sayfalar veya kaynaklar için kullanın.
  • "Bütçeyi yeniden tahsis etmek" için site haritalarını dönüşümlü yayınlamayın veya diğer geçici gizleme mekanizmalarını kullanmayın.

Sitenizin aşırı taranması sorununu giderme (acil durumlar)

Googlebot, tarama istekleriyle sitenizde aşırı yük oluşturmasını önleyen algoritmalara sahiptir. Ancak Googlebot'un sitenizde aşırı yük oluşturduğunu fark ederseniz yapabileceğiniz birkaç şey vardır.

Teşhis etme:

Sunucunuzu izleyerek sitenize Googlebot'tan çok fazla istek gelip gelmediğine bakın.

Sorunun çözümü:

Acil bir durumda, Googlebot'un aşırı yük oluşturan taramasını yavaşlatmak için aşağıdaki adımları uygulamanızı öneririz:

  1. Sunucunuzda aşırı yük oluştuğunda Googlebot istekleri için geçici olarak 503 veya 429 HTTP yanıt durum kodlarını döndürün. Googlebot yaklaşık 2 gün boyunca bu URL'leri yeniden taramayı dener. "Kullanılamıyor" kodlarını birkaç günden fazla döndürürseniz Google'ın sitenizdeki URL'leri taraması kalıcı olarak yavaşlar veya durur. Bu yüzden aşağıdaki ek adımları uygulayın.
  2. Tarama hızı düştüğünde, tarama istekleri için 503 veya 429 HTTP yanıtı durum kodları döndürmeyi bırakın; 503 veya 429 durum kodlarını 2 günden fazla döndürürseniz Google, söz konusu URL'leri dizinden çıkarır.
  3. Zaman içinde tarama ve ana makine kapasitenizi izleyin.
  4. Sorunlu tarayıcı AdsBot tarayıcılarından biriyse büyük olasılıkla sorun, siteniz için oluşturduğunuz ve Google'ın taramaya çalıştığı Dinamik Arama Ağı Reklamları hedefleridir. Bu tarama her 3 haftada bir yeniden gerçekleşir. Bu taramaları kaldırabilecek sunucu kapasitesiniz yoksa reklam hedeflerinizi sınırlandırmanız veya sunum kapasitesini artırmanız gerekir.

Tarama ile ilgili gerçekler ve doğru bilinen yanlışlar

Google'ın web sitelerini nasıl taradığı ve dizine eklediğiyle ilgili bilginizi test edin.

Site haritalarımı sıkıştırırsam tarama bütçemi artırabilirim.
Doğru
Yanlış
Bu doğru değil. Sıkıştırılmış site haritalarının da sunucudan getirilmesi gerekir. Bu nedenle, sıkıştırılmış site haritaları göndererek Google'ın tarama süresini kısaltmış veya daha az uğraşmasını sağlamış olmazsınız.
Google daha yeni içerikler tercih ettiğinden sayfamda sürekli değişiklikler yapsam iyi olur.
Doğru
Yanlış
İçerik, yeni olup olmadığına bakılmaksızın kaliteye göre derecelendirilir. İçeriğinizi oluşturun ve gerektikçe güncelleyin, ancak ufak tefek değişiklikler yapıp sayfa tarihini güncelleyerek sayfalara yapay bir şekilde yeniymiş izlenimi vermek ek bir değer kazandırmaz.
Google yeni içerikten ziyade eski içeriği tercih eder (daha fazla ağırlığa sahiptir).
Doğru
Yanlış
Sayfanız faydalıysa faydalıdır; yeni veya eski olması fark etmez.
Google temiz URL'leri tercih eder ve sorgu parametrelerinden hoşlanmaz.
Doğru
Yanlış
Parametreleri tarayabiliriz.
Sayfalarınız ne kadar hızlı yüklenip oluşturulursa Google o kadar fazla sayfa tarayabilir.
Doğru
Doğru. Kaynaklarımız gerek süre gerek tarama botlarının sayısı açısından sınırlamalara tabidir. Sınırlı bir süre içinde bize daha fazla sayfa sunabilirseniz daha fazla sayfa tarayabiliriz. Ancak daha yavaş olmasına rağmen daha önemli bilgiler içeren bir siteyi taramaya daha fazla zaman ayırabiliriz. Kullanıcılarınız için sitenizin hızını artırmak sizin açınızdan muhtemelen tarama kapsamınızı genişletmek için sitenizin hızını artırmaktan daha önemlidir. Google için doğru içeriği taramak, her defasında tüm içeriğinizi taramaktan çok daha kolaydır. Bir sitenin taranmasının hem içerik almayı hem de oluşturmayı gerektirdiğini unutmayın. Sayfanın oluşturulması için harcanan süre, sayfanın istenmesi için harcanan süre kadar önemlidir. Dolayısıyla, sayfalarınızın daha hızlı oluşturulmasını sağlamak da tarama hızını artırır.
Yanlış
Küçük siteler büyükler kadar sık taranmaz.
Doğru
Yanlış
Bir sitede sık sık değişen önemli içerikler varsa boyutundan bağımsız olarak bu içeriği sık sık tararız.
İçeriğiniz ana sayfaya ne kadar yakın olursa Google için o kadar önemlidir.
Doğru
Kısmen doğru
Sitenizin ana sayfası genellikle en önemli sayfa olduğundan, doğrudan ana sayfaya bağlı olan sayfalar daha önemli görülerek daha sık taranabilir. Ancak bu, söz konusu sayfaların sitenizdeki diğer sayfalardan daha üst sıralarda yer alacağı anlamına gelmez.
Yanlış
URL sürümü oluşturmak, Google'ı sayfalarımı yeniden taramaya teşvik etmenin iyi bir yoludur.
Doğru
Kısmen doğru
Google'ın sayfanızı çok geçmeden tekrar taramasını sağlamak için sayfanızın sürüm oluşturulmuş URL'sini kullanmak muhtemelen işe yarar. Ancak çoğu zaman buna gerek yoktur ve sayfa gerçekten değiştirilmezse tarama kaynakları boşa harcanmış olur. Yeni içeriği belirtmek için sürüm oluşturulmuş URL'leri kullanıyorsanız, yalnızca sayfa içeriğinde anlamlı değişiklikler yapıldığında URL'yi değiştirmenizi öneririz.
Yanlış
Site hızı ve hataları tarama bütçemi etkiliyor.
Doğru
Bir siteyi daha hızlı hale getirmek hem kullanıcı deneyimini iyileştirir hem de tarama hızını artırır. Bir sitenin hızlı olması, Googlebot için sağlıklı bir sunucunun göstergesidir. Böylece aynı sayıda bağlantı üzerinden daha fazla içerik alabilir. Öte yandan, çok sayıda 5xxHTTP yanıt durum kodu (sunucu hatası) veya bağlantı zaman aşımı bunun tersini işaret eder ve tarama yavaşlar. Search Console'daki Tarama İstatistikleri raporuna dikkat etmenizi ve sunucu hatalarını düşük sayıda tutmanızı öneririz.
Yanlış
Tarama bir sıralama faktörüdür.
Doğru
Yanlış
Tarama hızınızı artırmak Arama sonuçlarında daha iyi bir konum elde etmenizi garanti etmez. Google, sonuçları sıralarken birçok sinyalden yararlanır. Bir sayfanın arama sonuçlarında yer alabilmesi için taranması gerekse de bu bir sıralama sinyali değildir.
Alternatif URL'ler ve yerleşik içerikler, tarama bütçesine dahil edilir.
Doğru
Genel olarak, Googlebot'un taradığı her URL, sitenin tarama bütçesine dahil edilir. AMP veya hreflang gibi alternatif URL'lerin yanı sıra CSS ve JavaScript gibi yerleşik içeriklerin de (XHR getirmeleri dahil) taranması gerekebilir ve bunlar sitenin tarama bütçesini harcar.
Yanlış
Googlebot'u "crawl-delay" kuralıyla kontrol edebilirim.
Doğru
Yanlış
Standart olmayan "crawl-delay" robots.txt kuralı Googlebot tarafından işlenmez.
nofollow kuralı, tarama bütçesini etkiler.
Doğru
Kısmen doğru
Taranan her URL, tarama bütçesini etkiler. Dolayısıyla, sayfanız bir URL'yi nofollow olarak işaretlese bile, sitenizdeki başka bir sayfa ya da web'deki herhangi bir sayfa bu bağlantıyı nofollow olarak etiketlemiyorsa bu URL taranabilir.
Yanlış
Tarama bütçesini kontrol etmek için noindex kullanabilirim.
Doğru
Kısmen doğru
Taranan tüm URL'ler tarama bütçesini etkiler ve Google'ın, noindex kuralını bulmak için sayfayı taraması gerekir.

Bununla birlikte noindex, içerikleri dizinin dışında tutmanıza yardımcı olur. Bu sayfaların Google dizinine girmesini önlemek istiyorsanız noindex özelliğini kullanmaya devam edin ve tarama bütçesini kafaya takmayın. Ayrıca, URL'leri Google'ın dizininden noindex veya başka bir yöntem kullanarak kaldırırsanız Googlebot'un, sitenizdeki diğer URL'lere odaklanabileceğini unutmayın. Bu da noindex etiketinin uzun vadede siteniz için dolaylı olarak bir miktar tarama bütçesi açabileceği anlamına gelir.
Yanlış
4xx HTTP durum kodları sunan sayfalar tarama bütçesini boşa harcar.
Doğru
Yanlış
4xx HTTP durum kodları sunan sayfalar (429 hariç), tarama bütçesini boşa harcamaz. Google, sayfayı taramayı denemiş, ancak başka hiçbir içerik olmadan bir durum kodu almıştır.