Robots.txt dosyasına giriş

Robots.txt dosyası, arama motoru tarayıcılarına sitenizdeki hangi URL'lere erişebileceklerini bildirir. Bu yöntem çoğunlukla isteklerin sitenizde yoğunluğa yol açmasını engellemek için kullanılır; web sayfalarını Google'ın dışında tutmak için kullanılabilecek bir mekanizma değildir. Bir web sayfasını Google'ın dışında tutmak için noindex ile dizine eklemeyi engelleyin veya sayfayı şifre korumalı yapın.

Wix veya Blogger gibi bir içerik yönetim sistemi (İYS) kullanıyorsanız robots.txt dosyanızı doğrudan düzenlemeniz gerekmeyebilir (veya mümkün olmayabilir). Bunun yerine, içerik yönetim sisteminizin arama motorlarına sayfanızın taranıp taranmayacağını söylemek için arama ayarları sayfası veya başka bir mekanizma kullanabilir.

Sayfalarınızdan birini arama motorlarından gizlemek veya arama motorlarına görünür hale getirmek için içerik yönetimi sistemizde sayfanızın arama motorlarındaki görünürlüğünü değiştirme ile ilgili talimatları arayın (ör. "wix sayfayı arama motorlarından gizleme").

Robots.txt dosyası ne için kullanılır?

Robots.txt dosyası, esas olarak sitenizin tarayıcı trafiğini yönetmek, genellikle de bir dosyayı Google'ın dışında tutmak için kullanılır. Robots.txt dosyasının ne için kullanılacağı dosya türüne bağlıdır:

Robots.txt dosyasının farklı dosya türleri üzerindeki etkisi
Web sayfası	Google'ın tarayıcısından gelen isteklerin sunucunuzda yoğunluğa yol açacağını düşündüğünüz durumlarda tarama trafiğini yönetmek veya sitenizdeki önemsiz ya da birbirine benzer sayfaların taranmasını önlemek için web sayfalarında (HTML, PDF veya Google'ın okuyabildiği diğer medya dışı biçimler) robots.txt dosyası kullanabilirsiniz. Uyarı: Web sayfalarınızı (PDF'ler ve Google tarafından desteklenen diğer metin tabanlı biçimler dahil) Google arama sonuçlarından gizlemek için robots.txt dosyası kullanmayın. Başka sayfalar açıklayıcı metinle kullanıcıları sayfanıza yönlendirirse Google, sayfanızı ziyaret etmeden de URL'yi dizine ekleyebilir. Sayfanızın arama sonuçlarında görünmesini engellemek istiyorsanız şifre koruması veya noindex gibi başka bir yöntem kullanın. Web sayfanız robots.txt dosyasıyla engellense de sayfa URL'si arama sonuçlarında görünebilir ancak arama sonucunda açıklama olmaz. Engellenen sayfaya yerleştirilmiş resim dosyaları, video dosyaları, PDF'ler ve HTML olmayan diğer dosyalar da tarama için izin verilen diğer sayfalar tarafından başvuruda bulunulmadıkça taramadan hariç tutulur. Sayfanız için bu arama sonucunu görüp düzeltmek istiyorsanız sayfayı engelleyen robots.txt girişini kaldırın. Sayfayı arama sonuçlarından tamamen gizlemek istiyorsanız başka bir yöntem kullanın.
Medya dosyası	Tarama trafiğini yönetmek ve resim, video, ses dosyalarının Google arama sonuçlarında görünmesini engellemek için robots.txt dosyasını kullanın. Bu yöntem, diğer sayfaların veya kullanıcıların resim, video veya ses dosyanıza bağlantı vermesini engellemez. Resimlerin Google'da görünmesini engellemek hakkında daha fazla bilgi edinin. Video dosyalarını Google'dan kaldırmak veya Google'da görünmesini kısıtlamak hakkında daha fazla bilgi edinin.
Kaynak dosyası	Önemli olmayan resim, komut dosyası veya stil dosyaları gibi kaynakları engellemek için robots.txt dosyası kullanabilirsiniz. Bu yöntemi, engellenen kaynaklar olmadan yüklenen sayfaların bu kayıptan önemli ölçüde etkilenmeyeceğini düşünüyorsanız uygulayın. Ancak bu kaynakların eksikliği, Google tarayıcısının sayfayı anlamasını zorlaştıracaksa bunları engellemeyin. Aksi halde Google, bu kaynaklara dayanan sayfaları iyi bir şekilde analiz edemez.

Robots.txt dosyası ile ilgili sınırlamaları anlama

Robots.txt dosyası oluşturmadan veya düzenlemeden önce bu URL engelleme yönteminin sınırlarını bilmelisiniz. Hedeflerinize ve durumunuza bağlı olarak, URL'lerinizin web aramalarında görünmesini önlemek için başka mekanizmaları değerlendirmeniz faydalı olabilir.

• Robots.txt kuralları tüm arama motorları tarafından desteklenmiyor olabilir.
  Robots.txt dosyalarındaki talimatlar, sitenizi tarayıcı gibi davranmaya zorlayamaz; bu talimatlara uymak tarayıcının görevidir. Googlebot ve diğer güvenilir web tarayıcıları bir robots.txt dosyasındaki talimatlara uysalar da diğer tarayıcılar uymayabilir. Bu nedenle, bilgileri web tarayıcılarının erişemeyeceği şekilde güvende tutmak istiyorsanız sunucunuzdaki gizli dosyaları şifreyle koruma gibi farklı engelleme yöntemlerini kullanmanız önerilir.
• Farklı tarayıcılar söz dizimini farklı yorumlayabilir.
  Güvenilir web tarayıcıları bir robots.txt dosyasındaki kuralları uygulasalar da her tarayıcı, kuralları farklı yorumlayabilir. Bazıları belirli talimatları anlayamayabileceğinden, farklı web tarayıcılara hitap etmek üzere doğru söz dizimini bilmeniz gerekir.
• Diğer sitelerden bağlantı veriliyorsa robots.txt dosyasında izin verilmeyen bir sayfa dizine eklenebilir.
  Google, robots.txt dosyası tarafından engellenen içeriği taramayacak veya dizine eklemeyecek olsa da, izin verilmeyen bir URL'ye web üzerinde başka bir yerde bağlantı verildiyse, bu URL'yi bulup dizine ekleyebiliriz. Bunun sonucunda, URL adresi ve muhtemelen sayfaya verilen bağlantılardaki metinler gibi genel kullanıma açık diğer bilgiler Google arama sonuçlarında görünmeye devam edebilir. URL'nizin Google arama sonuçlarında görünmesini tam anlamıyla engellemek için sunucunuzdaki dosyaları şifreyle koruyun, noindex metaetiketi ya da yanıt başlığı kullanın veya sayfayı tamamen kaldırın.

Dikkat: Birden fazla tarama ve dizine ekleme kuralının birlikte kullanılması, bazı kuralların diğerlerini etkisiz kılmasına neden olabilir. Taramayı, dizine ekleme ve sunma kurallarıyla taramayı nasıl birleştireceğinizi öğrenin.

Robots.txt dosyasını oluşturma veya güncelleme

Bir robots.txt dosyasına ihtiyacınız olduğuna karar verdiyseniz nasıl robots.txt dosyası oluşturacağınızı öğrenin. Önceden oluşturduysanız nasıl güncelleyeceğinizi öğrenin.