Faydalı robots.txt kuralları

Yaygın olarak uygulanan bazı faydalı robots.txt kuralları aşağıda listelenmiştir:

Faydalı kurallar
Sitenin tamamının taranmasına izin vermeme	Bazı durumlarda sitedeki URL'lerin, taranmamış olsalar bile yine de dizine eklenebileceklerini unutmayın. Not: Bu kural, bazı AdsBot tarayıcılarıyla eşleşmez. Bu tarayıcıların adları açıkça belirtilmelidir. User-agent: * Disallow: /
Sitenin tamamının taranmasına izin verme (boş bir Disallow kuralıyla)	Bu işlem, tüm tarayıcıların sitenin tamamına erişmesine açıkça izin verir. Bu, işlevsel olarak robots.txt dosyasının olmaması veya Allow: / kuralının kullanılmasıyla aynıdır. User-agent: * Disallow:
Bir dizin ve içeriğinin taranmasına izin vermeme	Tüm bir dizinin taranmasına izin vermemek için dizin adının sonuna bir öne eğik çizgi ekleyin. Dikkat: Gizli içeriğe erişimi engellemek için robots.txt dosyasını kullanmayın. Onun yerine uygun kimlik doğrulama yordamı kullanın. Robots.txt dosyasıyla taranmasına izin verilmeyen URL'ler, taranmadan dizine eklenebilir ve robots.txt dosyası başkaları tarafından görüntülenerek gizli içeriğinizin yerinin ortaya çıkmasına neden olabilir. User-agent: * Disallow: /calendar/ Disallow: /junk/ Disallow: /books/fiction/contemporary/
Tek bir web sayfasının taranmasına izin vermeme	Örneğin, https://example.com/useless_file.html adresinde bulunan useless_file.html sayfasına ve junk dizininde other_useless_file.html sayfasına izin vermeme. User-agent: * Disallow: /useless_file.html Disallow: /junk/other_useless_file.html
Alt dizin dışında, sitenin taranmasını tümüyle reddetme	Tarayıcılar yalnızca public alt dizinine erişebilir. User-agent: * Disallow: / Allow: /public/
Tek bir tarayıcının erişimine izin verme	Yalnızca Googlebot-News tüm siteyi tarayabilir. User-agent: Googlebot-News Allow: / User-agent: * Disallow: /
Bir tarayıcı dışında tüm tarayıcıların erişimine izin verme	Unnecessarybot hariç tüm botlar siteyi tarayabilir. User-agent: Unnecessarybot Disallow: / User-agent: * Allow: /
Sitenin tamamının Storebot-Google dışındaki tarayıcılar tarafından taranmasına izin vermeme	Bu uygulama, sayfalarınızı Google Arama sonuçlarından gizler. Ancak Storebot-Google web tarayıcısı, ürünlerinizi Google Alışveriş'te göstermek için sayfaları analiz etmeye devam eder. User-agent: * Disallow: / User-agent: Storebot-Google Allow: /
Sitenizdeki tüm resimlerin Google'da (Google Görseller ve Keşfet dahil olmak üzere resimlerin Google'da gösterildiği her yer) görünmesini engelleme	Google, görselleri ve videoları taramadan dizine ekleyemez. User-agent: Googlebot-Image Disallow: /
Google Görseller'den belirli bir görseli engelleme	Örneğin, dogs.jpg görselinin taranmasını reddedebilirsiniz. User-agent: Googlebot-Image Disallow: /images/dogs.jpg
Belirli bir türdeki dosyaların taranmasına izin vermeme	Örneğin, tüm .gif dosyalarının taranmasını reddedebilirsiniz. User-agent: Googlebot Disallow: /*.gif$
Belirli bir dizeyle biten URL'leri eşleştirmek için * ve $ joker karakterleri kullanın	Örneğin, tüm .xls dosyalarının taranmasını engelleyebilirsiniz. User-agent: Googlebot Disallow: /*.xls$ $ joker karakteri, URL'nin sonunu belirtir. Bu, kalıptan sonra ek karakterler (ör. URL parametreleri) içeren URL'lerin eşleşmeyeceği anlamına gelir. Örneğin, https://example.com/cats.xls?personality=loki , /*.xls$ kuralı tarafından engellenmez.
Birden fazla kullanıcı aracısını tek bir grupta birleştirme	Birden fazla tarayıcıya ait kuralları tek bir grupta birleştirmek, gruptaki tüm kurallar listelenen her kullanıcı aracısı için geçerli olduğundan dosyayı daha kısa ve yönetimi daha kolay hale getirir. Bu, kullanıcı aracılarının ilgili kurallarla birlikte iki kez listelenmesiyle aynıdır. User-agent: Googlebot User-agent: Storebot-Google Allow: /cats Disallow: /