Robots.txt dosyanızı güncelleyin

Wix veya Blogger gibi bir site barındırma hizmeti kullanıyorsanız robots.txt dosyanızı doğrudan düzenlemeniz gerekmeyebilir (veya mümkün olmayabilir). Bunun yerine, sağlayıcınız arama motorlarına sayfanızın taranıp taranmayacağını söylemek için arama ayarları sayfası veya başka bir mekanizma kullanabilir.

Sayfalarınızdan birini arama motorlarından gizlemek veya arama motorlarına görünür hale getirmek için sitenizin barındırma hizmetinde sayfanızın arama motorlarındaki görünürlüğünü değiştirme ile ilgili talimatları arayın (ör. "wix arama motorlarından sayfa gizleme").

Mevcut robots.txt dosyanızdaki kuralları güncellemek için sitenizden robots.txt dosyanızın bir kopyasını indirip gerekli düzenlemeleri yapın.

Robots.txt dosyanızı indirme

Robots.txt dosyanızı çeşitli şekillerde indirebilirsiniz. Örneğin:

• Robots.txt dosyanıza gidip (örneğin, https://example.com/robots.txt) içeriğini bilgisayarınızda yeni bir metin dosyasına kopyalayın. Yeni yerel dosyayı oluştururken dosya biçimi ile ilgili kurallara uyduğunuzdan emin olun.
• cURL gibi bir araç kullanarak robots.txt dosyanızın bir kopyasını indirin. Örneğin:

  curl https://example.com/robots.txt -o robots.txt

• Search Console'daki robots.txt raporunu kullanarak robots.txt dosyanızın içeriğini kopyalayın. Daha sonra bu içeriği bilgisayarınızdaki bir dosyaya yapıştırabilirsiniz.

Robots.txt dosyanızı düzenleme

Sitenizden indirdiğiniz robots.txt dosyasını bir metin düzenleyiciyle açıp kurallarda gerekli değişiklikleri yapın. Doğru söz dizimini kullandığınızdan ve dosyayı UTF-8 kodlamasıyla kaydettiğinizden emin olun.

Robots.txt dosyanızı yükleme

Yeni robots.txt dosyanızı sitenizin kök dizinine robots.txt adlı bir metin dosyası olarak yükleyin. Sitenize dosya yüklemenin yolu büyük ölçüde platforma ve sunucuya bağlıdır. Sitenize robots.txt dosyası yükleme hakkında yardım almak için ipuçlarımıza göz atın.

Sitenizin kök dizinine dosya yükleme izniniz yoksa değişiklik yapmak için alan adı yöneticinizle iletişime geçin.

Örneğin, sitenizin ana sayfası subdomain.example.com/site/example/ altındaysa muhtemelen subdomain.example.com/robots.txt adresindeki robots.txt dosyasını güncelleyemezsiniz. Bu durumda, robots.txt dosyasında gerekli değişiklikleri yapmak için example.com/ sitesinin sahibiyle iletişime geçin.

Google'ın robots.txt önbelleğini yenileme

Otomatik tarama sürecinde Google'ın tarayıcıları, robots.txt dosyanızda yaptığınız değişiklikleri tespit eder ve önbelleğe alınan sürümü 24 saatte bir günceller. Önbelleği daha hızlı güncellemeniz gerekirse robots.txt raporunun Yeniden tarama isteğinde bulunma işlevini kullanın.