Aggiornare il file robots.txt

Se usi un servizio di hosting di siti, come Wix o Blogger, potrebbe non essere necessario (o non essere possibile) modificare direttamente il file robots.txt. In alternativa, il tuo provider potrebbe presentare una pagina di impostazioni per la ricerca o qualche altro modo per indicare ai motori di ricerca se eseguire o meno la scansione della tua pagina.

Se vuoi nascondere o mostrare una delle tue pagine ai motori di ricerca, cerca le istruzioni sulla modifica della visibilità della pagina nei motori di ricerca sul tuo servizio di hosting, ad esempio cerca "wix nascondere pagina dai motori di ricerca".

Per aggiornare le regole nel file robots.txt esistente, scarica una copia del file dal tuo sito e apporta le modifiche necessarie.

Scaricare il file robots.txt

Puoi scaricare il file robots.txt in diversi modi, ad esempio:

• Vai al tuo file robots.txt, ad esempio https://example.com/robots.txt, e copiane i contenuti in un nuovo file di testo sul computer. Quando crei il nuovo file locale, assicurati di seguire le linee guida relative al formato file.
• Scarica una copia effettiva del file robots.txt con uno strumento come cURL. Ad esempio:

  curl https://example.com/robots.txt -o robots.txt

• Usa il report sul file robots.txt in Search Console per copiare i contenuti del file robots.txt, che in seguito puoi incollare in un file sul computer.

Modificare il file robots.txt

Apri il file robots.txt scaricato dal tuo sito in un editor di testo e apporta le modifiche necessarie alle regole. Assicurati di utilizzare la sintassi corretta e di salvare il file con la codifica UTF-8.

Caricare il file robots.txt

Carica il nuovo file robots.txt nella directory root del tuo sito sotto forma di file di testo denominato robots.txt. La modalità di caricamento di un file sul sito dipende molto dalla piattaforma e dal server. Consulta i nostri suggerimenti per ricevere assistenza su come caricare un file robots.txt sul tuo sito.

Se non hai l'autorizzazione a caricare file nella directory root del sito, contatta il gestore del dominio per apportare le modifiche.

Ad esempio, se il percorso della home page del tuo sito è subdomain.example.com/site/example/, è probabile che tu non riesca ad aggiornare il file robots.txt all'indirizzo subdomain.example.com/robots.txt. In questo caso, contatta il proprietario di example.com/ per apportare le modifiche necessarie al file robots.txt.

Aggiornare la cache del file robots.txt di Google

Durante la procedura di scansione automatica, i crawler di Google rilevano le modifiche apportate al file robots.txt e aggiornano la versione memorizzata nella cache ogni 24 ore. Se devi aggiornare più velocemente la cache, utilizza la funzione Richiedi una nuova scansione del report sul file robots.txt.