Specifiche relative al meta tag robots, all'attributo data-nosnippet e all'intestazione X-Robots-Tag

Questo documento descrive come le impostazioni a livello di pagina e di testo ti consentono di adattare il modo in cui Google presenta i tuoi contenuti nei risultati di ricerca. Puoi specificare le impostazioni a livello di pagina includendo un meta tag nelle pagine HTML o in un'intestazione HTTP. Puoi specificare le impostazioni a livello di testo con l'attributo data-nosnippet in elementi HTML all'interno di una pagina.

Utilizzare il meta tag robots

Il meta tag robots ti consente di controllare in modo granulare a livello di pagina il modo in cui una singola pagina deve essere indicizzata e mostrata agli utenti nei risultati della Ricerca Google. Inserisci il meta tag robots nella sezione <head> di una determinata pagina, in questo modo:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

In questo esempio, il meta tag robots indica ai motori di ricerca di non mostrare la pagina nei risultati. Il valore dell'attributo name (robots) specifica che l'istruzione si applica a tutti i crawler. Per indicare un crawler specifico, sostituisci il valore robots dell'attributo name con il nome del crawler di interesse. I crawler specifici sono noti anche come user agent (un crawler utilizza il proprio user agent per richiedere una pagina). Il nome dello user agent del web crawler standard di Google è Googlebot. Per impedire solo a Googlebot di indicizzare la pagina, aggiorna il tag come indicato di seguito:

<meta name="googlebot" content="noindex" />

Il tag ora indica specificatamente a Google di non mostrare la pagina nei risultati di ricerca. Entrambi gli attributi name e content non sono sensibili alle maiuscole.

I motori di ricerca possono avere crawler differenti per scopi diversi. Consulta l'elenco completo dei crawler di Google. Ad esempio, per mostrare una pagina nei risultati di ricerca web di Google, ma non in Google News, utilizza il meta tag riportato di seguito:

<meta name="googlebot-news" content="noindex" />

Per specificare più crawler singolarmente, utilizza più meta tag robots:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

Per bloccare l'indicizzazione di risorse non HTML, come file PDF, file video o file immagini, utilizza invece l'intestazione della risposta X-Robots-Tag.

Utilizzare l'intestazione HTTP X-Robots-Tag

X-Robots-Tag può essere utilizzato come elemento della risposta dell'intestazione HTTP di un URL specifico. Qualsiasi istruzione utilizzabile in un meta tag robots può anche essere specificata come un X-Robots-Tag. Di seguito è riportato un esempio di risposta HTTP con un X-Robots-Tag che indica ai crawler di non indicizzare una pagina:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

È possibile combinare più intestazioni X-Robots-Tag all'interno della risposta HTTP. In alternativa, puoi specificare un elenco di istruzioni separate da virgole. Di seguito è riportato un esempio di risposta dell'intestazione HTTP che contiene un X-Robots-Tag noarchive combinato con un X-Robots-Tag unavailable_after.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

X-Robots-Tag può eventualmente specificare uno user agent prima delle istruzioni. Ad esempio, il seguente insieme di intestazioni HTTP X-Robots-Tag può essere usato per consentire la visualizzazione di una pagina nei risultati di ricerca su motori diversi a determinate condizioni.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Le istruzioni specificate senza uno user agent sono valide per tutti i crawler. L'intestazione HTTP, il nome dello user agent e i valori specificati non sono sensibili alle maiuscole.

Istruzioni di indicizzazione e pubblicazione valide

Le istruzioni seguenti possono essere usate per controllare l'indicizzazione e la pubblicazione di uno snippet con il meta tag robots e X-Robots-Tag. All'interno dei risultati di ricerca, uno snippet è un breve estratto di testo usato per dimostrare la pertinenza di un documento rispetto alla query di un utente. Nella tabella che segue vengono mostrate tutte le istruzioni seguite da Google e il relativo significato. Ogni valore rappresenta un'istruzione specifica. È possibile combinare più istruzioni in un elenco separato da virgole. Le istruzioni non sono sensibili alle maiuscole.

Istruzioni

all

Non sono presenti limitazioni per l'indicizzazione e la pubblicazione. Questa istruzione è il valore predefinito e non ha alcun effetto se viene inclusa in modo esplicito.

noindex

Non mostrare questa pagina, questo elemento multimediale o questa risorsa nei risultati di ricerca. Se non specifichi questa istruzione, la pagina, l'elemento multimediale o la risorsa potrebbero essere indicizzati e visualizzati nei risultati di ricerca.

nofollow

Non seguire i link su questa pagina. Se non specifichi questa istruzione, Google potrebbe utilizzare i link sulla pagina per individuare le pagine collegate. Scopri di più su nofollow.

none

Equivalente a noindex, nofollow.

noarchive

Non mostrare un link Copia cache nei risultati di ricerca. Se non specifichi questa istruzione, Google potrebbe generare una pagina memorizzata nella cache e gli utenti potrebbero accedervi tramite i risultati di ricerca.

nosnippet

Non mostrare uno snippet di testo o un'anteprima video nei risultati di ricerca per questa pagina. La miniatura statica di un'immagine (se disponibile) potrebbe ancora essere visibile, se può migliorare l'esperienza utente. Ciò si applica ai risultati di ricerca in qualsiasi forma (per quanto riguarda Google: Ricerca Google, Google Immagini, Discover).

Se non specifichi questa istruzione, Google potrebbe generare uno snippet di testo e un'anteprima video in base alle informazioni trovate nella pagina.

max-snippet: [numero]

Usa un massimo di [numero] caratteri come snippet testuale per questo risultato di ricerca. Tieni presente che all'interno di una pagina dei risultati di ricerca un URL potrebbe comparire per più risultati di ricerca. Questa istruzione non influisce sulle anteprime di immagini o video e si applica ai risultati di ricerca in qualsiasi forma (ad esempio Ricerca Google, Google Immagini, Discover e assistente). Tuttavia, il limite non si applica nei casi in cui un publisher ha concesso separatamente l'autorizzazione a usare i contenuti. Ad esempio, se il publisher fornisce contenuti in forma di dati strutturati in-page o se ha un contratto di licenza con Google, questa impostazione non interrompe gli usi consentiti più specifici. Questa istruzione viene ignorata se non viene specificato un valore [numero] analizzabile.

Se non specifichi questa istruzione, Google sceglierà la lunghezza dello snippet.

Valori speciali:

  • 0: non deve essere mostrato nessuno snippet. Equivalente a nosnippet.
  • -1: Google sceglierà la lunghezza dello snippet che ritiene più efficace per aiutare gli utenti a scoprire i tuoi contenuti e indirizzarli al tuo sito.

Esempi:

Per interrompere la visualizzazione di uno snippet nei risultati di ricerca:


<meta name="robots" content="max-snippet:0">

Per consentire che nello snippet vengano visualizzati fino a 20 caratteri:


<meta name="robots" content="max-snippet:20">

Per specificare che non esiste un limite al numero di caratteri che possono essere visualizzati nello snippet:


<meta name="robots" content="max-snippet:-1">

max-image-preview: [impostazione]

Imposta la dimensione massima dell'anteprima di un'immagine per questa pagina nei risultati di ricerca.

Se non specifichi l'istruzione max-image-preview, Google potrebbe mostrare un'anteprima dell'immagine delle dimensioni predefinite.

Valori accettati per [impostazione]:

  • none: non deve essere mostrata nessuna anteprima dell'immagine.
  • standard: è possibile mostrare un'anteprima predefinita dell'immagine.
  • large: è possibile mostrare un'anteprima dell'immagine che sia larga al massimo quanto l'area visibile.

Ciò si applica ai risultati di ricerca in qualsiasi forma (ad esempio Ricerca Google, Google Immagini, Discover e assistente). Tuttavia, il limite non si applica nei casi in cui un publisher ha concesso separatamente l'autorizzazione a usare i contenuti. Ad esempio, se il publisher fornisce i contenuti sotto forma di dati strutturati in-page (come versioni AMP e canonica di un articolo) o se ha un contratto di licenza con Google, questa impostazione non interrompe gli usi consentiti più specifici.

Se non vuoi che Google usi miniature più grandi quando le pagine AMP e la versione canonica di un articolo vengono mostrate nella Ricerca o in Discover, specifica un valore max-image-preview pari a standard o none.

Esempio:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [numero]

Usa un massimo di [numero] secondi come snippet video per i video di questa pagina nei risultati di ricerca.

Se non specifichi l'istruzione max-video-preview, lasci che sia Google a stabilire la durata dell'anteprima dello snippet video eventualmente visualizzato nei risultati di ricerca.

Valori speciali:

  • 0: al massimo, un'immagine statica può essere usata nel rispetto dell'impostazione max-image-preview.
  • -1: nessun limite.

Ciò si applica ai risultati di ricerca in tutte le forme (Ricerca Google, Google Immagini, Google Video, Discover, assistente). Questa istruzione viene ignorata se non viene specificato un valore [numero] analizzabile.

Esempio:


<meta name="robots" content="max-video-preview:-1">

notranslate

Non proporre la traduzione della pagina nei risultati di ricerca. Se non specifichi questa istruzione, Google potrebbe mostrare un link accanto al risultato per aiutare gli utenti a visualizzare i contenuti tradotti nella tua pagina.

noimageindex

Non indicizzare le immagini in questa pagina. Se non specifichi questo valore, le immagini nella pagina potrebbero essere indicizzate e visualizzate nei risultati di ricerca.

unavailable_after: [data/ora]

Non mostrare questa pagina nei risultati di ricerca dopo la data/l'ora specificate. La data e l'ora devono essere specificate in un formato ampiamente adottato inclusi, a titolo esemplificativo, RFC 822, RFC 850 e ISO 8601. Questa istruzione viene ignorata se non viene specificato alcun valore data/ora valido. Per impostazione predefinita, i contenuti non hanno data di scadenza.

Se non specifichi questa istruzione, la pagina potrebbe essere visualizzata nei risultati di ricerca a tempo indeterminato.

Esempio:


<meta name="robots" content="unavailable_after: 2020-09-21">

Gestire istruzioni di indicizzazione e pubblicazione combinate

Puoi creare una combinazione di più istruzioni di meta tag robots separati da virgole. Di seguito è riportato un esempio di meta tag robots che indica ai web crawler di non indicizzare la pagina e di non sottoporre a scansione nessun link sulla pagina:

<meta name="robots" content="noindex, nofollow">

Di seguito è riportato un esempio che limita lo snippet di testo a 20 caratteri e consente un'anteprima delle immagini di grandi dimensioni:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

Per le situazioni in cui vengono specificati più crawler con diverse istruzioni, il motore di ricerca utilizza la somma delle istruzioni negative. Ad esempio:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Googlebot identificherà la pagina contenente questi meta tag come una pagina con istruzione noindex, nofollow.

Utilizzare l'attributo HTML data-nosnippet

Puoi contrassegnare le parti testuali di una pagina HTML da non utilizzare come snippet. Puoi eseguire questa operazione a livello di elemento HTML con l'attributo HTML data-nosnippet negli elementi span, div e section. data-nosnippet è considerato un attributo booleano. Come con tutti gli attributi booleani, eventuali valori specificati vengono ignorati. Per poter essere leggibile dal computer, la sezione HTML deve contenere codice HTML valido e tutti i tag appropriati devono essere chiusi di conseguenza.

Esempi:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

Normalmente, Google visualizza le pagine per poterle indicizzare, ma la visualizzazione non è garantita. Per questo motivo, l'estrazione di data-nosnippet può avvenire sia prima sia dopo la visualizzazione. Per evitare incertezze rispetto alla visualizzazione, non aggiungere o rimuovere l'attributo data-nosnippet dei nodi esistenti tramite JavaScript. Se aggiungi elementi DOM tramite JavaScript, includi l'attributo data-nosnippet necessario durante l'aggiunta iniziale dell'elemento al DOM della pagina. Se vengono usati elementi personalizzati, aggregali o visualizzali con gli elementi div, span o section se devi usare data-nosnippet.

Utilizzare i dati strutturati

I meta tag robots regolano la quantità di contenuti che Google estrae automaticamente dalle pagine web per visualizzarli nei risultati di ricerca. Molti publisher, però, usano anche i dati strutturati di schema.org per rendere disponibili determinate informazioni per la presentazione nella ricerca. Le limitazioni dei meta tag robots non incidono sull'uso dei dati strutturati, ad eccezione di article.description e dei valori description per i dati strutturati specificati per altre opere creative. Per specificare la lunghezza massima di un'anteprima in base a questi valori description, usa il meta tag robots max-snippet. Ad esempio, i dati strutturati recipe in una pagina sono idonei per essere inseriti nel carosello di ricette, anche se l'anteprima di testo sarà limitata. Puoi limitare la lunghezza di un'anteprima di testo con max-snippet, ma questo meta tag robots non viene applicato se le informazioni vengono fornite usando dati strutturati per i risultati multimediali.

Per gestire l'uso dei dati strutturati delle tue pagine web, modifica direttamente i tipi e i valori dei dati strutturati aggiungendo o rimuovendo le informazioni per fornire solo i dati che vuoi rendere disponibili. Tieni presente inoltre che i dati strutturati restano utilizzabili per i risultati di ricerca quando sono dichiarati all'interno di un elemento data-nosnippet.

Implementazione pratica di X-Robots-Tag

Puoi aggiungere X-Robots-Tag alle risposte HTTP di un sito tramite i file di configurazione del software server web del tuo sito. Ad esempio, sui server web basati su Apache puoi usare i file .htaccess e httpd.conf. Il vantaggio di usare X-Robots-Tag con le risposte HTTP è che puoi specificare le istruzioni di scansione da applicare globalmente a un sito. Il supporto delle espressioni regolari consente un elevato livello di flessibilità.

Ad esempio, per aggiungere un X-Robots-Tag noindex, nofollow alla risposta HTTP di tutti i file PDF di un intero sito, aggiungi lo snippet seguente al file .htaccess o .httpd.conf root del sito su Apache o al file .conf del sito su NGINX.

Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>
location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

NGINX

Puoi utilizzare l'intestazione X-Robots-Tag per i file non HTML come i file immagine in cui non è possibile utilizzare i meta tag robots nell'HTML. Di seguito è riportato un esempio di come aggiungere un'istruzione X-Robots-Tag noindex per i file immagine (.png, .jpeg, .jpg, .gif) su un intero sito.

Apache

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

Puoi anche impostare le intestazioni X-Robots-Tag per i singoli file statici:

Apache

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

Combinare le istruzioni di scansione con istruzioni di indicizzazione/pubblicazione

I meta tag robots e le intestazioni HTTP X-Robots-Tag vengono rilevati quando un URL viene sottoposto a scansione. Se una pagina viene esclusa dalla scansione tramite il file robots.txt, le informazioni relative alle istruzioni di indicizzazione e pubblicazione non vengono rilevate e, pertanto, vengono ignorate. Se occorre seguire le istruzioni di indicizzazione o pubblicazione, gli URL contenenti tali istruzioni non possono essere esclusi dalla scansione.