Ridurre la frequenza di scansione di Google

L'infrastruttura dei crawler di Google dispone di sofisticati algoritmi che consentono di determinare la frequenza di scansione ottimale di un sito. Il nostro obiettivo è eseguire a ogni visita la scansione del maggior numero possibile di pagine del tuo sito senza sovraccaricare il server. In alcuni casi, la scansione del sito da parte di Google potrebbe causare un carico critico sull'infrastruttura o costi indesiderati durante un'interruzione. Per ovviare a questo problema, puoi decidere di ridurre il numero di richieste effettuate dai crawler di Google.

Comprendere la causa dell'aumento significativo della scansione

Un forte aumento della scansione potrebbe essere causato da inefficienze nella struttura del tuo sito o da altri problemi. In base alle segnalazioni che abbiamo ricevuto in passato, le cause più comuni sono:

• Configurazione inefficiente degli URL sul sito, in genere causata da una funzionalità specifica del sito:
  • Navigazione per facet o altre funzionalità di ordinamento e filtraggio del sito
  • Un calendario con molti URL per date specifiche
• Un target dell'annuncio dinamico della rete di ricerca

Ti consigliamo vivamente di contattare la tua società di hosting e di esaminare i log di accesso recenti del tuo server per capire la sorgente del traffico e verificare se rientra nelle cause comuni sopra indicate del forte aumento della scansione. Poi, consulta le nostre guide su come gestire la scansione degli URL di navigazione per facet e ottimizzare l'efficienza di scansione.

Ridurre urgentemente il traffico dei crawler (per emergenze)

Avviso: quando valuti la possibilità di ridurre la frequenza di scansione di Google, tieni presente che ciò avrà effetti generalizzati. Per la Ricerca, Googlebot individuerà un numero inferiore di nuove pagine e quelle esistenti verranno aggiornate meno frequentemente (ad esempio, i prezzi e la disponibilità dei prodotti potrebbero richiedere più tempo per essere visualizzati nella Ricerca) e le pagine rimosse potrebbero rimanere nell'indice più a lungo. Per Google Ads, le tue campagne potrebbero essere annullate o messe in pausa e i tuoi annunci potrebbero non essere pubblicati.

Se hai bisogno di ridurre urgentemente la frequenza di scansione per un breve periodo di tempo (ad esempio un paio d'ore o 1-2 giorni), alle richieste di scansione restituisci un codice di stato della risposta HTTP 500, 503 o 429 anziché 200. L'infrastruttura di scansione di Google riduce la frequenza di scansione del tuo sito quando rileva un numero significativo di URL con codici di stato della risposta HTTP 500, 503 o 429 (ad esempio, se hai disattivato il tuo sito web). La frequenza di scansione ridotta influisce sull'intero nome host del tuo sito (ad esempio, subdomain.example.com), sia per la scansione degli URL che restituiscono errori che per quelli che restituiscono contenuti. Una volta ridotto il numero di questi errori, la frequenza di scansione riprenderà automaticamente ad aumentare.

Avviso: sconsigliamo di eseguire questa operazione per un lungo periodo di tempo (vale a dire più di 1-2 giorni), in quanto potrebbe avere un effetto negativo sulla visualizzazione del tuo sito nei prodotti Google. Ad esempio, nel caso della Ricerca, se Googlebot osserva questi codici di stato sullo stesso URL per più giorni, l'URL potrebbe essere rimosso dall'indice di Google.

Richieste eccezionali per ridurre la frequenza di scansione

Se nella tua infrastruttura non è possibile fornire errori ai crawler di Google, invia una richiesta speciale per segnalare un problema con una frequenza di scansione insolitamente elevata, indicando la frequenza ottimale per il tuo sito nella richiesta. Non puoi richiedere un aumento della frequenza di scansione e potrebbero essere necessari diversi giorni per la valutazione e l'evasione della richiesta.