Se impari a conoscere il modo in cui gli user agent di Google interagiscono con il tuo sito web, puoi fare in modo che le tue pagine più importanti vengano visualizzate in più posizioni nell'ecosistema Google, senza sovraccaricare i tuoi server. Che tu sia il proprietario o lo sviluppatore di un sito, questa documentazione ti offre un maggiore controllo sulla modalità di scansione del tuo sito.
Puoi verificare se un web crawler o un fetcher che accede al tuo server proviene davvero da Google, ad esempio Googlebot.
I crawler di Google si adattano automaticamente al tuo sito web e al tuo server per trovare e mostrare in modo efficiente i tuoi contenuti migliori e più recenti. Per aiutarti a gestire situazioni urgenti relative al tuo server e alla scansione, hai la possibilità di ridurre in modo proattivo la frequenza di scansione, se necessario.
Puoi utilizzare un file robots.txt per consentire o impedire la scansione di singole pagine o dell'intero sito web.

In che modo le preferenze di scansione incidono su dove il tuo sito viene mostrato su Google

L'infrastruttura di scansione di Google è condivisa tra una serie di prodotti Google. Ciò significa che seguire le best practice aiuta i tuoi contenuti web a essere scoperti in modo più efficiente e a essere visualizzati su Google.
La Ricerca Google utilizza Googlebot per eseguire la scansione del tuo sito e trovare contenuti pertinenti per gli utenti.
Google-Extended viene utilizzato dalle app Gemini e dall'API Vertex AI per Gemini. Scopri di più su Google-Extended.
Le preferenze di scansione indirizzate allo user agent Storebot-Google influiscono su tutte le piattaforme di Google Shopping.
Il crawler di AdSense visita i siti partecipanti per pubblicarvi annunci pertinenti.
Le preferenze di scansione indirizzate allo user agent Googlebot-News influiscono sul prodotto Google News, inclusi news.google.com e l'app Google News.
Il fetcher Google-NotebookLM richiede URL singoli che gli utenti di NotebookLM hanno indicato come fonti per i loro progetti.