Gestisci il modo in cui i crawler e i fetcher di Google interagiscono con il tuo sito web
Se impari a conoscere il modo in cui gli user agent di Google interagiscono con il tuo sito web, puoi fare in modo che le tue pagine più importanti vengano visualizzate in più posizioni nell'ecosistema Google, senza sovraccaricare i tuoi server. Che tu sia il proprietario o lo sviluppatore di un sito, questa documentazione ti offre un maggiore controllo sulla modalità di scansione del tuo sito.
Verifica le richieste dei crawler e dei fetcher di Google
Puoi verificare se un web crawler o un fetcher che accede al tuo server proviene davvero da Google, ad esempio Googlebot.
Riduci la frequenza di scansione di Google
I crawler di Google si adattano automaticamente al tuo sito web e al tuo server per trovare e mostrare in modo efficiente i tuoi contenuti migliori e più recenti. Per aiutarti a gestire situazioni urgenti relative al tuo server e alla scansione, hai la possibilità di ridurre in modo proattivo la frequenza di scansione, se necessario.
Gestisci la scansione con il file robots.txt
Puoi utilizzare un file robots.txt per consentire o impedire la scansione di singole pagine o dell'intero sito web.
In che modo le preferenze di scansione incidono su dove il tuo sito viene mostrato su Google
L'infrastruttura di scansione di Google è condivisa tra una serie di prodotti Google. Ciò significa che seguire le best practice aiuta i tuoi contenuti web a essere scoperti in modo più efficiente e a essere visualizzati su Google.
Google Search
La Ricerca Google utilizza Googlebot per eseguire la scansione del tuo sito e trovare contenuti pertinenti per gli utenti.
Gemini
Google-Extended viene utilizzato dalle app Gemini e dall'API Vertex AI per Gemini. Scopri di più su Google-Extended.
Google Shopping
Le preferenze di scansione indirizzate allo user agent Storebot-Google influiscono su tutte le piattaforme di Google Shopping.
AdSense
Il crawler di AdSense visita i siti partecipanti per pubblicarvi annunci pertinenti.
Google News
Le preferenze di scansione indirizzate allo user agent Googlebot-News influiscono sul prodotto Google News, inclusi news.google.com e l'app Google News.
NotebookLM
Il fetcher Google-NotebookLM richiede URL singoli che gli utenti di NotebookLM hanno indicato come fonti per i loro progetti.