Saber cómo interactúan los agentes de usuario de Google con tu sitio web puede ayudarte a que tus páginas más importantes aparezcan en más lugares del ecosistema de Google sin sobrecargar tus servidores. Tanto si eres propietario de un sitio como desarrollador, esta documentación te ofrece un mayor control sobre cómo se rastrea tu sitio.
Más información
Puedes comprobar si un rastreador web o un fetcher que accede a tu servidor es realmente de Google (por ejemplo, el robot de Google).
Empezar
Los rastreadores de Google se adaptan automáticamente a tu sitio web y a tu servidor para encontrar y mostrar de forma eficiente el contenido más reciente y de mayor calidad. Para ayudarte a gestionar situaciones urgentes relacionadas con tu servidor y el rastreo, puedes reducir de forma proactiva la frecuencia de rastreo si es necesario.
Empezar
Puedes usar un archivo robots.txt para permitir o denegar el rastreo de páginas concretas o de todo tu sitio web.
Empezar

Cómo influyen las preferencias de rastreo en la posición de tu sitio en Google

La infraestructura de rastreo de Google se comparte entre varios productos de Google. Esto significa que, si sigues las prácticas recomendadas, tu contenido web se podrá descubrir de forma más eficiente y aparecer en Google.
La Búsqueda de Google usa Googlebot para rastrear tu sitio y encontrar contenido relevante para los usuarios.
Las aplicaciones de Gemini y la API de Vertex AI para Gemini usan Google-Extended. Más información sobre Google-Extended
Las preferencias de rastreo dirigidas al user-agent Storebot-Google afectan a todas las superficies de Google Shopping.
El rastreador de AdSense visita los sitios participantes para proporcionarles anuncios relevantes.
Las preferencias de rastreo dirigidas al user-agent afectan al producto Google News, incluidas news.google.com y la aplicación Google News.
El fetcher de Google NotebookLM solicita URLs concretas que los usuarios de NotebookLM han proporcionado como fuentes para sus proyectos.