Aprender cómo interactúan los agentes de usuario de Google con tu sitio web puede ayudarte a que tus páginas más importantes aparezcan en más lugares del ecosistema de Google sin sobrecargar tus servidores. Tanto si eres propietario como desarrollador de un sitio, esta documentación te brinda un mayor control sobre cómo se rastrea tu sitio.
Puedes verificar si un rastreador web o un recuperador que accede a tu servidor es realmente de Google, como Googlebot.
Los rastreadores de Google se ajustan automáticamente a tu sitio web y servidor para encontrar y mostrar de manera eficiente tu contenido más reciente y de mejor calidad. Para ayudarte a administrar situaciones urgentes relacionadas con tu servidor y el rastreo, tienes la opción de reducir de forma proactiva la frecuencia de rastreo, si es necesario.
Puedes usar un archivo robots.txt para permitir o rechazar el rastreo de páginas individuales o de todo tu sitio web.

Cómo las preferencias de rastreo afectan el lugar en el que aparece tu sitio en Google

La infraestructura de rastreo de Google se comparte en una variedad de productos de Google. Esto significa que seguir las prácticas recomendadas ayuda a que tu contenido web se descubra de manera más eficiente y se muestre en Google.
La Búsqueda de Google utiliza Googlebot para rastrear tu sitio y encontrar contenido relevante para los usuarios.
Google-Extended se usa en las apps con Gemini y en la API de Vertex AI para Gemini. Obtén más información sobre Google-Extended.
Las preferencias de rastreo dirigidas al usuario-agente Storebot-Google afectan a todas las plataformas de Google Shopping.
El rastreador de AdSense visita los sitios participantes para proporcionarles anuncios relevantes.
Las preferencias de rastreo dirigidas al usuario-agente de Googlebot-News afectan al producto Google Noticias, incluido news.google.com y la app de Google Noticias.
El recuperador Google-NotebookLM solicita URLs individuales que los usuarios de NotebookLM proporcionaron como fuentes para sus proyectos.