Los motores de búsqueda solo pueden mostrar páginas en los resultados si esas no bloquean explícitamente la indexación de los rastreadores de motores de búsqueda. Algunos encabezados y metaetiquetas HTTP indican a los rastreadores que no se debe indexar una página.
Solo bloquea la indexación del contenido que no quieras que aparezca en los resultados de la búsqueda.
Cómo falla la auditoría de indexación de Lighthouse
Lighthouse marca las páginas que los motores de búsqueda no pueden indexar:
Lighthouse solo busca encabezados o elementos que bloquean todos los rastreadores del motor de búsqueda. Por ejemplo, el elemento <meta> que aparece a continuación evita que todos los rastreadores de motores de búsqueda (también conocidos como robots) accedan a tu página:
<meta name="robots" content="noindex"/>
Este encabezado de respuesta HTTP también bloquea todos los rastreadores:
X-Robots-Tag: noindex
También es posible que tengas elementos <meta> que bloquean rastreadores específicos, como los siguientes:
<meta name="Googlebot" content="noindex"/>
Lighthouse no falla la auditoría de directivas específicas del rastreador como esta, pero, de todos modos, pueden hacer que tu página sea más difícil de descubrir, por lo que debes usarlas con cuidado. Lighthouse emitirá una advertencia si una directiva específica del rastreador bloquea un bot de indexación común.
Cómo asegurarte de que los motores de búsqueda puedan rastrear tu página
Primero, asegúrate de que quieres que los motores de búsqueda indexen la página. Por lo general, algunas páginas, como los mapas del sitio o contenido legal, no deben indexarse. (Ten en cuenta que bloquear la indexación no impide que los usuarios accedan a una página si conocen su URL).
En el caso de las páginas que quieres indexar, quita los encabezados HTTP o los elementos <meta> que bloqueen los rastreadores de los motores de búsqueda. Según cómo configures tu sitio, es posible que debas completar algunos de los pasos que se indican a continuación o todos ellos:
- Quita el encabezado de respuesta HTTP
X-Robots-Tagsi configuras un encabezado de respuesta HTTP:
X-Robots-Tag: noindex
- Quita la siguiente metaetiqueta si está presente en el encabezado de la página:
<meta name="robots" content="noindex">
- Evita las metaetiquetas que bloqueen rastreadores específicos si estas etiquetas están presentes en el encabezado de la página. Por ejemplo:
<meta name="Googlebot" content="noindex">
Agrega control adicional (opcional)
Es posible que quieras tener más control sobre el modo en que los motores de búsqueda indexan tu página. Por ejemplo, tal vez no quieras que Google indexe imágenes, pero quieres que el resto de la página esté indexada.
Si deseas obtener información sobre cómo configurar los elementos <meta> y los encabezados HTTP para motores de búsqueda específicos, consulta estas guías: