Feedfetcher

Feedfetcher es la forma que tiene Google de rastrear feeds RSS o Atom para Google Noticias y PubSubHubbub. Feedfetcher almacena y actualiza periódicamente los feeds que solicitan los usuarios de una app o de un servicio. Solo los feeds de podcasts se indexan en la Búsqueda de Google. Sin embargo, si un feed no cumple con las especificaciones Atom o RSS, es posible que igual se indexe. Estas son algunas respuestas a las preguntas más frecuentes sobre cómo funciona este recolector de feeds controlado por el usuario.

¿Cómo solicito que Google no recupere algunos (o ninguno) de los feeds de mi sitio?

Cuando los usuarios agregan un servicio o una app que utiliza datos de Feedfetcher, Feedfetcher de Google intenta obtener el contenido del feed para poder mostrarlo. Debido a que las solicitudes de Feedfetcher provienen de acciones explícitas de usuarios y no de rastreadores automáticos, Feedfetcher ignora las reglas de robots.txt.

Si tu feed está disponible a nivel público, Google no puede evitar que los usuarios accedan a él. Una forma de solucionar este problema es configurar tu sitio para que le muestre un mensaje de error de estado 404, 410 o de otro tipo al usuario-agente de Feedfetcher-Google.

Si tu feed lo proporciona un blog o un servicio de alojamiento de sitio, comunícate directamente con ese servicio para que restrinja el acceso a tu feed.

¿Con qué frecuencia recuperará mis feeds Feedfetcher?

En promedio, Feedfetcher no debería recuperar feeds de la mayoría de los sitios más de una vez por hora. Es posible que se recuperen más seguido los feeds de aquellos sitios que se actualizan con mayor frecuencia. No obstante, ten en cuenta que, debido a los retrasos de red, es posible que aparezca brevemente Feedfetcher para recuperar tus feeds con mayor frecuencia.

Feedfetcher recupera los feeds cuando lo solicitan los servicios o apps que instalan los usuarios. Es posible que un usuario haya solicitado la URL de un feed que no existe.

¿Por qué Feedfetcher descarga información de mi servidor web "secreto"?

Feedfetcher recupera los feeds cuando lo solicitan los servicios o apps que instalan los usuarios. Es posible que la solicitud provenga de un usuario que conoce tu servidor "secreto" o que lo haya ingresado por error.

¿Por qué Feedfetcher no obedece a mi archivo robots.txt?

Feedfetcher solo recupera los feeds después de que los usuarios inician explícitamente un servicio o una app que solicita datos de un feed. Feedfetcher se comporta como un agente directo del usuario y no como un robot. Por lo tanto, omite las entradas de robots.txt. Dado que Feedfetcher actúa como un agente para varios usuarios, conserva el ancho de banda solicitando feeds comunes solo una vez para todos los usuarios que realizaron la solicitud del feed a través de una app o de un servicio. Los feeds comunes son RSS y Atom.

Puedes evitar que Feedfetcher rastree tu sitio configurando el servidor para que muestre un mensaje de error de estado 404, 410 o de otro tipo al usuario-agente de Feedfetcher-Google.

¿Por qué hay visitas de varios equipos en Google.com y todos tienen a Feedfetcher como usuario-agente?

Feedfetcher fue diseñado para distribuirse en varios equipos con el fin de mejorar el rendimiento y ajustarse al crecimiento de la Web. Para reducir el uso del ancho de banda, se utilizan los equipos que suelen estar ubicados cerca de los sitios que recuperan en la red.

¿Puedes decirme las direcciones IP desde las que Feedfetcher realiza solicitudes para poder filtrar mis registros?

Las direcciones IP que usa Feedfetcher se incluyen en el objeto user-triggered-fetchers-google.json.

¿Por qué Feedfetcher descarga la misma página de mi sitio varias veces?

Por lo general, durante una recuperación de feed determinada, Feedfetcher descarga solo una copia de cada archivo de tu sitio. En raras ocasiones, los equipos se detienen y se reinician, lo que provoca que se vuelvan a recuperar páginas que se visitaron recientemente.

A diferencia de los rastreadores web normales, Feedfetcher no sigue vínculos en absoluto; en lugar de eso, sigue las solicitudes enviadas por usuarios de un servicio o de una app que utiliza Feedfetcher.

No encuentro la respuesta a mi pregunta sobre Feedfetcher. ¿Dónde puedo obtener más ayuda?

Si aún tienes problemas, publica tu pregunta en el foro de la Central de la Búsqueda de Google.