Liste der vom Nutzer ausgelösten Google-Fetcher

Vom Nutzer ausgelöste Fetcher werden von Nutzern initiiert, um eine Abruffunktion innerhalb eines Google-Produkts auszuführen. Google Site Verifier reagiert beispielsweise auf die Anfrage eines Nutzers und eine Website, die in Google Cloud (GCP) gehostete wird, hat eine Funktion, mit der Nutzer einen externen RSS-Feed abrufen können. Da der Abruf von einem Nutzer angefordert wurde, ignorieren diese Fetcher meist robots.txt-Regeln. Die allgemeine technische Eigenschaften der Google-Crawler gelten auch für die vom Nutzer ausgelösten Fetcher.

Die IP-Bereiche, die von Fetchern verwendet werden, die vom Nutzer ausgelöst wurden, werden in den Objekten user-triggered-fetchers.json und user-triggered-fetchers-google.json veröffentlicht. Die umgekehrte DNS-Maske eines vom Nutzer ausgelösten Fetchers, je nachdem, ob es sich beim Fetcher um einen Google-Fetcher handelt oder er dem Nutzer gehört, entspricht ***-***-***-***.gae.googleusercontent.com oder google-proxy-***-***-***-***.google.com.

Die folgende Liste zeigt die vom Nutzer ausgelösten Fetcher und ihre User-Agent-Strings, wie sie in die HTTP-Anfragen erscheinen, und die Produkte, mit denen sie verknüpft sind. Die Liste ist nicht vollständig, sie behandelt nur die Anfragesteller, die mit höherer Wahrscheinlichkeit in den Protokolldateien auftauchen und zu denen wir Fragen erhalten haben.

User-Agent in HTTP-Anfragen 

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Verknüpfte Produkte Der Feedfetcher wird zum Crawlen von RSS- oder Atom-Feeds für Google News und PubSubHubbub verwendet.
User-Agent in HTTP-Anfragen 

GoogleProducer; (+https://developers.google.com/search/docs/crawling-indexing/google-producer)
Verknüpfte Produkte Google Publisher Center ruft ab und verarbeitet von Publishern explizit bereitgestellte Feeds zur Verwendung auf Google News-Landingpages.
User-Agent in HTTP-Anfragen
Mobilgeräte-Agent: 

Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
Computer-Agent: 

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
Ehemaliger Agent (eingestellt): google-speakr
Verknüpfte Produkte Auf Anfrage des Nutzers ruft Google Read Aloud Webseiten ab und liest sie über die Sprachausgabe vor.
User-Agent in HTTP-Anfragen 

Mozilla/5.0 (compatible; Google-Site-Verification/1.0)
Verknüpfte Produkte Google Site Verifier ruft Search Console-Bestätigungstokens ab.