Spezifikationen für Robots-meta-Tag, data-nosnippet und X-Robots-Tag
In diesem Dokument wird beschrieben, wie du mithilfe der Einstellungen auf Seiten- und Textebene festlegst, wie Google deine Inhalte in den Suchergebnissen darstellt. Für Einstellungen auf Seitenebene kannst du ein meta-Tag in HTML-Seiten oder in einen HTTP-Header einfügen. Einstellungen auf Textebene legst du mit dem data-nosnippet-Attribut für HTML-Elemente auf einer Seite fest.
Diese Einstellungen können nur gelesen und befolgt werden, wenn Crawlern Zugriff auf die Seiten gegeben wird, die diese Einstellungen enthalten.
Die Regel <meta name="robots" content="noindex"> gilt für Suchmaschinen-Crawler. Damit andere Crawler wie z. B. AdsBot-Google blockiert werden, musst du möglicherweise Regeln hinzufügen, die nur für den betreffenden Crawler gelten, also etwa <meta name="AdsBot-Google" content="noindex">.
robots meta-Tag verwenden
Das robots meta-Tag ermöglicht dir eine detaillierte, seitenspezifische Herangehensweise, bei der du angibst, wie eine bestimmte Seite indexiert und den Nutzern in Google-Suchergebnissen angezeigt werden soll. Platziere das robots meta-Tag im <head>-Abschnitt der jeweiligen Seite:
<!DOCTYPE html> <html><head> <meta name="robots" content="noindex"> (…) </head> <body>(…)</body> </html>
In diesem Beispiel weist das robots-meta-Tag Suchmaschinen an, die Seite nicht in den Suchergebnissen anzuzeigen. Der Wert des Attributs name (robots) gibt an, dass die Regel für alle Crawler gilt. Bei den Attributen name und content wird die Groß- und Kleinschreibung nicht beachtet. Wenn du einen bestimmten Crawler ansprechen möchtest, ersetze den Wert robots des Attributs name durch das User-Agent-Token des entsprechenden Crawlers. Google unterstützt zwei User-Agent-Tokens im robots-meta-Tag; andere Werte werden ignoriert:
googlebot: für alle Textergebnissegooglebot-news: für Nachrichtenergebnisse
Wenn du beispielsweise Google anweisen möchtest, eine Seite nicht in den Suchergebnissen anzuzeigen, kannst du googlebot als Namen des meta-Tags angeben:
<meta name="googlebot" content="noindex">
Wenn du eine Seite in den Ergebnissen der Google Websuche, aber nicht in Google News anzeigen möchtest, verwende das googlebot-news-meta-Tag:
<meta name="googlebot-news" content="noindex">
Wenn du mehrere Crawler einzeln angeben möchtest, verwende mehrere robots-meta-Tags:
<meta name="googlebot" content="noindex"> <meta name="googlebot-news" content="nosnippet">
Wenn du die Indexierung von Nicht-HTML-Ressourcen wie PDFs, Video- oder Bilddateien blockieren möchtest, verwende stattdessen den X-Robots-Tag-Antwortheader.
HTTP-Header X-Robots-Tag verwenden
Das X-Robots-Tag kann als Element der HTTP-Header-Antwort für die jeweilige URL verwendet werden. Jede Regel, die in einem robots meta-Tag verwendet werden kann, kann auch als X-Robots-Tag angegeben werden. Hier ein Beispiel für eine HTTP-Antwort mit einem X-Robots-Tag, das Crawler anweist, eine Seite nicht zu indexieren:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)
Du kannst in der HTTP-Antwort mehrere X-Robots-Tag-Header kombinieren oder eine durch Kommas getrennte Liste von Regeln bereitstellen. Hier ein Beispiel für eine HTTP-Header-Antwort, in der ein noarchive X-Robots-Tag mit einem unavailable_after X-Robots-Tag kombiniert wird.
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)
Im X-Robots-Tag kann bei Bedarf vor den Regeln ein User-Agent angegeben werden. Mit dem folgenden Satz von HTTP-Headern mit X-Robots-Tag kann zum Beispiel das Anzeigen einer Seite in Suchergebnissen verschiedener Suchmaschinen unter bestimmten Bedingungen erlaubt werden:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)
Regeln, die ohne User-Agent angegeben werden, sind für alle Crawler gültig. Weder beim HTTP-Header noch beim User-Agent-Namen oder den angegebenen Werten ist die Groß- und Kleinschreibung von Bedeutung.
Gültige Indexierungs- und Bereitstellungsregeln
Die folgenden Regeln, die auch im maschinenlesbaren Format verfügbar sind, können zur Steuerung der Indexierung und Bereitstellung eines Snippets mit dem robots meta-Tag und X-Robots-Tag verwendet werden. Jeder Wert stellt eine spezifische Regel dar. Mehrere Regeln können in einer durch Kommas getrennten Liste oder in separaten meta-Tags kombiniert werden. Bei diesen Regeln muss die Groß- und Kleinschreibung nicht berücksichtigt werden.
| Regeln | |
|---|---|
|
Es bestehen keine Einschränkungen hinsichtlich der Indexierung oder Bereitstellung. Diese Regel ist der Standardwert, sodass ihre explizite Auflistung ohne Auswirkungen bleibt. |
|
Diese Seite, Ressource oder Medien nicht in den Suchergebnissen anzeigen. Wenn du diese Regel nicht angibst, können die Seite, Ressource oder Medien indexiert und in den Suchergebnissen angezeigt werden. Wenn du Informationen aus Google entfernen möchtest, folge unserer detaillierten Anleitung. |
|
Den Links auf dieser Seite nicht folgen. Wenn du diese Regel nicht angibst, kann Google die Links auf der Seite verwenden, um die verlinkten Seiten zu finden. Weitere Informationen zu nofollow
|
|
Gleichbedeutend mit noindex, nofollow. |
|
In den Suchergebnissen keinen im Cache gespeicherten Link anzeigen. Wenn du diese Regel nicht angibst, kann Google eine im Cache gespeicherte Seite generieren und Nutzer greifen möglicherweise über die Suchergebnisse darauf zu. |
|
In den Suchergebnissen für diese Seite kein Sitelinks-Suchfeld anzeigen. Wenn du diese Regel nicht angibst, kann Google in den Suchergebnissen ein Suchfeld speziell für deine Website sowie andere direkte Links zu deiner Website generieren. |
|
In den Suchergebnissen für diese Seite kein Text-Snippet und keine Videovorschau anzeigen. Eine statische Miniaturansicht (falls verfügbar) ist weiterhin sichtbar, wenn dies dem Nutzer einen Mehrwert bietet. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder und Discover. In der Google SGE-Übersicht werden außerdem keine Inhalte angezeigt, die über Wenn du diese Regel nicht angibst, kann Google ein Text-Snippet und eine Videovorschau generieren, die auf den auf der Seite gefundenen Informationen basieren. |
|
Google darf den Inhalt einer Seite indexieren, wenn er in einer anderen Seite durch
|
|
Als Text-Snippet für dieses Suchergebnis höchstens [Zahl] Zeichen verwenden. Bitte beachte, dass eine URL auf einer Suchergebnisseite möglicherweise über mehrere Ergebnisse hinweg angezeigt wird. Das hat keine Auswirkungen auf die Bild- oder Videovorschau. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. In der Google SGE-Übersicht werden außerdem keine Inhalte angezeigt, die über das angegebene Limit hinausgehen. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus. Diese Regel wird ignoriert, wenn für [Zahl] kein parsbarer Wert angegeben wird. Wenn du diese Regel nicht angibst, wählt Google die Snippet-Länge aus. Spezielle Werte:
Beispiele: So verhinderst du, dass ein Snippet in den Suchergebnissen angezeigt wird: <meta name="robots" content="max-snippet:0"> So lässt du bis zu 20 Zeichen im Snippet zu: <meta name="robots" content="max-snippet:20"> So legst du fest, dass die Anzahl der Zeichen im Snippet unbegrenzt ist: <meta name="robots" content="max-snippet:-1"> |
|
Legt die maximale Größe fest, die eine Bildvorschau in den Suchergebnissen für diese Seite haben kann.
Wenn du die Regel Akzeptierte Werte für [Einstellung]:
Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen (z. B. AMP- und kanonische Versionen eines Artikels) oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus.
Wenn du nicht möchtest, dass bei Google größere Miniaturansichten zu sehen sind, wenn deine AMP-Seiten und kanonische Versionen eines Artikels in der Google Suche und in Discover angezeigt werden, lege für Beispiel: <meta name="robots" content="max-image-preview:standard"> |
|
Für Videos werden auf dieser Seite in den Suchergebnissen Video-Snippets von maximal [number] Sekunden verwendet.
Wenn du die Regel Spezielle Werte:
Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Google Videos, Discover und Assistant. Diese Regel wird ignoriert, wenn für [Zahl] kein parsbarer Wert angegeben wird. Beispiel: <meta name="robots" content="max-video-preview:-1"> |
|
In Suchergebnissen keine Übersetzung dieser Seite anbieten. Wenn du diese Regel nicht angibst, kann Google für Suchergebnisse, die nicht der Sprache der Suchanfrage entsprechen, eine Übersetzung des Titellinks und des Snippets anbieten. Sobald der Nutzer auf den übersetzten Titellink klickt, wird die Seite mithilfe von Google Übersetzer dargestellt und alle verfolgten Links werden automatisch übersetzt. |
|
Bilder auf dieser Seite nicht indexieren. Wenn du diesen Wert nicht angibst, können Bilder auf der Seite indexiert und in den Suchergebnissen angezeigt werden. |
|
Diese Seite nach dem angegebenen Zeitpunkt nicht mehr in den Suchergebnissen anzeigen. Datum und Uhrzeit müssen in einem gängigen Format angegeben werden, beispielsweise nach RFC 822, RFC 850 und ISO 8601. Diese Regel wird ignoriert, wenn kein gültiger Zeitpunkt angegeben wurde. Für Inhalte gibt es standardmäßig kein Ablaufdatum. Wenn du diese Regel nicht angibst, wird diese Seite möglicherweise auf unbestimmte Zeit in den Suchergebnissen angezeigt. Nach dem festgelegten Zeitpunkt verringert der Googlebot die Crawling-Frequenz für die URL erheblich. Beispiel: <meta name="robots" content="unavailable_after: 2020-09-21"> |
Umgang mit kombinierten Indexierungs- und Bereitstellungsregeln
Du kannst einen Anweisungsstring aus mehreren robots meta-Tag-Regeln erstellen, indem du die Regeln mit Kommas aneinanderreihst oder mehrere meta-Tags verwendest. Hier ein Beispiel für ein robots meta-Tag, das Web-Crawler anweist, die Seite nicht zu indexieren und keinen der Links auf der Seite zu crawlen:
Durch Kommas getrennte Liste
<meta name="robots" content="noindex, nofollow">
Mehrere meta-Tags
<meta name="robots" content="noindex"> <meta name="robots" content="nofollow">
Hier ist ein Beispiel, das das Text-Snippet auf 20 Zeichen begrenzt und eine große Bildvorschau ermöglicht:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
Wenn mehrere Crawler mit unterschiedlichen Regeln angegeben sind, verwendet die Suchmaschine die Summe der negativen Regeln. Beispiel:
<meta name="robots" content="nofollow"> <meta name="googlebot" content="noindex">
Wenn der Googlebot die Seite mit diesen meta-Tags crawlt, wird sie so behandelt, als würde sie die Regel noindex, nofollow enthalten.
Das HTML-Attribut data-nosnippet
Du kannst auf einer HTML-Seite für bestimmte Textteile angeben, dass diese nicht als Snippet verwendet werden sollen. Auf HTML-Element-Ebene verwendest du dafür das HTML-Attribut data-nosnippet in den Elementen span, div und section. Das data-nosnippet wird als ein boolesches Attribut betrachtet.
Wie bei allen booleschen Attributen werden alle angegebenen Werte ignoriert. Der HTML-Abschnitt muss aus gültigem HTML-Code bestehen und alle Tags müssen entsprechend geschlossen sein, um die Maschinenlesbarkeit zu gewährleisten.
Beispiele:
<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>
<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->
<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->
<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->
<p>This text can be shown in a snippet.</p>
<div data-nosnippet>
<p>However, this is not in snippet.</p>
<ul>
<li>Stuff not in snippet</li>
<li>More stuff not in snippet</li>
</ul>
</div>
In der Regel rendert Google Seiten, um sie zu indexieren. Das Rendern kann jedoch nicht garantiert werden.
Das Extrahieren von data-nosnippet kann daher sowohl vor als auch nach dem Rendern stattfinden. Damit Ungewissheiten in Bezug auf das Rendern vermieden werden, solltest du das data-nosnippet-Attribut bestehender Knoten nicht über JavaScript hinzufügen oder entfernen.
Schließe beim Hinzufügen von DOM-Elementen über JavaScript das Attribut data-nosnippet nach Bedarf ein, wenn du das Element zum ersten Mal dem DOM der Seite hinzufügst. Wenn du benutzerdefinierte Elemente verwendest und data-nosnippet verwenden musst, nutze die Elemente div, span oder section, um sie zusammenzufassen oder zu rendern.
Strukturierte Daten verwenden
Mit Robots meta-Tags wird die Menge der Inhalte gesteuert, die Google automatisch aus Webseiten extrahiert, um sie als Suchergebnisse anzuzeigen. Viele Publisher verwenden jedoch darüber hinaus strukturierte Daten, die auf schema.org-Vorgaben basieren, um bestimmte Informationen für die Präsentation in der Suche verfügbar zu machen. Einschränkungen für Robots meta-Tags wirken sich nicht auf die Verwendung dieser strukturierten Daten aus. Ausgenommen davon sind die Werte article.description und description für strukturierte Daten, die für andere Inhalte vom Typ „CreativeWork“ angegeben wurden. Verwende die max-snippet-Regel, um die maximale Länge einer Vorschau anhand dieser description-Werte anzugeben. Beispielsweise können Daten, die als recipe strukturiert wurden, auf einer Ergebnisseite in das Rezeptkarussell aufgenommen werden, auch wenn die Textvorschau ansonsten eingeschränkt wäre. Du kannst die Länge einer Textvorschau mit max-snippet begrenzen, aber dieses robots meta-Tag wird nicht angewendet, wenn die Informationen mithilfe von strukturierten Daten für Rich-Suchergebnisse bereitgestellt werden.
Wie strukturierte Daten auf deinen Webseiten angezeigt werden, beeinflusst du mit den Angaben, die du für die Typen und Werte der strukturierten Daten machst. Je nachdem, welche Angaben du dabei hinzufügst oder löschst, sind nur genau diese Daten für die Anzeige bei Google verfügbar. Beachte außerdem, dass strukturierte Daten auch dann noch für Suchergebnisse verwendet werden können, wenn sie in einem data-nosnippet-Element deklariert sind.
Praktische Implementierung von X-Robots-Tag
Du kannst das X-Robots-Tag den HTTP-Antworten einer Website über die Konfigurationsdateien der Webserver-Software hinzufügen. Auf Apache-basierten Webservern kannst du beispielsweise .htaccess- und httpd.conf-Dateien verwenden. Die Verwendung eines X-Robots-Tag in Verbindung mit HTTP-Antworten hat den Vorteil, dass du Crawling-Regeln angeben kannst, die für die gesamte Website gelten. Die Unterstützung regulärer Ausdrücke ermöglicht einen hohen Grad an Flexibilität.
Wenn du zum Beispiel ein noindex, nofollow-X-Robots-Tag zur HTTP-Antwort für alle .PDF-Dateien auf einer Website hinzufügen möchtest, fügst du das folgende Snippet in die .htaccess- oder httpd.conf-Stammdatei der Website in Apache oder in die ..conf-Datei der Website in NGINX ein.
Apache
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
Du kannst das X-Robots-Tag bei Nicht-HTML-Dateien wie z. B. Bilddateien einsetzen, bei denen die Verwendung von robots meta-Tags in HTML nicht möglich ist. Hier ist ein Beispiel für das Hinzufügen einer noindex-X-Robots-Tag-Regel für .png-, .jpeg-, .jpg- und .gif-Bilddateien auf der gesamten Website:
Apache
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
NGINX
location ~* \.(png|jpe?g|gif)$ {
add_header X-Robots-Tag "noindex";
}
Du kannst auch die X-Robots-Tag-Header für einzelne statische Dateien festlegen:
Apache
# the htaccess file must be placed in the directory of the matched file. <Files "unicorn.pdf"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location = /secrets/unicorn.pdf {
add_header X-Robots-Tag "noindex, nofollow";
}
Indexierungs- und Bereitstellungsregeln mit robots.txt-Regeln kombinieren
robots meta-Tags und X-Robots-Tag-HTTP-Header werden beim Crawlen einer URL erfasst. Falls eine Seite aufgrund der robots.txt-Datei nicht gecrawlt werden darf, werden mögliche Informationen zur Indexierung oder Bereitstellung nicht gefunden und daher ignoriert. Falls Indexierungs- oder Bereitstellungsregeln befolgt werden müssen, darf kein Crawler daran gehindert werden, die URLs zu crawlen, die diese Regeln enthalten.