Dienstag, 24. April 2007
Als Besitzer einer Website bestimmt ihr, welche Inhalte eurer Site von den Suchmaschinen indexiert werden. Der einfachste Weg, Suchmaschinen darüber zu informieren, was ihr nicht indexiert haben möchtet, ist eine robots.txt-Datei oder ein robots Meta-Tag . Aber manchmal möchtet ihr vielleicht Inhalte entfernen, die bereits im Index vorhanden sind. Wie läßt sich dies am besten erreichen?
Wie immer gilt: Es hängt davon ab, welche Art von Inhalten ihr entfernen wollt. In den Webmaster-Tools könnt ihr eine genaue Beschreibung der verschiedenen Möglichkeiten finden. Beim erneuten Crawlen der jeweiligen Seite wird der Inhalt dann automatisch aus dem Index entfernt. Wenn es jedoch etwas schneller gehen soll und ihr nicht auf den nächsten Crawl warten möchtet, gibt es jetzt eine einfache Lösung.
Für Websites, bei denen ihr in den
Webmaster-Tools
als Besizter verifiziert seid, findet ihr jetzt eine neue Option im Diagnose-Tab „URL-Löschungen“. Um loszulegen, klickt einfach auf
URL-Löschungen
und dann auf
Neuer Antrag auf Entfernung
. Wählt dann die Option, die am besten beschreibt, was ihr entfernen möchtet.
Einzelne URLs: Webseiten, Bilder oder andere Dateien
Wählt diese Option, wenn ihr eine einzelne URL oder z.B. einzelne Bilder entfernen möchtet. Damit eine URL entfernt werden kann, muss eine der folgenden Bedingungen zutreffen:
- Die URL muss durch die robots.txt-Datei vom Crawlen ausgeschlossen sein.
- Die URL muss durch den robots Meta-Tag vom Crawlen ausgeschlossen sein.
Sobald ihr wisst, welche URL entfernt werden soll, fügt ihr diese in das Eingabefeld ein und wählt aus, ob die URL in der Google-Websuche oder in der Google-Bildersuche auftaucht. Dann einfach auf Hinzufügen klicken. Innerhalb eines Antrags könnt ihr bis zu 100 URLs auflisten. Sobald ihr alle URLs, die entfernt werden sollen, hinzugefügt habt, genügt ein Klick auf Antrag auf Entfernung einreichen .
Ein Verzeichnis sowie alle Unterverzeichnisse auf der WebsiteWählt diese Option, wenn ihr alle Dateien und Ordner innerhalb eines Verzeichnisses entfernen wollt. Wenn ihr beispielsweise dieses Verzeichnis entfernen möchtet,
https://www.beispiel.de/meinVerzeichnis
wird diese Angabe alle URLs entfernen, die mit diesem Pfad beginnen, also z.B.:
https://www.beispiel.de/meinVerzeichnis/seite1.html
https://www.beispiel.de/meinVerzeichnis/bilder/bild.jpg
Damit ein Verzeichnis entfernt werden kann, müsst ihr es mittels der robots.txt-Datei sperren. Für das obige Beispiel würde die Datei https://www.beispiel.de/robots.txt z.B. folgendes beinhalten:
User-agent: Googlebot
Disallow: /meinVerzeichnis
Eure gesamte Website
Wählt diese Option nur dann, wenn ihr eure gesamte Website aus dem Google-Index entfernen möchtet. Diese Option dient dazu, alle Unterverzeichnisse und Dateien zu entfernen. Ihr solltet diese Option nicht wählen, um die von euch nicht bevorzugte Domain (mit oder ohne www) aus dem Index zu entfernen. Wenn ihr also z.B. alle eure URLs mit dem „www“-Präfix indexiert haben möchtet, solltet ihr dieses Tool nicht dazu verwenden um die Löschung der Version ohne „www“ zu beantragen. Um dies zu erreichen solltet ihr über das Bevorzugte Domain-Tool einstellen, welche Version ihr im Index haben möchtet (und möglichst auch eine 301 Weiterleitung zur bevorzugten Version einrichten).
Um die Option „Ihre gesamte Website“ zu nutzen, müsst ihr die
Site in der robots.txt-Datei sperren
.
Cache-Kopie eines Google-Suchergebnisses
Wählt diese Option, um Seiten aus dem Google-Cache zu entfernen. Es gibt 2 Möglichkeiten, um Seiten für die Entfernung aus dem Cache vorzubereiten.
Verwenden des Meta-Tags „noarchive“ und die sofortige Entfernung beantragen
Wenn ihr verhindern möchtet, dass eine Seite gecacht wird, könnt ihr den Meta-Tag „noarchive“ auf der Seite hinzufügen und die sofortige Entfernung aus dem Cache mit diesem Tool beantragen. Wenn ihr mit diesem Tool die Entfernung aus dem Cache beantragt, erfolgt die Löschung sofort und durch den hinzugefügten Meta-Tag „noarchive“ wird verhindert, dass die Seite bei zuküftigen Crawls wieder im Cache landet (Falls ihr die jeweilige Seite irgendwann doch wieder im Cache haben wollt, könnt ihr einfach den Meta-Tag „noarchive“ wieder löschen).
Den Inhalt einer Seite verändern
Wenn ihr die gecachte Version einer Seite entfernt haben wollt, weil sie Dinge enthält, die auf der Live-Seite nicht mehr vorhanden sind und ihr diese Inhalte nicht indexiert haben möchtet, könnt ihr an dieser Stelle die Entfernung der entsprechenden Seite aus dem Cache anfordern. Wir prüfen dann, ob sich der Inhalt der Live-Seite vom Inhalt der gecachten Version unterscheidet und entfernen in diesem Fall dann die gecachte Version. Nach 6 Monaten stellen wir automatisch wieder eine gecachte Version der jeweiligen Seite zur Verfügung (bis zu diesem Zeitpunkt wurde eure Seite mit großer Wahrscheinlichkeit erneut gecrawlt, so das die Cache-Version dann den aktuellen Stand der Seite wiederspiegelt). Falls ihr feststellt, dass wir die Seite bereits früher gecrawlt haben, könnt ihr mit diesem Tool anfordern, dass wir die neue gecachte Version bereits früher zur Verfügung stellen.
Den aktuellen Stand eines Antrags auf Entfernung abfragen
Die Anträge auf Entfernung werden als „Ausstehend“ angezeigt, bis sie bearbeitet wurden. Dann wechselt der Status entweder auf „Abgelehnt“ oder „Entfernt“. Im Allgemeinen wird ein Antrag abgelehnt, wenn er nicht den beschriebenen Anforderungen für die Entfernung entspricht.
Inhalte wieder hinzufügen
Wenn ein Antrag auf Entfernung erfolgreich war, seht ihr einen entsprechenden Eintrag im „Entfernter Inhalt“ – Tab. Die jeweiligen Inhalte können jederzeit wieder unserem Index hinzugefügt werden, indem ihr die Sperre in der robots.txt oder im robots Meta-Tag entfernt und auf wieder hinzufügen klickt. Ansonsten bleibt der Inhalt zunächst für 6 Monate entfernt. Falls nach den 6 Monaten der betreffende Inhalt immer noch gesperrt ist (robots.txt oder robots Meta-Tag) oder eine 404 oder 410 Status-Meldung zeigt, wird der Inhalt beim nächsten Crawl nicht dem Index hinzugefügt. Wenn der Inhalt nach den 6 Monaten jedoch für unsere Crawler sichtbar ist, wird der Inhalt erneut indexiert.
Antrag auf Entfernung von fremden Inhalten
Aber was ist, wenn ihr Inhalte auf einer Website, die nicht eure ist, entfernt haben wollt? Es ist jetzt auch einfacher geworden, dies zu erreichen. Unser neues Tool zum Entfernen von Webseiten führt euch Schritt für Schritt zum passenden Antrag auf Entfernung.
Da Google das Web nur indexiert, aber keinen Einfluss auf die Inhalte von Webseiten hat, können wir Einträge in unserem Index nur entfernen, wenn der jeweilige Webmaster die Inhalte gesperrt, verändert oder ganz entfernt hat. Wenn ihr bestimmte Inhalte entfernt haben wollt, solltet ihr euch an den jeweiligen Besitzer der Website wenden und anschliessend könnt ihr dieses Tool nutzen, um die Entfernung der Inhalte zu beschleunigen.
Falls ihr Suchergebnisse bekommt, die bestimmte Arten von persönlichen Daten enthalten, könnt ihr sogar einen Antrag auf Entfernung stellen, wenn es euch nicht möglich ist, den Fall mit dem Eigentümer der Webseite zu klären. Bei dieser Art von Antrag auf Entfernung müsst ihr nur eure Email-Adresse angeben, so dass wir euch direkt kontaktieren können.
Wenn ihr Suchergebnisse erhalten habt, die bei eingeschaltetem SafeSearch-Filter nicht erscheinen sollten, könnt ihr uns mit diesem Tool ebenfalls darüber informieren.
Ihr könnt den aktuellen Status von ausstehenden Anträgen prüfen und - wie bei der Version in den Webmaster-Tools - wird der Status automatisch auf „Entfernt“ oder „Abgelehnt“ gesetzt, sobald der Antrag bearbeitet wurde. Falls ein Antrag abgelehnt wurde, bedeutet dies, dass der Antrag nicht den Anforderungen für die Entfernung entsprochen hat. Bei Anträgen, bei denen es um persönliche Daten geht, wird der aktuelle Status nicht an dieser Stelle angezeigt, vielmehr erhaltet ihr von uns eine Email, die euch über die weiteren Schritte informiert.
Was passiert mit dem bisherigen Tool zum Entfernen von URLs?
Falls ihr in der Vergangenheit bereits Anträge über dieses Tool gestellt habt, könnt ihr euch immer noch dort einloggen und den Status dieser Anträge prüfen. Verwendet für neue Anträge aber bitte nur noch die neue, verbesserte Version des Tools.
Original
Post von Vanessa Fox (Übersetzung von Sven, Search Quality)