Eine Seite aus Google heraushalten: robots.txt oder noindex?
Möchten Sie eine Seite nicht bei Google haben, zum Beispiel eine Dankeseite, eine Testseite oder eine alte Aktion? Dann denken viele Menschen an die Datei robots.txt. Aber robots.txt hält eine Seite nicht aus Google heraus. Dafür ist noindex da. In diesem Artikel lesen Sie den Unterschied, wie Sie beides verwenden und was Sie mit einer Seite tun, die Sie gelöscht haben. Wir verwenden example.com als Beispiel.
Der Unterschied kurz erklärt
| robots.txt | noindex | |
|---|---|---|
| Was es sagt | "Diese Seite nicht abrufen." | "Diese Seite nicht in die Suchergebnisse aufnehmen." |
| Hält es eine Seite aus Google heraus? | Nein. Verlinken andere auf die Seite, kann die Adresse trotzdem erscheinen, ohne Beschreibung. | Ja, sobald Google die Seite erneut besucht hat. |
| Wo steht es? | Eine Datei unter https://example.com/robots.txt | In der Seite selbst oder als Kopfzeile, die der Server mitsendet |
| Wofür verwenden Sie es? | Den Crawl-Verkehr steuern, zum Beispiel Suchergebnisseiten Ihrer eigenen Website überspringen | Seiten, die erreichbar bleiben, aber nicht bei Google gehören |
Keines von beiden ist eine Absicherung. Jeder kann Ihre robots.txt lesen, und eine Seite mit noindex bleibt ganz normal erreichbar. Muss etwas wirklich geschützt sein, stellen Sie es hinter ein Passwort. Siehe Einen Ordner mit einem Passwort in DirectAdmin schützen.
noindex verwenden
Setzen Sie diese Zeile in den <head> der Seite:
<meta name="robots" content="noindex">
Für Dateien ohne HTML, wie ein PDF, kann der Server dieselbe Anweisung als Kopfzeile mitsenden: X-Robots-Tag: noindex. Der Effekt ist derselbe.
Meistens müssen Sie dies nicht selbst eingeben:
- KI Bouwer: Öffnen Sie den Bereich SEO, wählen Sie die Seite aus und schalten Sie unter Mehr für diese Seite den Schalter Diese Seite in Google auffindbar aus. Die Seite bleibt erreichbar, erhält aber ein noindex. Veröffentlichen Sie anschließend erneut.
- WordPress: Ein SEO-Plugin hat pro Seite eine Einstellung, um die Seite nicht indexieren zu lassen. Das Häkchen Suchmaschinen vom Indexieren dieser Website abhalten unter Einstellungen, Lesen gilt für die gesamte Website.
- Andere Website-Baukästen: Suchen Sie nach einer Einstellung wie "Vor Suchmaschinen verbergen".
robots.txt erstellen oder bearbeiten
Bei einem Hostingpaket steht robots.txt im Webordner Ihrer Domain, bei DirectAdmin im Ordner public_html. Sie erstellen oder bearbeiten die Datei über die Dateiverwaltung oder FTP, siehe Dateiverwaltung öffnen: die Ordner in Ihrem Paket. Ein Beispiel:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *gilt für alle Suchroboter.Disallow:mit einem Pfad verbietet alles, was mit diesem Pfad beginnt.Disallow: /verbietet die gesamte Website.- Erstellen Sie auch eine Gruppe
User-agent: Googlebot, folgt Google nur dieser Gruppe und ignoriert die Gruppe*. Wiederholen Sie dort also alle Regeln, die auch für Google gelten. - Blockieren Sie keine Ordner mit Stylesheets, Skripten oder Bildern, die Ihre Seite benötigt.
- Keine robots.txt ist kein Problem: Dann ist alles erlaubt. Gibt die Adresse einen Serverfehler zurück, stoppt Google vorübergehend das Abrufen.
WordPress erstellt selbst eine robots.txt, solange keine Datei im Webordner vorhanden ist. Der KI Bouwer setzt beim Veröffentlichen selbst eine robots.txt mit einer Sitemap:-Zeile.
Google speichert Ihre robots.txt meist bis zu 24 Stunden. In der Search Console finden Sie unter Einstellungen den robots.txt-Bericht: welche Version Google zuletzt abgerufen hat, mit Fehlern und Warnungen, sowie eine Schaltfläche, um sie erneut abrufen zu lassen.
Eine gelöschte Seite: 404 oder 410, kein Soft 404
Haben Sie eine Seite gelöscht, sollte die Adresse den Statuscode 404 (nicht gefunden) oder 410 (verschwunden) zurückgeben. Beim nächsten Besuch entfernt Google die Adresse dann aus den Suchergebnissen. Hat die Seite einen Nachfolger, leiten Sie die alte Adresse mit einer 301 an diese neue Seite weiter, siehe Site Omleiden: eine Domain oder Seite weiterleiten.
Ein Soft 404 ist eine Seite, die angibt, dass sie nicht vorhanden oder fast leer ist, aber trotzdem den Code 200 (gefunden) zurückgibt. Google erkennt das oft und nimmt eine solche Seite nicht auf. In der Search Console sehen Sie das als Grund Soft 404. Auch alle gelöschten Seiten zu Ihrer Startseite weiterzuleiten, kann als Soft 404 gelten. Lassen Sie eine Seite, die wirklich weg ist, also einen echten 404 oder 410 zurückgeben.
Muss eine Seite schnell aus den Ergebnissen entfernt werden, zum Beispiel weil versehentlich personenbezogene Daten darauf standen? Verwenden Sie dann Entfernungen in der Search Console. Das wirkt vorübergehend, etwa sechs Monate. Sorgen Sie daher auch dafür, dass die Seite ein 404, 410, Passwort oder noindex erhält.
Weiterlesen
- Google: Indexierung mit noindex blockieren (Englisch)
- Google: Einführung in robots.txt (Englisch)
- Google: robots.txt-Bericht
- Dateien über .htaccess blockieren
Verwenden Sie WordPress? In der Lektion Auffindbarkeit: die Grundlagen des kostenlosen WordPress-Kurses lesen Sie mehr über robots.txt und das Häkchen Suchmaschinen vom Indexieren abhalten.