Indexieren: was in den Index kommt und was nicht

Modul 1: Wie Suchmaschinen funktionieren · Lesezeit: 11 Minuten

Lernziel: Nach dieser Lektion können Sie für eine Seite beurteilen, ob sie in den Index kommen kann, und falls nicht, welche der vier „Sperren“ sie aufhält: der Statuscode, robots.txt, noindex oder der Canonical.

Kernbegriffe: Indexieren, technische Anforderungen von Google, noindex (Meta-Robots und X-Robots-Tag), robots.txt ist kein noindex, Kanonisierung, doppelte Inhalte, Soft 404, „Gecrawlt, zurzeit nicht indexiert“, „Gefunden, zurzeit nicht indexiert“, keine Garantie

Was beim Indexieren passiert

Nachdem der Crawler eine Seite abgerufen hat (Lektion 1.2), liest die Suchmaschine sie. Google analysiert den Text, den Titel, die Überschriften, Bilder und Videos und bestimmt, in welcher Sprache die Seite ist. Außerdem prüft Google, ob die Seite eine Kopie einer anderen Seite ist und welche dieser Kopien die „echte“ ist. Erst danach entscheidet Google, ob die Seite in den Index kommt.

Google sagt dazu zwei Dinge, die Sie sich gut merken sollten:

• Die Aufnahme ist nicht garantiert. Auch wenn Ihre Seite alle Anforderungen erfüllt, kann Google beschließen, sie nicht aufzunehmen.
• Es ist normal, dass nicht alles aufgenommen wird. Google schreibt in der Hilfe zum Indexierungsbericht wörtlich, dass Sie nicht erwarten sollten, dass jede Adresse Ihrer Website indexiert ist, und dass das völlig in Ordnung sein kann. Es geht um Ihre wichtigen Seiten.

Die drei technischen Anforderungen

Google nennt drei technische Anforderungen, um für den Index infrage zu kommen:

1. Googlebot wird nicht blockiert. Die Seite ist erreichbar und robots.txt verbietet das Abrufen nicht.
2. Die Seite funktioniert. Der Server liefert den Statuscode 200, keinen Fehler.
3. Die Seite hat indexierbare Inhalte. Text in einem Dateiformat, das Google lesen kann, und kein Verstoß gegen die Spamrichtlinien.

In der Praxis kommen zwei Entscheidungen des Website-Inhabers hinzu: ein noindex („nimm das nicht auf“) und ein Canonical, der auf eine andere Adresse verweist („nicht diese, sondern jene“). Zusammen ergibt das vier Sperren, die eine Seite passieren muss.

Sperre 1: der Statuscode

Nur eine Seite mit Status 200 kann in den Index kommen. Ein 301 oder 308 leitet die Suchmaschine zur neuen Adresse weiter; dann wird diese neue Adresse beurteilt. Ein 404 oder 410 entfernt eine zuvor aufgenommene Adresse aus dem Index.

Die knifflige Variante ist der Soft 404 aus Lektion 1.2: Status 200, aber der Inhalt ist eine Fehlermeldung oder eine fast leere Seite. Google erkennt das oft und nimmt eine solche Seite nicht auf. Auch eine leere Kategorieseite in einem Onlineshop („keine Produkte gefunden“) kann als Soft 404 gewertet werden.

Sperre 2: robots.txt

Mit robots.txt verbieten Sie einem Crawler, eine Seite abzurufen. Das ist etwas anderes, als zu verbieten, sie aufzunehmen. Google ist da eindeutig: robots.txt ist kein Mittel, um eine Seite aus Google herauszuhalten. Verlinken andere Websites auf eine blockierte Seite, kann die Adresse trotzdem in den Ergebnissen erscheinen, nur ohne Beschreibung. In der Search Console heißt das „Indexiert, obwohl durch robots.txt-Datei blockiert“.

robots.txt dient dazu, den Crawling-Verkehr zu steuern: zum Beispiel, um zu verhindern, dass ein Crawler Tausende Suchergebnisseiten Ihrer eigenen Website abgrast. Lektion 3.3 geht genauer darauf ein.

Sperre 3: noindex

Wenn Sie wirklich wollen, dass eine Seite nicht in den Suchergebnissen erscheint, verwenden Sie noindex. Das geht auf zwei Arten, mit derselben Wirkung:

<!-- im <head> der Seite -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Die zweite ist eine HTTP-Kopfzeile, die der Server mitsendet. Sie funktioniert auch für Dateien, die kein HTML sind, zum Beispiel ein PDF. Der Wert none bedeutet dasselbe wie noindex, nofollow. Mit <meta name="googlebot" content="noindex"> gilt die Regel nur für Google; andere Suchmaschinen können eine allgemeine Regel anders auslegen.

Jetzt kommt die Stolperfalle, die sehr häufig vorkommt: noindex und eine Sperre in robots.txt funktionieren nicht zusammen. Wenn robots.txt die Seite blockiert, ruft Google sie nicht ab und sieht das noindex daher nie. Die Seite kann dann über Links von anderen trotzdem in den Index gelangen. Wenn Sie eine Seite aus Google heraushaben möchten: Lassen Sie sie abrufen und setzen Sie noindex darauf.

Wo begegnet Ihnen noindex unbeabsichtigt?

• In WordPress gibt es unter Einstellungen, Lesen das Häkchen „Suchmaschinen davon abhalten, diese Website zu indexieren“. Das setzt ein noindex auf die gesamte Website. Praktisch während des Aufbaus, verheerend, wenn Sie vergessen, es wieder auszuschalten.
• Im AI Builder können Sie eine Website oder Seite auf „nicht indexieren“ stellen; dann steht ein noindex, nofollow in der Seite. Auch eine kostenlose Demo-Website wird nie indexiert.
• Ein SEO-Plugin oder Theme mit einer falschen Einstellung pro Seite oder pro Seitentyp.

Andere Website-Baukästen haben vergleichbare Schalter, oft mit einem Namen wie „vor Suchmaschinen verbergen“.

Sperre 4: der Canonical

Viele Websites haben dieselbe Seite unter mehreren Adressen: mit und ohne www, mit http und https, mit einem angehängten Parameter wie ?utm_source=nieuwsbrief. Google wählt aus solchen Gruppen eine Adresse als kanonische Version und zeigt nur diese Adresse in den Ergebnissen. Die anderen sind Duplikate.

Sie können Google bei der Wahl helfen, mit einer Weiterleitung (ein starkes Signal) oder mit einem Canonical-Verweis in der Seite:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Ein Canonical ist ein Signal, kein Befehl: Google kann eine andere Adresse wählen. Verweist Ihr Canonical auf eine andere Adresse, sagt die Seite selbst: „Nimm nicht mich auf, sondern die andere.“ Das ist gut, wenn es stimmt, und ein Problem, wenn es ein Versehen ist, zum Beispiel wenn jede Seite auf die Startseite verweist. Lektion 3.5 geht näher darauf ein.

Doppelte Inhalte auf Ihrer eigenen Website sind laut Google kein Verstoß gegen die Spamrichtlinien und führen nicht zu einer manuellen Maßnahme. Sie sind aber ineffizient: Crawler rufen dasselbe mehrfach ab, und Sie bestimmen nicht selbst, welche Adresse in den Ergebnissen steht.

Die Meldungen in der Search Console

Im Bericht Seiten der Search Console (Lektion 2.4) sehen Sie für jede nicht indexierte Seite einen Grund. Die vier Sperren tauchen dort alle wieder auf:

Die letzten beiden sind kein technischer Fehler. „Gecrawlt, zurzeit nicht indexiert“ kommt häufig vor; Google sagt, dass das nicht immer ein Problem ist. Handelt es sich um eine wichtige Seite, prüfen Sie, ob sie wirklich etwas beiträgt: Eine einzigartige, nützliche Seite hat bessere Chancen als eine dünne Seite, die zehn anderen ähnelt.

Zusammenfassung

• Nach dem Crawlen entscheidet die Suchmaschine, ob eine Seite in den Index kommt; das ist nie garantiert, und nicht alles muss hinein.
• Vier Sperren: Status 200, nicht in robots.txt blockiert, kein noindex, Canonical fehlt oder verweist auf sich selbst.
• robots.txt verbietet das Abrufen, nicht die Aufnahme. Verwenden Sie noindex, um etwas aus den Ergebnissen herauszuhalten, und blockieren Sie diese Seite dann nicht in robots.txt.
• Ein Canonical ist ein starkes Signal, kein Befehl. Doppelte Inhalte sind kein Spam, aber ineffizient.
• „Gecrawlt, zurzeit nicht indexiert“ ist kein technischer Fehler; achten Sie auf den Wert der Seite.

Quiz

Aufgabe

Aufgabe A1.3: Darf diese Seite in den Index? Geben Sie die Adresse einer Seite ein (eine Seite Ihrer eigenen Website oder eine Seite, die Sie bewusst verbergen, zum Beispiel eine Dankesseite). Wählen Sie danach Ihre Erwartung: „darf in den Index“ oder „darf nicht in den Index“, und wenn Sie „darf nicht“ wählen, welche Sperre sie aufhält (Statuscode, robots.txt, noindex, Canonical auf eine andere Adresse). Das Programm prüft die vier Sperren wie in dieser Lektion und stellt sein Ergebnis neben Ihres.

Weiterführende Links

• Google, Technische Anforderungen der Google Suche: https://developers.google.com/search/docs/essentials/technical
• Google, Indexierung mit noindex blockieren: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Einführung in robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Doppelte URLs zusammenführen (Kanonisierung): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Console-Hilfe, Bericht zur Seitenindexierung: https://support.google.com/webmasters/answer/7440203