Crawlen: Wie eine Suchmaschine Ihre Website findet

Modul 1: Wie Suchmaschinen funktionieren · Lesezeit: 11 Minuten

Lernziel: Nach dieser Lektion können Sie beschreiben, wie ein Crawler neue Seiten entdeckt, auf welche Statuscodes er stößt und was diese bedeuten, und was einen Crawler aufhält.

Kernbegriffe: Crawler (Googlebot, Bingbot), Links folgen, Sitemap, HTTP-Statuscode (200, 301, 302, 404, 410, 429, 5xx), Weiterleitung, Crawlbudget, JavaScript und Rendern, verwaiste Seite, robots.txt

Was ein Crawler ist

Ein Crawler (auch Spider oder Bot genannt) ist ein Programm, das Webseiten abruft, genau wie Ihr Browser, aber automatisch und in riesigem Umfang. Google hat den Googlebot, Bing den Bingbot. Sie fragen eine Adresse an, erhalten das HTML zurück, lesen, welche Links darin stehen, und setzen diese neuen Adressen auf ihre Liste, um sie später abzurufen.

Laut Google besucht der Googlebot eine Website im Durchschnitt nicht öfter als einmal alle paar Sekunden, und die meisten Anfragen kommen von der Smartphone-Version des Googlebot. Google betrachtet Ihre Website also vor allem so, wie ein Telefon sie sieht. Darauf kommt Lektion 4.2 zurück.

Ein Crawler kann sich auch als Googlebot ausgeben: Der Name (der User-Agent) lässt sich leicht nachahmen. Google empfiehlt, einen verdächtigen Besuch mit einer umgekehrten DNS-Abfrage (Reverse DNS Lookup) der IP-Adresse zu prüfen. Das ist nützlich, wenn Sie in Ihrem Serverprotokoll einen "Googlebot" sehen, der seltsame Dinge tut.

Wie ein Crawler neue Seiten findet

Google nennt drei Wege:

1. Bereits bekannte Seiten erneut besuchen. Dort sieht er Änderungen und neue Links.
2. Links folgen. Ein Link von einer Seite, die Google bereits kennt, zu einer neuen Seite ist der wichtigste Weg, gefunden zu werden. Das gilt für Links innerhalb Ihrer eigenen Website (Ihr Menü, ein Link in einem Text) und für Links von anderen Websites.
3. Eine Liste, die Sie selbst bereitstellen: die Sitemap. Eine Sitemap ist eine Datei mit den Adressen Ihrer Seiten. Sie reichen sie in der Search Console ein oder tragen sie in die robots.txt ein (Lektion 3.4). Eine Sitemap ist laut Google nicht vorgeschrieben, aber nützlich, vor allem für neue Websites mit noch wenigen Links, große Websites und Seiten, die tief in der Website liegen.

Links müssen echte Links sein

Google kann einem Link nur folgen, wenn es ein gewöhnliches <a>-Element mit einem href ist:

<a href="/bruidsboeketten">Bruidsboeketten</a>          <!-- gut -->
<span onclick="ga('/bruidsboeketten')">Bruidsboeketten</span>   <!-- für Google kein Link -->

Eine Schaltfläche, die nur mit JavaScript auf eine andere Seite springt, ist für einen Crawler kein Link. Eine Seite, auf die von nirgendwo verlinkt wird, heißt verwaiste Seite (Orphan Page). Ein Crawler findet sie nur über die Sitemap, und auch Besucher finden sie schwer. Eine neue Seite sollte also immer irgendwo in Ihrem Menü oder in einem Text verlinkt sein.

JavaScript: erst abrufen, später ausführen

Viele moderne Websites bauen die Seite mit JavaScript im Browser auf. Google kommt damit zurecht: Es führt JavaScript mit einer aktuellen Version von Chromium aus, der Grundlage des Chrome-Browsers. Das nennt man Rendern. Google beschreibt für solche Seiten drei Phasen: Crawlen, Rendern und Indexieren. Seiten mit dem Status 200 kommen in eine Warteschlange, um gerendert zu werden.

Zwei Folgen:

• Was erst durch JavaScript auf die Seite kommt, sieht Google später als das, was direkt im HTML steht.
• Nicht jeder Crawler führt JavaScript aus. Das sagt Google auch selbst. Texte, Titel und Links, die direkt im HTML stehen, sind also für alle Suchmaschinen am sichersten. Google nennt HTML, das auf dem Server erzeugt wird, "nach wie vor eine gute Idee".

Die automatischen Prüfungen in diesem Kurs lesen das HTML so, wie der Server es sendet, ohne JavaScript. Was Sie in Ihrem Browser sehen, kann davon abweichen.

Statuscodes: was der Server antwortet

Zu jeder Seite sendet der Server einen Statuscode mit. Sie sehen ihn nicht auf dem Bildschirm, aber ein Crawler liest ihn als Erstes:

Achten Sie auf den Soft 404: eine Seite, die "nicht gefunden" anzeigt, aber den Status 200 liefert. Für den Crawler wirkt sie wie eine echte Seite, für den Besucher nicht. Die Search Console meldet solche Seiten gesondert. Eine gelöschte Seite sollte also einen echten 404 oder 410 liefern oder mit einem 301 auf einen Ersatz weiterleiten.

Einer Weiterleitungskette (http nach https nach www nach der neuen Seite) folgt Google zwar, bis zu etwa zehn Schritten, aber jeder Schritt kostet Zeit. Lektion 4.1 zeigt, wie Sie das in einem Schritt erledigen.

Was einen Crawler aufhält

Google nennt als Ursachen dafür, dass eine Seite nicht gecrawlt wird: Probleme mit dem Server, Netzwerkprobleme und Regeln in der robots.txt, die dem Googlebot den Zugriff verbieten. In der Praxis sehen Sie außerdem:

• eine Website, die noch im "Wartungsmodus" ist oder hinter einem Passwort liegt;
• in WordPress das Häkchen "Suchmaschinen davon abhalten, diese Website zu indexieren", das ein noindex setzt (das ist Schritt 2, aber die Wirkung ist dieselbe: nicht auffindbar);
• eine Sicherheitslösung oder Firewall, die unbekannte Bots mit 403 oder 429 abweist;
• eine Website, die sich nur über JavaScript-Schaltflächen bedienen lässt.

Die robots.txt bekommt eine eigene Lektion (3.3). Für jetzt genügt: Es ist eine Textdatei unter https://www.example.com/robots.txt, die festlegt, welche Bereiche Ihrer Website ein Crawler nicht abrufen darf.

Crawlbudget: für die meisten Websites kein Thema

Online lesen Sie viel über das Crawlbudget: wie viele Seiten Google auf Ihrer Website abrufen will und kann. Google sagt, dass der Leitfaden dazu für große Websites gedacht ist, als grobe Schätzung mit mehr als einer Million Seiten oder mehr als zehntausend Seiten, die sich täglich ändern. Werden Ihre neuen Seiten schon am Tag der Veröffentlichung abgerufen, müssen Sie sich nicht damit befassen. Für eine Website wie die von Bloemenatelier Lotte mit dreißig Seiten ist es kein Thema. Eine aktuelle Sitemap und ab und zu ein Blick in den Bericht zur Seitenindexierung genügen.

In der Praxis: Ihr Serverprotokoll

In DirectAdmin und vergleichbaren Panels können Sie das Zugriffsprotokoll Ihrer Website ansehen. Suchen Sie nach "Googlebot" oder "bingbot", und Sie sehen, welche Seiten abgerufen wurden und welchen Statuscode sie erhielten. Sehen Sie dort viele 404- oder 5xx-Fehler, wissen Sie, wo Sie anfangen müssen. Bei anderen Anbietern finden Sie die Protokolle meist unter einem ähnlichen Namen im Kundenpanel.

Zusammenfassung

• Ein Crawler ruft Seiten ab und findet neue Adressen über Links und über Ihre Sitemap.
• Nur echte <a href>-Links werden verfolgt; eine Seite ohne Links dorthin ist verwaist.
• Google führt JavaScript aus, aber später; andere Crawler oft gar nicht. Wichtige Inhalte gehören ins HTML.
• Der Statuscode bestimmt, was ein Crawler tut: 200 verarbeiten, 301 umziehen, 404/410 entfernen, bei 5xx und 429 langsamer crawlen.
• Das Crawlbudget spielt nur bei sehr großen oder sich sehr schnell ändernden Websites eine Rolle.

Quiz

Aufgabe

Aufgabe A1.2: Was sieht ein Crawler auf Ihrer Startseite? Geben Sie die Adresse Ihrer Website ein (oder www.wikipedia.org, wenn Sie keine eigene Website haben). Geben Sie danach ein, was Sie erwarten: den Statuscode der endgültigen Seite, die Adresse, bei der Sie nach den Weiterleitungen landen, und ob ein noindex gesetzt ist. Das Programm ruft die Startseite wie ein Crawler ab, ohne JavaScript, und zeigt die Weiterleitungskette, den Statuscode, die Anzahl echter Links auf Ihre eigene Website im HTML und ob der Text der Seite ohne JavaScript lesbar ist.

Weiterführende Links

Die Schritte in diesen Artikeln gelten für die Panels von WebOké; bei anderen Anbietern funktioniert es ähnlich.

• DirectAdmin Anleitung 4.7: Weiterleitungen: ein Domain oder eine Seite weiterleiten
• DirectAdmin Anleitung 17.2: Website-Übersicht und Protokolle: das Fehler-Protokoll und das Zugriffsprotokoll
• Besucher verpflichtend zu https weiterleiten
• Google, Auswirkungen von HTTP-Statuscodes und Netzwerkfehlern auf die Google Suche: https://developers.google.com/search/docs/crawling-indexing/http-network-errors
• Google, Grundlagen von JavaScript-SEO: https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
• Google, Crawlbudget für große Websites: https://developers.google.com/crawling/docs/crawl-budget