Sitemap und robots.txt bei WordPress und Ihrer eigenen Website

Eine Sitemap ist eine Liste der Adressen, die Sie in Suchmaschinen haben möchten. Eine robots.txt teilt Suchmaschinen mit, welche Adressen sie nicht besuchen dürfen und wo Ihre Sitemap liegt. So prüfen Sie beides bei WordPress und bei einer Website, die Sie selbst erstellen.

WordPress

WordPress erstellt seit Version 5.5 selbst eine Sitemap und eine robots.txt:

• Die Sitemap finden Sie unter https://jouwdomein.nl/wp-sitemap.xml.
• Die robots.txt ist virtuell: In Ihrem Webordner liegt keine Datei, aber WordPress zeigt sie unter https://jouwdomein.nl/robots.txt an, mit einem Verweis auf die Sitemap.
• Nutzen Sie ein SEO-Plugin wie Yoast SEO oder Rank Math? Dann erstellt dieses oft eine eigene Sitemap, zum Beispiel sitemap_index.xml. Die Adresse finden Sie in den Einstellungen des Plugins. Diese Adresse reichen Sie bei Google und Bing ein.

Eine Standard-robots.txt von WordPress sieht ungefähr so aus:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Hält WordPress Suchmaschinen fern?

1. Melden Sie sich bei WordPress an und gehen Sie zu Einstellungen und dann Lesen.
2. Achten Sie bei der Sichtbarkeit für Suchmaschinen auf das Häkchen Suchmaschinen davon abhalten, diese Website zu indexieren.
3. Dieses Häkchen muss deaktiviert sein. Klicken Sie auf Änderungen speichern.

Ist das Häkchen gesetzt, bittet WordPress Suchmaschinen, Ihre gesamte Website zu überspringen. Es wird oft während der Entwicklung aktiviert und danach vergessen.

Mehr zur Auffindbarkeit in WordPress lesen Sie in Auffindbarkeit: die Grundlagen.

Eine eigene robots.txt

Legen Sie selbst eine Datei robots.txt in Ihrem Webordner ab, hat diese Vorrang vor der virtuellen robots.txt von WordPress. Bei einem Hostingpaket von WebOké ist der Webordner public_html Ihrer Domain. Sie legen die Datei dort mit dem Dateimanager in DirectAdmin ab (siehe Dateimanager öffnen: die Ordner in Ihrem Paket) oder per FTP.

Eine einfache robots.txt, die alles erlaubt und auf Ihre Sitemap verweist:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Eine Website, die Sie selbst erstellen

Erstellen Sie Ihre Website selbst oder mit einem anderen Programm? Prüfen Sie dann, ob dieses Programm eine Sitemap erstellt. Falls nicht, geht es auch ohne: Eine kleine Website mit guten Links zwischen den Seiten wird ebenfalls gefunden. Eine Sitemap hilft aber. Legen Sie sie in Ihrem Webordner ab und nennen Sie sie in Ihrer robots.txt, wie oben gezeigt.

Überprüfen

• Öffnen Sie https://jouwdomein.nl/robots.txt. Steht dort Disallow: / unter User-agent: *? Dann darf keine Suchmaschine Ihre Website besuchen. Entfernen Sie diese Zeile, sobald Ihre Website fertig ist.
• Gibt es eine Zeile Sitemap:? Öffnen Sie diese Adresse in Ihrem Browser. Sie sollten eine Liste mit Adressen Ihrer Website sehen, mit https und Ihrer eigenen Domain.

Tipp: Eine robots.txt hält eine Seite nicht aus Google heraus. Eine Seite, die nicht besucht werden darf, kann trotzdem in den Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken. Möchten Sie eine Seite wirklich aus Google heraushalten, verwenden Sie ein noindex. Den Unterschied erfahren Sie in der Lektion robots.txt: was Sie blockieren und was nicht des Kurses Online gefunden werden.