KI-Crawler zulassen oder blockieren: robots.txt und llms.txt
KI-Dienste wie ChatGPT, Claude, Gemini und Perplexity rufen Webseiten ab: um Modelle zu trainieren, um Suchantworten zu liefern oder um eine Frage eines Nutzers zu beantworten. Mit robots.txt legen Sie fest, welche dieser Robots Ihre Website besuchen dürfen. Außerdem gibt es den Vorschlag llms.txt. In diesem Artikel erfahren Sie, welche Robots es gibt, wie Sie sie zulassen oder blockieren und was llms.txt leistet und was nicht. Wir verwenden example.com als Beispiel.
1. Die wichtigsten KI-Robots
Die meisten KI-Unternehmen verwenden eigene Namen für das Training, die Suche und den Abruf im Auftrag eines Nutzers. So können Sie zum Beispiel das Training blockieren und trotzdem in Suchantworten erscheinen.
| Name in robots.txt | Von | Wofür |
|---|---|---|
GPTBot | OpenAI | Seiten sammeln, die zum Trainieren von Modellen verwendet werden können |
OAI-SearchBot | OpenAI | Die Suchfunktion von ChatGPT. Blockieren Sie diesen, erscheint Ihre Website nicht in den Suchantworten von ChatGPT |
ChatGPT-User | OpenAI | Eine Seite abrufen, wenn ein Nutzer darum bittet. Laut OpenAI gilt robots.txt hier möglicherweise nicht |
ClaudeBot | Anthropic | Seiten sammeln, die zum Trainieren von Modellen verwendet werden können |
Claude-SearchBot | Anthropic | Seiten für die Suchfunktion von Claude indexieren |
Claude-User | Anthropic | Eine Seite abrufen, wenn ein Nutzer darum bittet |
Google-Extended | Kein eigener Robot, sondern ein Name, mit dem Sie angeben, ob Google Ihre Inhalte für das Training von Gemini-Modellen und für Grounding verwenden darf. Laut Google hat dies keinen Einfluss auf Ihre Platzierung in der Google Suche | |
PerplexityBot | Perplexity | Websites in den Suchergebnissen von Perplexity anzeigen und verlinken, nicht für das Training |
Perplexity-User | Perplexity | Eine Seite abrufen, wenn ein Nutzer darum bittet. Laut Perplexity ignoriert dieser robots.txt in der Regel |
Die Liste ändert sich regelmäßig. Die aktuellen Namen finden Sie in der Dokumentation von OpenAI, Anthropic, Google und Perplexity.
2. Eine Beispiel-robots.txt
Dieses Beispiel blockiert das Trainieren von Modellen, lässt aber Such-Robots und normale Suchmaschinen zu:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Ein Robot folgt nur der Gruppe mit seinem eigenen Namen und andernfalls der Gruppe
*. Im Beispiel darf GPTBot also nirgendwohin, undDisallow: /winkelmand/gilt nicht für GPTBot. - Möchten Sie alle KI-Robots zulassen, müssen Sie nichts tun: Ohne Regeln ist alles erlaubt.
- Blockieren Sie versehentlich einen Such-Robot wie
OAI-SearchBot,Claude-SearchBotoderPerplexityBot, werden Sie in diesen KI-Suchdiensten schlechter gefunden. - Das Blockieren wirkt nur für die Zukunft. Was bereits abgerufen wurde, holen Sie damit nicht zurück.
public_html Ihrer Domain. Sie erstellen oder bearbeiten die Datei über den Dateimanager oder per FTP. WordPress erzeugt selbst eine robots.txt, solange keine Datei vorhanden ist, und der AI Builder legt beim Veröffentlichen selbst eine an. Wie robots.txt sonst funktioniert, lesen Sie in Eine Seite aus Google heraushalten: robots.txt oder noindex?.3. Was ist llms.txt?
llms.txt ist ein Vorschlag aus dem Jahr 2024 für eine Textdatei unter https://example.com/llms.txt. Darin hinterlegen Sie in Markdown eine kurze Beschreibung Ihrer Website und Links zu den wichtigsten Seiten, damit ein KI-Dienst schnell sieht, wo die relevanten Informationen stehen. Ein einfaches Beispiel:
# Bäckerei Beispiel > Handwerksbäckerei in Köln mit Brot, Gebäck und Torten auf Bestellung. ## Wichtige Seiten - [Sortiment](https://example.com/assortiment): Brot, Gebäck und Torten - [Bestellen](https://example.com/bestellen): Torte bestellen und abholen - [Kontakt](https://example.com/contact): Adresse und Öffnungszeiten
Gut zu wissen:
- llms.txt ist kein offizieller Standard, sondern ein Vorschlag. Es gibt keine Garantie, dass KI-Dienste die Datei lesen. Google hat mitgeteilt, dass die Google Suche sie nicht nutzt.
- llms.txt blockiert nichts. Möchten Sie Robots aussperren, verwenden Sie robots.txt.
- Die Datei entsteht nicht von selbst: Sie erstellen sie selbst oder lassen sie von einem Plugin erstellen.
4. llms.txt in WordPress erstellen
Die bekannten SEO-Plugins können llms.txt für Sie erstellen und aktuell halten:
- Yoast SEO: Gehen Sie zu Yoast SEO, Einstellungen, Website-Funktionen und aktivieren Sie bei den KI-Funktionen llms.txt. Sie können Yoast die Seiten auswählen lassen oder sie selbst festlegen.
- Rank Math: Aktivieren Sie im Dashboard von Rank Math das Modul LLMS Txt. Die Einstellungen finden Sie anschließend unter Allgemeine Einstellungen.
Die Menünamen unterscheiden sich je nach Version. Sehen Sie die Option nicht, aktualisieren Sie das Plugin. Anschließend können Sie die Datei unter https://ihredomain.de/llms.txt aufrufen.
Ohne WordPress erstellen Sie die Datei selbst: eine Textdatei llms.txt im Ordner public_html, genau wie robots.txt.
Ausführliche Erklärung mit Screenshots: Sitemap und robots.txt bei WordPress und Ihrer eigenen Website und Sitemap und robots.txt beim AI Builder in der Anleitung Online gefunden werden.
Mehr erfahren? Besuchen Sie den kostenlosen Kurs Online gefunden werden, Lektion 3.3 robots.txt: was Sie blockieren und was nicht.