Ist Ihre Website für KI-Crawler bereit? 6 technische Prüfpunkte

Vergangene Woche haben wir 50 Websites geprüft. Verschiedene Branchen, verschiedene Länder, überwiegend Firmen, die in ihrem Fach gute Arbeit machen. 45 konnten ausgewertet werden, die übrigen haben den Scanner abgewiesen oder gar nicht geantwortet.

Bei allen 45 fand sich mindestens ein Mangel.

Dieser Text beschreibt die sechs Punkte, die uns dabei am häufigsten begegnet sind. Zu jedem steht, worum es geht, wie Sie selbst nachsehen und was zu tun ist. Technisches Wissen brauchen Sie nicht, ein Browser genügt.

1. Haben KI-Crawler überhaupt Zugang

Im Wurzelverzeichnis Ihrer Website liegt eine Datei namens robots.txt. Dort steht, welcher Crawler welche Seiten abrufen darf.

Bei einer Eventagentur standen dort fünf Einträge: GPTBot, ClaudeBot, CCBot, Google-Extended und Applebot-Extended, alle gesperrt. Die Firma hatte das nicht absichtlich getan. Eine Einstellung bei Cloudflare hatte die Einträge automatisch gesetzt.

So sehen Sie nach: Tippen Sie Ihre Adresse ein und hängen Sie /robots.txt an. Schauen Sie im angezeigten Text, unter welchen Kennungen die Zeile Disallow: / steht.

Was zu tun ist: Wenn Sie in KI-Antworten vorkommen wollen, müssen diese Einträge weg. Wollen Sie nicht als Trainingsmaterial dienen, können sie bleiben, dann entfällt aber auch die Sichtbarkeit. Beides zugleich geht nicht.

2. Wie viel Text liefert der Server aus

Eine Seite hat zwei Zustände. Den, den Sie im Browser sehen, und den rohen, den der Server schickt. Meistens sind beide gleich. Nicht immer.

Die meisten KI-Crawler führen kein JavaScript aus. Sie nehmen, was vom Server kommt, und ziehen weiter.

Von den 45 geprüften Seiten hatten 7 weniger als 300 Wörter auf der Startseite. Bei einer war es gar nichts: Der Server schickte für jede Adresse dieselbe leere Hülle, der Inhalt entstand erst im Browser. Für KI-Systeme bestand diese Website aus einem Titel.

So sehen Sie nach: Rechtsklick auf Ihrer Seite, dann "Seitenquelltext anzeigen". Im geöffneten Fenster mit Strg+F einen Satz suchen, der auf Ihrer Seite steht. Finden Sie ihn nicht, ist dieser Text für Maschinen nicht vorhanden. "Untersuchen" eignet sich dafür nicht, das zeigt den Zustand nach der Verarbeitung im Browser.

Was zu tun ist: Fehlt der Text selbst, reichen oft ein paar Absätze und passende Überschriften. Steht der Text auf der Seite, kommt aber nicht im Rohzustand an, liegt es an den Einstellungen des verwendeten Systems.

3. Sind die Firmenangaben maschinenlesbar

Strukturierte Daten sind Zusatzangaben im Quelltext, die Maschinen direkt lesen. Firmenname, Adresse, Telefon, Öffnungszeiten, Leistungen.

Bei 9 der 45 Seiten waren strukturierte Daten vorhanden, die Firmenangaben darin aber unvollständig. Bei vielen fehlten sie ganz.

Ein Unterschied, der oft übersehen wird: Die Adresse sichtbar auf der Seite zu haben ist eine Sache, sie maschinenlesbar auszuzeichnen eine andere. Ohne das Zweite holen sich die Systeme die Angaben aus fremden Quellen.

So sehen Sie nach: Im Seitenquelltext nach application/ld+json suchen. Kein Treffer bedeutet, es gibt keine strukturierten Daten.

Was zu tun ist: Mindestens Organization, bei einem Betrieb mit Einzugsgebiet LocalBusiness, jeweils mit Adresse und Telefon. Für Produkt- oder Leistungsseiten ebenfalls.

4. Hat jede Seite ihren eigenen Titel und ihre eigene Beschreibung

Der Titel steht im Browsertab und im Suchergebnis. Die Beschreibung sind die zwei Zeilen darunter.

Bei einem Hersteller trugen 45 von 47 Seiten dieselbe Beschreibung, und zwar einen Werbetext aus der Vorlage, mit der die Website gebaut worden war. Die Firma stellt Kompressoren her, in der Beschreibung ging es um E-Zigaretten.

Solche Überbleibsel sind häufiger, als man denkt. Bei Websites aus fertigen Vorlagen bleiben die Beispieltexte oft stehen.

So sehen Sie nach: Geben Sie bei Google site: und Ihre Adresse ein, also zum Beispiel site:beispiel.de. Lesen Sie die Beschreibungen unter den Ergebnissen. Wiederholt sich derselbe Text oder passt er nicht, liegt dort das Problem.

Was zu tun ist: Für jede Seite ein eigener Titel und eine eigene Beschreibung. Im Titel das Thema der Seite und wenn sinnvoll der Ort.

5. Stimmt die Überschriftenstruktur

Jede Seite sollte genau eine H1 haben, die Hauptüberschrift. Darunter H2, darunter H3.

Bei 10 der 45 Seiten fehlte die H1 auf der Startseite oder es gab mehrere. Eine Seite kam mit sechs H1, alle davon Titel von Produktkacheln.

So sehen Sie nach: Im Seitenquelltext nach <h1 suchen und zählen, wie oft es vorkommt.

Was zu tun ist: Eine H1, die sagt, was Sie tun und wo Sie sind. Die Unterüberschriften der Reihe nach.

6. llms.txt

Eine Textdatei, die KI-Systemen Ihre Website knapp beschreibt. Sie ist ein Vorschlag und kein verbreiteter Standard.

Der Ehrlichkeit halber steht dieser Punkt am Ende: Neben den anderen fünf hat er geringes Gewicht. Das Anlegen dauert ein paar Minuten, aber wir haben keine Website gesehen, die wegen dieser Datei sichtbar geworden wäre.

So sehen Sie nach: /llms.txt an Ihre Adresse anhängen.

Was zu tun ist: Firmenbeschreibung, Leistungen und die Adressen der wichtigsten Seiten. Kurz halten.

Was diese sechs Punkte nicht lösen

Technische Korrekturen machen eine Website lesbar. Lesbar zu sein heißt noch nicht, etwas zu sagen zu haben.

Bei einem Teil der geprüften Seiten war die Technik in Ordnung, aber auf der Seite stand nicht deutlich, was die Firma tut, wo sie arbeitet und für wen. Maschinen können diese Seite lesen, sie finden nur nichts, das sich zitieren ließe.

Dazu kommt: KI-Systeme holen ihre Antwort nicht allein von Ihrer Website. Ihr Google-Unternehmensprofil, Verzeichniseinträge und Bewertungen zählen mit. Das ist eine gute Nachricht, denn all das liegt in Ihrer Hand. Wichtig ist, dass überall dieselben Angaben stehen.

Wenn Sie Ihre eigene Seite prüfen wollen

Unser Tool Kostenloser SEO- & GEO-Check sieht sich die meisten dieser Punkte für die Startseite an und schreibt dazu, was gemessen wurde. Das dauert ein paar Sekunden und braucht keine Anmeldung.