Tech SEO in GEO: Warum dein technisches Setup für LLM-Sichtbarkeit entscheidend ist

Webcrawler (wie z. B. der Googlebot) durchsuchen das Web, indem sie Links folgen und relevante Dokumente herunterladen. Traditionell nähert sich ein Webcrawler einer Website dabei in einem zweistufigen Prozess.

1. Crawling (HTML-Phase): Der Crawler lädt dabei den reinen, vom Server gelieferten HTML-Quellcode herunter. Hier werden statische Elemente wie Text, Links und grundlegende Metadaten erfasst.
2. Rendering (JavaScript-Phase): Wenn JavaScript erforderlich ist, um den Hauptinhalt sichtbar zu machen, muss der Crawler die Seite in einem Browser rendern. Dies ist ressourcenintensiv und zeitaufwändig.

Wenn der Hauptinhalt erst durch JavaScript geladen wird oder wichtige Ressourcen (CSS, JS, Bilder) durch die robots.txt blockiert sind, besteht das Risiko, dass Inhalte erst verzögert gecrawlt werden oder der Crawler nur einen Bruchteil der Seite erfasst. Inhalte, die nicht direkt im HTML verfügbar sind, können so unvollständig oder gar nicht indexiert werden. Die Folge: schlechtere Sichtbarkeit und eine ineffiziente Nutzung des Crawling-Budgets.

Langsame Ladezeiten verschärfen dieses Problem. Je länger eine Seite zum Laden braucht, desto länger ist der Crawler mit dieser Seite beschäftigt und desto weniger Ressourcen bleiben ihm, um anderen Content zu crawlen. Das bedeutet, dass weniger Seiten gecrawlt werden oder Aktualisierungen seltener erkannt werden.

Ein weiteres Risiko ist Duplicate Content: Schlecht gemanagte URL-Parameter, Session-IDs oder verschiedene Versionen von Inhalten können dazu führen, dass der Crawler identische Inhalte mehrmals verarbeitet. Dies verschwendet Ressourcen und kann die Relevanz der ursprünglichen Seite schwächen.

Das Crawling-Budget ist eine begrenzte Ressource. Ziel ist es, diese effizient auf die wichtigsten Inhalte zu lenken.

• Robots.txt: Sie ist das Eingangstor deiner Website. Hier legst du fest, welche Bereiche nicht gecrawlt werden sollen, beispielsweise Admin-Verzeichnisse oder Skript-Ordner. So verhinderst du, dass Bots Zeit auf irrelevanten Seiten verschwenden. Achtung: Dies ist keine Garantie gegen Indexierung; es verhindert nur das Crawling.
• XML-Sitemap: Sie ist deine Prioritätenliste an Inhalten, die gecrawlt werden sollen. Sie zeigt den Crawlern, welche URLs wichtig sind und im Optimalfall, wann sie zuletzt aktualisiert wurden.
• Interne Verlinkung: Eine logische, saubere Verlinkung führt die Crawler durch deine Website und signalisiert, welche Inhalte besonders relevant sind. Broken Links oder alte Weiterleitungen stören den Fluss und verschwenden Crawl-Budget.

• Noindex-Tag: Schliesse Seiten aus, die keinen Mehrwert für die Suche bieten – etwa irrelevante Filterseiten, Login-Bereiche oder Seiten mit internen Suchergebnissen.
• Canonical-Tag: Verhindere Duplicate Content, indem du bei inhaltlich identischen Seiten die bevorzugte URL festlegst. So bündelst du Autorität und Linkkraft.
• Indexing APIs: Für besonders dynamische Inhalte, etwa Stellenangebote oder Livestreams, kann eine Indexing API genutzt werden. Damit lassen sich neue oder aktualisierte Seiten fast in Echtzeit indexieren.

Mit dem Aufkommen von generativer KI sind neue Crawler auf der Bildfläche erschienen. Neben Googlebot und Bingbot durchsuchen nun auch GPTBot, ClaudeBot, PerplexityBot oder der ChatGPT-User das Web. Sie sammeln Informationen für Trainingsdaten oder nutzen sie, um in Echtzeit Antworten zu generieren.

Diese KI-Crawler funktionieren anders. Sie sind weniger an visueller Darstellung interessiert, sondern fokussieren sich auf strukturierten, gut verständlichen Text. Sie bewerten Inhalte nach Informationsgehalt und Zuverlässigkeit – nicht nach klassischen Ranking-Signalen. Eine klar aufgebaut und semantisch korrekt markierte Seite, hat hier laut SEO-Experten wie Barry Adams klare Vorteile.

Da viele dieser Bots keine komplexen JavaScript-Strukturen rendern können, sind statische oder serverseitig ausgelieferte Inhalte im Vorteil. Wer wichtige Informationen mithilfe von JavaScript clientseitig lädt, riskiert, dass sie gar nie in die Wissensbasis der KI-Modelle gelangen. Tech SEO ist somit nicht mehr nur die Basis für Google, sondern für das gesamte KI-Ökosystem.

Die Wahrheit steckt in den Logfiles – das gilt heute mehr denn je. Logfile-Analysen zeigen, welche Crawler tatsächlich auf deine Seiten zugreifen, wie oft sie das tun und an welcher Stelle sie auf Hindernisse stossen.

Während klassische Tools wie die Google Search Console keine Einblicke in die Aktivität von KI-Bots liefern und es bislang keine Tools wie eine „Search Console für ChatGPT“  und andere LLMs gibt, zeigen Logfiles schwarz auf weiss, welche Inhalte von GPTBot, PerplexityBot oder ClaudeBot abgerufen werden. So erkennst du, ob deine wichtigen Seiten für LLMs sichtbar sind oder ob technische Hürden das Crawlen verhindern. Wie eine Studie von Cloudflare zeigt, ist die Anzahl der Zugriffe von KI-Crawlern wie dem GPTBot oder dem ChatGPT-User von OpenAI, aber auch jene vom PerplexityBot zuletzt deutlich gestiegen.

Zudem lässt sich mithilfe von Logfiles auch prüfen, ob das Crawl-Budget effizient genutzt wird. Wenn bestimmte Bots immer wieder dieselben Seiten aufrufen oder auf Timeouts stossen, ist das ein Signal für Optimierungsbedarf. Logfiles sind somit ein wertvolles Instrument, um die Wirksamkeit deiner GEO-Massnahmen im KI-Zeitalter zu überprüfen – aktuell sogar eines der wenigen verlässlichen.

Eine saubere und semantisch korrekte Website-Struktur ist die beste Versicherung gegen Missverständnisse durch jeden Typ von Crawler – ob traditionell oder von KI-Plattformen.

Überschriften (H1, H2, H3 etc.) sollten die klare, hierarchische Gliederung des Inhalts widerspiegeln. Der H1-Tag fasst den Hauptinhalt der Seite prägnant zusammen. Dies hilft sowohl LLMs als auch traditionellen Crawlern dabei, die Kernbotschaft und die thematische Tiefe korrekt zu erfassen.

Verwende semantische HTML5-Tags (zum Beispiel <main>, <article>, <nav>, <aside>) korrekt. Dadurch können Crawlern, den wichtigen Content (Main Content) von Boilerplate (Header, Footer, Navigation) zu unterscheiden.

Wichtige Textinhalte müssen direkt im HTML-Quellcode verfügbar sein (im initialen HTML). Wenn der Content clientseitig geladen wird, muss das Rendering fehlerfrei und schnell erfolgen. Ist deine Seite sehr JavaScript-lastig, wird idealerweise auf Server-Side-Rendering (SSR), Dynamic- oder Pre-Rendering zurückgegriffen.

Page Speed ist mehr als nur ein Rankingfaktor. Er beeinflusst das Nutzererlebnis und die Effizienz, mit der Crawler – klassische wie KI-basierte – Daten extrahieren und bewerten.

• Traditionell: Langsame Seiten verbrauchen mehr Crawling-Budget und verschlechtern die Core Web Vitals. Das führt zu weniger häufigen Crawling und kann sich negativ auf das Ranking auswirken.
• In der LLM-Welt: KI-Crawler sind ressourcenorientiert. Eine träge Website ist für sie teuer und ineffizient. Sie brechen den Ladevorgang ab oder besuchen solche Seiten seltener. Das Ergebnis: wichtige Inhalte werden möglicherweise gar nicht erfasst und fehlen in der Wissensbasis der Modelle.

Kurz gesagt: Eine schnelle Website ist heute nicht nur für Nutzer wichtig, sondern auch für die Sichtbarkeit deiner Inhalte in der generativen Suche.

Strukturierte Daten helfen Suchmaschinen und KI-Systemen dabei, Inhalte präziser zu verstehen. Sie bieten Kontext zu Personen, Produkten, Bewertungen oder Ereignissen und übersetzen Inhalte somit in maschinenlesbare Fakten.

Auch wenn noch nicht vollständig klar ist, wie wichtig strukturierte Daten wie Schema-Markups für LLMs sind und ob diese aktiv berücksichtigt werden, zeigen aktuelle Analysen, dass strukturierte Daten die Sichtbarkeit in Googles AI Overviews positiv beeinflussen. Google selbst betont zudem, dass strukturierte Daten für die Leistung in den KI-Funktionen in der Google Suche wichtig sind. Sie sind also ein klares Signal für Qualität und Konsistenz – etwas, worauf auch KI-Systeme zunehmend Wert legen.

Immer wieder taucht die Idee einer llms.txt auf – einer Datei, die LLMs hilft, die wichtigsten Informationen einer gesamten Webseite schnell und effizient zu analysieren. Aktuell ist sie jedoch kein offizieller Standard und wird von den grossen KI-Plattformen wie ChatGPT, Perplexity und Claude nicht unterstützt.

Die robots.txt-Datei, Sitemaps sowie eine gute interne Verlinkung sind und bleiben derzeit die bewährtesten Methoden, um nicht nur Suchmaschinen-Crawlern, sondern auch KI-Bots zielgerichtet und effizient zu den relevanten Inhalten deiner Webseite zu führen.

Wer Sichtbarkeit in LLMs anstrebt, sollte zudem sicherstellen, dass relevante KI-Crawler in Firewalls und Content Delivery Networks (CDNs) nicht versehentlich gesperrt sind. Einige Firewalls und CDN-Anbieter wie Cloudflare schliessen KI-Bots standardmässig vom Crawling aus. Eventuell musst du hier ein Whitelisting für relevante KI-Bots vornehmen oder das Crawling durch KI-Crawler aktiv zulassen.

Wenn bestimmte LLMs deine Inhalte nicht für Trainingszwecke verwenden sollen, kannst du die entsprechenden Bots gezielt blockieren. Das reduziert allerdings auch die Sichtbarkeit in KI-gestützten Suchmaschinen.

Solange es keine offiziellen neuen Protokolle oder Standards gibt, gilt daher: Beobachte die Entwicklung, überprüfe Logfiles, Firewall- und CDN-Einstellungen und nutze die robots.txt, Sitemaps sowie interne Verlinkungen strategisch. Transparenz und Kontrolle bleiben die Basis.

Die Regeln der Suche werden neu geschrieben. LLMs verändern, wie Inhalte entdeckt, bewertet und wiedergegeben werden. In dieser neuen Suchlandschaft ist ein stabiles, schnelles und sauberes technisches Fundament die Grundlage für Sichtbarkeit.

Wer heute in Tech SEO investiert, stell sicher, dass sowohl klassische Suchmaschinen als auch KI-Systeme die Inhalte korrekt auslesen, verstehen, einordnen und wiedergeben können. Das ist kein Nice-to-have – es ist die Voraussetzung, um in der KI-gestützten Suche sichtbar zu bleiben.

Wenn du sicherstellen möchtest, dass dein technisches Setup fit für die Zukunft ist, unterstützen wir dich gerne in einem unverbindlichen Erstgespräch. Einen ersten Überblick erhälst du in unserer Checkliste, die du direkt unter diesem Abschnitt findest.