Was ist der Unterschied zwischen Suchmaschinen-Indexierung und KI-Echtzeit-Zitaten?

Antwort in einem Satz: Die traditionelle Suchmaschinen-Indexierung ist wie das Erstellen eines „Inhalts- und Stichwortverzeichnisses“ für ein Buch im Voraus, während KI-Echtzeit-Zitate darauf basieren, dass die KI nach einer Frage sofort mehrere Bücher schnell liest, die relevanten Inhalte zusammenfasst und mit entsprechenden „Quellenangaben“ antwortet.

Wie finden Suchmaschinen Informationen?

Der Prozess, bei dem die täglich genutzten Suchmaschinen Websites finden und auf dem Bildschirm anzeigen, erfolgt in drei Hauptphasen. Alle Phasen müssen ordnungsgemäß funktionieren, damit Informationen auf dem Bildschirm des Nutzers erscheinen.

Der erste Schritt ist das Crawling (das Sammeln neuer Texte oder Bilder durch das Durchsuchen unzähliger Webseiten). Suchmaschinen senden Programme aus, sogenannte Roboter. Diese Roboter bewegen sich durch das Internet wie Bibliothekare, die weltweit neue Bücher sammeln. Sie folgen Links auf Webseiten, um zu anderen Seiten zu gelangen. Die dabei entdeckten neuen Informationen kopieren sie und bringen sie in das Lagerhaus der Suchmaschine.

Der zweite Schritt ist die Indexierung (der Prozess der Speicherung gesammelter Informationen in einer riesigen Datenbank, sortiert nach Wörtern für eine einfache Suche). Wenn man gesammelte Bücher einfach nur im Lager aufstapelt, findet man sie später nicht wieder. Daher werden die Inhalte sorgfältig gelesen und nach Titeln, Autoren und wichtigen Schlagwörtern klassifiziert. Anschließend werden diese Informationen in einem Suchcomputer (Datenbank) registriert. Wenn Ihre Website nicht indexiert ist, wird sie niemals in den Ergebnissen erscheinen, egal wie oft man Ihren Firmennamen in das Suchfeld eingibt.

Der dritte Schritt ist die Ranking-Entscheidung (der Prozess, bei dem die am besten geeigneten und qualitativ hochwertigsten Seiten in einer Reihenfolge aufgelistet werden, wenn ein Nutzer einen Suchbegriff eingibt). Suchmaschinen haben hunderte von Bewertungskriterien. Sie beurteilen, wie genau der Suchbegriff mit dem Inhalt übereinstimmt. Zudem berechnen sie, wie vertrauenswürdig eine Website ist. Basierend auf dieser Punktzahl entscheidet sich, ob man oben auf der ersten Seite erscheint oder auf die zweite Seite verdrängt wird.

Wie erstellt die KI-Echtzeitsuche Antworten?

Die kürzlich aufgekommene KI-Suche hat die bisherigen Suchmethoden um ein neues Verfahren namens RAG (Retrieval-Augmented Generation: eine Technologie, bei der die KI vor der Erstellung einer Antwort erst externe, vertrauenswürdige und aktuelle Materialien sucht und referenziert) erweitert. Wenn eine KI nur auf Basis ihres in der Vergangenheit gelernten Wissens antwortet, kann sie Fehler machen und Dinge erfinden. RAG ist eine Sicherheitsvorkehrung, um solche Fehler zu reduzieren.

Der Ablauf, wie eine KI-Suche Antworten erstellt, sieht wie folgt aus: Ein Nutzer gibt eine Frage an die KI ein. Die KI versteht die Frage und erstellt selbstständig neue Suchbegriffe für Suchmaschinen. Mit diesen Begriffen führt sie eine Echtzeit-Suche im Internet durch. Sie liest schnell aktuelle Dokumente oder Zeitungsartikel ein, die als Suchergebnisse erscheinen.

Nachdem sie die Dokumente gelesen hat, extrahiert sie genau die Kerninhalte, die zur Frage passen. Schließlich verfasst die KI eine Zusammenfassung in natürlichen Sätzen, als würde sie mit einem Menschen sprechen. Dabei fügt sie Links zu den Original-Websites ein, um zu belegen, welche Dokumente sie gelesen hat. Wir nennen dies „Zitieren“. Im Ergebnis erhält der Nutzer eine zusammengefasste Antwort und Quellen auf einmal, ohne selbst verschiedene Seiten besuchen zu müssen.

Wie die KI Texte liest: Das Zerstückeln

Menschen lesen lange Texte normalerweise im Zusammenhang von Anfang bis Ende. Für eine KI ist es jedoch schwierig, ein langes Dokument am Stück zu lesen und den gesamten Kontext perfekt zu behalten. Das liegt daran, dass KIs eine Begrenzung für Token haben (die kleinsten Wortfragmente, die eine KI erkennt), die sie auf einmal verarbeiten können.

Daher nutzt die KI bei der Verarbeitung langer Texte eine Methode namens Chunking (eine Technik, bei der lange Dokumente in mehrere Stücke nach Absätzen oder Bedeutungseinheiten unterteilt, gespeichert und gelesen werden). Angenommen, es gibt eine 10-seitige Unternehmensbroschüre. Die KI zerschneidet dieses Dokument absatzweise oder in Einheiten von wenigen Sätzen wie quadratische Puzzleteile. Wenn eine Frage gestellt wird, wählt sie aus den unzähligen Puzzleteilen genau die Stücke aus, die der Frage am ähnlichsten sind, und liest diese.

Aufgrund dieser Eigenschaft wird die Struktur von Absätzen beim Schreiben für Websites sehr wichtig. Nehmen wir hypothetisch an, dass in einem Absatz die Unternehmensgeschichte, Produktpreise und Rückerstattungsrichtlinien durcheinandergemischt sind. Wenn die KI dieses Stück auswählt, wird sie verwirrt sein, welche Information der Kern ist. Wenn Absätze zu lang sind oder der Kontext plötzlich wechselt, könnten Informationen in der Mitte abgeschnitten werden. Damit die KI Ihre Texte korrekt zitiert, ist es daher ratsam, kurz und prägnant zu schreiben und pro Absatz nur ein Kernthema klar zu formulieren.

Vergleich: Suchmaschinen-Indexierung vs. KI-Suche-Zitate

Hier ist ein Vergleich der Unterschiede zwischen traditionellen Suchmaschinen und der neuen KI-Suche in Tabellenform:

Wie man KI-Roboter einlädt oder blockiert: robots.txt

Besucher von Websites sind nicht nur Menschen. Um Informationen zu sammeln, kommen Tag und Nacht unzählige Roboter (automatisierte Datensammelprogramme). Man benötigt eine Anleitung, die diesen Robotern sagt: „Diese Seite darfst du betreten und Informationen mitnehmen, jene Seite enthält private Daten, bitte nicht betreten.“ Diese Rolle übernimmt die robots.txt (eine Textdatei im Hauptordner der Website, die Zugriffsregeln für Roboter festlegt).

Früher musste man sich nur um Roboter von Google oder Naver kümmern. Im Zeitalter der KI sind jedoch verschiedene Roboter von KI-Unternehmen aufgetaucht. Zu den wichtigsten KI-Robotern gehören:

Erstens, der GPTBot von OpenAI, dem Entwickler von ChatGPT.

Zweitens, Google-Extended, das Google zum Training seiner KI-Modelle verwendet.

Drittens, der ClaudeBot von Anthropic, dem Entwickler der KI namens Claude.

Viertens, der PerplexityBot, der vom auf KI-Suche spezialisierten Dienst Perplexity genutzt wird.

Was sollten Sie tun, wenn Sie möchten, dass Ihre sorgfältig geschriebenen Texte als Quellen in KI-Antworten zitiert werden? Sie müssen sicherstellen, dass der Besuch dieser KI-Roboter in der robots.txt-Datei nicht blockiert (Disallow) wird. Wenn Sie hingegen nicht möchten, dass Ihre Daten von KI gelesen werden, können Sie diese Roboter namentlich benennen und blockieren. Website-Administratoren können über diese Datei den Informationsaustausch mit KI direkt steuern.

Ein neuer Leitfaden für KI: llms.txt – Aufkommen und Grenzen

Unter Website-Entwicklern gewinnt derzeit ein neues Konzept namens llms.txt (eine Textdatei, die Kerninformationen einer Website zusammenfasst, damit KI-Sprachmodelle sie ohne Hindernisse lesen können) an Interesse. Dies ist ein Leitfaden, der durch das Anhängen von „/llms.txt“ an die Website-Adresse zugänglich gemacht wird.

Normale Webseiten (HTML-Dokumente) enthalten viel schönes Design für Menschen, komplexe Menüs, Fußzeilen und auffällige Werbebilder. Für eine KI, die gekommen ist, um Text zu lesen, sind diese Gestaltungselemente eher Hindernisse. In der llms.txt-Datei wird daher auf das Design verzichtet und nur der wichtige Text beibehalten. Wichtige Dienste des Unternehmens, Kontaktdaten, Preislisten usw. werden sauber im Markdown-Format (eine leichtgewichtige Sprache zur Dokumentgestaltung mit einfachen Symbolen wie Fettdruck oder Listen) aufgeschrieben. So kann die KI den Kern Ihrer Seite ohne Missverständnisse sofort erfassen.

Es gibt jedoch eine wichtige Einschränkung: llms.txt ist noch kein weltweit anerkannter offizieller Standard. Es ist eine Methode, die von einigen Entwicklern vorgeschlagen wurde und an Popularität gewinnt. Daher kann es sein, dass einige KI-Dienste diese Datei aktiv suchen und lesen, während andere ihre Existenz komplett ignorieren. Zum jetzigen Zeitpunkt sollte man sich also nicht allein auf diese Datei verlassen. Sie sollte lediglich als ergänzendes Mittel zur sauberen Strukturierung der bestehenden Webseiten genutzt werden.

Website-Checkliste

Prüfen Sie anhand der folgenden Punkte, ob Ihre Website sowohl von herkömmlichen Suchmaschinen als auch von moderner KI gut gelesen wird:

• [ ] Erscheinen die Ergebnisse normal, wenn man bei Suchmaschinen wie Google nach Ihrem Firmennamen oder Hauptprodukten sucht? (Indexierung prüfen)
• [ ] Haben Sie beim Erstellen von Blogs oder Vorstellungstexten pro Absatz nur ein Kernthema behandelt, damit die KI sie leicht zerstückelt lesen kann?
• [ ] Blockiert die robots.txt-Datei Ihrer Website versehentlich den Besuch wichtiger KI-Roboter wie GPTBot oder PerplexityBot?
• [ ] Aktualisieren Sie Inhalte auf der Website sofort, wenn sich wichtige Informationen wie Öffnungszeiten oder Produktpreise ändern? (KI sucht Echtzeit-Informationen.)
• [ ] Haben Sie bei der Verwendung schwieriger Fachbegriffe diese in Alltagssprache erklärt, damit sowohl Erstleser als auch die KI den Kontext verstehen?
• [ ] Haben Sie wichtige Informationen als tatsächlichen Text eingegeben, den Maschinen kopieren und lesen können, anstatt sie nur in auffälligen Bildern zu platzieren?

Häufig gestellte Fragen

Muss ich für KI-Zitate keine Suchmaschinen-Indexierung mehr machen?

Doch, das müssen Sie. Die Suchmaschinen-Indexierung muss unbedingt zuerst erfolgen. Die meisten KI-Echtzeit-Suchdienste durchsuchen nicht das gesamte Web eigenständig, sondern finden Primärdaten basierend auf den Indexierungsergebnissen bestehender großer Suchmaschinen wie Google oder Bing. Daher muss Ihre Website im Lager (Index) einer herkömmlichen Suchmaschine registriert sein, um eine Chance zu haben, auch von einer KI entdeckt zu werden.

Was, wenn die KI meinen Text falsch zerstückelt und seltsam antwortet?

Da die KI lange Texte in Absätzen liest, kann sie den Kontext missverstehen. Um dies zu verhindern, ist es ratsam, die Verwendung von Demonstrativpronomen (dieses, jenes) zu reduzieren. Es ist sicherer, Subjekt und Objekt auch innerhalb eines Absatzes klar und wiederholt zu benennen. Schreiben Sie Texte unabhängig und intuitiv, damit die Inhalte aufeinanderfolgender Absätze nicht zu komplex miteinander verflochten sind.

Werden meine Daten komplett ungefragt für das KI-Training verwendet, wenn ich KI-Roboter in der robots.txt erlaube?

Das Erlauben von KI-Robotern bedeutet nicht zwingend, dass sie immer nur zum Training des KI-Gehirns verwendet werden. In vielen Fällen werden sie genutzt, um Dokumente einmalig zu lesen und Quellen anzugeben, um Antworten auf Echtzeit-Suchanfragen der Nutzer zu erstellen. Je nach Robotertyp (Trainings-Roboter oder Echtzeit-Suchroboter) kann der Zweck jedoch variieren. Daher ist eine selektive Verwaltung von Erlaubnis und Blockierung nach Ermessen des Website-Administrators erforderlich.

Werde ich durch das Erstellen einer llms.txt garantiert ganz oben in der KI-Suche angezeigt?

Nein. Wie bereits erklärt, ist llms.txt noch kein offizieller Standard. Sie dient lediglich als Zusammenfassung, die der KI hilft, die Website etwas leichter zu verstehen. Es gibt keine Garantie oder offizielle Ankündigung, dass eine KI Ihre Seite bevorzugt anzeigt, nur weil Sie diese Datei erstellt haben. Man sollte es nicht als magische Abkürzung für Sichtbarkeit verstehen, sondern als das Bereitstellen eines weiteren hilfreichen Leitfadens.

Zusammenfassung

Während die traditionelle Suchmaschinen-Indexierung die Grundlagenarbeit leistet, um Informationen der Welt in einer riesigen Bibliothek ordentlich zu klassifizieren, ist das KI-Echtzeit-Zitat ein Dienst, der die Bücher dieser Bibliothek schnell liest und exzellente, maßgeschneiderte Zusammenfassungen für den Nutzer erstellt. Diese beiden konkurrieren nicht miteinander, sondern greifen wie Zahnräder ineinander.

Obwohl sich die Art der Ergebnisanzeige stark verändert hat, bleibt das Grundprinzip gleich: Man muss dafür sorgen, dass Maschinen den Text der Website korrekt verstehen können. Sie sollten die Türen offen halten, damit KI-Roboter Ihre Seite gut besuchen können. Versuchen Sie zudem, Texte prägnant mit klaren Kernbotschaften pro Absatz zu verfassen. Wenn Sie die Grundlagen der Suchmaschinenoptimierung befolgen und Ihre Texte ein wenig an die Leseweise der KI (Chunking) anpassen, werden Ihre wertvollen Informationen mehr Nutzern genau und nützlich vermittelt werden.