Beides ist möglich: Auffindbar bleiben und gleichzeitig KI-Training untersagen

Ohne angemessene Kontrollmöglichkeiten mussten Websitebetreiber lange eine schwierige Abwägung treffen: ihre Inhalte für KI-Training freigeben oder riskieren, in der Suche schlechter beziehungsweise gar nicht mehr auffindbar zu sein. Der Grund dafür ist, dass einige der größten Organisationen im Internet Mixed-Use-Crawler verwenden – also einen einzigen Crawler für Suche und KI-Training. Wer das eine ablehnt, lehnt damit auch das andere ab.

Heute kündigt Cloudflare eine neue Einstellung namens „Disallow AI Training“ an, mit der Websites problemlos für die Suche indexiert bleiben können, während demselben Crawler zugleich untersagt wird, die Inhalte für KI-Training zu verwenden. Apple, Google und Microsoft berücksichtigen diese Einstellung bereits oder haben sich verpflichtet, sie innerhalb eines festgelegten Zeitrahmens zu unterstützen.

Mixed-Use-Crawler waren die größte Herausforderung beim Thema KI-Training. KI-Zusammenfassungen sind als Nächstes dran. Eine pauschale Ja-oder-Nein-Entscheidung für die gesamte Website greift zu kurz: Wie viel des eigenen Inhalts in einer Zusammenfassung erscheint, ist ebenso wichtig wie die Frage, ob er überhaupt darin vorkommt. Eine Opt-out-Möglichkeit für KI-Zusammenfassungen gehört bereits zu den Anforderungen, die wir an Betreiber von Mixed-Use-Crawlern stellen. Bis Anfang nächsten Jahres möchten wir ermöglichen, zentral bei Cloudflare festzulegen, wie viel des eigenen Inhalts einbezogen werden darf, anstatt dies bei jedem Betreiber einzeln einstellen zu müssen.

Warum es nicht ausreicht, nur zu fragen

Die meisten Websitebetreiber möchten gefunden werden – von Menschen, Agenten und seriösen Bots. Ein erheblicher Teil des offenen Internets finanziert sich jedoch durch Werbung, Abonnements oder direkte Beziehungen zu Besuchern, und diese Modelle funktionieren nur, wenn tatsächlich jemand die Website besucht.

Fast alle Websitebetreiber betrachten Suchdienste als nützlich: Weniger als 1 % der Websites bei Cloudflare blockieren Suchmaschinen-Bots. Beim Training ist die Situation dagegen eine andere: 17 % der Websites aktivieren irgendeinen Mechanismus, um KI-Training zu unterbinden. Genau aus diesem Grund haben wir uns dafür entschieden, Websitebetreibern differenziertere Kontrollen an die Hand zu geben, statt auf eine Einheitslösung wie „Block AI“ zu setzen.

Eine robots.txt-Anweisung allein kann dieses Problem nicht lösen. Jeder kann eine solche Anweisung veröffentlichen, doch sie kann weder feststellen, wer crawlt, noch erkennen, zu welchem Zweck gecrawlt wird, noch einen Crawler stoppen, der sie ignoriert.

Ein Netzwerk kann dieses Problem jedoch lösen: Wir veröffentlichen die Präferenz, identifizieren, wer crawlt, klassifizieren, zu welchem Zweck gecrawlt wird, und blockieren diejenigen, die die Vorgabe ignorieren – anschließend berichten wir auf Radar darüber, wie sich die einzelnen Betreiber tatsächlich verhalten.

Doch durch Blockieren wird lediglich ein Crawler ausgeschlossen. Es ändert nicht das Verhalten von Crawlern. Die bessere Lösung sind Betreiber, die Websitebetreiber gar nicht erst vor diese Entscheidung stellen. Deshalb sprechen wir seit Juli direkt mit ihnen. Die Reaktionen waren ermutigend: Fast alle waren sich einig, dass Websitebetreiber Kontrolle und Transparenz darüber haben sollten, wie ihre Inhalte genutzt werden, und die Gewissheit brauchen, dass ihre Entscheidungen respektiert werden. Um Websitebetreibern dabei Orientierung zu geben, haben wir eine Kennzeichnung eingeführt: „Accountable“.

Die Kennzeichnung „Accountable“ berücksichtigt sowohl bereits heute verfügbare Funktionen als auch konkrete Zusagen, diese künftig bereitzustellen. Um sich zu qualifizieren, muss ein Bot-Betreiber die folgenden Anforderungen erfüllen oder sich verbindlich dazu verpflichten, sie zu erfüllen:

1. Eine Möglichkeit für Websitebetreiber, KI-Training über robots.txt oder einen ähnlichen Standard abzulehnen.
2. Ein Mechanismus, mit dem Websitebetreiber KI-Zusammenfassungen direkt beim jeweiligen Betreiber ablehnen können und ab dem nächsten Jahr auch über Cloudflare (weitere Einzelheiten siehe Abschnitt unten).
3. Transparenz auf URL-Ebene darüber, welche Seiten für das KI-Training verfügbar gemacht wurden, ergänzt durch Kennzahlen dazu, wie Inhalte in der Suche erschienen sind.
4. Die Zusicherung, dass die Ablehnung von KI-Training keine Auswirkungen auf die traditionellen Suchergebnisse hat.

Apple, Google und Microsoft erfüllen nachweislich die Voraussetzungen für die Einstufung als „Accountable“. Jedes dieser Unternehmen kombiniert bereits heute verfügbare Funktionen mit zeitlich klar definierten Zusagen für Funktionen, die sich noch in Entwicklung befinden. Einzelheiten zu den Crawlern der jeweiligen Unternehmen finden Sie unten.

Neue Optionen für Sicherheitseinstellungen

Cloudflare klassifiziert Bots nach ihrem Verhalten, wobei ein einzelner Bot mehrere Verhaltensweisen aufweisen kann. Drei Verhaltensweisen stehen als Steuerungsoptionen zur Verfügung:

• Suche – Crawlen, um einen Suchindex aufzubauen.
• Training – Crawlen, um ein Modell zu trainieren oder fein abzustimmen.
• Agent – benutzergesteuerte Agenten, die im Auftrag eines Menschen eine Seite besuchen, wie zum Beispiel Chat-Abruf-Bots und Browser-Agenten.

Ein Mixed-Use-Crawler ist ein einzelner Crawler, der sowohl für die Suche als auch für das Training eingesetzt wird. Ohne entsprechende Steuerungsmöglichkeiten entsteht durch diese Kombination der oben beschriebene Zielkonflikt: Websitebetreiber können nicht eine Nutzungsart ablehnen, ohne zugleich auch die andere abzulehnen.

Damit „Accountable“-Mixed-Use-Crawler – also diejenigen, die Websitebetreiber nicht zu diesem Zielkonflikt zwingen – nicht blockiert werden, führen wir eine neue Einstellung ein: „Disallow AI Training“. Der Name „Disallow AI Training“ leitet sich von der Disallow: -Direktive ab, die in der robots.txt veröffentlicht wird.

„Block“ hat als Einstellung jetzt eine andere Bedeutung.

Die Einstellungen „Block“ und „Block on pages with ads“ galten bisher nicht für Mixed-Use-Crawler, da deren Blockierung auch die Auffindbarkeit in der Suche beeinträchtigen konnte. Mit der neuen Einstellung „Disallow AI Training“ gelten „Block“ und „Block on pages with ads“ nun für alle Trainings-Crawler, einschließlich Mixed-Use-Crawlern.

Die Steuerungsoptionen für Training, Suche und Agenten werden auf Domain-Ebene angewendet. Mit der Einführung von „Disallow AI Training“ stehen folgende Einstellungen zur Verfügung:

1. Allow (Erlauben): Alle Crawler sind erlaubt, es sei denn, sie werden durch eine andere Einstellung oder eine WAF-Regel blockiert.
2. Disallow AI Training (KI-Training untersagen): Bot Preference Sync veröffentlicht die jeweils geltende Präferenz gegen KI-Training in der robots.txt-Datei. „Accountable“-Mixed-Use-Crawler bleiben für die Suche zugelassen. Alle anderen Trainings-Crawler werden blockiert, einschließlich der ausschließlich für Training eingesetzten Crawler von Amazon, Anthropic, Meta und OpenAI – deren Blockierung hat keine Auswirkungen auf die Suche. „Disallow AI Training“ ist nur als Einstellung für Training verfügbar, nicht für Suche oder Agenten.
3. Block on pages with ads (Blockieren auf Seiten mit Anzeigen): Crawler, einschließlich Mixed-Use-Crawlern, werden nur auf Seiten blockiert, auf denen Werbung erkannt wird.
4. Block (Blockieren): Alle Crawler, einschließlich Mixed-Use-Crawlern, werden blockiert.

„Disallow AI Training“ funktioniert, indem eine entsprechende Präferenz in der robots.txt-Datei veröffentlicht wird. Eine nur für Seiten mit Werbung geltende Präferenz lässt sich auf diese Weise nicht ausdrücken: Cloudflare kann zwar erkennen, welche Seiten Werbung ausspielen, doch diese Liste ist zu umfangreich und ändert sich zu häufig, um sie in robots.txt aufzuführen. Deshalb gibt es keine Option „Disallow AI Training“ speziell für Seiten mit Werbung.

Agenten führen nicht zu demselben Zielkonflikt bei der Auffindbarkeit in der Suche wie Mixed-Use-Crawler, und im Internet gibt es bislang noch keine etablierte Direktive, mit der sich „Disallow“-Präferenzen für Agenten ausdrücken lassen. Daher führen wir vorerst keine „Disallow“-Einstellung für Agenten ein. Sobald Standards wie ai-prefs weiter ausgereift sind, werden wir diesen Ansatz erneut prüfen.

Was ändert sich am 15. September?

Wir nehmen folgende Änderungen an Bot Management und AI Crawl Control vor:

1. Die Einstellungen „Block“ und „Block on pages with ads“ gelten jetzt auch für Mixed-Use-Crawler, einschließlich Applebot, Bingbot und Googlebot, sodass beide Einstellungen die Suche sowie das Training beeinflussen. Wenn Sie das Training stoppen und die Suche weiterhin ermöglichen möchten, verwenden Sie „Disallow AI Training“.
2. „Block AI Bots“ wird zugunsten der detaillierteren Steuerungen für Suche, Training und Agenten eingestellt.
3. Die Managed robots.txt wird zugunsten von Bot Preference Sync eingestellt. Kunden, die Managed Robots.txt aktiviert haben, werden auf das neue System migrieren.
4. „Disallow AI Training“ wird Teil der empfohlenen Konfiguration für bestimmte neue Domains.
5. Bei bestehenden Kunden werden die bisherigen Präferenzen wie nachfolgend beschrieben auf die neuen Steuerungsoptionen migriert.

Was Sie tun müssen

In nahezu allen Fällen müssen Sie nichts tun. Ihre derzeitigen Einstellungen werden automatisch übertragen.

Wenn Mixed-Use-Crawler gar nicht mehr auf Ihre Website zugreifen sollen, müssen Sie dies jetzt ausdrücklich angeben. Wählen Sie „Block“. Damit werden Applebot, Bingbot und Googlebot vollständig blockiert – auch für die Suche.

Bestehende Domains, die die Steuerungsoptionen für Suche, Training oder Agenten bisher nie verwendet haben

Websitebetreiber, die die detaillierteren Steuerungsmöglichkeiten bislang nicht eingerichtet haben, werden entsprechend ihrer bisherigen „Block AI Bots“-Einstellung auf die neuen Einstellungen umgestellt:

Bestehende Domains, für die die Steuerungsoptionen für Suche, Training und Agenten bereits zuvor konfiguriert wurden

Für Domains, bei denen die granularen Steuerungsoptionen bereits zuvor konfiguriert wurden, behalten wir die praktische Wirkung der bisherigen Auswahl unter den neuen Definitionen bei. Frühere Training-Einstellungen auf „Block“ oder „Block on pages with ads“ werden auf „Disallow AI Training“ migriert.

Empfehlungen für neue Domains

Ab dem 15. September wird Kunden beim Hinzufügen einer neuen Domain je nach Geschäftsmodell eine von zwei vorkonfigurierten Einstellungen angeboten – abhängig davon, ob die Website Einnahmen durch Werbung erzielt. Werbeeinnahmen setzen voraus, dass ein Mensch die Seite tatsächlich sieht. KI-Training ersetzt diesen Besuch durch eine Antwort; Agenten rufen die Seite ab, ohne dass jemand die Werbung sieht. Daher sind die Voreinstellungen für werbefinanzierte Websites restriktiver. Sie können jede dieser Einstellungen während des Onboardings oder jederzeit danach ändern.

Empfohlene Einstellungen für neue Domains

Was bedeutet dies für bestimmte Mixed-Use Crawler?

Applebot, Bingbot und Googlebot sind als „Accountable“ eingestuft. Apple, Google und Microsoft haben sich denselben Grundsätzen hinsichtlich Wahlfreiheit für Publisher und Transparenz verpflichtet. Mit „Disallow AI Training“ können sie Ihre Website weiterhin für Suchzwecke crawlen. Wenn Sie „Block“ auswählen, werden sie vollständig blockiert.

Wir stufen auch die relevanten Crawler von Amazon, Anthropic, Meta und OpenAI als „Accountable“ ein. Diese Unternehmen verwenden getrennte Crawler für Suche und Training, sodass Cloudflare den Trainings-Crawler blockieren kann, ohne die Suche zu beeinträchtigen.

Applebot

Mit Applebot können Websitebetreiber dem KI-Training widersprechen, indem sie in robots.txt für „Applebot-Extended“ eine Disallow-Regel hinzufügen. Präferenzen für KI-Zusammenfassungen können Websitebetreiber derzeit außerdem über die nosnippet-Direktive im HTML-Code der Seite festlegen. Inhalte können zudem als Paywall-Inhalte gekennzeichnet werden, um sie von generativen Ausgaben auszuschließen. Applebot bietet bislang noch kein Tool zur Überprüfung auf URL-Ebene. Wir haben uns jedoch mit dem Apple-Team ausgetauscht, das uns Einzelheiten zu einer derzeit entwickelten Lösung für das kommende Jahr mitgeteilt hat. Apple hat außerdem erklärt, dass ein Ausschluss vom Training keine Auswirkungen auf das Suchranking hat.

Googlebot

Googlebot ermöglicht Websitebetreibern ein Opt-out vom Training, indem sie für „Google-Extended“ eine Disallow-Regel in robots.txt hinterlegen. Außerdem bietet Google in seinem Webmaster-Portal eine Umschaltoption, mit der sich Websiteinhalte von generativen Suchergebnissen ausschließen lassen. Darüber hinaus stellt Googlebot Kennzahlen und Berichte zu klassischen Suchergebnissen und KI-Zusammenfassungen bereit. Google hat Einzelheiten zu seinen bereits vorhandenen und kürzlich gestarteten Kontrollmechanismen sowie zu derzeit in Entwicklung befindlichen Funktionen geteilt, darunter zusätzliche Transparenz-Tools auf URL-Ebene für Google-Extended, die in den kommenden Wochen verfügbar werden sollen. Google hat außerdem angegeben, dass ein Ausschluss von Google-Extended das Suchranking nicht beeinflusst.

Bingbot

Bingbot bietet in den Webmaster Tools fein abstimmbare Steuerungsmöglichkeiten und Transparenz. Websitebetreiber können ihre Präferenzen für KI-Training derzeit über Bings NOARCHIVE-Meta-Tag ausdrücken. Microsoft erweitert diese Funktionen und entwickelt derzeit einen Mechanismus, der künftig auch eine „No Training“-Präferenz in robots.txt auf Domain-/Website-Ebene berücksichtigt; die Einführung ist für Anfang 2027 vorgesehen. Cloudflare-Kunden, die das Training durch Bing bereits heute ablehnen möchten, können zusätzlich zum NOARCHIVE-Tag das Tool Block URLs or Content Removal verwenden. Microsoft hat außerdem erklärt, dass die Verwendung von NOARCHIVE keine Auswirkungen auf das Suchranking hat.

Bis diese Unterstützung verfügbar ist, wird die Auswahl von „Disallow AI Training“ Bing über robots.txt nicht automatisch eine „No Training“-Präferenz übermitteln. In der Praxis entspricht dies dem bisherigen Verhalten der Einstellung „Training Block“, die nicht für Mixed-Use-Crawler wie Bingbot galt.

Fortschritte fortsetzen

Wir werden weiterhin den direkten Austausch mit allen Betreibern von KI-Crawlern suchen, während sich diese Funktionen weiterentwickeln. Cloudflare Radar verfolgt öffentlich, welche Steuerungsmöglichkeiten, Transparenzfunktionen und Berichte von den Betreibern der als ‚Accountable‘ eingestuften Crawler bereitgestellt werden. 

Ein besseres Internet erfordert Entscheidungsfreiheit auf beiden Seiten: Crawler brauchen Zugang zum offenen Web, während die Menschen, die dieses Web gestalten, wirksame Kontrolle darüber haben müssen, wie ihre Arbeit verwendet wird. Die heutige Ankündigung stellt einen konkreten Schritt hin zu diesem Gleichgewicht dar.

Fortschritt erfordert, dass Infrastrukturanbieter, Content-Ersteller, Technologieunternehmen und Standardisierungsgremien wie die Internet Engineering Task Force (IETF) zusammenarbeiten, um diese Grundsätze in offene, interoperable Standards zu überführen.

Der nächste Schritt: KI-Zusammenfassungen

KI-Training und KI-Zusammenfassungen werfen für Websitebetreiber unterschiedliche Fragen auf. Beim Training geht es darum, ob Inhalte zum Aufbau von KI-Modellen verwendet werden dürfen. Zusammenfassungen beeinflussen dagegen, wie Menschen ein Unternehmen entdecken, bewerten und letztlich besuchen. Beides ist relevant, wirkt sich jedoch auf unterschiedliche Weise auf Unternehmen aus.

Steuerungsmöglichkeiten, mit denen sich KI-Zusammenfassungen ablehnen lassen, sind der erste Schritt. Die als „Accountable“ eingestuften Betreiber bieten diese Möglichkeit bereits an oder schließen die entsprechenden Arbeiten derzeit ab. Damit wird eine wichtige Grundlage geschaffen: Websitebetreiber können Nein sagen.

Eine websiteweite Entscheidung zwischen dem Zulassen und dem Verbot von Zusammenfassungen bleibt jedoch ein zu grobes Instrument. Die richtige Entscheidung hängt von der Website, den Inhalten und dem geschäftlichen Ergebnis ab. Für Publisher wirft KI-Training grundlegende Fragen zu Kontrolle, Vergütung und der langfristigen Tragfähigkeit originärer Inhalte auf. Zusammenfassungen werfen dagegen eine separate und häufig unmittelbarere Frage der Distribution auf: Besucht jemand die Website des Publishers oder konsumiert die Antwort direkt innerhalb einer Such- oder KI-Anwendung? Für viele andere Unternehmen stehen KI-Zusammenfassungen zunehmend zwischen einem potenziellen Kunden und einer Website. Sie können eine Frage beantworten, Alternativen vergleichen, ein Produkt empfehlen oder jemandem bei der Entscheidung helfen, ob er die Website überhaupt besucht

Die Daten zeigen ein gemischtes Bild. Mehr als die Hälfte der Verbraucher liest Zusammenfassungen in der Suche, und diese Verbraucher beenden ihre Suche nach dem Lesen einer solchen Zusammenfassung mit einer um über 40 % höheren Wahrscheinlichkeit direkt danach. Dadurch kann die Zahl der Besuche auf einer Website sinken. Verbraucher, die über KI-Suche auf eine Website gelangen, konvertieren jedoch mit einer Rate, die zwischen dem Dreifachen und mehr als dem Fünffachen der Rate von Nutzern liegt, die über die klassische Suche kommen. KI kann also weniger Besuche erzeugen, dafür aber Kunden mit deutlich höherer Kauf- oder Handlungsabsicht vermitteln.

Das ist nicht grundsätzlich gut oder schlecht. Ein durch Werbung finanzierter Publisher kann darauf optimieren, möglichst viele Besucher zu erreichen. Ein Händler bevorzugt möglicherweise weniger Besucher, die dafür mit höherer Wahrscheinlichkeit einen Kauf tätigen. Die Aufgabe von Cloudflare besteht nicht darin, diese Entscheidung für sie zu treffen, sondern ihnen die nötige Transparenz und Kontrolle zu geben, um selbst eine fundierte Entscheidung treffen zu können.

Opt-outs für Zusammenfassungen sind ein guter Anfang, aber noch nicht die endgültige Lösung. Unser nächster Schwerpunkt liegt darauf, Websitebetreibern zu helfen, die Auswirkungen von Zusammenfassungen auf ihr Geschäft besser zu verstehen und ihnen mehr Kontrolle darüber zu geben, in welchem Umfang ihre Inhalte genutzt werden können. Offene Standards wie ai-prefs werden dafür von großer Bedeutung sein.

Wenn Sie sich an dieser Diskussion beteiligen oder Feedback geben möchten, wenden Sie sich bitte an crawlercontrols@cloudflare.com.

Diese neuen Steuerungsmöglichkeiten stehen allen Kunden in allen Tarifen zur Verfügung und können in den Sicherheitseinstellungen der Domain (Zone) konfiguriert werden. Sie nutzen Cloudflare noch nicht? Kostenlos starten, um heute die gewünschten Traffic-Kontrollen einzurichten.