TLDR: KI-Bots sehen das Internet nur teilweise, und die Lücken sind grösser als eine einzelne robots.txt-Regel vermuten lässt. Nachrichtenseiten blockieren zwar konsequent, doch rund drei Viertel der blockierenden Seiten tauchen trotzdem in KI-Zitaten auf. Weiche Paywalls sind für Crawler durchsichtig, agentische KI-Browser wie Atlas und Comet umgehen selbst harte Paywalls. Und wo die Blockade technisch nicht wirkt, kauft sich die Branche mit Lizenzverträgen und politischem Einfluss den Zugang, den robots.txt verweigert.

Die schlechten News vorab: “Der KI-Bot” für die Suche existiert nicht. OpenAI betreibt drei getrennte Crawler: GPTBot sammelt Trainingsdaten, OAI-SearchBot baut den Suchindex für Live-Antworten, ChatGPT-User ruft gezielt einzelne URLs ab, die eine Person in ChatGPT eingibt. Jeder liest die robots.txt-Datei unabhängig. Wer GPTBot sperrt, verhindert also nicht, dass ChatGPT eine Seite in Live-Suchergebnissen zitiert. Anthropic trennt ClaudeBot von Claude-SearchBot, Perplexity trennt PerplexityBot von Perplexity-User. Das Muster gilt branchenweit.

Wie diese Trennung in der Praxis wirkt, zeigt eine Auswertung von BuzzStream über 100 grosse News-Seiten in den USA und Grossbritannien. CCBot, der Crawler von Common Crawl, wird von 75 Prozent blockiert, ClaudeBot von 69 Prozent, PerplexityBot von 67 Prozent, GPTBot von 62 Prozent. Perplexity-User, der Live-Abrufe ausführt, wird dagegen nur von 17 Prozent gesperrt. Die Sperre trifft vor allem die Kanäle, die für das Training relevant sind, nicht jene, die für konkrete Nutzeranfragen laufen.

Kommt dazu: Viele Bezahlschranken zeigen Menschen nur einen Teaser, liefern den vollen Artikel aber trotzdem im HTML-Code aus und blenden ihn erst per JavaScript aus. Crawler wie Common Crawl, die zahlreiche KI-Modelle mit Trainingsdaten versorgen, führen dieses JavaScript gar nicht erst aus. Sie lesen den vollständigen Text, bevor die Paywall überhaupt greift. Eine Recherche vom November 2025 zeigte das an Artikeln von der New York Times, der Washington Post und dem Wall Street Journal.

Eine Blockade zu setzen ist die eine Sache. Ob sie wirkt, eine andere. Eine Folgestudie von BuzzStream verglich vier Millionen KI-Zitationen mit den robots.txt-Einstellungen der zitierten Seiten: Rund 75 Prozent der Seiten, die OpenAI- oder Google-Bots blockieren, tauchen trotzdem in KI-Antworten auf. Der Grund ist einfach. robots.txt ist eine Bitte, keine technische Barriere. Seriöse Anbieter halten sich meist daran, andere nicht.

Gleichzeitig bleibt vieles für Bots unsichtbar, was Menschen problemlos finden. Login-Bereiche, Zahlungsseiten und CAPTCHA-Abfragen, wie sie Stiftung Warentest konsequent einsetzt, halten Standard-Crawler zuverlässig fern. Cloudflare, das schätzungsweise ein Fünftel des Internets absichert, blockiert seit Mitte 2025 KI-Agenten auf neuen Domains standardmässig und erweitert das ab September 2026 auf alle Seiten mit Werbeanzeigen.

Auch reine robots.txt-Sperren wirken, nur unzuverlässig. Rund 75 Prozent der grossen News-Seiten blockieren mindestens einen Trainings-Bot. Trotzdem tauchen laut einer Folgestudie rund 75 Prozent dieser blockierenden Seiten weiterhin in KI-Antworten auf, teils weil Crawler Sperren schlicht ignorieren. Cloudflare warf Perplexity im August 2025 sogar vor, gesperrte Seiten über einen verschleierten Chrome-Nutzeragenten trotzdem auszulesen. Die Grenze verläuft also nicht sauber. Sie ist ein Flickenteppich aus Kooperation, Zufall und gezielter Umgehung.

Bei Preisportalen und Testinstituten kommt eine robustere Ebene dazu. Stiftung Warentest schliesst automatisiertes Data-Mining explizit in den Nutzungsbedingungen aus und sperrt Zahlungs- und Login-Bereiche über die eigene robots.txt. Cloudflare, das schätzungsweise ein Fünftel des Internets absichert, blockiert seit Mitte 2025 KI-Agenten auf neuen Domains standardmässig. Ab September 2026 gilt das zusätzlich für Trainings- und Agenten-Bots auf allen Seiten mit Werbeanzeigen, während reine Such-Bots weiterhin erlaubt bleiben.

Diese Sperren arbeiten nicht mit einer Textdatei, sondern mit Bot-Fingerprinting, Verhaltensanalyse und CAPTCHA. Das ist robuster als robots.txt, weil es nicht auf Kooperation angewiesen ist. Für Preisvergleichsportale und Testinstitute, deren Geschäftsmodell auf exklusiven Daten beruht, ist das die eigentliche Schutzebene.

OpenAI, Anthropic und Perplexity betreiben je getrennte Crawler für Training, Suchindexierung und nutzergesteuertes Abrufen, jede Einstellung ist unabhängig steuerbar

OpenAI betreibt nämlich nicht einen Crawler namens "ChatGPT". Das Unternehmen dokumentiert drei getrennte Systeme mit unterschiedlichem Auftrag: GPTBot sammelt öffentliche Web-Inhalte, die möglicherweise zum Training künftiger Modelle verwendet werden, OAI-SearchBot indexiert für die Sichtbarkeit in ChatGPT Search, und ChatGPT-User wird ausgelöst, wenn eine Person in ChatGPT oder einem Custom GPT tatsächlich eine URL abruft. Jede dieser Einstellungen lässt sich unabhängig steuern.

Das ist keine Marketingdifferenzierung. Es ist eine operative Architektur mit Konsequenzen. Wer nur GPTBot blockiert, lässt OAI-SearchBot und ChatGPT-User weiterhin frei zugreifen. Wer nur OAI-SearchBot erlaubt, lässt ChatGPT-User trotzdem jede Seite abrufen, sobald jemand danach fragt. Wer also glaubt, mit einer Zeile robots.txt "aus ChatGPT ausgestiegen" zu sein, irrt in den meisten Fällen.

Anthropic zieht seit Februar 2026 dieselbe Linie. Die überarbeitete Dokumentation unterscheidet ClaudeBot fürs Training, Claude-SearchBot für die Suchindexierung und Claude-User für nutzerausgelöste Abrufe, jeweils mit eigenem User-Agent und eigener robots.txt-Regel. Wer Claude-User blockiert, riskiert laut Anthropic eine reduzierte Sichtbarkeit in nutzergesteuerten Antworten, unabhängig davon, was mit ClaudeBot geschieht. Perplexity dokumentiert eine vergleichbare Trennung. Das Muster ist branchenweit, nicht firmenspezifisch.

Der interessanteste Befund betrifft bezahlte Inhalte. Eine harte, serverseitige Paywall, die nur einen Teaser ausliefert, blockiert Standard-Crawler wie GPTBot oder PerplexityBot wirksam. Eine weiche Paywall, die den vollen Text im HTML ausliefert und ihn nur per JavaScript versteckt, ist für die meisten KI-Crawler dagegen komplett durchsichtig. Common Crawl, das zahlreiche KI-Modelle mit Trainingsdaten versorgt, führt diesen JavaScript-Code gar nicht erst aus. Der Journalist Alex Reisner dokumentierte im November 2025, dass Common Crawl auf diesem Weg vollständige Artikel unter anderem von der New York Times, der Washington Post und dem Wall Street Journal archiviert hat, obwohl diese Seiten für menschliche Leser:innen hinter der Bezahlschranke liegen.

Noch weiter gingen agentische KI-Browser wie OpenAIs Atlas (eingestellt) und Perplexitys Comet. Sie verhalten sich wie eine menschliche Nutzerin oder ein menschlicher Nutzer, mit vollständiger JavaScript-Ausführung und Sitzungsverwaltung. Eine Analyse der Columbia Journalism Review zeigte im November 2025, dass beide Browser vollständige Artikel hinter Paywalls auslesen konnten, selbst bei Verlagen, die die zugehörigen Crawler explizit gesperrt hatten. Atlas meidet dabei gezielt Quellen wie die New York Times, mit der OpenAI im Rechtsstreit steht, und weicht stattdessen auf Zusammenfassungen aus anderen Quellen aus. Die New York Times reichte im Dezember 2025 eine eigene Klage gegen Perplexity ein.

Wo die technische Blockade nicht zuverlässig wirkt, verfolgt die Branche eine zweite Strategie: kaufen, was man nicht erzwingen kann. OpenAI hat seit 2023 mehr als 20 Lizenzverträge mit über 160 Medienmarken abgeschlossen, darunter Associated Press, Axel Springer, Financial Times und News Corp. Der News-Corp-Vertrag ist über fünf Jahre bis zu 250 Millionen US-Dollar wert, Dotdash Meredith erhält laut Konzernunterlagen mindestens 16 Millionen Dollar jährlich. Diese Verträge öffnen Archive, die klassische Crawler wegen Sperren oder Paywalls gar nicht erreichen würden.

Der rechtliche Hintergrund verstärkt diesen Trend. Im Fall Bartz v. Anthropic entschied ein US-Gericht im Juni 2025, dass Training auf legal erworbenen Büchern als Fair Use gilt, das Herunterladen und Aufbewahren raubkopierter Bücher aus sogenannten Schattenbibliotheken dagegen nicht. Anthropic einigte sich daraufhin im Juli 2026 auf eine Zahlung von 1,5 Milliarden US-Dollar, die grösste Urheberrechts-Einigung ihrer Art. Lizenzverträge mit grossen Verlagen sind für die Branche seither auch eine Absicherung gegen genau dieses Risiko.

Ein dritter Hebel ist politischer Einfluss. Der Super-PAC Leading the Future, mitfinanziert von OpenAI-Präsident Greg Brockman und seiner Frau Anna mit 25 Millionen Dollar sowie von den Andreessen-Horowitz-Gründern mit weiteren 50 Millionen Dollar, hat bis Ende Juni 2026 rund 75,8 Millionen Dollar eingenommen und davon knapp 45 Millionen bereits ausgegeben. Ziel ist ein einheitliches Bundesgesetz, das eigene KI-Regulierung der US-Bundesstaaten verhindert.

Und Anthropic finanziert mit Public First eine Gegenbewegung für strengere Leitplanken, unter anderem mit 20 Millionen Dollar. Selbst innerhalb von OpenAI gibt es Widerstand: Sieben aktuelle und ein ehemaliger Angestellter spendeten über 215'000 Dollar an die Gegenorganisation Guardrails Alliance, während OpenAI selbst öffentlich erklärte, als Unternehmen keine Gelder an Super-PACs zu leisten.

Am 1. Juli 2025 wurde Cloudflare der erste grosse Infrastrukturanbieter, der KI-Crawling standardmässig blockiert: Jede neue, bei Cloudflare registrierte Domain muss KI-Crawlern nun aktiv Zugang gewähren, statt ihn erst aktiv verweigern zu müssen. Das ist die Umkehrung des bisherigen Opt-out-Prinzips zu einem Opt-in-Prinzip, ergänzt um "Pay Per Crawl", eine Marktplatzfunktion für bezahlten Zugang.

Ab dem 15. September 2026 geht Cloudflare nun einen Schritt weiter: Crawler, die als "Training" oder "Agent" klassifiziert sind, werden für neu angebundene Domains auf Seiten mit Werbeanzeigen standardmässig blockiert, während Such-Crawler weiterhin standardmässig erlaubt bleiben. Die Logik dahinter: Eine Werbeanzeige signalisiert, dass die Seite für menschliche Aufmerksamkeit gedacht ist, nicht für maschinelle Weiterverarbeitung. Das Modell verschiebt sich zudem vom Bezahlen pro Abruf zum Bezahlen pro Ergebnis, weil eine einzelne Seite einmal gecrawlt und tausendfach in KI-Antworten zitiert werden kann, oder wiederholt gecrawlt und nie zitiert wird.

Für Schweizer und deutsche Unternehmen, die Cloudflare als CDN nutzen, ist das keine akademische Randnotiz. Ab dem 15. September 2026 verändert sich die Standardeinstellung der eigenen Domain, ohne dass irgendjemand im Unternehmen aktiv geworden sein muss.

-WERBUNG-

Mehr KI Kompetenz? Inkl. Kompetenznachweis? Dazu haben wir das KI-Update entwickelt. Kurse, Updates, Newsletter und Podcasts: ein Ort für all dein KI Wissen. Werde Teil unserer exklusiven Community! Tausche dich mit Gleichgesinnten aus, erhalte exklusive Inhalte und nimm an Live-Sessions teil. Mehr Infos gibts auf:

Für die eigene Content-Strategie heisst das: Wer in ChatGPT, Perplexity oder Claude zitiert werden will, muss Retrieval-Bots wie OAI-SearchBot oder Perplexity-User gezielt erlauben, auch wenn Trainings-Bots gesperrt bleiben. Wer sich stattdessen auf eine einzige robots.txt-Regel oder eine weiche Paywall verlässt, verwechselt eine Bitte mit einer Sperre. Die Frage lautet nicht mehr, ob die eigenen Inhalte in KI-Systemen landen. Sie lautet, unter welchen Bedingungen das geschieht, und wer diese Bedingungen aktiv mitgestaltet.

Drei Konsequenzen ergeben sich aus dieser Architektur, unabhängig von der Branche.

Erstens: Eine pauschale "KI blockieren"-Entscheidung existiert technisch nicht. Wer Training verhindern, aber in ChatGPT Search sichtbar bleiben will, muss das bei jedem Anbieter einzeln konfigurieren, nicht mit einer einzigen Regel.

Zweitens: Fehlende Konfiguration ist selbst eine Konfiguration. Wer sich nie mit der eigenen robots.txt befasst hat, überlässt die Entscheidung, wie das eigene Unternehmen in KI-Antworten erscheint, faktisch dem jeweiligen Anbieter.

Drittens: Die Grundlage verschiebt sich schneller, als die meisten IT- und Kommunikationsabteilungen reagieren. Zwischen der Ankündigung eines neuen Cloudflare-Standards und dessen Wirksamkeit liegen oft nur wenige Monate. Wer die eigene KI-Sichtbarkeit strategisch steuern will, braucht dafür wiederkehrende Prüfungen, nicht eine einmalige technische Massnahme.

Bevor eine KI-Antwort als Blick auf "das Internet" behandelt wird, lohnt sich eine einfachere Frage: Über welchen Kanal ist diese Antwort überhaupt zustande gekommen?

Und darum bin ich nach wie vor überzeugt: Die Zukunft gehört nicht mehr dem Tippen und Klicken, sondern dem gemAInsamen Arbeiten mit intelligenten Systemen. Wer verstehen will, ob und wie das eigene Unternehmen für KI-Systeme sichtbar ist, muss die Architektur dahinter kennen, nicht nur eine Checkbox setzen.

Also wenn Du reden willst, und wenn Du mit mir zusammenarbeiten willst: melde Dich gerne www.rogerbasler.ch

Disclaimer: Dieser Artikel wurde nach meinem eigenen Wissen und dann mit Recherchen mit KI (Perplexity.Ai und Grok.com sowie Gemini.Google.com) manuell zusammengestellt und mit Deepl.com/write vereinfacht. Der Text wird dann nochmals von zwei Personen meiner Wahl gelesen und kritisch hinterfragt. Das Bild stammt von Ideogram.Ai und ist selbst erstellt. Dieser Artikel ist rein edukativ und erhebt keinen Anspruch auf Vollständigkeit. Bitte melde dich, wenn Du Ungenauigkeiten feststellst, danke.

Quellen und weitere Informationen:

Anthropic. (2026). Does Anthropic crawl data from the web, and how can site owners block the crawler? Claude Help Center. https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

BuzzStream. (2026). Which news sites block AI crawlers in 2025? [New data]. https://www.buzzstream.com/blog/publishers-block-ai-study/

Cloudflare. (2025, 1. Juli). Control content use for AI training with Cloudflare's managed robots.txt and blocking for monetized content. Cloudflare Blog. https://blog.cloudflare.com/control-content-use-for-ai-training/

Cloudflare. (2026, 1. Juli). Cloudflare stops charging AI per crawl and starts paying per answer. [Sekundärquelle mit Zitat aus Cloudflares Ankündigung]. PPC Land. https://ppc.land/cloudflare-stops-charging-ai-per-crawl-and-starts-paying-per-answer/

Engadget. (2026, 2. Juli). Cloudflare will filter out web crawlers that serve AI companies. https://www.engadget.com/2207360/cloudflare-will-filter-out-web-crawlers-that-serve-ai-companies/

HasData. (2026, Juli). The AI crawler block index. https://hasdata.com/blog/ai-crawler-block-index

Nieman Journalism Lab. (2025, 1. Juli). Cloudflare will block AI scraping by default and launches new "Pay Per Crawl" marketplace. https://www.niemanlab.org/2025/07/cloudflare-will-block-ai-scraping-by-default-and-launches-new-pay-per-crawl-marketplace/

OpenAI. (2026). Overview of OpenAI crawlers. https://developers.openai.com/api/docs/bots

Robots Exclusion Protocol, RFC 9309 (2022). IETF. https://www.rfc-editor.org/rfc/rfc9309.html