Cloudflare hat eine neue Policy namens Content Signals eingeführt, die es Publishern ermöglicht, die Nutzung ihrer Inhalte durch Künstliche Intelligenz besser zu steuern. Diese Policy umfasst erweiterte Direktiven in der robots.txt-Datei, die es Webseitenbetreibern erlauben, festzulegen, ob ihre Inhalte für Suchmaschinen, KI-generierte Antworten oder das Training von KI-Modellen verwendet werden dürfen. Mit dieser Funktion können Publisher gezielt entscheiden, welche Inhalte sie für die klassische Suchindexierung freigeben und gleichzeitig die Nutzung durch KI-Dienste einschränken. Cloudflare plant, diese Signale automatisch für Millionen von Kunden einzufügen, um einen Branchenstandard zu etablieren. Allerdings bleibt unklar, ob Google und andere Anbieter diese Vorgaben respektieren werden, da robots.txt-Direktiven rechtlich nicht bindend sind. Cloudflare weist darauf hin, dass zusätzliche Maßnahmen wie Bot-Management und Firewall-Regeln notwendig sind, um eine strengere Kontrolle zu gewährleisten. In Anbetracht der Prognose, dass Bots den menschlichen Traffic im Internet übersteigen könnten, wird die Bedeutung solcher Tools zunehmen.