Het verhaal
Cloudflare publiceert Bot Preference Sync: Free tot Enterprise houdt robots.txt automatisch gelijk met de AI-botvoorkeuren in het dashboard — Search, Agent en Training.
Gegenereerde directives worden vooraan een bestaande origin-robots.txt gezet. Nieuwe accounts krijgen de functie standaard aan; bestaande managed-robots.txt-klanten zien een bevestigingsprompt.
Crawlers die zowel zoeken als trainen moeten aan nieuwe disclosure-voorwaarden voldoen, anders worden ze geblokkeerd wanneer Training op Disallow staat.