Cloudflare ставить ультиматум AI-компаніям: платіть або не скрапіть
З 15 вересня 2026 року Cloudflare змінює дефолтні налаштування для всіх сайтів під своїм захистом. Будь-який «змішаний» краулер, що одночасно індексує контент для традиційного пошуку і збирає дані для навчання AI або AI-агентів, буде автоматично заблокований на сторінках, де розміщена реклама. Про це повідомив TechCrunch з посиланням на офіційне оголошення компанії.
Суть вимоги проста. AI-компанії зобов'язані розділити своїх ботів на два окремі краулери з різними ідентифікаторами: один для класичного пошукового індексування, інший для тренування моделей і роботи агентів. Якщо розділення не відбудеться до дедлайну, Cloudflare відріже таких ботів від монетизованого контенту автоматично, без потреби вручну налаштовувати правила для кожного сайту.
Чому це сталося саме зараз
Проблема накопичувалась кілька років. AI-краулери масово споживають контент паблішерів, не генеруючи натомість реферального трафіку. Класична модель обміну, за якою боти індексують сторінки, а пошуковик повертає клікабельні посилання, зламалась: генеративні відповіді ChatGPT, Perplexity та аналогічних систем не ведуть користувача на оригінальний сайт. Паблішери втрачають і трафік, і рекламний дохід одночасно.
Cloudflare обслуговує понад 20% усього інтернет-трафіку. Це робить компанію унікальним гравцем, що може встановлювати правила гри для всієї індустрії, а не просто для окремого видання чи платформи. Новий підхід, фактично, перекладає тягар compliance на AI-компанії: або ви прозоро ідентифікуєте своїх ботів і платите за контент, або не отримуєте доступу до монетизованих сторінок взагалі.
Прямий вплив на арбітражний трафік
Для арбітражників це рішення має кілька рівнів наслідків, і частина з них не очевидна на перший погляд.
Перший рівень — паблішери, на сайтах яких арбітражники розміщують нативну рекламу або купують трафік напряму, отримають технічний інструмент захисту свого контенту. Менше безкоштовного скрапінгу означає більше стимулів для AI-компаній укладати ліцензійні угоди. Якщо паблішери починають монетизувати контент через такі угоди, їхня залежність від рекламних доходів може частково знизитись, що теоретично змінює динаміку прайсингу в нативних мережах.
Другий рівень стосується трафіку з AI-пошуку. Арбітражники, які вже освоювали канали через Perplexity, ChatGPT Search та аналоги, мають розуміти: якщо ці системи не матимуть доступу до монетизованих сторінок, якість їхніх відповідей щодо комерційних тематик деградуватиме. Це може сповільнити ріст AI-пошуку як каналу для affiliate-трафіку, особливо в нутрі, фінансах і гемблінгу, де більшість посадкових сторінок монетизовані.
Третій рівень, найбільш практичний, стосується трекінгу і аналітики. Cloudflare відіграє роль не лише CDN, а й фільтра трафіку. Нові правила щодо ботів означають, що арбітражники, які використовують Keitaro, Voluum або Binom для трекінгу кампаній на власних доменах під Cloudflare, повинні перевірити, чи не потраплять їхні легітимні краулери та автоматизовані перевірки під нові дефолтні правила блокування.
Що зміниться для паблішерів і рекламних мереж
Рекламні мережі, через які арбітражники купують трафік, теж відчують ефект. Сайти паблішерів на кшталт тих, що працюють з EVADAV, HilltopAds або ClickAdilla, за замовчуванням отримають захист від AI-скрапінгу, якщо стоять за Cloudflare. Для невеликих паблішерів це реальна цінність, яку раніше можна було налаштувати лише вручну.
Паблішери, що хочуть все ж дозволити певним AI-краулерам доступ в обмін на оплату, зможуть це зробити через відповідні налаштування. Cloudflare фактично будує інфраструктуру для переговорного процесу між видавцями та AI-компаніями, де дефолтне положення тепер на боці паблішера, а не бота.
Що робити арбітражнику вже зараз
До 15 вересня залишається менше трьох місяців. Кілька практичних кроків мають сенс незалежно від того, наскільки великий ваш обсяг трафіку.
- Перевірте, чи стоять ваші лендінги та прелендінги за Cloudflare, і які правила для ботів активні за замовчуванням у вашому акаунті.
- Якщо ви використовуєте автоматизовані перевірки доступності сторінок або власні скрипти моніторингу, переконайтеся, що їхні User-Agent рядки не збігаються з відомими AI-краулерами.
- Для антидетект-браузерів на кшталт OctoBrowser або GoLogin зміни прямого впливу не мають, але загальний тренд на ідентифікацію автоматизованого трафіку посилюється.
- Якщо ви купуєте трафік через search arbitrage у нативних мережах, відстежуйте, як зміниться якість і обсяг трафіку з AI-пошукових систем після вересня.
Особисто я б розглядав цей крок Cloudflare як сигнал, а не як ізольовану технічну зміну. Тренд на монетизацію AI-доступу до контенту набирає обертів: після судових позовів NYT до OpenAI, після угод між видавцями та AI-платформами, тепер з'явився інфраструктурний гравець, що може примусити дотримання правил на рівні мережі. Для арбітражу це означає, що ландшафт трафіку з AI-каналів у найближчі 12 місяців суттєво зміниться.