CloudFlare теперь позволяет сайтам напрямую взимать плату с AI-движков за сканирование своих сайтов
Совсем недавно на сайте CloudFlare было объявлено о введении «Pay Per Crawl» - данная возможность дает владельцам сайтов новый альтернативный вариант вместо прямой блокировки ИИ-краулеров или предоставления полностью открытого доступа открывать доступ за оплату. С помощью данной системы сайты могут все также подпитывать базы искусственного интеллекта данными и одновременно зарабатывать на этом.
Сейчас, если робот с искусственным интеллектом перейдет на сайт с оплатой за сканирование, ему нужно либо представить платеж через заголовки запроса, либо он получит статус «Требуется платеж 402». После чего владельцы могут разрешать, взимать плату или блокировать роботы с искусственным интеллектом по своему усмотрению.
Новые домены Cloudflare по умолчанию блокируют все известные AI-краулеры.
У сайтов теперь есть 3 варианта управления:
- Разрешить - предоставить неограниченный доступ.
- Плата - требовать, чтобы боты с искусственным интеллектом платили установленную плату за запрос.
- Блокировать - прямой запрет доступа (эквивалент блокировки на сетевом уровне).
Режим Pay-Per-Crawl (бета-версия) означает фиксированную комиссию на всем сайте с микроплатежами за сканирование, обрабатываемыми Cloudflare.
- Боты с искусственным интеллектом видят ответ 402 Payment Required с ценой и повторяют попытку с помощью платежного токена, или они могут предварительно заявить о намерении заплатить.
- Поисковые роботы должны зарегистрироваться в Cloudflare и предоставить криптографические подписи сообщений, чтобы быть идентифицированными и утвержденными.
- Работает вместе с существующими WAF, инструментами управления ботами и Robots.txt.
- Прозрачность и аналитика: на панели мониторинга отображается активность сканирования, шаблоны использования и удостоверения робота, что позволяет вести переговоры или корректировать политику.
- Поддержка крупных владельцев сайтов. Среди первых тестировщиков - Time, Gannett, BuzzFeed, Fortune, Reddit, Pinterest, Quora и другие.
Могут ли владельцы сайтов отказаться от блокировки чат-ботов с искусственным интеллектом?
- Да. Если владельцы не хотят блокировать роботов с искусственным интеллектом, они могут выбрать опцию «Разрешить» через панель управления или API.
- Владельцы сайтов могут разрешить использование определенных ботов, взимая плату с других, или предоставить им бесплатный доступ, в зависимости от установленных предпочтений, чтобы они могли не блокировать чат-ботов или сканеров с искусственным интеллектом и выбирать, платить им или нет.
- Вероятно, эта разработка была вызвана запросом от авторов сайтов, которым надоели поисковые роботы, которые сканируют их контент без перехода на сайт или дохода взамен.
Это интересный подход, поскольку с помощью этого способа владельцы сайтов могут монетизировать свой контент на собственных условиях.
Авторы сайтов должны быть в курсе того, как именно их контент используется в интернете.
При этом, всегда найдутся сайты, которые с радостью раздадут свой контент бесплатно. Так что до тех пор, пока это существует, у роботов с искусственным интеллектом не будет достаточно стимулов, чтобы финансово компенсировать достаточное количество владельцев сайтов. Это может сработать для 1% лучших сайтов, к которым AI-компании считают необходимым получить доступ.
Ссылка на новость Cloudflare https://blog.cloudflare.com/introducing-pay-per-crawl/
>>Click here to continue<<
