Рынок данных формируется за счет активных игроков: компания Cloudflare объявила, что будет блокировать ИИ боты, которые пытаются собрать данные с размещенных на её платформе сайтов.
По заявлению Cloudflare предоставит своим клиентам возможность вручную разрешать или запрещать доступ к ботам краулерам и внедрит услугу "оплата за сканирование" (pay-per-crawl), позволяющую клиентам получать компенсацию за каждый факт сбора контента с их сайта ИИ-ботами.
Владельцы сайтов смогут разрешать или запрещать сканирование контента для каждого этапа жизненного цикла ИИ (обучение, дообучение) и формировать белые списки ИИ-ботов, которым сканирование контента разрешено. Клиенты также смогут устанавливать тарифы за доступ ИИ-ботов к их сайтам.
На первый взгляд складывается впечатление, что Cloudflare смогли придумать классный инструмент для монетизации данных, о котором так много говорят особенно в разрезе споров о нарушении авторских прав. Однако есть несколько нюансов, которые следует учитывать.
Cloudflare контролирует около 20% веб-инфраструктуры. Блокировка ботов по умолчанию может трактоваться как ограничение доступа к рынку данных: даже если сейчас Cloudflare не является доминирующим участником, тем не менее, контролируя доступ к значительной части сайтов, компания становится гейткипером для рынка данных необходимых для обучения ИИ. Особенно, в разрезе права на TDM.
Негативные последствия для Cloudflare возможны, если компания начнет отдавать предпочтение ИИ-ботам от своих собственных партнеров или дискриминировать аналогичные инициативы своих клиентов. Также, если Cloudflare начнет обуславливать доступ к "pay-per-crawl" использованием других ее сервисов - это может быть расценено как "tying" (привязывание клиента к своим сервисам, ограничивая право выбора).
Хотелось бы посмотреть как будут сформулированы лицензионные условия, а именно, как можно будет использовать полученную на сайте информацию (возможно ли ограничение в отношении этического/неэтического использования данных? Полагаю, что так далеко еще не заходили).
Также интересно как будет разрешаться конфликт, в случае, если доступ к ИИ-боту будет предоставлен (за это заплатили), но на сайте будет машиночитаемый отказ, robots.txt или материалы, защищенные от анализа? Скорее всего в пользу компании, которая запустила ИИ-бота, с другой стороны - владелец сайта не несет ответственности за качество тех данных, который получит краулер.
>>Click here to continue<<