Microsoft попросила издателей не блокировать ботов с ИИ

Microsoft попросила издателей и розничных продавцов позволить парсить их сайты. Об этом рассказал вице-президент по продуктам для издателей в Microsoft AI Нихил Колар в рамках мероприятия Programmatic AI, проводимого Ad Exchanger.

Колар полагает, что издатели и розничные продавцы должны разрабатывать контент, который может напрямую обращаться к ИИ-ботам, а следовательно, к большим языковым моделям, генерирующим новые формы трафика. В этом случае издателям и продавцам не нужно бороться с растущим потоком поисковых систем на основе ИИ и инструментов, управляемых агентным ИИ.

Владельцам сайтов следует обновить свои файлы robots.txt, чтобы избежать ограничений для краулеров, поскольку запреты могут снизить видимость ресурса для поисковиков на базе ИИ, добавил Колар.

По его словам, сейчас четыре из пяти сайтов блокируют посещаемость от ботов и ИИ-краулеров. В результате контент или товары становятся недоступны для ИИ-агентов, а сайты оказываются отрезанными от поисковой выдачи и рекомендаций.

В стремлении убедить издателей открыть доступ к сайтам для ИИ-краулеров прослеживается корыстный мотив Microsoft, пишет Ad Exchanger. У американской корпорации есть собственные ИИ-модели и поисковики на базе чат-ботов, следовательно ей нужны данные от издателей для оптимизации выдачи.

Microsoft хочется, чтобы издатели получали справедливую плату за свои информация, продолжил Колар, указывая на Publisher Content Marketplace как на признак добросовестности. 

Об этой инициативе организация объявила в феврале этого года. Publisher Content Marketplace упрощает заключение лицензионных соглашений между издателями и разработчиками ИИ. Сначала Microsoft предполагала, что издатели будут монетизировать свой контент и данные, предоставляя их в пользование Copilot. Однако с тех пор корпорация открыла экосистему для других разработчиков ИИ, и намерена выступить посредником по лицензированию данных пользователей.

Колар указал на различие между использованием данных издателей для «обучения» и «заземления» ИИ-моделей. Если «обучение» описывает разработка обширного исходного набора данных, извлекаемого из опубликованного в интернете контента, то «заземление» подразумевает получение информации из надёжных источников по протоколу контекста модели (MCP). Маркетплейс Microsoft будет фокусироваться именно на последнем варианте.

Американская медиакомпания People Inc первой присоединилась к этой инициативе Microsoft, уже заключив соглашения с OpenAI и Meta*. Сама People сегодня предоставляет доступ 38 краулерам, блокируя от 30 тыс. до 35 тыс. различных ботов в день. Блокировка всех поисковых роботов предоставляет издателям более сильную отправную точку для заключения лицензионных соглашений, считают в медиакомпании.

_{*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена}