«Яндекс» модернизировал алгоритмы поиска по картинкам, теперь система одновременно анализирует изображение и текст на странице, где оно размещено. Это позволяет учитывать возможные расхождения между фотографией и её описанием, рассказали у в пресс‑службе компании.

Раньше «Поиск» анализировал изображение и текст отдельно. Теперь эти данные оценивают вместе. В результате система должна точнее определять объект на фотографии в случаях, когда текстовое описание содержит ошибку или относится к другой модели.

Изменение актуально для поиска товаров, автомобилей, смартфонов, одежды, мебели и других объектов, которые могут быть похожи друг на друга. Например, если на странице показана фотография одной модели телефона, а в описании указана другая, механизм может определить модель по самому изображению и учесть это при формировании результатов.

В компании сообщили, что после внедрения новой технологии доля релевантных изображений в верхней части выдачи увеличилась.

В основе обновления лежит мультимодальная модель, которая обрабатывает изображения и текст совместно. Чтобы применять её в поиске без увеличения времени ответа, «Яндекс» обучил большую схема, а затем разработал на её основе несколько более компактных моделей для разных этапов обработки. Часть наиболее ресурсоёмких вычислений выполняется заранее.