Нейросеть «Алиса» в Яндекс Браузере научилась понимать изображения в интернете и создавать их описания. Это поможет незрячим и слабовидящим пользователям лучше воспринимать визуальный контент: иллюстрации в статьях, фотографии товаров в интернет-магазинах или картинки в соцсетях.
«Алиса» сообщает, что изображено на картинке, а по запросу пользователя может привести более подробные детали. Например, нейросеть может описать цвет, крой и посадку платья на фотографии в интернет-магазине.
Функция работает на основе мультимодальной нейросетевой модели, способной анализировать как тексты, так и изображения. Модель воспринимает изображение целостно, понимая взаимосвязь между элементами и их контекст, что позволяет создавать лаконичные и осмысленные описания.
Для получения описания нужно выбрать опцию «Описать картинку» в контекстном меню или на панели над изображением, либо навести на картинку фокус программы экранного доступа. В Яндекс Браузере для Windows, iOS и Android «Алиса» может не только составить, но и озвучить описание.
Управление функцией доступно в настройках Браузера в разделе «Специальные возможности». При использовании программы экранного доступа описания создаются только для тех изображений, на которые можно навести фокус.
В Яндекс Браузере также присутствуют и другие инструменты для пользователей с особенностями зрения: режим чтения, темная тема, гибкое масштабирование интерфейса и Умная камера в мобильной версии для распознавания печатных текстов и предметов.