Исследователи из arXiv представили работу, посвящённую визуальному якорному смещению в Vision-Language моделях (VLM). Они обнаружили, что встроенные числовые метки на изображениях (например, цифры, обозначающие качество) систематически влияют на оценки моделей. В эксперименте участвовали шесть VLM из пяти архитектурных семейств.
Статистический анализ показал значимый эффект (ANOVA eta^2 = 0.18–0.77, все p <0.001). При этом эффект числового якоря оказался в 2,5 раза сильнее, чем сильное ухудшение качества изображения. Это подтверждает, что смещение не сводится к визуальным изменениям, а связано с обработкой чисел.
Послойное исследование модели (layer-wise probing) выявило интересную закономерность: слои, где классификация числовых меток достигает насыщения (L12–L34), хуже всего подходят для предсказания качества. Оптимальные слои находятся глубже, с показателями R^2 от 0,69 до 0,91.
Анализ слияния признаков (fusion analysis) показал зависимость от архитектуры. В двух моделях интеграция чисел происходила мгновенно на первых слоях (L1–L2), в трёх других — частично или полностью отсутствовала. Это говорит о том, что разные архитектуры по-разному обрабатывают визуальные якоря.
Результаты устанавливают причинно-следственную связь между поведенческой уязвимостью и динамикой представлений. Понимание этого механизма может помочь в разработке более устойчивых VLM-моделей для задач оценки качества изображений.
Исследование подчёркивает, что даже небольшие визуальные элементы, такие как числа, могут существенно искажать работу современных моделей искусственного интеллекта. Работа опубликована на платформе arXiv и доступна для ознакомления.