Как искусственный интеллект описывает живописные полотна? Могут ли языковые технологии помочь металлургам-технологам? Почему судебным экспертам важно отличать сгенерированные и написанные тексты и какие методы для этого могут предложить компьютерные лингвисты? Эти и другие вопросы обсудили на Всероссийской конференции «Язык, текст, культура через призму цифровых технологий» в Питерской Вышке.
Данил Хазигалиев | НИУ ВШЭ — Санкт-Петербург
Мероприятие проходит на базе НИУ ВШЭ — Санкт-Петербург во второй раз. Организатор конференции — Лаборатория языковой конвергенции. Конференция объединяет ведущих экспертов, исследующих возможности и ограничения автоматической обработки текстовых данных в эпоху больших языковых моделей. В этом году в рамках 16 тематических секций выступили с докладами более 90 лингвистов, филологов, а также представителей реального сектора экономики из России, Белоруссии, Казахстана и Латвии.
Руководитель Лаборатории языковой конвергенции, академический руководитель магистерской программы «Языковые технологии в бизнесе и образовании» Анастасия Колмогорова представила исследование, в котором сравнила, насколько люди и нейросети одинаково характеризуют живопись. Тема родилась благодаря сотрудничеству Питерской Вышки с Государственным Эрмитажем. В прошлом году ученые создали датасет описаний картин из коллекции музея. В проекте приняли участие волонтеры разных возрастных и профессиональных групп, для исследования использовали мультимодальные языковые модели. Коллекция сначала выступила основой для разработки и внедрения технологии векторного поиска картин по их пользовательскому описанию, а затем стала самостоятельным объектом изучения.
Анастасия Колмогорова
Заведующая Лабораторией языковой конвергенции
«В исследовании приняли участие около 200 посетителей музеев и четыре мультимодальные модели, которым предлагалось описать картину так, как это бы сделал обычный человек без специальных знаний. Наша гипотеза такова: обычные посетители описывают картины не с точки зрения искусствоведческого канона, а исходя из тех возможностей, которыми обладает наша когнитивная система. Мы сравнили векторные представления текстов описаний в следующих группах: один и более человек на картине, изображения природы и объектов, абстракции. Получилось, что согласуются между собой и у моделей, и у людей описания картин, на которых изображен один человек или природа, наиболее разнообразны — описания сцен, изображающих трех и более человек и описания абстракций. При этом модели дают более единообразные описания во всех группах картин, чем информанты. Интересно: произведя разметку явных (красное платье) и скрытых (трава) цветообозначений в корпусе описаний, мы заметили большие отличия в том, как описывают цвет в одних и тех же картинах люди и модели. Можно говорить о ИИ-опосредованном опыте восприятия произведений искусства», — пояснила Анастасия Колмогорова.
Анализ пересекается с исследованием профессора Воронежского государственного педагогического университета Татьяны Литвиновой, которая изучает маркеры ИИ в текстах. По ее словам, порой даже профессиональные филологи не могут со всей уверенностью отличить сгенерированный контент от созданного человеком. С проблемой сталкиваются, в частности, судебные эксперты-лингвисты. Исследователь провела многоаспектный анализ датасета, созданного Лабораторией языковой конвергенции, и выявила ряд речевых свойств ИИ-текстов. В них, например, больше конструкций с существительными, используется большее разнообразие лексических единиц и более сложные синтаксические конструкции.
Заведующая кафедрой алгоритмических языков факультета вычислительной математики и кибернетики МГУ им. М. В. Ломоносова Наталья Лукашевич рассказала, как большие языковые модели помогают автоматически уточнять, какое значение слова имеется в виду в тексте. Руководитель Лаборатории социальной и когнитивной информатики Елена Кольцова раскрыла, как нейросети и информанты оценивают достоверность утверждений о здоровье.
По словам ведущего эксперта АО «Северсталь Менеджмент» Павла Вахрамеева, работа лингвистов с нейросетями важна не только для развития гуманитарного знания. Промышленным предприятиям исследования Лаборатории языковой конвергенции помогают автоматизировать многие производственные процессы.
Одна из сложностей, которую можно решить при помощи лингвистических технологий, — субъективность экспертной оценки качества выпускаемого металла. Молодые ученые Питерской Вышки Владислав Лобанов,Алина Тельнова и Анастасия Шибаева разработали систему, которая умеет коротко рассказывать сотрудникам отдела качества, какие обновления происходят в документации предприятия и даже визуализировать самое важное в виде блок-схем. Проект упрощает работу специалистов, делает сложные технические регламенты компактными и легкими для восприятия.
Павел Вахрамеев, ведущий эксперт АО «Северсталь Менеджмент»
«Мы давно работаем над процессами цифровизации в компании, фокусируемся на цифровых двойниках производства, компьютерном моделировании процессов и изделий, управлении знаниями, с недавних пор активно развиваем и языковые модели. За долгие годы у нас накопилось большое количество производственных и научно-технических данных. Вручную сотрудникам уже очень сложно их обработать. В управлении знаниями нам помогает Питерская Вышка. Мы сотрудничаем третий год, реализовали два крупных проекта в рамках магистерского трека под руководством Анастасии Колмогоровой. Есть исследовательские идеи, которые мы продолжаем совместно внедрять в практику».
Среди партнеров — участников конференции и крупные игроки на рынке онлайн-образования. Например, для одной из таких компаний Екатерина Елисейкина и Евгения Гаранина автоматизировали отбор резюме кандидатов и сократили нагрузку на HR-специалистов.