Искусственный интеллект не понимает спорные эмоции в тексте

Ученые из Университета Кансай, Университета Сига и RIKEN проверили , насколько большие языковые модели похожи на людей при разметке эмоций. Оказалось, что модели неплохо узнают очевидные эмоции, но плохо передают человеческое несогласие — то есть ситуации, когда один человек видит в тексте радость, другой раздражение, а третий нейтральный тон. Обычно качество такой разметки проверяют по «золотому стандарту»: если большинство аннотаторов выбрало одну эмоцию, ее считают правильной. Но с эмоциями это работает грубо — саркастичный комментарий, тревожная фраза или сдержанная благодарность могут...