Текст, голос и мимика... Как ИИ распознаёт стресс?

🗣 Когда ИИ берет только текст разговора, интонации и мимика остаются за кадром. Одна и та же фраза может звучать спокойно, с юмором или с раздражением. Поэтому меня заинтересовала работа, в которой анализировались сразу три источника информации – текст, голос и изображение лица. Авторы проверяли, помогает ли их сочетание распознавать состояния в разговорах о стрессе.

🔬 В исследовании участвовали 236 человек от 18 до 35 лет. Из интервью об учебной нагрузке, межличностных конфликтах и тревоге о карьере собрали 10 102 реплики. Три клинических психолога независимо друг от друга разметили материал. Затем экспериментальную модель BERT-EmoShiftNet обучили классифицировать реплики по этой разметке, используя текст, голосовые и визуальные признаки.

📊 Модель распределяла реплики по пяти категориям авторской разметки. При анализе только текста точность составила 60,8%, а при добавлении голоса и видео в 85% случаев модель относила реплику к той же категории, что и психологи.

💬 Исследование не доказывает способность ИИ понимать человека, проводить диагностику или надёжно измерять стресс на психотерапевтической сессии. Но при этом я вижу здесь интересную перспективу: инструмент, который помогал бы психологу замечать изменения в речи, голосе и выражении лица клиента прямо на сессии. Такой «искусственный третий» мог бы обращать наше внимание на моменты, к которым стоит присмотреться.
______________

Автор поста: Ирина Баширова, кризисный психолог.
Источник: Jiao C., Zhao H. Application of BERT-EmoShiftNet fusion framework in psychological stress dialogue. Discover Artificial Intelligence, 6, 1565 (2026).
DOI: https://doi.org/10.1007/s44163-026-02423-5