Гуков Дэйли | Ясно-Понятно

От текста к эмоции: как Chimera от ElevenLabs связывает интонацию и выражение лица

Вот опять. Только обсуждали на семинаре, что хотелось бы легко управлять липсинком (совпадением движения губ нейроперсонажа). Разобрали пайплайн Seedance+Elevenlabs, а тут они берут и вдруг объединяются сами в один продукт. Как будто подслушивают а может и реально подслушивают.

Платформа ElevenLabs объединила голосовую модель четвертой версии и визуальные алгоритмы Seedance 2.5. Новый инструмент под названием Химера генерирует реалистичных говорящих персонажей с точной синхронизацией губ и мимики.

Процесс создания контента максимально упрощен. Достаточно написать диалог, выбрать голос и исходное изображение. Алгоритм самостоятельно формирует видеоряд, где мимика строго соответствует речевой интонации.

Управление подачей происходит через текстовые теги. Команда вроде [whisper] (шёпот) изменяет не только громкость, но и лицевую анимацию: появляется прищур, меняется напряжение челюсти.

Для креативных команд и отдельных специалистов это открывает возможность оперативного создания вариантов видео под разные сегменты аудитории. Вы меняете голос и внешность персонажа, сохраняя структуру текста. Система масштабирует этот процесс автоматически без потери качества. Что ни день, то новые фишки, которые раньше надо было выполнять сразу в нескольких нейронках.

Нейроконтент становится простым и лёгким. Плюс это или минус - решать вам.


©️ Этот инструмент однозначно надо сохранить в избранное. Вот, где экономия времени

Как проверить, сгенерировано ли видео нейросетью

На последнем семинаре обсуждали со слушателями вопросы этики ИИ в видеогенерациях. Спойлер: никакой этики нет в тот момент, когда генерацию запускают с локального компьютера. Все фильтры нравственности тут же отключаются. Так как проверять видео на генерацию?

Проверять картинки мы научились. А вот видео — следующий фронт: дипфейки и нейро-видео стали достаточно качественными, чтобы пройти глазами. На этой неделе китайские команды (Пекинский университет, Kling, при участии ведущих технических вузов страны) выложили в открытый доступ модель Verus-Insight. Она не просто говорит «сгенерировано/не сгенерировано», а показывает конкретный артефакт: где именно машина «споткнулась»

Пока нейронка-сканер еще обкатывается и дообучается, поэтому используем режим ручной проверки:
— Руки и границы. Смотрите пальцы, уши, края волос, места, где объект касается фона. Нейросети рисуют «в среднем» — на стыках чаще всего видны следы: лишняя фаланга, расплывчатый контур, предмет, «сливающийся» с фоном.
— Физика. Вода, дым, волосы на ветру, отражения. Нейро-видео часто красиво нарушает физику: отражение не совпадает с объектом, тень падает не туда, ткань движется против ветра.
— Ритм. Люди моргают и двигаются нерегулярно. В сгенерированном видео микродвижения лица часто «плавные по шаблону» — слишком ровный ритм морганий и поворотов головы.

Если сомнения остались — выложите кадр в проверенный детектор ИИ-изображений: видео состоит из кадров, и артефакты на стоп-кадре видны лучше всего.

Помеченное как ИИ видео может быть честной художественной работой. Проблема не в том, что ролик сгенерирован, а в том, что его выдают за документальный факт, особенно если он эмоциональный и призывает что-то срочно сделать.

Проверьте сегодня: возьмите любое сомнительное видео из ленты, поставьте на паузу на самом «человечном» моменте и вычислите генерацию.

©️ Проверяйте дипфейки, пока это еще возможно