Система могла бы менять слова и движения губ в трансляциях. Версия речи могла бы зависеть от профиля зрителя.
Microsoft подала патентную заявку на ИИ-технологию, которая могла бы менять слова в прямых трансляциях и подстраивать под них движения губ говорящего. Документ опубликован 29 октября. Он описывает обработку звука и видео до того, как запись увидит зритель.
Как сообщает Patentlyze, ИИ-агент выбирает слова для замены с учётом профиля зрителя: его возраста, местоположения и языков, которыми он владеет. Затем генеративный ИИ подменяет слова в аудио, сглаживает переходы для естественного звучания и создаёт новые видеокадры, чтобы движения рта совпадали с изменённой речью.
В заявке говорится об обработке почти в реальном времени. По трактовке Patentlyze, задержка составила бы несколько секунд. Система также могла бы работать на телефонах, планшетах, камерах и очках дополненной реальности.
Среди описанных сценариев — удаление слов-паразитов и заминок вроде «эм», замена мата и оскорбительных выражений, исправление сленга, невнятно произнесённых слов и ошибок произношения. Слова для подстановки можно было бы брать даже из интернет-поиска. Patentlyze предполагает, что это открыло бы возможность для мгновенной проверки фактов.
Отдельный раздел посвящён переводу: речь на незнакомом зрителю языке заменяется переводом, а движения губ подстраиваются под новые слова. Поскольку правки зависят от профиля пользователя, два человека, смотрящих одну трансляцию, могли бы услышать разные версии сказанного.
Ещё один сценарий — сокращение длинных записей до коротких видеопересказов. Для этого ИИ создавал бы новые кадры, на которых участники произносят сокращённый текст. Пока всё это описано только в патентной заявке: гарантии, что Microsoft выпустит такой продукт, нет.
