Adobe показала ИИ для 3D-сцен из фото и работы со звуком

Adobe представила на ежегодной конференции Max четыре экспериментальных ИИ-инструмента для работы с изображениями, персонажами и звуком. Они позволяют превратить плоскую картинку в пространство для перемещения, настроить характер героя через разговор, смешать звуковые эффекты и перенести ретушь между объектами. Пока это демонстрации технологий, а не анонсы готовых продуктов.

Project Screen Test помогает создавать ИИ-персонажей для видео в формате виртуального прослушивания. Сначала пользователь задаёт основные черты характера — например, тревожность, застенчивость и неловкость — и выбирает голос. Его можно взять из готовых вариантов, описать текстом или задать с помощью загруженного аудиообразца.

Дальше с персонажем можно разговаривать как по видеосвязи: уточнять биографию, темперамент, цели, недостатки, страхи и особенности движений. Когда образ готов, инструмент генерирует анимационные пробы по описанию обстановки или ситуации. Сейчас Screen Test существует как отдельный творческий эксперимент: попадёт ли он в видеосервисы Adobe, неизвестно.

Project Sight Span превращает фотографию, картину или иллюстрацию в трёхмерную среду. В ней можно перемещаться и менять точку съёмки, а ИИ достраивает объекты и фон за пределами исходного кадра — даже если развернуться в противоположную сторону. Во время перемещения изображение выглядит пиксельным и нечётким, но после выбора ракурса качество восстанавливается.

Sight Span умеет сохранять художественный стиль исходника. По наблюдению автора The Verge Джесс Уэзербед, даже черты лица и татуировки на фотографиях остаются узнаваемыми при смене ракурса. При этом она считает, что после столь серьёзного изменения точки съёмки результат уже сложнее называть фотографией.

Project Sound Bender создаёт звуковые эффекты для загруженного видео по текстовому запросу и автоматически синхронизирует их с роликом. Затем пользователь получает квадратное поле: каждому его углу назначен отдельный звук. Перемещая курсор по полю, можно в реальном времени менять баланс между эффектами — например, бульканьем, гулом кипящих камней и электрическим треском. Звуки в углах разрешено заменять.

Project Rinse Repeat переносит правки на других людей или объекты в той же фотографии. После удаления прыщей или других несовершенств кожи у одного человека инструмент адаптирует похожую ретушь для остальных участников группового снимка. Ещё один пример — добавление теней к товарам в рекламной графике, даже если предметы отличаются формой и размером. Проект построен вокруг Photoshop: он воспроизводит изменения штатными инструментами редактора, поэтому результат остаётся полностью редактируемым.

Общая идея этих экспериментов — сделать сложные творческие задачи более понятными и интерактивными, не ограничиваясь упрощением работы для новичков. «Сделать эти взаимодействия более интуитивными — значит также дать опытным творческим специалистам более точный контроль», — рассказал The Verge старший ведущий научный сотрудник Adobe Гаутам Майсор. В качестве примеров он привёл подбор звучания в Sound Bender и настройку положения камеры в Sight Span.

Такие технологические показы Adobe называет sneaks. Их разработки могут со временем попасть в приложения Creative Cloud или на платформу Firefly, но компания не гарантирует выпуск. Почти все показанные проекты опираются на генеративный ИИ. Уэзербед допускает, что при достаточной полезности подобные инструменты могут со временем заменить часть привычных средств работы и библиотек готовых материалов для творческих специалистов.