Перейти к основному содержимому
Инструменты генерации и редактирования

LipSync

Это руководство объясняет, как работает LipSync, как подготовить входные файлы и как добиться наилучших результатов.

Последнее обновление 1 день назад

Что делает инструмент

LipSync оживляет одно фото, заставляя его говорить, используя ваше аудио и опциональный текстовый промпт. Основан на OmniHuman 1.5. Губы вашего персонажа двигаются естественно в синхронизации со звуком, мимика соответствует эмоции и контексту, а личность (лицо, стиль, волосы, освещение) остаётся согласованной на протяжении всего видео. Работает даже с очень короткими аудиоклипами. Полностью без цензуры.

🎬 Примеры результатов

Посмотрите, что может создать LipSync из фото и аудиофайла.

Пошаговая инструкция

Шаг 1. Model. LipSync сейчас работает на единственной модели, General, на базе OmniHuman 1.5: неограниченное поведение персонажа, реалистичные микро-выражения, понимание смысла аудио (а не только звуков), плавные движения головы и естественные жесты, а также сильное сохранение идентичности.

Шаг 2. Image: обязательно. Загрузите лицо или персонажа, которого хотите оживить. JPG, PNG, JFIF или HEIC, до 5МБ, до 4096×4096. Лучшие результаты получаются при фронтальном ракурсе или в 3/4, высоком разрешении, чётком освещении (без резких теней), без препятствий на лице и с одним человеком на изображении.

Шаг 3. Audio File: обязательно. MP3 или WAV. Инструмент считывает смысл речи, а не только фонемы: он понимает, что говорится, и создаёт соответствующие реакции и выражения. Лучше всего работают чистые записи голоса; избегайте фонового шума или музыки и держите громкость нормальной (не переусердствуйте со сжатием).

Шаг 4. Prompt (опционально). Опишите, что вы хотите видеть в видео: эмоцию, тон, стиль, движение камеры, поведение персонажа или атмосферу сцены. Пример: «Уверенно, мягкая улыбка, тёплый эмоциональный тон. Лёгкий наклон головы. Дружелюбное, располагающее настроение».

Шаг 5. Resolution: зафиксировано на 1080p для этой модели.

Шаг 6. Duration: определяется автоматически по длительности загруженного аудиофайла.

Шаг 7. Generate Lipsync: запускает обработку. Стоимость 3 кредита за секунду аудио. Обработка обычно занимает 5–30 секунд в зависимости от длины видео.

Полезные советы

Выбирайте правильное референсное изображение: избегайте обрезанных лиц, сильных фильтров, солнцезащитных очков или крупных масок. Используйте чёткие портреты хорошего качества.

Записывайте чистое аудио: говорите чётко, избегайте эха и фоновых эффектов, сохраняйте естественные движения рта.

Эффективно используйте промпт: промпты помогают, но не должны противоречить аудио. Хорошо: «Мягкая, эмоциональная подача. Нежное движение глаз» или «Энергичный стиль инфлюенсера, улыбается во время речи». Избегайте: «Крик и прыжки» поверх спокойного аудио, чрезмерно сложных движений камеры или физических действий, невозможных в портретном кадре.

Для ИИ-моделей / виртуальных инфлюенсеров: при генерации нескольких видео одного персонажа повторно используйте один и тот же набор референсных фото и сохраняйте единый стиль фото и освещение на протяжении всех съёмок.

Решение проблем

Вы работаете с нейросетью: иногда возможны ошибки или артефакты, стопроцентно точный результат не гарантирован.

Рассинхронизация рта или неестественные губы? Проверьте чёткость аудио, избегайте записей с шумоподавлением/роботизированным звучанием, и укоротите аудио, убрав длинные тишины.

Искажение лица или «уплывающая» идентичность? Используйте референсное изображение более высокого качества, избегайте экстремальных ракурсов камеры, используйте портретную ориентацию, и избегайте тёмных, зернистых фото.

Эмоция не совпадает? Скорректируйте промпт, избегайте противоречивых указаний, и убедитесь, что само аудио несёт чёткую эмоцию.

Если что-то пошло не так, напишите нам в чат поддержки в приложении или на [email protected].

Частые вопросы

Нет. Начните с нейтрального, чёткого референсного фото: выражения и эмоции берутся из вашего аудио и опционального промпта, а не из исходного изображения.

Да, модель General без цензуры (Safety Filters: Minimal).

Разрешение зафиксировано на 1080p для модели General. Нет более низкого или высокого варианта на выбор.

LipSync стоит 3 кредита за секунду аудио, поэтому итоговая стоимость зависит от длительности загруженного аудиофайла.

В некоторой степени, с помощью опционального промпта. Но держите инструкции реалистичными для портретного кадра и не противоречьте тому, что передаёт аудио.

Что дальше

  • Video Upscaler: улучшите чёткость и увеличьте разрешение результата

  • Video Merger: объедините клипы в более длинное видео

Это было полезно?

Нужна помощь? Спросить команду