LipSync: руководство по промптам (OmniHuman 1.5)

Цель в том, чтобы помочь вам раскрыть полный выразительный потенциал модели: эмоциональную игру, реалистичные движения, многостилевую подачу и реакции, учитывающие контекст.

1. Как работают промпты в LipSync

LipSync использует три входных параметра:

• Изображение: идентичность, внешность, референс окружения.

• Аудио: тайминг + речь + эмоциональные сигналы + смысл.

• Промпт: всё, что аудио не может определить явно:

  стиль, настроение, актёрские указания, движение камеры, сценарий, характер, интенсивность.

OmniHuman 1.5 читает промпты как режиссёрские указания для актёра, примерно как инструкции на съёмочной площадке.

Промпты могут влиять на:

• эмоциональный стиль

• интенсивность выражения

• микро-жесты

• логику актёрской игры

• поведение камеры

• поведение персонажа

• стиль (кино / соцсети / драматичный / естественный)

• позу

• настроение

• ощущение окружения

Они не могут переопределить:

• идентичность из входного изображения

• тайминг движения губ

• смысловую корректность речи

2. Ключевые принципы OmniHuman-1.5

✓ Принцип 1: промпт = актёрские указания

Промпты работают лучше всего, когда описывают:

• тон

• отношение

• эмоциональное состояние

• намерение

• тонкие поведенческие детали

Пример:

"Warm, sincere tone, soft smile, thoughtful eye movement, slight nod."

✓ Принцип 2: уважайте аудио

Если аудио грустное/медленное, а промпт говорит «энергичный стиль инфлюенсера», результат получается неестественным.

Промпты должны соответствовать эмоции и ритму аудио.

✓ Принцип 3: не переусердствуйте с режиссурой

Избегайте сложных или противоречивых инструкций.

❌ "Fast camera spin, walking through a forest, laughing loudly, whispering seductively."

✔ "Soft natural expression, slight head movement, gentle smile."

✓ Принцип 4: используйте промпты для усиления, а не замены

Аудио определяет базовое поведение, промпт определяет стиль.

3. Структура промпта (рекомендуемый шаблон)

Промпт, составленный по лучшим практикам, должен включать эти блоки:

Emotion + Tone Facial Expression Eye & Head Movement Body Language (light gestures) Persona / Character Style Camera Behavior Scene Mood (optional)

Пример полного промпта:

"Calm and confident tone. Soft smile with friendly eye contact. Slight head tilt and relaxed micro-gestures. Social-media style delivery with warm lighting. Minimal camera drift forward."

4. Ключевые особенности продукта → как использовать их в промптах

На основе официальных Product Highlights OmniHuman-1.5:

⭐ Понимание аудио

Персонаж может выполнять действия, основываясь на смысле речи.

Используйте промпты, чтобы дополнить это.

Пример:

"React with curiosity when asking questions. Smile when mentioning something positive."

⭐ Точная реакция на инструкции

Модель следует указаниям по движению, актёрской игре и камере.

Пример промпта:

"Slight camera push-in, gentle head movement, expressive eyes."

⭐ Яркая эмоциональная игра

Можно запрашивать конкретные уровни эмоций.

Примеры:

• "Extremely emotional, teary eyes, voice trembling."

• "Light emotional tone, soft and warm."

• "High-energy influencer vibe, expressive gestures."

⭐ Поддержка сценариев с несколькими персонажами

(LipSync сейчас работает с одним персонажем, но логика всё равно применима.)

Вы всё ещё можете упоминать воображаемых второстепенных персонажей:

"Looking slightly off-camera as if talking to someone in the room."

⭐ Разнообразные стили

Поддерживает реалистичный, кинематографичный, драматичный, влог-, музыкально-видео и другие стили.

Примеры:

• "Cinematic, shallow depth of field."

• "TikTok influencer style."

• "Documentary interview tone."

• "Dramatic theater-style expression."

🎭 5. Промпты на основе сценариев (по официальным сценарным кейсам)

Из OmniHuman-1.5 Scenario Cases:

Кино / короткое видео, фэнтези-влоги, музыкальный контент с ИИ, UGC-контент.

Ниже приведены адаптированные рекомендации по промптам для LipSync.

6. Продвинутые техники промптинга

1. Уровни эмоциональной интенсивности

Попробуйте задавать силу:

• "Very subtle expression."

• "Medium emotion, natural."

• "High-intensity acting, dramatic facial movement."

2. Движение камеры

OmniHuman 1.5 поддерживает движение камеры.

Примеры:

• "Slow push-in."

• "Gentle left-right drift."

• "Light handheld feel."

• "No camera movement."

3. Микро-жесты

Чрезвычайно эффективны:

• "Soft blinking."

• "Small head nods."

• "Slight eyebrow movement."

• "Gentle smile transitions."

4. Персона и тип персонажа

Задаёт настроение:

• "Teacher explaining calmly."

• "Influencer speaking confidently."

• "Villain with slow, cold delivery."

• "Friendly AI assistant."

5. Настроение сцены

Даже если фон не меняется, настроение влияет на игру:

• "Cozy and warm, relaxed vibe."

• "Dark and serious tone."

• "Professional business-style delivery."

7. Чего следует избегать

• ❌ Чрезмерно длинных инструкций

• ❌ Противоречивых эмоций

• ❌ Указаний по камере, противоречащих ракурсу изображения

• ❌ Описания невозможных физических действий (ходьба, прыжки и т. д.)

• ❌ Требования выражений, противоположных тону аудио

• ❌ Просьб изменить идентичность

8. Готовые примеры промптов

🔹 Естественная беседа для соцсетей

"Friendly influencer tone, soft smile, relaxed micro-gestures, natural head movement, warm energy."

🔹 Кинематографичный монолог

"Serious emotional monologue, slow delivery, deep eye contact, dramatic lighting tone."

🔹 Восторженный влогер

"Energetic, expressive gestures, big smile, lively eye movement, confident tone."

🔹 Спокойствие и мягкость

"Warm, gentle tone, minimal movement, soft smile, subtle expressions."

🔹 Драматичная ролевая игра персонажа

"Intense roleplay tone, expressive eyes, theatrical pacing, controlled but dramatic gestures."

🏁 Заключение

Промптинг в LipSync сводится к режиссуре цифрового актёра.

Изображение определяет, кто он.

Аудио определяет, что он говорит.

Промпт определяет, как он это говорит.

При правильной комбинации можно создать:

• кинематографичный сторителлинг

• видео в стиле инфлюенсера

• влоги персонажа

• эмоциональные выступления

• липсинки в музыкальном стиле

• фэнтези-ролевую игру

• естественный непринуждённый разговорный контент

Используйте это руководство как основу для создания мощных, выразительных видео с OmniHuman-1.5.