LipSync:提示词指南(OmniHuman 1.5)

目标是帮助你充分释放模型的表现潜力:情感演绎、逼真的动作、多风格演出,以及基于上下文的反应。

1. 提示词在 LipSync 中如何运作

LipSync 使用三种输入:

• 图片:身份、外观、环境参考。

• 音频:时序 + 语音 + 情感线索 + 语义。

• 提示词:音频无法明确定义的一切内容:

  风格、氛围、表演指令、镜头运动、场景、性格、强度。

OmniHuman 1.5 将提示词理解为给演员的指导,类似于在片场发出指示。

提示词可以影响:

• 情感风格

• 表情强度

• 微表情/微动作

• 表演逻辑

• 镜头行为

• 角色行为

• 风格(电影 / 社交媒体 / 戏剧化 / 自然)

• 姿态

• 氛围

• 环境感受

它们无法覆盖:

• 来自输入图片的身份

• 嘴唇动作的时序

• 语音的语义正确性

2. OmniHuman-1.5 的核心原则

✓ 原则一:提示词 = 表演指令

提示词在描述以下内容时效果最佳:

• 语气

• 态度

• 情感状态

• 意图

• 细微的行为

示例:

"Warm, sincere tone, soft smile, thoughtful eye movement, slight nod."

✓ 原则二:尊重音频

如果音频悲伤/缓慢,但提示词写着"充满活力的网红风格",结果就会显得不自然。

提示词必须与音频的情感和节奏保持一致。

✓ 原则三:不要过度指导

避免复杂或相互矛盾的指令。

❌ "Fast camera spin, walking through a forest, laughing loudly, whispering seductively."

✔ "Soft natural expression, slight head movement, gentle smile."

✓ 原则四:用提示词来增强,而非取代

音频定义核心行为,提示词定义风格。

3. 提示词结构(推荐模板)

一个符合最佳实践的提示词应包含以下模块:

Emotion + Tone Facial Expression Eye & Head Movement Body Language (light gestures) Persona / Character Style Camera Behavior Scene Mood (optional)

完整提示词示例:

"Calm and confident tone. Soft smile with friendly eye contact. Slight head tilt and relaxed micro-gestures. Social-media style delivery with warm lighting. Minimal camera drift forward."

4. 产品亮点 → 如何在提示词中运用

基于 OmniHuman-1.5 官方 Product Highlights:

⭐ 音频理解

角色可以根据语音的含义做出相应动作。

使用提示词来加以补充。

示例:

"React with curiosity when asking questions. Smile when mentioning something positive."

⭐ 对指令的精确响应

模型会遵循动作、表演和镜头方面的指令。

提示词示例:

"Slight camera push-in, gentle head movement, expressive eyes."

⭐ 生动的情感演绎

你可以要求特定的情感程度。

示例:

• "Extremely emotional, teary eyes, voice trembling."

• "Light emotional tone, soft and warm."

• "High-energy influencer vibe, expressive gestures."

⭐ 支持多人场景

(LipSync 目前仅支持单人,但相关逻辑依然适用。)

你仍然可以引用虚构的第二人物:

"Looking slightly off-camera as if talking to someone in the room."

⭐ 多样风格

支持写实、电影感、戏剧化、Vlog、音乐视频等多种风格。

示例:

• "Cinematic, shallow depth of field."

• "TikTok influencer style."

• "Documentary interview tone."

• "Dramatic theater-style expression."

🎭 5. 基于场景的提示词撰写(基于官方场景案例)

来自 OmniHuman-1.5 Scenario Cases:

电影/短视频、奇幻 Vlog、AI 音乐内容、UGC 内容。

以下是针对 LipSync 调整后的提示词指导。

6. 进阶提示词技巧

1. 情感强度等级

尝试明确指定强度:

• "Very subtle expression."

• "Medium emotion, natural."

• "High-intensity acting, dramatic facial movement."

2. 镜头运动

OmniHuman 1.5 支持镜头运动。

示例:

• "Slow push-in."

• "Gentle left-right drift."

• "Light handheld feel."

• "No camera movement."

3. 微动作

效果极佳:

• "Soft blinking."

• "Small head nods."

• "Slight eyebrow movement."

• "Gentle smile transitions."

4. 人物设定与角色类型

决定整体氛围:

• "Teacher explaining calmly."

• "Influencer speaking confidently."

• "Villain with slow, cold delivery."

• "Friendly AI assistant."

5. 场景氛围

即使背景不变,氛围也会影响表演:

• "Cozy and warm, relaxed vibe."

• "Dark and serious tone."

• "Professional business-style delivery."

7. 应避免的做法

• ❌ 过长的指令

• ❌ 相互矛盾的情感

• ❌ 与图片视角相矛盾的镜头指令

• ❌ 描述不可能实现的身体动作(如行走、跳跃等)

• ❌ 要求与音频语气相反的表情

• ❌ 要求改变身份

8. 可直接使用的提示词示例

🔹 自然的社交媒体谈话

"Friendly influencer tone, soft smile, relaxed micro-gestures, natural head movement, warm energy."

🔹 电影感独白

"Serious emotional monologue, slow delivery, deep eye contact, dramatic lighting tone."

🔹 热情的 Vlogger

"Energetic, expressive gestures, big smile, lively eye movement, confident tone."

🔹 平静而柔和

"Warm, gentle tone, minimal movement, soft smile, subtle expressions."

🔹 戏剧化的角色扮演

"Intense roleplay tone, expressive eyes, theatrical pacing, controlled but dramatic gestures."

🏁 结语

在 LipSync 中撰写提示词,本质上是指导一位数字演员。

图片定义了他们是谁。

音频定义了他们说什么。

提示词定义了他们如何说。

通过恰当的组合,你可以创作出:

• 电影感叙事

• 网红视频

• 角色 Vlog

• 情感演绎

• 音乐风格的对口型内容

• 奇幻角色扮演

• 自然随性的对话内容

将本指南作为基础,使用 OmniHuman-1.5 创作出强有力、富有表现力的视频。