LipSync:提示詞指南(OmniHuman 1.5)

目標是幫助你充分釋放模型的表現潛力:情感演繹、逼真的動作、多風格演出,以及基於情境的反應。

1. 提示詞在 LipSync 中如何運作

LipSync 使用三種輸入:

• 圖片:身份、外觀、環境參考。

• 音訊:時序 + 語音 + 情感線索 + 語義。

• 提示詞:音訊無法明確定義的一切內容:

  風格、氛圍、表演指令、鏡頭運動、場景、性格、強度。

OmniHuman 1.5 將提示詞理解為給演員的指導,類似於在片場發出指示。

提示詞可以影響:

• 情感風格

• 表情強度

• 微表情/微動作

• 表演邏輯

• 鏡頭行為

• 角色行為

• 風格(電影 / 社群媒體 / 戲劇化 / 自然)

• 姿態

• 氛圍

• 環境感受

它們無法覆蓋:

• 來自輸入圖片的身份

• 嘴唇動作的時序

• 語音的語義正確性

2. OmniHuman-1.5 的核心原則

✓ 原則一:提示詞 = 表演指令

提示詞在描述以下內容時效果最佳:

• 語氣

• 態度

• 情感狀態

• 意圖

• 細微的行為

範例:

"Warm, sincere tone, soft smile, thoughtful eye movement, slight nod."

✓ 原則二:尊重音訊

如果音訊悲傷/緩慢,但提示詞寫著「充滿活力的網紅風格」,結果就會顯得不自然。

提示詞必須與音訊的情感和節奏保持一致。

✓ 原則三:不要過度指導

避免複雜或相互矛盾的指令。

❌ "Fast camera spin, walking through a forest, laughing loudly, whispering seductively."

✔ "Soft natural expression, slight head movement, gentle smile."

✓ 原則四:用提示詞來增強,而非取代

音訊定義核心行為,提示詞定義風格。

3. 提示詞結構(推薦範本)

一個符合最佳實踐的提示詞應包含以下模組:

Emotion + Tone Facial Expression Eye & Head Movement Body Language (light gestures) Persona / Character Style Camera Behavior Scene Mood (optional)

完整提示詞範例:

"Calm and confident tone. Soft smile with friendly eye contact. Slight head tilt and relaxed micro-gestures. Social-media style delivery with warm lighting. Minimal camera drift forward."

4. 產品亮點 → 如何在提示詞中運用

基於 OmniHuman-1.5 官方 Product Highlights:

⭐ 音訊理解

角色可以根據語音的含義做出相應動作。

使用提示詞來加以補充。

範例:

"React with curiosity when asking questions. Smile when mentioning something positive."

⭐ 對指令的精確回應

模型會遵循動作、表演和鏡頭方面的指令。

提示詞範例:

"Slight camera push-in, gentle head movement, expressive eyes."

⭐ 生動的情感演繹

你可以要求特定的情感程度。

範例:

• "Extremely emotional, teary eyes, voice trembling."

• "Light emotional tone, soft and warm."

• "High-energy influencer vibe, expressive gestures."

⭐ 支援多人場景

(LipSync 目前僅支援單人,但相關邏輯依然適用。)

你仍然可以引用虛構的第二人物:

"Looking slightly off-camera as if talking to someone in the room."

⭐ 多樣風格

支援寫實、電影感、戲劇化、Vlog、音樂影片等多種風格。

範例:

• "Cinematic, shallow depth of field."

• "TikTok influencer style."

• "Documentary interview tone."

• "Dramatic theater-style expression."

🎭 5. 基於場景的提示詞撰寫(基於官方場景案例)

來自 OmniHuman-1.5 Scenario Cases:

電影/短影片、奇幻 Vlog、AI 音樂內容、UGC 內容。

以下是針對 LipSync 調整後的提示詞指導。

6. 進階提示詞技巧

1. 情感強度等級

嘗試明確指定強度:

• "Very subtle expression."

• "Medium emotion, natural."

• "High-intensity acting, dramatic facial movement."

2. 鏡頭運動

OmniHuman 1.5 支援鏡頭運動。

範例:

• "Slow push-in."

• "Gentle left-right drift."

• "Light handheld feel."

• "No camera movement."

3. 微動作

效果極佳:

• "Soft blinking."

• "Small head nods."

• "Slight eyebrow movement."

• "Gentle smile transitions."

4. 人物設定與角色類型

決定整體氛圍:

• "Teacher explaining calmly."

• "Influencer speaking confidently."

• "Villain with slow, cold delivery."

• "Friendly AI assistant."

5. 場景氛圍

即使背景不變,氛圍也會影響表演:

• "Cozy and warm, relaxed vibe."

• "Dark and serious tone."

• "Professional business-style delivery."

7. 應避免的做法

• ❌ 過長的指令

• ❌ 相互矛盾的情感

• ❌ 與圖片視角相矛盾的鏡頭指令

• ❌ 描述不可能實現的身體動作(如行走、跳躍等)

• ❌ 要求與音訊語氣相反的表情

• ❌ 要求改變身份

8. 可直接使用的提示詞範例

🔹 自然的社群媒體談話

"Friendly influencer tone, soft smile, relaxed micro-gestures, natural head movement, warm energy."

🔹 電影感獨白

"Serious emotional monologue, slow delivery, deep eye contact, dramatic lighting tone."

🔹 熱情的 Vlogger

"Energetic, expressive gestures, big smile, lively eye movement, confident tone."

🔹 平靜而柔和

"Warm, gentle tone, minimal movement, soft smile, subtle expressions."

🔹 戲劇化的角色扮演

"Intense roleplay tone, expressive eyes, theatrical pacing, controlled but dramatic gestures."

🏁 結語

在 LipSync 中撰寫提示詞,本質上是指導一位數位演員。

圖片定義了他們是誰。

音訊定義了他們說什麼。

提示詞定義了他們如何說。

透過恰當的組合,你可以創作出:

• 電影感敘事

• 網紅影片

• 角色 Vlog

• 情感演繹

• 音樂風格的對嘴型內容

• 奇幻角色扮演

• 自然隨性的對話內容

將本指南作為基礎,使用 OmniHuman-1.5 創作出強而有力、富有表現力的影片。