LipSync:プロンプトガイド(OmniHuman 1.5)

目的は、感情表現、リアルな動き、マルチスタイルの演技、文脈を踏まえた反応など、モデルの表現力を最大限に引き出す手助けをすることです。

1. LipSyncにおけるプロンプトの仕組み

LipSyncは3つの入力を使用します:

• 画像:アイデンティティ、外見、環境のリファレンス。

• 音声:タイミング+発話+感情的な手がかり+意味。

• プロンプト:音声だけでは明示できないすべての要素:

  スタイル、雰囲気、演技指示、カメラの動き、シナリオ、性格、強度。

OmniHuman 1.5はプロンプトを俳優への演出指示として読み取ります。撮影現場で指示を出すのと似ています。

プロンプトが影響を与えられるもの:

• 感情スタイル

• 表情の強度

• マイクロジェスチャー

• 演技のロジック

• カメラの挙動

• キャラクターの挙動

• スタイル(映画 / SNS / ドラマチック / ナチュラル)

• 姿勢

• 雰囲気

• 環境の感じ方

プロンプトが上書きできないもの:

• 入力画像から得られるアイデンティティ

• 口の動きのタイミング

• 発話の意味的な正しさ

2. OmniHuman-1.5の基本原則

✓ 原則1:プロンプト=演技指示

プロンプトは、次のようなものを説明するときに最も効果を発揮します:

• トーン

• 態度

• 感情状態

• 意図

• 繊細な仕草

例:

"Warm, sincere tone, soft smile, thoughtful eye movement, slight nod."

✓ 原則2:音声を尊重する

音声が悲しい/遅いのに、プロンプトが「エネルギッシュなインフルエンサースタイル」と指示すると、結果は不自然になります。

プロンプトは音声の感情やリズムと整合させる必要があります。

✓ 原則3:過剰に指示しすぎない

複雑または矛盾した指示は避けましょう。

❌ "Fast camera spin, walking through a forest, laughing loudly, whispering seductively."

✔ "Soft natural expression, slight head movement, gentle smile."

✓ 原則4:プロンプトは強化のために使い、置き換えには使わない

音声が基本的な挙動を定義し、プロンプトがスタイルを定義します。

3. プロンプトの構造(推奨テンプレート)

ベストプラクティスのプロンプトには、次のブロックを含めるべきです:

Emotion + Tone Facial Expression Eye & Head Movement Body Language (light gestures) Persona / Character Style Camera Behavior Scene Mood (optional)

完全なプロンプトの例:

"Calm and confident tone. Soft smile with friendly eye contact. Slight head tilt and relaxed micro-gestures. Social-media style delivery with warm lighting. Minimal camera drift forward."

4. 製品のハイライト → プロンプトでの活用方法

OmniHuman-1.5の公式Product Highlightsに基づく:

⭐ 音声理解

キャラクターは発話の意味に基づいてアクションを実行できます。

プロンプトでそれを補完しましょう。

例:

"React with curiosity when asking questions. Smile when mentioning something positive."

⭐ 指示への正確な反応

モデルは動き、演技、カメラの指示に従います。

プロンプト例:

"Slight camera push-in, gentle head movement, expressive eyes."

⭐ 生き生きとした感情表現

特定の感情レベルをリクエストできます。

例:

• "Extremely emotional, teary eyes, voice trembling."

• "Light emotional tone, soft and warm."

• "High-energy influencer vibe, expressive gestures."

⭐ 複数人シナリオへの対応

(LipSyncは現在1人用ですが、ロジック自体は引き続き適用されます。)

想像上の第二の対象を参照することもできます:

"Looking slightly off-camera as if talking to someone in the room."

⭐ 多様なスタイル

リアル、シネマティック、ドラマチック、Vlog、ミュージックビデオなど、幅広いスタイルに対応しています。

例:

• "Cinematic, shallow depth of field."

• "TikTok influencer style."

• "Documentary interview tone."

• "Dramatic theater-style expression."

🎭 5. シナリオベースのプロンプティング(公式シナリオケースに基づく)

OmniHuman-1.5のScenario Casesより:

映画/ショート動画、ファンタジーVlog、AI音楽コンテンツ、UGCコンテンツ。

以下は、LipSync向けに調整したプロンプトガイダンスです。

6. 高度なプロンプトテクニック

1. 感情の強度レベル

強さを具体的に指定してみましょう:

• "Very subtle expression."

• "Medium emotion, natural."

• "High-intensity acting, dramatic facial movement."

2. カメラの動き

OmniHuman 1.5はカメラの動きに対応しています。

例:

• "Slow push-in."

• "Gentle left-right drift."

• "Light handheld feel."

• "No camera movement."

3. マイクロジェスチャー

非常に効果的です:

• "Soft blinking."

• "Small head nods."

• "Slight eyebrow movement."

• "Gentle smile transitions."

4. ペルソナとキャラクタータイプ

雰囲気を決めます:

• "Teacher explaining calmly."

• "Influencer speaking confidently."

• "Villain with slow, cold delivery."

• "Friendly AI assistant."

5. シーンの雰囲気

背景が変わらなくても、雰囲気は演技に影響します:

• "Cozy and warm, relaxed vibe."

• "Dark and serious tone."

• "Professional business-style delivery."

7. 避けるべきこと

• ❌ 過度に長い指示

• ❌ 矛盾した感情

• ❌ 画像の視点と矛盾するカメラ指示

• ❌ 不可能な物理的動作(歩く、跳ぶなど)を記述すること

• ❌ 音声のトーンと正反対の表情を要求すること

• ❌ アイデンティティの変更を求めること

8. すぐに使えるプロンプト例

🔹 自然なSNSトーク

"Friendly influencer tone, soft smile, relaxed micro-gestures, natural head movement, warm energy."

🔹 シネマティックなモノローグ

"Serious emotional monologue, slow delivery, deep eye contact, dramatic lighting tone."

🔹 熱心なVlogger

"Energetic, expressive gestures, big smile, lively eye movement, confident tone."

🔹 穏やかで柔らかい

"Warm, gentle tone, minimal movement, soft smile, subtle expressions."

🔹 ドラマチックなキャラクターロールプレイ

"Intense roleplay tone, expressive eyes, theatrical pacing, controlled but dramatic gestures."

🏁 まとめ

LipSyncにおけるプロンプティングとは、デジタル俳優を演出することです。

画像がその人物が誰であるかを定義します。

音声が何を話すかを定義します。

プロンプトがどのように話すかを定義します。

適切な組み合わせによって、次のようなものを作成できます:

• シネマティックなストーリーテリング

• インフルエンサー動画

• キャラクターVlog

• 感情豊かな演技

• 音楽風のリップシンク

• ファンタジーロールプレイ

• 自然でカジュアルな会話コンテンツ

このガイドを土台として、OmniHuman-1.5で力強く表現力豊かな動画を制作してください。