LipSync: Prompt-Leitfaden (OmniHuman 1.5)

Ziel ist es, dir zu helfen, das volle Ausdruckspotenzial des Modells zu entfesseln: emotionales Schauspiel, realistische Bewegungen, Multi-Stil-Performance und kontextbewusste Reaktionen.

1. Wie Prompts in LipSync funktionieren

LipSync nutzt drei Eingaben:

• Bild: Identität, Erscheinungsbild, Umgebungsreferenz.

• Audio: Timing + Sprache + emotionale Hinweise + Semantik.

• Prompt: alles, was Audio nicht explizit definieren kann:

  Stil, Stimmung, Schauspielanweisungen, Kamerabewegung, Szenario, Persönlichkeit, Intensität.

OmniHuman 1.5 liest Prompts als Regieanweisung für den Schauspieler, ähnlich wie Anweisungen an einem Filmset.

Prompts können beeinflussen:

• emotionalen Stil

• Ausdrucksintensität

• Mikro-Gesten

• Schauspiel-Logik

• Kameraverhalten

• Charakterverhalten

• Stil (Film / Social Media / dramatisch / natürlich)

• Körperhaltung

• Stimmung

• Umgebungsgefühl

Sie können nicht überschreiben:

• die Identität aus dem Eingabebild

• das Timing der Lippenbewegung

• die semantische Korrektheit der Sprache

2. Kernprinzipien von OmniHuman-1.5

✓ Prinzip 1: Prompt = Schauspielanweisungen

Prompts funktionieren am besten, wenn sie beschreiben:

• Tonfall

• Haltung

• emotionalen Zustand

• Absicht

• subtile Verhaltensweisen

Beispiel:

"Warm, sincere tone, soft smile, thoughtful eye movement, slight nod."

✓ Prinzip 2: Das Audio respektieren

Wenn das Audio traurig/langsam ist, der Prompt aber „energischer Influencer-Stil" sagt, wirkt das Ergebnis unnatürlich.

Prompts müssen sich an Emotion und Rhythmus des Audios ausrichten.

✓ Prinzip 3: Nicht überregieren

Vermeide komplexe oder widersprüchliche Anweisungen.

❌ "Fast camera spin, walking through a forest, laughing loudly, whispering seductively."

✔ "Soft natural expression, slight head movement, gentle smile."

✓ Prinzip 4: Prompts zum Verstärken nutzen, nicht zum Ersetzen

Das Audio definiert das Kernverhalten, der Prompt definiert den Stil.

3. Prompt-Struktur (empfohlene Vorlage)

Ein Best-Practice-Prompt sollte diese Blöcke enthalten:

Emotion + Tone Facial Expression Eye & Head Movement Body Language (light gestures) Persona / Character Style Camera Behavior Scene Mood (optional)

Beispiel für einen vollständigen Prompt:

"Calm and confident tone. Soft smile with friendly eye contact. Slight head tilt and relaxed micro-gestures. Social-media style delivery with warm lighting. Minimal camera drift forward."

4. Produkt-Highlights → Wie man sie in Prompts verwendet

Basierend auf den offiziellen Product Highlights von OmniHuman-1.5:

⭐ Audio-Verständnis

Der Charakter kann Handlungen basierend auf der Bedeutung der Sprache ausführen.

Nutze Prompts, um das zu ergänzen.

Beispiel:

"React with curiosity when asking questions. Smile when mentioning something positive."

⭐ Präzise Reaktion auf Anweisungen

Das Modell folgt Bewegungs-, Schauspiel- und Kameraanweisungen.

Prompt-Beispiel:

"Slight camera push-in, gentle head movement, expressive eyes."

⭐ Lebendige emotionale Darstellung

Du kannst bestimmte emotionale Ausprägungen anfordern.

Beispiele:

• "Extremely emotional, teary eyes, voice trembling."

• "Light emotional tone, soft and warm."

• "High-energy influencer vibe, expressive gestures."

⭐ Unterstützung von Mehrpersonen-Szenarien

(LipSync verwendet derzeit nur eine Person, aber die Logik gilt weiterhin.)

Du kannst dennoch auf imaginäre zweite Personen verweisen:

"Looking slightly off-camera as if talking to someone in the room."

⭐ Vielfältige Stile

Unterstützt realistische, filmische, dramatische, Vlog-, Musikvideo- und weitere Stile.

Beispiele:

• "Cinematic, shallow depth of field."

• "TikTok influencer style."

• "Documentary interview tone."

• "Dramatic theater-style expression."

🎭 5. Szenario-basiertes Prompting (basierend auf offiziellen Szenario-Fällen)

Aus den OmniHuman-1.5 Scenario Cases:

Film / Kurzvideo, Fantasy-Vlogs, KI-Musikinhalte, UGC-Inhalte.

Im Folgenden findest du eine angepasste Prompt-Anleitung für LipSync.

6. Fortgeschrittene Prompt-Techniken

1. Emotionsintensitätsstufen

Versuche, die Stärke anzugeben:

• "Very subtle expression."

• "Medium emotion, natural."

• "High-intensity acting, dramatic facial movement."

2. Kamerabewegung

OmniHuman 1.5 unterstützt Kamerabewegung.

Beispiele:

• "Slow push-in."

• "Gentle left-right drift."

• "Light handheld feel."

• "No camera movement."

3. Mikro-Gesten

Extrem wirksam:

• "Soft blinking."

• "Small head nods."

• "Slight eyebrow movement."

• "Gentle smile transitions."

4. Persona & Charaktertyp

Definiert die Stimmung:

• "Teacher explaining calmly."

• "Influencer speaking confidently."

• "Villain with slow, cold delivery."

• "Friendly AI assistant."

5. Szenenstimmung

Auch wenn sich der Hintergrund nicht ändert, beeinflusst die Stimmung das Schauspiel:

• "Cozy and warm, relaxed vibe."

• "Dark and serious tone."

• "Professional business-style delivery."

7. Was zu vermeiden ist

• ❌ Übermäßig lange Anweisungen

• ❌ Widersprüchliche Emotionen

• ❌ Kameraanweisungen, die der Bildperspektive widersprechen

• ❌ Unmögliche physische Aktionen beschreiben (Gehen, Springen usw.)

• ❌ Ausdrücke fordern, die dem Ton des Audios widersprechen

• ❌ Um eine Identitätsänderung bitten

8. Fertige Prompt-Beispiele

🔹 Natürliches Social-Media-Gespräch

"Friendly influencer tone, soft smile, relaxed micro-gestures, natural head movement, warm energy."

🔹 Filmischer Monolog

"Serious emotional monologue, slow delivery, deep eye contact, dramatic lighting tone."

🔹 Enthusiastischer Vlogger

"Energetic, expressive gestures, big smile, lively eye movement, confident tone."

🔹 Ruhig & sanft

"Warm, gentle tone, minimal movement, soft smile, subtle expressions."

🔹 Dramatisches Charakter-Rollenspiel

"Intense roleplay tone, expressive eyes, theatrical pacing, controlled but dramatic gestures."

🏁 Fazit

Beim Prompting in LipSync geht es darum, einen digitalen Schauspieler zu inszenieren.

Das Bild definiert, wer er ist.

Das Audio definiert, was er sagt.

Der Prompt definiert, wie er es sagt.

Mit der richtigen Kombination kannst du erstellen:

• filmisches Storytelling

• Influencer-Videos

• Charakter-Vlogs

• emotionale Darstellungen

• musikartige Lip-Syncs

• Fantasy-Rollenspiel

• natürliche, lockere Gesprächsinhalte

Nutze diesen Leitfaden als Grundlage, um kraftvolle, ausdrucksstarke Videos mit OmniHuman-1.5 zu erstellen.