LipSync : Guide de prompts (OmniHuman 1.5)

L’objectif est de vous aider à libérer tout le potentiel expressif du modèle : jeu d’acteur émotionnel, mouvements réalistes, performance multi-style, et réactions sensibles au contexte.

1. Comment fonctionnent les prompts dans LipSync

LipSync utilise trois entrées :

• Image : identité, apparence, référence d’environnement.

• Audio : timing + parole + indices émotionnels + sémantique.

• Prompt : tout ce que l’audio ne peut pas définir explicitement :

  style, ambiance, instructions de jeu, mouvement de caméra, scénario, personnalité, intensité.

OmniHuman 1.5 lit les prompts comme une direction pour l’acteur, un peu comme donner des instructions sur un plateau de tournage.

Les prompts peuvent influencer :

• le style émotionnel

• l’intensité de l’expression

• les micro-gestes

• la logique de jeu

• le comportement de la caméra

• le comportement du personnage

• le style (cinéma / réseaux sociaux / dramatique / naturel)

• la posture

• l’ambiance

• le ressenti de l’environnement

Ils ne peuvent pas remplacer :

• l’identité issue de l’image d’entrée

• le timing du mouvement des lèvres

• la correction sémantique de la parole

2. Principes fondamentaux d’OmniHuman-1.5

✓ Principe 1 : Prompt = Instructions de jeu

Les prompts fonctionnent mieux lorsqu’ils décrivent :

• le ton

• l’attitude

• l’état émotionnel

• l’intention

• les comportements subtils

Exemple :

"Warm, sincere tone, soft smile, thoughtful eye movement, slight nod."

✓ Principe 2 : Respectez l’audio

Si l’audio est triste/lent mais que le prompt dit « style influenceur énergique », le résultat devient peu naturel.

Les prompts doivent s’aligner sur l’émotion et le rythme de l’audio.

✓ Principe 3 : Ne dirigez pas trop

Évitez les instructions complexes ou contradictoires.

❌ "Fast camera spin, walking through a forest, laughing loudly, whispering seductively."

✔ "Soft natural expression, slight head movement, gentle smile."

✓ Principe 4 : Utilisez les prompts pour renforcer, pas remplacer

L’audio définit le comportement de base, le prompt définit le style.

3. Structure du prompt (modèle recommandé)

Un prompt de bonne pratique devrait inclure ces blocs :

Emotion + Tone Facial Expression Eye & Head Movement Body Language (light gestures) Persona / Character Style Camera Behavior Scene Mood (optional)

Exemple de prompt complet :

"Calm and confident tone. Soft smile with friendly eye contact. Slight head tilt and relaxed micro-gestures. Social-media style delivery with warm lighting. Minimal camera drift forward."

4. Points forts du produit → Comment les utiliser dans les prompts

Basé sur les Product Highlights officiels d’OmniHuman-1.5 :

⭐ Compréhension audio

Le personnage peut effectuer des actions en fonction du sens de la parole.

Utilisez les prompts pour compléter cela.

Exemple :

"React with curiosity when asking questions. Smile when mentioning something positive."

⭐ Réponse précise aux instructions

Le modèle suit les directives de mouvement, de jeu et de caméra.

Exemple de prompt :

"Slight camera push-in, gentle head movement, expressive eyes."

⭐ Performance émotionnelle vivante

Vous pouvez demander des niveaux émotionnels spécifiques.

Exemples :

• "Extremely emotional, teary eyes, voice trembling."

• "Light emotional tone, soft and warm."

• "High-energy influencer vibe, expressive gestures."

⭐ Prise en charge de scénarios multi-personnes

(LipSync utilise actuellement une seule personne, mais la logique s’applique toujours.)

Vous pouvez toujours référencer des sujets secondaires imaginaires :

"Looking slightly off-camera as if talking to someone in the room."

⭐ Styles variés

Prend en charge les styles réaliste, cinématographique, dramatique, vlog, clip musical, et plus encore.

Exemples :

• "Cinematic, shallow depth of field."

• "TikTok influencer style."

• "Documentary interview tone."

• "Dramatic theater-style expression."

🎭 5. Prompts basés sur des scénarios (basé sur des cas de scénario officiels)

Extrait des OmniHuman-1.5 Scenario Cases :

Cinéma / vidéo courte, vlogs fantastiques, contenu musical IA, contenu UGC.

Ci-dessous, des conseils de prompt adaptés pour LipSync.

6. Techniques de prompt avancées

1. Niveaux d’intensité émotionnelle

Essayez de spécifier l’intensité :

• "Very subtle expression."

• "Medium emotion, natural."

• "High-intensity acting, dramatic facial movement."

2. Mouvement de caméra

OmniHuman 1.5 prend en charge le mouvement de caméra.

Exemples :

• "Slow push-in."

• "Gentle left-right drift."

• "Light handheld feel."

• "No camera movement."

3. Micro-gestes

Extrêmement efficaces :

• "Soft blinking."

• "Small head nods."

• "Slight eyebrow movement."

• "Gentle smile transitions."

4. Persona et type de personnage

Définit l’ambiance :

• "Teacher explaining calmly."

• "Influencer speaking confidently."

• "Villain with slow, cold delivery."

• "Friendly AI assistant."

5. Ambiance de la scène

Même si l’arrière-plan ne change pas, l’ambiance influence le jeu :

• "Cozy and warm, relaxed vibe."

• "Dark and serious tone."

• "Professional business-style delivery."

7. Ce qu’il faut éviter

• ❌ Des instructions trop longues

• ❌ Des émotions contradictoires

• ❌ Des instructions de caméra qui contredisent la perspective de l’image

• ❌ Décrire des actions physiques impossibles (marcher, sauter, etc.)

• ❌ Exiger des expressions opposées au ton de l’audio

• ❌ Demander un changement d’identité

8. Exemples de prompts prêts à l’emploi

🔹 Discussion naturelle sur les réseaux sociaux

"Friendly influencer tone, soft smile, relaxed micro-gestures, natural head movement, warm energy."

🔹 Monologue cinématographique

"Serious emotional monologue, slow delivery, deep eye contact, dramatic lighting tone."

🔹 Vlogger enthousiaste

"Energetic, expressive gestures, big smile, lively eye movement, confident tone."

🔹 Calme et douceur

"Warm, gentle tone, minimal movement, soft smile, subtle expressions."

🔹 Roleplay de personnage dramatique

"Intense roleplay tone, expressive eyes, theatrical pacing, controlled but dramatic gestures."

🏁 Conclusion

Le prompting dans LipSync consiste à diriger un acteur numérique.

L’image définit qui il est.

L’audio définit ce qu’il dit.

Le prompt définit comment il le dit.

Avec la bonne combinaison, vous pouvez créer :

• de la narration cinématographique

• des vidéos d’influenceur

• des vlogs de personnage

• des performances émotionnelles

• des lip syncs façon clip musical

• du roleplay fantastique

• du contenu de discussion naturel et décontracté

Utilisez ce guide comme base pour créer des vidéos puissantes et expressives avec OmniHuman-1.5.