LipSync: Guía de Prompts (OmniHuman 1.5)

El objetivo es ayudarte a desbloquear todo el poder expresivo del modelo: actuación emocional, movimientos realistas, interpretación multiestilo, y reacciones conscientes del contexto.

1. Cómo funcionan los prompts en LipSync

LipSync usa tres entradas:

• Imagen: identidad, apariencia, referencia del entorno.

• Audio: timing + habla + señales emocionales + semántica.

• Prompt: todo lo que el audio no puede definir explícitamente:

  estilo, ambiente, instrucciones de actuación, movimiento de cámara, escenario, personalidad, intensidad.

OmniHuman 1.5 lee los prompts como dirección para el actor, de forma similar a dar instrucciones en un set de rodaje.

Los prompts pueden influir en:

• estilo emocional

• intensidad de la expresión

• micro-gestos

• lógica de actuación

• comportamiento de cámara

• comportamiento del personaje

• estilo (cine / redes sociales / dramático / natural)

• postura

• ambiente

• sensación del entorno

No pueden anular:

• la identidad de la imagen de entrada

• el timing del movimiento labial

• la corrección semántica del habla

2. Principios fundamentales de OmniHuman-1.5

✓ Principio 1: Prompt = Instrucciones de actuación

Los prompts funcionan mejor cuando describen:

• tono

• actitud

• estado emocional

• intención

• comportamientos sutiles

Ejemplo:

"Warm, sincere tone, soft smile, thoughtful eye movement, slight nod."

✓ Principio 2: Respeta el audio

Si el audio es triste/lento pero el prompt dice "estilo de influencer enérgico," el resultado se vuelve poco natural.

Los prompts deben alinearse con la emoción y el ritmo del audio.

✓ Principio 3: No dirijas en exceso

Evita instrucciones complejas o contradictorias.

❌ "Fast camera spin, walking through a forest, laughing loudly, whispering seductively."

✔ "Soft natural expression, slight head movement, gentle smile."

✓ Principio 4: Usa los prompts para potenciar, no reemplazar

El audio define el comportamiento base, el prompt define el estilo.

3. Estructura del prompt (plantilla recomendada)

Un prompt de buenas prácticas debe incluir estos bloques:

Emotion + Tone Facial Expression Eye & Head Movement Body Language (light gestures) Persona / Character Style Camera Behavior Scene Mood (optional)

Ejemplo de prompt completo:

"Calm and confident tone. Soft smile with friendly eye contact. Slight head tilt and relaxed micro-gestures. Social-media style delivery with warm lighting. Minimal camera drift forward."

4. Puntos destacados del producto → Cómo usarlos en los prompts

Basado en los Product Highlights oficiales de OmniHuman-1.5:

⭐ Comprensión del audio

El personaje puede realizar acciones basadas en el significado del habla.

Usa los prompts para complementarlo.

Ejemplo:

"React with curiosity when asking questions. Smile when mentioning something positive."

⭐ Respuesta precisa a las instrucciones

El modelo sigue instrucciones de movimiento, actuación y cámara.

Ejemplo de prompt:

"Slight camera push-in, gentle head movement, expressive eyes."

⭐ Interpretación emocional vívida

Puedes solicitar niveles emocionales específicos.

Ejemplos:

• "Extremely emotional, teary eyes, voice trembling."

• "Light emotional tone, soft and warm."

• "High-energy influencer vibe, expressive gestures."

⭐ Soporte para escenarios multipersona

(LipSync actualmente usa una sola persona, pero la lógica sigue aplicando.)

Aún puedes hacer referencia a sujetos secundarios imaginarios:

"Looking slightly off-camera as if talking to someone in the room."

⭐ Estilos diversos

Admite estilos realistas, cinematográficos, dramáticos, vlog, videoclip musical, y más.

Ejemplos:

• "Cinematic, shallow depth of field."

• "TikTok influencer style."

• "Documentary interview tone."

• "Dramatic theater-style expression."

🎭 5. Prompts basados en escenarios (basado en casos de escenario oficiales)

De los OmniHuman-1.5 Scenario Cases:

Cine / Vídeo corto, Vlogs de fantasía, Contenido musical con IA, Contenido UGC.

A continuación, una guía de prompts adaptada para LipSync.

6. Técnicas avanzadas de prompting

1. Niveles de intensidad emocional

Prueba a especificar la intensidad:

• "Very subtle expression."

• "Medium emotion, natural."

• "High-intensity acting, dramatic facial movement."

2. Movimiento de cámara

OmniHuman 1.5 admite movimiento de cámara.

Ejemplos:

• "Slow push-in."

• "Gentle left-right drift."

• "Light handheld feel."

• "No camera movement."

3. Micro-gestos

Extremadamente efectivos:

• "Soft blinking."

• "Small head nods."

• "Slight eyebrow movement."

• "Gentle smile transitions."

4. Persona y tipo de personaje

Define el ambiente:

• "Teacher explaining calmly."

• "Influencer speaking confidently."

• "Villain with slow, cold delivery."

• "Friendly AI assistant."

5. Ambiente de la escena

Aunque el fondo no cambie, el ambiente afecta a la actuación:

• "Cozy and warm, relaxed vibe."

• "Dark and serious tone."

• "Professional business-style delivery."

7. Qué evitar

• ❌ Instrucciones excesivamente largas

• ❌ Emociones contradictorias

• ❌ Instrucciones de cámara que contradicen la perspectiva de la imagen

• ❌ Describir acciones físicas imposibles (caminar, saltar, etc.)

• ❌ Exigir expresiones opuestas al tono del audio

• ❌ Pedir un cambio de identidad

8. Ejemplos de prompts listos para usar

🔹 Charla natural en redes sociales

"Friendly influencer tone, soft smile, relaxed micro-gestures, natural head movement, warm energy."

🔹 Monólogo cinematográfico

"Serious emotional monologue, slow delivery, deep eye contact, dramatic lighting tone."

🔹 Vlogger entusiasta

"Energetic, expressive gestures, big smile, lively eye movement, confident tone."

🔹 Calma y suavidad

"Warm, gentle tone, minimal movement, soft smile, subtle expressions."

🔹 Roleplay dramático de personaje

"Intense roleplay tone, expressive eyes, theatrical pacing, controlled but dramatic gestures."

🏁 Conclusión

Escribir prompts en LipSync consiste en dirigir a un actor digital.

La imagen define quién es.

El audio define qué dice.

El prompt define cómo lo dice.

Con la combinación correcta, puedes crear:

• narrativa cinematográfica

• vídeos de influencer

• vlogs de personaje

• interpretaciones emocionales

• lip syncs estilo musical

• roleplay de fantasía

• contenido de conversación natural y casual

Usa esta guía como base para crear vídeos potentes y expresivos con OmniHuman-1.5.