LipSync

本指南解释了 LipSync 的工作原理、如何准备输入文件,以及如何获得最佳效果。

最后更新 1 天前

该工具的功能

LipSync 利用你的音频和可选的文字提示词,由 OmniHuman 1.5 驱动,让单张照片"开口说话"。角色的嘴唇会与音频自然同步,面部表情会匹配情感与语境,而身份特征(面部、风格、发型、光线)在整个过程中保持一致。即使是非常短的音频片段也能生成效果。完全无内容审查。

看看 LipSync 能用一张照片和一段音频文件生成怎样的效果。

第 1 步:Model。LipSync 目前运行在单一模型 General 上,由 OmniHuman 1.5 驱动:无限制的角色行为、逼真的微表情、对音频含义(而不仅是声音)的理解、流畅的头部动作和自然的手势,以及强大的身份保持能力。

第 2 步:Image。必填。上传你想要生成动画的面孔或角色。支持 JPG、PNG、JFIF 或 HEIC 格式,大小需小于 5MB,尺寸最高 4096×4096。使用正面或 3/4 角度、高分辨率、光线清晰(无强烈阴影)、面部无遮挡、图片中仅有一人时效果最佳。

第 3 步:Audio File。必填。MP3 或 WAV 格式。该工具读取的是语音的语义,而不仅仅是音素,它能理解所说的内容,并生成相匹配的反应和表情。干净的语音录音效果最佳;请避免背景噪音或音乐,并保持音量正常(不要过度压缩)。

第 4 步:Prompt(可选)。描述你想在视频中呈现的内容:情绪、语气、风格、镜头运动、角色行为或场景氛围。示例:"自信,柔和的微笑,温暖的情感语气。轻微的头部倾斜。友好、亲切的氛围。"

第 5 步:Resolution。该模型固定为 1080p。

第 6 步:Duration。由你上传的音频文件长度自动决定。

第 7 步:Generate Lipsync。开始生成。费用为每秒音频 3 积分。处理通常需要 5–30 秒,具体取决于视频长度。

选择合适的参考图片: 避免裁切过的面孔、过重的滤镜、太阳镜或大面积遮挡;使用清晰、高质量的肖像照。

录制干净的音频: 发音清晰,避免回声和背景音效,保持嘴部动作自然。

有效撰写提示词: 提示词有帮助,但不应与音频相矛盾。好的示例:"轻柔、富有情感的表达。眼神轻柔移动。"或"充满活力的网红风格,说话时保持微笑。"应避免的示例:在平静的音频上使用"尖叫并跳跃"、过度复杂的镜头运动,或肖像画面中不可能出现的身体动作。

适用于 AI 模型/虚拟网红: 在为同一角色生成多个视频时,请重复使用同一组参考照片,并在各次拍摄中保持照片风格和光线的一致性。

这是 AI 处理结果,偶尔出现错误或瑕疵属于正常现象,无法保证 100% 准确。

嘴部不同步或嘴唇不自然? 检查音频清晰度,避免使用降噪过度或机械感强的录音,并缩短音频以去除长时间的静音片段。

面部扭曲或身份漂移? 使用质量更高的参考图片,避免极端镜头角度,使用竖版构图,并避免光线昏暗、颗粒感强的照片。

情绪不匹配? 调整提示词,避免相互矛盾的指令,并确保音频本身带有清晰的情绪。

如果结果不符合预期,请通过应用内的客服聊天联系我们,或发送邮件至 [email protected]。

图片是否需要已经呈现我想要的表情?

不需要。请从一张中性、清晰的参考照片开始。表情和情绪来自你的音频和可选的提示词,而非源图片。

我可以将 LipSync 用于 NSFW 内容吗?

可以,General 模型不设内容审查(Safety Filters:Minimal)。

为什么我的分辨率固定在 1080p?

General 模型的分辨率固定为 1080p。没有更低或更高的选项可供选择。

费用是如何计算的?

LipSync 每秒音频费用为 3 积分,因此总费用取决于你上传的音频文件长度。

我可以控制镜头运动或角色的动作吗?

在一定程度上可以,通过可选的提示词实现,但请保持指令在肖像画面中的合理性,且不要与音频所传达的内容相矛盾。

这有帮助吗？

仍需要帮助？咨询团队