跳至主要內容
核心概念

掌握 Seedance 2.0

最後更新 大約 7 小時前

Seedance 2.0 是什麼

Seedance 2.0 是字節跳動的影片生成模型,現已在 ZenCreator 的Text to Video、Image to Video和Video to Video中上線。它基於統一架構,將影片和音訊作為一個整體流程一起生成,而不是把聲音當作最後附加上去的東西。

大多數影片模型只為單張圖片添加動畫,而 Seedance 2.0 會將整個場景作為一個整體來解讀(誰在畫面中、發生了什麼、地點在哪、鏡頭應如何運動、以及採用什麼風格),並在此理解的基礎上構建出連貫的片段。

它的獨特之處

  • 理解整個場景,而不只是一張圖片。 主體、動作、環境和鏡頭共同構成一個連貫的片段,動作明顯比早期模型更穩定。

  • 支援兩種生成模式。 使用帶有 First/Last Frame 上傳的標準模式來控制開頭和結尾,或切換到 Reference Mode,將最多 9 張圖片和 3 段音訊組合作為風格、身份和動作的輸入,每一項都可以在提示詞中直接以名稱引用。

  • 同時生成音訊和影片。 聲音與動作自然同步,無需單獨的對嘴型或音訊步驟。

  • 精確編輯現有素材。 在 Video to Video 中,你可以更換服裝、背景或光線,同時保持原始動作和時間軸不變。

四種輸入:各自負責什麼

這是使用 Seedance 2.0 時最實用的思維模型。每種輸入類型都有各自的職責,不要讓一種輸入去做另一種輸入的工作。

  • 文字 控制空間維度:外觀、氛圍、風格、環境。

  • 圖片 控制身份:角色、物體或場景的具體樣貌。

  • 影片 控制時間維度:時序、節奏、鏡頭運動。實際使用中,這種輸入用於 Video to Video,你正在編輯的片段本身就是影片參考。

  • 音訊 控制節奏和聲音:節拍,以及動作如何與聲音同步。

經驗法則:文字和圖片決定事物的樣子,影片和音訊決定它們如何運動和發聲。 用一堆副詞描述複雜的動作("快速地、平滑地、突然地")很少能像直接附上影片參考、讓模型複製其動態那樣有效。

五種生成方式

  • Text to Video:僅憑提示詞,無需素材來源。靈活性最高。

  • First Frame:一張圖片成為影片字面意義上的起始格。

  • First + Last Frame:兩張圖片確定起點和終點,模型會構建兩者之間的過渡。

  • Reference Mode:多張圖片和音訊片段被用作風格、身份或動作參考(而非字面意義上的第一格)。具體能附加什麼取決於所用工具,請參見下方的介面導覽,了解 Image to Video 中具體可用的內容。

  • Video to Video:編輯現有片段,修改你指定的部分,同時保留其餘一切不變。

一個常見誤解: 在 Reference Mode 中上傳一張圖片並不會使其成為第一格。模型會將其視為風格/身份參考,並根據提示詞文字構建實際的開場畫面。如果你希望照片真正作為片段的開頭,請改用 First Frame 模式。

提示詞公式

每一個強而有力的 Seedance 2.0 提示詞都遵循相同的結構。你不需要每次都用上所有模組,但Subject 和 Action 是基礎,沒有它們,場景就會失焦。

  1. Subject:畫面中是誰或是什麼

  2. Action:一個動詞,現在時態,一個清晰的動作

  3. Environment:地點、背景、氛圍

  4. Camera:鏡頭尺寸、運動、角度

  5. Lighting:光源和光質

  6. Style:視覺語言:電影感、編輯風格等

  7. Constraints:穩定性和品質要求

模型對前 20–30 個詞的權重最高,因此要把 Subject 和 Action 放在開頭。

始終有效的四條規則:

  • 每個鏡頭一個動作:「走路、轉身、微笑」是三個動作,結果會模糊不清

  • 使用現在時動詞:「rolls」、「turns」、「falls」,而不是「will roll」

  • 具體勝過一堆形容詞的堆砌

  • 描述畫面中應該有什麼,而不是不應該有什麼(排除項留給 Constraints)

組合參考素材:標籤語法

當你上傳多張圖片或多段音訊時,請直接在提示詞中為它們打上標籤,以便模型知道你指的是哪一個。具體的標籤格式因工具而異,請始終查看提示詞框中的預留文字,它會顯示該工具的即時語法。

在Image to Video中,參考素材的標籤方式如下:

  • 圖片: [img1]、[img2]...(最多 9 張,按上傳順序編號)

  • 音訊: [audio1]、[audio2]、[audio3](最多 3 段)

範例:「[img1] 中的女性走向鏡子。她的姿勢參考 [img2]。」 其中 [img1] 定義了她是誰,[img2] 定義了她的姿勢。文字將兩者融合成一個場景。

介面導覽:Image to Video 中的 Seedance 2.0 Spicy

以下是在 Image to Video 中使用 Seedance 2.0 Spicy 生成的實際操作過程,按介面上設定出現的順序逐步說明。

  1. Model。 已選擇 Seedance 2.0 Spicy,即該工具中經過 NSFW 訓練的 Seedance 2.0 版本(480p/720p,5–15 秒)。

  2. Reference Mode 開關。 開啟此選項以附加可在提示詞中提及的參考圖片和音訊。保持關閉則將單張圖片用作字面意義上的第一格。

  3. Reference Images(0/9)。 最多上傳 9 張圖片。點擊任意已上傳的縮圖,即可自動將其標籤(例如 [img1])插入提示詞。

  4. Reference Audio(0/3)。 最多上傳 3 個音訊檔案(.wav 或 .mp3)。點擊某個檔案即可將其標籤(例如 [audio1])插入提示詞。

  5. Prompt。 使用上述七模組公式描述影片。用你插入的標記引用已上傳的素材,例如「[img1] turns toward the camera, [audio1] plays as she speaks.」

  6. Aspect Ratio。 設定輸出的長寬比(例如 4:3)。

  7. Duration(seconds)。 可選擇 5、6、8、10、12 或 15 秒。

  8. Resolution。 480p 或 720p。

  9. Generate Audio。 開啟此選項可在生成影片的同時生成音訊。開啟後費用大約會翻倍,確認前請查看 Generate 按鈕上方顯示的價格。

  10. Generate Video。 查看按鈕上方顯示的 credits 費用,然後生成。先檢查開場畫面。如果構圖或姿勢不對,請再次確認 Reference Mode 是否真的按你的預期運作,而不是字面意義上的第一格。

常見問題及解決方法

  • 結果看起來很普通或缺乏面部特徵 → 主體/動作描述較弱,或形容詞堆砌過多。請在開頭幾個詞中重寫為具體的主體和一個清晰的動作。

  • 皮膚或表面看起來像塑膠或「3D」 → 添加 "no 3D, no cartoon, no VFX" 和 "film grain, natural imperfections"。

  • 角色在多次生成之間發生變化 → 重複使用同一張參考圖片,用 [img1](或該工具中對應的標籤)標記它,並添加 "maintaining consistent [subject]"。

  • 720p 下細節不夠精細 → 細節要求未被明確提出。添加 "ultra-sharp detail" 或 "crisp texture"。

  • 鏡頭或動作感覺不穩定 → 添加 "stable [subject], smooth motion"。

  • 提示詞的部分內容似乎被忽略 → 提示詞過長、自相矛盾,或將多鏡頭序列硬塞進一個段落中。請將其拆分為獨立、編號的鏡頭。

生成前快速檢查清單:

  • 主體和動作是否出現在前 20–30 個詞中?

  • 每個鏡頭是否只有一個動作、使用現在時動詞?

  • 鏡頭是否明確說明(尺寸+運動+角度)?

  • 參考素材是否為所用工具正確打上標籤(例如 Image to Video 中的 [img1] / [audio1])?

  • 是否包含了確保真實感的穩定性約束(no 3D/cartoon/VFX)?

這是否有幫助？

仍需要協助嗎？ 詢問團隊