什麼是OmniShow？革新人物物件互動影片生成的AI框架

主要摘要

• OmniShow 是一款專為**人物與物件互動影片生成（HOIVG）**設計的端到端多模態AI框架，能將文字提示、參考圖像、音訊及姿勢序列統一合成為具有真實人物與產品互動的高保真度影片。
• 基於一個擁有123億參數的多模態擴散轉換器構建，它引入了統一通道式調控與門控局部上下文注意力機制，以解決可控性與品質之間的權衡，並確保精確的同步效果。
• 在新推出的HOIVG-Bench基準測試中，OmniShow在R2V、RA2V、RP2V及獨特的RAP2V任務上均取得領先成果，在外觀保真度、動作連貫性與音視覺同步方面超越HunyuanCustom、HuMo-17B、VACE與Phantom-14B等模型。
• 實際應用在電子商務領域表現卓越，能在無需實體拍攝的情況下於數分鐘內生成工作室級別的產品展示影片，並支援長達10秒的長鏡頭與720p輸出解析度。
• 透過解耦再聯合的高階訓練策略應對數據稀缺問題，實現了業界級的物理合理性、身份一致性與自然的抓握/接觸動態。

OmniShow 是什麼？

OmniShow 是一款專為**人物與物件互動影片生成（HOIVG）**設計的先進AI框架。它能合成出人物與物件互動的真實影片——例如展示、抓握或使用產品——同時整合多種輸入條件：用於語義的文字、用於視覺保真的參考圖像、用於同步的音訊，以及用於動作控制的姿勢序列。

由字節跳動相關研究人員於2026年4月發布的OmniShow，填補了現有影片生成工具的一個關鍵空白。傳統模型通常只能處理一至兩種模態，且難以在時間推移中維持穩定、物理上合理的互動。OmniShow將所有四種模態統一在單一端到端系統中，產出適用於電子商務、短影音內容與互動娛樂的電影級成果。

對此框架的分析顯示，它優先考量實際應用性：其輸出成果能在複雜情境下，保持角色與物件外觀的一致性、自然的動作動態，以及穩健的接觸物理效果。

OmniShow 的核心功能

OmniShow 透過四種主要生成模式實現多模態控制：

• 參考圖像到影片 (R2V)：根據文字和參考圖像生成高保真度的人物與物體互動影片，在保持產品外觀方面表現卓越。
• 參考圖像 + 音訊到影片 (RA2V)：新增音訊同步功能，實現唇形、手勢和富有表現力的說話/唱歌虛擬人像。
• 參考圖像 + 姿態到影片 (RP2V)：結合姿態序列實現精確運動軌跡，同時確保真實的物體互動。
• 完整多模態 (RAP2V)：整合所有輸入實現最高可控性輸出，是業界首創的聯合條件生成。

其他功能包括：

• 長鏡頭支援：最高可達 10 秒、24fps、720p 解析度。
• 物理真實感：穩定抓握、最小化穿透效果，以及連貫的陰影/光影。
• 身份一致性：跨影格保持人物與物體外觀的一致性。
• 雲端優化工作流：適用於 Shopify、Amazon 和 TikTok Shop 等電商平台。

這些功能使 OmniShow 在需要精準控制的規模化內容創作中尤其具有價值。

OmniShow 的運作原理：技術架構

OmniShow 基於擁有 120 億參數的 Waver 1.0 多模態擴散轉換器 (MMDiT)，採用帶有流匹配的潛在擴散技術。影片透過 VAE 被壓縮為潛在 token，然後在多模態輸入的條件下進行迭代去噪。

關鍵創新

• 統一通道級條件生成：參考圖像和姿態序列經過 VAE 編碼後，透過與含噪影片 token 及偽影格 token 的串聯，直接注入特徵通道。二進制遮罩控制激活，並搭配參考重建損失。這在保持高視覺品質的同時，避免了基於適配器方法常見的品質衰退問題。
• 門控局部上下文注意力機制：音訊特徵（透過 Wav2Vec 2.0 提取）與滑動窗口上下文（大小為 5）打包，透過雙流區塊中的遮罩注意力機制注入。一個可學習的門控向量穩定訓練並調節影響，確保精確的動作-聲音對齊，模型大小僅增加 2.5%。
• 解耦後聯合訓練：為解決完整多模態配對數據稀缺問題，先在異構數據集上分別訓練 R2V 和 A2V 模型，然後以 6:4 的比例（偏向音訊敏感度）進行模型合併。接著在 RA2V 和高品質 RAP2V 數據上進行聯合微調，從而釋放湧現能力，避免過度擬合。

該管道平行處理輸入，跨模態融合，並透過擴散過程進行精煉，最終產出如同導演掌控般的輸出，而非僅是通用的動畫效果。

效能基準測試與比較

在自訂的 HOIVG-Bench（包含 135 個多樣化的 5 秒片段，涵蓋人物/物體參照、姿勢和音訊）上進行的基準測試顯示出 OmniShow 的優越性：

• R2V：在參照一致性（FaceSim 0.759、NexusScore 0.876）和整體品質方面領先，同時保持強大的文字對齊能力。
• RA2V & RP2V：在同步指標（Sync-C/Sync-D）、姿勢準確性（AKD/PCK）和影片品質（AES/IQA）上，表現優於 HunyuanCustom、HuMo-17B、AnchorCrafter 和 VACE。
• RAP2V：獨家支援完整模式；在包括動作連貫性和物理真實性在內的幾乎所有指標上，均優於串聯式基準方法。

社區和研究回饋指出，與單模態或串聯式方法相比，OmniShow 在複雜互動中有效減少了偽影問題。長鏡頭連續性和物理合規性是其突出的差異化優勢。

實際應用與電子商務影響

OmniShow 在實用場景中表現出色：

• 電子商務產品展示：可從產品照片和旁白創建專業的開箱、使用或試穿影片，將每支影片的製作成本從數千元降低至 10 美元以下。
• 行銷內容：生成具有 AI 主持人自然演示功能的 UGC 風格短片。
• 創意工作流程：混剪現有影片、替換物體，或透過音訊驅動的表情讓虛擬化身動起來。

品牌可受益於更快的迭代速度、更高的轉換率（例如，社交媒體上 67% 的點擊率提升），以及無需工作室或模特即可保持一致的品牌形象。

最佳結果進階技巧

為最大化品質：

• 使用高解析度、正面視角的參照圖像，並確保光線中性，以實現最佳的身份保留效果。
• 提供清晰簡潔的文字提示描述動作和鏡頭角度；對於複雜的手部與物體互動，搭配精確的姿勢序列。
• 關於音訊，使用與影格率匹配的乾淨旁白；先測試短片以調整同步效果。
• 對於邊緣案例（如多物體處理或鏡頭移動），善用 RAP2V 模式——先從 R2V 開始，再逐層疊加條件進行迭代。

常見陷阱與避免方法

• 輸入衝突：過於複雜的姿勢與不匹配的音訊可能導致劇烈運動中的輕微模糊或偽影；可透過初始簡化單一模態來解決。
• 資料稀缺效應：雖然訓練能減輕此問題，但低品質參照會降低保真度——務必依據 HOIVG-Bench 類標準驗證輸入。
• 評估中的短片偏差：實際輸出在超過 5 秒後可能產生變化；生成並審查完整序列以確保時間一致性。
• 過度依賴預設值：在進階設定中進行自訂門控和遮罩調整，能比零樣本使用獲得更好的結果。

解決這些問題將確保生成可靠、可供生產使用的影片。

總結

OmniShow 在可控影片生成領域實現了重要突破，讓專業級人機互動內容能夠大規模產製。其統一的跨模態方法，結合嚴謹的創新技術與效能基準，為人工智慧影片工具樹立了真實感與實用性的新標竿。

對於準備革新影片製作的電商團隊、內容創作者或研究人員，歡迎探索官方專案頁面或商業應用方案，立即開始生成電影級的人機互動影片。產品敘事的未來已然來臨——每個精確的跨模態指令，都在開啟嶄新的創作維度。