【NVIDIA公布將Audio2Face動畫模型開源】

Nvidia 的 Audio2Face是他們開發的 AI 驅動技術,能根據語音輸入自動生成逼真的 3D 臉部動畫, 技術核心在於分析語音中的 phonemes 和 intonation 以實現精準的 lip-sync 和 emotional expressions, 此技術可用於 Offline Render（如預先錄製的內容）或 即時串流（如互動式虛擬角色）, 其公布的開源內容與工具包 包括 :
– Audio2Face SDK 及 plugins : Audio2Face SDK / Autodesk Maya plugin / Unreal Engine 5 plugin 及 Audio2Face Training Framework
– Audio2Face models 及 訓練資料 : Audio2Face Training Sample Data / Audio2Face Models 及 Audio2Emotion Models
他們亦分享相關實際應用案例 :
– Reallusion：整合至 iClone、Character Creator 等工具, 支援臉部編輯與 AccuLip 技術
– Survios（Alien: Rogue Incursion）：加速 lip-sync 與臉部捕捉流程
– The Farm 51（Chernobylite 2）：大幅提升角色表演的真實感與沉浸感