Red Pill Live靠人工智慧捕捉動作虛擬網紅平民化時代來臨 | 全台第三方支付網

讓這些角色活起來的動作捕捉技術也因此受到關注，有成本低、效果好的工具，人人都有機會成為虛擬網紅。RedPillLive是由RedPillLab針對全身 ...

虛擬網紅、虛擬主播，或稱VTuber、V-Liver，他們的人氣正在網路社群中逐漸崛起。讓這些角色活起來的動作捕捉技術也因此受到關注，有成本低、效果好的工具，人人都有機會成為虛擬網紅。Red Pill Live是由Red Pill Lab針對全身動作捕捉與表演所研發的軟體，基於人工智慧技術，只要6個感測器、1個麥克風，就可捕捉全身動作、表情和嘴型，成本相較傳統動作捕捉攝影棚大幅降低。

以好萊塢等級的動作捕捉系統而言，整套大約要30萬美金，扮演虛擬角色的演員身上、臉上大概也貼滿了感測器。我們之前參觀日本V-Liver工作室[1]，攝影棚總共架了16台攝影機，演員身上穿了53個感測器，整間工作室大概有十幾位員工。不過類似的效果，以Red Pill Live一個人就可做到，整套設備一個背包就可以裝起來，也不需要攝影棚。

關鍵在於人工智慧技術。Red Pill Lab執行長石千泓表示，他們一年前加入NVIDIA專案計畫，蒐集了超過4,000個動作資料，運用NVIDIA Quadro RTX Tensor Core來訓練動作預測模型，靠捕捉頭、雙手、腰、雙腳共6個感測器，就可預測出人體動作。表情、嘴巴的部份則是靠聲音資料訓練，以演員說話的聲音預測情緒及嘴型。

我們實際觀察Red Pill Live現場示範，身體動作的反應相當即時。表情、嘴部動作也很即時，但沒有很精準。石千泓說明，表情他們是設定高、中、低、正常四種情緒，依據當下的口氣來預測情緒顯示。嘴型不是依據語言顯示，而是學習了如a、i、u、e、o等14種發音的嘴型，依據發音即時反應在虛擬角色嘴巴上。目前正不斷訓練人工智慧，希望未來可以更精準。

▲ Red Pill Live示範影片

但老實說，除了花大錢的影視、遊戲產業能做到相當逼真，一般網路上的虛擬網紅其實也不求真實，主要在傳達虛擬角色的形象、個性、互動。Red Pill Live的效果已經相當出色，而且可做即時直播，應可讓表演者有更大發揮空間。而且如果預算高一些，用支援虛幻引擎（Unreal Engine）的Red Pill Live版本、搭配NVIDIA Quadro RTX 60...