VR

輕量高效型手持動作追蹤系統

更加身歷其境的VR體驗

日期 2018-11
分享:

既有型式破壞沉浸體驗

近年來,虛擬實境(VR)的內容應用出現爆炸性的成長,可惜的是,在使用者控制介面上的操作體驗,仍無大幅度的更新與進步。市面上多數的VR控制器如:遊戲手把、手持遙控器等皆具固定的形體和重量,無法給予使用者適當且真實的觸覺反饋,舉例來說,當使用者在虛擬實境中看見自己手握畫筆,而真實世界中卻是手持遙控器,會使得視覺與觸覺的感知相互牴觸,造成使用者與虛擬物體之間的互動不夠真實。


▲ 市面上常見的VR控制器侷限於固定形狀與重量,無法給予使用者友善的觸覺反饋。

虛實連動,同步物體姿態

為解決上述問題,寶璽科技與國立清華大學-計算機圖形與視覺實驗室(CGV LAB)共同開發「輕量高效型手持動作追蹤系統」,可以毫不費力地在現實世界與VR世界同步手持物體的3D姿態。利用Leap Motion和IMU傳感器分別追蹤物體位置和方向,將真實世界物件與虛擬實境中的對應模型做虛實連動,改善使用者視、觸不一致的狀況。

▲ 「輕量高效型手持動作追蹤系統」架構。一開始將目標物體放置在感應托盤上,使用者一旦拿起,RFID傳感器將通知系統、觸發追蹤。

系統實際應用案例

逼真的觸覺反饋是獲得身臨其境的VR體驗的關鍵因素!我們以「鉛筆」、「智慧型手機」以及「乒乓球拍」三種不同媒介作為控制介面,分別在VR世界中進行3D繪畫、攝影和乒乓球比賽,展現系統的可行性與功能,為使用者提供更加身歷其境的友善體驗。

▲「輕量高效型手持動作追蹤系統」架構說明與操作實景。

1. VR 3D繪畫

創造一虛擬美術教室,使用者可在此VR空間中自由創作,可變更筆刷大小、筆尖形狀與喜好顏色,並切換畫筆和橡皮擦。特別的是,使用者可以隨意選擇自己喜歡的筆,將IMU傳感器連接其上,即可立即享受身臨其境的3D繪畫體驗。

2. VR攝影

以智慧型手機做為操作媒介,讓使用者可以將日常生活中慣用的手機帶入VR世界拍照。除了單擊螢幕拍攝VR場景照片之外,也可利用多點觸摸,進行放大、縮小的動作,帶來如同現實世界般的直觀操作。

3. VR乒乓球比賽

使用者需控制球拍、反覆拍球,防止乒乓球掉落地上,每次擊中球時,便收到一枚硬幣做為獎勵。操作真實的乒乓球拍,相較於一般手持控制器,能更真切的沉浸於VR世界裡。

參考來源:
1. http://enews.lym.gov.tw/
2. https://zi.media/