MR

雙MR互動系統

智慧型手機助高效操作

日期 2018-12
分享:

現行MR裝置操作大幅受限

混合實境(MR)改變了我們對於虛擬世界與現實世界之間的交互認知,雖然目前的MR頭戴式顯示器(HMD)能夠產生高品質、高解析的視覺內容,但所使用的操作裝置,大多仰賴語音操控、手勢辨識或是游標操控,這些介面雖然直觀易學,卻不利於許多注重功能性的操作,也不適合長時間在某些環境中使用,更容易出現不夠精準、快速的問題。

▲ 語音操控、手勢辨識和游標操作,是MR中最常見的操作方式。

混合實境MR(Mixed Reality)讓使用者可在「真實環境」中看見虛擬物品,使虛擬物品不僅存在手機上。更棒的是,能與其互動、感受虛擬回饋,打破虛擬與現實世界的疆界!

同步頭、手裝置,以熟悉的智慧型手機為操作媒介

有鑑於此,我們提出「雙MR互動系統」,將HMD所見情況同步至智慧型手機,透過手機的多點觸控操作,讓輸入更精準、直覺,也因現代人使用手機已成習慣,這樣的操作將變得更友善。此外,「雙MR互動系統」允許多個使用者一同進入MR世界,有助於專案協作,擴大MR使用上的無限可能!


▲ 以大眾最熟悉的智慧型手機作為MR世界中互動的媒介,同時支援多個裝置一同體驗。

雙MR互動系統運作方式

「雙MR互動系統」藉由內建的動作追蹤裝置,包括iPhone中的Microsoft HoloLens和ARKit,對照經標記的3D定位點,將虛、實之間的坐標系對齊,即可將3D MR場景投射至2D手機螢幕上。困難的是,HoloLens和iPhone都有自己的坐標系,因此,如何在我們的系統中精準地同步兩者的坐標系為此案的一大課題。最終,我們藉由Vuforia的計算機視覺技術,來辨識與追蹤平面圖像目標,將其顯示於iPhone上,而HoloLens可以通過Vuforia獲取iPhone的相對位置設置錨點,定位物體和坐標系。

▲ 「雙MR互動系統」之系統架構,其重點為同步化使用裝置坐標系。
▲ 頭戴式顯示器(HMD)與智慧型手機的同步坐標處理。

 

其中,iPhone為主要發號施令的對象,利用Wi-Fi與HoloLens連接,發送虛擬物件和其他命令的轉換資訊。而HoloLens上具各種傳感器,精確地提供了真實世界中,使用者周遭的環境資訊,這些空間坐標數據一樣的以Wi-Fi進行傳輸,從HoloLens發送至iPhone作更進一步的應用。

雙MR互動系統實際應用

我們藉由智慧型手機的多點觸控優勢,實際操作了3D辦公椅的各類動作,做出位移、旋轉、縮放、遙控以及相機控制等功能,並搭配固定於畫面的使用者介面,讓使用者可在各種功能間快速切換。

首先,利用圖片辨識相互定位,再讓他們分別藉由MR和AR的技術來追蹤自己,達到同步坐標系的目的。接著,設計各式互動,包含常見的單指移動、雙指縮放、雙指旋轉的觸控手勢。特別的是,此系統可在選擇物件後,將物件與手機綁定,藉由移動手機來移動物件,還可利用相機的控制,觀賞微小或遠方物件。

▲ 雙MR互動系統之互動示意說明。

最後,就讓我們一起來欣賞「雙MR互動系統」的實際應用影片吧!


參考來源:
1. http://enews.lym.gov.tw/