『您的瀏覽器不支援JavaScript功能,若網頁功能無法正常使用時,請開啟瀏覽器JavaScript狀態』

跳到主要內容區塊

工業技術研究院

:::

工業技術與資訊月刊

出版日期:

正方形 Icon 封面故事 Features

頭戴式顯示器 使用凌空觸控

羅弘旭

頭戴式顯示器 使用凌空觸控Air Touch技術
讓醫師化身醫療鋼鐵人

你是否可以想像,電影《關鍵報告》、《鋼鐵人》當中,主角不需要實際接觸螢幕,隔空操控立體飄浮影像的情境,有一天將會成真?

過去幾年間,觸控、顯示科技的日新月異,人類互動技術發生了顯著的變化,促使使用介面與智慧化設計不斷提升,凌空觸控技術(Air Touch)就是其中最先進的技術,只要戴上特殊設計的眼鏡式顯示器,在特定的工作空間內,經由該裝置看到凌空顯示的透明畫面圖像,藉著手指與該透明畫面touch互動,是最新的人機互動介面技術,準確偵測手指細微的動作變化。

這項技術不僅能夠感應使用者手指,也能感應使用者所持的筆或筷子,讓使用者在不需要觸碰螢幕情況下,即可瀏覽網頁、繪製圖形及玩遊戲,有如囊中取物般的簡單。

舉例來說,用手在空中繪製圖形,會立即出現在螢幕上;用手指按凌虛在空中的按鈕,就可以立即指示系統開始動作,用手抓拉物件,物件就可以呈現各個不同面向的立體圖,這就是凌空觸控技術,可以應用在一系列裝置如智慧手機、平板電腦、汽車以及冰箱等,這樣的技術,將會從本質上改變人機互動方式,打破人機之間的那一堵牆。

這種超越時代的科技,已不是實驗室中的研發計畫,而是已經有確切產品可應用展示的技術。2011年建國百年經建特展中,工研院的技術創新館就已將這技術展現在國人手中,在展館中的「超時空電話亭」,就是工研院以「飄浮式三維影像系統」設計而成,以先進的投影技術搭配光學成像設計,呈現懸浮空中3D影像,並結合飄浮式觸控設計,可觸碰體驗飄浮影像的神奇。

今年,工研院更在有科技界奧斯美譽之稱的全球百大科技研發獎(R&D 100 Awards)中,以「頭戴式顯示器使用凌空觸控Air Touch技術」再度獲獎,三技術實力又獲肯定,這項新技術,更是集結了過去工研院相關技術的大成,讓頭戴式顯示器使用凌空觸控Air Touch,使用體驗更上一層樓。

多點空間追跡演算法與手勢辨識技術 辨識手指細微動作

工研院研發的頭戴式顯示器使用「凌空觸控Air Touch」技術,只要動動手指或揮揮手,就可以和眼前的虛擬影像進行互動。

不同於一般的手勢控制,透過「凌空觸控 Air Touch」技術,使用者可在眼前40公分處,看到大約10吋的虛擬螢幕,手指於空中觸控此虛擬螢幕畫面,顯示器上的感測器就可偵測手指空間位置,和所見的影像進行直接觸控互動,創造出不同於實體面板觸控的使用經驗,可說是全新的人機互動介面。

「凌空觸控Air Touch」的觸控技術,是使用光學鏡片的設計呈現物體的實像,並讓影像飄浮在眼鏡外面,對使用者來說,等於是在眼睛正前方約30公分出現凌虛的物品,「凌空觸控Air Touch」技術更搭配紅外線偵測技術,如果伸出手去「觸摸」這些影像物體,實際上不需要接觸任何東西,系統就會根據使用者的動作及位置做出相對的反應,達到觸控的效果。

工研院電光所副所長刁國棟指出,「凌空觸控Air Touch」技術就是結合了飄浮式三維系統虛擬影像,以及另一個空間手勢辨識與追蹤系統的技術,所開發出來的跨領域技術,正因為這項技術具有跨領域以及虛實資訊的多重接收,才得以獲得R&D 100 Awards的青睞。

原本工研院已經有空間手勢辨識與追蹤系統,這是利用獨創的多點空間追跡演算法與手勢辨識技術,突破傳統接觸式的觸控螢幕操作,使用者只要在左右手分別戴上手勢辨識模組,透過RF無線傳輸模組的傳送動作訊號和接收,即能在空中進行多點操作與多樣化動作輸入辨識,並應用至各種不同的操作介面環境。因辨識能力可細至手指,更方便使用者進行圖片翻轉,或將圖片上的某一特定區域放大和縮小,應用領域包括Windows Media Center、Set Top Box、多人會議簡報系統、家庭休閒娛樂系統、體感遊戲、多點操作介面等。

比起Wii需要手持一個遙控器,或者Kinect只能辨識身體的大動作,工研院的手勢辨識系統更加先進,已經可以辨識十根手指的細微動作,刁國棟微笑著說:「工研院的技術逐年進步,之前為了辨識手指,還需要在手指上貼個定位點,讓影像系統辨識,這樣固然可以讓技術更快實用化,但使用起來卻不符合消費者使用習慣。」

只是為了省略在手指上貼個定位點這個小功夫,卻讓工研院的研發人員花盡苦心,因為對電腦的光學辨識來說,如果沒有定位點,一個手指在鏡頭前移動,系統就無法辨識出那是一個闖入鏡頭拍攝範圍內的異物,還是正常的背景圖像?把系統調整得極度靈敏,可能連飛入鏡頭的蒼蠅,系統都視為是必須辨識的手指,如果把系統的靈敏值降低,那就連使用者的手指都被視為圖像,系統會逕自略過不進行辨識。

更困難的是,這類攝影辨識手指動作,對於辨識二維物體移動還不算高難度的工作,刁國棟指出:「最困難的部分在於如何擴增到第三維,也就是物體深度的移動。」

頭戴式裝置 享受3D劇院影音質感

工研院的凌空觸控技術,是由一個內建互補式金屬氧化物半導體感測器(CMOS sensor)的深度攝影機模組,搭配可計算手指和影像距離的計算軟體所組成,擷取平面的X、Y軸動作,還進一步擷取深度立體感的Z軸動作,成功克服光線不足、背景近似,或背景干擾等狀況下所產生的誤判狀況,可以有效分隔使用者與流動背景之間的距離關係,因此能偵測用戶手指的前後、左右距離,且透過算準觸控的時間點,達到精確觸控反應。

除了三維的Air Touch技術外,「頭戴式顯示器使用凌空觸控」另一個重要零件是頭戴式顯示器,或許用智慧眼鏡來稱呼更為恰當,乍看之下,很像市面上已經在販售的頭戴顯示器或者頭戴式影院,但實際上的技術天差地遠不可同日而語。

頭戴顯示器或者頭戴式影院,比較偏重於視聽享受,這類頭戴眼鏡的視角超過45度廣視角,已經超出人眼的視角範圍,加上搭配的5.1聲道環繞音響,視聽效果不輸到電影院中觀看3D影片,加上它是以頭戴式穿戴在使用者頭上,即便用者躺著,也不妨礙看電影。而一組只要新台幣2萬元左右,比起全套的3D劇院,價格更是平易近人。

刁國棟指出,正因為這類產品偏重在於「個人娛樂」,所以戴上頭戴式影院之後,使用者跟外界基本處於隔絕狀態,所得到的訊息、圖像、聲音,全都是頭戴式影院提供的資訊,但工研院研發的「頭戴式顯示器使用凌空觸控 Air Touch技術」,使用者不僅可以接受到來自電腦系統或者網路提供的3D影像和訊息資訊,也可以進行凌空輸入,但卻一點也不妨礙使用者觀察到周邊的事物,換言之,有點像Google 2012年發布的Google眼鏡(Google Glass)一樣,既能夠看到來自網路的訊息,但也不妨礙正常觀看周邊的世界。

採用Android作業系統的Google眼鏡,主要構造包括處理器、記憶體、攝影鏡頭和麥克風、喇叭、無線網路裝置,包括在鏡框右邊有一個觸控式導航裝置,另外內建陀螺儀、加速度計以及傳感器等。

對使用者來說,Google試圖以眼鏡取代智慧手機的螢幕,主要的輸入方式就是針對語言進行聲音辨識,使用者說話下指令,系統將語音轉化為指令,可與網路連結取得資訊,或者透過指令執行拍照、錄影、發送訊息,導航、即時翻譯等功能,簡單說使用者透過聲控,就可以完成目前電腦所能完成的所有工作。

「但透過聲控就完成所有工作,也是Google眼鏡最大的問題。」刁國棟認為這項產品的問題就在於聲控是個對外傳播的動作,「發出聲音」這個舉動很難不被旁邊的人察覺你目前的動作。

病菌不上手!瞬間處理手術資訊

但「頭戴式顯示器使用凌空觸控Air Touch技術」既可以採用語音輸入,也可以使用凌空筆畫輸入,對使用者來說,等於是將「三螢一雲」的概念,結合在一個設備上,讓單一使用者自由使用,比起Google眼鏡更具有優勢。

這種系統可用於非接觸的控制操作,「包括有病菌傳染顧慮場所,例如醫院、公共場所的電梯、手術房醫療器材人機介面等。」刁國棟指出:「以手術台開刀為例,醫師一上手術台就是全面無菌狀態,如果遇到要調出病人的X光片,醫師不可能離開無菌區域去拿片子。」過去遇到這種突發狀況,就是靠助手或者護士去拿片子,但如果醫師頭上配戴著「頭戴式顯示器使用凌空觸控Air Touch技術」,也不需要離開手術台,凌空按幾個資訊鈕,就可以調出病人所有的履歷,甚至還可以一邊開刀一邊比對,甚至病人即時的血壓、體溫、脈搏,都可以顯現在頭戴式顯示器上。

刁國棟樂觀的說:「頭戴式顯示器未來還可以與工研院的影像醫材結合,實現更精準的手術。」

工研院目前與秀傳醫院合作的影像醫材,是將微創手術影像傳輸系統,截取內視鏡2D影像畫面訊號,在另一部3D顯示器上,同步將2D影像轉換成3D影像顯示,讓外科醫師於手術中即可獲取3D立體影像。

不過目前3D立體影像仍只能顯示在手術台旁的3D電視,所以可能出現醫生頭看著右邊螢幕,手卻朝著左邊的病人動手術的彆扭情形,但如果這些3D立體影像直接投射在最新的頭戴式顯示器上,醫生頭轉到哪裡,影像就出現在哪裡,這將會是電子技術與醫療產業跨界結合的大躍進,也將為人類醫療技術帶來歷史性的跳躍。

下載全文PDF Icon下載全文PDF


[{"text":"企業網","weight":13.0},{"text":"材化所","weight":11.5},{"text":"機械所","weight":10.0},{"text":"綠能所","weight":9.4},{"text":"生醫所","weight":8.0},{"text":"半導體","weight":6.2},{"text":"南分院","weight":5.0},{"text":"太陽能","weight":5.0},{"text":"課程","weight":5.0},{"text":"遠紅外線","weight":5.0},{"text":"雷射","weight":4.0},{"text":"LED","weight":4.0},{"text":"LED可見光","weight":3.0},{"text":"5G","weight":3.0},{"text":"工研人","weight":3.0},{"text":"電光所","weight":3.0},{"text":"綠能與環境研究所","weight":3.0},{"text":"機械","weight":3.0},{"text":"資通所","weight":2.0},{"text":"面板","weight":2.0},{"text":"文字轉語音","weight":2.0},{"text":"實習","weight":2.0},{"text":"無人機","weight":2.0},{"text":"生醫","weight":2.0},{"text":"3D","weight":2.0},{"text":"v2x","weight":2.0},{"text":"員工","weight":2.0},{"text":"地圖","weight":2.0},{"text":"太陽光電","weight":2.0},{"text":"材料與化工研究所","weight":1.0}]