工業技術研究院

頭戴式顯示器　使用凌空觸控Air Touch技術
讓醫師化身醫療鋼鐵人

你是否可以想像，電影《關鍵報告》、《鋼鐵人》當中，主角不需要實際接觸螢幕，隔空操控立體飄浮影像的情境，有一天將會成真？

過去幾年間，觸控、顯示科技的日新月異，人類互動技術發生了顯著的變化，促使使用介面與智慧化設計不斷提升，凌空觸控技術（Air Touch）就是其中最先進的技術，只要戴上特殊設計的眼鏡式顯示器，在特定的工作空間內，經由該裝置看到凌空顯示的透明畫面圖像，藉著手指與該透明畫面touch互動，是最新的人機互動介面技術，準確偵測手指細微的動作變化。

這項技術不僅能夠感應使用者手指，也能感應使用者所持的筆或筷子，讓使用者在不需要觸碰螢幕情況下，即可瀏覽網頁、繪製圖形及玩遊戲，有如囊中取物般的簡單。

舉例來說，用手在空中繪製圖形，會立即出現在螢幕上；用手指按凌虛在空中的按鈕，就可以立即指示系統開始動作，用手抓拉物件，物件就可以呈現各個不同面向的立體圖，這就是凌空觸控技術，可以應用在一系列裝置如智慧手機、平板電腦、汽車以及冰箱等，這樣的技術，將會從本質上改變人機互動方式，打破人機之間的那一堵牆。

這種超越時代的科技，已不是實驗室中的研發計畫，而是已經有確切產品可應用展示的技術。2011年建國百年經建特展中，工研院的技術創新館就已將這技術展現在國人手中，在展館中的「超時空電話亭」，就是工研院以「飄浮式三維影像系統」設計而成，以先進的投影技術搭配光學成像設計，呈現懸浮空中3D影像，並結合飄浮式觸控設計，可觸碰體驗飄浮影像的神奇。

今年，工研院更在有科技界奧斯美譽之稱的全球百大科技研發獎（R&D 100 Awards）中，以「頭戴式顯示器使用凌空觸控Air Touch技術」再度獲獎，三技術實力又獲肯定，這項新技術，更是集結了過去工研院相關技術的大成，讓頭戴式顯示器使用凌空觸控Air Touch，使用體驗更上一層樓。

多點空間追跡演算法與手勢辨識技術 辨識手指細微動作

工研院研發的頭戴式顯示器使用「凌空觸控Air Touch」技術，只要動動手指或揮揮手，就可以和眼前的虛擬影像進行互動。

不同於一般的手勢控制，透過「凌空觸控 Air Touch」技術，使用者可在眼前40公分處，看到大約10吋的虛擬螢幕，手指於空中觸控此虛擬螢幕畫面，顯示器上的感測器就可偵測手指空間位置，和所見的影像進行直接觸控互動，創造出不同於實體面板觸控的使用經驗，可說是全新的人機互動介面。

「凌空觸控Air Touch」的觸控技術，是使用光學鏡片的設計呈現物體的實像，並讓影像飄浮在眼鏡外面，對使用者來說，等於是在眼睛正前方約30公分出現凌虛的物品，「凌空觸控Air Touch」技術更搭配紅外線偵測技術，如果伸出手去「觸摸」這些影像物體，實際上不需要接觸任何東西，系統就會根據使用者的動作及位置做出相對的反應，達到觸控的效果。

工研院電光所副所長刁國棟指出，「凌空觸控Air Touch」技術就是結合了飄浮式三維系統虛擬影像，以及另一個空間手勢辨識與追蹤系統的技術，所開發出來的跨領域技術，正因為這項技術具有跨領域以及虛實資訊的多重接收，才得以獲得R&D 100 Awards的青睞。

原本工研院已經有空間手勢辨識與追蹤系統，這是利用獨創的多點空間追跡演算法與手勢辨識技術，突破傳統接觸式的觸控螢幕操作，使用者只要在左右手分別戴上手勢辨識模組，透過RF無線傳輸模組的傳送動作訊號和接收，即能在空中進行多點操作與多樣化動作輸入辨識，並應用至各種不同的操作介面環境。因辨識能力可細至手指，更方便使用者進行圖片翻轉，或將圖片上的某一特定區域放大和縮小，應用領域包括Windows Media　Center、Set Top Box、多人會議簡報系統、家庭休閒娛樂系統、體感遊戲、多點操作介面等。

比起Wii需要手持一個遙控器，或者Kinect只能辨識身體的大動作，工研院的手勢辨識系統更加先進，已經可以辨識十根手指的細微動作，刁國棟微笑著說：「工研院的技術逐年進步，之前為了辨識手指，還需要在手指上貼個定位點，讓影像系統辨識，這樣固然可以讓技術更快實用化，但使用起來卻不符合消費者使用習慣。」

只是為了省略在手指上貼個定位點這個小功夫，卻讓工研院的研發人員花盡苦心，因為對電腦的光學辨識來說，如果沒有定位點，一個手指在鏡頭前移動，系統就無法辨識出那是一個闖入鏡頭拍攝範圍內的異物，還是正常的背景圖像？把系統調整得極度靈敏，可能連飛入鏡頭的蒼蠅，系統都視為是必須辨識的手指，如果把系統的靈敏值降低，那就連使用者的手指都被視為圖像，系統會逕自略過不進行辨識。

更困難的是，這類攝影辨識手指動作，對於辨識二維物體移動還不算高難度的工作，刁國棟指出：「最困難的部分在於如何擴增到第三維，也就是物體深度的移動。」

頭戴式裝置 享受3D劇院影音質感

工研院的凌空觸控技術，是由一個內建互補式金屬氧化物半導體感測器（CMOS sensor）的深度攝影機模組，搭配可計算手指和影像距離的計算軟體所組成，擷取平面的X、Y軸動作，還進一步擷取深度立體感的Z軸動作，成功克服光線不足、背景近似，或背景干擾等狀況下所產生的誤判狀況，可以有效分隔使用者與流動背景之間的距離關係，因此能偵測用戶手指的前後、左右距離，且透過算準觸控的時間點，達到精確觸控反應。

除了三維的Air Touch技術外，「頭戴式顯示器使用凌空觸控」另一個重要零件是頭戴式顯示器，或許用智慧眼鏡來稱呼更為恰當，乍看之下，很像市面上已經在販售的頭戴顯示器或者頭戴式影院，但實際上的技術天差地遠不可同日而語。

頭戴顯示器或者頭戴式影院，比較偏重於視聽享受，這類頭戴眼鏡的視角超過45度廣視角，已經超出人眼的視角範圍，加上搭配的5.1聲道環繞音響，視聽效果不輸到電影院中觀看3D影片，加上它是以頭戴式穿戴在使用者頭上，即便用者躺著，也不妨礙看電影。而一組只要新台幣2萬元左右，比起全套的3D劇院，價格更是平易近人。

刁國棟指出，正因為這類產品偏重在於「個人娛樂」，所以戴上頭戴式影院之後，使用者跟外界基本處於隔絕狀態，所得到的訊息、圖像、聲音，全都是頭戴式影院提供的資訊，但工研院研發的「頭戴式顯示器使用凌空觸控 Air Touch技術」，使用者不僅可以接受到來自電腦系統或者網路提供的3D影像和訊息資訊，也可以進行凌空輸入，但卻一點也不妨礙使用者觀察到周邊的事物，換言之，有點像Google 2012年發布的Google眼鏡（Google Glass）一樣，既能夠看到來自網路的訊息，但也不妨礙正常觀看周邊的世界。

採用Android作業系統的Google眼鏡，主要構造包括處理器、記憶體、攝影鏡頭和麥克風、喇叭、無線網路裝置，包括在鏡框右邊有一個觸控式導航裝置，另外內建陀螺儀、加速度計以及傳感器等。

對使用者來說，Google試圖以眼鏡取代智慧手機的螢幕，主要的輸入方式就是針對語言進行聲音辨識，使用者說話下指令，系統將語音轉化為指令，可與網路連結取得資訊，或者透過指令執行拍照、錄影、發送訊息，導航、即時翻譯等功能，簡單說使用者透過聲控，就可以完成目前電腦所能完成的所有工作。

「但透過聲控就完成所有工作，也是Google眼鏡最大的問題。」刁國棟認為這項產品的問題就在於聲控是個對外傳播的動作，「發出聲音」這個舉動很難不被旁邊的人察覺你目前的動作。

病菌不上手！瞬間處理手術資訊

但「頭戴式顯示器使用凌空觸控Air Touch技術」既可以採用語音輸入，也可以使用凌空筆畫輸入，對使用者來說，等於是將「三螢一雲」的概念，結合在一個設備上，讓單一使用者自由使用，比起Google眼鏡更具有優勢。

這種系統可用於非接觸的控制操作，「包括有病菌傳染顧慮場所，例如醫院、公共場所的電梯、手術房醫療器材人機介面等。」刁國棟指出：「以手術台開刀為例，醫師一上手術台就是全面無菌狀態，如果遇到要調出病人的X光片，醫師不可能離開無菌區域去拿片子。」過去遇到這種突發狀況，就是靠助手或者護士去拿片子，但如果醫師頭上配戴著「頭戴式顯示器使用凌空觸控Air Touch技術」，也不需要離開手術台，凌空按幾個資訊鈕，就可以調出病人所有的履歷，甚至還可以一邊開刀一邊比對，甚至病人即時的血壓、體溫、脈搏，都可以顯現在頭戴式顯示器上。

刁國棟樂觀的說：「頭戴式顯示器未來還可以與工研院的影像醫材結合，實現更精準的手術。」

工研院目前與秀傳醫院合作的影像醫材，是將微創手術影像傳輸系統，截取內視鏡2D影像畫面訊號，在另一部3D顯示器上，同步將2D影像轉換成3D影像顯示，讓外科醫師於手術中即可獲取3D立體影像。

不過目前3D立體影像仍只能顯示在手術台旁的3D電視，所以可能出現醫生頭看著右邊螢幕，手卻朝著左邊的病人動手術的彆扭情形，但如果這些3D立體影像直接投射在最新的頭戴式顯示器上，醫生頭轉到哪裡，影像就出現在哪裡，這將會是電子技術與醫療產業跨界結合的大躍進，也將為人類醫療技術帶來歷史性的跳躍。