387期2024年08月號
出版日期:2024/08/14
創新之鑰 Innovation
5G共感穿戴裝置 邀聽障朋友一起共感音樂
撰文/陳怡如
除了透過字幕和手語,聽障人士要如何享受劇場表演,尤其是抽象不可聞的音樂?工研院費時1年,研發「5G共感穿戴裝置」,以特製背心傳遞音樂震動,配合光條明暗變化,用體感和視覺雙管齊下,讓聽障人士也能感受美妙音樂。
穿上特製背心,8顆震動器隨著音樂節奏化為不同震動,搭配流動光條隨著音樂明暗變化,這是工研院研發的「5G共感穿戴裝置」,藉由體感和視覺的方式,在5G廣連結、低延遲的特性下,帶給聽障朋友更豐富的文化體驗。
過去聽障人士欣賞表演時,大多透過字幕或手譯員輔助,但表演中的音樂卻難以傳達。目前國際的解決方式,就是利用聽障者最敏銳的觸覺感官,以體感彌補聽覺缺陷。日本知名的新媒體藝術家落合陽一,就打造一個球形裝置,將音樂轉換為震動與燈光,方便聽障觀眾在演出時抱著感受。而臺灣劇場也會將聲音擴大的箱體,放在特定椅子下方,讓聽障觀眾坐在特定區域感受震動。
「但我們想讓聽障者解放雙手,同時在自由行動的狀態下享受表演,」工研院服務系統科技中心專案副理柯惠晴說。團隊因而設計出臺灣第一個可移動式的背心震動裝置,裡頭配置8顆震動器和流線光條,像是一件酷炫的科技外衣,「不讓觀眾覺得它像一種類輔具,而不敢穿上。」
震動器獨立控制 音樂轉譯更細緻
雖然利用體感轉譯音樂,工研院並非首例,但其中的技術關鍵在於,「要怎麼解析音樂,把音樂很好的傳遞到震動。」曾有聽障舞者分享,如果只是單純震動,感覺像在按摩,無法感受到音樂性,也因此如何轉譯音樂正是Know-How所在。
柯惠晴指出,轉譯音樂之所以困難,是因為音樂是一個複雜的資料來源,包含許多器樂和聲音。團隊在和聽障朋友實驗的過程中發現,原先一直想提供他們豐富音訊,反而造成觀賞困擾,「不如讓他們體驗最主要的節奏和旋律。」
於是團隊不停壓低音樂解析度,最後只剩下重要節奏和綿長旋律。背心上的8顆震動器各自貼合身體不同部位,負責不同任務,比如鎖骨下方,脂肪量少,又連結骨架上所有節點,適合傳達節奏震動;而肚子附近因為脂肪量多,對於節奏的分辨性較差,適合感受長線條的旋律如弦樂,其他部位還有側邊肋骨、腰部、肩胛骨和頸骨下方等。
這次最大的創舉是,8顆震動器全都可以獨立控制。工研院服科中心副經理蘇泰維表示,事實上,國際不乏有震動器數量更多的體感穿戴裝置,但通常只有一個開關控制所有震動器,但團隊為了帶給觀眾更細緻的感受,特意將每顆震動器都設計成可獨立控制,個別賦予不同的頻率或強度。但這也帶來挑戰,電路板的體積越大,穿戴時重量就越重,因此需在重量與體積之間取得平衡。
另一個挑戰則是延遲性。蘇泰維指出,音樂是一個不間斷的訊號傳輸,只要出現一點延遲,就無法帶給觀眾最好的體驗,也會導致後續出現不規則的震動。因此團隊在硬體優化上花了很大功夫,從電路板的晶片設計、軟體優化到機構設計,甚至震動元件如何震到身上,還要考量是否會因高速震動而發出異音,最終成功將傳輸延遲從一開始的4、50毫秒,大幅降低至只有2、3毫秒。
在開發過程中,團隊也密切和聽障朋友一同測試,收集回饋修改產品。由於聽障者的觸覺敏銳很多,有些聽人可以接受的震動,對聽障者反而是反效果,比如團隊曾做出像泡泡破掉「啵啵」的震動,聽人覺得可愛,但聽障者卻覺得太過突然,而有一點驚嚇。也因為每個人的體感差距不同,因此在今年10月團隊將提出第二個優化版本,讓每位觀眾都可以自己調整震動大小。
強化感官認知 觀眾、表演者都受惠
去年9月,在文化部與桃園市文化局支持下,工研院在桃園展演中心舉辦一場別開生面的文化平權展演「Feel Together一場尋找共感的練習」,其中聽障舞者林靖嵐便透露,過去她跳舞時是用腳底感受地板震動,但她穿上體感背心後,不需再把注意力全都放在腳底。
這套裝置也陸續在不同場合登場,像是國家人權館的「人權藝術生活節」、國家兩廳院邀請臺北市立啟聰學校學生參加的「聽覺之外的聲音探索課」,以及與麻省理工學院媒體實驗室、法國創作團隊Orbe交流。
柯惠晴有感而發地說,啟聰學校的學生正值探索世界的階段,透過這套背心,幫助他們體驗到很多原先無法感受的事情,「進而打開一個新的感官,讓他們未來的創作能量更加豐沛。」
除了表演場域,團隊也將裝置延伸導入樂齡場域,帶領十多位長者以樂曲進行本體覺律動,其中不乏帕金森氏症和失智症前期的長者。未來也打算推行到娛樂產業,強化VR和AR的體感體驗,也能減少VR帶來的動暈症,真正讓智慧樂活能量走入生活各個角落。
下載全文PDF