『您的瀏覽器不支援JavaScript功能,若網頁功能無法正常使用時,請開啟瀏覽器JavaScript狀態』

跳到主要內容區塊

工業技術研究院

:::

工業技術與資訊月刊

出版日期:

正方形 Icon 創新之鑰 Innovation

日益蓬勃的海量數據商機

陶曉嫚

今日,人類能在24小時內累積2.5百萬兆位元組的資料,而且總量還不斷刷新紀錄,這些資料包羅萬象,從社交網站的留言、行動電話 GPS 訊號到採購交易記錄不一而足。

面對巨量資訊流的挑戰,如果能妥善運用海量運算,即時從中篩選出含金訊息,將能使企業運作更加靈敏,革新過去無效率的品管及經營模式,為難以釐清的問題提供解答。


每當大西洋上有颶風形成,美國東岸的煉油中心──柯斯灣(Curtis Bay)就會進入高度警戒。過去,投資人預期颶風將讓產能下滑,便會拋售所有柯斯灣的石油類股;然而,各公司地理位置不同,生產線所受的損傷自然也不同,市場需要仰賴消息面補正股價,但致富良機恐怕已從指縫間溜走,IBM沃森研究中心(IBM T. J. Watson Research Center)的張書平博士指出,「如果我們能利用海量數據(big data),從中取得氣象、各廠房地理位置這兩組資料,提早估算出颱風路徑,就可以提早避險與布局,在證券買賣間立於不敗之地。」

今日,人類能在24小時內累積2.5百萬兆位元組的資料,而且總量還不斷刷新紀錄,這些資料包羅萬象,從社交網站的留言、行動電話 GPS 訊號到採購交易記錄不一而足。也因此,海量數據的應用商機值得關注,從微軟(Microsoft)、Google、亞馬遜(Amazon)到Facebook,每家大企業都有處理海量數據的獨門祕笈,這也是穩固他們在軟體、搜尋、通路、線上社交領域霸權地位的秘密武器。

匯集數據的江河成大海

在產業界,每個月有月報表、每一季有季報表,即使有電腦輔助,但這些財務數據通常要離線(off-line)運算,中間一些即時、多樣的數據如小費額、客戶滿意度經常被捨棄。如果我們能從不同來源、正在流通的訊息中,抓取更多且值得分析的數據,同時在雲端平台上,把相關聯的數據連結在一起,就能進行更多面向的分析,來解決過往費解的問題──這樣擷取部份資訊進行分析、回饋的動作,就是「江河運算(Streams Computing)」的概念。

傳統運算和江河運算的差異在哪?傳統運算處理結構性的數據,例如存款提款、會計記帳,傳統的方式可能在幾分鐘內提出解答,但系統必須隨著數據量的成長而擴充,有時候,數據連存到硬碟上的時間都沒有,許多交易卻要納入多方考量並在幾毫秒內敲定下單。

因此江河運算的願景,就是做到快速且即時不間斷的運算,同時將結構性、非結構性、泛結構性的數據整合,回饋給海量數據資料庫。

例如期貨與股票的買權、賣權契約關係非常複雜,多數的交易者是銀行,當市場數據上傳雲端後,就進入各銀行自行建構的運算模組。那斯達克(NASDAQ)目前有3,000多檔股票可供交易,每秒鐘湧入2,800多筆雜亂無章的訊息,其中90%會被江河運算模組納為有用資訊,這些訊息中有些是刺探,有些則是認真議價,這時就會集中處理後者,來預測半秒鐘到一秒鐘後的各股走勢,讓交易員決定買進賣出,而這些交易,將影響那斯達克的成交量與漲跌。

雲端和江河運算都是一種虛擬化,最重要的,是要如何架構一套系統,去拆解一連串的未知,其中存在許多挑戰。過去工程師寫程式,所有數據都遵循固定的流程走,變成「淨支出、淨收入」這類靜態的答案,但是江河運算的結果取決於統計資料,因此輸入數據後,將因系統的拆解方式跑出不同結果。

好比美國總統大選時,推特(Twitter)上熱烈討論羅姆尼和歐巴馬的選戰,江書平表示,根據2012年底統計,推特共有近5億名註冊會員、3億4,000萬名活躍用戶,每天創造16億條微網誌,這樣的數據規模對江河及海量運算而言,並不算太龐大,卻是一個很好的研究與實驗標的。推友提到候選人姓名的次數,不代表支持率,必須分析後面的關鍵字,「而且話語本身是模稜兩可的,我們得打造更精確的運算平台,在雲端上建立不休眠的系統,來處理這些非結構性的問題,就是江河運算進階應用的價值。」江書平說。

海量運算改變品管與行銷

海量運算正逐漸改變企業的思維,從前品管的觀念,就是在出貨前把不良品踢除,現在則是用江河運算產出品管報告,回饋給生產流程來除錯。

一片晶圓出廠前,要通過上千道的測試。經過半導體封裝機台Wafer Map分析,照理來說,不良率應該是均勻分布,如果整體的不良率相同,但不良點集中在晶圓的某一個區域,很可能是拋光機出了問題,由於不良率相同,某個流程的問題可能要五個星期才會被發現,但現在經過江河運算的分析和回覆,就能很快找出製程中的弊端。

在行銷方面,消費者每天被跳樓大拍賣的訊息疲勞轟炸,如果消費者想買鞋,給再多衣服特價的訊息也都只會被丟到垃圾桶,品牌忠誠度也越來越低。而廠商可以從海量數據中,分析出顧客需求,做到有效促銷,除了降低成本,也落實顧客管理,在客戶因不滿商品或服務品質暴怒之前,做好群組管理與危機處理,畢竟群組的領導叛變,整個群組都會被棄原本的消費目標,因此許多電信商從上網的客戶中擷取數據,利用海量運算,將有情報提供給對應廠商。

當越來越多新資料湧現時,企業究竟是因此焦頭爛額,還是順應機會靈敏轉型?海量運算可望革新過去無效率的品管及經營模式,提供充滿可能性的解決方案,讓製造業、服務業找到新的成長契機。

下載全文PDF Icon下載全文PDF


延伸閱讀
[{"text":"企業網","weight":13.0},{"text":"材化所","weight":11.5},{"text":"機械所","weight":10.0},{"text":"綠能所","weight":9.4},{"text":"生醫所","weight":8.0},{"text":"半導體","weight":6.2},{"text":"南分院","weight":5.0},{"text":"太陽能","weight":5.0},{"text":"課程","weight":5.0},{"text":"遠紅外線","weight":5.0},{"text":"雷射","weight":4.0},{"text":"LED","weight":4.0},{"text":"LED可見光","weight":3.0},{"text":"5G","weight":3.0},{"text":"工研人","weight":3.0},{"text":"電光所","weight":3.0},{"text":"綠能與環境研究所","weight":3.0},{"text":"機械","weight":3.0},{"text":"資通所","weight":2.0},{"text":"面板","weight":2.0},{"text":"文字轉語音","weight":2.0},{"text":"實習","weight":2.0},{"text":"無人機","weight":2.0},{"text":"生醫","weight":2.0},{"text":"3D","weight":2.0},{"text":"v2x","weight":2.0},{"text":"員工","weight":2.0},{"text":"地圖","weight":2.0},{"text":"太陽光電","weight":2.0},{"text":"材料與化工研究所","weight":1.0}]