『您的瀏覽器不支援JavaScript功能,若網頁功能無法正常使用時,請開啟瀏覽器JavaScript狀態』

跳到主要內容區塊

工業技術研究院

:::

工業技術與資訊月刊

出版日期:

正方形 Icon 專欄 Column

王雲:在深不可測的Big Data時代 尋找新契機

口述/工研院專家王雲 整理/劉麗惠 圖片來源/法新社、美聯社

巨量資料(Big Data)時代來臨,大如Google、IBM等科技巨頭擁有龐大資源,可對深奧的技術與跨領域知識進行發展,但是一般企業多難以因應。工研院秉持推動產業發展的使命感,希望由「巨量中心策略與架構先進技術團隊」(SAAT),為臺灣產業在Big Data 時代中,找的新方向與契機,帶動國家產業持續往前發展。

巨量資料」(Big Data)在中國大陸又稱做「大數據」,至今發展已經超過10幾年,並且成為行動雲端趨勢之後,最受矚目的新興科技名詞。要探討Big Data為何受到如此廣泛矚目,必須從各方面進行探討,包括:Big Data的發展歷程與特性、Big Data的商機有多大、Big Data將對世界帶來什麼樣的改變,以及Big Data的相關技術等。

從3V到6V 巨量資料定義演變

那麼,Big Data中所謂的資料特性,指的又是什麼呢?這得從2001年Big Data被麥塔集團(META Group)分析師萊尼(Doug Laney)提出之後開始談起。2001年萊尼在一份報告中對Big Data提出「3-D資料管理」的看法,即資料成長將朝3個方向發展,分別為資料即時處理的速度(Velocity)、資料格式的多樣化(Variety)與資料量的規模(Volume),3者統稱為「3V」或「3Vs」。

之後,隨著資訊科技不斷地往前推進,資料量的複雜程度愈來愈高,「3Vs」已經不足以形容新時代的大數據,因此在2012年時,不僅萊尼調整既有的3V分析,包括科技大廠IBM、國際調查機構Gartner、IDC等紛紛對Big Data提出新的論述,大家紛紛地將3V增加成為4V,即在原本的速度、多樣化與規模特性上,再增加「準確性」(Veracity)的特色,之後甚至還有人提出5V、6V的看法,即在原本的4V上又增加「可視性」(Visualization)與「合法性」「Validity」等。

巨量資料商機驚人

在對Big Data這個詞有一定程度的了解之後,接著大家最想知道的就是Big Data商機到底有多龐大。事實上,從2001年Big Data概念被提出一直到2011年,10年時間Big Data都一直默默無聞,一直到2012年市場對Big Data進行包裝並大肆探討,Big Data浪潮急劇湧現,各大調查機構都對Big Data即將引爆的商機給予非常正面的看法。

IDC的報告就提到,2012至2016年全球Big Data技術與服務的市場規模年複合成長率(Compound Annual Growth Rate; CAGR)將高達31.7%,至2016年總收益將會達到238億美元,到了2018年Big Data市場商機更將達到500億美元之多,Gartner也提到隨著各個領域企業紛紛導入Big Data應用,將促成巨大商機的湧現。

更值得一提的是,諮詢機構麥肯錫全球研究院(McKinsey Global Institute)在2011年提出的「巨量資料:創新、競爭與生產力的下一個新領域(Big Data: the Next Frontier for Innovation, Competition, and Productivity)」報告,該份報告提到Big Data時代的全面來臨,不僅將引爆各種商機,並且將對產業帶來極大的變革。

例如,麥肯錫預估未來10年,美國保健產業與Big Data有關的商機高達3,000億美元;並且將為美國帶來1,000億美元的行動商機服務;以及在消費端市場創造6,000億美元商機;在企業應用上,Big Data可協助製造業縮短20~50%的上市研發時程,為金融業行銷活動提高60%的回應率,以及降低10%的規畫與執行時程。

Big Data相關專業人才缺乏

更深一層從經濟的角度來探索,Big Data不僅將對人們的工作帶來影響,也將改變工業與商業模式的運作模式,因此加速培育Big Data相關專業人才,以因應未來需求,成為當務之急。

我們都相信,未來社會需求將因Big Data的到來而不斷改變,世界各地都會需要更多懂得Big Data的專家,才能為新的社會需求找出新的智慧方案。然而,由於Big Data是一個新穎且複雜的概念,目前不管是管理階層、商業人士都對Big Data還不夠了解,當然也不懂得分析,因此現階段會做Big Data分析的人才遠遠少於市場上的人力需求。Gartner報告指出,2018年全球將會有440萬個職場新工作與Big Data有關;另外,麥肯錫預估,到了2018年,光是美國就需要至少30萬個懂得Big Data的人才,屆時市場至少短缺14~19萬個具備深度分析資料的人才。

顯然地,如果說20世紀資訊產業的發展促使電腦取代大部分的藍領工作,21世紀的Big Data科技將大幅改變白領工作環境,許多服務業的工作機會將被新興科技所取代,這也造就世界各國對於Big Data人才的需求,可以肯定的是,未來Big Data要順利推廣到各個領域,最大的障礙就是人才。

到底要如何在型態多樣、量大且速度快的Big Data之下培育出相關人才,我認為應該掌握3個層面,第一是領域知識(Domain Knowledge),人們必須先了解到底產業與企業所面對的問題是什麼,才能善用Big Data;其次是技術面的角度,即電腦科學的知識;再者是善用數學和統計(Math and Statistics),例如Big Data領域的人才必須是數學與統計模型專家,才有能力把產業問題變成數據系統來解決,以及把真實世界轉換為虛擬世界,用模型程序處理之後,再回到真實世界。

一個頂尖的Big Data團隊必須有不同領域的專家,才能協同起來一起解決問題或創新商業模式,但是由於目前同時涵蓋這3方面知識的人少之又少,因此產業必須加速這類人才的培育。

Big Data正對所有產業帶來改變

談到Big Data,當然不免要提到分析3.0(Analytics 3.0)。從時間的角度來看分析這件事,它早就存在50年之久,如果從應用的角度來看,傳統企業解決問題時,也早就透過分析來解決問題,只是,不同於過往的分析,包含Big Data概念在內的分析,已經進化到3.0層次。

如果說50年前傳統企業的分析是為了解決流程問題,例如優化庫存、提高製造良率等,當時所採用的資訊科技分析屬於分析1.0階段,進入21世紀之後,網際網路興起,包括Google、Amazon、Facebook等,甚至是後起之秀的百度、阿里巴巴與騰訊,因為面對的是個人用戶,再加上商業運作過程中並沒有中間者,而是直接面對終端用戶,因此這些網路公司所要解決的商業問題迥異於傳統行業,IT系統必須解決大量分析問題,因此進入2.0階段。

如今,隨著數據資料愈來愈複雜,企業要解決的問題更加難以捉摸,此時此刻任何一家公司都希望其營運可以超脫傳統技術,在問題還沒發生之前,就先想到新的商業模式,這就已經進入分析3.0的階段。分析3.0的思維是:不管有沒有問題發生都把數據存起來,然後主導者可以在沒有任何問題發生時,利用數據創新商業模式,或是在有問題發生之後,從數據中找到解決的方法。(編按:Analytics 3.0 是美國學者Thomas Davenport 所提出的概念,透過這個概念,企業不但在運作上可善用巨量資訊,更可藉此產出更符合消費者需求的產品。)
舉例來說,美國通用(GE)公司提出的工業互聯網(Industrial Internet)計畫,透過投資10億美元打造整合物聯網、Big Data等技術的解決方案,希望在未來20年內為各種工業領域創造龐大的效益。例如,GE目標要為全球航空業減少1%的燃料使用,如此每年大約可減少300億美元的支出,又或者減少醫療產業1%的開銷,節省約630億美元。總體而言,GE的工業網路計畫預估將創造高達10~15兆美元GDP,其所創造的效益遠遠大於投資在一般消費用戶上的效益。

事實上,Big Data也是許多企業轉型的契機,同樣以GE為例,過去GE被視為製造業的巨人,大家都認為GE是一家工業領域的公司,但是2013年GE已經成功從設備提供商轉型為服務提供商。GE能夠成功轉型,靠的就是Big Data技術,只是不同於Google、Facebook分析的是消費者個人行為,GE將分析技術用於工業上,進而能為客戶提供創造更大效益的服務。

不僅工業,Big Data將對各個產業都帶來莫大的改變,其中包括製造業、零售業、金融業、健康醫療……等領域所受到的影響都非常大。以零售業為例,如果在零售業的供應鏈中使用Big Data,將會產生重大的效益與變革,在醫療健康、金融、運輸物流等領域亦然。因此Gartner在2012 Big Data Hype Cycle 2012的報告中,針對Big Data的相關技術,提出了許多細部的分項供外界參考。

臺灣應加速發展Big Data 迎向新未來

當然,不管是培育Big Data人才或是利用Big Data改變商業運作模式,都不能不提到Big Data的相關技術,而在眾多Big Data技術領域之中,最受矚目的技術之一就是Hadoop。簡單來說,Hadoop是一個資料的儲存系統與資料的操作系統,因為Hadoop為一可高度擴充的系統架構,因此成為發展Big Data最重要的技術之一。

Hadoop的前身是由Google在2003年前後提出的GFS(Google File System; Google檔案系統)和Map/Reduce(Map/Reduce是Google提出的一個軟體架構,用於大規模數據的並行運算),之後Yahoo積極投入發展並擴大推廣Hadoop,不過當時使用者仍多為網路公司,隨著支撐Hadoop平臺的生態系統之建立,網路公司之外的企業也開始使用Hadoop系統架構,甚至連英特爾也於2014年投資Cloudera 這家公司,以7.4 億美元取得18%的股權,創下英特爾投資數據中心相關技術,單一投資金額最高的紀錄。

事實上,Hadoop只是Big Data時代中的其中一個技術,與Big Data相關的技術還非常多,不計算開放軟體在內,目前全球至少有上百家的公司在發展與Big Data相關的技術,涵蓋的領域範圍多達數十個,可見Big Data是一個多麼大的龐然大物。

面對這樣一個複雜又龐大的新技術時代,許多企業都難以因應,在美國,一個具備Big Data相關技術的人才,年薪就要20萬美元,更何況每執行一個Big Data專案,要有很多的工程師,因此除了超大型網路公司,一般企業很難自己投入發展。

面對Big Data這個表現看起來簡單,但是骨子裡卻極為複雜的新技術,臺灣不管是企業界、研究機構或學術界都應該思考如何進入Big Data領域。有鑑於此,工研院雲端運算行動應用科技中心的「巨量中心策略與架構先進技術團隊」(SAAT),希望招攬對Big Data有熱忱的人才,大家一同近距離交流、碰撞、尋找臺灣各面對Big Data大時代的因應之道,並且希望可以培育出跨領域人才。

總體來說,Big Data不僅深入個人科技應用領域,各行各業對於Big Data的使用更加速推進,這使得Big Data的重要性更不可言喻,面對這樣一個大趨勢,臺灣必須加快腳步,迎上這股潮流,如此才有機會乘著Big Data的大浪潮,開展臺灣產業的新契機,為臺灣經濟發展,打下更穩固的實力。

下載全文PDF Icon下載全文PDF