工業技術研究院

巨量資料（Big Data）時代來臨，大如Google、IBM等科技巨頭擁有龐大資源，可對深奧的技術與跨領域知識進行發展，但是一般企業多難以因應。工研院秉持推動產業發展的使命感，希望由「巨量中心策略與架構先進技術團隊」（SAAT），為臺灣產業在Big Data 時代中，找的新方向與契機，帶動國家產業持續往前發展。

巨量資料」（Big Data）在中國大陸又稱做「大數據」，至今發展已經超過10幾年，並且成為行動雲端趨勢之後，最受矚目的新興科技名詞。要探討Big Data為何受到如此廣泛矚目，必須從各方面進行探討，包括：Big Data的發展歷程與特性、Big Data的商機有多大、Big Data將對世界帶來什麼樣的改變，以及Big Data的相關技術等。

從3V到6V 巨量資料定義演變

那麼，Big Data中所謂的資料特性，指的又是什麼呢？這得從2001年Big Data被麥塔集團（META Group）分析師萊尼（Doug Laney）提出之後開始談起。2001年萊尼在一份報告中對Big Data提出「3-D資料管理」的看法，即資料成長將朝3個方向發展，分別為資料即時處理的速度（Velocity）、資料格式的多樣化（Variety）與資料量的規模（Volume），3者統稱為「3V」或「3Vs」。

之後，隨著資訊科技不斷地往前推進，資料量的複雜程度愈來愈高，「3Vs」已經不足以形容新時代的大數據，因此在2012年時，不僅萊尼調整既有的3V分析，包括科技大廠IBM、國際調查機構Gartner、IDC等紛紛對Big Data提出新的論述，大家紛紛地將3V增加成為4V，即在原本的速度、多樣化與規模特性上，再增加「準確性」（Veracity）的特色，之後甚至還有人提出5V、6V的看法，即在原本的4V上又增加「可視性」（Visualization）與「合法性」「Validity」等。

巨量資料商機驚人

在對Big Data這個詞有一定程度的了解之後，接著大家最想知道的就是Big Data商機到底有多龐大。事實上，從2001年Big Data概念被提出一直到2011年，10年時間Big Data都一直默默無聞，一直到2012年市場對Big Data進行包裝並大肆探討，Big Data浪潮急劇湧現，各大調查機構都對Big Data即將引爆的商機給予非常正面的看法。

IDC的報告就提到，2012至2016年全球Big Data技術與服務的市場規模年複合成長率（Compound Annual Growth Rate; CAGR）將高達31.7%，至2016年總收益將會達到238億美元，到了2018年Big Data市場商機更將達到500億美元之多，Gartner也提到隨著各個領域企業紛紛導入Big Data應用，將促成巨大商機的湧現。

更值得一提的是，諮詢機構麥肯錫全球研究院（McKinsey Global Institute）在2011年提出的「巨量資料：創新、競爭與生產力的下一個新領域（Big Data: the Next Frontier for Innovation, Competition, and Productivity）」報告，該份報告提到Big Data時代的全面來臨，不僅將引爆各種商機，並且將對產業帶來極大的變革。

例如，麥肯錫預估未來10年，美國保健產業與Big Data有關的商機高達3,000億美元；並且將為美國帶來1,000億美元的行動商機服務；以及在消費端市場創造6,000億美元商機；在企業應用上，Big Data可協助製造業縮短20～50%的上市研發時程，為金融業行銷活動提高60%的回應率，以及降低10%的規畫與執行時程。

Big Data相關專業人才缺乏

更深一層從經濟的角度來探索，Big Data不僅將對人們的工作帶來影響，也將改變工業與商業模式的運作模式，因此加速培育Big Data相關專業人才，以因應未來需求，成為當務之急。

我們都相信，未來社會需求將因Big Data的到來而不斷改變，世界各地都會需要更多懂得Big Data的專家，才能為新的社會需求找出新的智慧方案。然而，由於Big Data是一個新穎且複雜的概念，目前不管是管理階層、商業人士都對Big Data還不夠了解，當然也不懂得分析，因此現階段會做Big Data分析的人才遠遠少於市場上的人力需求。Gartner報告指出，2018年全球將會有440萬個職場新工作與Big Data有關；另外，麥肯錫預估，到了2018年，光是美國就需要至少30萬個懂得Big Data的人才，屆時市場至少短缺14～19萬個具備深度分析資料的人才。

顯然地，如果說20世紀資訊產業的發展促使電腦取代大部分的藍領工作，21世紀的Big Data科技將大幅改變白領工作環境，許多服務業的工作機會將被新興科技所取代，這也造就世界各國對於Big Data人才的需求，可以肯定的是，未來Big Data要順利推廣到各個領域，最大的障礙就是人才。

到底要如何在型態多樣、量大且速度快的Big Data之下培育出相關人才，我認為應該掌握3個層面，第一是領域知識（Domain Knowledge），人們必須先了解到底產業與企業所面對的問題是什麼，才能善用Big Data；其次是技術面的角度，即電腦科學的知識；再者是善用數學和統計（Math and Statistics），例如Big Data領域的人才必須是數學與統計模型專家，才有能力把產業問題變成數據系統來解決，以及把真實世界轉換為虛擬世界，用模型程序處理之後，再回到真實世界。

一個頂尖的Big Data團隊必須有不同領域的專家，才能協同起來一起解決問題或創新商業模式，但是由於目前同時涵蓋這3方面知識的人少之又少，因此產業必須加速這類人才的培育。

Big Data正對所有產業帶來改變

談到Big Data，當然不免要提到分析3.0（Analytics 3.0）。從時間的角度來看分析這件事，它早就存在50年之久，如果從應用的角度來看，傳統企業解決問題時，也早就透過分析來解決問題，只是，不同於過往的分析，包含Big Data概念在內的分析，已經進化到3.0層次。

如果說50年前傳統企業的分析是為了解決流程問題，例如優化庫存、提高製造良率等，當時所採用的資訊科技分析屬於分析1.0階段，進入21世紀之後，網際網路興起，包括Google、Amazon、Facebook等，甚至是後起之秀的百度、阿里巴巴與騰訊，因為面對的是個人用戶，再加上商業運作過程中並沒有中間者，而是直接面對終端用戶，因此這些網路公司所要解決的商業問題迥異於傳統行業，IT系統必須解決大量分析問題，因此進入2.0階段。

如今，隨著數據資料愈來愈複雜，企業要解決的問題更加難以捉摸，此時此刻任何一家公司都希望其營運可以超脫傳統技術，在問題還沒發生之前，就先想到新的商業模式，這就已經進入分析3.0的階段。分析3.0的思維是：不管有沒有問題發生都把數據存起來，然後主導者可以在沒有任何問題發生時，利用數據創新商業模式，或是在有問題發生之後，從數據中找到解決的方法。（編按：Analytics 3.0 是美國學者Thomas Davenport 所提出的概念，透過這個概念，企業不但在運作上可善用巨量資訊，更可藉此產出更符合消費者需求的產品。）
舉例來說，美國通用（GE）公司提出的工業互聯網（Industrial Internet）計畫，透過投資10億美元打造整合物聯網、Big Data等技術的解決方案，希望在未來20年內為各種工業領域創造龐大的效益。例如，GE目標要為全球航空業減少1%的燃料使用，如此每年大約可減少300億美元的支出，又或者減少醫療產業1%的開銷，節省約630億美元。總體而言，GE的工業網路計畫預估將創造高達10～15兆美元GDP，其所創造的效益遠遠大於投資在一般消費用戶上的效益。

事實上，Big Data也是許多企業轉型的契機，同樣以GE為例，過去GE被視為製造業的巨人，大家都認為GE是一家工業領域的公司，但是2013年GE已經成功從設備提供商轉型為服務提供商。GE能夠成功轉型，靠的就是Big Data技術，只是不同於Google、Facebook分析的是消費者個人行為，GE將分析技術用於工業上，進而能為客戶提供創造更大效益的服務。

不僅工業，Big Data將對各個產業都帶來莫大的改變，其中包括製造業、零售業、金融業、健康醫療……等領域所受到的影響都非常大。以零售業為例，如果在零售業的供應鏈中使用Big Data，將會產生重大的效益與變革，在醫療健康、金融、運輸物流等領域亦然。因此Gartner在2012 Big Data Hype Cycle 2012的報告中，針對Big Data的相關技術，提出了許多細部的分項供外界參考。

臺灣應加速發展Big Data 迎向新未來

當然，不管是培育Big Data人才或是利用Big Data改變商業運作模式，都不能不提到Big Data的相關技術，而在眾多Big Data技術領域之中，最受矚目的技術之一就是Hadoop。簡單來說，Hadoop是一個資料的儲存系統與資料的操作系統，因為Hadoop為一可高度擴充的系統架構，因此成為發展Big Data最重要的技術之一。

Hadoop的前身是由Google在2003年前後提出的GFS（Google File System; Google檔案系統）和Map/Reduce（Map/Reduce是Google提出的一個軟體架構，用於大規模數據的並行運算），之後Yahoo積極投入發展並擴大推廣Hadoop，不過當時使用者仍多為網路公司，隨著支撐Hadoop平臺的生態系統之建立，網路公司之外的企業也開始使用Hadoop系統架構，甚至連英特爾也於2014年投資Cloudera 這家公司，以7.4 億美元取得18%的股權，創下英特爾投資數據中心相關技術，單一投資金額最高的紀錄。

事實上，Hadoop只是Big Data時代中的其中一個技術，與Big Data相關的技術還非常多，不計算開放軟體在內，目前全球至少有上百家的公司在發展與Big Data相關的技術，涵蓋的領域範圍多達數十個，可見Big Data是一個多麼大的龐然大物。

面對這樣一個複雜又龐大的新技術時代，許多企業都難以因應，在美國，一個具備Big Data相關技術的人才，年薪就要20萬美元，更何況每執行一個Big Data專案，要有很多的工程師，因此除了超大型網路公司，一般企業很難自己投入發展。

面對Big Data這個表現看起來簡單，但是骨子裡卻極為複雜的新技術，臺灣不管是企業界、研究機構或學術界都應該思考如何進入Big Data領域。有鑑於此，工研院雲端運算行動應用科技中心的「巨量中心策略與架構先進技術團隊」（SAAT），希望招攬對Big Data有熱忱的人才，大家一同近距離交流、碰撞、尋找臺灣各面對Big Data大時代的因應之道，並且希望可以培育出跨領域人才。

總體來說，Big Data不僅深入個人科技應用領域，各行各業對於Big Data的使用更加速推進，這使得Big Data的重要性更不可言喻，面對這樣一個大趨勢，臺灣必須加快腳步，迎上這股潮流，如此才有機會乘著Big Data的大浪潮，開展臺灣產業的新契機，為臺灣經濟發展，打下更穩固的實力。