『您的瀏覽器不支援JavaScript功能,若網頁功能無法正常使用時,請開啟瀏覽器JavaScript狀態』

跳到主要內容區塊

工業技術研究院

:::

工業技術與資訊月刊

387期2024年08月號

出版日期:2024/08/14

正方形 Icon 專欄 Column

ChatGPT翻轉產業新趨勢

口述/知識力科技執行長曲建仲 整理/陳怡如

知識力科技執行長曲建仲。
知識力科技執行長曲建仲。

人稱「曲博」的曲建仲,頂著臺大電機工程博士的頭銜,曾在美商德州儀器工作14年,擅長以白話文的方式,把科技變得平易近人。面對正夯的AI熱潮,曲建仲用一貫淺顯易懂的話語,剖析看似複雜的AI科技,並點出未來產業新趨勢。

一講到AI,很多人可能馬上想到《星際大戰》裡面的R2-D2或C-3PO,認為機器人有思想,可以跟你開玩笑,其實不是,AI是一種資料分析技術,讓電腦執行程式,一邊處理大量資料,一邊分類或分群。
AI有其他的名稱,譬如資料科學、資料探勘,如果你學統計,就會發現這些名詞好像很熟悉,其實在大學裡面,真正做AI的,除了電機系、資工系之外,最重要的是統計系,因為統計系本來就是在做數據分析。

AI兩階段:訓練模型、推論未來

AI有2個階段,第一階段是訓練(Training)或學習(Learning),第二階段是推論(Inference)或預測(Prediction)。在第一階段有3個步驟,就是把資料輸入電腦,找出規則,建立模型,這個模型(Model)就是指資料的規則。

找到模型之後,接著進入第二階段,推論或預測就是指利用找到的模型預測未來。比如蒐集過去30年的財經數據和台積電的股價,然後把這些資料輸入電腦,找出規則,建立模型,最後得到台積電股價和財經數據相關性的模型。

接著利用這個模型,來推論、預測台積電的股價。我可以在台積電開盤前,去搜集今天早上最新的財經數據,輸入模型就可以預測台積電的股價,也就是現在投資理財機器人在做的事。

這個訓練因為需要大量的數據運算,所以需要AI伺服器,這也是為什麼過去一年多,AI伺服器相關股票大漲的原因。訓練一定要有雲端伺服器,那推論呢?你們認為是訓練比較花時間,還是推論比較花時間?答案是訓練。

就像學英文,你花了10年時間,把英文字母和聲音輸入大腦,找出規則,建立模型,這叫訓練;但你看到外國人要講英文的時候,外國人問你什麼你就回什麼,只要10秒鐘,這叫推論。所以訓練非常花時間,但推論只要一瞬間。

所以訓練一定要雲端伺服器,推論也可以用雲端伺服器,比如用過ChatGPT的人就知道,你把資料丟到雲端,推論完再丟回來,大概要10秒鐘。有些人覺得這樣太慢了,解決方法就是把推論運算從雲端搬到終端裝置,也就是我們的手機和筆電,英特爾的執行長把這稱為「AI PC」。

但問題是現在的CPU跑不動推論運算,所以就在CPU裡面加裝一個AI加速器,業界習慣稱為「NPU」,也就是「神經處理器」。大家不要被這個字眼誤導了,神經處理器其實和人類大腦的神經沒有直接的關係,NPU是一種特定應用積體電路,專門針對類神經網路推論的數學運算,而製造的加速器,這是未來的趨勢。

生成式AI顛覆世界

AI分兩種,第一種是決策式AI,就是輸入資料,找出規則,建立模型後,利用這個模型做決策,比如前面提到用投資理財機器人判斷台積電股票會漲會跌,或自駕車開到路口要往左轉或右轉。

第二種是生成式AI,就是把資料輸入電腦,找出規則,建立模型後,利用這個模型來產生新的內容,這叫生成。例如用編劇寫過的劇本建立模型,產生新的劇本;也可以用畫家的畫建立模型,產生新的畫。去年好萊塢大罷工,就是因為好萊塢的編劇從沒想過,你拿我的劇本去訓練模型,直接產生新劇本,最後把我給取代了。

電腦為什麼這麼難理解人的意思,請看以下這個句子:He saw a woman in the garden with a telescope,以前電腦翻譯都翻得不好,就是把英文翻成中文:「他用望遠鏡在花園看女生。」在花園裡的人是男生還是女生?拿望遠鏡的人是男生還是女生?

但其實這一句話是:男生拿望遠鏡看風景時,看到有一位女生在花園裡。人類看到英文,大腦就會浮現景象,應該是男生拿望遠鏡看女生,女生在花園裡賞花,因為人類會根據我們的人生經驗,會拿望遠鏡偷窺的,通常是男生;會在花園裡賞花的,通常是女生。

所以電腦翻譯或聊天機器人跟你對話的時候,用字要精準的方法很簡單,電腦不是只知道要怎麼回答你而已,他要知道這個事件發生的機率。比如男生拿望遠鏡偷窺的機率,女生拿望遠鏡偷窺的機率;男生在花園賞花的機率,女生的花園賞花的機率,當你去拼湊中文字的時候,利用電腦去算機率,結果發現男生拿望遠鏡的機率高,女生賞花的機率高,這樣翻譯出來的句子就會變成,男生拿望遠鏡看女生在花園裡賞花,就跟我們一般人想的一樣。

AI實際上就是一個算機率的模型,這個模型稱為「人工神經網路」(ANN),或是稱為「類神經網路」。ChatGPT有1,750億個參數,或稱「權重」(Weight),就是代表ChatGPT計算文字排列組合機率的神經網路有1,750億個。而訓練這個類神經網路的方法,就是把人類講過的話,輸入類神經網路,然後計算它輸出正確句子的機率。

GAI為何一本正經胡說八道

那什麼是GPT?也就是Generative Pre-trained Transformer,生成型預訓練變換模型。Transformer這個字很重要,因為這一年多來,所有的聊天機器人、生成式AI,用的模型都是Transformer,這是由Google Brain團隊在2017年開發出來的。

Transformer的做法是,首先用大規模沒有標注的語料數據去預訓練模型,這個動作需要大量的運算資源,像ChatGPT的語料訓練,需要超過1萬個處理器跑1個月,成本大概是3,000萬美金,所以大部分的人沒有辦法負擔。預訓練完之後,再用少量標注的資料去微調,這個微調不太需要運算力,但是比較需要記憶體。最後才來做推論,也就是特定領域的模型。

ChatGPT利用高達45 TB沒有標注的資料去做預訓練,然後再讓使用者微調,但我要提醒的是,其實預訓練完它的基底就定了,所以訓練出來的模型基本上不會很精準,微調也只能調裡面一部分的參數而已,這也是為什麼ChatGPT會一本正經胡說八道的原因。

現在我和朋友創業,幫企業導入AI,一開始也是拿人家預訓練好的模型來用,結果發現不行,因為企業大腦要的是精確度,不可以胡說八道。後來我們就幫企業整理資料,再幫企業做預訓練,產出的參數就比較精準,這時再用少量的參數去微調,用這樣的方式訓練出來的企業大腦,精確度就比較高了。

下一波AI觀察重點:Open GIR

AI下一步的觀察重點,就是資訊檢索(Information Retrieval;IR),也就是輸入關鍵字,讓搜尋引擎搜尋,這是我們從1996年到現在,用搜尋引擎做的事,搜尋完之後,使用者要一個一個點進去看,判斷哪個資料是我要的。

但科學家現在在做的是生成式資訊檢索(Generative Information Retrieval;GIR),有兩個方法,第一個是封閉型生成式資訊檢索(Close GIR),就是只依靠大型語言模型為單一知識來源,比如用ChatGPT取代Google,但它沒有辦法解決一本正經胡說八道的問題,在AI領域的專有名詞叫「幻覺」。

解決的方法,就是第二個開放型生成式資訊線索(Open GIR),也就是利用大型語言模型外加搜尋引擎,也稱為檢索增強生成(RAG)。最簡單的例子,就像《鋼鐵人》裡的智慧助理賈維斯,就是一個生成式資訊檢索,當你問他問題,他會去資料庫搜尋,再把資料重新排列組合,最後把答案直接告訴你,而不是你要一個一個點進去看。但現在這種方式還是會一本正經胡說八道,這個問題目前還沒有解決,所以觀察的指標是,未來2、3年,搜尋引擎是否慢慢轉成Open GIR,而且不會胡說八道。

我們現在也幫企業做一個APP,讓企業員工透過語音或者文字,把大腦中的知識輸入電腦,找出規則,建立模型,訓練所謂的企業大腦,也就是賈維斯。如此一來,企業的賈維斯就會一直增加新的知識,慢慢累積起來,未來當資深員工離職,對企業就沒有影響。

大家可能會好奇,用Open AI不能做到嗎?答案是不能。原因很簡單,如果台積電要做一個賈維斯,它用Open AI或微軟的語言模型,就必須把台積電所有資料上傳到微軟的雲端,但私人企業不可能把機密資料放在公有雲上。

台積電有能力養很多工程師,自己開發賈維斯,但一般企業可能沒辦法,所以未來一定有一個需求,也就是企業請外部公司協助建立賈維斯,這正是前科技部長陳良基提出的「AI Foundry」模式,在未來一定會發生。

科技發展到最後,很多人尤其是文法商背景的人,都擔心會被淘汰,但我認為未來的世界,會被淘汰的人是不會用AI幫你工作的人,文法商的背景知識仍然重要,因為要預訓練、整理那些資料,但如果你只會背法條,而不會用AI協助你整理資料,就會被淘汰。所以各位要培養自己對AI的熟悉度,未來在職場,對科技沒有「FU」的人,很難有競爭力。

下載全文PDF Icon下載全文PDF