工業技術研究院

我們將愈來愈多重要決策交由電腦執行，卻沒人確切明白最先進運算法的機制，這可能引發嚴重問題。

去年，一輛奇特的自駕車出現在紐澤西州蒙茅斯縣幾條人車稀少的路上。這輛由晶片製造商輝達（Nvidia）研究團隊開發的實驗車，雖然外型和普通自駕車沒兩樣，但不同於Google、特斯拉、通用已發表的車款，它具備更傑出的人工智慧能力。這輛車沒接受任何來自工程師或程式設計師的指令，完全藉由觀察人類開車，自行發展出一套演算法，學會駕駛。

自學駕駛車固然驚人，卻也不免有點令人不安，畢竟我們對汽車的決策機制並不全盤清楚。人造神經元組成的龐大網路，從車上各組感測器取得資訊加以處理後，再將指令下到方向盤、煞車和其他系統，雖然就目前的成果看來，與人類駕駛行為相差無幾，但若有一天車子的舉止變得難以捉摸怎麼辦？如果它自己開去撞樹，或綠燈亮了還不走呢？以現況來看，要找出癥結點可能不太容易，這套系統複雜的程度，連開發系統的工程師本人也難以斷定系統做出任何動作的單一原因何在，何況問車子也沒用──能解釋自己行為理由的系統，目前還不清楚該怎麼設計。

輝達自駕車不可解的思考方式，指出人工智慧一個迫在眉睫的問題。這輛車用的基本技術是被稱為深度學習的人工智慧，近年來已證明深度學習在解決問題上非常有力，且廣泛應用於影像註解、語音辨識、語言翻譯等，現在有人希望同樣的技術能用於無數足以改變產業的應用，例如：診斷致命疾病，或為數百萬美元的買賣下決定。

不過，除非有辦法使深度學習這類技術讓研發人員更容易理解，對使用者更充分說明，否則這些技術應用將不會實現，或說不該實現，因為我們很難預料系統何時會出錯，也無法避免出錯，這正是輝達自駕車仍在試驗中的原因之一。

目前數學模型已被用來協助分辨哪些人能獲得假釋、貸款或聘任，只要拿到這些數學模型，就有可能明白程式的推論邏輯，但銀行、軍方和雇主正轉而尋求其他更複雜的機器學習技術，其中最常見的是完全以不同方式編寫電腦程式的深度學習，這可能會讓整個自動決策機制更難摸透。研究機器學習應用的麻省理工學院教授賈科拉（Tommi Jaakkola）直言：「這已是你我實際會面臨的問題，未來還會更加息息相關，無論是投資、醫療或軍事上的決定，任誰都不會想要全交給一套『黑箱』模型吧！」

目前已有人提出，要求人工智慧系統就推論過程作出說明，應該是基本的法律權利，歐盟可能從 2018 年夏天起，規定企業必須有能力向使用者解釋人工智慧如何作出決定，這要求可能太高，即使是利用深度學習技術投放廣告或推薦歌曲的應用程式和網站，這種表面看來相對簡單的系統也辦不到，提供這些服務的電腦，已經以我們想不透的方式自行編寫程式，即使當初開發出這些應用程式的工程師也無法對程式的行為提出充分解釋。

這引發了以往想像不到的問題，隨著科技進步，我們恐怕己快要進入要用人工智慧就只能憑信心放手一博的時代，人類當然同樣無法解釋自己所有的思考過程，但我們卻有辦法憑直覺信任、評估他人，思維和決策過程迥異於人類的機器，是否也能做到這一點？我們以往從未打造過發明人自己都不了解內部運作方式的機器，人類是否能跟這些難測費解的智慧機器溝通相處呢？為了找出這些問題的答案，我展開對尖端人工智慧演算法研究的調查，走訪了Google、蘋果等單位，並專訪一位當今非常偉大的哲學家。

機器人醫師

2015年，紐約西奈山醫院的一個研究小組靈機一動，在院內龐大的病歷資料庫中應用深度學習。這個資料庫存有病患的檢查結果、就診紀錄等數百個變數的數值，研究人員用資料庫中70萬人的病歷資料訓練這支深度學習程式，再用新病歷測試系統預測疾病的準確度，獲得驚人成果，這支名為「深度患者（Deep Patient）」的程式從醫院資料庫中，發現某些隱而未見的模式，似乎能看出會發展成肝癌在內許多不同疾病的趨勢，西奈山研究小組主持人達德利（Joel Dudley）表示，雖然已有很多「蠻好」的方法能根據病歷預測疾病，但比起來「深度患者更加好得多。」

儘管如此，「深度患者」也有點教人費解，這支程式似乎在預測思覺失調症這類的精神疾病上準確得出奇，但由於思覺失調症在臨床上是出了名的難預測，因此達德利很好奇程式怎麼辦到的？他至今仍毫無頭緒，這個新工具沒有透露任何線索。「深度患者」這樣的系統若能實際幫上醫生的忙，最好是能說明預測的理由，讓醫生對程式的準確度產生信心，並足以用來證明某名病患的處方確實需要換藥等等。達德利說：「我們有能力建立出這些模型，卻不清楚他們的運作方式。」

人工智慧以往並非如此，而對人工智慧應該要易懂或可解釋到什麼程度，一開始就有兩派不同主張。許多人認為，最合理的作法是打造遵循規則和邏輯推論的機器，讓任何想要檢查程式碼的人，能透過透明的內部運作過程觀察；另一派則認為，若讓機器能從生物學汲取靈感，透過觀察和體驗學習，更有可能產生智慧，也就是說，將徹底扭轉電腦程式編寫的方式，系統不再需要工程師一行一行編寫用來解決問題的指令，而是交由程式根據範例和預設目標，自行產生運算法。目前最強大的機器學習系統便是遵循後面這派的想法，「讓機器自行編寫程式」。

這種概念起初的實際應用很有限，到1960和1970年代幾乎仍少有機會上場發揮。後來隨著產業電腦化，龐大資料庫的出現，才再度引起關注。往後的人造神經網路以及其他更強大的機器學習技術，紛紛受到這種構想的啟發，1990年代的神經網路已經可以自動將手寫字數位化。

不過直到2010年代初，經過幾次巧妙的調整細修，極大或極「深」的神經網路才在自動感知上展現長足進步。深度學習引發人工智慧的爆炸，賦予電腦非凡的能力，例如：與真人不相上下的語音識別能力，這種能力太複雜，無法靠手動編寫程式，深度學習改變了電腦視力，大幅改良機器翻譯，並用於輔助醫藥、金融、製造及其他重大決策。

舉凡機器學習技術的運作，原本就比人工編寫的系統不透明，甚至連電腦科學家也摸不透。雖然這並不表示未來所有人工智慧技術都同樣難解，但就本質而言，深度學習是特別暗的「黑箱」。

深度神經網路的內部運作難以一眼看穿，一個神經網路中有成千上萬個錯綜複雜的模擬神經元，組成數十個甚至數百個相互連接的層級，神經網路的整體推理取決於神經元的共同行為。第一層中的每個神經元各自接收一個資訊（如：某個影像中每個像素的強度），這些輸入的資訊經過運算後，得出的每一個結果都成為一個新的資訊，再經由交錯複雜的連接網，輸入到下一層的神經元，如此層層運算，直到產生一個最終結果。此外，還有一道稱為反向傳播的程序，會調整個別神經元的計算，教導神經網路如何產出預期的結果。

藉由這種多層架構，深度網路能識別抽象程度不一的事物，例如，設計用來識別犬隻的系統中，低層能認出輪廓、顏色等簡單特徵，中層能認出狗毛、狗眼等複雜特徵，最高層則能完全認出一隻狗。大體而言，同樣方法可套用於其他種類的資訊，引導機器自己學會聽出口語中組成單詞的語音，辨別文章中組成句子的字母和單詞，或分解開車所需的方向盤動作。

有些巧妙的策略已經能用來一窺堂奧，進而詳細解釋深度網路系統的內部情況。2015年，Google研究人員將一個原本用來在照片中找出物件的深度學習影像識別演算法，修改成用來生成或修改物件，藉由成功讓演算法反向操作，找出程式究竟是利用哪些特徵認出照片中的鳥類或建築物。這項計畫取名「深夢（Deep Dream）」，深夢生成的圖像中，雲和植物成了奇形怪狀的外星動物，森林和山脈上長出奇幻的樓塔，這些圖像證明深度學習並非完全高深莫測，且可看出運算法盯上的是鳥喙或羽毛等明顯的外表特徵，不過，這些圖像也證實深度學習與人類感知截然不同，反而能從我們知道卻忽略的事物中找出條理，Google研究人員注意到，用這個演算法生成啞鈴的影像，圖片中同時也有握著啞鈴的人類手臂，原來機器把手臂看成了啞鈴的一部分。

借鑑腦神經科學和認知科學，促成了這個領域更進一步的發展，懷俄明大學助理教授克倫（Jeff Clune）領導的團隊，採用人工智慧版的光學錯覺來測試深度神經網路。2015年，克倫的團隊證實藉由操弄深度神經網路的低層尋找模式，可以利用某種影像讓系統誤以為察覺到不存在的事物，克倫的同事尤辛斯基（Jason Yosinski）甚至開發了一個類似大腦探針的工具，能瞄準網路上任何一個神經元，找出這個神經元對哪些圖片的感應強度最大，結果全是印象派風格的紅鶴或校車之類的抽象圖片，突顯機器感知能力本質上的神秘。

我們需要更加了解人工智慧的思維，偏偏目前沒有簡單方法可以做到。在高層模式的識別以及複雜的決策上，深度神經網路中各項計算的交互作用才是關鍵，但這些算式宛如一灘數學函數和變量形成的泥沼。賈科拉解釋：「若是非常小的神經網路，還有可能摸得清；要是非常大，大到裡頭好幾百層，每一層裡面都有成千上萬個單位，要搞懂就變得不太可能。」

賈科拉的研究室隔壁是致力將機器學習應用於醫學的巴茲萊（Regina Barzilay），幾年前，這位麻省理工學院教授被診斷出患有乳腺癌，當時她43歲，診斷結果本身讓她震驚外，對於最先進的統計學方法和機器學習技術，居然沒有用在輔助腫瘤學研究或治療指引上，也令她大失所望。巴茲萊表示，人工智慧具有掀起醫學革命的無窮潛力，但要發揮這樣的潛力，應用範圍必須不侷限於病歷，她希望使用更多目前尚未充分利用的原始資料，包括「造影、病理等資料」。

去年癌症治療結束後，巴茲萊帶領學生與麻省總醫院醫生展開合作，共同開發能根據研究人員想要研究的特定臨床特徵，就病理學報告找出符合條件患者的系統。不過，巴茲萊很明白這套系統需要對篩選的理由作出解釋，因此，巴茲萊、賈科拉和一名學生共同在這個過程中加入一個步驟，讓系統在發現一種模式後，摘錄並標出足以代表這種模式的文字段落，另一種巴茲萊和學生開發中的深度學習演算法，是要在乳房X光片中發現乳腺癌早期症狀，同時有能力或多或少說明理由，巴茲萊說：「人類非得建立起和機器合作的迴路不可。」

殺戮機器

美國軍方正針對將機器學習用於駕駛車輛和航空器，識別目標，輔助過濾龐大情資的多項計畫，持續投入數十億美元的預算。比起任何地方，甚至比起醫藥業，軍方對不明不白的運算法都更加無法接受，因此美國國防部已將可解釋性設定為關鍵門檻。

美國國防部高等研究計劃署（DARPA）計畫經理甘寧（David Gunning）正負責一項名為「可解釋的人工智慧（Explainable Artificial Intelligence）」的計畫。這位高等研究計劃署的白髮老將，曾主持過後來催生出 Siri 的計畫。根據甘寧的說法，自動化已經向無數軍事領域蔓延：情報分析師正測試如何利用機器學習從龐大的監控數據中辨識模式，許多道路自駕車和自駕飛行器也正進行開發測試，但恐怕士兵對不說原委的機器人戰車無法放心，分析師也不會願意對不明究理的情報採取行動，甘寧說：「這些機器學習系統原本就常常錯拉警報，所以情報分析師確實特別需要了解系統作出各種建議的理由。」

今年3月，高等研究計劃署選出13個學術和產業界計畫給予甘寧計劃經費，華盛頓大學教授格斯特林（Carlos Guestrin）主持的研究，可作為其中一些計畫的基礎，格斯特林的團隊所開發的技術，能讓機器學習系統為自己的產出提供解釋。基本上，套用這種方法的電腦會自動從一組資料中挑幾個實例，在簡短說明中引為例證，例如，用來從電子郵件中過濾出寄件者是恐怖分子的系統，訓練及決策過程使用的郵件可能高達數百萬封，但用華盛頓大學團隊的方法，就能標示出郵件中某些特定關鍵字，格斯特林團隊也設計了其他方法，讓影像識別系統標示出圖像中最具意義的部分，藉以讓我們一窺系統的推論邏輯。

格斯特林和巴茲萊設計的這類方法，缺點之一是解釋過於簡化，過程中可能遺漏了一些重要訊息。格斯特林坦言：「人工智慧能與人對話並自行解釋的夢想，還沒完全實現，距離真正可解釋的人工智慧，仍有很長的路要走。」

不清楚人工智慧的推理，不只會在像癌症診斷或軍事演習這樣的高風險情況下造成問題，人工智慧技術若要在日常生活用途更多更普及，能夠了解其中的推理機制勢必是其中關鍵。蘋果Siri技術長葛魯伯（Tom Gruber）說，為了使Siri成為一個更聰明更有力的虛擬助手，可解釋性是研發團隊的重要考量，儘管葛魯伯拒絕討論Siri未來的具體計劃，但不難想像如果Siri推薦一家餐廳，使用者會想知道理由何在。兼任蘋果人工智慧研究總監的卡內基梅隆大學副教授薩拉庫丁諾夫（Ruslan Salakhutdinov）認為，可解釋性是人類與智慧機器關係持續進展的核心，「可解釋性會帶來信任」。

深入

人類行為許多面向都難以解釋清楚，或許人工智慧也同樣無法對自己的行為一一解釋。懷俄明大學助理教授克倫（Clune）說：「即使有人可以（就自己的行為）提出看似合理的解釋，也不一定全面。人工智慧可能也一樣，理性只能解釋其中一部分，或可視為智慧的本質，其他部分則純粹出於本能，出於潛意識，或不明究理。」

若真如此，那麼可能到了某個階段，我們勢必得在全然信任人工智慧的判斷，跟放棄依靠人工智慧之間抉擇。另外，人工智慧的判斷必須具備社會化的智慧，對預期行為的約束力是社會的基礎，我們設計的人工智慧系統也需要遵守並符合社會規範。因此未來若要打造機器人戰車等自動化殺戮機器，確保他們作出的決定與我們的道德判斷一致，就非常重要。

為了探討這些形而上的概念，我專程前往塔夫茨大學（Tufts University）採訪著名哲學家單奈特（Daniel Dennett），單奈特同時也是研究意識和心智的認知科學家，他的新書《Bacteria to Bach and Back（從細菌到巴哈和後背）》鉅細靡遺地羅列關於意識的種種知識，他在書中一章提到，智慧進化的過程中，原本就會建立一套系統，能夠執行創造者不曉得如何執行的任務。塔夫茨大學的校園悠閒宜人，我們在單奈特凌亂的研究室中進行採訪，他強調：「問題在於我們該做出哪些周邊的準備，才能明智地過渡到新的智慧系統？我們應該為人工智慧及我們自己立下哪些標準？」

單奈特也就可解釋性提出警告：「我認為，如果要使用並依賴人工智慧，就要用盡方法，搞清楚他們作出結論的方法和理由。」完美的答案或許並不存在，因此不管機器看起來有多聰明，對待人工智慧都應該跟對待人類一樣，也就是，「對方要是解釋不出自己在做什麼，就別信任他。」

奈特是《麻省理工科技評論》的人工智慧和機器人技術資深編輯。