AI的可解釋性指什么?人工智能怎樣做決策?

如今，人工智能已經(jīng)可以做決定，但我們仍不知道這個決定是如何做出的。人們需要了解人工智能如何得出某個結論背后的原因，而不是僅僅接受一個在沒有上下文或解釋的情況下輸出的結果。

近日，微軟前全球執(zhí)行副總裁沈向洋在接到清華大學續(xù)聘書時，通過直播方式分享了對AI可解釋性與AI偏見相關問題的研究與看法。他提到，AI就像一個黑匣子，能自己做出決定，但是人們并不清楚其中緣由。所以，我們目前需要做的就是將其打開，了解AI想表達的意思和可能會做出的決定。這就需要設計和構建“負責任”的AI。

那么，AI的可解釋性指什么?是什么導致人們無法對AI的行為進行解釋?人工智能如何做決策?研究人員可以怎樣做讓這些決策更加透明?

尚無法完整解釋決策過程

有人說，不確定性是AI的特征之一。

所有重大技術突破的出現(xiàn)，往往都伴隨著相同的問題：如何確保技術的可靠。例如，在電子時代制造和使用電子產(chǎn)品時，人們可以通過技術資料了解所有的元件構成，從而得以信賴它們。又如，許多技術和生活場景中有檢視清單的存在，它能指導我們如何合理完成一件任務。然而，到了人工智能時代，情況則不然。

“如今，AI已經(jīng)可以做決定，這是AI過程中非常重要的一步，但我們仍缺乏對AI所做決定的認知。”沈向洋告訴科技日報記者，從某種程度上來講，你建立一個模型、算法，輸入數(shù)據(jù)，之后人工智能會產(chǎn)生一個結果。一切看上去順理成章，但是有一個問題——我們尚不能完整解釋為何人工智能會得出這樣而不是那樣的結論。

沈向洋進一步解釋，我們將這種只能看到數(shù)據(jù)導入和輸出，而無法看到和解讀其工作原理的模型比作‘黑箱’，而將可以知曉內部工作原理的模型稱為‘白箱’。人們需要了解人工智能如何得出某個結論背后的原因，而不是僅僅接受一個在沒有上下文或解釋的情況下輸出數(shù)據(jù)和信息的結果。”沈向洋指出。

顯然，我們不能將明天交付給一個個無可解釋的“黑箱”。“我們在學習的時候，經(jīng)常說不僅要知其然，還要知其所以然。”沈向洋表示，人工智能的可解釋性，指的是要“知其所以然”，要了解背后的原因和邏輯，是能回答“為什么”。

“以決策場景下的模型可解釋性為例，端到端的深度學習，一個廣為詬病的問題是其不透明性或不可解釋性，比如說識別一張照片中的物體，機器做出的判斷是基于哪些有效特征，我們無從得知。”阿里安全圖靈實驗室負責人、資深專家奧創(chuàng)認為，人工智能系統(tǒng)必須具有可解釋性，以便人類可以理解系統(tǒng)的行為。

研究發(fā)現(xiàn)，一個用來判斷圖片中的動物是狼還是哈士奇的AI模型，在六幅圖片中只判斷錯了一幅，看起來準確率尚可接受，可其背后有極大的隱患。因為如果從局部維度觀察，發(fā)現(xiàn)它識別出狼的標準，根本不是狼的樣子，而是以圖片背景中的雪為標準。如果一頭狼走入沒有積雪的家中，卻因此被識別為哈士奇，那就可怕了。顯然，我們無法信任這樣的模型，這也說明了模型可解釋性的重要意義。

目前的解釋說明或損害用戶信任

如今，AI的規(guī)范應用正在成為一個社會問題，去年，歐盟出臺《人工智能道德準則》，明確提出AI發(fā)展方向應該是“可信賴的”，包含安全、隱私和透明等方面。

“無人駕駛、人臉識別、智慧城市、智能家居等各類場景中都在運用AI，但一旦后端控制系統(tǒng)被攻擊，出現(xiàn)規(guī)?；⑦B鎖式的崩盤，AI失控的后果不堪設想。”奧創(chuàng)指出。

比如，無人駕駛車要通過識別交通信號標志來決定通行還是停止，而攻擊者可以生成一個欺騙通行標志的對抗樣本，在行人眼里是禁止通行，但AI系統(tǒng)會識別成允許通行，這足以造成災難性的后果。再如，自2016年以來，很多地方都推出用于預測未來罪犯的軟件，法庭在審判時已經(jīng)開始用AI進行輔助判斷。然而，越是如此，人們越會擔心算法是否存在偏見。

沈向洋指出：“‘黑箱’帶來的挑戰(zhàn)在于，即便其做出的預測是準確的，我們卻仍不知何時可以信賴它，或者從中學到什么。更進一步說，即便模型是準確的，在做高風險決策時，也需要知道究竟是什么原因使然。”

人工智能怎樣做決策?“目前有種方法可提供解釋說明，包括人工智能系統(tǒng)如何運行、怎樣與數(shù)據(jù)進行交互的背景信息，但其最有可能損害用戶以及受這些系統(tǒng)影響的人員的信任。通過這些信息，人們將會更容易識別和意識到潛在的偏見、錯誤和意想不到的結果。僅僅發(fā)布人工智能系統(tǒng)的算法很難實現(xiàn)有意義的透明度。最新(通常是最有發(fā)展前途的)人工智能技術，例如深度神經(jīng)網(wǎng)絡，通常沒有任何算法輸出可以幫助人們了解系統(tǒng)所發(fā)現(xiàn)的細微模式。”沈向洋指出。

鑒于此，人們需要一個更全面的方法，使人工智能系統(tǒng)設計人員能夠盡可能完整、清晰描述系統(tǒng)的關鍵組成要件。據(jù)了解，微軟也在與人工智能合作組織及其他組織合作開發(fā)最佳實踐規(guī)范，以實現(xiàn)人工智能系統(tǒng)有意義的透明度。包括通過實踐規(guī)范以及各種其他更易于理解的方法、算法或模型，來替代那些過于復雜且難以解釋的方法。

準確率和可解釋性不該是對矛盾

要理解機器學習模型內部如何運行，開發(fā)出新技術，來提供更有意義的透明度，需要對這一領域開展進一步研究。

來自微軟的里奇·卡魯阿納等學者提出“提煉與比較”(Distill-and-Compare)的方法。據(jù)沈向洋介紹，面對許多已被廣泛應用的專有或不透明的模型，這種方法能夠在不探測“黑箱”API(應用程序接口)或預先定義其特性的情況下進行核驗。通過將“黑箱”視作老師，訓練出透明的學生模型，來模擬原本的“黑箱”，并將它與真實情況進行對比。

而微軟研究院有學者提出“‘黑箱’無關”的思路，當醫(yī)生無法采納“黑箱”對病人感染流感率的預測結果時，一種解決方法是利用特征歸屬的辦法——根據(jù)不同特征之于模型的重要性，為其賦予權重。其中，解釋過程認為“打噴嚏”“頭疼”是指向流感的證據(jù);而沒感到疲憊，則是否認流感的證據(jù)。這里權重帶有正向或反向的方向性，同時其權重大小也各不相同，“頭疼”的權重要明顯高于“打噴嚏”。對于醫(yī)生來說，這樣的解釋要比簡單給出一個“患流感概率90%”有用得多。

沈向洋表示，隨著神經(jīng)網(wǎng)絡模型越來越復雜，在準確性越來越高的同時，研究人員遇到一個問題，即不得不在模型的準確性和可解釋性之間做出妥協(xié)，因為兩者常難以兼顧。尤其隨著在深度學習模型上進一步推進，經(jīng)常會牽扯到幾百萬個乃至數(shù)十億的參數(shù)。結果是，有時候研究人員做出一個行之有效的模型，卻并不能完全理解其中的緣由。如用一個高準確率的模型來預測病人感染流感的幾率，卻只能給醫(yī)生呈現(xiàn)一個數(shù)字，或是“陽性”的診斷，而無具體佐證，那么，即便得到的結論是正確的，在醫(yī)生看來也用處不大——因為醫(yī)生并不知其結論是如何被推導出的。

因此，要打造負責任的人工智能，確保其決策透明，即“我們能夠理解并看到人工智能所做的決定”，尤其需要開發(fā)可翻譯、可解釋的人工智能模型，以了解人工智能是如何做出這些決策的。特別是在事關重大的關鍵領域中，需要對模型全面理解，以此避免出現(xiàn)錯誤。高準確率和高可解釋性的人工智能將有助真正將技術進行廣泛、負責任、有效的應用，造福人類生活。(記者 華 凌)

關鍵詞： AI 決策