演算法黑箱案例
A. 演算法管理：組織管理轉型、企業高效決策的制勝利器
以下文章來源於蜜蜂學堂
「小李，你本周的表現非常出色。您的銷售額增長了70％，從而幫助你的團隊在排行榜中取得第一的好成績。但是你仍然有很多開放的機會，所以請繼續努力哦！」
接收績效反饋有助於員工成長，它鼓勵學習並獎勵良好的表現。 但是，如果是演算法提供反饋而不是人，該怎麼辦？這就是組織中演算法管理的基礎。
什麼是演算法管理？
演算法管理是通過演算法對員工進行戰略跟蹤、評估和管理。組織通過演算法接管了過去由管理者執行的任務。
這種管理創新在零工經濟中尤為常見。 例如，Uber，Deliveroo和UpWork之類的平台使用演算法來管理和密切監視其全球員工。
演算法給員工分配任務並評估其績效。他們還提供反饋和有關如何提高績效的建議。
但是，使用演算法管理員工慢慢地不再局限於零工經濟。傳統組織越來越發現提高效率和以數據為依據的決策的好處。
大數據和自動化已成為大多數業務部門變革的首要方向，而人力資源部門也將其重點放在了數據驅動的決策上。
人力資源中使用的演算法可以提高效率，甚至勝過人類的決策制定。 實際上，根據普華永道的研究報告，跨國公司中已有40％的人力資源部門使用基於AI的工具 （相關報告可以私聊我獲取）。
例如，演算法的使用在員工選拔中變得非常普遍，該演算法被用於簡歷篩選，使求職者與職位匹配之中。
他們正在通過自然語言處理來分析視頻面試中的面部表情或申請人的書面申請中所體現的動機。此外，演算法還向員工和經理提供關於績效方面的反饋。
隨著演算法在組織決策中的影響力越來越大，這樣就容易導致一個問題：利用演算法的決策是否具備相應的客觀性和准確性？
像其它輔助決策的技術一樣，演算法決策也是一把雙刃劍，它會帶來一系列的挑戰。
• 求職者會如何看待一家通過機器自動完成部分面試和人員選拔過程的公司？
• 員工對自動績效反饋有何反應（反饋不再來源於直接上級）？員工在多大程度上會接受這類反饋？
• 管理者在多大程度上會依賴演算法做出的決策？
事實是：實施演算法會改變組織和人際關系的動態。 因此，必須仔細研究演算法管理的優勢和挑戰，並搞清楚組織實現演算法管理的最佳做法。
我們將在下面詳細討論在您的組織中實施演算法管理的建議。
01
組織實施演算法管理的三大優勢
1.啟動組織績效
提高生產率和工作效率是演算法管理的最重要優勢之一。例如，一個小時內，比較演算法與一個招聘人員可以掃描的簡歷數？
結果是：演算法基本能把人類招聘者按在地上摩擦，兩者之間的差異巨大，這樣可以幫助公司在人才競爭中保持領先地位。
將手動的任務轉變為自動化，將為管理人員騰出更多的時間和資源，以專注於有更高戰略影響力的任務，從而幫助提高組織績效。 未能將分析和人工智慧集成到其戰略事務中的公司將面臨落後他人的風險。
歐萊雅集團，是一間總部位於法國巴黎的皮膚護理、化妝品公司，在全球擁有80000名員工，每個職位空缺平均會收到130份職位申請。
歐萊雅每年開放約15000個職位，需要處理近百萬份申請，因此其開始嘗試利用AI技術幫助招聘人員擺脫令人頭痛的簡歷篩選工作。
Mya是一款聊天機器人，它能夠處理候選人提出的問題，從而在招聘早期幫助歐萊雅節約大量寶貴的時間。 此外，它還能夠檢查各項重要細節，例如求職者是否尚未找到工作，以及簽證的當前狀態等。
接下來，求職者需要面對Seedlink，這款AI軟體負責評估他們在開放式面試問題中給出的答案。 這款工具能夠找到在簡歷評審過程中被忽略的求職者。
該公司招聘人員表示，在一次從12000名候選人中選出80名實習生的過程中，該軟體幫助他們節約了200個小時的工作時間。AI技術幫助歐萊雅能夠更快地招聘10倍的員工，並增加25％的求職者面試機會。
2.改善管理決策和遠程管理
近年來，基於證據和數據驅動的決策已變得越來越普遍。演算法可以幫助處理管理者每天面對的日益復雜的問題。演算法系統的數據處理能力遠遠超出了人類的能力范圍。
他們可以考慮所有相關數據並排除不相關因素。這樣就可以進行客觀、公正、數據驅動的決策。而且，它可以減少決策過程中的偏見。
例如，認知偏見可能會導致零售商相信需要對其員工進行不穩定的安排。零售中不穩定的安排是指零售商通過工作計劃的變化來減少人工成本。
許多零售商認為這種類型的計劃是有效的，因為他們看到了直接的短期收益（例如削減工資），卻忽略了長期的負面影響（例如對客戶服務的影響）。
在這里，可以根據客戶流量和其他數據預測人員需求的演算法開始發揮作用。 研究表明，「將演算法與管理者的直覺相結合可以導致更好的人員配置決策」。
演算法對於遠程辦公也可能是有益的。勞動力將變得越來越分散，在某種程度上，遠程和混合辦公將成為常態。
這可能給員工帶來巨大的好處。但是，管理人員可能很難跟上員工的進度和績效。 績效監控演算法可能是成功進行遠程管理的重要工具。
3.接收個性化的見解和反饋
演算法管理不僅為管理人員帶來好處，而且為員工帶來好處。演算法可以提供個性化的績效反饋。
Deliveroo向其快遞員發送個性化的月度績效報告。 他們獲得有關其平均「接受訂單時間」，「到餐廳的路程時長」，「到客戶處的路程時間」以及演算法跟蹤的其他指標的信息。
演算法可以洞察員工的工作進度、待辦事項和開展的項目。它們還用於改善員工的福祉。 這種演算法分析員工的需求和目標，並推薦培訓和發展計劃。
演算法還可以跟蹤和評估對員工的福祉和動力最重要的因素，在此基礎上，他們可以就如何提高員工福利向管理人員提供建議。
02
組織運用演算法管理的三個最重要的挑戰
1. 關於演算法管理的倫理問題
除了演算法管理的好處之外，還有幾個重要的倫理問題。
演算法的主要目標是改進決策，使決策更加客觀公正。然而，情況可能恰恰相反，由於演算法可以消除或減少決策過程中的人工干預，因此，人們可能認為演算法是不公平的。
主要的關注點是演算法所依據的數據。在樣本數據上訓練演算法來預測事件並做出決策，因此，數據的質量是一個重要的因素。
例如，一個組織可以訓練一種關於歷史人才數據的演算法，在這些數據中，很少有女性擔任管理職位，然後，該演算法可能會做出預測：女性在公司管理崗位上取得成功的可能性較低。因此，女性可能被排除在組織的人才管理計劃之外。
演算法通常是在「黑箱」中操作，它們並不透明，而且演算法的工作精度通常也不清楚。這可能會對演算法的信任度提出挑戰，並為演算法的決策提出問責性問題。
美國一些州已經在研究演算法和人工智慧在招聘中的使用，以及如何確保它們的公平性和透明度。
紐約州正在立法，要求招聘技術供應商進行反偏見審計，並確保遵守就業歧視法。
伊利諾伊州頒布了 《人工智慧視頻面試法》 (AI Video Interview Act)，對使用人工智慧分析應聘者視頻面試的公司施加了限制。
利用演算法管理不是一個是或否的問題。通常，只有部分決策是自動化的。 因此，公平和責任問題取決於公司在多大程度上依賴演算法決策。
真正的問題是：演算法的作用是增強還是完全自動化？你是用演算法來給你提供建議，還是用它來代替人類決策，這都是有區別的。
2. 演算法管理挑戰管理者和人力資源的角色
演算法管理減少或取代了不同流程中的人工參與和交互。這對管理者和人力資源構成了挑戰。當個人和同理心的一面消失後，員工管理會發生怎樣的變化?
管理者和人力資源從業者都需要適應演算法管理帶來的新動態，他們需要新的技能和能力，為負責任地使用演算法做准備。
管理者和人力資源管理者也需要採用(潛在的)員工的觀點。例如，當候選人不相信演算法能看出自己有多獨特時，招聘中使用的演算法可能會出現問題。
那麼，管理者和人力資源部門如何面對演算法管理運用後，帶來的自動化程度的提高和人際交往的減少呢?
他們如何成功地創造數據驅動文化的變革呢?所有這些都是人力資源和管理人員必須找到答案的問題。
3.演算法管理對員工福利的風險
演算法管理也可能對員工的福祉構成風險。一些人將實時行為跟蹤、反饋和評估與泰勒主義的監視進行了比較，演算法管理可以被視為對員工的一種侵入式控制形式。
這似乎也與賦予員工更多自主權、靈活工作和時間表的趨勢相沖突。公司必須密切關注員工對引入演算法管理的反應。
一些員工可能認為這是對他們心理安全和自主的威脅，這樣導致的結果是，由於引入演算法管理，員工的幸福感可能會下降。
例如，一家國際連鎖酒店使用軟體工具來管理客房服務員。他們需要不斷更新下一個要打掃的房間，該公司還能跟蹤他們打掃一個房間需要多長時間。
然而，工作人員指出，該演算法沒有考慮到他們工作的細微差別，使工作變得更加困難。 他們變得無法安排自己的一天，工作也變得更吃力，因為演算法「指揮著」他們「在酒店各個樓層里拚命的跑來跑去」。
03
實施演算法管理的建議
好消息是：在減少演算法管理挑戰的同時，也有可能獲得演算法管理的好處。 以下策略可以幫助管理者負責任地在組織中實施演算法管理。
1. 戰略
首先，確定演算法管理的使用程度是至關重要的。Gig平台完全依賴演算法管理，但對於更傳統的公司來說，這可能不是正確的解決方案。
因此，這不是非此即彼的問題，而是在哪裡、在什麼程度上的問題。
公司可以找出成本高且相對標准化的流程，並從那裡開始。在那裡，你可以期待演算法管理能獲得最大的收益。
在任何情況下，將演算法集成到業務和決策過程中都需要一個明確的戰略：確定它們是增強還是自動化人類決策。
2. 變革管理
在實施演算法管理時，考慮員工的福祉也很重要。在組織中引入演算法是一個實質性的轉變，變革管理的視角可能會很有幫助，主動的變革管理是引入演算法的決定性因素。
你需要確保已經做好變革的准備。通過幫助你的員工和經理理解演算法所增加的價值，可以讓他們准備好迎接變革。
人們也可能對演算法管理的引入感到威脅。這可能是由於缺少關於演算法管理的廣泛且深入的交流。
同樣，員工可能會擔心機器正在取代他們，為了克服這一點，在變革過程的早期就把員工和管理者納入進來是很重要的。建立開放的溝通渠道有助於解決人們所關心的問題。
這包括主動溝通數據的用途以及誰對演算法決策負責。它可以防止員工或管理者感到自己被蒙在鼓裡。
溝通和變革管理應該與培訓齊頭並進。培訓可以讓人們輕松地處理與演算法的關系，並移交決策。
如果人們不了解演算法是如何工作的，他們可能不想使用它。培訓員工和管理人員使用演算法所需的技能和能力是至關重要的。
3.不斷評估
最後，公司需要採用一種持續評估的文化。跟蹤演算法的執行情況的必要性。只有當決策是准確的、高質量的，人們才會接受演算法帶來的附加值。
並不是每一種演算法都能提高效率，所以監控其質量是很重要的。 這一變化對員工的影響也需要跟蹤，組織可以為員工提供表達關切和提供反饋的機會，特別是那些由演算法管理的員工。這為組織調整和改進演算法管理提供了有價值的信息。
演算法管理的好處以及它如何幫助企業在競爭中保持領先地位是顯而易見的。
演算法不僅能提高效率，還能增強決策能力。不過，這不應該以犧牲員工福祉為代價。
自動化執行的任務(比如提供反饋)代表了一個巨大的變化，但我們對把這種變化轉變成積極和可持續的事情具有主動權，管理者和人力資源需要在創造變革准備方面發揮重要作用。
沒有一刀切的方法，每個組織都需要仔細評估演算法的引入給他們帶來的好處和挑戰。
本文提出的策略可以幫助指導組織完成這一轉變。演算法管理的前景是巨大的。然而，有必要始終關注組織所擁有的最有價值的資產： 我們的員工。
了解更多： 方雲數字化創新績效，數據智能驅動創新型增長
B. 可解釋AI，如何打開演算法的黑箱
隨著以機器學習為代表的新一代人工智慧技術不斷朝著更加先進、復雜、自主的方向發展，我們的經濟和 社會 發展都紛紛迎來了變革性的機遇。但與此同時，AI演算法的透明度、可解釋性問題也為公眾信任、公共安全等諸多領域帶來了前所未有的挑戰。
1月11日 14日，「騰訊 科技 向善創新周」在線上舉辦。「透明可解釋AI——打開黑箱的理念與實踐」專題論壇即聚焦於此。論壇發布了《可解釋AI發展報告2022》，隨後由專家學者（見文末）共同參與了圓桌討論。以下為整理文章：
可解釋AI的概念共識
姚新：
大家在討論AI演算法的透明性和可解釋性的時候，首先應該考慮三個W的問題——Who，What和Why的問題。
首先，到底是對誰講透明和可解釋？因為從科學研究來說，任何一個研究都必須透明，都必須可解釋，否則這個論文是發不出來的。所以我猜過去講透明性和可解釋性，可能不是對科學家來說的可解釋性或者透明性，因為對科學家的透明性和可解釋性，不一定對大眾透明和可解釋。第二是解釋什麼？解釋模型做出來的結果還是解釋這個模型的工作原理。第三，解釋總是有一個目的，目的是要追責還是理解這個模型的科學原理。
根據對這三個W不同的答案，會得出非常不一樣的透明性和可解釋性，相應的解決辦法可能也完全不一樣。不管怎樣，考慮透明性和可解釋性的時候，首先大家要有一個概念上的共識，使得我們知道我們是講同樣一件事情，而不是用了同樣一個名詞，大家在不同的抽象層次講不同的問題。
吳保元：
可解釋是可信AI的重要組成部分，是可信的前提條件之一，但是相比於魯棒性、公平性等可信特性，我覺得可解釋不是獨立存在的概念。就是姚老師剛才提到的，我們到底在解釋什麼？其他的特性都是有自己明確的數學定義，比如魯棒性、公平性等，但是可解釋性是沒有的，因為我們單獨提到它的時候，背後默認的更可能是對模型准確度的可解釋性。或許這也可以解釋為什麼當前的可解釋研究思路這么多，但是好像沒有一個明確的框架，我覺得最主要的原因是它的解釋對象不一樣，沒有辦法統一到一起。
基於這種理解，我個人有一點小的想法，不應該把它稱為可解釋性，把它稱為可解釋力或許更准確。可解釋性，大家可能誤認為它是一種獨立存在的性質；可解釋力是一種可解釋的能力，就像我們說的理解力、領導力等等，它是一種手段，一種行為，一種操作存在，需要跟別的綁在一起。我覺得以後提到它的時候，應該准確地描述它是針對什麼特性的可解釋力，而不是籠統地說可解釋性如何。
可解釋AI的價值何在？
朱菁：
人們對於人工智慧系統可解釋性、透明性的要求，大致有四個層次：
第一個針對的是直接用戶，用戶需要了解人工智慧產品、服務背後的原理是什麼，這是建立可信任AI的重要基礎。可解釋AI，實際上支撐了可信任AI。
第二個層次，對於政策和監管部門，他們希望通過解釋原理來了解人工智慧產品的公平性、可問責性，歸因的過程是我們進一步問責、追究責任的基礎。所以，可解釋AI也與負責任的AI、可問責的AI是聯系在一起的。
第三個層次就是技術工程與科學層次，我們希望了解為什麼某些演算法能夠成功，它成功背後的奧秘是什麼，它的應用范圍是什麼，它能否在更大的范圍內使用這樣一些演算法或者是一些技術。
第四個是公眾理解AI，如果 社會 大眾大多數關心的話，他也能夠在這方面了解相應的技術、系統大體的工作原理方式是什麼。
何鳳翔：
在現在的AI系統中，其實很多演算法背後運作機制是未知的，是不清楚的，這種未知帶來了未知的、難以管理的風險，包括安全性、魯棒性、隱私保護、公平性等等。
這些點關繫到了 社會 運轉中非常關鍵、人命關天的領域，比如醫療、自動駕駛。這會帶來很大的應用方面的困難，以及 社會 對AI的不信任。因為當AI演算法運作機制是未知的時候，它的風險機制、風險大小、風險尺度就是未知的，我們就難以去管理風險，進而去控制風險。
可解釋AI的挑戰何在？
姚新：
原來我一個學生跟我做了一點關於公平性的工作，跟其他的文獻發現的點非常一致，就是說模型的准確性和公平性之間是相互矛盾的。性能最好的模型從公平性的角度來說，按指標來測量不見得最好，你要把模型做得都是最公平，用指標來衡量的話，它的性能就會受到損失。實際上可解釋性非常類似現在有各版的可解釋性指標，但是要真正考慮這些指標的話，模型的性能總是會掉下來，要考慮在實際過程中怎麼來找一個折中的方案。
吳保元：
針對可解釋性本身的不可行、不可取，這也是值得我們思考的問題。比如說我們在研究犯罪率或者說疾病的傳播率、發病率等，如果我們就拿現成的統計數據，比如在不同種族、不同地域採集的數據，很有可能會得出來某些種族或者某些地域犯罪率很高，這是因為數據採集的時候就是這樣的。這樣一來，如果可解釋給出的類似結論被公開，可能會造成種族或者地域歧視。但實際上數據背後是我們在採集的時候沒有採集其他特性，比如說為什麼這個地域的傳播率很高呢？很有可能是政府投入不足，或者說其他的因素。
所以這也啟發我們可解釋性本身它的可信性是什麼，它的准確性，它的公平性，它是否忽略了某些特徵，或者誇大了某些特徵，它的魯棒性，是不是把樣本變化一點，它的可解釋性截然相反，這些需要我們進一步思考。
另外，我跟很多研究可解釋的專家聊過，他們的困惑在於現在的可解釋性方法是不可印證的，甚至是矛盾的，這就引出了可解釋性方法本身的可信度的問題。
何鳳翔：
在我看來，理解深度學習演算法的運作機制，大致有理論和實踐兩條路徑。在理論方面，當前的研究無法完全解釋理論上泛化性較差的深度模型為何能在多領域取得如此的成功。這種理論與實踐的矛盾，就像曾經物理學中的烏雲一樣，反映出來了人們對於機器學習理解的缺失，而這是現在在理論上提升演算法可解釋性的一個難點。
而在實驗角度上，很多實驗學科中的做法可以作為對於機器學習研究的啟發，比如說物理學、化學，以及剛才提到的醫療。比如說葯物研發流程中的合格檢驗，要做雙盲實驗；在物理學、化學的研究中，對控制變數實驗有嚴格要求。類似的機制是否能在AI研究中嚴格執行呢？我覺得這可能是另外一條路徑。在我看來，現有的很多對於AI演算法的解釋是啟發式的，而在關鍵領域中我們需要的是證據，這需要在理論和實驗兩方面做很多工作。
可解釋AI如何實現？
朱菁：
前面很多專家都指出對於解釋有不同的目標，不同的對象，不同的要求，所以實際上關於人工智慧的可解釋性問題可能是屬於多元性的，就是要允許有多種不同層次不同方式的解釋在這裡面起作用，針對不同的領域、不同的對象，使用不同解釋的方式。
當可解釋性有它的局限或者和其他的目標、要求，需要做出權衡取捨的時候，我們想也可以從多個層面來進行替代性的，或者說是補償性、補充性的策略。比方說針對監管部門，它對於可解釋性的要求，和面向公眾或者專家層面的，會有所不同，所以這個可以通過若干個層次，比如說監管部門的，行業的，市場的，以及傳播普及層面的，對於安全性、魯棒性要求更高一些，或者在專家層面上有更好的溝通理解，而對於 社會 公眾而言，這裡面就需要有一些轉換，同時有需要一些權威部門，有公信力的部門，向 社會 做一些說明和認定。
姚新：
深度神經網路可以解決特別復雜的問題，我覺得現在大家用深度網路有一個原因，即所針對的問題本身可能就比較復雜。這是一個假設。假如這個假設是對的話，那麼相應的可解釋性不會特別好理解。因為需要對付這些復雜性，相應的模型就必然是要復雜。
所以我總覺得透明性、可解釋性和性能之間是有一個固有的矛盾，如果現在把從技術上討論的方向，是怎麼找一個折中方案，根據不同的場景、可解釋的目的，找不同折中方案，這樣導致有可能會出來一些比較具體的技術，或者可以促進這些技術往落地的方向走。
吳保元：
我們嘗試過一些從技術上可行的方案去量化各種可信特性，但是，要實現統一量化很困難，比如說公平性和魯棒性都有不同的量化准則和指標。當把不同的特性簡單組合到一起的時候很難優化，因為它們的准則是高度不對齊的，差異非常大，這就涉及怎麼去對齊這些特性坐標。我認為想要找到一個全局坐標系是非常困難的。我們可以從局部出發，針對某種場景，比如醫療場景，首先把隱私性當做前提，在金融或者自動駕駛，我們把魯棒性當做前提，然後再去研究其他特性，或許一步一步能夠找到這種坐標系。
可解釋AI的技術現狀？
鄭冶楓：
總體來說，因為我們現在還缺乏非常好的理論框架，所以可能針對問題，我們創造性地想一些演算法，試圖提高本身這個系統的可解釋性，給大家舉兩個例子來說明一下我們天衍實驗室在這方面的 探索 。
深度學習可能有千億、萬億的參數，這對於醫生來說太復雜了，他很難理解這個演算法的底層原理，演算法本身可能缺乏一個全局的可解釋性。但是深度學習框架准確率非常高，所以我們不可能不用。而可解釋性非常好的模型就是回歸模型，這類模型主要的問題就是准確率太低。所以我們做了一個 探索 ，我們希望把這兩個模型結合起來，它具有非常高的准確率，還有一定的可解釋性，不是完全可解釋性。
我們把這個混合模型用於疾病風險預測，就是根據病人歷次的就診記錄，我們預測病人在未來6個月之內得某個重大疾病的概率，比如他得卒中的概率。病人每一次的就診記錄包含大量信息，這裡面我們需要提取一些跟預測目標相關的重要信息，我們知道生物學習網路最擅長的就是自動特徵學習。所以我們利用深度學習網路把一次就診記錄壓縮成一個特徵的向量，接著我們利用回歸模型，把病人多次就診記錄綜合起來預測未來6個月之內這個病人得腦卒中的風險。
楊強：
我們在審視各個演算法和它對應的可解釋性的關聯問題上，發現一個有趣的現象，比方說在機器學習裡面，深度學習就是屬於效率非常高的，但是它卻對應的可解釋性很差。同樣，線性模型沒有那麼高，但是它的可解釋性相對強一些，樹狀模型也是，因果模型更是這樣。所以往往我們確實得做一個取捨，就是我們在可解釋這個維度和高效率這個維度，在這個空間裡面選擇哪一個點，現在並沒有在兩個維度都高的這樣一個演算法。
可解釋AI的行業實踐
鄭冶楓：
各行業對可解釋性和透明性的要求不同，我結合醫療AI這個場景給大家分享一下我的體會和理解。大家知道醫療在全世界范圍內都是被強監管的領域，一款醫療產品要上市必須拿到醫療器械注冊證，輔助診斷演算法AI產品屬於三類醫療醫療，也就是監管最嚴格的級別，所以我們要披露的信息很多，大致包括數據集和臨床演算法驗證兩方面。前者主要強調數據集的公平多樣性和廣泛覆蓋性，後者則重視披露我們的演算法真正在臨床試驗中、真正臨床應用的時候它的性能。
此外，我們的測試樣本也需要有很好的多樣性，覆蓋不同醫院，不同區域，不同病人群體、廠商、掃描參數等等。臨床實驗更加嚴格，首先我們要固化演算法的代碼，在臨床試驗期間是不能改代碼的，因為你不能一邊做實驗一邊改代碼，這就失去了臨床試驗的意義。
所以醫療AI的監管是非常強的，葯監局需要我們披露很多信息，提高醫療AI產品的透明性，它有非常嚴格甚至苛刻的書面要求。因為我們知道智能學習網路天然不具有很好的解釋性，雖然你可以做一些中間增強，可以一定程度上改善這些事情，監管也可以理解這個解釋性差一點，正因為解釋性差，要求的透明性就越高。
何鳳翔：
我覺得提供AI系統的說明書有兩個路徑：第一個路徑從生成AI系統的過程出發。這一點現在有一些實踐，比如開源代碼，說明使用了什麼數據，數據是如何使用的、如何預處理的。這會提升人們對AI的信任和理解，這也像剛才鄭老師提到，申請醫療相關的資質的時候，我們需要把生產細節匯報給相關機構。
第二種方式就是從生成的AI系統所做出的預測以及決策的指標來入手做演算法的說明書。比方對AI系統做一些測評。對於剛才我們提到的指標，包括可解釋性、魯棒性、准確性、隱私保護、公平性，找到一些比較好的量化指標、找到一些評測演算法，把這些指標作為AI系統的使用說明書。
可解釋AI的未來發展
楊強：我期待在未來人工智慧的治理，在人工智慧，人和機器這種和諧共存，共同解決我們要解決問題的前提下，會越來越成熟。我是非常看好這個領域的。
朱菁：我期待這個領域進一步的探討，不同領域的學者都能夠參與進來。比如說像我自己做的主要是哲學， 科技 哲學。在 科技 哲學，實際上對於解釋有將近一百年的積累和 探索 ，這裡面應該有很多可以發掘借鑒的資源，參與到目前這樣一個很有意思很有挑戰性的話題裡面。
何鳳翔：AI本身是一個跨學科領域，它可能會用到很多數學、統計、物理、計算機等各個知識的領域，今天提到的很多點，包括隱私保護、公平性，很多也是來源於人文學科、法律、 社會 學這些方面。所以這就意味著研究可信AI以及可解釋性等等方面會需要各個學科領域的人合作起來一起去做的一件事情，會非常需要大家的通力合作，共同推進這個領域的發展。
姚新：對於做研究來說，我希望將來可以有一點聚焦的討論。我剛才講的3W，到底我們要解決透明性、可解釋性的哪一部分，對誰而言。假如對醫療而言，是對法規的制定者來說還是對醫生來說，還是對病人來說，還是對這個系統的開發者來說？我覺得在這裡面有非常多可以發揮自己的想像力和能力的地方。
鄭冶楓：對演算法人員來說，當然我們希望將來科學家們找到非常好的，具有良好可解釋性，同時准確性非常高的演算法，真正做到魚和熊掌兼得。
C. 強化超大互聯網平台個人信息保護義務，信息化管理如何實現
據媒體報道，2021年4月26日第13屆全國人大常委會第28次會議在京開幕，其中提出了草案二審稿，規定將強化超大型互聯網平台的個人信息保護義務並加強監督。此消息在社交平台上發酵後，引起了網民們的廣泛關注與討論。
部分網民們認為隨著互聯網的發展，實際上技術賦權也造就了一種技術特權階層，應該對他們的特權進行規范；也有部分網民們認為，該如何去規范這些社交平台呢？在當前實現信息化管理是一個棘手的問題，而如何進行信息化管理使得各大平台保持其公序良俗呢，筆者有以下的看法。
一、政府規范平台的演算法黑箱
互聯網行業中，各大企業雖然是私企，但是因為它們的規模很大，所以它們也必須要承擔起社會責任。當前的人們是生活在現實生活之中，當然也是生活在網路之中，而互聯網平台作為網路場域的營造者和建構者，它們必須要做到自律，必須要對自身所營造的網路環境進行負責，這也是社會所賦予他們的責任。
四、公民進行監督因為互聯網平台對於個人信息的竊取實際上已經侵犯到了公民的隱私權，因此公民們應該對此行為進行監督，在強大的監督之下，會使得互聯網平台去規避此類違規行為。
D. 滴滴將公開每筆訂單抽成，你知道抽成比例是多少嗎
據媒體報道，2021年5月26日，網約車CEO孫樞在寫給司機師傅的公開信中稱，滴滴目前極端抽成訂單比例已由去年的2.7%降低到0.03%，下一步會讓這個數字繼續下降，甚至完全杜絕。此番言論在社交平台上發酵後，引起了眾多網民們的關注與評論。
部分網民認為滴滴目前只在著眼於努力提升優化客戶的體驗，但是對於自身的網約車來說，滴滴則一直在壓榨他們的剩餘價值；也有部分網民認為，在當前以演算法為基礎的平台系統使得包括滴滴司機在內的眾多職業被技術所異化，而現在滴滴的每筆訂單抽成將會由2.7%降至0.03%。而筆者將針對此講講自己的看法。
一、大型企業的運營要以人本邏輯作為底層邏輯
最後筆者認為，針對於目前所存在的演算法黑箱，有關部門應該介入，積極去規避演算法黑箱，當前大數據技術的崛起已經使得技術階層被賦予了權力，然而要謹防在發達工業社會中，技術對人所造成的異化。
E. 智能手環的監測「黑箱」：用戶心率誰說了算
前言
在2021年，隨時掌握自己的心率，並不是一件很困難的事。
6月25日，蘋果旗下的Apple Watch終於拿到了拿到國葯監局心電圖、房顫監測醫療器械上市批准。實際上在2018年，蘋果的Apple Watch Series 4就已經有了心電圖檢測功能。只不過由於心電圖屬於醫療器械功能，蘋果當初沒能通過認證，無奈「鎖區」中國。
入局國內可穿戴設備 健康 領域的，不光有姍姍來遲的蘋果。國外廠商有Fitbit，國內廠商有華為、華米。這些廠家目前的智能手錶、手環產品都可以進行心率、血氧等數據的監測，甚至在未來還可能「不扎針測血糖」。
廠商能夠如此發力，也是因為相關領域市可觀：據市場統計數據顯示，到2025年，醫療可穿戴設備市場價值將超過480億美元。
聽起來，「 健康 手環」的市場紅紅火火。然而戴上手環監測心率的消費者，可能並沒有考慮過一個問題：數據的主導權，到底在誰手裡？
01 同樣心率，不同的數據
問題的起源，源自一次統計學研究。負責研究的，是哈佛大學公共衛生學院副教授JP Onnela。
在學術領域，他一般不會引入Apple Watch這類消費級產品，而是用實驗室設備做研究。不過他最近與一家醫院合作研究，使用了Apple Watch收集數據。
他因此對「心率手環」產生了興趣：不管是廠家還是研究者，大家都知道設備收集的數據有問題。他和團隊也想看看，數據問題究竟有多大。
研究團隊收集了2018年底到2020年9月的心率數據，並且把數據通過 Apple Watch導出：第一次是2020年9月，第二次是2021年4月。也就是說，既然原始數據沒變，Apple Watch處理數據沒問題，兩次的數據處理結果應該很接近。
然而實驗的結果，卻讓人大跌眼鏡：在原始心率不變的前提下，兩次數據的重合度並沒有那麼高。黃色曲線和藍色曲線「各玩各的」，根本看不出是同一個人的心率。
如果從數據離散程度來看，其中一組數據比較扎堆，還算是「聯系緊密」。另一組數據則到處都是，「放飛自我」。兩組數據放到一起，幾乎沒有什麼關聯性。
根據Onnela自己博客的說法，「兩組數據的結果，可能是這類偏差中最明顯的代表」。
02 你的心率，演算法說了算？
同一組心率，同一個Apple Watch，輸出結果為啥差異這么大？答案很簡單，演算法。
在傳統的心率測量中，收集數據很簡單：患者貼上電極，設備導出心電圖。心電圖的結果，就是未經處理的原始數據。沒有演算法，沒有AI。測出什麼結果，就是什麼結果。
可是到了手環這里，規則就變了：智能手環測量之後，並不會立刻導出，而是進行演算法的分析和過濾。研究人員接觸的，就是被「優化」的數據，跟實際心率相比，就會產生偏差。
單純的「優化」，還不是問題全部。分析的演算法，也會被「優化」成「一天一個樣」：在之前提到的研究中，Onnela就表示，可穿戴設備演算法就是「黑匣子」：設備廠商只知道定期更新演算法，然而研究人員根本不知道演算法怎麼統計數據。導致輸出結果缺乏可比性。
現有的結果加上可能的擔憂，讓Onnela在後續研究中，已經放棄用消費級可穿戴設備收集數據。他也很含蓄地表示，演算法的「黑匣子」對研究人員來說，是一個「持續的挑戰」。
密歇根大學的Olivia Walch說得就比較直接：雖然她也研究可穿戴設備，但她讓研究團隊直接使用原始數據。因為她研究的是睡眠監測，需要長期跟蹤，試驗成本也很高。如果靠「智能手環」的演算法輸出結果，那研究就要因為版本變動重新開始。
從Walch的角度來看，就算自己能接受演算法更新，她也沒法提前知道變動：企業沒什麼理由去特意通知研究人員演算法有變化，但是因為產品更新，企業往往會主動更新演算法。
對於嚴謹的研究而言，頻繁變動規則得到的數據，本身就不值得信任。對於 健康 監測的應用而言，Apple Watch也應該提供持續穩定的醫學數據，而它顯然沒有做到。
03 使用偏差，「手環」不智能
實際上，Apple Watch為代表的「智能 健康 監測」設備，從官方審批中就透露著一股不靠譜。
2018年9月，蘋果公司宣布，Apple Watch Series 4的心電圖 (EKG) 和心率監測功能獲得了美國食品與葯品管理局 (FDA) 的許可。
然而FDA的用詞卻十分值得玩味，因為FDA對新器械的評級分為三個指標：公示、許可和批准。
公示的產品不需要FDA的專業審查，標准最寬松。需要批準的產品有不小的使用風險，需要大量測試評價，也讓需要批準的III類產品，僅僅占據器械市場的10%。
如果把「智能手錶/手環」放到這個體系中評價，就會發現。這些設備有技術門檻，需要把關，光是公示肯定不夠。但是「監測心率」的功能，也沒有深入到疾病治療，使用風險很低，整體來看，還是許可比較合適。
「許可」的定位，也代表了可穿戴監測設備的產品困境：生產不簡單，使用不靠譜。
以蘋果、華米等廠家對外宣傳的心電圖和房顫監測功能為例。廠商之所以推廣這一特定領域，是因為目前技術條件下，「智能手環」只能做到單導聯心電監測。和臨床的12導聯相比，監測方式比較「粗枝大葉」，無法給出精確的數據。
蘋果在Apple Watch相關功能的宣傳中，也只能表示「數據僅供參考」。告訴消費者「掌握 健康 」，實際使用卻說「想掌握 健康 請自己找醫生」，未嘗不是在玩弄消費者的預期。
除此之外，可穿戴設備在使用體驗上依舊比較模糊。「數碼設備」加上「醫療功能」的雙重屬性，讓消費者對於這類產品的需求，是「既方便又精確」。
然而使用「智能手環」的消費者並不是專業的醫生，使用習慣也存在著差異，導致產品體驗缺乏合理標准：手環調的太緊，出門劇烈運動，都會導致手環的「 健康 警告」。「僅供參考」的價值更是無從談起。
04 智能監測，先要定規矩
不論是「數據篩選」還是「僅供參考」，智能手環為代表的可穿戴醫療設備都面臨著同樣的問題：在行業依舊處於前期發展階段、技術條件依舊有限的前提下，如何在專業層面上，為消費者提供真正有說服力的產品。
目前的可穿戴醫療設備行業，不論是傳統的醫療器械廠商還是新興的數碼設備企業，都想在行業發展早期野蠻生長，從而占據市場。去年，有14款可穿戴設備產品通過了FDA審批，國內也有18款設備獲得葯監局認證，相當於之前三年獲批產品的總和，可穿戴設備的熱度由此可見一斑。華為、歌爾、OPPO紛紛下場，行業熱度急劇攀升。
不管可穿戴設備有多麼「數碼」，實際應用的分類依舊是「醫療器械」。既然涉及到了醫療 健康 ，就要按照醫療 健康 領域的標准對產品進行管理。然而從相關產品的市場來看，不論是數據收集還是實際使用，可穿戴醫療設備的「最終解釋權」有太多都跑到了企業手裡。
這樣的市場，光靠企業自律制定行業標准顯然不夠，還需要相關部門針對行業現狀，推出專門的行業標准。2015年，FDA將可穿戴 健康 設備劃入「一般 健康 」設備的范疇，並制定了相關法規。作為對比，2017年底，葯監局對外發布了《移動醫療器械注冊技術審查指導原則》，然而這些規則的具體執行，仍然需要進一步的細化和明晰。
使用智能手環的消費者，要的是監測 健康 帶來的安心生活，而不是數碼行業的高強度競爭。如果企業沉迷更新產品和演算法，無視真正的需求，那麼他們就需要一場真正的「教育」。因為代表消費者 健康 的數據，只有消費者說了算。
來源|科工力量