AI威脅論興起？Nature欲發表“罪犯識別”研究，遭1700名科學家聯名抵制

作者 | 青 暮

編輯 | 蔣寶尚

今日，一份長長的公開信在reddit機器學習版塊火了起來，信的內容涉及1700名科學家聯名抵制一項人工智能研究發表在Springer Nature上。

這1700名科學家，不少是來自MIT、NYU、哈佛等著名學府以及Google、DeepMind、微軟等知名企業的學者。例如《算法霸權》一書的作者凱西·奧尼爾、Responsible AI 的全球領導者Rumman Chowdhury 博士等等。

聯合抵制的研究是名為《A Deep Neural Network Model to Predict Criminality Using Image Processing》的論文。

論文的作者是來自美國哈里斯堡大學的研究人員，在論文中作者聲稱開發了能夠預測某人是否可能成為犯罪分子的自動計算機面部識別軟件。并且該軟件具有80％的準確性，可以僅基于其面部圖片來預測某人是否為罪犯。 另外作者還強調了論文中的算法模型沒有種族偏見。

對于這篇論文具體所講述的“故事”，其中一個作者Sadeghian表示：“我們已經知道，機器學習技術在與面部識別和情感檢測有關的各種任務上可以勝過人類?！?“這項研究表明，這些工具可以從圖像中提取出高度可預測犯罪的微小特征，從而說明這些工具的功能多么強大?！?/span>

1

事件爆發來源于對AI威脅論的擔憂

其實，這次“1700名科學家聯名抵制”事件爆發其實是： 人們對AI技術中存在的公平性問題或者是AI威脅論長期擔憂的結果。比如人臉生成或人臉翻譯模型經常因為生成結果偏向白人而備受吐槽。Yann LeCun也于6月23日在twitter上批評道：

當數據有偏差時，ML系統也會有偏差。這個臉部上采樣系統使每個人看起來都是白人，因為該網絡已在FlickFaceHQ上進行了預訓練，該數據集主要包含白人照片。

如下圖所示，我們能輕易認出左邊打碼人臉是奧巴馬，但算法卻將其轉換成了一張白人男性的臉。

盡管作者聲稱“僅根據他們的面部表情來預測某人是否為罪犯”、準確性為“ 80％、沒有種族偏見?！眴栴}是，通過使用“無種族偏見”一詞，他們將算法偏見與社會偏見混為一談。這句話很好地說明了社會偏見問題：

由于“犯罪”類別本身是帶有種族偏見的，因此無法開發一種系統來預測或識別沒有種族偏見的“犯罪”。

在Reddit上網友也對此事件評論寫道：

這就是為什么電影《少數派報道》如此受歡迎的原因，因為“犯罪前預測”并沒有道理。即使是預測的指示/建議也根本不是一個好的預測。否則，我們將已經使用算法對股票市場進行了博弈。我們不會逮捕21歲以上的成年人飲酒，而是逮捕他們的酒后駕駛。即使21歲飲酒可能是他們可能會酒后駕車的強烈跡象。

模型可能不會存在相對于訓練數據的“偏見”，但是訓練數據中本身就存在固有的偏差?；诋斍皵祿乃惴ㄖ粫永m目前存在的不公平偏見鏈。

在美國，我們的《第五修正案》規定：“除非有大陪審團的陳述或起訴，否則任何人不得被要求為死刑或其他以臭名昭著的罪行負責”。這項研究的糟糕程度超出了數據偏見的范疇，侵犯了我們的自由?！?/span>

也許作為一個機器學習社區需要先解決一個術語問題，以便我們可以更好地傳達算法偏見（取決于期望的結果可能是不期望的）與偏見的社會觀念之間的區別。

2

請愿書概括

盡管篇幅很長，但這篇請愿書清楚地闡明了圍繞ML公平性所討論的許多問題。

請愿書地址：https://medium.com/@
CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16

我們來簡單概覽一下這封請愿書：

親愛的Springer Nature編輯委員會：

我們寫信給您，代表了各個技術、科學和人文領域（包括統計、機器學習和人工智能、法律、社會學、歷史、傳播研究和人類學）的專家研究人員和從業人員。我們共同對即將出版的研究論文“A Deep Neural Network Model to Predict Criminality Using Image Processing”深表關注。根據最近的消息，本文將在您的期刊“Springer Nature — Research Book Series: Transactions on Computational Science and Computational Intelligence”中發表。

我們敦促：

審核委員會將公開撤銷該特定研究的發表，并解釋用于評估的標準。

Springer Nature發表聲明，譴責使用刑事司法統計數據預測犯罪行為的做法，并承認其過去在激勵有害學術方面的作用。

所有出版商今后都不要發表類似的研究。

社區組織者和黑人學者一直處于執法部門對使用AI技術的抵制的最前沿，尤其側重于面部識別。然而， 即使業界和研究院投入大量資源來建立用于機器學習和AI的“公平、負責和透明”的實踐，這些聲音仍被邊緣化。

機器學習的吸引力之一是它具有很高的延展性，可以使用任何可能的因果機制來合理化對預測或檢測有用的相關性。

然而，這些研究最終被表示和解釋的方式在很大程度上取決于數據科學的政治經濟學及其使用環境。機器學習應用不是中立的。機器學習技術和它們使用的數據集通常會繼承關于世界的主流文化信仰。這些技術反映了處于開發機器學習模型的特權位置的人們的動機和觀點，以及他們所依賴的數據。

對默認假設的不加批判的接受不可避免地導致算法系統中的歧視性設計，重現使社會等級制度規范化并合法化針對邊緣化群體的暴力行為的觀念。

此類研究不需要研究人員故意的惡意或種族偏見。相反，它是任何領域的預期副產品，幾乎都是在“預測性能”的基礎上評估其研究質量的。

看起來請愿書的效果立竿見影。Springer Nature已經在twitter上聲明不會發表該論文，不過還不清楚其會如何回應請愿書的具體要求。

不同于中國人臉識別技術普及的“潤物細無聲”，在種族主義的背景下，人臉識別在美國一直處于尷尬的境地。

2018 年的一個調查顯示，人臉識別針對黑人女性的錯誤率高達 21%-35%，而針對白人男性的錯誤率則低于 1%——這在美國可以說是非常政治不正確的。

IBM更是于今年6月8日宣布不再提供任何人臉識別和人臉分析軟件。

美國公民自由聯盟（American Civil Liberties Union，ACLU）稱人臉識別為 “可能是有史以來最危險的監視技術”，并多次上書美國政府：要求亞馬遜停止向警方提供其旗下的“Rekognition”人臉識別技術。

在美國，黑人群體本身犯罪率更高。 即使技術本身自稱無偏見，也不可能消除群體差異導致的社會偏見。如果“罪犯識別”技術在實際應用中發現黑人比白人更可能被識別為罪犯，難免會像近期的George Floyd死亡事件那樣再次觸發美國種族沖突的敏感神經。

其次，在算法準確率上也存在爭議。據報道，亞馬遜的圖像識別 AI 系統 “Rekognition” 曾將 28 名美國國會議員識別成了罪犯。而盡管這項“罪犯識別”研究聲稱有80%的準確率，但是誰也不希望成為那20%，畢竟被誤識別為罪犯是非常嚴重的冒犯。

最后，“罪犯識別”并沒有成為系統的科學，人臉可能僅僅是非常片面的線索，在小樣本數據集上獲得再高的準確率，也不能保證其在實踐應用中的可靠性。

參考資料：

https://www.reddit.com/r/MachineLearning/comments/heiyqq/dr_a_letter_urging_springer_nature_not_to_publish/

https://twitter.com/SpringerNature/status/1275477365196566528

https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16

https://web.archive.org/web/20200506013352/https://harrisburgu.edu/hu-facial-recognition-software-identifies-potential-criminals/

https://www.toutiao.com/i6841885989133091342/