很多人都討論過大資料與人工智慧可能帶來的負面問題，包括倫理問題和錯誤結果。我也曾在《大資料與人工智慧的倫理挑戰》［1］和《預測的侷限性》［2］兩篇文章中作過一些科普性的介紹。但是，較少有文章討論這些錯誤結果（或者錯誤解讀）以及部分倫理問題（如演算法加劇了歧視）的來源到底是什麼？
最近Suresh和Guttag的一篇論文［3］（注意這篇論文雖然初稿提交是2019年，但在2021年還做了很大的更新）
分析了人工智慧從資料採集到應用開發落地的全生命週期，指出了七種可能給人工智慧結果帶來傷害的偏差
。下面我給大家簡要介紹一下Suresh和Guttag所說的七宗罪到底是什麼。
Sin 1
歷史偏差
即便資料來自一個非常好的抽樣，精確地反映了特定歷史時期的狀況，但如果那個時期本身就存在負面的內容或結果，就會帶來所謂的
“歷史偏差”
，如果直接用這個歷史資料，演算法就有可能把歷史上的傷害搬遷到現在。
Garg分析了基於Google新聞、Wikipedia等大語料庫所得到的單詞的向量表示，發現這些歷史語料庫已經沉澱了嚴重的性別和倫理方面的刻板印象，譬如說詞語“護士”和女性高度相關，詞語“工程師”和男性高度相關，詞語“同性戀”與疾病、恥辱高度相關等等［4］。我們現在努力消除的一些有害觀念可能在歷史語料中表現很充分，如果不加分辨地應用，聰明的演算法可能很快就學會了歷史上的偏見。
Sin 2
表示偏差
如果用於訓練和最佳化模型的資料不能很好地表示該模型，或不能精確代表相關結論所應用或針對的目標群體，就可能出現
表示偏差
。
譬如，想透過分析微博的語言來看整個中國的情緒狀況和幸福水平，就可能出現表示偏差，因為對微博使用者全體或隨機抽樣會對年輕人“表示過度”而對老年人“表示不足”。所以，用一個來源資料訓練出來的模型，有可能對於該來源中表示不足的群體並不適用或者效果較差。
▲微博常用詞彙
如果把模型和結論用在其他來源的資料集中，則需要更加小心，因為一般而言都會存在表示偏差。例如ImageNet來自中國和印度的照片只佔1%和2%，因此直接用ImageNet訓練出來的分類器在分類物品和人的時候，如果這個圖片來自印度，精確度就顯著低於平均水平［5］。
Sin 3
測量偏差
用於量化特徵或者目標函式的指標有可能因為選擇不當，而起不到預期的效果甚至帶來錯誤的結論或有害的應用。
譬如指標可能過於簡化而達不到預定的效果——比如簡單用GPA分值來描述一個學生的校園生活是否成功。
有一些測量偏差藏得非常深。譬如在犯罪風險評估系統中，一個區域中逮捕事件發生的次數（常用的指標是這個區域中萬人出現逮捕事件數量）是非常重要的特徵，但是逮捕和犯罪其實是不一樣的，因為警力投入多、巡邏密集的區域，犯罪後被抓住的可能性會更大——在美國，黑人區投入的警力和巡邏要高於白人區，所以即便黑人和白人犯罪比例相同，黑人被逮捕的比例也會更大。
▲洛杉磯黑人區防暴警察 ｜ 圖片來源：USA Today
可怕的是，這種偏差還是正反饋的，因為逮捕越多，巡查越多，巡查越多，逮捕就更多。當然，也不是開放式的正反饋，因為當犯罪成本顯著大於收益，犯罪率就降下來了。Dressel和Farid［6］前兩年有一篇很有影響力的文章（這個文章突然爆火，估計和後面的“黑命貴”活動有關係），就是透過資料分析指出這種偏差會顯著高估黑人再次犯罪的風險，從而使其在假釋等方面遭受不公平的待遇。
歷史偏差、表示偏差、測量偏差是人工智慧的前三宗罪，之後我們將更新周濤《人工智慧的七宗罪（下）》，記得點個關注，不錯過周濤的下一篇文章。
參考文獻
周濤，大資料與人工智慧的倫理挑戰（上），《電子科技大學學報。社會科學版》，2018年第5期，1-6頁。
周濤，預測的侷限性，《大資料》，2017年第4期，104-108頁。
H。 Suresh， J。 Guttag， A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle， arXiv： 1901。10002。
N。 Garg， L。 Schiebinger， D。 Jurafsky， J Zou， Word embedding quantify 100 years of gender and ethnic stereotypes， PNAS 115 （2018） E3635-E3644。
S。 Shankar， Y。 Halpern， E。 Breck， J。 Atwood， J。 Wilson， D。 Sculley， No classification without representation： Assessing geodiversity issues in open data sets for the developing world， arXiv： 1711。08536。
J。 Dressel， H。 Farid， The accuracy， fairness， and limits of predicting recidivism。 Science Advances 4 （2018） eaao5580。
關注我們
獲取周濤最新文章
