機(jī)器學(xué)習(xí)社區(qū)的一個(gè)目標(biāo)是開(kāi)發(fā)的機(jī)器學(xué)習(xí)系統(tǒng)，一旦被引入社會(huì)環(huán)境，就可以實(shí)現(xiàn)公平性。計(jì)算機(jī)科學(xué)中如抽象和模塊化設(shè)計(jì)用于定義公平和歧視的概念，以產(chǎn)生公平感知學(xué)習(xí)算法，并在決策模塊流程的不同階段進(jìn)行干預(yù)產(chǎn)生“公平”的結(jié)果。然而，在本文中，作者認(rèn)為這些概念使技術(shù)干預(yù)無(wú)效，不準(zhǔn)確，當(dāng)他們進(jìn)入時(shí)可能會(huì)被誤導(dǎo)。圍繞決策系統(tǒng)的社會(huì)背景，我們用五個(gè)“陷阱”來(lái)概述這種不匹配，即機(jī)器學(xué)習(xí)系統(tǒng)可能會(huì)有歧視甚至因?yàn)樗蔷哂猩舷挛囊庾R(shí)傳統(tǒng)的數(shù)據(jù)科學(xué)。作者通過(guò)借鑒社會(huì)技術(shù)系統(tǒng)的研究，在科學(xué)技術(shù)研究中解釋為什么會(huì)有這樣的“陷阱”發(fā)生以及如何避免它們。作者通過(guò)繪制抽象界限(abstraction boundaries)，在不止純粹的技術(shù)因素方面，還在社會(huì)因素角度上，給出了在設(shè)計(jì)過(guò)程中避免“缺陷”的方式和建議，而不是提供解決方案。
背 景：
在剛?cè)腴T學(xué)習(xí)計(jì)算機(jī)科學(xué)時(shí)，我們便了解到一個(gè)系統(tǒng)可以被描述為一個(gè)黑盒，由系統(tǒng)的輸入、輸出以及它們之間的關(guān)系精 確定義該系統(tǒng)，描述該系統(tǒng)的理想特性。至此，系統(tǒng)內(nèi)部的結(jié)構(gòu)和輸入輸出的來(lái)源已經(jīng)被抽象掉了。
機(jī)器學(xué)習(xí)系統(tǒng)的設(shè)計(jì)和構(gòu)建旨在實(shí)現(xiàn)具體目標(biāo)和績(jī)效指標(biāo)，如AUC，精 確度和召回率等而忽略其算法的公平性。到目前為止，公平感知機(jī)器學(xué)習(xí)領(lǐng)域(fair-ML)一直致力于通過(guò)使用公平性本身作為黑盒系統(tǒng)的屬性來(lái)設(shè)計(jì)更公平更公正的機(jī)器學(xué)習(xí)算法和模型。目前已有很多相關(guān)工作提出了公平性的定義，并基于給定的硬約束或公平度量產(chǎn)生佳近似的公平保障，本文作者認(rèn)為這些工作都僅 限于一些特定領(lǐng)域的系統(tǒng)，而非較為通用的方法。本文認(rèn)為系統(tǒng)的不公平往往是由于忽略抽象出其社會(huì)背景導(dǎo)致的，本篇文章給出了五種失敗模式錯(cuò)誤(failure modes of abstraction error)，被稱為框架陷阱(Framing Trap), 可移植性陷阱(Portability Trap),形式陷阱(Formalism Trap), 波紋效應(yīng)陷阱(Ripple Effect Trap), 和解決方案陷阱 (Solutionism Trap)。這些陷阱都是缺乏對(duì)社會(huì)背景如何與不同形式的技術(shù)交叉的理解導(dǎo)致的，因此了解系統(tǒng)背后的社會(huì)背景對(duì)保障一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的公平是很重要的。
抽象陷阱(The Abstraction Traps)：
抽象對(duì)計(jì)算機(jī)科學(xué)尤其是機(jī)器學(xué)習(xí)至關(guān)重要。廣義上，社會(huì)背景被抽象以便可以應(yīng)用機(jī)器學(xué)習(xí)。 下面解釋了五種不同的陷阱：由于未能正確解釋或理解技術(shù)系統(tǒng)與社會(huì)背景之間的相互作用而導(dǎo)致的失敗模式(failure modes of abstraction error)。
1. 框架陷阱(Framing Trap)：是指未能對(duì)整個(gè)系統(tǒng)進(jìn)行建模，在該系統(tǒng)上將實(shí)施社會(huì)標(biāo)準(zhǔn)，例如公平性。機(jī)器學(xué)習(xí)中常見(jiàn)的抽象包括選擇表示(of data)和標(biāo)記(of outcomes)，這些構(gòu)成了對(duì)算法框架的描述，算法的功效被評(píng)估為與輸入相關(guān)的輸出屬性，如算法是否能夠提供良好的訓(xùn)練數(shù)據(jù)準(zhǔn)確性，以及對(duì)同一分布中看不見(jiàn)的數(shù)據(jù)具有良好的普遍性，本文將其稱為框架的端到端的屬性。然而在算法框架中抽象往往是給定的，并且很少被詢問(wèn)有效性，低質(zhì)量的抽象就是造成該類缺陷的主要原因。
2. 可移植性陷阱(Portability Trap)：如果不了解如何針對(duì)一個(gè)社會(huì)環(huán)境進(jìn)行算法解決方案的設(shè)計(jì)，則在應(yīng)用于不同的環(huán)境時(shí)可能會(huì)產(chǎn)生誤導(dǎo)，不準(zhǔn)確或其他方面的損害，該類問(wèn)題被稱為可移植性陷阱。陷入框架陷阱的一個(gè)原因是因?yàn)橛?jì)算機(jī)科學(xué)文化很有價(jià)值并且經(jīng)常要求可移植性。有目的地設(shè)計(jì)為盡可能抽象，被認(rèn)為更有用(因?yàn)樗强芍赜玫?，技巧，優(yōu)雅或美麗。幾乎所有受過(guò)計(jì)算機(jī)科學(xué)家或工程師培訓(xùn)的人都強(qiáng)烈要求這種必要性，并建議設(shè)計(jì)首先旨在創(chuàng)建獨(dú)立于社會(huì)背景的工具。在機(jī)器學(xué)習(xí)領(lǐng)域更為顯著，從任務(wù)性質(zhì)就抽象為分類任務(wù)，聚類任務(wù)，強(qiáng)化任務(wù)和回歸任務(wù)等，從代碼角度來(lái)說(shuō)，大量工具代碼庫(kù)是鼓勵(lì)可移植性的。然而在不同的社會(huì)背景下，往往會(huì)造成可移植性陷阱。
3. 形式陷阱(Formalism Trap)：沒(méi)有考慮公平性等社會(huì)概念的全部含義，這些概念可以是程序性的，語(yǔ)境性的和可競(jìng)爭(zhēng)性的，并且不能通過(guò)數(shù)學(xué)形式來(lái)解決。在公平機(jī)器學(xué)習(xí)文獻(xiàn)中受關(guān)注的問(wèn)題是公平的定義。其任務(wù)是在數(shù)學(xué)上定義社會(huì)公平的基本概念，以便將公平理想融入機(jī)器學(xué)習(xí)。如費(fèi)爾德曼等人，將平等就業(yè)機(jī)會(huì)委員會(huì)(EEOC)80％的規(guī)則正式化為正式的偏見(jiàn)度量，他們稱之為不同的影響。將問(wèn)題限制在數(shù)學(xué)公式中會(huì)在實(shí)踐中產(chǎn)生兩個(gè)明顯的問(wèn)題。首先，沒(méi)有辦法使用純數(shù)學(xué)方法在不可調(diào)和的沖突定義之間進(jìn)行仲裁。形式化的**個(gè)問(wèn)題源于沒(méi)有定義可能是描述公平性的有效方式。公平和歧視是哲學(xué)家，社會(huì)學(xué)家和律師長(zhǎng)期爭(zhēng)論的復(fù)雜概念。它們有時(shí)是程序性的，上下文的和政治上可競(jìng)爭(zhēng)的，并且每個(gè)屬性都是概念本身的核心部分，并非完全形式化的。
4. 波紋效應(yīng)陷阱(Ripple Effect Trap)：未能理解將技術(shù)嵌入現(xiàn)有社會(huì)系統(tǒng)如何改變現(xiàn)有系統(tǒng)的行為和嵌入值(embedded)。當(dāng)技術(shù)被應(yīng)用到社會(huì)環(huán)境時(shí)，它既有專門的作用但也有意想不到的后果。意想不到的后果之一是系統(tǒng)中的人員和組織對(duì)干預(yù)作出反應(yīng)的方式。為了真正理解技術(shù)的引入是否會(huì)改善公平性結(jié)果，不僅需要了解如上所述的本地化公平性問(wèn)題，還要了解技術(shù)如何與已有的社會(huì)系統(tǒng)相互作用。
5. 解決方案陷阱 (Solutionism Trap)：未能認(rèn)識(shí)到問(wèn)題的解決方案可能不涉及技術(shù)的可能性。因?yàn)楣綑C(jī)器學(xué)習(xí)植根于計(jì)算機(jī)科學(xué)，往往會(huì)產(chǎn)生沒(méi)有技術(shù)干預(yù)就沒(méi)有系統(tǒng)的概念。有兩種情況，第 一種是可能從技術(shù)開(kāi)始就是錯(cuò)誤的方法，或者更確切地說(shuō)，無(wú)論迭代多少次，有多少近似值，建模情況都不會(huì)有效。**種是當(dāng)所需的建模如此復(fù)雜以至于在計(jì)算上難以處理時(shí)，技術(shù)已經(jīng)不足以解決問(wèn)題了，強(qiáng)行運(yùn)用只能造成浪費(fèi)。
對(duì)公平機(jī)器學(xué)習(xí)的建議：
1. 在研究初期，需要對(duì)相關(guān)的社會(huì)背景及其政治（解決主義）有細(xì)致的理解；
2. 以可預(yù)測(cè)的方式影響社會(huì)背景，使得技術(shù)解決后的問(wèn)題在引入后保持不變（漣漪效應(yīng)）；
3. 能夠恰當(dāng)?shù)靥幚韺?duì)公平性等社會(huì)要求的強(qiáng)烈理解，包括對(duì)程序性，語(yǔ)境性和可競(jìng)爭(zhēng)性的需求（形式主義）；
4. 能適當(dāng)?shù)啬M了其部署的實(shí)際環(huán)境的社會(huì)和技術(shù)要求（可移植性）；
5. 構(gòu)建異構(gòu)框架(heterogeneously framed)，以包括與本地化公平問(wèn)題相關(guān)的數(shù)據(jù)(技術(shù))和社會(huì)因素影響因子(社會(huì))。
引用：Selbst A D, Boyd D, Friedler S A, et al. Fairness and abstraction in sociotechnical systems[C]. Proceedings of the Conference on Fairness, Accountability, and Transparency. ACM, 2019: 59-68.