Content
- El biaix AI Beauty
- El biaix de gènere en idiomes
- 2. Discriminació de gènere i edat en el lloc de treball
- Falla de reconeixement facial
- Biaix de reincidència
Emportar:
En els darrers anys, la IA ha estat cada cop més adoptada i aplicada a tot, des de valorar la bellesa fins a valorar el risc de reincidència. En aquest sentit, també ha confirmat normes que permeten parcialitat i discriminació en diversos casos.
L’avanç de la tecnologia té el potencial de democratitzar veritablement l’accés a la informació i a l’oportunitat. Tanmateix, quan en alguns casos s’utilitza de maneres que reforcen la idea que a la nostra societat algunes persones són més iguals que d’altres.
Això és el que hem vist a partir dels següents set casos en què la intel·ligència artificial (AI) s’utilitza deliberadament per excloure determinades categories o en les quals simplement reflecteix el biaix incrustat pels seus programadors humans amb un efecte discriminatori.
El biaix AI Beauty
La bellesa pot estar a l’ull de l’espectador, però quan aquesta visió subjectiva pot programar AI, tens un biaix al programa. Rachel Thomas va informar d’un episodi d’aquest tipus en una competició de bellesa de beauty.ai el 2016. Els resultats van demostrar que les pèls més clares eren valorades més atractives que les fosques.
L’any següent, “FaceApp, que utilitza xarxes neuronals per crear filtres per a fotografies, va crear un“ filtre de calidesa ”que va alleugerir la pell de les persones i els va donar més característiques europees.”
El biaix de gènere en idiomes
Thomas també cita un exemple documentat de traduccions que generen expectatives estereotipades de la seva carrera professional. El punt de partida són dues frases: "És doctora. És infermera."
Si els traduïu al turc i torneu a l'anglès, obtindreu el tipus de resultats que podríeu esperar d'un joc de telèfon.
En comptes d’aconseguir amb el que vas començar, tindries la esperança dels anys cinquanta, "És un metge. És una infermera". Ella explica que es deu al pronom singular neutre de gènere en llengua turca que assignarà gènere en funció de les expectatives i el biaix estereotipat. (Llegiu les dones en IA: reforçar el sexisme i els estereotips amb tecnologia).
Si bé el biaix racial i el sexe filtrat en imatges i llenguatge són motius de vexació, no són el mateix el fet que la discriminació activa derivada de la IA, però també ho ha passat.
La seva prova va ser una captura de pantalla de les limitacions previstes per a un anunci de la seva categoria d’habitatge que va permetre l’opció d’aconseguir restringir el públic comprovant exclusions de categories com ara afroamericans, asiàtics o hispànics. L'anunci es pot veure aquí.
Tal com assenyala ProPublica, l'efecte discriminatori d'aquests anuncis és il·legal tant en la Llei de l'habitatge just de 1968 com en la Llei dels drets civils de 1964. L'única defensa en aquest cas va ser que l'anunci no era per a l'habitatge en sí, ja que no ho era. T sobre una propietat o casa en venda o llogada.
Tot i això, hi ha hagut altres casos d’orientació que indiquen biacis racials i que han motivat diverses entitats a portar demandes civils contra la xarxa social. Tal com va informar Wired, finalment va resoldre ajustar la seva tecnologia d’orientació d’anuncis a conseqüència d’un acord de cinc casos legals que l’acusava d’haver permès la discriminació contra les minories mitjançant anuncis el març del 2019.
En el seu informe sobre la liquidació, l’ACLU va assenyalar com d’insidiosos podrien ser aquests anuncis orientats, ja que les minories i les dones ni tan sols s’adonen que no se’ls dóna el mateix accés a informació, habitatge i oportunitats laborals que es comparteixen amb homes blancs.
Com que més persones recorren a Internet per trobar feina, apartaments i préstecs, hi ha un risc real que l’orientació d’anuncis es reprodueixi i fins i tot agreuqui els prejudicis racials i de gènere existents a la societat. Imagineu-vos si un empresari opta per mostrar anuncis per a treballs d’enginyeria només als homes, no només els usuaris que no s’identifiquen com a homes no veuen mai aquests anuncis, sinó que mai sabran el que van perdre.
Al cap i a la fi, poques vegades tenim una manera d’identificar els anuncis que no veiem en línia. Que aquesta discriminació sigui invisible per als usuaris exclosos fa que sigui més difícil aturar-la.
2. Discriminació de gènere i edat en el lloc de treball
Entre els casos legals hi havia la discriminació il·legal en l’orientació de l’habitatge. En el seu informe sobre la liquidació, ProPublica va dir que ha provat la plataforma i que ha aconseguit comprar "anuncis relacionats amb l'habitatge en grups exclosos com ara afroamericans i jueus, i anteriorment ha trobat anuncis de treball que excloien els usuaris per edat i sexe classificats per les empreses que són noms de la llar. "
Alguns anuncis de treballs de l’ACLU van trobar que estaven dirigits explícitament només a homes d’una franja d’edat en concret, ja que els usuaris podrien trobar clic en la resposta per a què se’ls va mostrar aquell anunci concret, en un altre article amb fil. L’ACLU va acusar la Comissió d’Igualtat d’Oportunitats de Treball contra la xarxa social i les empreses que van publicar els anuncis per la vulneració de les lleis laborals i de drets civils.
La discriminació contra la contractació de majors de 40 anys viola la Llei federal de discriminació en matèria d'edat (ADEA). Però l’orientació dels anuncis laborals només a persones inferiors a aquesta edat és una de les coses habilitades per la plataforma.
ProPublica va posar en relleu un dels seus informes que va exposar quins anuncis laborals van aprofitar aquesta exclusió il·legal per edats. Els "noms domèstics" inclouen Verizon, SAI, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fund For The Public Interest, Goldman Sach, OpenWorks i, entre d'altres.
Falla de reconeixement facial
"El reconeixement facial és precís, si sou un noi blanc", va declarar el titular d'un article del New York Times publicat el febrer de 2018. Es citava resultats que van trobar una correlació clara entre el to de la pell i la identificació defectuosa:
"Com més fosca és la pell, més errors es produeixen, fins a gairebé el 35% per a les imatges de dones de pell més fosca, segons un nou estudi que trenca un terreny fresc mitjançant la mesura de com funciona la tecnologia en persones de diferents races i gènere".
Les conclusions s’acrediten a Joy Buolamwini, investigador del MIT Media Lab i fundador de la Lliga de Justícia Algorítmica (AJL). El seu àmbit d’investigació és el biaix que es basa en l’IA, donant lloc a resultats tan desordenats a l’hora de reconèixer cares que no s’ajusten a la norma masculina blanca establerta per al model.
Buolamwini va presentar el problema de biaix racial i de gènere per al reconeixement facial en una xerrada TED del 2017, a la qual es va referir al seu principi de 2018 al vídeo sobre El projecte de les ombres de gènere del MIT Lab:
<
El que s'explica a la descripció del vídeo és que el fet de deixar el biaix de la IA sense marcar, "incomplirà l'edat de l'automatització i agreujarà encara més la desigualtat si es deixa de fer". Els riscos no són menys que "perdre els beneficis aconseguits amb el moviment dels drets civils i el moviment de les dones sota la falsa suposició de la neutralitat de la màquina".
La descripció del vídeo afegeix l’advertència que han apuntat moltes altres persones, tal com hem vist a Women in AI: Reinforcing Sexism and Stereotypes with Tech: "Els sistemes automatitzats no són inherentment neutres. Reflecteixen les prioritats, preferències i prejudicis codificats. mirada: dels que tenen el poder de modelar la intel·ligència artificial ".
El 25 de gener de 2019, Buolamnwini va publicar una publicació mitjana que es basava en les seves pròpies investigacions i la d’investigadors addicionals que assenyalen com els defectes d’AI tenen com a resultat errors en el Rekognition d’Amazon i van exigir a la companyia que deixés de vendre el servei d’AI als departaments de policia.
Si bé Rekognition pot presumir del 100% de precisió per reconèixer els homes de pell clara i un 98,7% de precisió, fins i tot per als homes més foscos, quan es tractava de femelles, la precisió va baixar fins al 92,9% per a les dones més clares. Encara més fulgurant va ser la caiguda brusca fins a només un 68,6% de precisió per a les dones més fosques.
Però Amazon es va negar a cedir-se. Un article de Venture Beat va citar una declaració del doctor Matt Wood, director general d'aprenentatge profund i IA d'AWS, en la qual va insistir que les troballes dels investigadors no reflectien com s'utilitza la IA realment, explicant:
"L'anàlisi facial i el reconeixement facial són completament diferents pel que fa a la tecnologia subjacent i a les dades que s'utilitzen per entrenar-les. Es tracta d’utilitzar anàlisis facials per avaluar la precisió del reconeixement facial, ja que no és l’algoritme previst per a aquest propòsit ”.
Però no són només els afiliats a centres de recerca importants els que han trobat que els algoritmes són molt problemàtics. L’ACLU va realitzar la seva pròpia prova a un cost més raonable de 12,33 dòlars, segons l’informe de Gizmodo. Es va trobar que la Rekognició es corresponia amb 28 membres del Congrés amb fotografies de criminals.
"Les falses identificacions es van fer quan l'ACLU del Nord de Califòrnia va encarregar Rekognition amb fotografies coincidents dels 535 membres del Congrés contra 25.000 fotos disponibles públicament."
Com que 11 dels 28 eren persones de colors, reflectia un percentatge d’error important del 39%. En canvi, la taxa d’error en el seu conjunt va ser d’un 5% més acceptable. Sis membres del Black Caucus del Congrés, que es trobaven entre els que es van reproduir relacionats amb cops de foc, van expressar la seva preocupació en una carta oberta al director general d'Amazon.
Biaix de reincidència
El biaix incrustat en IA contra persones de color es converteix en un problema més greu quan significa més que un simple error d'identificació. Aquesta va ser la conclusió d’una altra investigació de ProPublica el 2016. Les conseqüències d’aquest biaix no són res més que la llibertat individual associada a ignorar el risc real de la persona a qui l’algoritme afavoreix el color de la pell.
L’article es referia a dos casos paral·lels en què hi havia un autor blanc i un negre. Es va utilitzar un algorisme per predir quin era probable que incomplís de nou la llei. El negre ha estat qualificat com un risc elevat, i el blanc un risc baix.
La predicció es va equivocar completament, i el blanc que es va alliberar va haver de tornar a ser empresonat. Això és extremadament problemàtic perquè els tribunals es basen en la puntuació per decidir la llibertat condicional, i això significa que el biaix racial inclòs en el programa significa un tractament desigual segons la llei.
ProPublica va posar l'algoritme a prova pròpia, comparant els índexs de risc de més de 7.000 persones que van ser arrestades al comtat de Broward, Florida, el 2013 i 2014 amb el nombre de nous càrrecs penals contra ells en els dos anys següents.
El que van trobar és que només un 20% de les prediccions per repetir crims de naturalesa violenta es van fer realitat, i més delictes menors només es van produir per al 61% dels que presentaven puntuació amb risc.
El veritable problema no és només la falta d'exactitud, sinó el biaix racial que comporta:
- La fórmula era particularment probable que indiqués falsament els acusats negres com a futurs delinqüents, etiquetant-los així d'aquesta manera a gairebé el doble de la taxa que els acusats blancs.
- Els acusats blancs es van creure erròniament com a baix risc més sovint que els acusats negres.
En efecte, això es va traduir en un índex d’error del 45% per a les persones negres i del 24% per a les persones blanques. Malgrat aquesta claríssima estadística, Thomas va informar que la Cort Suprema de Wisconsin encara va confirmar l'ús d'aquest algorisme. També detalla altres problemes associats als algorismes de reincidència.