Dirbtinis intelektas turi šališkumo problemą, ir tai mūsų kaltė

2016 m. Bostono universiteto ir „Microsoft“ tyrėjai dirbo dirbtinio intelekto algoritmais, kai atrado rasistines ir seksistines tendencijas technologijose, pagrindžiančiose kai kurias populiariausias ir kritiškiausias paslaugas, kuriomis naudojamės kiekvieną dieną. Apreiškimas prieštaravo tradicinei išmonei, kad dirbtinis intelektas nepatiria lyties, rasės ir kultūrinių išankstinių nusistatymų, kuriuos mes, žmonės, darome.

Tyrėjai padarė šį atradimą tyrinėdami žodžių įterpimo algoritmus - tokį AI tipą, kuris nustato koreliacijas ir ryšius tarp skirtingų žodžių, analizuodamas didelius teksto rinkinius. Pavyzdžiui, išmokytas žodžių įterpimo algoritmas gali suprasti, kad žodžiai gėlėms yra glaudžiai susiję su maloniais jausmais. Praktiškesniame lygmenyje žodžių įterpimas supranta, kad terminas „kompiuterinis programavimas“ yra glaudžiai susijęs su „C ++“, „JavaScript“ ir „į objektą orientuota analize ir projektavimu“. Ši funkcija, integruota į nuskaitymo atnaujinimo programą, leidžia darbdaviams surasti kvalifikuotus kandidatus su mažiau pastangų. Paieškos sistemose jis gali suteikti geresnių rezultatų pateikdamas turinį, kuris semantiškai susijęs su paieškos terminu.

BU ir „Microsoft“ tyrėjai nustatė, kad žodžių įterpimo algoritmai turėjo probleminių paklaidų, pvz., „Kompiuterio programuotojo“ susiejimas su vyriškais įvardžiais ir „namų ruošos“ ryšys su moteriškais. Jų išvados, kurias jie paskelbė tiriamajame darbe, pavadinimu „Vyras yra kompiuterio programuotojas, o moteris - namų tvarkytoja?“ buvo vienas iš kelių pranešimų, kuriais buvo paneigtas AI neutralumo mitas ir paaiškinta algoritminė paklaida - reiškinys, kuris pasiekia kritines dimensijas, kai algoritmai vis labiau įsitraukia į mūsų kasdienius sprendimus.

Algoritminio šališkumo ištakos

Kompiuterių mokymosi ir giluminio mokymosi algoritmai yra šiuolaikinės programinės įrangos, kuria valdoma AI, pagrindas. Priešingai nei tradicinė programinė įranga, veikianti remiantis iš anksto nustatytomis ir patikrintomis taisyklėmis, gilus mokymasis sukuria savo taisykles ir mokosi pagal pavyzdį.

Pavyzdžiui, norėdami sukurti vaizdo atpažinimo programą, pagrįstą giliu mokymu, programuotojai „treniruoja“ algoritmą, pateikdami jį etikečių duomenimis: šiuo atveju nuotraukos pažymėtos objekto, kuriame yra, pavadinimu. Kai algoritmas pateiks pakankamai pavyzdžių, jis gali išsiaiškinti panašius duomenis ženklinančius duomenis ir naudoti tą informaciją nepaženklintiems pavyzdžiams klasifikuoti.

Šis mechanizmas leidžia giliai mokytis atlikti daugybę užduočių, kurių praktiškai neįmanoma atlikti naudojant taisyklėmis pagrįstą programinę įrangą. Bet tai taip pat reiškia, kad giliai besimokanti programinė įranga gali paveldėti slaptą ar akivaizdų šališkumą.

„AI algoritmai nėra savaime šališki“, - sako profesorius Venkateshas Saligrama, dėstantis Bostono universiteto Elektros ir kompiuterinės inžinerijos katedroje ir dirbantis su žodžių įterpimo algoritmais. "Jie turi deterministinį funkcionalumą ir rinksis bet kokias tendencijas, jau egzistuojančias duomenyse, kuriais jie treniruojasi."

Bostono universiteto tyrinėtojų išbandyti žodžių įterpimo algoritmai buvo išmokyti šimtams tūkstančių straipsnių iš „Google News“, „Wikipedia“ ir kitų internetinių šaltinių, kuriuose giliai įklijuoti socialiniai šališkumai. Pavyzdžiui, dėl to, kad technologijų pramonėje vyrauja plati kultūra, vyrų vardai dažniau kyla su technologijomis susijusiais darbais - tai paskatino algoritmus susieti vyrus su tokiomis užduotimis kaip programavimas ir programinės įrangos inžinerija.

„Algoritmai neturi žmogaus proto galios atskirti teisę nuo neteisingo“, - priduria Tolga Bolukbasi, BU paskutinio kurso doktorantė. Žmonės gali įvertinti mūsų elgesio moralę, net tada, kai nusprendžiame elgtis priešingai etinėms normoms. Tačiau algoritmams svarbiausias veiksnys yra duomenys.

Saligrama ir Bolukbasi nebuvo pirmieji, kurie sukėlė aliarmą dėl šio šališkumo. „IBM“, „Microsoft“ ir Toronto universiteto tyrėjai 2011 m. Paskelbtame dokumente pabrėžė būtinybę užkirsti kelią algoritminiam diskriminavimui. Tuomet algoritmų šališkumas buvo ezoterinis rūpestis, o gilus mokymasis vis dar neatliko kelio į pagrindinius dalykus. Vis dėlto šiandien algoritminis šališkumas jau palieka žymę daugeliui dalykų, kuriuos mes darome, pavyzdžiui, skaitydami naujienas, susirasdami draugus, pirkdami internete ir žiūrėdami vaizdo įrašus „Netflix“ ir „YouTube“.

Algoritminio šališkumo poveikis

2015 m. „Google“ turėjo atsiprašyti po to, kai algoritmai, paleidę programą „Photos“, pažymėjo du juodaodžius kaip gorillas - galbūt todėl, kad jos mokymo duomenų rinkinyje nebuvo pakankamai juodaodžių nuotraukų. 2016 m. Iš 44 grožio konkurso, kurį įvertino AI, laimėtojų beveik visi buvo balti, keli buvo azijietiški ir tik vienas turėjo tamsią odą. Vėlgi, priežastis buvo ta, kad algoritmas dažniausiai buvo treniruojamas su baltų žmonių nuotraukomis.

„Google“ nuotraukos, jūs visi pakliuvom. Mano draugas nėra gorila. pic.twitter.com/SMkMCsNVX4

- jackyalciné čia nelabai reaguoja. DM (@jackyalcine), 2015 m. Birželio 29 d

Visai neseniai atlikus „IBM“ ir „Microsoft“ veido analizės tarnybų testą nustatyta, kad bendrovių algoritmai beveik nepriekaištingi nustatant šviesios odos vyrų lytį, tačiau dažnai suklydę, kai buvo pateiktos tamsios odos moterų nuotraukos.

Nors šie įvykiai greičiausiai padarė nereikšmingą žalą, to paties negalima pasakyti apie PG algoritmus svarbesnėse srityse, tokiose kaip sveikatos priežiūra, teisėsauga ir įdarbinimas. 2016 m. „ProPublica“ atliktas tyrimas nustatė, kad COMPAS - AI valdoma programinė įranga, vertinanti nusikaltėlių recidyvizmo riziką - buvo šališka prieš spalvotus žmones. Šis atradimas buvo ypač susijęs su tuo, kad kai kurių valstijų teisėjai naudojasi COMPAS, kad nustatytų, kas vaikšto laisvas ir kas lieka kalėjime.

Kitu atveju „Google“ reklamos platformos, kuriamos pagal giluminio mokymosi algoritmus, tyrime nustatyta, kad vyrai dažniausiai rodė gerai apmokamų darbo skelbimų nei moterys. Atskirame tyrime nustatyta panaši problema su „LinkedIn“ darbo skelbimais. Dar vienas tyrimas parodė, kad šališki įdarbinimo algoritmai 50 proc. Labiau linkę siųsti kvietimą į pokalbį asmeniui, kurio vardas yra Europos amerikietis, nei asmeniui, turinčiam afroamerikietį.

Tokios sritys kaip paskolų tvirtinimas, kredito reitingas ir stipendijos susiduria su panašiomis grėsmėmis.

Dėl algoritminio šališkumo dar daugiau nerimo kyla dėl to, kaip jis gali sustiprinti socialinius šališkumus. Atsižvelgiant į iliuziją, kad AI yra šalta, matematiniai skaičiavimai neturi išankstinio nusistatymo ar šališkumo, žmonės gali linkti pasitikėti algoritminiu vertinimu, jo nekvestionuodami.

Interviu „Wired UK“ Edinburgo Napierio universiteto kriminologijos dėstytojas Andrewas Wooffas pastebėjo, kad „laiko spaudimo reikalaujantis ir daug išteklių reikalaujantis“ tvarkos palaikymo pasaulis teisėsaugos pareigūnams gali priversti per daug pasitikėti algoritminiais sprendimais. „Aš įsivaizduoju situaciją, kai policijos pareigūnas gali labiau pasikliauti sistema, o ne savo pačių sprendimų priėmimo procesais“, - sakė jis. "Iš dalies taip gali būti, kad tu gali pateisinti sprendimą, kai kažkas nutinka ne taip".

Pasikliaudami neobjektyviais algoritmais, sukuriama grįžtamojo ryšio kilpa: Mes priimame sprendimus, kuriais sukuriame daugiau šališkų duomenų, kuriuos ateityje algoritmai analizuos ir mokys.

Toks dalykas jau vyksta socialinės žiniasklaidos tinkluose, tokiuose kaip „Facebook“ ir „Twitter“. Algoritmai, kuriuose veikia naujienų kanalai, sukuria „filtrų burbulus“, kuriuose rodomas turinys, atitinkantis vartotojų nuostatas ir šališkumą. Dėl to jie gali būti mažiau tolerantiški priešingų nuomonių atžvilgiu ir taip pat gali dar labiau poliarizuoti visuomenę, spręsdami pleištą per politinę ir socialinę atskirtį.

„Algoritminis šališkumas gali paveikti bet kurią grupę“, - sako Jenn Wortman Vaughan, „Microsoft“ vyresnioji tyrėja. "Grupėms, kurių duomenys nepakankamai atstovaujami, gali būti ypač iškilusi rizika."

Tose srityse, kurios jau žinomos dėl šališkumo, pavyzdžiui, technologijų pramonės endeminė moterų diskriminacija, AI algoritmai gali paryškinti tuos šališkumus ir lemti tolesnį nepakankamai atstovaujamų grupių marginalizavimą.

Sveikata yra dar viena kritinė sritis, pabrėžia Wortmanas. „Tai gali sukelti rimtų problemų, jei mašininio mokymosi algoritmas, naudojamas medicininei diagnozei nustatyti, yra mokomas pagal vienos populiacijos duomenis ir dėl to netinkamai veikia kiti“, - sako ji.

Neobjektyvumas taip pat gali pakenkti subtiliau. „Praėjusiais metais planavau paimti dukrą į kirpimą ir internete ieškoti įkvėpimo„ mažų kirpimų “atvaizdams“, - sako Wortmanas. Grąžinti vaizdai buvo beveik visi balti vaikai, daugiausia tiesiais plaukais, ir, kas labiau stebina, pirmiausia berniukai, pastebėjo ji.

Ekspertai šį reiškinį vadina „reprezentacine žala“: kai technologijos sustiprina stereotipus arba sumažina tam tikras grupes. „Sunku kiekybiškai įvertinti ar išmatuoti tikslų tokio šališkumo poveikį, tačiau tai nereiškia, kad tai nėra svarbu“, - sako Wortmanas.

Šalinant šališkumą iš AI algoritmų

Didėjančios kritinės PG šališkumo pasekmės atkreipė kelių organizacijų ir vyriausybės organų dėmesį, o imamasi tam tikrų teigiamų žingsnių sprendžiant etines ir socialines problemas, susijusias su PG naudojimu skirtingose ​​srityse.

„Microsoft“, kurios produktai labai priklauso nuo AI algoritmų, prieš trejus metus pradėjo tyrimų projektą pavadinimu Sąžiningumas, atskaitomybė, skaidrumas ir etika AI (FATE), kurio tikslas - suteikti vartotojams galimybę naudotis patobulintomis įžvalgomis ir AI teikiamų paslaugų efektyvumu be diskriminacijos ir šališkumas.

Kai kuriais atvejais, pavyzdžiui, remiantis grožio konkursu, kurį priima AI, AI algoritmo šalto elgesio šaltinį surasti ir ištaisyti gali būti taip paprasta, kaip patikrinti ir pakeisti nuotraukas mokymo duomenų rinkinyje. Bet kitais atvejais, pavyzdžiui, žodžių įterpimo algoritmuose, kuriuos ištyrė Bostono universiteto tyrėjai, šališkumas mokymo duomenyse yra įspaustas subtiliau.

BU komanda, prie kurios prisijungė „Microsoft“ tyrėjas Adomas Kalai, sukūrė metodą, kaip žodžių įterpimus klasifikuoti pagal jų lyties kategorijas ir nustatyti analogijas, kurios galėjo būti šališkos. Tačiau jie nepriėmė galutinio sprendimo ir vykdys kiekvieną įtariamą asociaciją po 10 žmonių „Mechan Turk“, „Amazon“ internetinėje duomenų bazėje, skirtoje su duomenimis susijusioms užduotims atlikti, veiklai, kurie nuspręs, ar asociacija turėtų būti pašalinta, ar ne.

„Mes nenorėjome į procesą įtraukti savo šališkumo“, - sako Saligrama, BU profesorius ir tyrėjas. "Mes tiesiog pateikėme įrankius probleminėms asociacijoms atrasti. Žmonės priėmė galutinį sprendimą."

Neseniai paskelbtame dokumente Kalai ir kiti tyrėjai pasiūlė naudoti atskirus algoritmus klasifikuoti skirtingas žmonių grupes, o ne naudoti tas pačias priemones visiems. Šis metodas gali būti efektyvus srityse, kuriose esami duomenys jau yra šališki konkrečios grupės naudai. Pvz., Algoritmai, kurie vertintų kandidates į programavimo darbą, naudotų kriterijus, kurie geriausiai tinka tai grupei, užuot naudoję platesnį duomenų rinkinį, kuriam didelę įtaką daro esamos paklaidos.

„Microsoft Wortman“ integraciją AI pramonėje laiko būtinu žingsniu kovojant su algoritmų šališkumu. „Jei norime, kad mūsų AI sistemos būtų naudingos visiems, o ne tik tam tikriems demografiniams rodikliams, tada įmonėms reikia samdyti įvairias komandas, kad jos dirbtų su AI“, - sako ji.

2006 m. Wortman padėjo įkurti „Moterys mašinose“ (WiML), rengiančias kasmetinį seminarą, kuriame moterys, studijuojančios ir dirbančios AI pramonėje, gali susitikti, užmegzti ryšius, keistis idėjomis ir dalyvauti diskusijose su vyresnio amžiaus pramonės ir akademinės bendruomenės moterimis. Panašios pastangos yra naujas „Black in AI Workshop“, kurį įkūrė kitas „Microsoft“ tyrėjas Timnit Gebru, kurio tikslas yra sukurti įvairesnius talentus AI.

Bostono universiteto Bolukbasi taip pat siūlo pakeisti tai, kaip AI algoritmai sprendžia problemas. "Algoritmai parinks taisyklių rinkinį, kuris maksimaliai padidins jų tikslą. Gali būti daugybė būdų, kaip pasiekti tą patį išvadų rinkinį tam tikroms įvesties išvesties poroms", - sako jis. "Imkite kelių pasirinkimų testų pavyzdį žmonėms. Netinkamai mąstydami galite gauti teisingą atsakymą, tačiau vis dėlto gaukite tą patį balą. Aukštos kokybės testas turėtų būti sukurtas taip, kad šis poveikis būtų kuo mažesnis, tik leisdami žmonėms, kurie tikrai žinokite dalyką, kad gautumėte teisingus balus. Algoritmų suvokimas apie socialinius apribojimus gali būti vertinamas kaip šio pavyzdžio analogas (nors ir ne tikslus), kai neteisingai nustatytos taisyklės išmokimas už tikslą nubaudžiamas. Tai yra nuolatinis ir sudėtingas tyrimas. tema “.

AI neskaidrumas apsunkina sąžiningumą

Kitas iššūkis, leidžiantis padaryti AI algoritmus teisingesnius, yra „juodosios dėžės“ reiškinys. Daugeliu atvejų įmonės pavydi saugo savo algoritmus: Pavyzdžiui, nusikaltimų prognozavimo programinės įrangos COMPAS gamintojas „Northpointe Inc.“ atsisakė atskleisti savo patentuotą algoritmą. Vieninteliai žmonės, kuriems rūpi COMPAS vidinis veikimas, yra jo programuotojai, o ne teisėjai, kurie naudojasi juo, kad priimtų sprendimą.

Be įmonių paslapties, PG algoritmai kartais tampa tokie susukti, kad jų sprendimo priežastys ir mechanizmai apeina net jų kūrėjus. Jungtinėje Karalystėje Durhamo policija naudoja AI sistemą HART, kad nustatytų, ar įtariamiesiems yra maža, vidutinė ar didelė rizika per kitus dvejus metus įvykdyti kitus nusikaltimus. Tačiau 2017 m. Akademinėje HART apžvalgoje pastebėta, kad „neskaidrumo atrodo sunku išvengti“. Iš dalies taip yra dėl to, kad sistema naudojasi dideliu duomenų kiekiu ir įvairove, todėl sunku analizuoti savo sprendimų priežastis. „Šios detalės galėtų būti laisvai prieinamos visuomenei, tačiau norint jas suprasti, prireiks daug laiko ir pastangų“, - rašoma dokumente.

Kelios įmonės ir organizacijos, siekdamos skaidrumo, stengiasi suteikti AI skaidrumo, įskaitant „Google“, kuri paleido „GlassBox“ - iniciatyvą, kuria siekiama, kad mašinų mokymosi algoritmai būtų suprantamesni, neprarandant išvesties kokybės. Gynybos pažangiųjų tyrimų projektų agentūra (DARPA), kuri prižiūri AI naudojimą kariuomenėje, taip pat finansuoja pastangas, kad AI algoritmai galėtų paaiškinti savo sprendimus.

Kitais atvejais kovojant su šališkumu bus lemiamas žmogaus vertinimas. Norėdami išvengti esamų rasinių ir socialinių žmonių šališkumų įsiskverbimo į HART algoritmus, „Durham Constabulary“ savo personalo nariams surengė sąmoningumo sesijas apie nesąmoningą šališkumą. Policijos pajėgos taip pat ėmėsi veiksmų pašalinti tokius duomenų taškus kaip rasinės savybės, kurie galėtų sudaryti pagrindą šališkiems sprendimams.

Žmogaus atsakomybė

Žiūrint iš kitos perspektyvos, AI algoritmai gali suteikti galimybę apmąstyti mūsų pačių šališkumą ir išankstines nuostatas. „Pasaulis yra šališkas, istoriniai duomenys yra šališki, todėl nenuostabu, kad gauname neobjektyvių rezultatų“, - „ The Guardian“ pasakojo Sandra Wachter, Oksfordo universiteto duomenų etikos ir algoritmų tyrinėtoja.

„Wachter“ yra tyrimo grupės iš Alano Turingo instituto Londone ir Oksfordo universiteto dalis, paskelbusi dokumentą, raginantį reglamentus ir institucijas ištirti galimą diskriminaciją pagal AI algoritmus.

Kalbėdama su „ The Guardian“ , Joanna Bryson, Batho universiteto kompiuterinė mokslininkė ir tyrimo dokumento apie algoritminį šališkumą bendraautorė, sakė: „Daugelis žmonių sako, kad rodo, kad AI yra nusistatęs. Ne. Tai rodo, kad mes esi nusistatęs ir kad AI to mokosi “.

2016 m. „Microsoft“ išleido „Tay“, „Twitter“ žiniatinklio programą, kuri turėjo mokytis iš žmonių ir įsitraukti į protingus pokalbius. Tačiau per 24 valandas nuo Tay pasirodymo „Microsoft“ turėjo jį išjungti, kai pradėjo skleisti rasistinius komentarus, kuriuos ji pasiėmė iš savo pokalbių su „Twitter“ vartotojais. Galbūt tai yra priminimas, kad praeitis laikas, kad mes žmonės pripažintume savo vaidmenį algoritminio šališkumo reiškinyje ir skleidime bei imamės bendrų veiksmų, kad panaikintume jo poveikį.

„Tai labai sudėtinga užduotis, tačiau tai yra atsakomybė, kurios mes, kaip visuomenė, neturėtume vengti“, - sako Wachteris.