Kaip „Google“ dėlionė bando detoksikuoti internetą

Internetas gali jaustis kaip toksiška vieta. Troliai nusileidžia komentarų skyriuose ir socialinės žiniasklaidos gijose, siekdami paskatinti neapykantą kurstančias kalbas ir priekabiavimą, paversdami potencialiai šviečiančias diskusijas ad hominem išpuoliais ir grupinėmis grupėmis. Išreikšti savo nuomonę internete dažnai neatrodo verta dėl to gauto vitriolio.

Didžiulės socialinės platformos, įskaitant „Facebook“, „Twitter“ ir „YouTube“, pripažįsta, kad negali tinkamai išspręsti šių problemų. Jie dalyvauja ginklų lenktynėse su robotai, troliai ir visi kiti nepageidaujami dalyviai, kurie paslysta per turinio filtrus. Žmonės fiziškai nėra pajėgūs perskaityti kiekvieno komentaro internete; tie, kurie bando, dažnai to gailisi.

Technikos gigantai eksperimentavo su įvairiais žmogaus saikingumo, AI algoritmų ir filtrų deriniais, kad galėtų atsitverti dėl jų pašarų srauto kiekvieną dieną. Dėlionė bando rasti vidurį. „Alphabet“ dukterinis ir technologijų inkubatorius, anksčiau žinomas kaip „Google Ideas“, pradeda įrodinėti, kad mašininis mokymasis (ML), pritaikytas moderatoriams, gali pakeisti požiūrį į interneto toksiškumo problemą.

Perspektyva yra „Jigsaw“ ir „Google“ kovos su piktnaudžiavimu technologijų komandos sukurta API. Jis naudoja ML norėdamas pastebėti piktnaudžiavimą ir priekabiavimą internete ir vertina komentarus, atsižvelgdamas į tai, kokį poveikį jie gali turėti pokalbiui, siekdamas palengvinti moderatorių gyvenimą.

Perspektyva tarp šaukimo rungtynių

Pirmą kartą atvirojo kodo technologija buvo paskelbta 2017 m., Nors jos plėtra prasidėjo keleriais metais anksčiau. Vienos iš pirmųjų svetainių, kuriose eksperimentuojama su „Perspective“, buvo naujienų leidiniai, tokie kaip „ The New York Times“, ir tokios svetainės, kaip „Wikipedia“. Tačiau neseniai „Perspective“ rado namus tokiose svetainėse kaip „Reddit“ ir komentarų platformoje „Disqus“ (kuri naudojama PCMag.com).

CJ Adams, „Perspective“ produktų vadybininkas, teigė, kad projektu norima ištirti, kaip internete nutildomi žmonių balsai. „Jigsaw“ norėjo ištirti, kaip tikslingas piktnaudžiavimas ar bendra priekabiavimo atmosfera gali sukurti atšaldantį efektą, atbaidydami žmones iki taško, kuriame, jų manymu, neverta nei laiko, nei energijos skirti savo balsui diskusijoje. Ar dažnai jūs matėte tviterį, įrašą ar komentarą ir nusprendėte neatsakyti, nes kovoti su troliais ir tapti „Mad Online“ tiesiog neverta apsunkinti?

„Labai lengva sugadinti internetinį pokalbį“, - sakė Adamsas. "Įšokti lengva, bet vienas žmogus, būdamas išprotėjęs ar toksiškas, gali išstumti kitus balsus. Gal 100 žmonių skaito straipsnį ar pradeda diskusiją. Dažnai kambaryje būna vieninteliai garsūs balsai, internete, kuris yra optimizuotas mėgstantiems dalytis ir dalytis. Taigi jūs tyliai nutildote visus šiuos balsus. Tada tai, kas apibūdina diskusijas, yra tik garsiausias kambario balsas - šaukiančios rungtynės “.

Dėlionė ir „Google“

„Jigsaw“ dukterinei įmonei „Google“, kuriai iškilo sunkumų dėl duomenų saugumo problemų, darbuotojų pastangų įsitraukti į Pentagono ir Kinijos projektus ir atskleisti apie seksualinio priekabiavimo elgesį, praėjo sunkūs metai. Jau nekalbant apie ginčytiną Kongreso posėdį, kuriame generalinis direktorius Sundaras Pichai buvo apkeptas įstatymų leidėjų.

Įspūdingo abėcėlės inkubatoriaus „Jigsaw“ metu viskas buvo šiek tiek mažiau dramatiška. Komanda praleido laiką nagrinėdama daugiau techninių cenzūros formų, tokių kaip DNS apsinuodijimas naudojant „Intra app“ ir DDoS atakos su „Project Shield“. Žiūrint iš perspektyvos, tikslas yra abstraktesnis. Užuot naudodamasis mašininiu mokymu, siekdamas nustatyti, kas yra ar ne prieštarauja tam tikram taisyklių rinkiniui, perspektyvos iššūkis yra intensyviai subjektyvus: klasifikuoji emocinį kalbos poveikį.

Norėdami tai padaryti, jums reikalingas natūralus kalbos apdorojimas (NLP), kuris skaido sakinį, kad būtų galima pastebėti modelius. Perspektyvos komanda susiduria su tokiomis problemomis kaip patvirtinimo šališkumas, grupinis mąstymas ir priekabiaujantis elgesys aplinkoje, kurioje technologijos padidino jų pasiekiamumą ir apsunkino jų sprendimą.



PG yra „neteisinga ir kvaila kartais“

Gerinti internetinius pokalbius mokantis kompiuteriu nėra paprasta užduotis. Tai vis dar iškylanti tyrimų sritis. Algoritmai gali būti šališki, mašininio mokymosi sistemoms reikalingas begalinis tobulinimas, o sunkiausios ir svarbiausios problemos vis dar neišnagrinėtos.

Tyrimų grupė „Conversation AI“, sukūrusi „Perspektyvą“, prasidėjo nuo susitikimo su laikraščiais, leidėjais ir kitomis svetainėmis, kuriose rengiami pokalbiai. Vienos iš pirmųjų svetainių, kuriose buvo eksperimentuojama su šia technologija, buvo „ The New York Times“ , „Wikipedia“, „ The Guardian“ ir „ The Economist“ .

2017 m. Komanda, naudodama alfa testą, viešoje svetainėje atidarė pradinę „Perspective“ demonstracinę versiją, leisdama žmonėms į svetainę įvesti milijonus apgaulingų ir įžeidžiančių komentarų. Tai buvo panašus į liūdnai pagarsėjusį „Microsoft“ Tay pokalbių programos eksperimentą, išskyrus tai, kad „Jigsaw“, užuot bandžiusi robotą atsakyti į rasistinius tviterius, naudojo minios šaltinio virulentiškumą kaip treniruočių duomenis, kad galėtų pateikti savo modelius, padėdamas nustatyti ir klasifikuoti įvairius internetinės prievartos tipus.

Pirmasis viešas bandomasis bėgimas nepraėjo sklandžiai. Wiredo „Troliai visame Amerikoje“, kuris sumažino toksiškumą komentuodamas visoje šalyje remiantis perspektyvos balais, parodė, kaip algoritmas netyčia diskriminuoja grupes pagal rasę, lytinę tapatybę ar seksualinę orientaciją.

Adamsas atvirai kalbėjo apie tai, kad pirminis „Perspective“ bandymas atskleidė pagrindinius akluosius taškus ir algoritminį paklaidą. Kaip ir „Amazon“ pašalintas įdarbinimo įrankis, kuris mokėsi per dešimtmečius trunkančius klaidingus duomenis apie darbą ir sukūrė įgimtą šališkumą prieš moteris kandidates, ankstyvieji perspektyvos modeliai turėjo akivaizdžių trūkumų dėl duomenų, iš kurių buvo mokomi.

„Dažnai tikslinių grupių pavyzdyje, jei pažiūrėtumėte į pasiskirstymą pagal mokymo duomenų rinkinio komentarus, buvo labai mažai komentarų, kuriuose buvo žodis„ gėjus “arba„ feministė ​​“ir kurie vartojo jį teigiamai. būdas “, - paaiškino Adamsas. "Įžeidžiančiuose komentaruose žodžiai naudojami kaip įžeidimai. Taigi LR, žvelgdama į modelius, pasakytų:" Ei, šio žodžio buvimas yra gana geras prognozė, ar šios nuotaikos yra toksiškos, ar ne."

Pavyzdžiui, pagal alfa algoritmą klaidingai galėjo būti pažymėti teiginiai, tokie kaip „Aš didžiuojuosi gėjumi“ arba „Aš esu feministė ​​ir transseksualė“, turintys aukštus toksiškumo balus. Tačiau viešai skaidrus mokymo procesas, nors ir skausmingas, buvo neįkainojama pamoka dėlionės padariniams, patiriamiems nenumatyto šališkumo, sakė Adamsas.

Treniruojant kompiuterinio mokymosi modelius, susijusius su tokiais bauginančiais ir asmeniškais dalykais, kaip internetinis piktnaudžiavimas ir priekabiavimas, algoritminis šališkumas taip pat pabrėžia, kodėl vien PG nėra sprendimas. Socialinės kompanijos, tokios kaip „Facebook“ ir „YouTube“, minėjo savo platformų PG turinio valdymo funkcijas tik tam, kad būtų išvengta skandalo ir būtų teisingos pasamdydamos tūkstančius moderatorių.

Jigsaw's tack yra abiejų hibridas. Perspektyva nėra AI algoritmai, priimantys sprendimus vakuume; API yra integruota į bendruomenės valdymo ir turinio tvarkymo sąsajas, kad tarnautų kaip pagalbinė priemonė moderatoriams. Perspektyvieji inžinieriai aprašo neapykantos kupiną kalbą su ir be ML, naudodami šieno kupros analogiją: AI padeda automatizuoti rūšiavimo procesą, nugriovė didžiulį šienavimą ir vis tiek suteikia žmonėms galutinį žodį dėl to, ar komentaras laikomas piktnaudžiavimu, ar priekabiavimu.

„Tai yra nauja ML galimybė“, - sakė Adamsas. "Žmonės kalba apie tai, kaip protinga AI, bet dažnai nekalba apie visus būdus, kurie kartais būna neteisingi ir kvaili. Nuo pat pradžių žinojome, kad tai padarys daug klaidų, todėl mes sakėme:" Tai įrankis yra naudingas žmogaus prižiūrimumui mašinomis, tačiau jis nėra pasirengęs priimti automatinius sprendimus. “ Bet norint rasti šią nuodingą kalbą, gali prireikti „adatos šieno kupetoje“ ir priversti ją susiaurinti saują šieno “.



Kas yra toksiškumo balas?

Labiausiai išskiriantis perspektyvos modeliavimo aspektas yra skaičių pateikimas kintamajam kaip subjektyvus kaip „toksiškumas“. Pirmas dalykas, kurį atkreipė Adamsas, yra tai, kad perspektyvos balai rodo tikimybę, o ne sunkumą. Didesnis skaičius rodo didesnę tikimybę, kad teksto modeliai primena modelius komentaruose, kuriuos žmonės pažymėjo kaip toksiškus.

Kalbant apie tai, ką „toksiškas“ iš tikrųjų reiškia, „Perspektyvos“ komanda jį plačiai apibūdina kaip „grubų, nepagarbų ar nepagrįstą komentarą, kuris gali priversti jus palikti diskusiją“. Bet kaip tai pasireiškia, gali būti subtiliai. 2018 metais „Jigsaw“ bendradarbiauja su „Rhodes Artificial Intelligence Lab“ (RAIL), norėdama sukurti ML modelius, kurie galėtų pasirinkti daugiau dviprasmiškų grėsmingų ar neapykantos kupinų kalbų formų, pavyzdžiui, atmestiną, užjaučiantį ar sarkastišką komentarą, kuris nėra atvirai priešiškas.

Iki šiol dauguma „Perspective“ modelių buvo mokomi paprašyti žmonių įvertinti interneto komentarus skalėje nuo „labai toksiška“ iki „labai sveika“. Tada kūrėjai gali sukalibruoti modelį, kad būtų pažymėti komentarai, viršijantys tam tikrą ribą - nuo 0, 0 iki 1, 0. Aukštesnis nei 0, 9 balas rodo didelę toksiškumo tikimybę, o 0, 5 balas ar mažesnis reiškia daug mažesnį algoritminio tikrumo laipsnį. Perspektyva taip pat naudoja tai, kas vadinama balų normalizavimu, kuris kūrėjams suteikia nuoseklų pagrindą, nuo kurio galima aiškinti balus. Adamsas paaiškino, kad priklausomai nuo forumo ar svetainės kūrėjai gali maišyti ir derinti modelius. Taigi, kai bendruomenė neprieštarauja nešvankumui, tą atributą galima pasverti.

Adamsas parodė man demonstracinę modernavimo sąsają, integruotą su Perspective API. Administratoriaus skydelyje šalia parinkčių rūšiuoti komentarus pagal viršuje, naujausioje ir tt esančias parinktis yra maža vėliavėlės piktograma, kad būtų galima rūšiuoti pagal toksiškumą. Taip pat yra įmontuotas grįžtamojo ryšio mechanizmas, skirtas moderatoriui pasakyti, kad Perspektyva neteisingai įvertino komentarą ir laikui bėgant patobulino modelį.

Jis spustelėjo demonstracinę sąsają, skirtą modeliuoti skirtingų perspektyvų modelių įvertintus „Wikipedia Talk“ puslapio komentarus, ir histogramos diagramą, išskaidydama, kurie komentarai gali būti puslapio autoriaus užpuolimas ar ataka prieš kitą komentatorių.

„Mes norime sukurti mašininio valdymo modelius, kad būtų galima pažymėti, kad žmogus gali juos peržiūrėti, tačiau mes nenorime, kad koks nors centrinis apibrėžimas ar kažkas pasakytų, kas yra gerai ir kas blogai“, - sakė A. Adamsas. "Taigi, jei aš rūšiuoju pagal toksiškumą, pastebite, kad komentarai ateina į viršų. Bet jei jums labiau rūpi, tarkime, tapatybės išpuoliai ar grėsmės, o ne metrika, pavyzdžiui, prisiekimas, galbūt nenaudotumėte bendro toksiškumo modelio. Tai yra ingredientus, kuriuos galite maišyti. Mes juos siūlome, o kūrėjai juos pasveria."

RAIL eksperimentas pasirenkamas labiau detalizuotas. Oksfordo grado studentai sukuria dešimčių tūkstančių komentarų duomenų rinkinį iš Kanados laikraščio „ Globe and Mail “ komentarų skyriaus ir „Wikipedia Talk“ puslapių. Jie prašo žmonių „komentatorių“ atsakyti į klausimus apie kiekvieną komentarą, susijusį su penkiais nesveiko turinio požymiais: priešišku ar įžeidžiančiu (troliai), atstumiančiu, užjaučiančiu ar globojančiu, sarkastišku ir nesąžiningu apibendrinimu.

Pasinaudojus šiais subtilesniais požymiais, paaiškėjo naujos sudėtingos problemos, susijusios su netyčiniu šališkumu tam tikroms grupėms ir melagingais teiginiais su sarkastiškais komentarais. Tai yra AI didėjančių skausmų dalis, maitinimo modeliai suteikia vis daugiau duomenų, padedančių suprasti numanomas, netiesiogines žmogaus kalbos reikšmes. Komanda vis dar komentuoja ir komentuoja tūkstančius komentarų, o galutinį duomenų rinkinį planuoja išleisti šių metų pradžioje.

„Tai, ko linkime dirbti, yra tai, kai bendruomenė gali surinkti komentarų rinkinį, o tada mes galime padaryti juos pritaikytu„ Perspective “modelių deriniu“, - sakė Adamsas.



„Reddit“ smalsi testas

„Reddit“ yra viso to, kas gera ir baisu internete, mikrokosmas. Yra subreddit bendruomenė kiekvienai temai ir nišai, keistam susidomėjimui, apie kurį galite pagalvoti. „Jigsaw“ neveikia su „Reddit“ korporatyviniu lygiu, tačiau viena iš labiausiai intriguojančių vietų, kurioje bandomas „Perspective“ AI moderavimas, yra subreditas, vadinamas r / changemyview.

Keista, bet yra interneto kampelių, kuriuose vis dar vyksta tikros diskusijos ir diskusijos. Keisti mano vaizdą arba CMV nepanašus į daugelį kitų subdredų. Idėja yra paskelbti nuomonę, kurią jūs priimate, gali būti ydinga ar atvira, kad pasikeitė, tada išklausyti ir suprasti kitus požiūrio taškus, kad sužinotumėte, ar jie gali pakeisti jūsų mintis šiuo klausimu. Gijos svyruoja nuo kasdienių temų, tokių kaip tinkama „ Žvaigždžių karų“ filmų žiūrėjimo tvarka, iki rimtų diskusijų tokiomis temomis kaip rasizmas, politika, ginklų kontrolė ir religija.

„Change My View“ yra įdomus pavyzdys perspektyvai, nes subredditas turi savo išsamų taisyklių rinkinį, kaip pradėti ir moderuoti pokalbius, kurie skatina diskusiją ir aršias diskusijas. Kal Turnbull, kuris eina per u / Snorrrlax per Reddit, yra „r / changemyview“ įkūrėjas ir vienas iš moderatorių. Turnbull teigė PCMag, kad „Perspective API“ ypač gerai atitinka 2 dalies taisyklę, kuri iš esmės draudžia grubias ar priešiškas kalbas.

„Tai skamba kaip paprasta taisyklė, tačiau joje yra daug niuansų“, - sakė Škotijoje įsikūręs Turnbull. „Sunku automatizuoti šią taisyklę nesąmoningai kalbant. „Reddit“ suteikia jums šį dalyką, vadinamą „AutoModerator“, kur galite nustatyti filtrus ir raktinius žodžius žymėjimui. Tačiau yra tiek daug melagingų teiginių, ir tai gali būti gana sunku pagauti, nes kažkas gali pasakyti blogą žodį neįžeisdamas to, o jie taip pat gali įžeisti nenaudodami jokių blogų žodžių. “

„Jigsaw“ susisiekė su „Turnbull“ 2018 m. Kovo mėn. Bendradarbiavimas prasidėjo vadovaujantis 2 taisykle, tačiau netrukus komanda kūrė ir kitų taisyklių perspektyvos modelius. Tai nėra visiška atvirojo kodo perspektyvos API integracija, o veikiau „Reddit“ programa, leidžianti moderatoriams pažymėti komentarus, įvertintus virš tam tikro toksiškumo slenksčio.

Pastaruosius šešerius metus „Turnbull“ ir kiti moddai visa tai daro rankiniu būdu iš „AutoModerator“ ataskaitų (pažymėtų raktinių žodžių) ir vartotojo ataskaitų eilės. „Jigsaw“ naudojo metų moderatorių pastabas dėl taisyklių pažeidimo, kurias stebėjo naudodamas naršyklės plėtinį, ir sukūrė perspektyvos modelius, pagrįstus šiais duomenimis, kartu su kai kuriais iš esamų „Pers Perspective“ toksiškumo modelių. Visą 2018 m. CMV moduliai teikė grįžtamąjį ryšį tokiomis temomis kaip per didelis melagingų teigiamų teiginių skaičius, o „Jigsaw“ koregavo balų slenksčius ir toliau modeliavo daugiau CMV taisyklių.



Sudėtingi sprendimai diskusijose internete

(Perspektyvinis robotas integruotas į „Reddit“ moderatoriaus sąsają.)

Perspektyva nėra tinkama visiems subreddito taisyklėms. Kai kurios sudėtingesnės ar abstraktesnės taisyklės vis dar nepatenka į tai, ką gali suprasti šis ML tipas.

Pvz., 4 taisyklė reglamentuoja sub-Delta taškų sistemą, o B taisyklė neleidžia vartotojams žaisti velnio gynėjo ar naudoti įrašą „muilo bakstavimui“. Tam, kad būtų reikalaujama modernaus modernavimo, reikalingi kontekstiniai duomenys ir aiškus žmogaus supratimas, norint išsiaiškinti, ar kas nors ginčijasi dėl tikrų priežasčių ar tiesiog velkasi.

Artimoje ateityje mums vis dar reikės žmonių modų. Šie sudėtingesni sprendimo scenarijai yra tokie, kai CMV moderatoriai pradeda pastebėti AI modeliavimo įtrūkimus, o sumanesnė automatizacija galėtų nustatyti, ar visa tai yra keičiama.

"Manau, priežastis, kodėl tai yra tokia sudėtinga, yra tai, kad tai yra mūsų sprendimo dėl jų pradinio įrašo ir jų bendravimo per visą pokalbį derinys. Taigi modelį sužadina ne vienas komentaras", - sakė Turnbull. "Jei argumentas eina pirmyn ir atgal, o pabaigoje yra komentaras, kuriame sakoma" ačiū "arba pripažinimas, mes jį paleidžiame, net jei taisyklė buvo sulaužyta anksčiau. Arba lengvabūdiškas pokštas, kad kontekste gali pasirodyti grubus - tai gražus mažas žmogiškas dalykas, o robotas to dar negauna “.

„Change My View“ yra vienintelis subdreditas, šiuo metu moderuojantis „Perspective ML“ modelius, nors Adamsas teigė, kad komanda gavo prieigos užklausas iš kelių kitų. Specifinis CMV taisyklių rinkinys padarė jį idealiu bandymo pavyzdžiu, tačiau perspektyviniai modeliai yra kaltiniai; atskiri subdreditai gali pritaikyti vertinimo algoritmą, kad atitiktų jų bendruomenės gaires.

Kitas žingsnis „Turnbull“ yra CMV pašalinimas iš „Reddit“, nes bendruomenė jį išauga. Pastaruosius šešis mėnesius moderatorių naujai suformuotas paleistas kompiuteris dirbo su „Jigsaw“ tam skirtoje svetainėje, turinčioje gilesnes funkcijas nei „Reddit“ mod sąsaja ir robotai.

Projektas vis dar tik bando alfa versiją, tačiau „Turnbull“ kalbėjo apie tokias funkcijas, kaip proaktyvūs perspėjimai, kai vartotojas įveda komentarą, kuris gali pažeisti taisyklę, įmontuota ataskaita, kad moderatoriams būtų daugiau konteksto, ir istoriniai duomenys priimant sprendimus. Turnbull pabrėžė, kad neketina uždaryti ar perkelti subreddito, tačiau jis džiaugiasi naujuoju eksperimentu.

• Visi komentarai tinka spausdinti

  Atsižvelgiant į savaitės dieną, „ The New York Times“ svetainė sulaukia 12 000–18 000 komentarų. Iki 2017 m. Vidurio popieriaus komentarų skyrius tvarkė visu etatu dirbantys bendruomenės vadybos darbuotojai, kurie perskaitė kiekvieną komentarą ir nusprendė, ar jį patvirtinti, ar atmesti.

  Bassey Etim, kuris iki šio mėnesio buvo „ Times“ bendruomenės redaktorius, dešimtmetį praleido prie bendruomenės stalo ir nuo 2014 m. Buvo jos redaktorė. Savaitės dienos įkarštyje komandoje gali būti keli žmonės, kurstantys nuomonių istorijų komentarus, o kiti nagrinėjo naujienų istorijas. Skaičiuoklė išsiskyrė ir stebėjo skirtingas pareigas, tačiau maždaug keliolikos žmonių komanda buvo nuolat paskirstoma ar judama aplink, atsižvelgiant į svarbiausias naujienas. Jie taip pat pateikė pastabas žurnalistams apie galimą istorijos pašarą.

  Galų gale tapo aišku, kad tai galėjo atlikti daugiau nei 12 žmonių. Istorijų komentarų skyriai turėtų būti uždaryti pasiekus maksimalų komentarų, kuriuos komanda galėtų įvertinti, skaičių.

  Laikraščio auditorijos kūrimo grupė jau eksperimentavo su mašininiu mokymu, kad gautų pagrindinius, akivaizdžius komentarų patvirtinimus, tačiau Etimas teigė, kad jis nebuvo ypač protingas ar pritaikomas. Pirmą kartą „The Times“ paskelbė apie savo partnerystę su „Jigsaw“ 2016 m. Rugsėjo mėn. Nuo tada jos komentarų skiltys išsiplėtė nuo rodomos mažiau nei 10 procentų visų istorijų iki maždaug 30 procentų šiandien ir kylančios.

  Dėlionės požiūriu, inkubatorius pamatė galimybę pateikti perspektyvos anoniminius duomenis iš milijonų komentarų per dieną, juos moderavo specialistai, kurie galėtų padėti patobulinti procesą. Mainais į anoniminius ML mokymų duomenis „Jigsaw“ ir „ Times“ kartu kūrė platformą, vadinamą moderatoriumi, kuri pradėjo veikti 2017 m. Birželio mėn.



„Inside Moderator“, NYT komentarų sąsaja

(„ The New York Times“ atvaizdas malonus )

Moderatorius sujungia „Perspective“ modelius su daugiau nei 16 milijonų anonimizuotų, moderuotų „ Times“ komentarų, grįžusių į 2007 m.

Tai, ką bendruomenės komanda iš tikrųjų mato moderatoriaus sąsajoje, yra prietaisų skydas su interaktyvia histogramos diagrama, vaizduojančia komentaro suskirstymą virš tam tikro slenksčio. Jie, pavyzdžiui, gali vilkti slankiklį pirmyn ir atgal, kad automatiškai patvirtintų visus komentarus, turėdami nuo 0 iki 20 procentų suvestinę balą, kuri yra pagrįsta komentaro galimu nepadorumu, toksiškumu ir tikimybe būti atmestam kartu. Žemiau yra greito moderavimo mygtukai, skirti patvirtinti arba atmesti komentarą, atidėti jį ar pažymėti komentarą, kad būtų galima toliau tobulinti perspektyvos modeliavimą.

"Kiekvienoje svetainės skiltyje mes išanalizavome gaunamus komentarus ir tai, kaip perspektyva juos pažymėtų. Mes naudojome ir viešosios perspektyvos modelius, ir savus modelius, unikalius" The New York Times " , - sakė Etimas. "Išanalizuosiu kiekvieno skyriaus komentarus ir pabandysiu rasti ribą, kurioje mums būtų patogu pasakyti:" Gerai, viską, kas didesnė už šią tikimybę, naudojant šias specifines toksiškumo žymes, pvz., Nepadorumą, mes patvirtinsime ".

Mašinų mokymasis patvirtina palyginti nedidelį komentarų procentą (maždaug 25 procentus, Etimas sakė), nes „ Times“ dirba, kad išplatintų komentarus apie daugiau istorijų ir galiausiai netgi tinkintų, kaip modeliai filtruoja ir tvirtina komentarus skirtingoms svetainės dalims. Modeliai tik patvirtina komentarus; atmetimą vis dar prižiūri moderatoriai.

Nebuvo rankiniu būdu komentuojamų ribų. Etimas sakė, kad istorija paprastai komentuoja praėjus 24 valandoms po jos paskelbimo internete arba kitą dieną po jos spausdinimo.

„Mes nepakeičiame jūsų mašinomis“

Kitas etapas yra daugiau funkcijų įtraukimas į sistemą, kad moderatoriai galėtų nustatyti prioritetus, kuriuos komentarus pirmiausia reikia žiūrėti. Automatizuodami tai, kas visada buvo rankiniu būdu, moderatoriai leido aktyviai praleisti laiką dirbdami su žurnalistais ir atsakydami į komentarus. Tai sukuria grįžtamojo ryšio ciklą, kuriame komentarai lemia tolesnius reportažus ir papildomas istorijas - gali sutaupyti ir perskirstyti išteklius, kad būtų sukurta daugiau žurnalistikos.

„Moderatorius ir„ Perspective “leido„ The Times “daug labiau reaguoti į skaitytojų problemas, nes mes turime išteklių tai padaryti, nesvarbu, ar patys rašome istorijas, arba dirbdami su žurnalistais norėdami išsiaiškinti istorijas“, - sakė Etimas. "Šaunus šio projekto dalykas yra tai, kad mes nieko neatleidome. Mes nepakeičiame jūsų mašinomis. Mes paprasčiausiai naudojame efektyvesnius žmones ir priimame tikrai sunkius sprendimus."

Straipsnyje galima dirbti su kitomis publikacijomis, kurios padės likusiai pramonės šakai įdiegti tokio tipo technologijas. Tai gali padėti vietinėms naujienų vietoms, turinčioms ribotų išteklių, išlaikyti komentarų skyrius be didelio tam skirto personalo ir naudoti komentarus, kaip daro „ The Times “, rasti potencialius klientus ir paskatinti paprastą žurnalistiką.

Etimas prilygino AI palaikomą nuosaikumą tam, kad ūkininkui būtų suteiktas mechaninis plūgas, palyginti su kastuvu. Galite daug geriau atlikti darbą su plūgu.

„Jei perspektyva gali vystytis teisinga linkme, ji, tikėkimės, gali sukurti bent jau gairių rinkinį, kurį galima pakartoti mažose vietose“, - sakė jis. "Tai yra ilgas žaidimas, bet mes jau įkūrėme daugybę pamatų, kad galėtume būti tos skaitytojų patirties dalimi. Tuomet galbūt šie vietiniai leidiniai gali dar kartą pareikšti komentarus ir sukurti šiek tiek pagrindinio žaidimo prieš svarbiausius socialinius žaidėjus."



Rėkia į bedugnę

Šiuo metu dauguma iš mūsų yra matę, kaip žmonės puola ar priekabiaujami socialinėje žiniasklaidoje pareikšti savo nuomonę. Niekas nenori, kad tai nutiktų jiems, išskyrus trolius, kurie klesti tokiu dalyku. Ir mes sužinojome, kad šaukimas nepažįstamam asmeniui, kuris niekada nesiklausys racionalių argumentų, nėra vertingas mūsų laiko išnaudojimas.

Perspektyva bando išjudinti tą dinamiką, tačiau CJ Adamsas teigė, kad platesnis tikslas yra paskelbti duomenis, tyrimus ir naujus atvirojo kodo UX modelius, kad būtų sukurtos naujos pokalbių struktūros - bauginanti užduotis. Jei norite, kad internetas būtų sveika, verta žmonių laiko, reiškia, kad reikia išplėsti šias sistemas, neapsiribojant naujienų komentarų skyriais ir mažesniais vienetais. Galų gale PG įrankiai turi sugebėti valdyti nepaprastas socialines programas ir tinklus, kurie dominuoja mūsų kasdienėje skaitmeninėje sąveikoje.

Atmetus tai, ką „Facebook“, „Twitter“ ir kiti socialiniai gigantai daro iš vidaus, tiesiausias būdas tai padaryti yra perduoti technologiją nuo moderatorių prie pačių vartotojų. Adamsas atkreipė dėmesį į „Coral Project“ idėją, kaip tai galėtų atrodyti.

„Coral Project“ iš pradžių buvo įkurtas bendradarbiaujant „Mozilla Foundation“, „ The New York Times“ ir „ Washington Post“. „Coral“ kuria atvirojo kodo įrankius, tokius kaip „Talk“ platforma, siekdama skatinti diskusijas internete ir suteikti naujienų svetainėms alternatyvą uždaryti komentarų skyrius. „Talk“ šiuo metu valdo platformas beveik 50 internetinių leidėjų, įskaitant „ Post“ , „ New York Magazine“, „The Wall Street Journal“ ir „The Intercept“.

Anksčiau šį mėnesį „Vox Media“ įsigijo koralų projektą iš „Mozilla Foundation“; ji planuoja „giliai integruoti“ ją į „Chorus“, jos turinio valdymo ir pasakojimo platformą.

„Perspective“ turi „Koralų projekto“ papildinį, kuriame naudojama ta pati technologija - ML pagrįstas toksiškumo balas ir slenksčiai -, kad vartotojams būtų teikiami iniciatyvūs pasiūlymai jiems rašant, sakė Adamsas. Taigi kai vartotojas rašo komentarą su frazėmis, pažymėtomis kaip piktnaudžiavimas ar priekabiavimas, vartotojui gali pasirodyti pranešimas, sakantis: „Prieš paskelbdami šį pranešimą, būtinai atsiminkite mūsų bendruomenės gaires“ arba „Šio komentaro kalba gali pažeisti mūsų bendruomenės gaires. Mūsų moderavimo komanda netrukus ją peržiūrės “.

„Tas mažas įbrėžimas gali padėti žmonėms tiesiog pasvarstyti apie sekundę, bet tai taip pat niekam netrukdo“, - sakė Adamsas. "Tai nesustabdo diskusijos".

Tai mechanizmas, kurį integruoti vaizdo žaidimų pokalbiai ir srautinio perdavimo platformos siekiant sustabdyti piktnaudžiavimą ir priekabiavimą. „Twitter“ vartotojams taip pat gali būti naudinga tokia sistema.

Tai kalba apie mintį, kurią MIT tyrinėtojas Andrew Lippmann iškėlė PCMag „Ateities numeryje“: Jis kalbėjo apie įmontuotus mechanizmus, kurie leis žmonėms sustoti ir susimąstyti prieš dalijantis kažkuo internete, kad padėtų sustabdyti dezinformacijos plitimą. Ši sąvoka taikoma ir diskusijoms internete. Mes sukūrėme be trinties komunikacijos sistemas, galinčias akimirksniu sustiprinti teiginio pasiekiamumą, tačiau kartais nedidelė trintis gali būti geras dalykas, - teigė Lippmann.

Perspektyva nėra apie AI naudojimą kaip antklodžių sprendimą. Tai būdas paversti ML modelius žmonėms skirtomis priemonėmis, padedančiomis jiems susikurti savo patirtį. Bet viena priešingybė yra ta, kad jei dar labiau palengvinsite žmonėms nepatinkantį internetinį triukšmą, internetas taps dar labiau aido kamera nei dabar.

Paklaustas, ar tokios priemonės kaip „Perspektyva“ galų gale tai galėtų pabloginti, Adamsas teigė, kad mano, jog internetiniai aidų rūmai egzistuoja, nes nėra jokių mechanizmų diskusijai rengti, kur žmonės galėtų prasmingai nesutikti.

"Mažiausio pasipriešinimo kelias yra" Šie žmonės kovoja. Leiskime jiems susitarti su savimi už savo kampų. Leiskime žmonėms save laikyti ", - sakė jis. "Jūs leidžiate žmonėms šaukti visus kitus iš kambario arba uždarote diskusiją. Mes norime, kad perspektyva sukurtų trečią variantą."

Adamsas pateikė pavyzdinį scenarijų. Jei paklaustumėte 1000 žmonių kambario: „Kiek iš jūsų šiandien skaitote ką nors, kas jums iš tikrųjų rūpėjo?“ dauguma interneto vartotojų nurodys straipsnį, tviterį, įrašą ar ką nors, ką jie skaito internete. Bet jei tada jų paklaustumėte: „Kiek iš jūsų manėte, kad verta skirti laiko komentuoti ar diskutuoti?“ visos kambaryje esančios rankos nuleis žemyn.

"Daugeliui iš mūsų tiesiog neverta stengtis. Šiuo metu turima diskusijų struktūra reiškia, kad tai yra atsakomybė. Jei turite dabartinę pagrįstą mintį ar norite kuo nors pasidalinti, daugumai žmonių jie nėra svarbūs." Nori dalyvauti “, - sakė A. Adamsas. "Tai reiškia, kad iš tų 1000 žmonių, kurie galėtų būti kambaryje, jūs tik nedaugelis atstovaujate diskusijoje; tarkime, 10 žmonių. Aš labai tikiu, kad galime sukurti struktūrą, leidžiančią kitiems 990 grįžti į diskusiją. ir daro tai tokiu būdu, kuris, jų manymu, yra vertas savo laiko “.