Ibm watson padeda universiteto studentams išmokti mandarinų

Universitetai nuėjo ilgą kelią mokydamiesi kalbos, perėję ne tik tradicinius užsiėmimus paskaitų salėje, bet ir įrašytas pamokas be sąveikos. Dabar studentai gali naudotis tokiomis technologijomis kaip dirbtinis intelektas (AI) ir natūralios kalbos apdorojimas (NLP) svaiginančioje mokymosi aplinkoje. Būtent tai vyksta „Cognitive and Immersive Systems Lab“ (CISL), esančiame Trojoje, Niujorke, Rensselaerio politechnikos instituto (RPI) miestelyje. Štai čia institutas kartu su „IBM Research“ sukūrė šešių savaičių vasaros kursų, kuriuose studentai bendrauja su AI agentais aplinkoje, kurioje yra gatvių turgūs ir restoranai, technologijas.

Kursas, pavadintas „AI-Assisted Immersive Chinese“, apima 360 laipsnių panoraminę kompiuterio sukurtų scenų rodymo sistemą laboratorijos pažinimo kambaryje (CIR), kuris dar vadinamas „Situacijų kambariu“. Virtualios scenos vyksta Kinijoje. Studentai kalbasi su avataromis, kurias palaiko „Watson Assistant“, ir pataiso kalbą bei tarimą. CIR studentai naudoja pokalbio AI, pasakojimo generavimą, erdvinio konteksto suvokimą ir gestų bei veido atpažinimo technologijas.

CIR yra įvairaus „IBM Watson“ potencialo įvairiose pramonės srityse pavyzdys, be švietimo. Šios pramonės šakos apima žemės ūkį, žmogiškuosius išteklius (HR) ir laivyno valdymą.

RPI, be „Watson Assistant“, studentai studijuodami naudoja „Watson Speech to Text“, „Watson Text to Speech“ ir „Language Translator“.

Studentai mokosi mandarinų kalbos, naudodamiesi AI RPI miestelyje. (Vaizdo kreditas: „IBM Research / RPI“)

Aktyvaus mokymosi patirtis

RPI jaunesniajam Julianui Wongui svaiginanti AI patirtis buvo patrauklus būdas išmokti mandarinų kalbos, nes tai suteikia jam aktyvesnį kelią mokytis. Kadangi mandarinų kalba yra tonalinė kalba, kurioje skambesio keitimas gali pakeisti žodžių prasmę, AI avatarai teikia grįžtamąjį ryšį apie toną, kad įsitikintų, jog Wongas ir kiti mokiniai taria teisingai.

Anot Wongo, darbas su AI CIR suteikia gražią pusiausvyrą su įprastu klasės metu. „Susitikimas pasikalbėti su kompiuteriu… neabejotinai padeda daugeliu kalbų mokymosi aspektų, ypač žodinių įgūdžių“, - sakė Wong.

Wongo mandarinų klasė susitinka keturis kartus per savaitę. Pirmadieniais ir penktadieniais jis lanko užsiėmimus tradicinėje klasėje kartu su RPI docente Helen Zhou. Ten jis išmoksta naujo žodyno ir supažindina su frazėmis ir gramatinėmis struktūromis. Antradieniais ir ketvirtadieniais klasė susitinka CIR, kur mokiniai veda pokalbius su virtualiais agentais. Restorano aplinkoje Wongas teigė, kad studentai gali praeiti visą procesą, atsisėsdami restorane, peržiūrėdami meniu, užsisakydami maisto, kalbėdami su padavėju apie tai, kaip maistas yra paruoštas, ir sumokėdami sąskaitą. Kitos aplinkos yra sodas, turgus ir mokyklos miestelis.

Mandarinų klasė svaiginančioje klasėje skiriasi nuo tradicinės aplinkos tuo, kad, pasak Zhou, ji teikia daugiamodalinę kalbos ir vaizdo patirtį. Ji sakė, kad tradicinė klasė bus ne tokia įtraukianti ir interaktyvi. „Atlikdami simuliacinę klasę, turime du agentus, kurie gali kovoti vienas su kitu ir bandyti įtikinti mokinius pirkti produktą“, - sakė Zhou. "Taigi studentai suprastų asmeninę patirtį, o ne žiūrėtų vaizdo įrašus ar klausytųsi tik paskaitų. Manau, kad jie kultūrą rinksis lengviau, nei tik mokydamiesi iš vadovėlių ar klausydamiesi juostų."

CIR studentai rengia viktorinas, susijusias su scenomis, su kuriomis jie bendravo, ir pakelia rankas, kad pateiktų atsakymus. Kompiuterio matymo technika iš kambaryje esančių kamerų fiksuoja jų gestus. AI padėjėjas pateikia viktoriną, susijusią su scena, o studentai turi atsakyti fraze kinų kalba.

„Jei norite pasirinkti vieną iš iškylančių langų, rodomų ekrane, tuomet galite ištiesti ranką, atidaryti delną, o tada uždaryti ranką“, - paaiškino Wong. "Jūs pasirenkate bet kurį žymeklį, kuris šiuo metu yra. Jei norite sužinoti, koks yra teisingas atsakymas, galite atlikti mažąsias viktorinas, tada galite perkelti žymeklį į norimus pasirinkti simbolius ir uždaryti ranką, kad galėtumėte juos pasirinkti. Tai praneš jums, ar teisingai supratote, ar ne “.

Virtualusis agentas studentus supranta dažniausiai, išskyrus tuos atvejus, kai jie neturi mikrofono prie burnos. Sistema turi skirtingus balso atpažinimo parametrus, kurie pasirenka mokinius, jei jie nekalba. Tai taip pat suteikia tiesioginį grįžtamąjį ryšį, jei neturite profesoriaus. Mandarinų klasės mokiniai laisvalaikiu eina į svetainę, norėdami prieiti prie balso klipų, kad galėtų mankštintis.

Nepakartojama įspūdinga RPI patirtis yra erdvinio konteksto suvokimas, kai keli virtualūs agentai ekrane gali pasakyti, su kuriuo norite susisiekti. „Jei ką nors pasakysite, žiūrėdami į vieną agentą, tada atsakys tas agentas, o ne kitas“, - sakė Wongas.

RPI mandarinų klasės metu studentas naudoja „IBM Watson“ gestą ir veido atpažinimo technologiją. (Vaizdo kreditas: „ IBM Research / RPI“ )

Kaip vystėsi svaiginanti patirtis

Įspūdinga RPI patirtis buvo sukaupta, kai kalbų profesoriai ir žaidimų dizaino profesoriai susitiko aptarti geresnio kalbos mokymo būdo. Pasak Hui Su, kuris yra ir „IBM Research“ kognityvinės vartotojo patirties direktorius, ir CISL direktorius, planas sukurti vaidmenų žaidimą netruko virsti diskusija apie tai, kaip mokyti mandarinų realaus gyvenimo scenarijus. IBM ir RPI pradėjo rengti kursą 2015 m. Pabaigoje ir tuo metu įkūrė bendrą laboratoriją. Vėliau CISL susiformavo netrukus.

„Laboratorijos tikslas yra sukurti pažintinę ir įtraukiančią aplinką, siekiant pagerinti grupės veiklą, sustiprinti grupės intelektą mokymosi ir sprendimų priėmimo kontekste“, - sakė Su. "Mes taip pat sutelkiame dėmesį į pažintinių, svaiginančių posėdžių salių kūrimą… norėdami pažvelgti į kritinės situacijos duomenis ir bandyti įprasminti informaciją bei sukurti sprendimus ar rekomendacijas sprendimų priėmėjams".

Kaip AI kalbų mokymosi programos dalis, IBM ir RPI eksperimentuoja su žingsnio kontūrų analize. Su aprašė, kaip ši technologija veikia. „Kai kalbi skiemenį, kai tariate skiemenį, pagrindinė technika užfiksuoja balsą ir tai sukuria vaizdinį kontūrą, kaip jūs tariate tą skiemenį“, - sakė Su. "Tada jis naudoja tą vaizdinį kontūrą ir palygina tą vaizdinį kontūrą su gimtosios kalbos atstovo vaizdiniu kontūru."

Tada studentai gali koreguoti savo tarimą, kad pasiektų teisingą toną. Jie sužinos, kad jiems reikia pakeisti tam tikrų skiemenų tarimą. Anot žinių, sukaupę žinių, kurias studentai įgyja mokydamiesi mandarinų įsitraukiančioje klasėje, naudodami „Watson“ technologiją, jie daugiau pasitikės savimi.

"Visa idėja yra suteikti pakankamai kultūrinio konteksto per mūsų svaiginančią aplinką ir AI technologijas, kad studentai galėtų atlikti pratimą", - sakė Su. "Taigi jie neturės tokios baimės kaip kalbėtis su žmonėmis realiame gyvenime."

Studentas praktikuoja „Mandarin“ virtualioje restorano aplinkoje naudodamas „IBM Watson tech“. (Vaizdo kreditas: „ IBM Research / RPI“ )

Tiltas tarp technikos pramonės ir akademinės bendruomenės

IBM ir RPI sugeba užmegzti ryšį tarp IBM tyrėjų ir fakulteto narių, IBM įkūnijantį universiteto tyrėją, būtent Su. Tuo tarpu RPI klasės profesorius Zhou taip pat teikia atsiliepimus dizaineriams, vartotojams ir mokytojams, kaip pagerinti svaiginančią patirtį klasėje.

„Turiu jiems nedelsdamas duoti grįžtamąjį ryšį, kad būtų galima derinti ar patobulinti dizainą, kad galėtume pasiūlyti natūralesnę klasę mokiniams“, - sakė Zhou. "Taigi yra daug darbo, bet jis yra vertas".

Kalbų mokymosi ateitis

• Geriausia kalbų mokymosi programinė įranga 2019 m. Geriausia kalbų mokymosi programinė įranga 2019 m
• „IBM“ išleido kelių kategorijų „Watson AI“ įrankius keliose pramonės šakose
• Ar AI tikrai kalba mūsų kalba? Ar AI tikrai kalba mūsų kalba?

Šio tipo svaiginanti aplinka yra vertinga dėl to, kad, anot Zhou, gali suteikti iš pažiūros realią aplinką. „Nepakartojama PG aplinka gali ne tik pagerinti studentų kalbėjimą ir klausymąsi, bet ir prakalbinti šios kalbos vartojimą realiose situacijose“, - teigė Zhou. "Todėl AI man, kaip instruktoriui, yra idealiau, kad studentai galėtų jausti ankstyvą kalbą, net pradedantiesiems besimokantiesiems, nekeliaujant į šalį."

Multimodalinė mokymosi aplinka, tokia, kokia siūloma RPI, praplečia AI vaidmenį klasėje. Turėdami patirties, kurią AI teikia per virtualius agentus, studentai bus pasirengę spręsti įvairius scenarijus realiame pasaulyje, turėdami reikiamų kalbos įgūdžių.