„Google“ įtempių apdorojimo įrenginiai keičia mašininio mokymosi taisykles

Vienas iš įdomesnių ir netikėčiausių „Google“ pranešimų praėjusią savaitę vykusioje savo I / O kūrėjų konferencijoje buvo tas, kad ji sukūrė ir įdiegė savo lustus kompiuteriniam mokymuisi. Savo pranešimo metu „Google“ generalinis direktorius Sundaras Pichai pristatė tai, ką jis vadina „Tensor Processing Units“ (TPU), sakydamas, kad įmonė juos naudoja savo „AlphaGo“ įrenginiuose, kurie nugalėjo „Go“ čempioną Lee Sedolį.

„TPU yra eilės laipsnis didesnis už vatą, nei komercinių FPGA ir GPU“, - teigė Pichai. Nepateikdamas daug informacijos, „Google“ žymusis aparatūros inžinierius Normas Jouppi tinklaraščio įraše paaiškino, kad TPU yra pritaikytas ASIC (konkrečios programos integruota schema). Kitaip tariant, tai mikroschema, specialiai sukurta kompiuteriniam mokymuisi vykdyti ir specialiai pritaikyta „TensorFlow“, „Google“ mašinų mokymosi sistemai.

Vaizdas

Žurnale Jouppi teigė, kad yra „tolerantiškesnis“ mažesniam skaičiavimo tikslumui, vadinasi, tam reikia mažiau tranzistorių vienai operacijai. Tai leidžia „Google“ atlikti daugiau operacijų per sekundę, o vartotojams - greičiau pasiekti rezultatus. Jis sakė, kad plokštė su TPU telpa į standžiojo disko lizdo lizdą jos duomenų centro lentynose ir parodė serverio lentynų, užpildytų TPU, vaizdą, kuris, jo teigimu, buvo naudojamas bendrovės „AlphaGo“ aparatuose.

Be to, Jouppi sakė, kad TPU jau dirba su daugeliu „Google“ programų, įskaitant „RankBrain“, naudojamą paieškos rezultatų tinkamumui pagerinti, ir „Street View“, kad būtų patobulintas žemėlapių ir navigacijos tikslumas ir kokybė.

Spaudos konferencijoje „Google“ techninės infrastruktūros viceprezidentas Ursas Hölzle patvirtino, kad TPU vykdoma naudojant 8 bitų sveikojo skaičiaus matematiką, o ne didesnio tikslumo slankiojo kablelio matematiką, kuriai sukurti moderniausi procesoriai ir GPU. Daugelį kompiuterinio mokymosi algoritmų galima gauti naudojant mažesnės skiriamosios gebos duomenis, tai reiškia, kad lustas gali atlikti daugiau operacijų tam tikroje srityje ir efektyviau spręsti sudėtingesnius modelius. Tai nėra nauja idėja: „Nvidia Drive PX 2“ modulis, paskelbtas šių metų pradžioje CES, yra pajėgus atlikti 8 teraflopus 32 bitų slankiojo kablelio tikslumu, tačiau pasiekia 24 giluminio mokymosi „teraopas“ (bendrovės terminas 8 -bitės sveiko skaičiaus matematika).

Nors Hölzle atsisakė gilintis į specifiką, ataskaitose sakoma, kad jis patvirtino, kad „Google“ šiandien naudoja ir TPU, ir GPU. Jis teigė, kad tai tęsis kurį laiką, tačiau pasiūlė „Google“ į GPU žiūrėti kaip į per daug bendrą, pirmenybę teikiantį mikroschemoms, labiau optimizuotoms mašinų mokymuisi. Jis sakė, kad bendrovė vėliau išleis popierių, kuriame aprašoma lusto nauda, ​​tačiau patikslino, kad jie skirti tik vidaus naudojimui, o ne pardavimui kitoms įmonėms. Kita jo aprašyta programa - lustai buvo naudojami tvarkyti dalį skaičiavimo funkcijų, veikiančių už balso atpažinimo variklio, naudojamo „Android“ telefone.

Pasirinkimas naudoti ASIC yra įdomus „Google“ statymas. Didžiausias pastarųjų metų mašinų mokymosi progresas - technologija, kuria grindžiami giliųjų neuroninių tinklų stūmimai - buvo GPU, ypač „Nvidia Tesla“ linijos, priėmimas šiems modeliams mokyti. Visai neseniai „Intel“ įsigijo „Altera“, pirmaujančią FPGA (lauko programuojamų vartų matricų), kurios yra kažkur viduryje, gamintoją; jie nėra tokios bendrosios paskirties kaip GPU arba specialiai sukurti „TensorFlow“ kaip „Google“ lustas, tačiau juos galima užprogramuoti atlikti įvairias užduotis. „Microsoft“ eksperimentavo su „Altera“ FPGA, kad galėtų mokytis giliai. IBM kuria savo „TrueNorth“ neurosinapsinį lustą, specialiai sukurtą neuroniniams tinklams, kuris neseniai pradėtas naudoti įvairiose programose. „Cadence“ („Tensilica“), „Freescale“ ir „Synopsys“ verčia savo DSP (skaitmeninio signalo procesorius) paleisti šiuos modelius; Neseniai „Mobileye“ ir „NXP“ paskelbė lustai, sukurti specialiai ADAS ir savarankiškai važiuojantiems automobiliams; ir kelios mažesnės įmonės, įskaitant „Movidius“ ir „Nervana“, paskelbė planuojančios specialiai AI sukurti lustus.

Dar per anksti žinoti, kuris požiūris bus geriausias ilgainiui, tačiau turėdami keletą labai skirtingų variantų reiškia, kad per artimiausius kelerius metus greičiausiai pamatysime įdomią konkurenciją.