Kodėl mašinų mokymasis yra ateitis

Šio mėnesio SC16 superkompiuterių konferencijoje išsiskyrė dvi tendencijos. Pirmasis yra naujausio „Intel“ „Xeon Phi“ („Knights Landing“) ir naujausios „Nvidia“ „Tesla“ („Pascal“ pagrindu sukurtas P100) pasirodymas greičiausių pasaulyje kompiuterių Top500 sąraše; abi sistemos pateko į 20 geriausiųjų. Antra, didelis dėmesys skiriamas mikroschemų ir sistemų kūrėjų koncepcijoms iš šiuolaikinių mašinų mokymosi sistemų pritaikyti ir superkompiuteriams.

Šiuo metu peržiūrint „Top500“ sąrašą, kuris atnaujinamas du kartus per metus, lentelės viršuje vis dar tvirtai yra „Sunway TaihuLight“ kompiuteris iš Kinijos nacionalinio superkompiuterių centro Wuxi ir „Tianhe-2“ kompiuteris iš Kinijos nacionalinio superkompiuterio. Centras Guangdžou, koks jis buvo nuo birželio mėnesio ISC16 parodos. Jokie kiti kompiuteriai nėra panašūs į bendrą našumą, nes trečiosios ir ketvirtosios reitingų sistemos - vis dar „Titan“ superkompiuteris prie Oak Ridge ir „Sequoia“ sistema Lawrence Livermore - abu sukuria maždaug pusę „Tianhe-2“ našumo.

Pirmasis iš jų yra pagrįstas unikaliu kinų procesoriumi - 1, 45 GHz SW26010, kuris naudoja 64 bitų RISC šerdį. Tai turi neprilygstamą 10 649 600 šerdį, naudojant 15, 4 megavatų galią, užtikrinančią 125, 4 petaflops teorinės didžiausios pralaidos ir 93 petaflops maksimalų išmatuotą našumą Linpack etalone. Reikėtų pažymėti, kad nors šis aparatas labai lenkia „Linpack“ charakteristikų topus, jis neprilygsta kitiems bandymams. Yra ir kitų etalonų, tokių kaip didelio našumo konjuguotų gradientų (HPCG) etalonas, kai mašinos paprastai mato tik nuo 1 iki 10 procentų savo teorinio piko, o kai viršutinė sistema - šiuo atveju „Riken K“ aparatas - vis tiek teikia mažiau nei 1 petaflop.

Bet „Linpack“ testai yra standartas kalbant apie didelio našumo kompiuterius (HPC) ir apie tai, kas naudojama kuriant „Top500“ sąrašą. Atliekant „Linpack“ testus, mašina Nr. 2 „Tianhe-2“ pastaruosius kelerius metus buvo pirmoje vietoje diagramoje ir naudoja „Xeon E5“ bei senesnius „Xeon Phi“ („Knights Corner“) greitintuvus. Tai siūlo 54, 9 petaflops teorinio aukščiausio našumo ir etalonai 33, 8 petaflops Linpack mieste. Daugelis stebėtojų mano, kad draudimas eksportuoti naujesnes „Xeon Phi“ („Knights Landing“) versijas paskatino kinus sukurti savo superkompiuterio procesorių.

„Knights Landing“, oficialiai „Xeon Phi 7250“, vaidino didelį vaidmenį naujosiose sąrašo sistemose, pradedant nuo „Cori“ superkompiuterio, esančio Lawrence Berkeley nacionalinėje laboratorijoje, užimančio penktą vietą, kurio didžiausias našumas buvo 27, 8 petaflopo ir išmatuotas 14 petaflops.. Tai „Cray XC40“ sistema, naudojanti Avinų jungtį. Atminkite, kad „Knights Landing“ gali veikti kaip pagrindinis procesorius - 68 branduoliai vienam procesoriui suteikia 3 maksimalius teraflopus. („Intel“ savo kainoraštyje pateikia kitą lusto versiją su 72 branduoliais ir siekia 3, 46 teraflops didžiausio teorinio dvigubo tikslumo našumo, tačiau nė viena iš sąraše esančių mašinų nenaudoja šios versijos, galbūt todėl, kad ji yra brangesnė ir sunaudoja daugiau energijos.)

Anksčiau „Xeon Phis“ galėjo veikti tik kaip greitintuvai sistemose, kurias valdė tradiciniai „Xeon“ procesoriai. Šeštoje vietoje atsidūrė Japonijos jungtinio pažengusių aukšto našumo kompiuterių centro „Oakforest-PACS“ sistema, surinkusi 24, 9 didžiausio petaflopo. Tai sukūrė „Fujitsu“, naudodamas „Knights Landing“ ir „Intel“ „Omni-Path“ jungtis. „Knights Landing“ taip pat naudojamas Nr. 12 sistemoje („Marconi“ kompiuteris Italijos CINECA, pastatytas „Lenovo“ ir naudojant „Omni-Path“) ir Nr. 33 sistemoje („Camphor 2“ Japonijos Kioto universitete, pastatytas Cray ir naudojant Aviną). sujungti).

„Nvidia“ buvo gerai atstovaujama ir naujame sąraše. Sistema Nr. 8, „Piz Daint“, Šveicarijos nacionaliniame superkompiuterių centre, buvo patobulinta iki „Cray XC50“ su „Xeons“ ir „Nvidia Tesla P100“, o dabar siūlo vos 16 petaflopų teorinio piko efektyvumo ir 9, 8 petaflops „Linpack“ našumo - didelis atnaujinkite nuo 7, 8 didžiausių našumo petaflops ir 6, 3 pepaflops Linpack našumo ankstesnėje iteracijoje, paremtoje „Cray XC30“ su „Nvidia K20x“ greitintuvais.

Kita sąraše esanti P100 pagrindu sukurta sistema buvo pačios „Nvidia“ DGX Saturn V, pagrįsta pačios bendrovės DGX-1 sistemomis ir „Infiniband“ jungtimi, kuri pateko į sąrašo 28 vietą. Atminkite, kad „Nvidia“ dabar parduoda ir procesorius, ir prietaisą DGX-1, kurį sudaro programinė įranga ir aštuoni „Tesla P100“. „DGX Saturn V“ sistema, kurią „Nvidia“ naudoja vidiniams AI tyrimams, įvertina beveik 4, 9 smailiųjų petaflops ir 3, 3 Linpack petaflops. Tačiau „Nvidia“ pažymi, kad ji naudoja tik 350 kilovatų galią, todėl yra daug efektyvesnė energijai. Dėl šios priežasties ši sistema patenka į „Green500“ efektyviausiai energiją naudojančių sistemų sąrašą. „Nvidia“ pabrėžia, kad tai yra žymiai mažiau energijos nei „Xeon Phi“ pagrindu sukurtoje „Camphor 2“ sistemoje, kurios našumas yra panašus (beveik 5, 5 petaflopsų piko ir 3, 1 Linpack petaflops).

Tai įdomus palyginimas, kai „Nvidia“ siekia didesnio energijos vartojimo efektyvumo GPU ir „Intel“ pažymi labiau pažįstamą programavimo modelį. Aš tikiu, kad ateinančiais metais matysime didesnę konkurenciją, nes skirtingos architektūros varžysis norėdamos pamatyti, kuri iš jų bus pirmoji, pasiekusi „nepaprastą kompiuteriją“, ar vietoje jos pasirodys Kinijos sukurtas namų metodas. Šiuo metu JAV energetikos departamento vykdomasis kompiuterių projektas tikisi, kad pirmosios ekskavatorių mašinos bus sumontuotos 2022 m., O kitais metais bus pradėtos naudoti.

Man įdomu pastebėti, kad nepaisant akcentuojamo daugelio branduolių greitintuvų, tokių kaip „Nvidia Tesla“ ir „Intel Xeon Phi“ sprendimai, tokius greitintuvus naudoja tik 96 sistemos (įskaitant tas, kurios naudoja tik „Xeon Phi“); prieš 104 sistemas prieš metus. „Intel“ ir toliau yra didžiausia lustų tiekėja, jos lustai yra 462 iš 500 geriausių sistemų, o po jų - „IBM Power“ procesoriai 22-iose. „Hewlett-Packard Enterprise“ sukūrė 140 sistemų (įskaitant tas, kurias sukūrė „Silicon Graphics“, kurias įsigijo HPE), „Lenovo“ sukūrė. 92, o „Cray 56“.

Mašinų mokymosi konkursas

Parodoje ar aplink ją buvo paskelbta daugybė pranešimų, iš kurių dauguma buvo susiję su tam tikra dirbtinio intelekto ar mašininio mokymosi forma. „Nvidia“ paskelbė partnerystę su IBM dėl naujo giluminio mokymosi programinės įrangos priemonių rinkinio, pavadinto „IBM PowerAI“, kuris palaiko „IBM Power“ serverius naudodamas „Nvidia“ „NVLink“ jungtį.

AMD, kuri buvo apgalvota tiek HPC, tiek kompiuterinio mokymosi aplinkoje, stengiasi tai pakeisti. Šioje srityje įmonė sutelkė dėmesį į savo „Radeon“ GPU, pastūmė savo „FirePro S9300 x2“ serverio GPU ir paskelbė partnerystę su „Google Cloud Platform“, kad ją būtų galima naudoti debesyje. Tačiau AMD neinvestavo tiek į programinę įrangą, skirtą GPU programavimui, nes ji pabrėžė „OpenCL“ per patentuotą „Nvidia“ požiūrį. Parodoje AMD pristatė naują savo „Radeon Open Compute Platform“ (ROCm) versiją ir ketino paremti savo GPU heterogeniškais skaičiavimo scenarijais su keliais procesoriais, įskaitant būsimus „Zen“ x86 procesorius, ARM architektūras pradedant „Cavium“ „ThunderX“ ir „IBM Power 8“ centriniai procesoriai.

Parodoje „Intel“ papasakojo apie naują savo dabartinio „Xeon E5v4“ („Broadwell“) lusto versiją, pritaikytą slankiojo kablelio apkrovoms, ir apie tai, kaip kitąmet turėtų pasirodyti kita „Skylake“ platformos pagrindu sukurta versija. Tačiau vėlesniame tos savaitės įvykyje „Intel“ paskelbė daugybę pranešimų, skirtų savo mikroschemas išdėstyti dirbtinio intelekto ar kompiuterinio mokymosi erdvėje. (Štai „ExtremeTech“ pavyzdys.) Didelė to dalis turi įtakos didelio našumo skaičiavimui, tačiau dažniausiai tai atskira. Pirmiausia, be standartinių „Xeon“ procesorių, bendrovė taip pat reklamuoja FPGA, kad jie daro didelę įtaką neuroniniams tinklams. Tai viena didelių priežasčių, kodėl įmonė neseniai įsigijo „Altera“, o tokias FPGA dabar naudoja tokios kompanijos kaip „Microsoft“.

Tačiau praėjusią savaitę didžiausias dėmesys AI buvo skirtas naujesniems lustams. Pirma, yra „Xeon Phi“, kur „Intel“ nurodė, kad dabartinė „Knights Landing“ versija kitais metais bus papildyta nauja versija, pavadinta „Knights Mill“, skirta „giluminio mokymosi“ rinkai. IDF paskelbta, tai dar viena 14 nm versija, tačiau palaikanti pusiau tikslius skaičiavimus, kurie dažnai naudojami treniruojant neuroninius tinklus. Iš tiesų, vienas didžiausių dabartinių „Nvidia“ mikroschemų privalumų giluminiame mokyme yra jų palaikymas pusiau tiksliais skaičiavimais ir 8 bitų sveikojo skaičiaus operacijomis, kurias „Nvidia“ dažnai vadina gilaus mokymosi „teraoppais“. „Intel“ teigė, kad „Knights Mill“ pristatys iki keturių kartų didesnį „Knights Landing“ našumą giliam mokymuisi. (Ši mikroschema vis dar naudojama vėliau, kai bus naudojama 10 nm versija, vadinama „Knights Hill“, turbūt labiau skirta tradicinei didelio našumo kompiuterių rinkai.)

Įdomiausias ateinantiems metams yra „Nervana“, kurį neseniai įsigijo „Intel“, dizainas, kuriame naudojama daugybė apdorojimo grupių, skirtų atlikti paprastas matematikos operacijas, prijungtas prie didelio pralaidumo atminties (HBM). Pirmasis šioje šeimoje bus Cresto ežeras, kuris buvo sukurtas dar prieš „Intel“ įsigyjant įmonę ir gaminamas 28 nm ilgio TSMC procese. Dėl bandomųjų versijų pasirodymo pirmąjį kitų metų pusmetį „Intel“ sako, kad ji užtikrins ne tik neapdorotą kompiuterio našumą, bet ir GPU. Tai galiausiai imsis „Knights Crest“, kuris kažkokiu būdu įgyvendina „Nervana“ technologiją kartu su Xeonu, apie detales vis dar nepranešęs.

„Mes tikimės, kad„ Nervana “technologijos per ateinančius trejus metus padidins 100 kartų didesnį našumą, kad išmokytų sudėtingų neuroninių tinklų, leisdami duomenų mokslininkams greičiau išspręsti savo didžiuosius AI uždavinius“, - rašė „Intel“ generalinis direktorius Brianas Krzanichas.

„Intel“ taip pat neseniai paskelbė apie planus įsigyti „Movidius“, todėl DSP pagrįsti lustai ypač tinkami kompiuterio matymui nugalėti - vėlgi priimant sprendimus remiantis anksčiau apmokytais modeliais.

Tai sudėtinga ir besikeičianti istorija, tikrai ne tokia tiesmukiška kaip „Nvidia“ pastūmėjimas visur, kur reikia savo GPU. Bet tai paaiškina tik tai, kaip greitai pradedamas mašinų mokymasis, ir daugybė skirtingų būdų, kuriuos įmonės planuoja spręsti problemai, pradedant GPU, tokiais kaip Nvidia ir AMD, baigiant daugybe pagrindinių x86 procesorių, tokių kaip Xeon Phi, ir baigiant FPGA., specializuotiems mokymo produktams, tokiems kaip „Nervana“ ir IBM „TrueNorth“, pritaikytiems DSP tipo konferencijų varikliams, pvz., „Google“ „Tensor“ procesoriams. Bus labai įdomu pamatyti, ar rinkoje yra vietos visiems šiems požiūriams.