Daugybė apsaugos rinkinių pagerina apsaugą realiame pasaulyje

Insbruko „AV-Comparatives“ tyrėjai nenuilstamai stengiasi išbandyti apsauginių komplektų apsauginę galią taip, kad tai kuo labiau atitiktų realaus pasaulio vartotojo patirtį. Kiekvieną dieną beveik dvidešimt rinkinių patiria tikras kenkėjiškų programų atakas, naudodamiesi automatizuota sistema, kad užfiksuotų, kaip gerai produktas atlaikė bandymą. Per pastarąjį pusmetį jie išgyveno daugiau nei 3000 bandymų atvejų. Pusmečio rezultatai pateikti, o įspūdingas produktų skaičius pagerėjo nuo paskutinės tokios ataskaitos.

Imties dydžio svarba

Intuityviai akivaizdu, kad tokiu bandymu bus gauti tikslesni rezultatai su didesniu pavyzdžių rinkiniu, tačiau šį kartą „AV-Comparatives“ aiškiai paaiškino per mažo mėginių rinkinio pasekmes. Paprastoje atskiroje ataskaitoje pateikiama statistika, ir jie šiek tiek stebina.

Tarkime, kad konkretus produktas aptiko 80 procentų iš 10 000 kenkėjiškų programų pavyzdžių. Dabar tarkime, kad iš tos pačios kolekcijos atsitiktinai pasirinkote dešimt pavyzdžių. Naudojant visų galimų rezultatų diagramą, ataskaita parodo, kad pasiekti tą patį aptikimo dažnį, didesnį aptikimo dažnį ar mažesnį aptikimo dažnį yra beveik vienodai tikėtina. Taip, sumažinti dešimt pavyzdžių yra kraštutinis atvejis, tačiau tai tikrai turi prasmę.

Testavimo metodai

Tyrimo komanda, naudodama automatinius ir rankinius paieškos metodus, kasdien renka realaus pasaulio kenkėjiškus URL. Jie konkrečiai pasirenka tiesioginių nuorodų į kenkėjiškų programų failus ir atsisiuntimo svetaines rinkinį. Eidami dienos pavyzdžius po vieną, jie visus produktus tuo pačiu metu atskleidžia tam tikru URL ir stebi, kaip kiekvienas produktas reaguoja. Jei kuris nors komplekto komponentas apsaugo nuo kenkėjiškos programos, tai yra sėkmė. Jei kenkėjiška programa paslysta ir nustato namų tvarkymą, tai nepavyksta.

Kartais rinkinys pasirodys pranešimu, kad jis kažką rado, ir paklausia vartotojo, ar užblokuoti, ar leisti. Testavimo tikslais „AV-Comparatives“ analitikai visada pasirenka leisti veiksmus. Produktas, kuris sėkmingai gina sistemą nepaisant šio veiksmo, gauna visą kreditą; produktas, kuris leidžia pakenkti sistemai dėl netinkamo vartotojo pasirinkimo, gauna pusę kredito.

Užbaigus tam tikrą bandymo atvejį, visos bandymo sistemos vėl perduodamos į būseną, kurioje nėra kenkėjiškų programų, ir ji yra paruošta kitam bandomajam atvejui.

Melagingi pozityvai

Klaidingai teigiamas rezultatas įvyksta, kai saugos programinė įranga klaidingai blokuoja prieigą prie teisėto failo ar svetainės. Akivaizdu, kad nenorite, jog saugos komplektas išvalytų galiojančius failus ar apsaugotų jus nuo nekenksmingų svetainių. „AV-Comparatives“ patikrino kiekvieną produktą su maždaug tūkstančiu atsitiktinai pasirinktų domenų ir apie šimtą naujų ir populiarių programų. Testavimo tikslais jie atsisiuntė kiekvieną programą iš kūrėjo svetainės, o ne iš atsisiuntimo portalo.

Ataskaitoje pažymima, kad statistinė ir reputacija pagrįsta saugumo analizė dažnai blokuoja visiškai naujas programas ir svetaines arba įspėja apie jas. Joje teigiama: "Nors tokie apsaugos būdai… padeda pasiekti aukščiausių balų… tai taip pat gali padėti aptikti / blokuoti nekaltus / švarius failus ir URL vien dėl to, kad jie… yra per nauji". „Norton“, stiprus tokio tipo aptikimo šalininkas, nedalyvauja AV-Comparatives bandymuose.

Daug patobulinimų

Daugiau nei pusė į šią ataskaitą įtrauktų produktų įvertino geriau nei ankstesniame šios ataskaitos leidime. Visi „Vipre“, „McAfee“ ir „Fortinet“ praėjusį kartą patyrė nesėkmę, net neuždirbo žemiausio pravažiavimo pažymio STANDARD. Šį kartą „Fortinet“ ir „McAfee“ įvertino „ADVANCED“, o „Vipre“ tapo „STANDARD“. Visų trijų reitingas sumažėjo dėl klaidingų teigiamų rezultatų; remiantis tik aptikimu, „McAfee“ ir „Fortinet“ būtų įvertinę aukščiausią įvertinimą „ADVANCED +“.

„eScan“ šoktelėjo iš STANDARTO į „ADVANCED +“, o avast!, ESET ir „Trend Micro“ perkelta iš ADVANCED į ADVANCED +. Keli kiti, anksčiau vertinę „STANDARD“, šįkart sugebėjo „ADVANCED“ reitingą.

„Bitdefender“ reguliariai gauna geriausius balus atlikdamas nepriklausomus laboratorinius testus. Remiantis kenkėjiškų programų aptikimu, jis būtų įvertinęs ADVANCED +, kaip tai darė praeitą kartą, tačiau klaidingi teigiami duomenys sumažino jį iki ADVANCED. Tas pats atsitiko su „F-Secure“ ir „BullGuard“.

„AV-Comparatives“ viso produkto dinaminis testas yra vienas daugiausiai pastangų reikalaujančių testų, kuriuos teko patirti. Tad nenuostabu, kad laboratorija remiasi Insbruko universiteto ir Austrijos vyriausybės parama. Tai labai daug darbo, tačiau galutinis rezultatas yra testas, kuris labai tiksliai nustato, kaip gerai produktas apsaugos realiojo pasaulio vartotojus.