Video: Buhalterinė apskaita. Sąskaitų planas (2-a pamoka iš 5-ių). (Lapkritis 2024)
Mes daug rašėme apie duomenų vaidmenį šiuolaikiniame versle. Nuo pradedančiųjų ir mažų iki vidutinio dydžio įmonių (MVĮ) iki didelių įmonių duomenų įžvalgos ir analizė yra prieinamesnės bet kokio dydžio įmonėms nei bet kada anksčiau. Iš dalies taip yra dėl to, kad atsirado savitarnos verslo žvalgybos (BI) ir duomenų vizualizacijos priemonių.
Nors prieš naudodamiesi BI įrankiais ar paleisdami numatomąją analizę duomenų rinkinyje, yra daugybė veiksnių, kuriuos reikia atskirti. Tai prasideda nuo paprasto supratimo, kas yra „Big Data“, kas tai nėra (užuomina: ne krištolo rutulys), ir kaip valdyti duomenų saugojimą, organizavimą, leidimus ir saugą jūsų įmonės duomenų architektūroje. Čia įsijungia duomenų valdymas. Procesai, kuriais užtikrinate valdymą įmonėje, skiriasi priklausomai nuo to, su kuo kalbatės. Bet svarbiausia, kad duomenų valdymas būtų susijęs su duomenų pasitikėjimu ir atskaitomybe, susidedančiu iš išsamios geriausios duomenų saugumo praktikos.
Kalbėjausi su „Hortonworks“ ir „MapR“ - dviem didžiausiomis „Hadoop“ pardavėjais rinkoje. Skotas Gnau, „Hortonworks“ vyriausiasis technologijų pareigūnas, ir Jackas Norrisas, „MapR“ vyresnysis duomenų ir programų viceprezidentas, paaiškino, ką duomenų valdymas reiškia jų organizacijoms. Jie diskutavo, kaip išspręsti sudėtingą iššūkį - užtikrinti duomenų valdymą, atsižvelgiant į sudėtingas didelės architektūros duomenų architektūras ir organizacines hierarchijas.
Kas tiksliai yra Duomenų valdymas ir kodėl mums to reikia?
Valdymas reiškia, kad įmonės duomenys yra įgalioti, tvarkomi ir leidžiami duomenų bazėje su kuo mažiau klaidų, išlaikant privatumą ir saugumą. Tai nėra lengva pasiekti pusiausvyrą, ypač kai reali vieta, kur ir kaip kaupiami ir tvarkomi duomenys, nuolat kinta. „MapR“ Norrisas paaiškino, kodėl įmonėms reikia pažvelgti į duomenų valdymą iš aukštesnio lygio ir sutelkti dėmesį į didesnį duomenų srautą.
Kai pradėsite nagrinėti didžiųjų duomenų, su kuriais mes susiduriame, įvairovę ir greitį, turite valdyti duomenis, tačiau tai vyksta platesniame kontekste. Kokius duomenis turite, kas juos turi prieigą ir kaip jūs valdyti tų duomenų kilmę laikui bėgant? ".tarė Norrisas. "Duomenų tvarkymo požiūriu, jūs galite turėti skirtingus sistemoje esančių duomenų etapus, kuriuos galite fotografuoti, kad galėtumėte bet kada grįžti į rengiamą projektą. Tai yra apie audituojamumą ir prieigos prie duomenų platformos kontrolę. įsitikinkite, kad duomenų aptikimas ir analizė yra skaidrūs, nesvarbu, ar esate verslo vadovas, ieškantis finansinių duomenų rinkinių, ar duomenų mokslininkas, dirbantis su pirminiais pirminiais duomenimis “.
Šaltinis: Rimes. Norėdami pamatyti visą vaizdą, spustelėkite paveikslėlį.
„Hortonworks“ Gnau įvedė panašų klausimą. Nesvarbu, ar kalbate apie duomenų saugyklą ar duomenų ežero architektūrą, duomenų valdymas yra skirtas priešingų jėgų subalansavimui. Kalbama apie nevaržomą prieigą prie duomenų, siekiant paskatinti naujoves ir gauti įžvalgų, taip pat išsamius leidimus ir privatumą, kad tuo pačiu metu būtų apsaugoti šie duomenys.
"Palyginkite ir palyginkite senąjį tradicinio valdymo pasaulį duomenų erdvėje. Tai buvo šiek tiek lengviau", - sakė Gnau. "Duomenys, kuriuos anksčiau tiksliai apibrėžėte darbo vaidmeniu ar pritaikymu. Naujame pasaulyje jūs gaunate didžiausią naudą, kai duomenų mokslininkai turi prieigą prie kiek įmanoma daugiau duomenų, o sužinoję, kad laiminga terpė yra labai svarbi.
„Tai skatina visiškai naują paradigmą, kaip reikia kreiptis į valdymą“, - pridūrė Gnau. "Šiame naujame pasaulyje aš manau, kad valdymo ir saugumo temos turi būti nagrinėjamos kartu. Daugelis kompanijų vis dar stengiasi tai padaryti, kad jų duomenų mokslininkai galėtų efektyviai rasti tuos naujo naudojimo atvejus, tuo pat metu, supratimas, kaip elgtis su saugumu, privatumu, valdymu - visais dalykais, kurie yra svarbūs, žvelgiant iš esmės ir iš įmonės reputacijos perspektyvos “.
Kaip įmonės duomenų valdymo planas turėtų apimti ir patenkinti visas tas priešingas jėgas? Metodiškai spręsdami kiekvieną reikalavimą, atlikite vieną žingsnį.
Kaip sudaryti duomenų valdymo planą
„Hortonworks“, „MapR“ ir „Cloudera“ yra trys didžiausi nepriklausomi žaidėjai „Hadoop“ erdvėje. Duomenų valdymui įmonės turi savo įtakos sferas. „MapR“ išleido daugybę baltųjų knygų šia tema ir sukūrė duomenų valdymą visoje savo suvienodintoje duomenų platformoje, o „Hortonworks“ turi savo duomenų saugumo ir valdymo sprendimą ir 2015 m. Įkūrė duomenų valdymo iniciatyvą (DGI). Tai paskatino atvirą - „Apache Atlas“ projekto, teikiančio „Hadoop“ duomenų valdymo sistemą, šaltinis.
Tačiau kai kalbame apie tai, kaip kiekvienas pardavėjas rengia išsamias duomenų valdymo ir saugumo strategijas, Gnau ir Norrisas kalbėjo panašiai. Tai yra sujungti veiksmai, kuriuos „Hortonworks“ ir „MapR“ rekomenduoja įmonėms atsiminti kuriant duomenų valdymo planą.
Didžiausiasis: prieiga prie duomenų ir leidimų suteikimas jiems
Abi bendrovės sutinka, kad negalite užtikrinti efektyvaus duomenų valdymo be išsamios kontrolės. „MapR“ tai įgyvendina pirmiausia naudodamas prieigos valdymo išraiškas (ACE). Kaip paaiškino Norrisas, ACE naudoja grupavimą ir loginę logiką, norėdami valdyti lanksčią prieigą prie duomenų ir prieigą prie jų, remdamiesi vaidmenimis pagrįstais leidimais ir matomumo parametrais.
Jis sakė galvojąs apie tai kaip apie „Gartner“ modelį. Y ašies apatiniame gale yra griežtas valdymas ir mažas judrumas, o X ašies viršutinėje dalyje yra didesnis judrumas ir mažesnis valdymas.
"Žemu lygmeniu jūs apsaugote neskelbtinus duomenis, užmaskuodami juos. Viršuje jūs turite konfidencialias sutartis su duomenų mokslininkais ir BI analitikais", - teigė Norrisas. "Mes linkę tai daryti su maskavimo galimybėmis ir skirtingais vaizdais, kai užblokuojate neapdorotus duomenis apačioje ir palaipsniui suteikiate daugiau prieigos, kol viršutinėje dalyje administratoriams suteikiate platesnį matomumą. Bet kaip jūs suteikiate daugiau informacijos? prieiga prie reikiamų žmonių?
"Jei šiandien pažiūrėtumėte į prieigos kontrolės sąrašą, jis pasakytų kažką panašaus į tai, kad" visi inžinieriai gali prieiti prie to ", - pridūrė Norrisas. "Bet jei norite, kad prieigą prie projekto pasirinktų keli IT direktoriai arba visi, išskyrus asmenis, turite sukurti specialią grupę. Tai yra pernelyg sudėtingas ir sudėtingas būdas pažvelgti į prieigą."
Anot Norriso, čia suteikiamos prieigos teisės skirtingiems lygiams ir grupėms. "Mes sujungėme ACE su įvairiais būdais, kuriais galite pasiekti duomenis - naudodamiesi failais, lentelėmis, srautais ir kt. - ir įdiegėme rodinius be atskirų duomenų kopijų. Taigi, mes teikiame rodinius tais pačiais neapdorotais duomenimis ir rodiniais. gali turėti skirtingą prieigos lygį. Tai suteikia daugiau integruotos, tiesioginės saugos."
„Hortonworks“ panašiai tvarko ir granuliuotą prieigą. Integruodama „Apache Atlas“ valdymui ir „Apache Ranger“, Gnau sakė, kad įmonė leidimus įmonės lygmeniu tvarko per vieną stiklo plokštę. Anot jo, svarbiausia yra galimybė kontekstiniu būdu suteikti prieigą prie duomenų bazės ir tam tikrų metaduomenų žymų, naudojant žymas pagrįstą politiką.
„Kai kas nors yra duomenų bazėje, reikia nukreipti jį per duomenis, kuriuos jie turėtų turėti prieigą prie duomenų“, - sakė Gnau. „Rangerio saugumo politika objekto lygiu, kruopščiai ir visur, kas tarp jų, gali tai sutvarkyti. Pririšant tą saugumą į valdymą viskas pasidaro tikrai įdomu.
"Norėdami išplėsti dideles organizacijas, turite integruoti tuos vaidmenis su valdymu ir metaduomenų žymėjimu", - pridūrė Gnau. Jei prisijungiu iš Singapūro, galbūt yra kitokių taisyklių, pagrįstų vietiniais privatumo įstatymais ar įmonės strategija. Kai įmonė apibrėžia, nustato ir supranta šias taisykles holistiniu „iš viršaus į apačią“ požiūriu, galite atskirti prieigą, remdamiesi konkrečių taisyklių rinkiniai vykdant viską, kas yra pagrindinės platformos viduje “.
Šaltinis: „IBM Big Data & Analytics Hub“. Norėdami pamatyti visą vaizdą, spustelėkite paveikslėlį.
2. Perimetro sauga, duomenų apsauga ir integruota autentifikacija
Valdymas neįvyksta be parametrų saugumo. Gnau sakė, kad svarbu sukurti gerą perimetrą ir ugniasienę aplink duomenis, kurie būtų integruoti su esamomis autentifikavimo sistemomis ir standartais. Norrisas sutiko, kad autentifikavimui svarbu, kad įmonės sinchronizuotųsi su patikrintomis sistemomis.
„Pagal autentifikavimą kalbama apie tai, kaip integruotės su LDAP, „ Active Directory “ir trečiųjų šalių katalogų paslaugomis“, - sakė Norrisas. "Mes taip pat palaikome" Kerberos "vartotojo vardą ir slaptažodžius. Svarbu ne sukurti visą atskirą infrastruktūrą, bet tai, kaip jūs integruositės su esama struktūra ir sverto sistemomis, tokiomis kaip" Kerberos "."
3. Duomenų šifravimas ir žymėjimas
Kitas veiksmas, kai užtikrinate perimetro apsaugą ir patvirtinate visų jūsų suteiktų granuliuotų duomenų prieigą. Įsitikinkite, kad failai ir asmeniškai identifikuojama informacija (PII) yra užšifruoti ir pažymėti nuo duomenų pabaigos iki galo. Gnau aptarė, kaip „Hortonworks“ saugo PII duomenis.
"Kai jūs peržengsite perimetrą ir turėsite prieigą prie sistemos, sugebėti apsaugoti PII duomenis yra nepaprastai svarbu", - sakė Gnau. "Jūs turite užšifruoti ir pažymėti tuos duomenis, todėl, nepaisant to, kas turi prieigą prie jų, jie gali vykdyti reikalingą analizę, neatskleisdami jokių tų PII duomenų."
Kalbėdamas apie tai, kaip saugiai pasiekti užšifruotus duomenis tiek judant, tiek ramybėje, „MapR“ vadovas Norrisas paaiškino, kad svarbu nepamiršti naudoti ir tokių atvejų, kaip atsarginės kopijos darymas ir atkūrimas po nelaimės (DR). Jis aptarė „MapR“ vadinamų loginių tomų koncepciją, kuri gali pritaikyti valdymo politiką augančioje failų ir katalogų grupėje.
„Žemiausiame lygyje„ MapR “suprojektavo WAN replikaciją DR ir laiko nuoseklias visų duomenų, kuriuos galima nustatyti skirtingais dažniais pagal katalogą ar apimtį, vaizdus, - sakė Norrisas. "Tai yra ne tik duomenų valdymas. Galite turėti fizinę sankaupą su katalogais, o tada loginė tūrio koncepcija yra tikrai įdomus valdymo blokas ir būdas sugrupuoti dalykus, kontroliuojant duomenų apsaugą ir dažnį. Tai dar viena rodyklė IT administratoriaus duomenyse. valdymo kivirčas “.
4. Nuolatinis auditas ir analizė
Žvelgdami į platesnį valdymo vaizdą, tiek „Hortonworks“, tiek „MapR“ teigė, kad strategija neveikia be audito. Šis kiekvieno proceso žingsnio atsakingumo ir atskaitomybės lygis leidžia IT faktiškai „valdyti“ duomenis, o ne tiesiog nustato politiką ir prieigos valdiklius bei tikisi geriausio. Tai taip pat yra tai, kaip įmonės gali nuolat atnaujinti savo strategijas aplinkoje, kurioje duomenys, kuriuos matome, ir technologijos, kurias naudojame jų valdymui ir analizei, keičiasi kiekvieną dieną.
„Paskutinis modernios valdymo strategijos elementas yra registravimas ir stebėjimas“, - sakė Gnau. „Mes esame„ Big Data “ir IoT pradinėje stadijoje. Svarbu sugebėti sekti prieigą ir atpažinti duomenų modelius, kad, kadangi reikia atnaujinti strategiją, mes einame kreivės link.“
Norrisas teigė, kad auditas ir analizė gali būti taip paprasta, kaip „JavaScript Object Notation“ (JSON) failų stebėjimas. Ne visus duomenis bus verta sekti ir analizuoti, tačiau jūsų verslas niekada nesužinos, kurie - kol nenustatysite žaidimą keičiančios įžvalgos ar ištiks krizė ir jums nereikės tvarkyti audito sekos.
„Kiekvienas JSON žurnalo failas yra atidaromas analizei. Mes turime„ Apache Drill “, kad galėtume užklausti JSON failus su schemomis, todėl metaduomenų analizės nustatymas nėra rankinis IT žingsnis“, - sakė Norrisas. „Įtraukus visus duomenų prieigos įvykius ir kiekvieną administracinį veiksmą, galima atlikti platų analizės spektrą“.
5. Vieninga duomenų architektūra
Galiausiai technologijos pareigūnas arba IT administratorius, prižiūrintis įmonės duomenų valdymo strategiją, turėtų pagalvoti apie išsamios prieigos, autentifikavimo, saugumo, šifravimo ir audito specifiką. Tačiau technologijų pareigūnas ar IT administratorius neturėtų tuo sustoti; veikiau tas asmuo taip pat turėtų pagalvoti apie tai, kaip kiekvienas iš šių komponentų panaudojamas didesnei jų duomenų architektūrai. Jis ar ji taip pat turėtų galvoti apie tai, kaip ši infrastruktūra turi būti keičiama ir saugi - pradedant duomenų rinkimu ir saugojimu iki pat BI, analizės ir trečiųjų šalių paslaugų. Gnau teigė, kad duomenų valdymas yra ne tik strategijos ir vykdymo permąstymas, bet ir pačios technologijos.
„ Tai peržengia vieną stiklo plokštę ar saugumo taisyklių rinkinį“, - sakė Gnau. "Tai yra viena architektūra, kai kuriate šiuos vaidmenis ir jie sinchronizuojami visoje platformoje ir visuose įrankiuose, kuriuos įnešate į ją. Saugiai valdomos infrastruktūros grožis yra naujų metodų kūrimo lankstumas. Kiekvienos platformos lygyje ar net hibridinę debesų aplinką, jūs turite vieną atskaitos tašką, kad suprastumėte, kaip įgyvendinote savo taisykles. Visi duomenys praeina per šį saugumo ir valdymo sluoksnį “.
