Pregled in analiza tehnoloških skladov za implementacijo sodobnih IT arhitektur velepodatkov

Abstract

Dandanes se pri implementaciji sodobnih IT arhitektur velepodatkov podjetja odločajo za uporabo različnih tehnoloških skladov, ki so bodisi odprtokodni bodisi takšni, ki jih na trgu ponujajo oblačni ponudniki, kot so Google, Microsoft, Amazon idr. Na izbiro določenega sklada vpliva nekaj različnih faktorjev, pogosto pa se najpomembnejši izkažejo človeški viri in strošek uporabe posameznega sklada. Kot alternativa se za zmanjšanje stroškov lahko uporabijo odprtokodne tehnologije, kot je npr. sklad Apache, vendar to tudi prinaša določene implikacije in kompromise. Z druge strani, sodobne arhitekture velepodatkov včasih vključujejo ločena nivoja za shrambo in analitiko, pri čemer se na vsakem nivoju uporablja različna tehnološka rešitev (tudi znotraj posameznega nivoja), a vse z namenom shranjevanja različno strukturiranih oz. nestrukturiranih podatkov in učinkovite analize le-teh. V članku predstavimo en primer dvonivojske IT arhitekture optimizirane za hrambo in analizo velepodatkov ter prikažemo orodja in rešitve znotraj izbranih treh tehnoloških skladov (Google, Amazon, Apache), s katerimi se lahko implementira omenjena arhitektura. Analiziramo lastnosti posameznih skladov ter podamo povzetek prednosti in izzivov pri uporabi določenega sklada.