Odprtokodna podatkovna jezera in MinIO

diplomsko delo

Lev Zupančič (Avtor), Matjaž Kukar (Mentor)

Povzetek

V diplomski nalogi predstavimo pojme podatkovnih jezer in velepodatkov, ter s pomočjo sistema odprtokodne podatkovne shrame MinIO, vzpostavimo lastno podatkovno jezero. Sistem MinIO podrobno raziščemo in prikažemo njegove prednosti in slabosti. Ogledamo si tudi druge podatkovne shrambe, kot so LakeFS, Ceph, Hadoop in AWS, in jih primerjamo z MinIO. Lastno podatkovno jezero postavimo v praktično okolje, kjer ga preizku- simo in ovrednotimo z vidika samostojnega uporabnika. Med seboj primer- jamo tri različne scenarije uporabe MinIO podatkovnega jezera in izmerimo hitrost prenosa podatkov znotraj njega. Pogledamo si tudi kakšne možnosti razširljivosti ponuja MinIO in ocenimo, kako zahteven je bil proces postavitve lastnega podatkovnega jezera. Ob koncu analiziramo procese polnjenja ter pridobivanja in označevanja podatkov v MinIO podatkovnem jezeru. Ugotovimo, da je sistem MinIO enostaven za uporabo, saj podpira uporabo v različnih okoljih, ima podrobna in razumljiva navodila za njegovo vzpostavitev in ima obsežno dokumentacijo na svoji uradni strani. MinIO se izkaže za uporabno in učinkovito orodje za posameznika, ki dela z obsežnimi količinami različnih tipov podatkov.

Ključne besede

podatkovna jezera;velepodatki;MinIO;univerzitetni študij;diplomske naloge;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2024
Tipologija:	2.11 - Diplomsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[L. Zupančič]
UDK:	004.6(043.2)
COBISS:	186713091
Št. ogledov:	33
Št. prenosov:	4
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	Open source data lakes and MinIO
Sekundarni povzetek:	In this thesis we present the concepts of data lakes and big data. With the help of the opensource data storage solution MinIO we setup our own data lake. We take a detailed look at MinIO and showcase its strengths and weaknesses. We also take a look at other data storage solutions like LakeFS, Ceph, Hadoop and AWS and compare them with MinIO. We deploy our data lake into a working environment where we evaluate it from the perspective of an independent user. We compare three diff erent scenarios of using MinIO and track transfer speeds for each of them. We also explore the scalability options MinIO off ers and assess the complexity of setting up our custom data lake. We analize the processes of fi lling, retrieving and tagging the data in our MinIO data lake. We fi nd that MinIO is easy to use, as it can be used in multiple environments and has a detailed documentation on its offi cial website. We conclude that MinIO is an eff ective tool for a user working with large quantities of diff erent types of data.
Sekundarne ključne besede:	data lake;big data;MinIO;computer and information science;diploma;Informacije;Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS):	Diplomsko delo/naloga
Študijski program:	1000468
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	78 str.
ID:	22976627