Odprtokodna podatkovna jezera in MinIO

diplomsko delo

Lev Zupančič (Author), Matjaž Kukar (Mentor)

Abstract

V diplomski nalogi predstavimo pojme podatkovnih jezer in velepodatkov, ter s pomočjo sistema odprtokodne podatkovne shrame MinIO, vzpostavimo lastno podatkovno jezero. Sistem MinIO podrobno raziščemo in prikažemo njegove prednosti in slabosti. Ogledamo si tudi druge podatkovne shrambe, kot so LakeFS, Ceph, Hadoop in AWS, in jih primerjamo z MinIO. Lastno podatkovno jezero postavimo v praktično okolje, kjer ga preizku- simo in ovrednotimo z vidika samostojnega uporabnika. Med seboj primer- jamo tri različne scenarije uporabe MinIO podatkovnega jezera in izmerimo hitrost prenosa podatkov znotraj njega. Pogledamo si tudi kakšne možnosti razširljivosti ponuja MinIO in ocenimo, kako zahteven je bil proces postavitve lastnega podatkovnega jezera. Ob koncu analiziramo procese polnjenja ter pridobivanja in označevanja podatkov v MinIO podatkovnem jezeru. Ugotovimo, da je sistem MinIO enostaven za uporabo, saj podpira uporabo v različnih okoljih, ima podrobna in razumljiva navodila za njegovo vzpostavitev in ima obsežno dokumentacijo na svoji uradni strani. MinIO se izkaže za uporabno in učinkovito orodje za posameznika, ki dela z obsežnimi količinami različnih tipov podatkov.

Keywords

podatkovna jezera;velepodatki;MinIO;univerzitetni študij;diplomske naloge;

Data

Language:	Slovenian
Year of publishing:	2024
Typology:	2.11 - Undergraduate Thesis
Organization:	UL FRI - Faculty of Computer and Information Science
Publisher:	[L. Zupančič]
UDC:	004.6(043.2)
COBISS:	186713091
Views:	33
Downloads:	4
Average score:	0 (0 votes)
Metadata:

Other data

Secondary language:	English
Secondary title:	Open source data lakes and MinIO
Secondary abstract:	In this thesis we present the concepts of data lakes and big data. With the help of the opensource data storage solution MinIO we setup our own data lake. We take a detailed look at MinIO and showcase its strengths and weaknesses. We also take a look at other data storage solutions like LakeFS, Ceph, Hadoop and AWS and compare them with MinIO. We deploy our data lake into a working environment where we evaluate it from the perspective of an independent user. We compare three diff erent scenarios of using MinIO and track transfer speeds for each of them. We also explore the scalability options MinIO off ers and assess the complexity of setting up our custom data lake. We analize the processes of fi lling, retrieving and tagging the data in our MinIO data lake. We fi nd that MinIO is easy to use, as it can be used in multiple environments and has a detailed documentation on its offi cial website. We conclude that MinIO is an eff ective tool for a user working with large quantities of diff erent types of data.
Secondary keywords:	data lake;big data;MinIO;computer and information science;diploma;Informacije;Računalništvo;Univerzitetna in visokošolska dela;
Type (COBISS):	Bachelor thesis/paper
Study programme:	1000468
Embargo end date (OpenAIRE):	1970-01-01
Thesis comment:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Pages:	78 str.
ID:	22976627