Poenostavitev ETL procesa z uporabo platforme Talend

diplomsko delo

Tomaž Čufer (Avtor), Dejan Lavbič (Mentor)

Povzetek

ETL proces predstavlja širok pojem pridobivanja, preoblikovanja in nalaganja podatkov. Vsaka izmed faz potrebuje podrobno definiran postopek, ki bo podatke prenesel na drugo lokacijo ali preoblikoval v potrebno obliko. Nestrukturirana oblika podatkov in njihova velika količina, ki sta pogosti danes, proces še dodatno otežujeta, kar podaljšuje njegovo izvedbo. S primernim ETL orodjem lahko poenostavimo implementacijo procesa in zagotovimo boljši nadzor nad izvajanjem. V diplomski nalogi se je s takim orodjem hotelo pokazati, kako to poenostavitev narediti v praksi. Primerjani sta dve komercialni in odprtokodni orodji. Izbrano je bilo orodje Talend in nato podrobneje predstavljeno njeno delovanje. Opisano je reševanje problemov z obvladovanjem ter integracijo podatkov pridobljenih s spletnim luščenjem in iz socialnega omrežja Twitter. Za orodje je na koncu opravljena še SWOT analiza.

Ključne besede

opravilo;proces;integracija podatkov;Talend;orodje;podatkovno skladišče;računalništvo;računalništvo in informatika;univerzitetni študij;diplomske naloge;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2015
Tipologija:	2.11 - Diplomsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[T. Čufer]
UDK:	004.6(043.2)
COBISS:	1536264131
Št. ogledov:	2518
Št. prenosov:	318
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	Simplification of ETL processes using Talend Platform
Sekundarni povzetek:	The ETL process presents a broad concept of extracting, transforming and loading data. Each of these phases needs to be well defined to transfer the data efficiently to a different location or transform it into the demanded form. Unstructured forms of data along with its huge volume, which is common nowadays, makes this process even more difficult, and is reflected in the longer execution time. With a suitable ETL tool it is possible to simplify the implementation process and assure better control over it. The thesis describes how to complete such simplifications using an appropriate tool in practice. Two commercial and open source tools were compared. Talend tool was chosen and its workflow was later presented in detail. Handling management and integration problems of data is described, where the used data came from web scraping and the Twitter social network. At the end, a SWOT analysis was made for Talend tool.
Sekundarne ključne besede:	job;process;data integration;Talend;tool;data warehouse;computer science;computer and information science;diploma;
Vrsta datoteke:	application/pdf
Vrsta dela (COBISS):	Diplomsko delo/naloga
Študijski program:	1000468
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	42 str.
ID:	8739705