Sferična metoda k-voditeljev

delo diplomskega seminarja

Jan Lampič (Avtor), Marjetka Krajnc (Mentor)

Povzetek

Hiter napredek pri tehnikah pridobivanja podatkov, je povzročil, da se količina podatkov iz dneva v dan eksponentno veča. Ocenjuje se, da je 80% svetovnih podatkov shranjenih v nestrukturiranem besedilu. Tekstovno rudarjenje je tako postalo zanimivo raziskovalno področje, saj poskuša odkriti dragocene informacije iz nestrukturiranih besedil. Temeljni problem tekstovnega rudarjenja je grupiranje dokumentov. V delu diplomskega seminarja je, kot ena izmed najbolj priljubljenih metod grupiranja dokumentov, predstavljena sferična metoda $k$-voditeljev. Za lažje razumevanje metode, sta na začetku opisana problema grupiranja in reprezentacije dokumentov. Glavni cilj dela je izpeljava algoritma sferične metode $k$-voditeljev. S tem namenom je najprej predstavljena paketna verzija algoritma, z njenimi slabostmi in računskimi izboljšavami. Sledi opis inkrementalne verzije algoritma, ki izboljša rezultate paketne verzije. Končen algoritem sferične metode $k$-voditeljev je dobljen s kombinacijo prejšnjih dveh. V zaključku dela je opisan še zgled uporabe algoritma sferične metode $k$-voditeljev, kjer je problem avtorstvo knjig ”Čarovnik z Oza”. Algoritem posameznim knjigam poišče avtorja besedila na podlagi pogostosti besed, ki jih avtor uporablja.

Ključne besede

matematika;tekstovno rudarjenje;grupiranje;sferična metoda k-voditeljev;kosinusna podobnost;model vreče besed;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2018
Tipologija:	2.11 - Diplomsko delo
Organizacija:	UL FMF - Fakulteta za matematiko in fiziko
Založnik:	[J. Lampič]
UDK:	004
COBISS:	18432601
Št. ogledov:	756
Št. prenosov:	269
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	Spherical $k$-means algorithm
Sekundarni povzetek:	Rapid progress in digital data acquisition techniques has led to huge volume of data. Approximately 80% of the world’s data is in stored as an unstructured text. Text mining has therefore become an exciting research field as it tries to discover valuable information from unstructured texts. Clustering is one of the most interesting and important topics in text mining. This work presents one of the most popular document clustering algorithms, the spherical $k$-means. First, the problem of clustering and representation of documents is described to better understand the method. The main goal of this work is to derive the spherical $k$-means algorithm. For this purpose, the batch version of the algorithm, with its weaknesses and calculation improvements, is introduced first. A description of the incremental version of the algorithm which improves the results of the batch version is presented next. Finally, the batch and incremental iterations are combined to generate the spherical $k$-means algorithm. To conclude the work an example of the use of the spherical $k$-means is given, where the problem is the authorship of books “The Wizard of Oz”. The algorithm assigns authors to the books based on the frequency of used words.
Sekundarne ključne besede:	text mining;clustering;spherical k-means algorithm;cosine similarity;bag-of-words model;
Vrsta dela (COBISS):	Delo diplomskega seminarja/zaključno seminarsko delo/naloga
Študijski program:	0
Komentar na gradivo:	Univ. v Ljubljani, Fak. za matematiko in fiziko, Oddelek za matematiko, Finančna matematika - 1. stopnja
Strani:	28 str.
ID:	10959113