Globoke nevronske mreže za postavljanje vejic v slovenskem jeziku

diplomsko delo

Martin Božič (Avtor), Marko Robnik Šikonja (Mentor)

Povzetek

Med najpogostejše napake pri pisanju besedil v slovenščini sodi postavljanje vejic. V diplomski nalogi se bomo osredotočili na postavljanje vejic s pomočjo globokih nevronskih mrež. Predstavili bomo dve arhitekturi, eno na podlagi nevronskih mrež s celicami GRU in drugo z vnaprej naučenim jezikovnim modelom tipa BERT. Pri uporabi jezikovnega modela tipa BERT opazimo boljšo klasifikacijsko točnost. Vzrok za to je boljša in kompleksnejša arhitektura modela ter proces učenja, ki izpopolnjuje model z obširnim jezikovnim znanjem. Z uporabo večjezičnega modela BERT, naučenega na 104 jezikih in le manjšo množico slovenskih besedil, pridobimo rešitev, ki je primerljiva z rešitvijo, ki smo jo pridobili z uporabo trojezičnega, slovensko-hrvaško-angleškega modela BERT.

Ključne besede

globoke nevronske mreže;mreže GRU;model BERT;postavljanje vejic;računalništvo in informatika;univerzitetni študij;diplomske naloge;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2020
Tipologija:	2.11 - Diplomsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[M. Božič]
UDK:	004.85:003.086(043.2)
COBISS:	27670787
Št. ogledov:	1060
Št. prenosov:	485
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	Deep neural networks for comma placement in Slovene
Sekundarni povzetek:	Comma placement is the most frequent orthological mistake in Slovene. The thesis focuses on comma placement using deep neural networks. We present two architectures, one based on neural networks with GRU cells and another using a pre-learned BERT language model. Using a pre-learned BERT language model, we get better classification accuracy. The reason for this is better and more complex architecture and the learning process, which fine-tuned a pretrained model with substantial language knowladge. With the multilingual BERT, trained on 104 languages with only a small amount of Slovene texts, we achieve comparable results to Slovene-Croatian-English BERT model, trained with much more Slovene texts.
Sekundarne ključne besede:	deep neural networks;GRU networks;BERT model;comma placement;computer and information science;diploma;
Vrsta dela (COBISS):	Diplomsko delo/naloga
Študijski program:	1000468
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	25 str.
ID:	12021428