diplomsko delo
Matej Kranjec (Avtor), Marko Robnik Šikonja (Mentor)

Povzetek

V diplomski nalogi smo preizkusili metodo za izboljšavo klasifikacije globokih nevronskih mrež s predznanjem o negaciji. Najuspešnejši jezikovni modeli, kot na primer BERT ali ELMo, so uspešni pri klasifikaciji besedil, a odpovejo pri negaciji. Prednaučene jezikovne modele smo prilagodili, da tudi v slovenščini bolje delujejo z negacijo. To smo dosegli z spreminjanjem funkcije izgube nevronske mreže ter prilagajanjem obstoječih modelov. Metodo smo preizkusili na prilagojenem korpusu z dodanimi negacijami osnovnih stavkov. Metoda je uspešno zmanjšala delež napačnih napovedi v negiranih stavkih pri maskiranem jezikovnem modelu, točnost na nalogah iz slovenske zbirke SuperGLUE pa je ponekod izboljšala, drugje pa poslabšala.

Ključne besede

globoke nevronske mreže;klasifikacija;obravnava negacije;veliki vnaprej naučeni jezikovni modeli;univerzitetni študij;diplomske naloge;

Podatki

Jezik: Slovenski jezik
Leto izida:
Tipologija: 2.11 - Diplomsko delo
Organizacija: UL FRI - Fakulteta za računalništvo in informatiko
Založnik: [M. Kranjec]
UDK: 004.8:81'322.2(043.2)
COBISS: 121785859 Povezava se bo odprla v novem oknu
Št. ogledov: 31
Št. prenosov: 13
Ocena: 0 (0 glasov)
Metapodatki: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Ostali podatki

Sekundarni jezik: Angleški jezik
Sekundarni naslov: Improving negation handling in large language models
Sekundarni povzetek: In the thesis we have tested a method for improved classification of deep neural networks with prior knowledge of negation. State of the art language models, such as ELMo and BERT, are successful at text classification, but fail when there is negation involved. We adjusted pre-trained language models to work better with negation in Slovene. We modified the loss function of the neural networks and retrained the models. We have tested the method on a modified corpus with added negations of original sentences. The method successfully reduced the error in the negated sentences for masked language models, and it increased the accuracy for some tasks from the Slovene version of the SuperGLUE benchmark but decreased for others.
Sekundarne ključne besede: deep neural networks;classification;negation modeling;large pretrained language models;computer science;diploma;Nevronske mreže (računalništvo);Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS): Diplomsko delo/naloga
Študijski program: 1000468
Konec prepovedi (OpenAIRE): 1970-01-01
Komentar na gradivo: Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani: 27 str.
ID: 16382221