bachelor thesis
Aleksandar Dimitrievikj (Avtor), Marko Robnik Šikonja (Mentor)

Povzetek

In natural language processing, sarcasm detection determines whether a given text is sarcastic or not. It can have many real-world applications such as machine translation. In this work, we present three language modelling approaches and adapt them to the task of sarcasm detection. Two approaches are pretrained language models, BERT uses the encoder part of the transformer architecture and GPT-3 uses the decoder part of the transformer. The third method uses a newly-proposed task-driven learning technique TLM. We evaluated the methods using well-known metrics such as classification accuracy, precision and recall. GPT-3 performed the best in almost every aspect, with BERT being a close second. Our findings showed that TLM is very dependent on the task data and is therefore not suitable for a general task such as sarcasm detection.

Ključne besede

natural language processing;language models;sarcasm detection;transformer architecture;computer and information science;diploma thesis;

Podatki

Jezik: Angleški jezik
Leto izida:
Tipologija: 2.11 - Diplomsko delo
Organizacija: UL FRI - Fakulteta za računalništvo in informatiko
Založnik: [A. Dimitrievikj]
UDK: 004.8:81'322.2(043.2)
COBISS: 125453827 Povezava se bo odprla v novem oknu
Št. ogledov: 44
Št. prenosov: 27
Ocena: 0 (0 glasov)
Metapodatki: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Ostali podatki

Sekundarni jezik: Slovenski jezik
Sekundarni naslov: Jezikovni modeli in učenje s prilagajanjem nalogi za prepoznavanje sarkazma
Sekundarni povzetek: Zaznavanje sarkazma je postopek ugotavljanja, ali je besedilo sarkastično ali ne. Avtomatsko prepoznavanje sarkazma je pomemben vidik obdelave naravnega jezika in ima lahko veliko aplikacij, npr strojno prevajanje. V delu predstavljamo tri pristope jezikovnega modeliranja in jih prilagajamo nalogi odkrivanja sarkazma. Dva pristopa sta vnaprej naučena jezikovna modela, BERT uporablja kodirni del transformerske arhitekture, GPT-3 pa uporablja dekodirni del transformerja. Tretja metoda, TLM, uporablja novo predlagano tehniko učenja, ki temelji na ekstrakciji podatkov glede na dano nalogo. Metode smo ovrednotili z uporabo dobro znanih metrik, kot so klasifikacijska točnost, natančnost in priklic. Metoda GPT-3 se je izkazala za najboljšo v skoraj vseh vidikih, BERT pa je bil na drugem mestu. Naše ugotovitve so pokazale, da je TLM zelo odvisen od podatkov dane naloge in zato ni primeren za splošno nalogo, kot je odkrivanje sarkazma.
Sekundarne ključne besede: jezikovni modeli;prepoznavanje sarkazma;arhitektura transformer;računalništvo in informatika;univerzitetni študij;diplomske naloge;Obdelava naravnega jezika (računalništvo);Računalniško jezikoslovje;Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS): Diplomsko delo/naloga
Študijski program: 1000468
Konec prepovedi (OpenAIRE): 1970-01-01
Komentar na gradivo: Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani: 33 str.
ID: 16252552