bachelor's thesis
Tim Poštuvan (Avtor), Lovro Šubelj (Mentor)

Povzetek

One of the most important factors which contributes to success of a machine learning model is good training objective. Training objective crucially influences model’s performance and generalization capabilities. We focus on graph neural network training objective for link prediction, because it is barely explored in literature. In this case, training objective includes, among others, training mode, negative sampling strategy, and various hyperparameters, such as edge message ratio. Commonly, these hyperparameters are fine-tuned by complete search, which is very time consuming and model dependent. To mitigate these limitations, we propose Adaptive Grid Search (AdaGrid), which dynamically adjusts edge message ratio during training. It is model agnostic and highly scalable with fully customizable computational budget. AdaGrid can also boosts performance of the models up to 2.3%, while can be nine times more efficient than complete search.

Ključne besede

machine learning;meta-learning;link prediction;graph neural networks;training objective;computer science;computer and information science;computer science and mathematics;interdisciplinary studies;diploma;

Podatki

Jezik: Angleški jezik
Leto izida:
Tipologija: 2.11 - Diplomsko delo
Organizacija: UL FRI - Fakulteta za računalništvo in informatiko
Založnik: [T. Poštuvan]
UDK: 004.85(043.2)
COBISS: 75109379 Povezava se bo odprla v novem oknu
Št. ogledov: 704
Št. prenosov: 118
Ocena: 0 (0 glasov)
Metapodatki: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Ostali podatki

Sekundarni jezik: Slovenski jezik
Sekundarni naslov: Prilagodljiv učni cilj grafovskih nevronskih mrež za napovedovanje povezav
Sekundarni povzetek: Eden izmed najbolj pomembnih faktorjev, ki pripomore k uspehu modela strojnega učenja, je dober učni cilj. Učni cilj kritično vpliva na modelovo uspešnost in njegovo sposobnosti posploševanja. Mi se osredotočimo na učni cilj grafovskih nevronskih mrež za napovedovanje povezav, saj je le-ta še neraziskan v literaturi. V tem primeru učni cilj med drugim zajema tudi učni način, način vzorčenja negativnih povezav in številne druge hiperparametre, kot je razmerje povezav za širjenje sporočil. Pogosto so ti hiperparametri izbrani s pomočjo izčrpnega iskanja, kar je izredno časovno potratno, optimalni hiperparametri pa niso prenosljivi med različnimi modeli. Da bi odpravili te težave, predlagamo Adaptive Grid Search (AdaGrid), ki med učenjem dinamično spreminja razmerje povezav za širjenje sporočil. Je neodvisen od modela in visoko skalabilen, saj se lahko čas učenja prilagodi do potankosti. AdaGrid prav tako lahko izboljša modele kar do 2,3%, pri čemer je lahko kar devetkrat učinkovitejši od izčrpnega iskanja.
Sekundarne ključne besede: meta-učenje;napovedovanje povezav;grafovske nevronske mreže;učni cilji;računalništvo in matematika;interdisciplinarni študij;univerzitetni študij;diplomske naloge;Strojno učenje;Umetna inteligenca;Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS): Diplomsko delo/naloga
Študijski program: 1000407
Konec prepovedi (OpenAIRE): 1970-01-01
Komentar na gradivo: Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani: 42 str.
ID: 13250553