bachelor's thesis
Tim Poštuvan (Author), Lovro Šubelj (Mentor)

Abstract

One of the most important factors which contributes to success of a machine learning model is good training objective. Training objective crucially influences model’s performance and generalization capabilities. We focus on graph neural network training objective for link prediction, because it is barely explored in literature. In this case, training objective includes, among others, training mode, negative sampling strategy, and various hyperparameters, such as edge message ratio. Commonly, these hyperparameters are fine-tuned by complete search, which is very time consuming and model dependent. To mitigate these limitations, we propose Adaptive Grid Search (AdaGrid), which dynamically adjusts edge message ratio during training. It is model agnostic and highly scalable with fully customizable computational budget. AdaGrid can also boosts performance of the models up to 2.3%, while can be nine times more efficient than complete search.

Keywords

machine learning;meta-learning;link prediction;graph neural networks;training objective;computer science;computer and information science;computer science and mathematics;interdisciplinary studies;diploma;

Data

Language: English
Year of publishing:
Typology: 2.11 - Undergraduate Thesis
Organization: UL FRI - Faculty of Computer and Information Science
Publisher: [T. Poštuvan]
UDC: 004.85(043.2)
COBISS: 75109379 Link will open in a new window
Views: 704
Downloads: 118
Average score: 0 (0 votes)
Metadata: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Other data

Secondary language: Slovenian
Secondary title: Prilagodljiv učni cilj grafovskih nevronskih mrež za napovedovanje povezav
Secondary abstract: Eden izmed najbolj pomembnih faktorjev, ki pripomore k uspehu modela strojnega učenja, je dober učni cilj. Učni cilj kritično vpliva na modelovo uspešnost in njegovo sposobnosti posploševanja. Mi se osredotočimo na učni cilj grafovskih nevronskih mrež za napovedovanje povezav, saj je le-ta še neraziskan v literaturi. V tem primeru učni cilj med drugim zajema tudi učni način, način vzorčenja negativnih povezav in številne druge hiperparametre, kot je razmerje povezav za širjenje sporočil. Pogosto so ti hiperparametri izbrani s pomočjo izčrpnega iskanja, kar je izredno časovno potratno, optimalni hiperparametri pa niso prenosljivi med različnimi modeli. Da bi odpravili te težave, predlagamo Adaptive Grid Search (AdaGrid), ki med učenjem dinamično spreminja razmerje povezav za širjenje sporočil. Je neodvisen od modela in visoko skalabilen, saj se lahko čas učenja prilagodi do potankosti. AdaGrid prav tako lahko izboljša modele kar do 2,3%, pri čemer je lahko kar devetkrat učinkovitejši od izčrpnega iskanja.
Secondary keywords: meta-učenje;napovedovanje povezav;grafovske nevronske mreže;učni cilji;računalništvo in matematika;interdisciplinarni študij;univerzitetni študij;diplomske naloge;Strojno učenje;Umetna inteligenca;Računalništvo;Univerzitetna in visokošolska dela;
Type (COBISS): Bachelor thesis/paper
Study programme: 1000407
Embargo end date (OpenAIRE): 1970-01-01
Thesis comment: Univ. v Ljubljani, Fak. za računalništvo in informatiko
Pages: 42 str.
ID: 13250553