Evaluating model tradeoffs for click prediction

bachelor's thesis

Matej Kalc (Avtor), Jure Demšar (Mentor), Jan Hartman (Komentor), Davorin Kopič (Komentor)

Povzetek

In the context of online advertising, Click-Through Rate (CTR) is the probability that a user clicks on an ad. CTR prediction is done using machine learning methods, such as Factorization machines (FM) and neural networks. Various improved versions of these traditional approaches have been proposed in the last decade, the main goal of this thesis is to evaluate these upgrades. We evaluated the models in two phases: using different combinations of parameters and using Bayesian optimization for parameter tuning. In the first phase, results showed that the group of models that use neural networks achieves a higher Area Under the ROC Curve (AUC). Kernel-extended Factorization Machine, a new proposed model during the Data Science project competition at the Faculty of Computer Science, performed worse than the FM model. In the second phase, we applied Bayesian optimization to the models to achieve an even higher AUC. The second-generation of the Deep&Cross model surprisingly surpassed Deep Factorization Machine with a higher AUC, which had the highest AUC in the first phase. During the evaluation, we also tested the degree of FM and concluded that there is no need for a degree higher than two.

Ključne besede

CTR prediction;factorization machines;deep learning;online learning;Bayesian optimization;computer and information science;diploma thesis;

Podatki

Jezik:	Angleški jezik
Leto izida:	2021
Tipologija:	2.11 - Diplomsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[M. Kalc]
UDK:	004(043.2)
COBISS:	76724995
Št. ogledov:	331
Št. prenosov:	64
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Slovenski jezik
Sekundarni naslov:	Ocenjevanje modelov za napovedovanje verjetnosti klika
Sekundarni povzetek:	CTR je verjetnost, da uporabnik klikne nek oglas. CTR se napoveduje z uporabo metod strojnega učenja, kot sta Factorization machine (FM) in nevronska mreža. V zadnjem desetletju so bile predlagane različne izboljšane različice FM-ja in modeli z izboljšanimi nevronskimi mrežami. Glavni cilj diplomske naloge je ovrednotiti modele na isti množici podatkov. Te modele smo ovrednotili v dveh fazah: z uporabo različnih kombinacij parametrov in z uporabo Bayesove optimizacije za nastavljanje parametrov. V prvi fazi so rezultati pokazali, da je skupina modelov, ki uporabljajo nevronske mreže, dosegla višjo Ploščino pod ROC krivuljo (AUC). Kernel-extended Factorization machine, novi predlagani model med Data Science projektom na Fakulteti za računalništvo, je bil slabši od modela FM. V drugi fazi smo za modele uporabili Bayesovo optimizacijo, s katero smo dosegli še višji AUC. Model Deep&Cross V2 je z višjim AUC-jem presenetljivo presegel Deep Factorization Machine, model z višjim AUC-jem v prvi fazi. Med testiranjem smo ovrednotili razne stopnje reda za FM in ugotovili, da ni potrebe po stopnji, višji od dveh.
Sekundarne ključne besede:	napovedovanje verjetnosti klika;globoko učenje;sprotno učenje;Bayesova optimizacija;računalništvo in informatika;univerzitetni študij;diplomske naloge;Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS):	Diplomsko delo/naloga
Študijski program:	1000468
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	42 str.
ID:	13345769