master's thesis
Povzetek
Accurately predicting user clicks is crucial for the success of online advertising in the real-time bidding industry. In this thesis, our goal is to conduct a thorough comparison and evaluation of click-through rate prediction models commonly used in practice. Our advantage lies in our unified implementation approach, which allows for a fair and comprehensive comparison of the models, with the most important contribution being an online A/B test.
We evaluated several click-through rate prediction models. Our offline results showed that the DCN-V2 model outperforms the other models in terms of log loss, with DeepFM and DeepFwFM following behind. However, due to domain constraints, the models were subject to underfitting. We demonstrated that in this regard, the DCN-V2 model is again the best as it was the least affected by it. We conducted our evaluation on both a public and a private dataset owned by Outbrain and obtained consistent results.
Additionally, we conducted an online A/B test on the production traffic of Outbrain, a demand-side platform in the real-time bidding ecosystem. Our results showed that the DCN-V2 model outperformed the production DeepFM-based model, resulting in a revenue increase of 5.8\%.
Ključne besede
artificial intelligence;machine learning;click-through rate prediction;real-time bidding;incremental learning;big data;demand-side platform;computer science;master's thesis;
Podatki
Jezik: |
Angleški jezik |
Leto izida: |
2023 |
Tipologija: |
2.09 - Magistrsko delo |
Organizacija: |
UL FRI - Fakulteta za računalništvo in informatiko |
Založnik: |
[A. Alič] |
UDK: |
004.8(043.2) |
COBISS: |
158062595
|
Št. ogledov: |
79 |
Št. prenosov: |
27 |
Ocena: |
0 (0 glasov) |
Metapodatki: |
|
Ostali podatki
Sekundarni jezik: |
Slovenski jezik |
Sekundarni naslov: |
Primerjava modelov za napovedovanje verjetnosti klika v realno-časovnih dražbah |
Sekundarni povzetek: |
Natančno napovedovanje klikov je ključnega pomena za uspeh spletnega oglaševanja v industriji ralno-časovnih dražb. V tem delu je naš cilj izvesti temeljito primerjavo in vrednotenje modelov za napovedovanje verjetnosti klika, ki so pogosto uporabljeni v industriji. Naša prednost je v enotni implementaciji modelov, ki omogoča pošteno in celovito primerjavo modelov, pri čemer je najpomembnejši prispevek te naloge produkcijski A/B test.
Evalvirali smo več modelov za napovedovanje verjetnosti klika. Naši rezultati v testnem okolju so pokazali, da model DCN-V2 dosega boljše rezultate kot druga dva modela v smislu logaritmične funkcije izgube. Vendar pa so bili modeli zaradi domenskih omejitev podvrženi podprilagajanju. Pokazali smo, da je model DCN-V2 znova najboljši, saj je nanj podprilaganjanje imelo manjši učinek.
Analizo smo opravili tako na prosto dostopnih kot zasebnih podatkih podjetja Outbrain in dosegli konsistentne rezultate.
Dodatno smo opravili A/B test na produkcijskem prometu podjetja Outbrain, ki je platforma za povpraševanje v ekosistemu realno-časovnih dražb. Pokazali smo, da je model DCN-V2 dosegel boljše rezultate kot model, ki temelji na metodi DeepFM, in da je povečal prihodke za 5,8\%. |
Sekundarne ključne besede: |
napovedovanje klikov;realno-časovne dražbe;inkrementalno učenje;velepodatki;platforma za povpraševanje;magisteriji;Umetna inteligenca;Strojno učenje;Računalništvo;Univerzitetna in visokošolska dela; |
Vrsta dela (COBISS): |
Magistrsko delo/naloga |
Študijski program: |
1000471 |
Konec prepovedi (OpenAIRE): |
1970-01-01 |
Komentar na gradivo: |
Univ. v Ljubljani, Fak. za računalništvo in informatiko |
Strani: |
IV, 56 str. |
ID: |
19212166 |