Visual realism assessment for deepfake videos

bachelor thesis

Luka Dragar (Avtor), Žiga Emeršič (Mentor), Borut Batagelj (Komentor)

Povzetek

In this thesis, we tackle the issues of artificial intelligence and DeepFake technology, which in the era of rapid digitalization, pose significant security and privacy concerns. We focus on the assessment of quality and visual realism of DeepFakes, a key factor for the impact of a forged video. We introduce an effective approach for quantifying the visual realism of DeepFake videos, using an ensemble of ConvNext, a Convolutional Neural Network (CNN), and Eva, a vanilla Vision Transformer (ViT). These models were trained on a subset of the DeepFake Game Competition 2022 (DFGC 2022) dataset to regress to Mean Opinion Scores (MOS) from DeepFake videos. Our work yielded successful results, securing third place in the DeepFake Game Competition on Visual Realism Assessment (DFGC-VRA 2023). The thesis provides a detailed presentation of the employed models, data preprocessing procedures, and training, as well as a comparison of our results with other competitors.

Ključne besede

deepfake videos;deepfake;visual realism;deep learning;artificial intelligence;computer and information science;diploma thesis;

Podatki

Jezik:	Angleški jezik
Leto izida:	2023
Tipologija:	2.11 - Diplomsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[L. Dragar]
UDK:	004.85:621.397(043.2)
COBISS:	168011011
Št. ogledov:	46
Št. prenosov:	14
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Slovenski jezik
Sekundarni naslov:	Ocena kakovosti ponarejenih posnetkov
Sekundarni povzetek:	V diplomski nalogi obravnavamo problematiko umetne inteligence in tehno- logijo globokih ponaredkov (angl. DeepFake), ki sta v dobi hitre digitalizacije ključni za varnost in zasebnost. Osredotočili smo se na ocenjevanje kakovosti in vizualnega realizma globoko ponarejenih videposnetkov, kar je ključnega pomena za njihov vpliv. Predstavljamo učinkovit pristop za kvantifikacijo vizualnega realizma globokih ponaredkov z uporabo ansambla dveh napred- nih globokih nevronskih mrež imenovanih ConvNext in Eva. Modela smo natrenirali na podmnožici podatkovne množice DeepFake Game Competition (DFGC) 2022, s ciljem napovedati povprečno oceno mnenja (MOS) ponare- jenega videoposnetka. Rezultati našega dela so se izkazali za uspešne, saj je naš pristop na tekmovanju DFGC-VRA 2023 zasedel tretje mesto. V diplom- ski nalogi so podrobno predstavljeni uporabljeni modeli, postopki predhodne obdelave podatkov in treniranja modelov, ter primerjava naših rezultatov s sotekmovalci.
Sekundarne ključne besede:	ponarejeni videoposnetki;kakovost;umetna inteligenca;globoki ponaredek;vizualni realizem;univerzitetni študij;diplomske naloge;Globoko učenje (strojno učenje);Ponarejanje in ponaredki;Videoposnetki;Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS):	Diplomsko delo/naloga
Študijski program:	1000468
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	58 str.
ID:	19929459