Generating ocular images with deep generative models

master's thesis

Darian Tomašević (Avtor), Vitomir Štruc (Mentor), Peter Peer (Komentor)

Povzetek

Večina modernih pristopov za segmentacijo oči temelji na metodah globokega učenja, ki potrebujejo velike količine anotiranih podatkov. Zbiranje in anotacija tovrstnih biometričnih podatkov je izjemno dolgotrajna, medtem ko je njihova uporaba ponavadi omejena zaradi varovanja zasebnosti. V magistrskem delu predstavimo rešitev v obliki novega ogrodja za generiranje sintetičnih podatkov, poimenovanega BiOcularGAN, ki je zmožen sinteze fotorealističnih slik oči v vidnem in bližnje infrardečem svetlobnem spektru ter pripadajočih segmentacijskih mask. Pristop temelji na izvirnem dvo-vejnem modelu StyleGAN2, ki omogoči generiranje kvalitetnih in poravnanih bimodalnih slik oči. Z uporabo latentnih informacij, prisotnih v modelu, je predstavljeno ogrodje zmožno ustvarjanja izjemno natančnih pripadajočih segmentacijskih mask na podlagi izredno majhnega števila ročno anotiranih primerov. Za evalvacijo uspešnosti ogrodja BiOcularGAN izvedemo eksperimente na petih podatkovnih bazah oči in analiziramo vpliv hkratnega generiranja bimodalnih podatkov na kvaliteto pridobljenih slik in mask. Pokažemo tudi, da lahko ustvarjene sintetične podatkovne baze uporabimo za učenje sodobnih globokih segmentacijskih modelov, ki so zmožni natančne segmentacije novih in raznolikih slik oči.

Ključne besede

deep learning;image-based biometrics;data augmentation;neural networks;generative adversarial networks;computer science;master's thesis;

Podatki

Jezik:	Angleški jezik
Leto izida:	2022
Tipologija:	2.09 - Magistrsko delo
Organizacija:	UL FE - Fakulteta za elektrotehniko
Založnik:	[D. Tomašević]
UDK:	004.8:57.087.1(043.2)
COBISS:	122057987
Št. ogledov:	36
Št. prenosov:	25
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Slovenski jezik
Sekundarni naslov:	Generating ocular images with deep generative models
Sekundarni povzetek:	Most modern segmentation techniques for ocular images are based on deep learning methods and are thus critically dependent on large-scale annotated datasets. Unfortunately, suitable datasets are labour-intensive to gather and often raise privacy concerns. To address these issues, we present a novel framework, called BiOcularGAN, capable of generating large-scale synthetic datasets of photorealistic ocular images, in both the visible and the near-infrared light spectrum, along with corresponding segmentation masks. The framework is centered around an innovative Dual-Branch StyleGAN2 model, which facilitates the generation of high-quality aligned bimodal images. By exploiting latent features of the model, the framework is also able to produce extremely accurate segmentation masks of the synthetic images, based only on a handful of manually labeled examples, therefore minimizing human involvement. We evaluate the BiOcularGAN framework through extensive experiments across five diverse ocular datasets and analyze how bimodal data generation affects the quality of produced images and masks. In addition, we showcase that the generated data can be employed to train highly successful deep segmentation models, which can generalize well to other real-world datasets.
Sekundarne ključne besede:	slikovna biometrija;bogatenje podatkov;generativne nasprotniške mreže;magisteriji;Globoko učenje (strojno učenje);Nevronske mreže (računalništvo);Biometrija;Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS):	Magistrsko delo/naloga
Študijski program:	1000471
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	X, 96 str.
ID:	16439169