Deidentifikacija obrazov na osnovi zamenjav obrazov

magistrsko delo

Žiga Babnik (Author), Peter Peer (Mentor)

Abstract

V zadnjih letih količina vizualnih vsebin, ki vsebujejo občutljive informacije o identiteti posameznikov, drastično raste. Posledično se razvijajo in širijo učinkoviti mehanizmi za zagotavljanje zasebnosti posameznikov. V delu se osredotočamo na razvoj takšnih mehanizmov za obrazne slike, ki jih lahko uporabimo v sistemih za samodejno razpoznavanje obrazov. Med obstoječimi rešitvami se v literaturi pogosto pojavijo postopki deidentifikacije, ki iz podatkov odstranijo informacijo o identiteti in ohranijo manj občutljive informacije. Za deidentifikacijo slik uporabimo različne mehanizme za zagotavljanje zasebnosti obraznih slik. Naš glavni cilj je preveriti zmožnost delovanja takšnih mehanizmov v kombinaciji s pristopom za zamenjavo obrazov. V delu se omejimo na tri mehanizme za zagotavljanje zasebnosti obraznih slik. Prvi mehanizem temelji na dodajanju nasprotniških perturbacij v obrazno sliko. Za izvedbo mehanizma smo izbrali metodo hitrega predznačenega gradienta, ki jo nadgradimo z uporabo ansambla modelov ter binarnimi obraznimi maskami. Drugi mehanizem temelji na shemi k-enakosti, kjer s pomočjo rojenja in generatorja StyleGAN ustvarimo umetne obrazne identitete, s katerimi zamenjamo obraze v izvirnih slikah. Zadnji mehanizem temelji na ε-diferencialni zasebnosti, kjer ustvarjamo umetne obrazne identitete z vnašanjem šuma v StyleGAN-vložitve slik. Rezultati mehanizmov za zagotavljanje zasebnosti kažejo, da so vse implementacije sposobne deidentificirati obrazne slike do neke mere. Z vključevanjem mehanizmov v pristop za zamenjavo obrazov pa se sposobnost deidentifikacije le-teh zmanjša. Združevanje generativnih mehanizmov, kot sta shema k-enakosti ter ε-diferencialna zasebnost, z nasprotniškimi mehanizmi v splošnem izboljša rezultate v primerjavi z uporabo posameznih mehanizmov tudi, ko jih združimo s pristopom za zamenjavo obrazov.

Keywords

biometrija;zamenjava obrazov;deidentifikacija;nasprotniški šum;shema k-enakosti;diferencialna zasebnost;računalništvo in informatika;magisteriji;

Data

Language:	Slovenian
Year of publishing:	2021
Typology:	2.09 - Master's Thesis
Organization:	UL FRI - Faculty of Computer and Information Science
Publisher:	[Ž. Babnik]
UDC:	004.93:57.087.1(043.2)
COBISS:	76582147
Views:	322
Downloads:	110
Average score:	0 (0 votes)
Metadata:

Other data

Secondary language:	English
Secondary title:	Face Deidentification using Face Swapping
Secondary abstract:	The amount of visual content containing sensitive identity information has steadily grown in the past years. This has led to the development of effective privacy enhancing mechanisms. In our work we focus on face images, which can be used in automatic face recognition systems. The approaches presented in related papers frequently use de-identification mechanisms, which remove only identity information from the data, while preserving other information. For the purpose of de-identification of face images we use different privacy enhancing mechanisms. Our main goal is to verify if the mechanisms can be used with a face swapping approach. In our work we focus on three different privacy enhancing mechanisms. The first is an adversarial approach, which adds perturbations into the face image. We chose to use the Fast Gradient Sign Method, which we enhanced using an ensemble of models and binary face masks. The second mechanism is based on the k-same method, where we generate artificial face identities using clustering and the StyleGAN generator, which replace the faces of the source images. The last mechanism is based on ε-differential privacy, where we generate artificial face identities by introducing noise to the StyleGAN embeddings of images. The results of individual privacy enhancing mechanisms showed that all implementations were able to provide some form of de-identification. Combining individual mechanisms with a face swapping approach lowered the de-identification capabilities of all mechanisms. Using prior mechanisms such as the k-same method or ε-differential privacy with posterior adversarial mechanisms seemed to further improve de-identification capabilities, even when combined with a face swapping approach.
Secondary keywords:	computer vision;biometry;face swapping;deidentification;adversarial noise;k-same method;differential privacy;computer science;computer and information science;master's degree;Računalniški vid;Biometrična identifikacija;Računalništvo;Univerzitetna in visokošolska dela;
Type (COBISS):	Master's thesis/paper
Study programme:	1000471
Thesis comment:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Pages:	69 str.
ID:	13359963