Destilacija znanja globokih modelov za biometrijo beločnice

magistrsko delo

Matic Bizjak (Avtor), Peter Peer (Mentor), Vitomir Štruc (Komentor), Matej Vitek (Komentor)

Povzetek

Destilacija znanja je pristop izdelave lahkih modelov s prenosom znanja iz globokih modelov, ki imajo veliko število parametrov, so časovno zahtevni in imajo zelo visoko natančnost. V magistrskem delu ovrednotimo pristop destilacije znanja na področju biometrije očesa. Izdelamo nov postopek pridobitve lahkega modela za segmentacijo beločnice s kombinacijo dveh pristopov, destilacije znanja in rezanja filtrov, ter pokažemo, da sta oba pristopa ključna za uspeh našega postopka. S predstavljenim izvirnim postopkom pridobitve lahkega modela odstranimo 74 % operacij s plavajočo vejico za eno sklepanje in 73,2 % parametrov ter izgubimo 1,27 % natančnosti, poleg tega pa odstranimo 2-krat toliko parametrov kot najsodobnejši model in v primerjavi izgubimo le 1,74 % natančnosti. V luči te primerjave na koncu identificiramo možne nadgradnje, ki imajo potencial za izboljšanje našega pristopa.

Ključne besede

destilacija znanja;rezanje filtrov;konvolucijske nevronse mreže;beločnica;segmentacija;računalništvo;računalništvo in informatika;magisteriji;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2020
Tipologija:	2.09 - Magistrsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[M. Bizjak]
UDK:	004.93:57.087.1(043.2)
COBISS:	37218051
Št. ogledov:	766
Št. prenosov:	130
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	Knowledge distillation of deep learning models for sclera biometrics
Sekundarni povzetek:	Knowledge distillation is a technique for the development of lightweight models by transferring knowledge from a deep model with high memory footprint and high computational complexity. In this work we evaluate knowledge distillation for eye biometrics. We propose a new algorithm for creating a lightweight model for sclera segmentation by combining knowledge distillation with filter pruning and show that both techniques are key to achieving good results. With the presented algorithm we remove 74% floating point operations needed for one inference and 73.2% parameters and sacrifice 1.27% of the accuracy. In addition, we remove twice as many parameters as the current state-of-the-art filter pruning approach and in comparison sacrifice 1.74% of the accuracy. In the light of this comparison, we identify possible improvements that have a potential to further increase the accuracy of our algorithm.
Sekundarne ključne besede:	knowledge distillation;filter pruning;convolutional neural networks;sclera;segmentation;computer science;computer and information science;master's degree;
Vrsta dela (COBISS):	Magistrsko delo/naloga
Študijski program:	1000471
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	53 str.
ID:	12133081