Few-shot discriminative learning for object counting

master's thesis

Nikola Đukić (Avtor), Matej Kristan (Mentor)

Povzetek

Existing few-shot object counting methods rely on matching the query image features with the features extracted from the exemplar objects. This approach lacks expressiveness since it relies solely on visual features of the exemplar objects. In this work, we propose an architecture that instead predicts an exemplar object model. Our method explicitly learns scale-dependent object priors and transforms them into the exemplar model using the transformer-based exemplar model predictor. The exemplar model predictor fuses the prior information with the information extracted from the exemplar objects and the the whole query image, thus combining the prior knowledge about objects in general with the class-specific object information, while also reasoning globally over the whole query image. With a minimal architectural change, our model can be modified into a zero-shot counting method. Our method sets new state-of-the-art in few-shot, one-shot and zero-shot counting with the relative improvements of 33.0 %, 33.6 %, 18.0 %, respectively, in terms of the FSC147 dataset test set MAE compared to the state-of-the-art methods.

Ključne besede

computer vision;few-shot learning;object counting;transformers;few-shot object counting;computer science;master's thesis;

Podatki

Jezik:	Angleški jezik
Leto izida:	2022
Tipologija:	2.09 - Magistrsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[N. Đukić]
UDK:	004.93(043.2)
COBISS:	121333763
Št. ogledov:	25
Št. prenosov:	10
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Slovenski jezik
Sekundarni naslov:	Diskriminativno učenje štetja objektov z malo učnimi primeri
Sekundarni povzetek:	Obstoječe metode za štetje objektov z malo učnimi primeri temeljijo na primerjavi značilk slike z značilkami izluščenimi iz primerov objektov. Ta pristop ni dovolj ekspresiven, ker temelji zgolj na uporabi vizualnih značilk primerov objektov. V tem delu predlagamo novo arhitekturo, ki namesto tega napoveduje model objektov. Naša metoda se eksplicitno uči predznanja o objektih, ki je odvisno od skale primerov objektov ter ga predela v model objektov z uporabo transformerskega modula za napoved modela. Ta združi predznanje z informacijami izluščenimi iz primerov objektov in celotne slike, s čemer kombinira znanje o objektih naslpoh z informacijami, specifičnimi za kategorijo objektov, medtem ko tudi globalno sklepa preko celotne slike. Z minimalno arhitekturno spremembo, lahko naš model modificiramo v metodo za štetje brez primerov. Razvita metoda doseže najboljše rezultate pri štetju z nekaj primeri, štetju z enim primerom in štetju brez primerov z relativno izboljšavo od 33.0 %, 33.6 % in 18.0 % v smislu MAE na testni množici podatkovne množice FSC147 v primerjavi z obstoječimi, trenutno najboljšimi metodami.
Sekundarne ključne besede:	učenje z malo učnimi primeri;štetje objektov;transformerske mreže;štetje objektov z malo učnimi primeri;magisteriji;Računalniški vid;Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS):	Magistrsko delo/naloga
Študijski program:	1000471
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	X, 47 str.
ID:	16372618