ǂA ǂdeep-learning-based transparent object tracker

master's thesis

Žiga Trojer (Avtor), Matej Kristan (Mentor), Alan Lukežič (Komentor)

Povzetek

Visual object tracking has focused predominantly on opaque objects, while transparent object tracking received very little attention. Motivated by the uniqueness of transparent objects in that their appearance is directly affected by the background, the first dedicated evaluation dataset has emerged recently. We contribute to this effort by proposing the first transparent object tracking training datasets Trans2k and Trans1k, which include 156,143 total images across over 3k sequences and are annotated with segmentation masks and bounding boxes. Noting that transparent objects can be realistically rendered by modern renderers, we quantify domain-specific attributes and render the dataset containing visual attributes and tracking situations not covered in the existing object training datasets. We observe a consistent performance boost (up to 16%) across a diverse set of modern tracking architectures when trained using Trans2k, and show insights not previously possible due to the lack of appropriate training sets. In addition, we propose a new transparent object tracker DiETTO, which sets a new state-of-the-art on the recent transparent transparent object tracking benchmark. The datasets, rendering engine and DiETTO will be publicly released, contributing to the efforts toward unlocking the power of modern learning-based trackers and foster new designs in transparent object tracking.

Ključne besede

computer vision;tracking;transparent object;dataset;computer science;master's thesis;

Podatki

Jezik:	Angleški jezik
Leto izida:	2022
Tipologija:	2.09 - Magistrsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[Ž. Trojer]
UDK:	004.93(043.2)
COBISS:	121430019
Št. ogledov:	71
Št. prenosov:	20
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Slovenski jezik
Sekundarni naslov:	Sledenje prosojnim objektom z globokim učenjem
Sekundarni povzetek:	Dosedanje raziskovanje vizualnega sledenja predmetom je bilo osredotočeno predvsem na sledenje neprosojnim objektom, medtem pa je raziskav, ki se osredotočajo na prosojne objekte, izjemno malo. Ker so prosojni objekti unikatni po izgledu glede na njihovo ozadje, je bila pred kratkim ustvarjena evalvacijska podatkovna zbirka ravno zaradi tega. V tej magistrski nalogi smo želeli prispevati k razvoju omenjenega področja tako, da smo ustvarili učni podatkovni zbirki imenovani Trans2k in Trans1k, ki skupno vsebujeta 156.143 slik v več kot tri tisoč posnetkih in sta označeni s segmentacijskimi maskami in očrtanimi pravokotniki. Ob upoštevanju, da je mogoče prosojne predmete realistično upodobiti s sodobnimi izrisovalniki, smo kvantificirali domensko specifične lastnosti in izrisali nabor podatkov, ki vsebuje želene vizualne lastnosti prosojnih objektov ter želeno gibanje, ki ni bilo zajeto v obstoječih naborih podatkov za sledenje neprosojnim objektom. Ugotovili smo konsistentno povečanje zmogljivosti (do 16 %) v raznolikem naboru sodobnih sledilnih arhitektur ob uporabi podatkovne zbirke Trans2k, s čimer smo pridobili vpoglede, ki prej niso bili mogoči zaradi pomanjkanja primernih podatkovnih zbirk. Poleg tega smo predlagali novo sledilno arhitekturo DiETTO, ki dosega najboljše rezultate na nedavni evalvacijski podatkovni zbirki. Učni podatkovni zbirki, izrisovalnik in DiETTO bodo javno objavljeni z namenom omogočanja razvoja sodobnih sledilnikov, ki temeljijo na učenju, in spodbujanja nove zasnove pri sledenju prosojnim objektom.
Sekundarne ključne besede:	sledenje;prosojni objekti;podatkovna zbirka;magisteriji;Računalniški vid;Globoko učenje (strojno učenje);Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS):	Magistrsko delo/naloga
Študijski program:	1000471
Konec prepovedi (OpenAIRE):	1970-01-01
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	XVI, 76 str.
ID:	16372567