master's thesis
Žiga Trojer (Author), Matej Kristan (Mentor), Alan Lukežič (Co-mentor)

Abstract

Visual object tracking has focused predominantly on opaque objects, while transparent object tracking received very little attention. Motivated by the uniqueness of transparent objects in that their appearance is directly affected by the background, the first dedicated evaluation dataset has emerged recently. We contribute to this effort by proposing the first transparent object tracking training datasets Trans2k and Trans1k, which include 156,143 total images across over 3k sequences and are annotated with segmentation masks and bounding boxes. Noting that transparent objects can be realistically rendered by modern renderers, we quantify domain-specific attributes and render the dataset containing visual attributes and tracking situations not covered in the existing object training datasets. We observe a consistent performance boost (up to 16%) across a diverse set of modern tracking architectures when trained using Trans2k, and show insights not previously possible due to the lack of appropriate training sets. In addition, we propose a new transparent object tracker DiETTO, which sets a new state-of-the-art on the recent transparent transparent object tracking benchmark. The datasets, rendering engine and DiETTO will be publicly released, contributing to the efforts toward unlocking the power of modern learning-based trackers and foster new designs in transparent object tracking.

Keywords

computer vision;tracking;transparent object;dataset;computer science;master's thesis;

Data

Language: English
Year of publishing:
Typology: 2.09 - Master's Thesis
Organization: UL FRI - Faculty of Computer and Information Science
Publisher: [Ž. Trojer]
UDC: 004.93(043.2)
COBISS: 121430019 Link will open in a new window
Views: 71
Downloads: 20
Average score: 0 (0 votes)
Metadata: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Other data

Secondary language: Slovenian
Secondary title: Sledenje prosojnim objektom z globokim učenjem
Secondary abstract: Dosedanje raziskovanje vizualnega sledenja predmetom je bilo osredotočeno predvsem na sledenje neprosojnim objektom, medtem pa je raziskav, ki se osredotočajo na prosojne objekte, izjemno malo. Ker so prosojni objekti unikatni po izgledu glede na njihovo ozadje, je bila pred kratkim ustvarjena evalvacijska podatkovna zbirka ravno zaradi tega. V tej magistrski nalogi smo želeli prispevati k razvoju omenjenega področja tako, da smo ustvarili učni podatkovni zbirki imenovani Trans2k in Trans1k, ki skupno vsebujeta 156.143 slik v več kot tri tisoč posnetkih in sta označeni s segmentacijskimi maskami in očrtanimi pravokotniki. Ob upoštevanju, da je mogoče prosojne predmete realistično upodobiti s sodobnimi izrisovalniki, smo kvantificirali domensko specifične lastnosti in izrisali nabor podatkov, ki vsebuje želene vizualne lastnosti prosojnih objektov ter želeno gibanje, ki ni bilo zajeto v obstoječih naborih podatkov za sledenje neprosojnim objektom. Ugotovili smo konsistentno povečanje zmogljivosti (do 16 %) v raznolikem naboru sodobnih sledilnih arhitektur ob uporabi podatkovne zbirke Trans2k, s čimer smo pridobili vpoglede, ki prej niso bili mogoči zaradi pomanjkanja primernih podatkovnih zbirk. Poleg tega smo predlagali novo sledilno arhitekturo DiETTO, ki dosega najboljše rezultate na nedavni evalvacijski podatkovni zbirki. Učni podatkovni zbirki, izrisovalnik in DiETTO bodo javno objavljeni z namenom omogočanja razvoja sodobnih sledilnikov, ki temeljijo na učenju, in spodbujanja nove zasnove pri sledenju prosojnim objektom.
Secondary keywords: sledenje;prosojni objekti;podatkovna zbirka;magisteriji;Računalniški vid;Globoko učenje (strojno učenje);Računalništvo;Univerzitetna in visokošolska dela;
Type (COBISS): Master's thesis/paper
Study programme: 1000471
Embargo end date (OpenAIRE): 1970-01-01
Thesis comment: Univ. v Ljubljani, Fak. za računalništvo in informatiko
Pages: XVI, 76 str.
ID: 16372567