Recovery of superquadric parameters from depth images using deep learning

master's thesis

Tim Oblak (Author), Franc Solina (Mentor), Peter M. Roth (Co-mentor)

Abstract

Reconstruction of 3D space from 2D image data has always been a significant challenge in the field of computer vision. Simple geometric entities are used to describe larger, more complex objects or entire scenes. This representation of the environment allows an autonomous agent to manipulate and interact with it's surroundings. Superquadrics are parametric models, able to describe a wide array of 3D objects using only a few parameters, which makes them a suitable representation in such tasks. In this work, we explore the possibility of using deep learning techniques to successfully recover parameters of a single superquadric from depth images. We present a new framework, which enables us to train deep learning models able to interpret the ambiguous nature of superquadrics in general position. We propose multiple loss functions for usage in supervised and unsupervised learning scenarios. On a synthetic depth image dataset, our best CNN regression model achieves an IoU accuracy of 95% and a speedup of a factor of 240 compared to the classic iterative recovery method.

Keywords

superquadrics;parametric models;reconstruction;3D;deep learning;convolutional neural networks;CNN;parameter recovery;computer science;computer and information science;master's degree;

Data

Language:	English
Year of publishing:	2020
Typology:	2.09 - Master's Thesis
Organization:	UL FRI - Faculty of Computer and Information Science
Publisher:	[T. Oblak]
UDC:	004.8:004.93(043.2)
COBISS:	32519171
Views:	1454
Downloads:	211
Average score:	0 (0 votes)
Metadata:

Other data

Secondary language:	Slovenian
Secondary title:	Pridobivanje parametrov superkvadrikov iz globinskih slik s pomočjo globokega učenja
Secondary abstract:	Rekonstrukcija trodimenzionalnega prostora z dvodimenzionalnih slik je že od nekdaj pomemben izziv na področju računalniškega vida. Za opis kompleksnih objektov ali celotnih scen se uporabljajo preprosti geometrijski elementi. Predstavitev okolja na takšen način avtonomnemu agentu omogoča upravljanje z vsebovanimi elementi ali pa možnost reagiranja na določene dogodke v okolici. Superkvadriki so parametrični modeli, s katerimi lahko opišemo širok nabor trodimenzionalnih objektov z uporabo majhnega števila parametrov, in so zato primerni elementi za predstavitev okolja. V tem delu raziščemo možnosti uporabe metod globokega učenja v namen uspešne pridobitve parametrov superkvadrika iz globinskih slik. Predstavimo novo ogrodje za učenje modelov globokih nevronskih mrež, ki so sposobni razbrati dvoumnost superkvadrikov v splošni poziciji. V sklopu tega dela predlagamo več funkcij napake, s katerimi lahko modele učimo na nadzorovan ali nenadzorovan način. Na sintetični podatkovni zbirki naš najbolj uspešen CNN regresijski model doseže 95% IoU natančnost in pa 240-kratno pohitritev izvajanja v primerjavi s klasično iterativno metodo.
Secondary keywords:	superkvadriki;parametrični modeli;rekonstrukcija;3D;globoko učenje;konvolucijske nevronske mreže;CNN;pridobivanje parametrov;računalništvo;računalništvo in informatika;magisteriji;
Type (COBISS):	Master's thesis/paper
Study programme:	1000471
Embargo end date (OpenAIRE):	1970-01-01
Thesis comment:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Pages:	X, 105 str.
ID:	12046437