Določanje osvetlitve scene v obogateni resničnosti

diplomsko delo

Leon Modic (Avtor), Luka Čehovin (Mentor)

Povzetek

Eden izmed glavnih načinov uporabe obogatene resničnosti je dodajanje objektov in označb v 3D prostor zajet s kamero mobilne naprave. Novi objekti v sceni morajo biti osvetljeni na način, ki odraža resnično osvetlitev, saj se na ta način zdijo bolj resnični in se zlijejo z okolico. V tem diplomskem delu smo razvili metodo za hitro in robustno določanje osvetlitve scene z uporabo konvolucijskih nevronskih mrež, ki bo lahko uporabljena v kontekstu obogatene resničnosti. Izdelali smo tudi zbirko sintetičnih podatkov, ki je bila uporabljena za učenje razvite mreže. Naučili smo več modelov z različnimi arhitekturami hrbtenice in primerjali njihovo natančnost ter hitrost na zbirki zajetih fotografij iz resničnega sveta. Rezultati eksperimentov kažejo uspešnost pri določanju smeri glavnega svetlobnega vira s pomočjo konvolucijskih nevronskih mrež tudi na podatkih, ki jih mreža med učenjem ni videla. Na koncu smo rezultate tudi vizualizirali na nekaterih izmed zajetih fotografij.

Ključne besede

obogatena resničnost;osvetlitev;konvolucijske nevronske mreže;univerzitetni študij;diplomske naloge;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2022
Tipologija:	2.11 - Diplomsko delo
Organizacija:	UL FRI - Fakulteta za računalništvo in informatiko
Založnik:	[L. Modic]
UDK:	004.93:004.946(043.2)
COBISS:	101461251
Št. ogledov:	109
Št. prenosov:	24
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	Determining scene illumination in augmented reality
Sekundarni povzetek:	One of the main use cases of augmented reality is to add objects and markings to a 3D space captured by a mobile device camera. New objects in a scene need proper lighting that reflects real lighting, as this way they appear more realistic and blend in better with the surroundings. In this dissertation, we developed a method for fast and robust detection of scene lighting using convolutional neural networks, which could be used in the context of augmented reality. We also created a dataset consisting of synthetic images used for training the convolutional neural network. We trained multiple models with different backbone architectures, and we compared their accuracy and speed on a dataset consisting of captured photos from the real world. The results of experiments demonstrate that convolutional neural networks can successfully determine the direction of the main light source on data not seen by the network during training. In the end, we visualized the results on some of the captured real world photos.
Sekundarne ključne besede:	computer vision;augmented reality;lighting;convolutional neural networks;computer science;diploma;Računalniški vid;Navidezna resničnost;Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS):	Diplomsko delo/naloga
Študijski program:	1000468
Komentar na gradivo:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani:	53 str.
ID:	14768474