Computer vision on embedded devices for natural user interfaces

bachelor's thesis

Mark Juvan (Author), Luka Čehovin (Mentor)

Abstract

In this diploma thesis, a prototype of a natural user interface concept using DepthAI is presented. DepthAI is an embedded device capable of running complex computer vision algorithms independently, efficiently and with low power consumption. Our interface concept uses DepthAI to run pre-trained convolutional neural networks for face and hand detection. Face and hand positions are then interpreted as gestures, which are used to navigate the tree structure the interface runs on. To evaluate our system in a real-world information display scenario, a group of volunteers was asked to participate. Their feedback was predominantly positive which confirms the feasibility of the presented concept.

Keywords

DepthAI;embedded computer vision;convolutional neural networks;human-computer interaction;gestures;computer and information science;diploma thesis;

Data

Language:	English
Year of publishing:	2021
Typology:	2.11 - Undergraduate Thesis
Organization:	UL FRI - Faculty of Computer and Information Science
Publisher:	[M. Juvan]
UDC:	004.93:004.5(043.2)
COBISS:	78873091
Views:	437
Downloads:	57
Average score:	0 (0 votes)
Metadata:

Other data

Secondary language:	Slovenian
Secondary title:	Računalniški vid na vgrajenih napravah za naravne uporabniške vmesnike
Secondary abstract:	V okviru te diplomske naloge je predstavljen prototip zasnove naravnega uporabniškega vmesnika, ki uporablja DepthAI, vgrajeno napravo, na kateri lahko neodvisno, učinkovito in z nizko porabo energije tečejo kompleksni algoritmi računalniškega vida. Zasnova vmesnika uporablja DepthAI za zaganjanje vnaprej treniranih konvolucijskih nevronskih mrež, ki zaznavajo obraze in roke. Nato so medsebojni položaji obrazov in rok interpretirani kot geste, uporabljene za navigacijo po drevesni strukturi vmesnika. Zasnova vmesnika je bila s pomočjo skupine prostovoljcev ovrednotena na podlagi prototipa informacijskega zaslona, ki je bil ustvarjen kot implementacija zasnove. Povratne informacije prostovoljcev so bile večinsko pozitivne, kar potrjuje izvedljivost in uporabnost predstavljene zasnove v praksi.
Secondary keywords:	DepthAI;vgrajeni računalniški vid;konvolucijske nevronske mreže;interakcija človek-računalnik;geste;računalništvo in informatika;univerzitetni študij;diplomske naloge;Računalniški vid;Uporabniški vmesniki (računalniški sistemi);Računalništvo;Univerzitetna in visokošolska dela;
Type (COBISS):	Bachelor thesis/paper
Study programme:	1000468
Embargo end date (OpenAIRE):	1970-01-01
Thesis comment:	Univ. v Ljubljani, Fak. za računalništvo in informatiko
Pages:	52 str.
ID:	13253957