diplomsko delo
Blaž Rolih (Avtor), Luka Čehovin (Mentor)

Povzetek

V okviru diplomskega dela je implementiran in ovrednoten nosljiv prototip za zaznavanje ročnih gest, ki deluje na vgrajeni napravi OAK-D iz platforme DepthAI. Vgrajena naprava omogoča učinkovit zajem slike in obdelavo le-te z uporabo raznih operacij računalniškega vida, vključno z izvajanjem globokih nevronskih mrež. Prototip z uporabo več zaporednih nevronskih mrež in vmesnih operacij določi pozicijo roke v prvoosebnem načinu, roki sledi in glede na časovni potek pozicije roke določi gesto. Vse to skoraj v celoti teče na vgrajeni napravi, kar razbremeni gostiteljski sistem in omogoča nizke zakasnitve pri zaznavanju. Za praktično testiranje je implementirano upravljanje predvajalnika glasbe. S tem namenom je zbrana podatkovna množica gest, ki kljub svojemu omejenemu obsegu omogoča, da se sistem zanesljivo nauči prepoznavati različne geste. Sistem je eksperimentalno evalviran na testni množici, kjer dosega zaželeno točnost. Dobro se obnese tudi v realnem scenariju, kjer je bil sistem preizkušen s strani testnih uporabnikov z upravljanjem glasbe v realnem času.

Ključne besede

geste;računalniški vid na vgrajenih napravah;globoke nevronske mreže;DepthAI;CNN;LSTM;univerzitetni študij;diplomske naloge;

Podatki

Jezik: Slovenski jezik
Leto izida:
Tipologija: 2.11 - Diplomsko delo
Organizacija: UL FRI - Fakulteta za računalništvo in informatiko
Založnik: [B. Rolih]
UDK: 004.93:004.8(043.2)
COBISS: 121799939 Povezava se bo odprla v novem oknu
Št. ogledov: 38
Št. prenosov: 10
Ocena: 0 (0 glasov)
Metapodatki: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Ostali podatki

Sekundarni jezik: Angleški jezik
Sekundarni naslov: Gesture recognition in video streams on an embedded device
Sekundarni povzetek: In this diploma thesis, a wearable prototype for the detection of hand gestures is implemented and evaluated, which works on the OAK-D embedded device from the DepthAI platform. Embedded device is capable of efficient image capture and image processing using various computer vision operations, including deep neural networks. Using a sequence of neural networks and intermediate operations, the prototype determines the position of the hand in first-person mode, tracks the hand and, based on the time course of the hand position, determines the gesture. All of this runs almost entirely on the embedded device, offloading the host system and enabling low detection latencies. For practical testing, music player control is implemented. For this purpose, a dataset of gestures has been collected, which, despite its limited scope, enables the system to reliably learn to recognize different gestures. The system is experimentally evaluated on a test set, where it achieves the desired accuracy. It also performs well in a real-world scenario where the system has been tested by test users controlling music playback in real-time.
Sekundarne ključne besede: gestures;embedded computer vision;DepthAI;CNN;LSTM;deep neural networks;computer science;diploma;Računalniški vid;Nevronske mreže (računalništvo);Računalništvo;Univerzitetna in visokošolska dela;
Vrsta dela (COBISS): Diplomsko delo/naloga
Študijski program: 1000468
Konec prepovedi (OpenAIRE): 1970-01-01
Komentar na gradivo: Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani: 53 str.
ID: 16391440