diplomsko delo
Jaša Černe (Avtor), Božidar Potočnik (Mentor)

Povzetek

V diplomski nalogi smo se ukvarjali z možnostjo naturalizacije interakcije med človekom in računalnikom s pomočjo tehnik računalniškega vida. Osredotočili smo se na usmerjenost glave, saj predstavlja bogat vir informacij tako o mentalnem kot o fizičnem stanju subjekta in velja za pomemben faktor pri človeški komunikaciji. Razvili smo dve aplikaciji, ki na osnovi zajema iz spletne kamere ocenita usmerjenost glave v realnem času. Pri prvi aplikaciji smo na vsakem okvirju aplicirali metodo Viola-Jones za detekcijo obraza, nato pa s pomočjo knjižnice Dlib z regije obraza lokalizirali obrazne značilke. Te smo uporabili kot vhod v metodo POSIT, ki je vrnila 3D-rotacijo obraza glede na pogled kamere. Zaradi nedoseganja želenih rezultatov aplikacije smo razvili dodatno rešitev, v kateri smo zamenjali postopek pridobitve lokacij obraznih značilk. Tokrat smo uporabili programsko opremo Chehra, ki je namesto vsakokratne detekcije obraza tega detektirala le na začetku, nato pa je izvajala sledenje s pomočjo algoritma za lokalizacijo obraznih značilk. Uporabno vrednost razvite aplikacije (Chehra) smo demonstrirali s pametnim predvajanjem videoposnetka v predvajalniku VLC, premikanjem miškinega kazalca in premikanjem miškinega koleščka. Učinkovitost omenjenih funkcionalnosti smo ovrednotili na osnovi dveh različnih testov. Test pravilnosti interpretiranih akcij v scenariju pametnega predvajanja videoposnetka je pokazal, da je algoritem v večini primerov zelo učinkovit. Določene težave mu povzročajo zgolj mejne rotacijske vrednosti, najverjetneje zaradi dejstva, da ljudje za manjše spremembe fokusa pozornosti velikokrat ne premaknemo celotne glave, pač pa le smer pogleda. Test učinkovitosti simulacije miškinih funkcionalnosti pa je pokazal, da je razvita rešitev počasnejša od standardne računalniške miške, omogoča pa skoraj enak nivo natančnosti.

Ključne besede

računalniški vid;interakcija človek - računalnik;usmerjenost glave;obrazne značilke;diplomske naloge;

Podatki

Jezik: Slovenski jezik
Leto izida:
Tipologija: 2.11 - Diplomsko delo
Organizacija: UM FERI - Fakulteta za elektrotehniko, računalništvo in informatiko
Založnik: J. Černe
UDK: 004.5:004.9(043.2)
COBISS: 20141846 Povezava se bo odprla v novem oknu
Št. ogledov: 1436
Št. prenosov: 98
Ocena: 0 (0 glasov)
Metapodatki: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Ostali podatki

Sekundarni jezik: Angleški jezik
Sekundarni naslov: HUMAN-COMPUTER INTERACTION BASED ON HEAD POSE BY USING COMPUTER VISION TECHNIQUES
Sekundarni povzetek: In this thesis we worked on the possibility to naturalize the interaction between the human and the computer by employing computer vision techniques. We focused on the head orientination cue as it represents a rich source of information about both mental and physical condition of the subject and plays an important role in interpersonal communication. We developed two solutions for the head pose estimation based on a video capture from a webcam. In the first application we applied the Viola-Jones method on each frame to detect the human face and then, with the help of Dlib program library, we localized facial landmarks from the detected region. We used the resulting features as an input to the POSIT method which returned 3D rotation of the head with the respect to the view of the camera. Because the solution did not give the expected results, we developed an additional solution in which we replaced the process of acquisition of facial feature points. This time we used Chehra software which, instead of detecting the face on each frame, applied the detection only in the initialization phase and then tracked the face by using the algorithm for the facial landmark localization. Practical value of the developed application (Chehra) was demonstrated with intelligent video playing using a VLC video player, moving the mouse cursor and the mouse scroll. The effectiveness of the aforementioned functionalities were evaluated on the basis of two different tests. The corectness test of interpreted actions in the intelligent video playing scenario showed that in most cases the algorithm is very effective. Certain problems were caused by the border rotation values, probably due to the fact that human beings, for minor changes in the focus of attention, many times do not move the entire head, but only the direction of their eyes. The test of efficiency of simulating mouse functionalities by using the head pose showed that the developed solution, compared to a standard computer mouse, performs slower but allows almost the same level of accuracy.
Sekundarne ključne besede: computer vision;human-computer interaction;head pose;facial features;
URN: URN:SI:UM:
Vrsta dela (COBISS): Diplomsko delo/naloga
Komentar na gradivo: Univ. v Mariboru, Fak. za elektrotehniko, računalništvo in informatiko, Računalništvo in informacijske tehnologije
Strani: VII, 55 str.
ID: 9077958