magistrsko delo
Filip Glojnarić (Avtor), Iztok Fister (Mentor), Lucija Brezočnik (Komentor)

Povzetek

This master thesis is focusing on the utilization of nature-inspired algorithms for hyperparameter optimization, how they work and how to use them. We present some existing methods for hyperparameter optimization as well as propose a novel method that is based on six different nature-inspired algorithms: Firefly algorithm, Grey Wolf Optimizer, Particle Swarm Optimization, Genetic algorithm, Differential Evolution, and Hybrid Bat algorithm. We also show the optimization results (set of hyperparameters) for each algorithm and we present the plots of the accuracy for each combination and handpicked one. In discussion of the results, we provide the answers on our research questions as well as propose ideas for future work.

Ključne besede

artificial intelligence;artificial neural networks;machine learning;nature-inspired algorithms;evolutionary algorithms;

Podatki

Jezik: Angleški jezik
Leto izida:
Tipologija: 2.09 - Magistrsko delo
Organizacija: UM FERI - Fakulteta za elektrotehniko, računalništvo in informatiko
Založnik: [F. Glojnarić]
UDK: 004.8.021(043.2)
COBISS: 22917398 Povezava se bo odprla v novem oknu
Št. ogledov: 1054
Št. prenosov: 90
Ocena: 0 (0 glasov)
Metapodatki: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Ostali podatki

Sekundarni jezik: Slovenski jezik
Sekundarni naslov: Algoritmi po vzorih iz narave za optimizacijo hiperparametrov
Sekundarni povzetek: V magistrskem delu smo se osredotočili na uporabo algoritmov po vzorih iz narave za optimizacijo hiperparametrov. Predstavili smo strojno učenje, optimizacijske metode in podrobneje šest algoritmov po vzorih iz narave. Ti so algoritem kresnic, algoritem sivega volka, algoritem roja delcev, genetski algoritem, diferencialna evolucija, algoritem po vzoru obnašanja netopirjev in njegova hibridna različica. Pregled literature je pokazal, da so omenjeni algoritmi zelo uporabni pri optimizaciji hiperparametrov, zato nas je analiza spodbudila k predlaganju lastne metode. Sicer so osnovni pristopi, ki se običajno uporabljajo za optimizacijo hiperparametrov, ročno iskanje, Grid search in Bayesove metode. Naša metoda temelji na šestih algoritmih po vzorih iz narave. Z njo skušamo poiskati optimalen nabor hiperparametrov za umetno nevronsko mrežo. Funkcija uspešnosti temelji na točnosti klasifikacije. Kandidatne rešitve so predstavljene kot vektorji realnih števil. Struktura umetne nevronske mreže je z enim skritim slojem, druge nastavitve pa so privzete (razen tistih, ki jih optimiziramo). Program je bil napisan v programskem jeziku Python. Programske knjižnice, ki smo jih uporabili, so Scikit-learn in NiaPy. Eksperiment smo izvedli na treh različnih množicah podatkov in ga zagnali na prenosnem računalniku Dell s 2,67 GHz procesorjem in 4,00 GB pomnilnikom. Operacijski sistem je Windows 10 Education. Za vsak algoritem smo nastavili zaključni pogoj na 10000 ovrednotenj funkcije uspešnosti in velikost populacije na 100 posameznikov. Rezultati nakazujejo, da je uporaba naše metode za HPO učinkovita. Nad dvema množicama podatkov je hibridna različica po vzoru obnašanja netopirjev dosegla najboljši rezultat, nad eno množico podatkov pa je najboljši rezultat dosegel algoritem kresnic. V prihodnosti želimo našo rešitev kot storitev objaviti na spletu. Dodatno bi lahko s tehnikami adaptacije in hibridizacije izboljšali osnovne algoritme po vzorih iz narave, ki smo jih uporabili v tem magistrskem delu.
Sekundarne ključne besede: umetna inteligenca;umetne nevronske mreže;strojno učenje;algoritmi po vzorih iz narave;evolucijski algoritmi;magistrske naloge;
Vrsta dela (COBISS): Magistrsko delo/naloga
Komentar na gradivo: Univ. v Mariboru, Fak. za elektrotehniko, računalništvo in informatiko, Informatika in tehnologije komuniciranja
Strani: XII, 59 f.
ID: 11285565