Federativno učenje z nevronskimi mrežami

magistrsko delo

Jaka Čugalj (Avtor), Damjan Strnad (Mentor), Mitja Žalik (Komentor)

Povzetek

V magistrskem delu raziščemo postopek učenja nevronskih mrež in predstavimo idejo federativnega učenja, ki omogoči sodelovanje več naprav pri učenju enega modela nevronske mreže brez izmenjave učnih primerov. Glavna prednost federativnega učenja je, da naprava svojih lokalnih podatkov ne deli z ostalimi napravami, zato ostanejo zasebni. Preučili smo algoritme federativnega učenja FedSGD, FedAvg, FedProx, SCAFFOLD, FedVARP, ClusterFedVARP in FedRolex, ki na različne načine rešujejo izzive takšnega načina učenja. Prav tako predstavimo novo rešitev, ki komplementarno združi nekatere naštete algoritme tako, da se lahko v nekaterih primerih ob istih pogojih učenje izvaja učinkoviteje. Učinkovitost učenja smo testirali na klasifikacijskem problemu razpoznave ročno napisanih števil podatkovne zbirke MNIST ter problemu napovedovanja naslednje črke v stavku, kjer smo učne primere generirali s pomočjo literarnih del Williama Shakespeara. Izvedli smo analizo vpliva različnih parametrov algoritmov na učenje nevronskih mrež in primerjali vpliv neenakomerne porazdelitve podatkov na hitrost konvergence posameznih algoritmov na različnih podatkovnih zbirkah. Implementirali smo simulator federativnega učenja z uporabniškim vmesnikom, preko katerega lahko uporabnik ureja parametre učnih algoritmov in odjemalcev ter izvaja učenje in testiranje različnih modelov v ločenih nitih.

Ključne besede

nevronske mreže;federativno učenje;klasifikacija;MNIST;stohastični gradientni spust;magistrske naloge;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2024
Tipologija:	2.09 - Magistrsko delo
Organizacija:	UM FERI - Fakulteta za elektrotehniko, računalništvo in informatiko
Založnik:	[J. Čugalj]
UDK:	004.85:004.032.26(043.2)
COBISS:	205879811
Št. ogledov:	134
Št. prenosov:	32
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	Federated learning with neural networks
Sekundarni povzetek:	In this master thesis we explore the process of training neural networks and present the concept of federated learning. Federated learning allows multiple edge devices to collaborate on training a single neural network without the need to exchange training examples. Each device retains its own data, keeping it secure and private. We examine several federated learning algorithms, including FedSGD, FedAvg, FedProx, SCAFFOLD, FedVARP, ClusterFedVARP and FedRolex, each addressing different challenges of this learning approach. Additionally, we present a new solution that combines some of these algorithms in a complementary manner, improving learning efficiency under certain conditions. To assess the effectiveness of this learning approach, we conducted experiments on two tasks: classifying handwritten digits from the MNIST dataset and predicting the next character in a sentence, for which training examples were generated using the literary works of William Shakespeare. We analyzed how different algorithm parameters affect neural network learning and compared how uneven data distribution impacts the convergence speed of individual algorithms. We implemented a federated learning simulator with a graphical user interface, through which the user can adjust the parameters of learning algorithms and clients, and conduct training and testing of various models in separate threads.
Sekundarne ključne besede:	neural networks;federated learning;classification;MNIST;stochastic gradient descent;
Vrsta dela (COBISS):	Magistrsko delo/naloga
Komentar na gradivo:	Univ. v Mariboru, Fak. za elektrotehniko, računalništvo in informatiko, Računalništvo in informacijske tehnologije
Strani:	1 spletni vir (1 datoteka PDF (XI, 90 f.))
ID:	23616761