master's thesis
Marko Zeman (Avtor), Zoran Bosnić (Mentor), Evgeny Osipov (Komentor)

Povzetek

In this work we investigate a combination of the two recently proposed techniques: superposition of multiple neural networks into one and neural network compression. We show that these two techniques can be successfully combined to deliver a great potential for trimming down deep (convolutional) neural networks. We study the trade-offs between the model compression rate and the accuracy of the superimposed tasks and present a new approach, where the fully connected layers are isolated from the convolutional layers and serve as a general purpose processing unit for several CNN models. We evaluate our techniques on adapted MNIST and CIFAR-100 dataset, calculating classification accuracy and comparing baseline to the superposition method. Our experiments confirm the usability of superposition in terms of avoiding the catastrophic forgetting effect. The work has a significant importance in the context of implementing deep learning on low-end computing devices as it enables neural networks to fit edge devices with constrained computational resources (e.g. sensors, mobile devices, controllers).

Ključne besede

artificial intelligence;machine learning;deep learning;convolutional neural networks;model compression;superposition of models;computer science;computer and information science;master's degree;

Podatki

Jezik: Angleški jezik
Leto izida:
Tipologija: 2.09 - Magistrsko delo
Organizacija: UL FRI - Fakulteta za računalništvo in informatiko
Založnik: [M. Zeman]
UDK: 004.8(043.2)
COBISS: 27690499 Povezava se bo odprla v novem oknu
Št. ogledov: 1310
Št. prenosov: 196
Ocena: 0 (0 glasov)
Metapodatki: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Ostali podatki

Sekundarni jezik: Slovenski jezik
Sekundarni naslov: Superpozicija in kompresija globokih nevronskih mrež
Sekundarni povzetek: V našem delu preučujemo kombinacijo dveh nedavno predlaganih tehnik, in sicer superpozicijo več nevronskih mrež v eni in kompresijo nevronskih mrež. Pokazali smo, da je mogoče ti dve tehniki uspešno kombinirati, kar kaže na velik potencial zmanjševanja velikosti globokih (konvolucijskih) nevronskih mrež. Preučujemo kompromis med stopnjo kompresije modela in natančnostjo naučenih nalog ter predstavljamo nov pristop, pri katerem so polno povezani nivoji mreže izolirani od konvolucijskih nivojev in služijo kot splošno namenska procesna enota za več modelov konvolucijskih nevronskih mrež. Uspešnost naših tehnik ocenjujemo na prilagojenih MNIST in CIFAR-100 podatkih, izračunamo točnost klasifikacije in primerjamo izhodiščno metodo z metodo superpozicije. Naši poskusi potrjujejo uporabnost superpozicije v smislu izogibanja učinku katastrofalnega pozabljanja pri učenju več zaporednih nalog. Namen dela je pomemben v smislu izvajanja globokega učenja na napravah z omejenimi računskimi viri (npr. senzorji, mobilne naprave, krmilniki).
Sekundarne ključne besede: umetna inteligenca;strojno učenje;globoko učenje;konvolucijske nevronske mreže;superpozicija modelov;računalništvo;računalništvo in informatika;magisteriji;
Vrsta dela (COBISS): Magistrsko delo/naloga
Študijski program: 1000471
Konec prepovedi (OpenAIRE): 1970-01-01
Komentar na gradivo: Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani: VI, 61 str.
ID: 12023853