diplomsko delo
Teja Roštan (Avtor), Tomaž Curk (Mentor)

Povzetek

Matrično faktorizacijo, ki se povezuje s postopkom zlivanja podatkov, uporabljamo za odkrivanje vzorcev oziroma skupin v podatkih. Faktorizirani model preslika podatke v nižje-dimenzionalen prostor, jih tako skrči in odpravi del šuma. Tovrstni modeli so zato navadno bolj robustni in imajo višjo napovedno točnost. Pri nevronskih mrežah bi tako znali reševati problem prevelike prilagojenosti podatkom (angl. overfitting) in pridobili pri generalizaciji. V nalogi smo preučili, ali s hkratno faktorizacijo parametrov nevronske mreže, ki jih je možno predstaviti z več matrikami, odstranimo (porežemo) nepomembne povezave in tako izboljšamo napovedno točnost mreže. Predlagani postopek rezanja smo preizkusili na navadnih in globokih nevronskih mrežah. Po uspešnosti je primerljiv z ostalimi najuspešnejšimi standardnimi pristopi rezanja nevronskih mrež.

Ključne besede

nevronske mreže;matrična faktorizacija;rezanje;računalništvo;računalništvo in informatika;univerzitetni študij;diplomske naloge;

Podatki

Jezik: Slovenski jezik
Leto izida:
Tipologija: 2.11 - Diplomsko delo
Organizacija: UL FRI - Fakulteta za računalništvo in informatiko
Založnik: [T. Roštan]
UDK: 004.85(043.2)
COBISS: 1536482243 Povezava se bo odprla v novem oknu
Št. ogledov: 1010
Št. prenosov: 162
Ocena: 0 (0 glasov)
Metapodatki: JSON JSON-RDF JSON-LD TURTLE N-TRIPLES XML RDFA MICRODATA DC-XML DC-RDF RDF

Ostali podatki

Sekundarni jezik: Angleški jezik
Sekundarni naslov: Pruning neural network using matrix factorization
Sekundarni povzetek: Matrix factorization and the procedure of data fusion are used to detect patterns in data. The factorized model maps the data to a low-dimensional space, therefore shrinking it and partially eliminating noise. Factorized models are thus more robust and have a higher predictive accuracy. With this procedure we could solve the problem of overfitting in neural networks and improve their ability to generalize. Here, we report on how to simultaneously factorize the parameters of a neural network, which can be represented with multiple matrices, to prune not important connections and therefore improve predictive accuracy. We report on empirical results of pruning normal and deep neural networks. The proposed method performs similarly to the best standard approaches to pruning neural networks.
Sekundarne ključne besede: neural networks;matrix factorization;pruning;computer science;computer and information science;diploma;
Vrsta datoteke: application/pdf
Vrsta dela (COBISS): Diplomsko delo/naloga
Študijski program: 1000468
Konec prepovedi (OpenAIRE): 1970-01-01
Komentar na gradivo: Univ. v Ljubljani, Fak. za računalništvo in informatiko
Strani: 52 str.
ID: 8900524