Analiza zmogljivosti in funkcionalnosti omrežja InfiniBand v virtualiziranih superračunalnikih s porazdeljenim pomnilnikom

doktorska disertacija

Marko Kobal (Avtor), Milan Ojsteršek (Mentor)

Povzetek

Zelo zmogljivi računalniki oziroma superračunalniki so osnovno orodje pri reševanju računsko intenzivnih problemov, za katere so običajni računalniki premalo zmogljivi. Tekom evolucije superračunalnikov v zadnjih dveh desetletjih se je spekter uporabe superračunalnikov razširil iz ozko usmerjene znanstvene rabe tudi na področje industrije. Uveljavila se je strojna arhitektura s porazdeljenim pomnilnikom, ki predstavlja najboljše razmerje med svojo zmogljivostjo, ceno in razširljivostjo. Istočasno je z razmahom računalništva v oblaku tehnologija virtualizacije strojne opreme računalnikov dosegla nivo, ki je sprejemljiv tudi za vpeljavo v superračunalnike s porazdeljenim pomnilnikom. Pri uporabi superračunalnikov stremimo k doseganju največje možne zmogljivosti in učinkovitosti, zato na področje superračunalnikov poskušamo vpeljati virtualizacijo, saj so njene prednosti kljub njeni čezmernosti dovolj privlačne. V doktorski disertaciji se osredotočimo na virtualizacijo superračunalnikov s porazdeljenim pomnilnikom, ki za medprocesno komunikacijo uporabljajo omrežje InfiniBand. Predstavimo možne metode virtualizacije omrežja InfiniBand in z novo metodologijo definiramo programsko voden način upravljanja ter transformacije fizičnega superračunalnika v virtualiziranega, in sicer na različnih virtualizacijskih platformah. Izvedemo analizo zmogljivosti na osnovi sintetičnih testov ter tudi na osnovi uporabe aplikacij MPI iz vsakdanje rabe. Pokažemo, da je za učinkovito izvajanje aplikacij MPI v virtualiziranih superračunalnikih s porazdeljenim pomnilnikom ključna izbira metode virtualizacije omrežja InfiniBand. S predstavljeno novo metodologijo je omogočeno programsko krmiljeno izvajanje zmogljivostnih testov na ponovljiv način za trenutne in bodoče superračunalnike, pri čemer so pristopi, uporabljeni v metodologiji, uporabni tudi širše, za splošno napredno upravljanje virtualiziranih superračunalnikov. V disertaciji prek primerov implementacije virtualizacije na platformah KVM in VMware podamo smernice in konkretne napotke za uspešno virtualizacijo superračunalnikov s porazdeljenim pomnilnikom, katerih vozlišča uporabljajo omrežje InfiniBand.

Ključne besede

virtualizacija;InfiniBand;računalništvo v oblaku;aplikacija MPI;analiza zmogljivosti;zmogljivostni test;

Podatki

Jezik:	Slovenski jezik
Leto izida:	2015
Tipologija:	2.08 - Doktorska disertacija
Organizacija:	UM FERI - Fakulteta za elektrotehniko, računalništvo in informatiko
Založnik:	[M. Kobal]
UDK:	004.382.2(043.3)
COBISS:	281995520
Št. ogledov:	1191
Št. prenosov:	133
Ocena:	0 (0 glasov)
Metapodatki:

Ostali podatki

Sekundarni jezik:	Angleški jezik
Sekundarni naslov:	A FUNCTIONAL AND PERFORMANCE-ORIENTED ANALYSIS OF INFINIBAND NETWORK IN VIRTUALIZED DISTRIBUTED MEMORY SUPERCOMPUTERS
Sekundarni povzetek:	Supercomputers are used to solve computation-intensive problems in cases where an ordinary computer doesn%t provide enough computation power. The evolution of supercomputers during the past two decades expanded the range of supercomputers usage from narrow scientific fields into wider industry. The majority of today's supercomputers are based on distributed memory systems, mainly due to optimal ratio between price, performance and scalability. Meanwhile, with the recent exponential growth of cloud computing, computer virtualization has reached a point where it can also be efficiently utilized for virtualization of supercomputers. Supercomputer users are usually striving to get maximum performance and efficiency. Nevertheless the advantages of computer virtualization are very attractive for supercomputers as well, despite the inevitable overhead which is present by the virtualization layer. This dissertation discuses virtualization techniques that can be applied on distributed memory supercomputers with InfiniBand interconnect network. We present available methods for InfiniBand virtualization and a new methodological approach to programmatic management as well as transformation of a physical supercomputer into a virtualized supercomputer, on different virtualization platforms. With performance analysis, based on synthetic benchmarks as well as real-world MPI applications, we show that the selected method for InfiniBand virtualization is crucial for efficient supercomputer virtualization. The new methodology allows users to efficiently carry out further benchmarks by providing process steps towards repeatable and coherent platform and also allows easy management of virtualized supercomputers. This dissertation also presents use-case implementation of a supercomputer virtualization on KVM and VMware platforms, which can serve as guidelines for efficient virtualization of supercomputers, based on distributed memory and InfiniBand network.
Sekundarne ključne besede:	supercomputers;virtualization;InfiniBand;cloud computing;MPI applications;higher-performance computing;performance analysis;benchmark;Superračunalniki;Disertacije;InfiniBand (omrežje);
URN:	URN:SI:UM:
Vrsta dela (COBISS):	Doktorsko delo/naloga
Komentar na gradivo:	Univ. v Mariboru, Fak. za elektrotehniko, računalništvo in informatiko
Strani:	XX, 128 str.
ID:	8890183