Detail předmětu

Paralelní výpočty na GPU

PCG Ak. rok 2022/2023 zimní semestr 5 kreditů

Aktuální akademický rok

Předmět pokrývá architekturu a programování grafických karet Nvidia a částečně i AMD. Nejprve je detailně rozebrána architektura grafických karet. Následně je popsán model vykonávání programu pomocí techniky SIMT a víceúrovňové rozdělení výpočtu do vláken a bloků. Následuje popis hierarchie paměti CUDA, techniky synchronizace a redukce. Následuje popis pokročilých technik dynamického paralelismu a data-flow zpracování na GPU zakončené možnostmi využití více GPU v distribuovaných systémech s technologií NVlink a MPI společně s technikami překrývání výpočtu a komunikace. Předmět dále popisuje vysokoúrovňové knihovny pro akceleraci algoritmů na GPU. Zbytek předmětu se věnuje technologii OpenACC, která významně zjednodušuje programování grafických karet pomocí pragma nápověd pro kompilátor.

Garant předmětu

Jaroš Jiří, doc. Ing., Ph.D. (UPSY)

Koordinátor předmětu

Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY)

Jazyk výuky

česky

Zakončení

zkouška (písemná)

Rozsah

  • 26 hod. přednášky
  • 12 hod. pc laboratoře
  • 14 hod. projekty

Bodové hodnocení

  • 60 bodů závěrečná zkouška (písemná část)
  • 10 bodů půlsemestrální test (písemná část)
  • 30 bodů projekty

Zajišťuje ústav

Ústav počítačových systémů (UPSY)

Přednášející

Jaroš Jiří, doc. Ing., Ph.D. (UPSY)
Kadlubiak Kristián, Ing. (UPSY)

Cvičící

Jaroš Jiří, doc. Ing., Ph.D. (UPSY)
Kadlubiak Kristián, Ing. (UPSY)
Olšák Ondřej, Ing. (UPSY)

Získané dovednosti, znalosti a kompetence z předmětu

Znalost využití grafických karet pro akceleraci obecných výpočtů, orientace v oblasti akcelerovaných výpočetních systémů a knihoven.
Pochopení důsledků hardwarových omezení na efektivitu softwarových řešení.

Cíle předmětu

Detailně se seznámit s architekturou a programováním grafických karet v oblasti obecných výpočtů pomocí knihoven Nvidia CUDA a standardu OpenACC. Naučit se navrhovat akcelerované programy využívající potenciál grafických karet. Seznámit se dostupnými knihovnami pro akceleraci výpočtu na grafických kartách. 

Proč je předmět vyučován

Budoucnost nejen superpočítačových systémů, ale i běžných PC je v heterogenních systémech, kde sekvenční a kontrolní část provádí běžný procesor, zatímco výpočetně náročné části jsou převedeny na akcelerátor, v tomto případě grafickou kartu. Tento předmět Vás provede úskalím programování grafických karet pomocí nízkoúrovňové knihovny Nvidia CUDA i vysokoúrovňového rozhraní OpenACC. Získáte tak potřebné znalosti pro zápis, testování a optimalizaci masivně paralelních výpočetních úloh.

Požadované prerekvizitní znalosti a dovednosti

Látka vyučovaná v předmětech AVS, PRL a částečně PPP.

Literatura studijní

  • Aktuální PPT prezentace přednášek v Elearningu.
  • Dokumentace Nvidia: https://docs.nvidia.com/cuda/
  • Kirk, D., and Hwu, W.: Programming Massively Parallel Processors: A Hands-on Approach, Elsevier, 2010, s. 256, ISBN: 978-0-12-381472-2. download.
  • Dokumentace OpenACC: https://www.openacc.org/
  • Sanders, J., & Kandrot, E: CUDA by Example: An Introduction to General-Purpose GPU Programming. Review Literature And Arts Of The Americas. Addison-Wesley, 2010. download.
  • Storti,D., and Yurtoglu, M.: CUDA for Engineers: An Introduction to High-Performance Parallel Computing, Addison-Wesley Professional; 1 edition, 2015. ISBN 978-0134177410. link.
  • Chandrasekaran, S., and Juckeland, G.: OpenACC for Programmers: Concepts and Strategies,  Addison-Wesley Professional, 2017, ISBN 978-0134694283. link.

Osnova přednášek

  1. Architektura grafických jednotek GPU. 
  2. CUDA model vykonávání programu. 
  3. CUDA hierarchie pamětí. 
  4. Synchronizace a redukce. 
  5. Dynamický paralelismus a unifikovaná paměť. 
  6. Návrh a optimalizace algoritmů pro GPU. 
  7. Víceproudové zpracování, překrytí komunikace a výpočtu. 
  8. Multi-GPU systémy. 
  9. Knihovna Nvidia Thrust. 
  10. Základy knihovny OpenACC. 
  11. Správa paměti v OpenACC. 
  12. Optimalizace s OpenACC. 
  13. Knihovny pro akceleraci výpočtů pomocí GPU.

Osnova počítačových cvičení

  1. CUDA: Paměťové přenosy, jednoduché kernely (4, týden)
  2. CUDA: Práce se sdílenou pamětí (5. týden).
  3. CUDA: Práce s texturní a konstantní pamětí (6. týden).
  4. CUDA: Dynamický paralelismus, streamy (8. týden).
  5. OpenACC: základní techniky (10. týden).
  6. OpenACC: pokročilé techniky (11. týden).

Osnova ostatní - projekty, práce

  • Vývoj aplikace v prostředí Nvidia CUDA
  • Vývoj aplikace v prostředí OpenACC

Průběžná kontrola studia

Vyhodnocení dvou projektů v celkovém rozsahu 14 hodin, půlsemestrální písemka.

Kontrolovaná výuka

- Zameškaná cvičení je možné nahradit v alternativní termín. - V poslední týdnu semestru budou probíhat náhradní cvičení.

Zařazení předmětu ve studijních plánech

Nahoru