Detail předmětu

Paralelní výpočty na GPU

PCG Ak. rok 2024/2025 zimní semestr 5 kreditů

Předmět pokrývá architekturu a programování grafických karet Nvidia a částečně i AMD. Nejprve je detailně rozebrána architektura grafických karet. Následně je popsán model vykonávání programu pomocí techniky SIMT a víceúrovňové rozdělení výpočtu do vláken a bloků. Následuje popis hierarchie paměti CUDA, techniky synchronizace a redukce. Následuje popis pokročilých technik dynamického paralelismu a data-flow zpracování na GPU zakončené možnostmi využití více GPU v distribuovaných systémech s technologií NVlink a MPI společně s technikami překrývání výpočtu a komunikace. Předmět dále popisuje vysokoúrovňové knihovny pro akceleraci algoritmů na GPU. Zbytek předmětu se věnuje technologii OpenACC, která významně zjednodušuje programování grafických karet pomocí pragma nápověd pro kompilátor.

Garant předmětu

Koordinátor předmětu

Jazyk výuky

česky

Zakončení

zápočet+zkouška (písemná)

Rozsah

  • 26 hod. přednášky
  • 12 hod. pc laboratoře
  • 14 hod. projekty

Bodové hodnocení

  • 60 bodů závěrečná zkouška (písemná část)
  • 10 bodů půlsemestrální test (písemná část)
  • 30 bodů projekty

Zajišťuje ústav

Přednášející

Cvičící

Cíle předmětu

Detailně se seznámit s architekturou a programováním grafických karet v oblasti obecných výpočtů pomocí knihoven Nvidia CUDA a standardu OpenACC. Naučit se navrhovat akcelerované programy využívající potenciál grafických karet. Seznámit se dostupnými knihovnami pro akceleraci výpočtu na grafických kartách. 
Znalost využití grafických karet pro akceleraci obecných výpočtů, orientace v oblasti akcelerovaných výpočetních systémů a knihoven.
Pochopení důsledků hardwarových omezení na efektivitu softwarových řešení.

Požadované prerekvizitní znalosti a dovednosti

Látka vyučovaná v předmětech AVS, PRL a částečně PPP.

Literatura studijní

  • Aktuální PPT prezentace přednášek v Elearningu.
  • Dokumentace Nvidia: https://docs.nvidia.com/cuda/
  • Kirk, D., and Hwu, W.: Programming Massively Parallel Processors: A Hands-on Approach, Elsevier, 2010, s. 256, ISBN: 978-0-12-381472-2. download.
  • Dokumentace OpenACC: https://www.openacc.org/
  • Sanders, J., & Kandrot, E: CUDA by Example: An Introduction to General-Purpose GPU Programming. Review Literature And Arts Of The Americas. Addison-Wesley, 2010. download.
  • Storti,D., and Yurtoglu, M.: CUDA for Engineers: An Introduction to High-Performance Parallel Computing, Addison-Wesley Professional; 1 edition, 2015. ISBN 978-0134177410. link.
  • Chandrasekaran, S., and Juckeland, G.: OpenACC for Programmers: Concepts and Strategies,  Addison-Wesley Professional, 2017, ISBN 978-0134694283. link.

Osnova přednášek

  1. Architektura grafických jednotek GPU. 
  2. CUDA model vykonávání programu. 
  3. CUDA hierarchie pamětí. 
  4. Synchronizace a redukce. 
  5. Dynamický paralelismus a unifikovaná paměť. 
  6. Návrh a optimalizace algoritmů pro GPU. 
  7. Víceproudové zpracování, překrytí komunikace a výpočtu. 
  8. Multi-GPU systémy. 
  9. Knihovna Nvidia Thrust. 
  10. Základy knihovny OpenACC. 
  11. Správa paměti v OpenACC. 
  12. Optimalizace s OpenACC. 
  13. Knihovny pro akceleraci výpočtů pomocí GPU.

Osnova počítačových cvičení

  1. CUDA: Paměťové přenosy, jednoduché kernely (3. týden)
  2. CUDA: Práce se sdílenou pamětí (4. týden).
  3. CUDA: Práce s texturní a konstantní pamětí (5. týden).
  4. CUDA: Dynamický paralelismus, streamy (6. týden).
  5. OpenACC: základní techniky (10. týden).
  6. OpenACC: pokročilé techniky (11. týden).

Osnova ostatní - projekty, práce

  • Vývoj aplikace v prostředí Nvidia CUDA
  • Vývoj aplikace v prostředí OpenACC

Průběžná kontrola studia

  • Vyhodnocení dvou projektů v celkovém rozsahu 14 hodin a půlsemestrální písemky.
  • Zameškaná cvičení je možné nahradit v alternativní termínu.
  • Pro udělení zápočtu je nutné získat min 20b ze 40b a minimálně 1b z každého projektu.

Rozvrh

DenTypTýdnyMístn.OdDoKapacitaPSKSkupInfo
St přednáška výuky E104 08:0009:5070 1MIT 2MIT NHPC xx Jaroš
St poč. lab 3., 4., 5., 6., 10., 11. výuky O204 12:0013:5018 1MIT 2MIT xx Bayer
St poč. lab 3., 4., 5., 6., 10., 11. výuky O204 14:0015:5018 1MIT 2MIT xx Bayer

Zařazení předmětu ve studijních plánech

Nahoru