Detail publikace

Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators

KLHŮFEK Jan, ŠAFÁŘ Miroslav, MRÁZEK Vojtěch, VAŠÍČEK Zdeněk a SEKANINA Lukáš. Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators. In: 2024 27th International Symposium on Design & Diagnostics of Electronic Circuits & Systems (DDECS). Kielce: Institute of Electrical and Electronics Engineers, 2024, s. 1-6. ISBN 979-8-3503-5934-3. Dostupné z: https://arxiv.org/abs/2404.05368
Název česky
Výzkum synergie kvantizace a mapování v oblasti hardwarových akcelerátorů hlubokých neuronových sítí
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Klhůfek Jan, Ing. (UPSY FIT VUT)
Šafář Miroslav, Bc. (FIT VUT)
Mrázek Vojtěch, Ing., Ph.D. (UPSY FIT VUT)
Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY FIT VUT)
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY FIT VUT)
URL
Abstrakt

Energetická účinnost a paměťová náročnost konvoluční neuronové sítě (CNN) implementované na inferenčním akcelerátoru CNN závisí na mnoha faktorech, včetně strategie kvantizace vah (tj. datových typů a bitových šířek) a mapování (tj. umístění a plánování elementárních operací DNN na hardwarových jednotkách akcelerátoru). Ukazujeme, že umožnění bohatých smíšených kvantizačních schémat během implementace může otevřít dříve skrytý prostor mapování, která efektivněji využívají hardwarové prostředky. CNN využívající kvantizované váhy a aktivace a vhodná mapování mohou ve srovnání s méně pečlivě optimalizovanými implementacemi CNN výrazně zlepšit kompromisy mezi přesností, energetickými a paměťovými nároky. K nalezení, analýze a využití těchto mapování jsme: (i) rozšiřujeme nejmodernější mapovací nástroj pro všeobecné použití (Timeloop) o podporu smíšené kvantizace, která v současné době není k dispozici; (ii) navrhujeme účinný víceúčelový optimalizační algoritmus pro nalezení nejvhodnějších bitových šířek a mapování pro každou vrstvu DNN prováděnou na akcelerátoru; a (iii) provádíme podrobné experimentální vyhodnocení k ověření navržené metody. Na dvou CNN (MobileNetV1 a MobileNetV2) a dvou akcelerátorech (Eyeriss a Simba) ukazujeme, že pro danou metriku kvality (např. přesnost na ImageNet) dosahuje úspora energie až 37 %, aniž by došlo k poklesu přesnosti. 

Rok
2024
Strany
1-6
Sborník
2024 27th International Symposium on Design & Diagnostics of Electronic Circuits & Systems (DDECS)
Konference
International Symposium on Design and Diagnostics of Electronic Circuits and Systems, Kielce, PL
ISBN
979-8-3503-5934-3
Vydavatel
Institute of Electrical and Electronics Engineers
Místo
Kielce, PL
DOI
EID Scopus
BibTeX
@INPROCEEDINGS{FITPUB13071,
   author = "Jan Klh\r{u}fek and Miroslav \v{S}af\'{a}\v{r} and Vojt\v{e}ch Mr\'{a}zek and Zden\v{e}k Va\v{s}\'{i}\v{c}ek and Luk\'{a}\v{s} Sekanina",
   title = "Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators",
   pages = "1--6",
   booktitle = "2024 27th International Symposium on Design \& Diagnostics of Electronic Circuits \& Systems (DDECS)",
   year = 2024,
   location = "Kielce, PL",
   publisher = "Institute of Electrical and Electronics Engineers",
   ISBN = "979-8-3503-5934-3",
   doi = "10.1109/DDECS60919.2024.10508920",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/13071"
}
Nahoru