Detail publikace

Acceleration Techniques for Automated Design of Approximate Convolutional Neural Networks

PIŇOS, M.; MRÁZEK, V.; VAVERKA, F.; VAŠÍČEK, Z.; SEKANINA, L. Acceleration Techniques for Automated Design of Approximate Convolutional Neural Networks. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2023, vol. 13, no. 1, p. 212-224. ISSN: 2156-3357.
Název česky
Akcelerační techniky pro automatizovaný návrh aproximativních konvolučních neuronových sítí
Typ
článek v časopise
Jazyk
anglicky
Autoři
Piňos Michal, Ing. (UPSY)
Mrázek Vojtěch, Ing., Ph.D. (UPSY)
Vaverka Filip, Ing., Ph.D.
Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY)
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
URL
Klíčová slova

   - Approximate computing,    - convolutional neural network,    - neural architecture search,    - energy efficiency,    - quantization,    - acceleration

Abstrakt

Hlavním problémem spojeným s používáním aproximativních komponent, jako jsou aproximativní násobičky, v hlubokých konvolučních neuronových sítích (CNN) během procesu návrhu je nutnost jejich emulace. Ta je výpočetně nákladná kvůli nedostatečné nativní podpoře aproximativních operací v moderních CPU a GPU. Pro urychlení emulace aproximativních operací CNN na GPU navrhujeme softwarovou knihovnu TFApprox4IL rozšiřující TensorFlow o nové aproximované vrstvy. Tyto vrstvy podporují symetrické i asymetrické kvantizační režimy, aproximativní 8xN bitové násobičky emulované pomocí vyhledávacích tabulek, nový typ aproximativní vrstvy známý jako aproximativní depthwise konvoluce a trénování s ohledem na kvantizaci. Výkonnost TFApprox4IL je rozsáhle hodnocena při simulaci aproximovaných implementací sítí MobileNetV2 a ResNet na architekturách GPU Nvidia Pascal a Tesla. Kromě toho je TFApprox4IL vyhodnocován také v algoritmech vyhledávání neuronových architektur (NAS) pro automatický návrh architektur CNN, které přímo využívají aproximativní násobičky. Na dvou různých metodách NAS, EvoApproxNAS a Google Model Search (GMS), ukazujeme, jak lze aproximativní násobiče efektivně začlenit do procesu návrhu CNN. Pro odhad spotřeby energie aproximativních CNN je představen nástroj AxMultAT založený na technologiích Timeloop a Accelergy. V porovnání s vysoce optimalizovanou simulací CNN na GPU implementovanou pomocí exaktních aritmetických operací, která je k dispozici v rámci TensorFlow, je průměrná režie inference a trénování, zavedená nástrojem TFApprox4IL, 13,6× a 8,0× , v tomto pořadí, s ohledem na ResNet50V2 a MobileNetV2 CNN na datových sadách ImageNet a CIFAR-10. Tato režie se oproti předchozím metodám snížila o jeden řád.

Rok
2023
Strany
212–224
Časopis
IEEE Journal on Emerging and Selected Topics in Circuits and Systems, roč. 13, č. 1, ISSN 2156-3357
DOI
10.1109/JETCAS.2023.3235204
UT WoS
000965262200001
EID Scopus
2-s2.0-85147308000
BibTeX 
@article{BUT180721,
  author="Michal {Piňos} and Vojtěch {Mrázek} and Filip {Vaverka} and Zdeněk {Vašíček} and Lukáš {Sekanina}",
  title="Acceleration Techniques for Automated Design of Approximate Convolutional Neural Networks",
  journal="IEEE Journal on Emerging and Selected Topics in Circuits and Systems",
  year="2023",
  volume="13",
  number="1",
  pages="212--224",
  doi="10.1109/JETCAS.2023.3235204",
  issn="2156-3357",
  url="https://ieeexplore.ieee.org/document/10011413"
}
Nahoru