Detail publikace

ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining

MRÁZEK, V.; VAŠÍČEK, Z.; SEKANINA, L.; HANIF, M.; SHAFIQUE, M. ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining. In Proceedings of the IEEE/ACM International Conference on Computer-Aided Design. Denver: Institute of Electrical and Electronics Engineers, 2019. p. 1-8. ISBN: 978-1-7281-2350-9.
Název česky
ALWANN: Automatická aproximace vrstev neuronových sítích v akcelerátorech
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Mrázek Vojtěch, Ing., Ph.D. (UPSY)
Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY)
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
HANIF, M.
Shafique Muhammad (FIT)
URL
Klíčová slova

approximate computing, deep neural networks, computational path, ResNet, CIFAR-10

Abstrakt

V literatuře již bylo použito přibližné (aproximační) počítání pro redukci příkonu akcelerátorů hlubokých neuronových sítí (DNN). Tyto přibližné DNN však vyžadují náročný proces přetrénování, který však pro komplexní sítě neškáluje. V tomto článku demonstrujeme, že konvoluční operace mohou být aproximovány bez tohoto kroku. Metoda ALWANN poskytuje optimalizované implementace DNN pro akcelerátory s menším počtem procesních jednotek, než je počet vrstev DNN. Cílem algoritmu je přiřadit aproximační násobičky procesním jednotkám a namapovat jednotlivé vrstvy DNN na procesní jednotky. Tento problém je řešen za pomocí algoritmu NSGA-II. Navrhli jsme přímý přístup úpravy vah jednotlivých vrstev tak, aby se DNN adaptovala aproximacím, ale nemuselo dojít ke složitému přetrénování. Pro síť ResNet-50 jsme ukázali, že je možné ušetřit 30% energie násobení s poklesem klasifikační přesnosti o 0.6%. Navržená technika a aproximované vrstvy jsou k dispozici jako open-source rozšíření frameworku TensorFlow https://github.com/ehw-fit/tf-approximate.

Rok
2019
Strany
1–8
Sborník
Proceedings of the IEEE/ACM International Conference on Computer-Aided Design
ISBN
978-1-7281-2350-9
Vydavatel
Institute of Electrical and Electronics Engineers
Místo
Denver
DOI
10.1109/ICCAD45719.2019.8942068
UT WoS
000524676400028
EID Scopus
2-s2.0-85077802459
BibTeX 
@inproceedings{BUT161445,
  author="MRÁZEK, V. and VAŠÍČEK, Z. and SEKANINA, L. and HANIF, M. and SHAFIQUE, M.",
  title="ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining",
  booktitle="Proceedings of the IEEE/ACM International Conference on Computer-Aided Design",
  year="2019",
  pages="1--8",
  publisher="Institute of Electrical and Electronics Engineers",
  address="Denver",
  doi="10.1109/ICCAD45719.2019.8942068",
  isbn="978-1-7281-2350-9",
  url="https://arxiv.org/abs/1907.07229"
}
Nahoru