Detail publikace

Improving the Accuracy and Hardware Efficiency of Neural Networks Using Approximate Multipliers

ANSARI, M.; MRÁZEK, V.; COCKBURN, B.; SEKANINA, L.; VAŠÍČEK, Z.; HAN, J. Improving the Accuracy and Hardware Efficiency of Neural Networks Using Approximate Multipliers. IEEE Trans. on VLSI Systems., 2020, vol. 28, no. 2, p. 317-328. ISSN: 1063-8210.
Název česky
Vylepšení přesnosti a obvodové realizace neuronových sítí pomocí aproximativních násobiček
Typ
článek v časopise
Jazyk
anglicky
Autoři
ANSARI, M.
Mrázek Vojtěch, Ing., Ph.D. (UPSY)
COCKBURN, B.
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY)
HAN, J.
Klíčová slova

approximate multipliers, Cartesian genetic programming, convolutional neural network, multi-layer perceptron, neural networks

Abstrakt

Zlepšování přesnosti klasifikace neuronové sítě (NN) obvykle vyžaduje použití složitějšího hardware a větší spotřebu energie. Protože je možné využít jisté tolerance NN vůči chybám, mohou být při jejich návrhu aplikovány principy aproximativního počítání vedoucí ke snížení ceny implementace. Jestliže je operace násobení v NN energeticky nejnáročnější, pak využití aproximativních násobiček povede ke snížení ceny implementace. Je také ukázáno, že použití aproximativních násobiček a zavedení šumu může vést ke zlepšení přesnosti klasifikace. V článku uvažujeme dvě skupiny aproximativních násobiček: 1) navržené konvenčně a 2) navržené evolučně pomocí kartézského genetického programování. Je studován dopad zavedení těchto aproximativních násobiček do vícevrstvé NN a konvoluční NN v  úlohách klasifikace obrazu nad datovými sadami MNIST a SVHN. Bylo dosaženo zlepšení přesnosti klasifikace až o 0.63% a zredukován příkon a plocha na čipu o 71.45% a 61.55%. Dále byly identifikovány příznaky umožňující odhadnout, zda bude daná aproximativní násobička lepší než jiná z pohledu přesnosti klasifikace NN.

Rok
2020
Strany
317–328
Časopis
IEEE Trans. on VLSI Systems., roč. 28, č. 2, ISSN 1063-8210
DOI
10.1109/TVLSI.2019.2940943
UT WoS
000510674300002
EID Scopus
2-s2.0-85078705685
BibTeX 
@article{BUT161464,
  author="ANSARI, M. and MRÁZEK, V. and COCKBURN, B. and SEKANINA, L. and VAŠÍČEK, Z. and HAN, J.",
  title="Improving the Accuracy and Hardware Efficiency of Neural Networks Using Approximate Multipliers",
  journal="IEEE Trans. on VLSI Systems.",
  year="2020",
  volume="28",
  number="2",
  pages="317--328",
  doi="10.1109/TVLSI.2019.2940943",
  issn="1063-8210",
  url="https://www.fit.vut.cz/research/publication/12066/"
}
Nahoru