Energy Complexity of Convolutional Neural Networks

Energetická účinnost hardwarových implementací konvolučních neuronových sítí
(CNN) je rozhodující pro jejich široké nasazení v mobilních zařízeních s nízkou
spotřebou. Nedávno byla navržena řada metod pro poskytování energeticky
optimálních mapování CNN na různé hardwarové akcelerátory. Jejich odhadovaná
spotřeba energie souvisí s konkrétními implementačními detaily a hardwarovými
parametry, což neumožňuje strojově nezávislý průzkum energetických opatření CNN.
V tomto článku představujeme zjednodušený teoretický model energetické složitosti
pro CNN, založený pouze na dvouúrovňové hierarchii paměti, která asymptoticky
zachycuje všechny důležité zdroje spotřeby energie pro různé implementace
hardwaru CNN. V tomto modelu odvodíme jednoduchou spodní mez energie a vypočítáme
energetickou složitost vyhodnocení vrstvy CNN pro dva běžné datové toky,
poskytující odpovídající horní meze. Podle statistických testů teoretické horní
a dolní meze energie, které uvádíme, asymptoticky velmi dobře odpovídají skutečné
spotřebě energie implementací CNN na hardwarových platformách Simba a Eyeriss,
odhadované programem Timeloop/Accelergy, který ověřuje navrhovaný model
energetické složitosti pro CNN.