Evolutionary Neural Architecture Search Supporting Approximate Multipliers

• https://link.springer.com/chapter/10.1007%2F978-3-030-72812-0_6

Approximate computing, Convolutional neural network, Cartesian genetic programming, Neuroevolution, Energy efficiency 

Metody automatizovaného vyhledávání architektur neuronových sítí (NAS) zaznamenaly v poslední době rostoucí zájem. Tyto metody se obvykle používají k nalezení vysoce kvalitních architektur neuronových sítí pro různé (obvykle náročné) datové sady a zároveň snižují úsilí návrháře, spojené s návrhem modelu. Metody NAS, využívající vícekriteriální evoluční algoritmy, jsou obzvláště užitečné, když je cílem nejen minimalizovat chybu sítě, ale také minimalizovat počet parametrů (vah) sítě nebo spotřebu energie inferenční fáze. V této práci navrhujeme vícekriteriální NAS metodu, založenou na kartezském genetickém programování, zaměřenou na evoluci architektur konvolučních neuronových sítí (CNN). Navrhovaná metoda umožňuje využití aproximovaných operací v CNN modelech, za účelem snížení spotřeby energie na cílovém hardwaru. Během procesu evoluce je navrhováná vhodná architektura CNN společně s aproximovanými násobičkami, s cílem nalezt nejlepší kompromis mezi přesností, velikostí sítě a spotřebou energie. Nejvhodnější aproximované násobičky jsou automaticky vybírány z knihovny aproximovaných násobiček. Vyvinuté CNN modely jsou srovnávány s běžnými, ručně navrženými modely CNN podobné složitosti, na srovnávací datové sadě CIFAR-10.