Detail publikace

Neural Architecture Search and Hardware Accelerator Co-Search: A Survey

SEKANINA, L. Neural Architecture Search and Hardware Accelerator Co-Search: A Survey. IEEE Access, 2021, vol. 9, no. 9, p. 151337-151362. ISSN: 2169-3536.
Název česky
Souběžné hledání architektur neuronových sítí a jejich hardwarových akcelerátorů: Přehled metod
Typ
článek v časopise
Jazyk
anglicky
Autoři
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
URL
Klíčová slova

Artificial neural networks, Accelerator architectures, Design optimization, Optimization methods, Machine learning, Image classification, Computer aided engineering, Approximation methods, Evolutionary computation, Digital circuits

Abstrakt

Hluboké neuronové sítě (DNN) nyní dominují v nejnáročnějších aplikacích strojového učení. Vzhledem k tomu, že DNN mohou mít složité architektury s miliony trénovatelných parametrů (tzv. vah), je jejich návrh a trénování obtížné i pro vysoce kvalifikované odborníky. S cílem snížit úsilí návrhářů byly vyvinuty metody hledání architektur neuronových sítí (NAS), které automatizují celý proces návrhu. Metody NAS typicky kombinují vyhledávání v prostoru kandidátních architektur a optimalizaci (učení) vah pomocí gradientní metody. V tomto článku se zabýváme klíčovými elementy takových metod NAS, které v různé míře cílí na hardwarovou implementaci výsledných DNN. Metody NAS jsme rozdělili do tří hlavních tříd: jedno-kriteriální NAS (neberou v úvahu hardwarovou realizaci), NAS optimalizující pro cílový hardware (DNN je optimalizována pro konkrétní hardwarovou platformu) a NAS optimalizující neuronovou síť i hardwarovou platformu (hardware je přímo optimalizován v rámci NAS). Ve srovnání s předchozími přehledovými články klademe důraz na metody NAS používající vícekriteriální přístup, a zaměřujeme se na popis metod souběžné optimalizace neuronové sítě a hardwarové platformy. Protože většina článků z této oblasti studuje NAS pro návrh klasifikátoru obrazů pomocí konvolučních neuronových sítí, je tímto směrem orientován i náš přehledový článek. Po přečtení článku by měl čtenář porozumět, proč a jak se metody NAS provádějící souběžně optimalizaci neuronové sítě a hardwarové platformy v současnosti používají pro vytváření špičkových implementací DNN.  

Rok
2021
Strany
151337–151362
Časopis
IEEE Access, roč. 9, č. 9, ISSN 2169-3536
DOI
10.1109/ACCESS.2021.3126685
UT WoS
000719556200001
EID Scopus
2-s2.0-85119718262
BibTeX 
@article{BUT175853,
  author="Lukáš {Sekanina}",
  title="Neural Architecture Search and Hardware Accelerator Co-Search: A Survey",
  journal="IEEE Access",
  year="2021",
  volume="9",
  number="9",
  pages="151337--151362",
  doi="10.1109/ACCESS.2021.3126685",
  issn="2169-3536",
  url="https://ieeexplore.ieee.org/document/9606893"
}
Nahoru