FEECA: Design Space Exploration for Low-Latency and Energy-Efficient Capsule Network Accelerators

• https://ieeexplore.ieee.org/document/9363276/

capsule neural network, hardware accelerators, design space exploration

V posledních letech se věnuje zvýšená pozornost kapsulovým neuronovým sítím (CapsNets) v úloze klasifikace obrazu. Na rozdíl od klasických konvolučních neuronových sítí mají CapsNets schopnost naučit se prostorový vztah mezi vzorky obrázků. Jejich složitost však roste kvůli jejich heterogenní struktuře kapsulí a také kvůli dynamickému směrování, což je iterativní algoritmus pro dynamické učení koeficientů vazby dvou po sobě jdoucích vrstev kapsulí. To vyžaduje specializované hardwarové akcelerátory pro CapsNets. Vysoce výkonná a energeticky efektivní konstrukce akcelerátorů CapsNet navíc vyžaduje prozkoumání různých parametrů (jako je velikost a konfigurace výpočetního pole a struktura výpočetních prvků). K tomu přinášíme následující klíčové příspěvky: 1) FEECA, nová metodika prozkoumání návrhového prostoru (mikro)architektonických parametrů hardwarového akcelerátoru CapsNet a 2) CapsAcc, první specializovaná hardwarová architektura na úrovni RTL, která provádí CapsNets inferenci s vysokým výkonem a vysokou energetickou účinností. Náš CapsAcc dosahuje významného zlepšení výkonu ve srovnání s optimalizovanou implementací GPU díky efektivní implementaci klíčových aktivačních funkcí, jako je squash a softmax, a účinnému opětovnému použití dat pro dynamické směrování. Metodika FEECA využívá multiobjektivní genetický algoritmus (NSGA-II) k prozkoumání Paretovo-optimálních bodů s ohledem na plochu, výkon a spotřebu energie. To vyžaduje analytické modelování počtu hodinových cyklů potřebných k provedení každé operace a přístupů do paměti pro navržený akcelerátor.