Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators

• https://arxiv.org/abs/2404.05368

Quantization, Neural networks, Hardware accelerator

Energetická účinnost a paměťová náročnost konvoluční neuronové sítě (CNN) implementované na inferenčním akcelerátoru CNN závisí na mnoha faktorech, včetně strategie kvantizace vah (tj. datových typů a bitových šířek) a mapování (tj. umístění a plánování elementárních operací DNN na hardwarových jednotkách akcelerátoru). Ukazujeme, že umožnění bohatých smíšených kvantizačních schémat během implementace může otevřít dříve skrytý prostor mapování, která efektivněji využívají hardwarové prostředky. CNN využívající kvantizované váhy a aktivace a vhodná mapování mohou ve srovnání s méně pečlivě optimalizovanými implementacemi CNN výrazně zlepšit kompromisy mezi přesností, energetickými a paměťovými nároky. K nalezení, analýze a využití těchto mapování jsme: (i) rozšiřujeme nejmodernější mapovací nástroj pro všeobecné použití (Timeloop) o podporu smíšené kvantizace, která v současné době není k dispozici; (ii) navrhujeme účinný víceúčelový optimalizační algoritmus pro nalezení nejvhodnějších bitových šířek a mapování pro každou vrstvu DNN prováděnou na akcelerátoru; a (iii) provádíme podrobné experimentální vyhodnocení k ověření navržené metody. Na dvou CNN (MobileNetV1 a MobileNetV2) a dvou akcelerátorech (Eyeriss a Simba) ukazujeme, že pro danou metriku kvality (např. přesnost na ImageNet) dosahuje úspora energie až 37 %, aniž by došlo k poklesu přesnosti.