LEDNeCo: Low Energy Deep Neurocomputing

hluboké neuronové sítě;transformery;energetická složitost;hardwarový akcelerátor;aproximační teorie;robustní učení;genetické programování

Moderní technologie umělé inteligence založené na hlubokých neuronových sítí (DNN) jako např. GPT jsou výpočetně extrémně náročné. Kromě toho, že spotřebují ohromné množství energie, to omezuje jejich nasazení ve vestavěných (koncových) zařízeních napájených bateriemi (např. chytré mobilní aplikace). LEDNeCo je projektem základního výzkumu, jehož ambicí je rozvoj paradigmatu nízkoenergetických hlubokých neurovýpočtů, který je založený na strojově nezávislé teorii energetické složitosti DNN vycházející z praktických zkušeností s návrhem různých hardwarových akcelerátorů DNN. Mj. budou odvozeny univerzální dolní meze energetické složitosti DNN a odhady inferenční chyby pro identifikaci komponent DNN (např. vah, neuronů, vrstev), jejichž aproximace je prokazatelně energeticky nejefektivnějsí. Teoretické poznatky budou použity v nových pokročilých aproximačních technikách (např. komprese vah, booleovská optimalizace, robustní aproximace komponent) návrhu hardwarových implementací DNN (vč. transformerů) s nízkou spotřebou energie, které budou testovány na referenčních datech.