Detail publikace
Genetic Programming with Memory for Approximate Data Reconstruction
Jůza Tadeáš, Ing.
genetic programming, convolutional neural network, approximate computing,
hardware accelerator, classification, energy
Tato kapitola se zabývá kompromisy mezi výpočtem a memorizací v kontextu
genetického programování (GP). Zavádíme genetické programování s pamětí (GPM),
v němž GP vyvíjí nejen výraz, ale také obsah malé lokální paměti s cílem přesněji
aproximovat původní data. Konkrétně jsme evolučně vyvinuli dvojice výraz a paměť,
které mohou sloužit jako generátory vah, a tím aproximovat váhy spojené s
konvolučními vrstvami některých konvolučních neuronových sítí (CNN). To je
potenciálně zajímavé pro efektivní implementace hardwarových akcelerátorů CNN, u
nichž je přístup do paměti energeticky podstatně náročnější než aritmetické
operace. V našem přístupu je většina vah aproximována pomocí evolučně navrženého
výrazu; z paměti je třeba číst pouze jejich část. Pokud například paměť obsahuje
10% původních vah, může generátor vah vyvinutý pro konvoluční vrstvu aproximovat
původní váhy tak, že CNN využívající vygenerované váhy vykazuje méně než 1%
pokles klasifikační přesnosti na datové sadě MNIST. Požadavky na paměť se sníží
o 3,1krát nebo 12,6krát pro 8bitové, resp. 32bitové váhy. Další experimenty
provedené pro složitější sítě CNN a náročné referenční úlohy klasifikace obrázků
ukazují různé dopady aproximace vah na přesnost klasifikace.
@inbook{BUT193318,
author="Lukáš {Sekanina} and Tadeáš {Jůza}",
title="Genetic Programming with Memory for Approximate Data Reconstruction",
booktitle="Genetic Programming Theory and Practice XXI",
year="2025",
publisher="Springer Nature Singapore",
address="Singapore",
pages="199--218",
doi="10.1007/978-981-96-0077-9\{_}10",
isbn="978-981-9600-76-2",
url="https://link.springer.com/chapter/10.1007/978-981-96-0077-9_10"
}