Detail publikace
ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
Mrázek Vojtěch, Ing., Ph.D. (UPSY)
Neural Architecture Search, Convolutional Neural Networks, Approximate Computing,
Machine Learning
Integrace principů aproximativních výpočtů do návrhu hardwarově orientovaných
hlubokých neuronových sítí (DNN) vedla k implementacím DNN, které vykazují dobrou
kvalitu výstupu a vysoce optimalizované hardwarové parametry, jako je nízká
latence nebo energie inference. V této práci představujeme ApproxDARTS, metodu
prohledávání neuronové architektury (NAS), která umožňuje populární
diferencovatelné metodě prohledávání architektury neuronových sítí zvané DARTS
využívat aproximativní násobičky, a tím snižovat spotřebu energie generovaných
neuronových sítí.
Na datové sadě CIFAR-10 jsme ukázali, že metoda ApproxDARTS je schopna provést
kompletní prohledání architektury za méně než 10 hodin na GPU a vytvořit
konkurenceschopné konvoluční neuronové sítě (CNN) obsahující přibližné násobičky
v konvolučních vrstvách. ApproxDARTS například vytvořil CNN vykazující snížení
spotřeby energie o a) 53,84 % v aritmetických operacích inferenční fáze ve
srovnání s CNN využívající nativní 32bitové násobiče s pohyblivou řádovou čárkou
a b) 5,97 % ve srovnání s CNN využívající přesné 8bitové násobiče s pevnou
řádovou čárkou, v obou případech se zanedbatelným poklesem přesnosti. ApproxDARTS
je navíc 2,3krát rychlejší než podobná metoda založená na evolučním algoritmu
s názvem EvoApproxNAS.
@inproceedings{BUT188465,
author="Michal {Piňos} and Lukáš {Sekanina} and Vojtěch {Mrázek}",
title="ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers",
booktitle="2024 The International Joint Conference on Neural Networks (IJCNN)",
year="2024",
pages="1--8",
publisher="Institute of Electrical and Electronics Engineers",
address="Yokohama",
doi="10.1109/IJCNN60899.2024.10650823",
isbn="979-8-3503-5931-2",
url="https://ieeexplore.ieee.org/document/10650823"
}