Detail publikace

Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition

VANDERREYDT, G.; PRASAD, A.; KHALIL, D.; MADIKERI, S.; DEMUYNCK, K.; MOTLÍČEK, P. Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition. Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). Taipei: IEEE Signal Processing Society, 2023. p. 1-7. ISBN: 979-8-3503-0689-7.
Název česky
Ladění s efektivním využitím parametrů s adaptivními úzkými místy pro automatické rozpoznávání řeči
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
VANDERREYDT, G.
Prasad Amrutha (UPGM)
KHALIL, D.
Madikeri Srikanth (FIT)
DEMUYNCK, K.
Motlíček Petr, doc. Ing., Ph.D. (UPGM)
URL
Klíčová slova

ASR, XLSR, Adapters, ATC

Abstrakt

Přeneste učení z velkých vícejazyčných předtrénovaných modelů, jako XLSR se stal novým paradigmatem pro Automatic Rozpoznávání řeči (ASR). S ohledem na jejich stále přibývající velikost, jemné doladění všech závaží se stalo nepraktickým, když výpočetní rozpočet je omezený. Adaptéry jsou lehké trénovatelné moduly vložené mezi vrstvy během předtrénování část je uchovávána ve zmrazeném stavu. Tvoří parametricky efektivní metoda jemného doladění, ale stále vyžadují velké úzké hrdlo velikost, která odpovídá standardnímu výkonu jemného ladění. V tomto papíru navrhujeme ABSADAPTER, metodu k dalšímu snížení parametr rozpočtu pro stejný výkon úkolu. konkrétně ABSADAPTER k tomu používá adaptivní plánovač úzkých míst přerozdělte hmotnosti adaptéru na vrstvy, které potřebují přizpůsobení nejvíc. Trénováním pouze 8 % modelu XLSR, ABSADAPTER dosahuje výkonu blízkého standardnímu jemnému doladění na doménu posunutou komunikaci o leteckém provozu (ATC) Úkol ASR.

Rok
2023
Strany
1–7
Sborník
Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)
ISBN
979-8-3503-0689-7
Vydavatel
IEEE Signal Processing Society
Místo
Taipei
DOI
10.1109/ASRU57964.2023.10389769
BibTeX 
@inproceedings{BUT187932,
  author="VANDERREYDT, G. and PRASAD, A. and KHALIL, D. and MADIKERI, S. and DEMUYNCK, K. and MOTLÍČEK, P.",
  title="Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition",
  booktitle="Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)",
  year="2023",
  pages="1--7",
  publisher="IEEE Signal Processing Society",
  address="Taipei",
  doi="10.1109/ASRU57964.2023.10389769",
  isbn="979-8-3503-0689-7",
  url="https://ieeexplore.ieee.org/document/10389769"
}
Nahoru