Detail publikace

Parameter-Efficient Transfer Learning of Pre-Trained Transformer Models for Speaker Verification Using Adapters

PENG, J.; STAFYLAKIS, T.; GU, R.; PLCHOT, O.; MOŠNER, L.; BURGET, L.; ČERNOCKÝ, J. Parameter-Efficient Transfer Learning of Pre-Trained Transformer Models for Speaker Verification Using Adapters. In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings. Rhodes Island: IEEE Signal Processing Society, 2023. p. 1-5. ISBN: 978-1-7281-6327-7.
Název česky
Parametrově efektivní přenosové učení předtrénovaných modelů typu transformer pomocí adaptérů pro úlohu ověřování mluvčích
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Peng Junyi, Master of Technology, prof. UMK (UPGM)
Stafylakis Themos
GU, R.
Plchot Oldřich, Ing., Ph.D. (UPGM)
Mošner Ladislav, Ing. (UPGM)
Burget Lukáš, doc. Ing., Ph.D. (UPGM)
Černocký Jan, prof. Dr. Ing. (UPGM)
URL
Klíčová slova

Speaker verification, pre-trained model, adapter, fine-tuning, transfer learning

Abstrakt

V poslední době zaznamenaly vzestup předtrénované modely Transformer zájem o oblast zpracování řeči díky jejich velkému úspěchu v různých následných úkolech. Nicméně většina přístupů dolaďování aktualizace všech parametrů předtrénovaného modelu,  se stane neúnosné, protože velikost modelu roste a někdy vede k nadměrnému vhodné pro malé datové soubory. V tomto dokumentu provádíme komplexní analýzu aplikace parametricky efektivního přenosového učení (PETL) metody ke snížení požadovaných naučitelných parametrů pro přizpůsobení k úkolům ověřování mluvčího. Konkrétně při dolaďování procesu jsou předtrénované modely zmrazené a pouze lehké moduly vložené do každého bloku transformátoru jsou trénovatelné (metoda známé jako adaptéry). Navíc ke zvýšení výkonu v křížovém Jazykový scénář s nízkými zdroji, model Transformer je dále vyladili na velké střední datové sadě před jejím přímým doladěním na malém datovém souboru. Při aktualizaci méně než 4 % parametrů (naše navrhované) metody založené na PETL dosahují srovnatelných výkonů s metodami úplného jemného doladění (Vox1-O: 0,55 %, Vox1-E: 0,82 %, Voxl-H: 1,73 %).

Rok
2023
Strany
1–5
Sborník
ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings
ISBN
978-1-7281-6327-7
Vydavatel
IEEE Signal Processing Society
Místo
Rhodes Island
DOI
10.1109/ICASSP49357.2023.10094795
EID Scopus
2-s2.0-85177568701
BibTeX 
@inproceedings{BUT185200,
  author="PENG, J. and STAFYLAKIS, T. and GU, R. and PLCHOT, O. and MOŠNER, L. and BURGET, L. and ČERNOCKÝ, J.",
  title="Parameter-Efficient Transfer Learning of Pre-Trained Transformer Models for Speaker Verification Using Adapters",
  booktitle="ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings",
  year="2023",
  pages="1--5",
  publisher="IEEE Signal Processing Society",
  address="Rhodes Island",
  doi="10.1109/ICASSP49357.2023.10094795",
  isbn="978-1-7281-6327-7",
  url="https://ieeexplore.ieee.org/document/10094795"
}
Nahoru