Detail publikace

Fighting Randomness With Randomness: Mitigating Optimisation Instability of Fine-Tuning Using Ensemble and Noise Regularisation

PECHER, B.; ČEGIŇ, J.; BELANEC, R.; SRBA, I.; ŠIMKO, J.; BIELIKOVÁ, M. Fighting Randomness With Randomness: Mitigating Optimisation Instability of Fine-Tuning Using Ensemble and Noise Regularisation. Findings of the Association for Computational Linguistics: EMNLP 2024. Miami: Association for Computational Linguistics, 2024. p. 11005-11044. ISBN: 979-8-8917-6168-1.
Název česky
Boj proti náhodnosti náhodnosťou: Zmierňovanie nestability optimalizácie pri doladení pomocou ansámblov a regularizácie šumom
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Klíčová slova

NLP in resource-constrained settings, parameter-efficient-training, data-efficient training, data augmentation, fine-tuning, mitigating randomness, ensembling

Abstrakt

Hoci doladenie predtrénovaných jazykových modelov vo všeobecnosti pomáha prekonať nedostatok označených trénovacích vzoriek, zároveň vykazuje nestabilitu výkonu modelu. Táto nestabilita pochádza najmä z náhodnosti pri inicializácii alebo miešaní dát. Na riešenie tohto problému sa výskumníci zvyčajne uchyľujú k úpravám tréningového procesu alebo k rozšíreniu dostupných vzoriek, čo však často vedie k zvýšeniu výpočtových nákladov. Navrhujeme novú stratégiu zmiernenia, nazvanú Oneskorené ansámblovanie s interpoláciou šumu (DENI), ktorá využíva výhody ansámblovania, regularizácie šumom a interpolácie modelov, pričom zachováva výpočtovú efektívnosť. Porovnávame DENI s 9 reprezentatívnymi stratégiami zmiernenia naprieč 3 modelmi, 4 stratégiami doladenia a 7 datasetmi na klasifikáciu textu. Ukazujeme, že 1) DENI prekonáva najúspešnejšiu stratégiu zmiernenia (ansámblovanie), pričom používa len zlomok jej výpočtových nákladov; 2) stratégie zmiernenia sú užitočné aj pre metódy efektívneho doladenia parametrov (PEFT), ktoré v konkrétnych prípadoch prekonávajú plné doladenie; a 3) kombinácia DENI s rozšírením dát často vedie k ešte efektívnejšiemu zmierneniu nestability.

Rok
2024
Strany
11005–11044
Sborník
Findings of the Association for Computational Linguistics: EMNLP 2024
ISBN
979-8-8917-6168-1
Vydavatel
Association for Computational Linguistics
Místo
Miami
DOI
BibTeX
@inproceedings{BUT193319,
  author="PECHER, B. and ČEGIŇ, J. and BELANEC, R. and SRBA, I. and ŠIMKO, J. and BIELIKOVÁ, M.",
  title="Fighting Randomness With Randomness: Mitigating Optimisation Instability of Fine-Tuning Using Ensemble and Noise Regularisation",
  booktitle="Findings of the Association for Computational Linguistics: EMNLP 2024",
  year="2024",
  pages="11005--11044",
  publisher="Association for Computational Linguistics",
  address="Miami",
  doi="10.18653/v1/2024.findings-emnlp.644",
  isbn="979-8-8917-6168-1"
}
Nahoru