Detail publikace

A Survey on Stability of Learning with Limited Labelled Data and its Sensitivity to the Effects of Randomness

PECHER, B.; SRBA, I.; BIELIKOVÁ, M. A Survey on Stability of Learning with Limited Labelled Data and its Sensitivity to the Effects of Randomness. ACM COMPUTING SURVEYS, 2024, vol. 57, no. 1, p. 1-40. ISSN: 0360-0300.
Název česky
Prieskum stability učenia s obmedzenými označenými údajmi a jeho citlivosti na vplyvy náhodnosti
Typ
článek v časopise
Jazyk
anglicky
Autoři
Pecher Branislav, Ing. (UPGM)
SRBA, I.
Bieliková Mária, prof. Ing., Ph.D. (UPGM)
URL
Klíčová slova

randomness, stability, sensitivity, meta-learning, large language models, fine-tuning, prompting, in-context learning, instruction-tuning, prompt-based learning, PEFT, literature survey

Abstrakt

Učenie s obmedzenými označenými údajmi, ako sú prompting, učenie v kontexte, doladenie (fine-tuning), meta-učenie alebo učenie s malým počtom príkladov (few-shot learning), sa zameriava na efektívne trénovanie modelu pomocou iba malej množiny označených vzoriek. Tieto prístupy však vykazujú nadmernú citlivosť na účinky nekontrolovanej náhodnosti spôsobenej nedeterministickými procesmi počas trénovania. Táto náhodnosť negatívne ovplyvňuje stabilitu modelov, čo vedie k veľkým rozdielom vo výsledkoch medzi jednotlivými spusteniami trénovania. Ak je táto citlivosť ignorovaná, môže neúmyselne, ale bohužiaľ aj úmyselne, vytvárať falošný dojem o pokroku vo výskume. Táto oblasť výskumu nedávno začala priťahovať pozornosť a počet relevantných štúdií neustále rastie. V tomto prieskume poskytujeme komplexný prehľad 415 prác, ktoré sa zaoberajú účinkami náhodnosti na stabilitu učenia s obmedzenými označenými údajmi. Rozlišujeme štyri hlavné úlohy riešené v týchto prácach (skúmať/hodnotiť; určiť; zmierniť; porovnávať/zaznamenávať účinky náhodnosti) a uvádzame zistenia pre každú z nich. Navyše identifikujeme a diskutujeme sedem výziev a otvorených problémov spolu s možnými smermi na podporu ďalšieho výskumu. Hlavným cieľom tohto prieskumu je zdôrazniť dôležitosť tejto rastúcej oblasti výskumu, ktorá doteraz nezískala primeranú pozornosť, a ukázať významné smery pre budúci výskum.

Rok
2024
Strany
1–40
Časopis
ACM COMPUTING SURVEYS, roč. 57, č. 1, ISSN 0360-0300
Kniha
ACM Computing Surveys
Vydavatel
Association for Computing Machinery
DOI
10.1145/3691339
BibTeX 
@article{BUT193234,
  author="PECHER, B. and SRBA, I. and BIELIKOVÁ, M.",
  title="A Survey on Stability of Learning with Limited Labelled Data and its Sensitivity to the Effects of Randomness",
  journal="ACM COMPUTING SURVEYS",
  year="2024",
  volume="57",
  number="1",
  pages="1--40",
  doi="10.1145/3691339",
  issn="0360-0300",
  url="https://dl.acm.org/doi/10.1145/3691339?cid=81474695895"
}
Nahoru