On Sensitivity of Learning with Limited Labelled Data to the Effects of Randomness: Impact of Interactions and Systematic Choices

NLP in resource-constrained settings, in-context learning, fine-tuning, meta-learning, sensitivity, effects of randomness, stability

Učenie s obmedzenými označenými dátami dokáže efektívne zvládať nedostatok označených vzoriek, avšak je citlivé na účinky nekontrolovanej náhodnosti, ktorú spôsobujú takzvané faktory náhodnosti (t. j. nedeterministické rozhodnutia, ako je výber alebo poradie vzoriek). Navrhujeme a formalizujeme metódu na systematické skúmanie účinkov jednotlivých faktorov náhodnosti, pričom berieme do úvahy aj interakcie (závislosti) medzi nimi. Na tento účel naša metóda zmierňuje účinky ostatných faktorov a zároveň sleduje, ako sa výkonnosť mení naprieč viacerými spusteniami. Pri aplikácii našej metódy na viaceré faktory náhodnosti v prístupoch učenia v kontexte (in-context learning) a doladenia (fine-tuning) na 7 reprezentatívnych úlohách klasifikácie textu a v meta-učení na 3 úlohách sme zistili, že 1) ignorovanie interakcií medzi faktormi náhodnosti v existujúcich prácach viedlo k nekonzistentným záverom kvôli nesprávnemu pripisovaniu účinkov faktorov náhodnosti, ako napríklad nesprávne vyvrátenie citlivosti učenia v kontexte na poradie vzoriek, aj pri náhodnom výbere vzoriek; a 2) Okrem vzájomných interakcií sú účinky faktorov náhodnosti, najmä poradia vzoriek, závislé aj od systematických rozhodnutí, ktoré v existujúcich prácach neboli preskúmané, ako je počet tried, počet vzoriek na triedu alebo výber formátu promptov.