Detail publikace
Soft Language Prompts for Language Transfer
mezijazykový přenos, vícejazyčnost, jazyky s menšími zdroji, jazykové reprezentace
Přenos znalostí mezi jazyky, zejména mezi jazyky s vysokým a nízkým počtem zdrojů, je v oblasti zpracování přirozeného jazyka (NLP) stále náročný. Tato studie nabízí poznatky pro zlepšení mezijazykových aplikací NLP prostřednictvím kombinace metod jemného doladění s účinným nastavením parametrů. Systematicky zkoumáme strategie pro zvýšení mezioborového přenosu začleněním jazykově specifických a úkolově specifických adaptérů a měkkých výzev. Předkládáme podrobné zkoumání různých kombinací těchto metod a zkoumáme jejich účinnost v 16 jazycích se zaměřením na 10 jazyků se středním a nízkým počtem zdrojů. Dále představujeme podle našich znalostí první použití měkkých podnětů pro převod jazyka, techniku, kterou nazýváme měkké jazykové podněty. Naše zjištění ukazují, že na rozdíl od tvrzení předchozích prací nefunguje vždy nejlépe kombinace jazykových a úkolových adaptérů; místo toho kombinace měkké jazykové výzvy s úkolovým adaptérem v mnoha případech překonává většinu konfigurací.
@INPROCEEDINGS{FITPUB13353,
author = "Ivan Vykopal and Simon Ostermann and Mari\'{a}n \v{S}imko",
title = "Soft Language Prompts for Language Transfer",
pages = "10294--10313",
booktitle = "Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)",
year = 2025,
location = "Albuquerque, US",
publisher = "Association for Computational Linguistics",
ISBN = "979-8-8917-6189-6",
language = "english",
url = "https://www.fit.vut.cz/research/publication/13353"
}