FIT BUT at SemEval-2023 Task 12: Sentiment Without Borders - Multilingual Domain Adaptation for Low-Resource Sentiment Classification

• https://aclanthology.org/2023.semeval-1.209/

sentiment analysis, cross-lingual sentiment analysis, domain adaptation, adversarial training, low-resource languages, African languages, transformer, feed-forward neural network

Tento článek představuje naši navrhovanou metodu pro SemEval-2023 Úlohu 12, která se zaměřuje na analýzu sentimentu pro jazyky s nízkými zdroji v Africe. Naše metoda využívá přístupu adaptace domény založeného na jazyce, který využívá adversárního trénování, kde malá verze Afro-XLM-Roberta slouží jako generátorový model a feed-forward síť jako diskriminátor. Zúčastnili jsme se všech tří podúloh: monolingvální (12 stop), multilingvální (1 stop), a zero-shot (2 stopy). Naše výsledky ukazují zlepšení váženého F1 pro 13 ze 15 stop s maximálním nárůstem o 4,3 bodu pro marockou arabštinu ve srovnání s referenční hodnotou. Zjistili jsme, že použití značek založených na rodině jazyků spolu s reprezentacemi vstupu na úrovni sekvence pro model diskriminátoru zlepšuje kvalitu mezi-jazykové analýzy sentimentu pro jazyky, které nebyly viděny během tréninku. Navíc naše experimentální výsledky naznačují, že trénování systému na jazycích, které jsou blízko v jazykovém stromu, zvyšuje kvalitu analýzy sentimentu pro jazyky s nízkými zdroji. Nakonec byla zachována výpočetní složitost kroku predikce na stejné úrovni, což činí přístup zajímavým z praktického hlediska. Kód přístupu lze nalézt v našem repozitáři.