Detail publikace

Rethinking the Objectives of Extractive Question Answering

FAJČÍK, M.; JON, J.; SMRŽ, P. Rethinking the Objectives of Extractive Question Answering. In Proceedings of the 3rd Workshop on Machine Reading for Question Answering. Proceedings of the 3rd Workshop on Machine Reading for Question Answering. Punta Cana: Association for Computational Linguistics, 2021. p. 14-27. ISBN: 978-1-954085-95-4.
Název česky
Přehodnocení objektivních funkcí systémov pre extrakční odpovídaní na otázky
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Fajčík Martin, Ing., Ph.D. (UPGM)
Jon Josef, Ing.
Smrž Pavel, doc. RNDr., Ph.D. (UPGM)
URL
Klíčová slova

QA, extraktivní QA,  objektivní funkce s předpokladem nezávislosti, objektivní funkce se spojitým předpokladem, složená objektivní funkce

Abstrakt

Tato práce ukazuje, že použití objektívních funkcí s předpokladem nezávislosti pro modelování pravděpodobnosti rozpětí odpovedí v textu P (a_s , a_e ) = P (a_s )P (a_e) rozpětí začínajícího na pozici a_s a končícího na pozici a_e má nepříznivé účinky na kvalitu systémov pre odpovídaní na otázky. Proto navrhujeme více přístupů k přímému modelování spojené pravděpodobnosti P (a_s , a_e). Mezi nimi navrhujeme objektivní funkci složenú ze modelování spojené pravděpodobnosti při zachování modelu s předpokladem nezávislosti jako pomocného cíle. Zjistili jsme, že tahle objektivní funkce je konzistentně lepší nebo stejne dobrá jako jiné předpoklady v metrike exact match. Kromě toho jsme identifikovali běžné chyby způsobené předpokladem nezávislosti a ručně zkontrolovali protějšek odpovedi, čímž jsme prokázali dopad složeného cíle na skutečných příkladech. Naše zjištění jsou podpořena experimenty se třemi modely pro extrakční QA (BIDAF, BERT, ALBERT) v šesti datových sadách a náš kód, jednotlivé výsledky a manuální analýza jsou k dispozici online.

Rok
2021
Strany
14–27
Sborník
Proceedings of the 3rd Workshop on Machine Reading for Question Answering
Řada
Proceedings of the 3rd Workshop on Machine Reading for Question Answering
ISBN
978-1-954085-95-4
Vydavatel
Association for Computational Linguistics
Místo
Punta Cana
EID Scopus
2-s2.0-85138379950
BibTeX 
@inproceedings{BUT175858,
  author="Martin {Fajčík} and Josef {Jon} and Pavel {Smrž}",
  title="Rethinking the Objectives of Extractive Question Answering",
  booktitle="Proceedings of the 3rd Workshop on Machine Reading for Question Answering",
  year="2021",
  series="Proceedings of the 3rd Workshop on Machine Reading for Question Answering",
  pages="14--27",
  publisher="Association for Computational Linguistics",
  address="Punta Cana",
  isbn="978-1-954085-95-4",
  url="https://aclanthology.org/2021.mrqa-1.2/"
}
Nahoru