Detail publikace

NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned

MIN, S.; FAJČÍK, M.; DOČEKAL, M.; ONDŘEJ, K.; SMRŽ, P. NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned. Proceedings of the NeurIPS 2020 Competition and Demonstration Track. Proceedings of Machine Learning Research. online: Proceedings of Machine Learning Research, 2021. p. 86-111. ISSN: 2640-3498.
Název česky
Soutěž NeurIPS 2020 EfficientQA: Systémy, analýzy a získané lekce
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
MIN, S.
Fajčík Martin, Ing., Ph.D. (UPGM)
Dočekal Martin, Ing. (UPGM)
Ondřej Karel, Ing. (FIT)
Smrž Pavel, doc. RNDr., Ph.D. (UPGM)
a další
URL
Klíčová slova

odpovídaní na otázky, QA, ODQA, efficientQA, paměť, disková paměť, rozpočet, korpusy pro vyhledávání 

Abstrakt

V tejto práci dokumentujeme soutěž EfficientQA z NeurIPS 2020. Soutěž se zaměřila na zodpovídání otázek v otevřené doméně (QA), kde systémy berou otázky v přirozeném jazyce jako vstup a vracejí odpovědi v přirozeném jazyce. Cílem soutěže bylo vybudovat systémy, které dokážou předvídat správné odpovědi a zároveň uspokojit přísné limity na diskovou paměť. Tyto paměťové rozpočty byly navrženy tak, aby motivovali soutěžící prozkoumat kompromis mezi ukládáním vyhledávacích korpusů a parametry naučených modelů. V této zprávě popisujeme motivaci a organizaci soutěže, přezkoumáváme nejlepší výsledky a analyzujeme předpovědi systému, abychom mohli vést diskusi o hodnocení kontroly kvality systémov pre odpovídaní na otázky nad otevřenou doménou. 

Rok
2021
Strany
86–111
Sborník
Proceedings of the NeurIPS 2020 Competition and Demonstration Track
Řada
Proceedings of Machine Learning Research
Svazek
133
Číslo
133
Vydavatel
Proceedings of Machine Learning Research
Místo
online
BibTeX 
@inproceedings{BUT175821,
  author="MIN, S. and FAJČÍK, M. and DOČEKAL, M. and ONDŘEJ, K. and SMRŽ, P.",
  title="NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned",
  booktitle="Proceedings of the NeurIPS 2020 Competition and Demonstration Track",
  year="2021",
  series="Proceedings of Machine Learning Research",
  volume="133",
  number="133",
  pages="86--111",
  publisher="Proceedings of Machine Learning Research",
  address="online",
  issn="2640-3498",
  url="http://proceedings.mlr.press/v133/min21a/min21a.pdf"
}
Nahoru