Claim-Dissector: An Interpretable Fact-Checking System with Joint Re-ranking and Veracity Prediction

• https://aclanthology.org/2023.findings-acl.647/

fact-checking, open-domain fact-checking, claim, claim-dissector, dissector, fine-grained retrieval, coarse-grained supervision, interpretability, interpretable retrieval, evidence-grounded prediction, verification, fact verification, veracity assessement

Představujeme Claim-Dissector: nový model z latentní proměnnou pro ověřování a analýzu faktů, který se na základě tvrzení a souboru získaných důkazů společně učí identifikovat: (i) relevantní důkazy k danému tvrzení (ii) pravdivost tvrzení. Navrhujeme rozčlenit pravděpodobnost relevance na důkaz a její příspěvek ke konečné pravděpodobnosti věrohodnosti interpretovatelným způsobem - konečná pravděpodobnost věrohodnosti je úměrná lineárnímu souboru pravděpodobnosti relevance na důkaz. Tímto způsobem lze identifikovat jednotlivé příspěvky důkazů ke konečné predikované pravděpodobnosti. V pravděpodobnosti relevance na důkaz může náš model dále rozlišovat, zda každý relevantní důkaz podporuje (S) nebo vyvrací (R) tvrzení. To umožňuje kvantifikovat, jak moc se pravděpodobnost S/R podílí na konečném verdiktu nebo odhalit nesouhlasné důkazy. Navzdory své interpretovatelné povaze dosahuje náš systém výsledků, které konkurují nejmodernějším řešením na datové sadě FEVER, v porovnání s typickými dvoustupňovými systémovými systémy, přičemž využívá výrazně méně parametrů. Naše analýza navíc ukazuje, že náš model se může naučit jemnozrnné relevanci při použití hrubozrnné supervize a demonstrujeme to dvěma způsoby. (i) Ukazujeme, že náš model může určovat důkazy na úrovni vět při učení relevance na úrovni odstavce. (ii)Směrem k nejjemnější granularitě relevance ukazujeme, že náš model je schopen identifikovat relevanci na úrovni tokenů, při učení na úrovni vět. Abychom tuto vlastnost prokázali, představujeme nový benchmark TLR-FEVER se zaměřením na interpretovatelnost na úrovni tokenů - lidé anotovali tokeny v relevantních důkazech, které považovali za zásadní při rozhodování. Potom změříme, nakolik jsou tyto anotace podobné tokenům nalezeným naším modelem.