Detail publikace

ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness

ČEGIŇ, J.; ŠIMKO, J. ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. Singapur: Association for Computational Linguistics, 2023. p. 1889-1905. ISBN: 979-8-8917-6060-8.
Název česky
ChatGPT nahradí Crowdsourcing parafráz pro klasifikaci záměrů: Vyšší rozmanitost a srovnatelná robustnost modelu
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Čegiň Ján, Ing. (UPGM)
Šimko Jakub, doc. Ing., PhD. (UPGM)
a další
URL
Klíčová slova

generování přirozeného jazyka, generování parafrází, crowdsourcing, velké
jazykové modely, klasifikace záměrů, rozmanitost textu

Abstrakt

Vznik generativních velkých jazykových modelů (LLM) vyvolává otázku: jaký bude
jejich dopad na crowdsourcing? Tradičně se crowdsourcing používá k získávání
řešení pro širokou škálu úkolů lidské inteligence, včetně těch, které zahrnují
generování, úpravy nebo vyhodnocování textu. Pro některé z těchto úkolů mohou
modely jako ChatGPT potenciálně nahradit lidské pracovníky. V této studii
zkoumáme, zda je tomu tak v případě úlohy generování parafráze pro klasifikaci
záměru. Aplikujeme metodologii sběru dat existující crowdsourcingové studie
(podobné měřítko, výzvy a počáteční data) pomocí ChatGPT. Ukazujeme, že parafráze
vytvořené ChatGPT jsou rozmanitější a vedou k přinejmenším stejně robustním
modelům.

Rok
2023
Strany
1889–1905
Sborník
Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing
Konference
Konference o empirických metodách ve zpracování přirozeného jazyka, Singapore, SG
ISBN
979-8-8917-6060-8
Vydavatel
Association for Computational Linguistics
Místo
Singapur
DOI
10.18653/v1/2023.emnlp-main.117
BibTeX 
@inproceedings{BUT187127,
  author="Ján {Čegiň} and Jakub {Šimko}",
  title="ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness",
  booktitle="Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing",
  year="2023",
  pages="1889--1905",
  publisher="Association for Computational Linguistics",
  address="Singapur",
  doi="10.18653/v1/2023.emnlp-main.117",
  isbn="979-8-8917-6060-8",
  url="https://aclanthology.org/2023.emnlp-main.117/"
}
Nahoru