RoMe: A Robust Metric for Evaluating Natural Language Generation

Publikation: Beiträge in SammelwerkenAufsätze in KonferenzbändenForschungbegutachtet

Authors

  • Md Rashad Al Hasan Rony
  • Liubov Kovriguina
  • Debanjan Chaudhuri
  • Ricardo Usbeck
  • Jens Lehmann

Evaluating Natural Language Generation (NLG) systems is a challenging task. Firstly, the metric should ensure that the generated hypothesis reflects the reference's semantics. Secondly, it should consider the grammatical quality of the generated sentence. Thirdly, it should be robust enough to handle various surface forms of the generated sentence. Thus, an effective evaluation metric has to be multifaceted. In this paper, we propose an automatic evaluation metric incorporating several core aspects of natural language understanding (language competence, syntactic and semantic variation). Our proposed metric, RoMe, is trained on language features such as semantic similarity combined with tree edit distance and grammatical acceptability, using a self-supervised neural network to assess the overall quality of the generated sentence. Moreover, we perform an extensive robustness analysis of the state-of-the-art methods and RoMe. Empirical results suggest that RoMe has a stronger correlation to human judgment over state-of-the-art metrics in evaluating system-generated sentences across several NLG tasks.

OriginalspracheEnglisch
TitelACL 2022 - 60th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers)
HerausgeberSmaranda Muresan, Preslav Nakov, Aline Villavicencio
Anzahl der Seiten13
VerlagAssociation for Computational Linguistics (ACL)
Erscheinungsdatum2022
Seiten5645-5657
ISBN (elektronisch)9781955917216
PublikationsstatusErschienen - 2022
Extern publiziertJa
Veranstaltung60th Annual Meeting of the Association for Computational Linguistics - ACL 2022 - Convention Centre Dublin & Online, Dublin, Irland
Dauer: 22.05.202227.05.2022
Konferenznummer: 60
https://www.2022.aclweb.org/

Bibliographische Notiz

Publisher Copyright:
© 2022 Association for Computational Linguistics.

Links

Zuletzt angesehen

Forschende

  1. Tanja Maier

Publikationen

  1. Entwicklung von Modellierungsaufgaben unter Rückgriff auf das Webportal „MathCityMap“ in einem fachdidaktischen Seminar für Lehramtsstudierende
  2. Zuhören gestalten
  3. Grammes, Tilmann; Schluß, Henning; Vogler, Hans-Joachim: Staatsbürgerkunde in der DDR: Ein Dokumentenband. Wiesbaden (VS Verlag) 2006
  4. Homo sapiens reached the higher latitudes of Europe by 45,000 years ago
  5. From Rana Plaza to COVID‐19
  6. Defending one's worldview under mortality salience
  7. Kosmologische Spektakel - Universale Archive
  8. Rapid Identification of Bacteria in Clinical Microbiology Routiine Diagnostics using MALDI-TOF mass spectrometry
  9. Handels- und Zusammenarbeitsabkommen EU/VK
  10. Agenturen und Integrierte Kommunikation
  11. Wozu Senden? Sendevisionen im Ersten und Dritten Fernsehzeitalter
  12. Die Collage als Spottidiom
  13. Wer kolportiert?
  14. The weighted Moran formula for the dimension of generic McMullen-Bedford carpets
  15. Experiential marketing as a tool to enhance Tourists’ pre-travel online destination experiences?
  16. Strategische Wendepunkte und Risikofrüherkennung am Beispiel des IT-Marktes
  17. Kriterien der interaktiven Unternehmenskommunikation im Internet
  18. Oliver E. Williamsons Transaktionskostenökonomik
  19. Platform for sustainable aviation fuels-combining ecological research and sustainability management with industrial needs
  20. Die Evaluationspraxis an Deutschen Schulen
  21. Passt die zeitgenössliche Kunst in ihre Institutionen?
  22. IM OSTEN GEHT DIE SONNE AUF
  23. ‚Infra-Politik‘ der Willkommensgesellschaft
  24. Albania
  25. Der deutsche Föderalismus zwischen zwei Konventen
  26. Energiekonzept: Die Energierevolution
  27. Gute fachliche Praxis
  28. Computerspiele – Neue Herausforderungen für die Ethik ?
  29. Insect abundance in managed forests benefits from multi-layered vegetation
  30. Bildungsreise in digitale Welten
  31. Magnesium recycling system prepared by permanent mould- and high pressure die casting
  32. The recombinant bifunctional protein αCD133–GPVI promotes repair of the infarcted myocardium in mice
  33. Ecological justice in agricultural systems
  34. Transdisziplinarität in der Nachhaltigkeitsforschung
  35. Schulbasierte Achtsamkeitsprogramme mit Kindern und Jugendlichen
  36. On the way to a Post-Carbon Society

Presse / Medien

  1. Matrix für Nachhaltigkeit