Zum Inhalt springen

Nur-Lesen-Fassung: Das Forschungsinformationssystem (FIS) ist aus Sicherheitsgründen vorübergehend durch diese Nur-Lesen-Fassung ersetzt. Alle öffentlichen Inhalte und Volltexte sind weiterhin abrufbar; Anmeldung, Bearbeitung, Einreichung und Statistiken stehen nicht zur Verfügung. Bei Fragen: fis@uni-bamberg.de

Start › Publikationen › Fearful Falcons and Angry Llamas : Emotion Category Annotations of Arguments by Humans and LLMs

Publikation

Fearful Falcons and Angry Llamas : Emotion Category Annotations of Arguments by Humans and LLMs

Greschner, Lynn; Klinger, Roman (2025): Fearful Falcons and Angry Llamas : Emotion Category Annotations of Arguments by Humans and LLMs, in: Mika Hämäläinen, Emily Öhman, Yuri Bizzoni, u. a. (Hrsg.), Proceedings of the 5th International Conference on Natural Language Processing for Digital Humanities, Stroudsburg, PA: Association for Computational Linguistics (ACL), S. 628–646, doi: 10.18653/v1/2025.nlp4dh-1.52.

Details

Fakultät/Lehrstuhl
Autorin(nen)/Autor(en)
Titel des Sammelwerks
Proceedings of the 5th International Conference on Natural Language Processing for Digital Humanities
Herausgeberin(nen)/Herausgeber des Sammelwerks
Hämäläinen, Mika
Öhman, Emily
Bizzoni, Yuri
Miyagawa, So
Alnajjar, Khalid
Konferenz
International Conference on Natural Language Processing for Digital Humanities, Albuquerque, USA
Verlagsangabe
Association for Computational Linguistics (ACL) : Stroudsburg, PA
Erscheinungsjahr
2025
ISBN
979-8-89176-234-3
Sprache(n)
Englisch
DOI
URL
Abstract

Arguments evoke emotions, influencing the effect of the argument itself. Not only the emotional intensity but also the category influences the argument’s effects, for instance, the willingness to adapt stances. While binary emotionality has been studied in argumentative texts, there is no work on discrete emotion categories (e.g., ‘anger’) in such data. To fill this gap, we crowdsource subjective annotations of emotion categories in a German argument corpus and evaluate automatic LLM-based labeling methods. Specifically, we compare three prompting strategies (zero-shot, one-shot, chain-of-thought) on three large instruction-tuned language models (Falcon-7b-instruct, Llama-3.1-8B-instruct, GPT-4o-mini). We further vary the definition of the output space to be binary (is there emotionality in the argument?), closed-domain (which emotion from a given label set is in the argument?), or open-domain (which emotion is in the argument?). We find that emotion categories enhance the prediction of emotionality in arguments, emphasizing the need for discrete emotion annotations in arguments. Across all prompt settings and models, automatic predictions show a high recall but low precision for predicting anger and fear, indicating a strong bias toward negative emotions.

Freie Schlagwort(e)
argument
emotion
corpus
large language model
Peer Reviewed
ja
Internationale Verbreitung
ja
Open-Access-Zeitschrift
ja
Dokumenttyp
Konferenzveröffentlichung
URI
Datum der Freischaltung
29.04.2025
Projekt(e)

Permalink: https://fis.uni-bamberg.de/handle/uniba/107836 · Daten als JSON · Zitieren: BibTeX · RIS

Datenstand: 15.11.2026

Eingeschränkter Lesezugriff: Anmeldung, Bearbeitung und Einreichung sind vorübergehend deaktiviert.