Zum Inhalt springen

Nur-Lesen-Fassung: Das Forschungsinformationssystem (FIS) ist aus Sicherheitsgründen vorübergehend durch diese Nur-Lesen-Fassung ersetzt. Alle öffentlichen Inhalte und Volltexte sind weiterhin abrufbar; Anmeldung, Bearbeitung, Einreichung und Statistiken stehen nicht zur Verfügung. Bei Fragen: fis@uni-bamberg.de

Start › Publikationen › Emotion Ratings : How Intensity, Annotation Confidence and Agreements are Entangled

Publikation

Emotion Ratings : How Intensity, Annotation Confidence and Agreements are Entangled

Troiano, Enrica; Padó, Sebastian; Klinger, Roman (2025): Emotion Ratings : How Intensity, Annotation Confidence and Agreements are Entangled, in: Bamberg: Otto-Friedrich-Universität, S. 40–49.

Details

Fakultät/Lehrstuhl
Autorin(nen)/Autor(en)
Troiano, Enrica
Padó, Sebastian
Verlagsangabe
Otto-Friedrich-Universität : Bamberg
Erscheinungsjahr
2025
Quelle/Weitere Ausgabe
Orphée De Clercq, Alexandra Balahur, João Sedoc, u. a. (Hrsg.), Proceedings of the Eleventh Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, Association for Computational Linguistics, 2021, S. 40–49
Jahr der Erstpublikation
2021
Sprache(n)
Englisch
Lizenz
URN
Abstract

When humans judge the affective content of texts, they also implicitly assess the correctness of such judgment, that is, their confidence. We hypothesize that people’s (in)confidence that they performed well in an annotation task leads to (dis)agreements among each other. If this is true, confidence may serve as a diagnostic tool for systematic differences in annotations. To probe our assumption, we conduct a study on a subset of the Corpus of Contemporary American English, in which we ask raters to distinguish neutral sentences from emotion-bearing ones, while scoring the confidence of their answers. Confidence turns out to approximate inter-annotator disagreements. Further, we find that confidence is correlated to emotion intensity: perceiving stronger affect in text prompts annotators to more certain classification performances. This insight is relevant for modelling studies of intensity, as it opens the question wether automatic regressors or classifiers actually predict intensity, or rather human’s self-perceived confidence.

GND-Schlagwort(e)
Computerlinguistik
Emotion
Freie Schlagwort(e)
Emotion Ratings
DDC-Klassifikation
004 Computer science
RVK-Klassifikation
ST 306
Dokumenttyp
Konferenzveröffentlichung
URI
Datum der Freischaltung
30.05.2025
Projekt(e)

Permalink: https://fis.uni-bamberg.de/handle/uniba/108340 · Daten als JSON · Zitieren: BibTeX · RIS

Datenstand: 16.11.2026

Eingeschränkter Lesezugriff: Anmeldung, Bearbeitung und Einreichung sind vorübergehend deaktiviert.