Zum Inhalt springen

Nur-Lesen-Fassung: Das Forschungsinformationssystem (FIS) ist aus Sicherheitsgründen vorübergehend durch diese Nur-Lesen-Fassung ersetzt. Alle öffentlichen Inhalte und Volltexte sind weiterhin abrufbar; Anmeldung, Bearbeitung, Einreichung und Statistiken stehen nicht zur Verfügung. Bei Fragen: fis@uni-bamberg.de

Start › Publikationen › Towards Multimodal Emotion Recognition in German Speech Events in Cars using Transfer Learning

Publikation

Towards Multimodal Emotion Recognition in German Speech Events in Cars using Transfer Learning

Cevher, Deniz; Zepf, Sebastian; Klinger, Roman (2024): Towards Multimodal Emotion Recognition in German Speech Events in Cars using Transfer Learning, in: Bamberg: Otto-Friedrich-Universität, S. 79–90.

Details

Fakultät/Lehrstuhl
Autorin(nen)/Autor(en)
Cevher, Deniz
Zepf, Sebastian
Verlagsangabe
Otto-Friedrich-Universität : Bamberg
Erscheinungsjahr
2024
Quelle/Weitere Ausgabe
Proceedings of the 15th Conference on Natural Language Processing (KONVENS 2019) / German Society for Computational Linguistics & Language Technology, 2019, S. 79–90.
Jahr der Erstpublikation
2019
Sprache(n)
Englisch
Lizenz
URN
Abstract

The recognition of emotions by humans is a complex process which considers multiple interacting signals such as facial expressions and both prosody and semantic content of utterances. Commonly, research on automatic recognition of emotions is, with few exceptions, limited to one modality. We describe an in-car experiment for emotion recognition from speech interactions for three modalities: the audio signal of a spoken interaction, the visual signal

of the driver’s face, and the manually transcribed content of utterances of the driver. We use off-the-shelf tools for emotion detection in audio and face and compare that to a neural transfer learning approach for emotion recognition from text which utilizes existing resources from other domains. We see that transfer learning enables models based on out-of-domain corpora to per- form well. This method contributes up to 10 percentage points in F1, with up to 76 micro-average F1 across the emotions joy, annoyance and insecurity. Our findings also indicate that off-the-shelf-tools analyzing face and audio are not ready yet for emotion detection in in-car speech interactions without further adjustments.

GND-Schlagwort(e)
Sprachverarbeitung
Gefühl
Kraftwagen
Freie Schlagwort(e)
Multimodal Emotion Recognition
DDC-Klassifikation
004 Computer science
RVK-Klassifikation
ST 306
Peer Reviewed
ja
Internationale Verbreitung
nein
Open-Access-Zeitschrift
nein
Dokumenttyp
Konferenzveröffentlichung
URI
Datum der Freischaltung
30.07.2024
Projekt(e)

Permalink: https://fis.uni-bamberg.de/handle/uniba/96459 · Daten als JSON · Zitieren: BibTeX · RIS

Datenstand: 15.11.2026

Eingeschränkter Lesezugriff: Anmeldung, Bearbeitung und Einreichung sind vorübergehend deaktiviert.