Zum Inhalt springen

Nur-Lesen-Fassung: Das Forschungsinformationssystem (FIS) ist aus Sicherheitsgründen vorübergehend durch diese Nur-Lesen-Fassung ersetzt. Alle öffentlichen Inhalte und Volltexte sind weiterhin abrufbar; Anmeldung, Bearbeitung, Einreichung und Statistiken stehen nicht zur Verfügung. Bei Fragen: fis@uni-bamberg.de

Start › Publikationen › Dissecting Span Identification Tasks with Performance Prediction

Publikation

Dissecting Span Identification Tasks with Performance Prediction

Papay, Sean; Klinger, Roman; Padó, Sebastian (2020): Dissecting Span Identification Tasks with Performance Prediction, in: Bonnie Webber, Trevor Cohn, Yulan He, u. a. (Hrsg.), Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, S. 4881–4895, doi: 10.18653/v1/2020.emnlp-main.396.

Details

Fakultät/Lehrstuhl
Autorin(nen)/Autor(en)
Padó, Sebastian
Titel des Sammelwerks
Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)
Herausgeberin(nen)/Herausgeber des Sammelwerks
Webber, Bonnie
Cohn, Trevor
He, Yulan
Liu, Yang
Konferenz
2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)
Verlagsangabe
Association for Computational Linguistics
Erscheinungsjahr
2020
Sprache(n)
Englisch
DOI
Abstract

Span identification (in short, span ID) tasks such as chunking, NER, or code-switching detection, ask models to identify and classify relevant spans in a text. Despite being a staple of NLP, and sharing a common structure, there is little insight on how these tasks’ properties influence their difficulty, and thus little guidance on what model families work well on span ID tasks, and why. We analyze span ID tasks via performance prediction, estimating how well neural architectures do on different tasks. Our contributions are: (a) we identify key properties of span ID tasks that can inform performance prediction; (b) we carry out a large-scale experiment on English data, building a model to predict performance for unseen span ID tasks that can support architecture choices; (c), we investigate the parameters of the meta model, yielding new insights on how model and task properties interact to affect span ID performance. We find, e.g., that span frequency is especially important for LSTMs, and that CRFs help when spans are infrequent and boundaries non-distinctive.

Freie Schlagwort(e)
Span Identification Tasks
Peer Reviewed
ja
Internationale Verbreitung
ja
Open-Access-Zeitschrift
ja
Dokumenttyp
Konferenzveröffentlichung
URI
Datum der Freischaltung
14.03.2024

Permalink: https://fis.uni-bamberg.de/handle/uniba/93908 · Daten als JSON · Zitieren: BibTeX · RIS

Datenstand: 15.11.2026

Eingeschränkter Lesezugriff: Anmeldung, Bearbeitung und Einreichung sind vorübergehend deaktiviert.