Zum Inhalt springen

Nur-Lesen-Fassung: Das Forschungsinformationssystem (FIS) ist aus Sicherheitsgründen vorübergehend durch diese Nur-Lesen-Fassung ersetzt. Alle öffentlichen Inhalte und Volltexte sind weiterhin abrufbar; Anmeldung, Bearbeitung, Einreichung und Statistiken stehen nicht zur Verfügung. Bei Fragen: fis@uni-bamberg.de

Start › Publikationen › Language Models Are Poor Learners of Directional Inference

Publikation

Language Models Are Poor Learners of Directional Inference

Li, Tianyi; Hosseini, Mohammad Javad; Weber, Sabine; u. a. (2022): Language Models Are Poor Learners of Directional Inference, in: Yoav Goldberg, Zornitsa Kozareva, Yue Zhang, u. a. (Hrsg.), Findings of the Association for Computational Linguistics: EMNLP 2022, Association for Computational Linguistics, S. 903–921, doi: 10.18653/v1/2022.findings-emnlp.64.

Details

Autorin(nen)/Autor(en)
Li, Tianyi
Hosseini, Mohammad Javad
Steedman, Mark
Titel des Sammelwerks
Findings of the Association for Computational Linguistics: EMNLP 2022
Herausgeberin(nen)/Herausgeber des Sammelwerks
Goldberg, Yoav
Kozareva, Zornitsa
Zhang, Yue
Konferenz
EMNLP 2022, Dezember 2022, Abu Dhabi
Verlagsangabe
Association for Computational Linguistics
Erscheinungsjahr
2022
Sprache(n)
Englisch
DOI
Abstract

We examine LMs’ competence of directional predicate entailments by supervised fine-tuning with prompts. Our analysis shows that contrary to their apparent success on standard NLI, LMs show limited ability to learn such directional inference; moreover, existing datasets fail to test directionality, and/or are infested by artefacts that can be learnt as proxy for entailments, yielding over-optimistic results. In response, we present BoOQA (Boolean Open QA), a robust multi-lingual evaluation benchmark for directional predicate entailments, extrinsic to existing training sets. On BoOQA, we establish baselines and show evidence of existing LM-prompting models being incompetent directional entailment learners, in contrast to entailment graphs, however limited by sparsity.

Freie Schlagwort(e)
Language Models
Peer Reviewed
ja
Internationale Verbreitung
ja
Open-Access-Zeitschrift
ja
Dokumenttyp
Konferenzveröffentlichung
URI
Datum der Freischaltung
12.08.2024

Permalink: https://fis.uni-bamberg.de/handle/uniba/97222 · Daten als JSON · Zitieren: BibTeX · RIS

Datenstand: 15.11.2026

Eingeschränkter Lesezugriff: Anmeldung, Bearbeitung und Einreichung sind vorübergehend deaktiviert.