Zum Inhalt springen

Nur-Lesen-Fassung: Das Forschungsinformationssystem (FIS) ist aus Sicherheitsgründen vorübergehend durch diese Nur-Lesen-Fassung ersetzt. Alle öffentlichen Inhalte und Volltexte sind weiterhin abrufbar; Anmeldung, Bearbeitung, Einreichung und Statistiken stehen nicht zur Verfügung. Bei Fragen: fis@uni-bamberg.de

Start › Publikationen › Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification

Publikation

Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification

Doerrich, Sebastian; Archut, Tobias; Di Salvo, Francesco; u. a. (2024): Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification, in: 2024 IEEE International Symposium on Biomedical Imaging (ISBI), IEEE, S. 1–5, doi: 10.1109/isbi56570.2024.10635560.

Details

Fakultät/Lehrstuhl
Autorin(nen)/Autor(en)
Archut, Tobias
Von
Doerrich, Sebastian; ...
Titel des Sammelwerks
2024 IEEE International Symposium on Biomedical Imaging (ISBI)
Konferenz
21st International Symposium on Biomedical Imaging (ISBI) 2024, Athens, Greece
Verlagsangabe
IEEE
Erscheinungsjahr
2024
Sprache(n)
Englisch
DOI
Abstract

Traditional deep learning models implicitly encode knowledge limiting their transparency and ability to adapt to data changes. Yet, this adaptability is vital for addressing user data privacy concerns. We address this limitation by storing embeddings of the underlying training data independently of the model weights, enabling dynamic data modifications without retraining. Specifically, our approach integrates the k-Nearest Neighbor (k-NN) classifier with a vision-based foundation model, pre-trained self-supervised on natural images, enhancing interpretability and adaptability. We share open-source implementations of a previously unpublished baseline method as well as our performance-improving contributions. Quantitative experiments confirm improved classification across established benchmark datasets and the method’s applicability to distinct medical image classification tasks. Additionally, we assess the method’s robustness in continual learning and data removal scenarios. The approach exhibits great promise for bridging the gap between foundation models’ performance and challenges tied to data privacy. The source code is available at github.com/TobArc.

GND-Schlagwort(e)
Neuronales Netz
Klassifikator <Informatik>
Maschinelles Lernen
Explainable Artificial Intelligence
Freie Schlagwort(e)
k-NN classifier
continual learning
transfer learning
few-shot classification
explainability
DDC-Klassifikation
004 Computer science
RVK-Klassifikation
ST 301
Peer Reviewed
ja
Internationale Verbreitung
ja
Open-Access-Zeitschrift
nein
Dokumenttyp
Konferenzveröffentlichung
URI
Datum der Freischaltung
29.10.2024

Permalink: https://fis.uni-bamberg.de/handle/uniba/104176 · Daten als JSON · Zitieren: BibTeX · RIS

Datenstand: 15.11.2026

Eingeschränkter Lesezugriff: Anmeldung, Bearbeitung und Einreichung sind vorübergehend deaktiviert.