Bild-Text-Alignment für medizinisches Reporting im Schweizer Healthtech
Übersicht
Worum es bei diesem Projekt geht.
Sie nutzen den öffentlichen MIMIC-CXR-Datensatz (Röntgen-Thorax + Befunde) für Training und Eval. Trainieren oder fine-tunen Sie ein CLIP-Variant-Modell (z. B. BiomedCLIP oder OpenCLIP fine-getuned) auf Bild-Befund-Paare. Implementieren Sie einen Konsistenz-Score, der ein Bild und einen Befund auf 0-100 % matcht. Bauen Sie eine Streamlit-Demo, die für ein hochgeladenes Bild + einen vorgeschlagenen Befundtext den Score plus die drei wichtigsten 'Diskrepanz-Phrasen' anzeigt. Evaluieren Sie auf 200 ausgewählten MIMIC-CXR-Paaren plus 50 künstlich modifizierten Paare. Erfolg: AUROC > 0,82 für Konsistenz-Klassifikation und vollständig lokale Inferenz.
Das Briefing
Was Du tust und was Du zeigst.
Lässt sich mit lokal laufenden Vision-Language-Modellen eine ausreichend genaue Konsistenz-Prüfung zwischen Röntgen-Bild und Befundtext realisieren?
Earning criteria — what you'll demonstrate
- Ein domänenspezifisches Vision-Language-Modell fine-tunen
- Lokale Inferenz als nicht-funktionale Anforderung ernst nehmen (kein API-Call)
- Konsistenz-Klassifikation mit AUROC und Diskrepanz-Erklärung evaluieren
- Regulatorische Anforderungen (DSGVO) in technische Designentscheidungen übersetzen
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenAngewandte:r KI-Wissenschaftler:in
Medizinische Vision-Language-Anwendungen mit lokaler Inferenz und DSGVO-Konformität sind ein extrem gesuchter Skill in europäischen Healthtech-Startups.
Dieses Projekt schärft
- vision-language-models
- biomedclip
- fine-tuning
Machine-Learning-Ingenieur:in
Fine-Tuning + lokale Inferenz + Eval-Disziplin ist genau das Engineering-Profil, das regulierte Branchen für ihre Production-Pfade einstellen.
Dieses Projekt schärft
- fine-tuning
- pytorch
- local-inference
ML-Forscher:in
Domain-Adaption von Vision-Language-Modellen mit sauberer Eval auf MIMIC-CXR ist ein publikationsnahes Profil, das in Medical-AI-Forschungsgruppen wertgeschätzt wird.
Dieses Projekt schärft
- vision-language-models
- evaluation
- biomedclip
Noch eine Sache