Ausgangssituation

Vom Lehrbuch zur messbaren Lernerfahrung

Als ein führender Anbieter von Online-Kursen und -Zertifizierungen für medizinische Weiterbildung brachte unser Auftraggeber viel Erfahrung und Domänenwissen im Umgang mit Ärzten und anderem medizinischen Personal mit.

Sowohl angehende Ärzte, die gerade ihre obligatorische Zeit im Krankenhaus absolvierten, als auch gestandene Fachleute, die sich neu zertifizieren mussten, um weiter praktizieren zu können, hatten das gleiche Problem: Es fehlte nicht an Information, sondern an Zeit, diese zu konsumieren und an der Gewissheit, das alles Wesentliche verstanden und gelernt worden war.

Im stressigen Berufsalltag fand kaum jemand Zeit, Fachbücher zu lesen oder Beispielexamen durchzuspielen. Zwischen zwei Operationen war gerade mal Gelegenheit für einen Kaffee und eventuell einen kurzen Fachartikel auf dem Handy.

Gleichzeitig hatten wir bei NEOMO 2020 angefangen, zu erforschen, wie man mit Large Language Models die Art und Weise, wie wir Informationen konsumieren und Wissen erwerben, verbessern kann.

Zusammen mit unserem Kunden konnten wir diese Technologien einem Praxistest unterziehen.

Ziel

Erwachsenenbildung im medizinischen Bereich muss bedeuten, Lehrinhalte in 5-Minuten-Häppchen zu konsumieren und gleichzeitig immer im Blick zu haben, wie gut man den Stoff beherrscht.

Die logische Schlussfolgerung war für unseren Auftraggeber, das außerordentlich umfangreiche Fachwissen der verschiedenen Spezialisierungen in Form von "testgestütztem Lernen" zugänglich zu machen, d.h. aus langen Texten mit Bildern und Diagrammen jeweils einzelne multiple-choice Fragen zu erstellen, die gleichzeitig der Wissenabfrage aber auch – durch ausführliche Erläuterungen der richtigen Antwort mit Referenzen auf den Originaltext und weiterführende Artikel – der Wissenvermittlung dienten.

Intelligente Algorithmen sollten sowohl bei der Erstellung als auch bei der Anpassung dieser Fragenkataloge auf den jeweiligen Lerner helfen und so das Lernerlebnis in kleine selbsttragende Einheiten zerlegen.

Automatische Wahl des "Lernpfads" und flexible Messung des Fortschritts

Aus seiner bisherigen Arbeit hatte unser Kunde schon ein Repertoire aus 3000 Fragen mit Antworten und Erklärungen erstellt, die einen spezifischen medizinischen Fachbereich vollständig abdeckten. Das heißt, wer 80% dieser Fragen korrekt beantworten konnte, war mit sehr hoher Wahrscheinlichkeit "bereit für das Examen".

Natürlich wollen fortgeschrittene Experten, die nur eine "Auffrischung" benötigen, nicht unzählige "Anfängerfragen" beantworten.

NEOMO beschäftigte sich also zuerst mit der Aufgabe, wie ein optimaler Lernpfad für jeden Nutzer gefunden werden könne und wie ein möglichst "faires" Scoring der Antworten aussieht.

Wir entwarfen eine Engine, die automatisch das Niveau der Fragen auf Basis vergangener Antworten bewertete. In Kombination mit einem weitern clevern Algorithmus konnte so jedem neuen Lerner innerhalb weniger Schritte ein passendes Niveau zugeordnet werden, so dass er fast alle Fragen "unter seinem Niveau" automatisch übersprang. Die Anforderung des Auftraggebers war hier, den Lerner immer an der Grenze seiner Komfortzone zu halten, so dass er schnell Fortschritte machte, aber auch nicht frustriert wurde.

Da die Anforderungen an das "Scoring" für angehende Ärzte einerseits und Rezertifizierer andererseits sehr unterschiedlich waren, entwarfen wir mehrere unterschiedliche Scoring-Module – unter anderem auf Basis von State-Space-Algorithmen – und ein "Measurement Decision Theory"-Komponente.

KI-basierte Erstellung von "testgestütztem Lernen" aus Texten

Der nächste limitierende Faktor für den Kunden war der Aufwand bei der Erstellung der Lerninhalte. In 2021 klang es noch nach Science Fiction, sich diese Arbeit von einer KI abnehmen zu lassen, aber NEOMO implementierte genau das.

Wir trainierten ein spezielles Large Language Model - damals auf Basis von Google T5 - mithilfe von 10000en Texten und darauf bezogenen echten und synthetischen Multiple-Choice-Fragen.

Die Qualität dieser Fragen erreichte dadurch ein so hohes Niveau, dass in der Regel nur wenige manuelle Anpassungen an den erzeugten Inhalten nötig waren und die Kunden unseres Auftraggebers hellauf von den neuen Möglichkeiten begeistert waren.

Im Laufe unserer Zusammenarbeit versorgten wir unseren Auftraggeber stetig mit Model-Updates, so dass seine Software immer dem aktuellen Stand der Technik entsprach. Die aktuelle Implementierung kann sowohl ein GPT-Modell als auch ein Llama-basiertes Modell verwenden, um unseren Auftraggeber gegen eventuelle rechtliche und technische Risiken für diese geschäftskritische Funktion abgesichert.

Unterstützung für Audio-Input und Webinare

Während frühe Anwendungen unserer Technologie sich primär auf Textinhalte und Diagramme bezogen, wurde schnell klar, dass auch andere Formate sich für diesen Ansatz eigneten.

Durch die COVID-Lockdowns waren in Firmen 1000e Stunden Zoom-Konferenzen aufgezeichnet worden. Viele davon könnten in einem anderen Format auch weiterhin nützlich sein.

Im nächsten Schritt erweiterten wir deshalb die KI-Kurserstellung um eine Cloud-basierte Pipeline, die durch Texterkennung im Video (z.B. präsentierte Folien), Extraktion der Audioinhalte und automatische Segmentierung in "Kapitel" auch solche Formate in Test-Enhanced-Learning-Erfahrungen verwandeln konnte.

Ergebnis

Im Endeffekt entstand ein leistungsfähige Authoring-Plattform, welche die leidige Basisarbeit des Imports und der Aufteilung von Inhalten in verschiedenen Formaten automatisierte. Die Instruktionsdesigner können sich nun darauf konzentrieren, die besten Quellen auszuwählen und die Lernerfahrung zu optimieren.

Diese Plattform erschloss unserem Auftraggeber mehrere neue Zielgruppen, da hiermit nicht nur die Fachausbildung der Mediziner umgekrempelt werden konnten, sondern auch zum Beispiel viele Formen von Corporate Training: Jedes HR-Dokument und jede aufgezeichnete Training-Session – z.B. zum Thema "Sexuelle Belästigung" oder "Schutz personenbezogener Daten" können so in interaktive und messbare Kurse umgewandelt werden.

Stand heute arbeiten mehr als 10000 Nutzer auf der Plattform des Kunden und profitieren von einer interaktiven und fesselnden Lernerfahrung.

T.K. Kanestrom, CEO, LEARNSWELL

"Für uns war immer klar, dass innovative Online-Bildungstools auf KI-gestützte Workflows angewiesen sind. Es ist einfach nicht effektiv, die Menge der Inhalte manuell zu kuratieren. NEOMO hat uns mit bahnbrechenden Ideen und Technologien bei der Umsetzung unserer Visionen unterstützt. Lange bevor irgendjemand über ChatGPT gesprochen hat, haben sie uns geholfen, die Macht der generativen KI in unsere Produkte zu bringen."

Beginnen Sie ein Gespräch mit uns.

Wir sind immer an einem guten Gespräch interessiert, ob mit konkretem Anlass oder um sich einfach auszutauschen.

Sie erreichen uns per Kontaktformular oder Sie können direkt ein Gespräch buchen.