Ein Wissenschaftsteam hat die Künstliche Intelligenz Fragen aus den drei theoretischen Teilen des staatlichen Medizin-Examens (United States Medical Licensing Exam) beantworten lassen, das Medizin-Studierende ablegen müssen, bevor sie in den USA ärztlich arbeiten dürfen. Dabei geht es um Wissen von Biochemie über diagnostisches Denken bis hin zu Bioethik. Einige Fragen mussten allerdings ausgeklammert werden, weil es dabei um Bilder ging - und ChatGPT nur auf Texte reagieren kann.
Die KI kam dann auf ungefähr 50 bis 75 Prozent der erreichbaren Punkte. Zum Bestehen braucht es um die 60 Prozent - die Schwelle verändert sich jedes Jahr ein bisschen. Das heißt, ChatGPT hätte die Prüfung meistens geschafft - wenn es keine Fragen zu Bildern geben würde. Damit schnitt ChatGPT besser ab als PubMedGPT, eine andere KI, die ausschließlich mit biomedizinischer Fachliteratur trainiert wurde. Zuletzt hatte ChatGPT auch schon eine Wirtschafts- und eine Jura-Prüfung bestanden.
Am bayerischen Abitur hingegen scheiterte der Bot. Bei einem Test legten der Bayerische Rundfunk und Lehrkräfte der KI Prüfungen aus dem vergangenen Jahr vor. In der Textanalyse erreichte das Programm lediglich die Note 5, im Mathe-Teil eine 4. Besonders schlecht schnitt ChatGPT beim Programmieren ab, lediglich in Geschichte konnte er die Note 3 erreichen.
ChatGPT ist eine Künstliche Intelligenz des kalifornischen Start-Ups Open AI und wird von Microsoft finanziell unterstützt. Seit ein paar Tagen gibt es Konkurrenz durch Googles Chat-Bot Bard.