What is the potential of ChatGPT for qualified patient information?

Abstract

Zusammenfassung Einführung Der Chatbot ChatGPT stellt einen Meilenstein in der Interaktion zwischen Menschen und großen, über das Internet zugänglichen Datenbanken dar. Er ermöglicht mit einer Kommunikation in Alltagssprache die Beantwortung komplexer Fragen und ist damit potenziell eine Informationsquelle für Betroffene rheumatischer Erkrankungen. Ziel der Untersuchung war es herauszufinden, ob ChatGPT (Version 3.5) in der Lage ist, qualifizierte Antworten zur Anwendbarkeit von Verfahren der Komplementär- und Alternativmedizin (CAM; Homöopathie, Ayurveda, Phytotherapie) bei rheumatoider Arthritis (RA), systemischem Lupus erythematodes (SLE) und Granulomatose mit Polyangiitis (GPA) zu liefern. Außerdem wurde untersucht, welchen Einfluss die Art der Fragestellung auf die erhaltenen Ergebnisse haben könnte. Methodik Die Befragung erfolgte in 3 Abschnitten. In Abschnitt A wurde eine offene Frage zu Behandlungsmöglichkeiten bei einem der 3 Krankheitsbilder gestellt. In Abschnitt B wurde allgemein nach möglichen Anwendungen für CAM bei einer der 3 Erkrankungen gefragt. In Abschnitt C wurden Applikationsmöglichkeiten für die 3 genannten Verfahren für jede Diagnose erfragt. In den Abschnitten B und C wurden die Fragen jeweils in 2 Modifikationen gestellt. Die erste fragte danach, ob das Verfahren überhaupt anwendbar ist. Die zweite Frage erkundigte sich nach konkreten Anwendungen aus den genannten Verfahren. Die Validität der Ergebnisse wurde anhand des ChatGPT Reliability Scores, einer 7‑stufigen Likert-Skala, ausgewertet. Ergebnisse Zu den offenen Fragen im Abschnitt A lieferte ChatGPT die validesten Ergebnisse. In B und C wurden zahlreiche CAM-Anwendungen vorgeschlagen, die nicht durch wissenschaftliche Evidenz gestützt sind. In diesen Abschnitten waren die Ergebnisse deutlich von der Art der Fragestellung abhängig. Suggerierte die Frage eine Anwendungsabsicht der CAM, entfielen häufig Hinweise auf die fehlende Evidenz, die Qualität der Antwort wurde in den meisten Fällen schlechter bewertet. Schlussfolgerung Die Antworten von ChatGPT zur Anwendung von CAM bei definierten rheumatischen Erkrankungen lassen eine ausreichende wissenschaftliche Evidenz vermissen. Zudem beeinflusst die Art der Fragestellung die Qualität der Aussagen erheblich. Eine kritiklose Anwendung von ChatGPT als Instrument der Patientenschulung kann derzeit nicht empfohlen werden.