Conversational Bots for Psychotherapy: A Study of Generative Transformer Models Using Domain-specific Dialogues

Das, Avisha; Selek, Salih; Warner, Alia R.; Zuo, Xu; Hu, Yan; Keloth, Vipina Kuttichi; Li, Jianfu; Zheng, W. Jim; Xu, Hui

doi:10.18653/v1/2022.bionlp-1.27

Cited by 31 publications

(11 citation statements)

References 0 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Within the medical domain, LLMs have been investigated as tools for personalized patient interaction and consumer health education [ 11 , 12 ]. Although demonstrating potential, these models have had limited success testing clinical knowledge through (generative) question-answering tasks [ 13 , 14 ].…”

Section: Introductionmentioning

confidence: 99%

How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge Assessment

Gilson¹,

Safranek²,

Huang³

et al. 2023

JMIR Med Educ

1,191

495

View full text Add to dashboard Cite

Background Chat Generative Pre-trained Transformer (ChatGPT) is a 175-billion-parameter natural language processing model that can generate conversation-style responses to user input. Objective This study aimed to evaluate the performance of ChatGPT on questions within the scope of the United States Medical Licensing Examination Step 1 and Step 2 exams, as well as to analyze responses for user interpretability. Methods We used 2 sets of multiple-choice questions to evaluate ChatGPT’s performance, each with questions pertaining to Step 1 and Step 2. The first set was derived from AMBOSS, a commonly used question bank for medical students, which also provides statistics on question difficulty and the performance on an exam relative to the user base. The second set was the National Board of Medical Examiners (NBME) free 120 questions. ChatGPT’s performance was compared to 2 other large language models, GPT-3 and InstructGPT. The text output of each ChatGPT response was evaluated across 3 qualitative metrics: logical justification of the answer selected, presence of information internal to the question, and presence of information external to the question. Results Of the 4 data sets, AMBOSS-Step1, AMBOSS-Step2, NBME-Free-Step1, and NBME-Free-Step2, ChatGPT achieved accuracies of 44% (44/100), 42% (42/100), 64.4% (56/87), and 57.8% (59/102), respectively. ChatGPT outperformed InstructGPT by 8.15% on average across all data sets, and GPT-3 performed similarly to random chance. The model demonstrated a significant decrease in performance as question difficulty increased (P=.01) within the AMBOSS-Step1 data set. We found that logical justification for ChatGPT’s answer selection was present in 100% of outputs of the NBME data sets. Internal information to the question was present in 96.8% (183/189) of all questions. The presence of information external to the question was 44.5% and 27% lower for incorrect answers relative to correct answers on the NBME-Free-Step1 (P<.001) and NBME-Free-Step2 (P=.001) data sets, respectively. Conclusions ChatGPT marks a significant improvement in natural language processing models on the tasks of medical question answering. By performing at a greater than 60% threshold on the NBME-Free-Step-1 data set, we show that the model achieves the equivalent of a passing score for a third-year medical student. Additionally, we highlight ChatGPT’s capacity to provide logic and informational context across the majority of answers. These facts taken together make a compelling case for the potential applications of ChatGPT as an interactive medical education tool to support learning.

show abstract

Section: Introductionmentioning

confidence: 99%

How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge Assessment

Gilson¹,

Safranek²,

Huang³

et al. 2023

JMIR Med Educ

1,191

495

View full text Add to dashboard Cite

show abstract

“…Entre ellas, destaca la amenaza a la seguridad y privacidad, la naturaleza cambiante de la relación médico-paciente en el ámbito de la salud, la generación de posibles desigualdades sociales y el desarrollo de IA que pudieran acabar sustituyendo muchas tareas profesionales, con el consiguiente aumento de las tasas de desempleo (4,5). Dentro de las distintas oportunidades que ofrece la inteligencia artificial, los modelos lingüísticos se han comenzado a investigar como herramientas para la interacción personalizada con el paciente y la educación sanitaria de los ciudadanos (6)(7). Aunque han demostrado su potencial en distintas áreas, estos modelos están pendientes de mostrar su capacidad en las áreas de comprobación de conocimientos clínicos mediante tareas generativas de pregunta-respuesta (QA).…”

Section: Introductionunclassified

¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022? Implicaciones de la inteligencia artificial en la educación médica en España

et al. 2023

View full text Add to dashboard Cite

Artificial intelligence and natural language processing models have made an entrance into the field of medical education. Among them, the ChatGPT model has been used to try to solve different international medical exams. However, there is no literature which addresses this phenomenon in Europe or other Spanish-speaking countries. The present paper aims at evaluating the ability to answer questions of the ChatGPT model in the 2022 MIR, which grants access to the Spanish postgraduate training system. To this end, a cross-sectional descriptive analysis has been carried out in which all the questions of the 2022 MIR exam have been solved by this technology. ChatGPT was able to answer 51.4% of the questions correctly, which is approximately 69 net answers on said exam. According to estimates for this year, it would have obtained a 7688 position, which would be slightly below the population’s median, but would allow it to pass the cut-off score and choose a large number of specialties. These results are similar to those obtained in the existing literature, slightly worse to those obtained by this tool in the American USMLE exams. The development of AI is an opportunity for medical students and residents to learn, but it is also a risk in many ways. It is essential to train future specialists in the new reality of artificial intelligence so that they are able to use them and obtain benefits in a reasoned and safe manner. La inteligencia artificial y los modelos de procesamiento de lenguaje natural han irrumpido con fuerza en el ámbito de la educación médica. Entre ellos, el modelo ChatGPT ha sido utilizado para intentar resolver distintos exámenes de medicina a nivel internacional. Sin embargo, prácticamente no existe literatura en Europa ni países de habla hispana. El presente trabajo pretende evaluar la capacidad de responder preguntas del modelo ChatGPT en el examen MIR 2022. Para ello, se ha llevado a cabo un análisis transversal y descriptivo en el que se han introducido la totalidad de las preguntas del examen MIR 2022 en dicho modelo. ChatGPT ha sido capaz de responder de manera acertada un 51,4% de las preguntas, lo que supone aproximadamente 69 netas en el examen MIR. Según estimaciones para este año, obtendría un 7688, lo que estaría ligeramente por debajo de la mediana de la población presentada, pero que le permitiría pasar la nota de corte y escoger un gran número de especialidades. El resultado es similar a los obtenidos en la bibliografía previa, ligeramente por debajo de los resultados obtenidos por dicha herramienta en los exámenes americanos USMLE. Este tipo de modelos suponen una oportunidad para el aprendizaje de los estudiantes de medicina y los residentes, pero también supone un riesgo en muchos sentidos. Es fundamental formar a los futuros especialistas en la nueva realidad de la inteligencia artificial para que sean capaces de utilizarlas y obtener beneficios de manera razonada y segura.

show abstract

“…En el momento de publicación del artículo se encuentran en boga los modelos grandes preentrenados de lenguaje (como GPT-3.5 y GPT-4) que son capaces de simular una conversación humana, son altamente accesibles, están disponibles en cualquier momento y desde cualquier dispositivo con acceso a internet, y con los que se experimenta actualmente para la provisión de soporte emocional en pacientes de servicios de salud, pero se discute el potencial psicoterapéutico que puede tener la interacción de los usuarios con esta herramienta (Bansal, 2023;Box, 2023;Javaid et al, 2023). Esto, hasta cierto punto, es una evolución de los bots conversacionales que ya se han utilizado en el entorno de la atención médica (Romero Álvarez et al, 2022) y en psicoterapia (Das et al, 2022), aunque considerando el grado de automatización de esta estrategia y la ausencia de un terapeuta humano puede cuestionarse su inclusión dentro de la etiqueta telepsicología. Podría ser, a futuro, más apropiado el empleo del término digipsicología para abarcar la diversidad de mediaciones digitales de la intervención psicológica.…”

Section: Discussionunclassified

Transformación digital de la atención psicológica: estado actual de la telepsicología en Colombia

Romero Guzmán,

Solano León,

Osorio Ospina

2023

Psicoespacios

View full text Add to dashboard Cite

La interacción constante entre el desarrollo de las tecnologías de la información y comunicación (tic) y la prestación de servicios en salud conlleva, intrínsecamente, expectativas sobre sus potencialidades y reflexión sobre sus limitaciones. La transformación digital de la atención psicológica puede ser entendida como parte de la progresiva digitalización de los servicios en salud, y de las nuevas tendencias en telesalud. La masiva migración de atención sanitaria a los ambientes virtuales por las medidas de aislamiento por el covid-19 hizo, a su vez, repensar los desafíos de los profesionales en psicología frente a la adopción de estas herramientas y los nuevos modos de atención basados en ellas. Se realizó un proceso de exploración, mediante revisión narrativa y crítica de la literatura acerca del estado actual de la telepsicología, considerando las publicaciones sobre la efectividad de la atención telepsicológica y la adopción de las tecnologías emergentes para complementar, automatizar o replantear los procesos de terapia y asesoramiento. La telepsicología, que aparece en medio del interés renovado por el futuro de la atención sanitaria y telesalud, se debate entre la paradoja de la expansión del acceso a servicios en salud mental junto a la exclusión de amplios sectores sin acceso a conectividad. Se concluye que se requiere una mayor investigación al respecto, a la vez que una discusión que fundamente las políticas que impulsen una reducción de las brechas de acceso a tic a la par de las que ya existen en acceso a salud mental.

show abstract

Conversational Bots for Psychotherapy: A Study of Generative Transformer Models Using Domain-specific Dialogues

Cited by 31 publications

References 0 publications

How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge Assessment

How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge Assessment

¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022? Implicaciones de la inteligencia artificial en la educación médica en España

Transformación digital de la atención psicológica: estado actual de la telepsicología en Colombia

Contact Info

Product

Resources

About