En pocos lugares se utiliza tanto ChatGPT como en las aulas. Motivo para que un profesor universitario pruebe cómo rinde la IA en comparación con sus propios alumnos.
William Hersh lleva décadas enseñando informática médica en la Universidad de Oregón. Para comprobar si sus alumnos aún saben más que una IA, probó seis grandes modelos lingüísticos (LLM) como ChatGPT. Los chatbots (al igual que sus alumnos) tenían que examinarse de la asignatura introductoria de informática biomédica y sanitaria. Y qué miedo: la IA superó a tres cuartas partes de los estudiantes.
“Esto es preocupante porque es cuestionable que los estudiantes sigan haciendo exámenes honestos, pero hay un problema aún mayor”, dice Hersh. “¿Cómo sabemos si nuestros estudiantes están aprendiendo realmente los conocimientos y habilidades que necesitan para su futuro trabajo?”.
La calculadora
Como profesor de informática médica, a Hersh le interesan especialmente las nuevas tecnologías. El papel de la tecnología en la educación tampoco es nada nuevo, afirma Hersh. Cuenta su propia experiencia como estudiante de bachillerato en los años 70, cuando apareció la calculadora, con lo que no era necesario memorizarlo todo. Ya entonces había dudas: ¿aprenderían bien las matemáticas?
Sin embargo, el profesor cree que el auge de la IA es un avance mayor, que tiene implicaciones más preocupantes. “Está claro que todo el mundo necesita tener unos conocimientos básicos de su campo”, argumenta Hersh. “¿Cuál es el conocimiento básico que se espera que tenga la gente para pensar de forma crítica?”.
La IA hace exámenes
Hersh y la coinvestigadora Kate Fultz Hollis recopilaron las puntuaciones de las evaluaciones de 139 estudiantes que tomaron el curso introductorio de informática biomédica y sanitaria en 2023. Asignaron a seis IA para que realizaran los exámenes de los estudiantes. Según el modelo, la IA obtuvo puntuaciones comprendidas entre el 50 y el 75 por ciento en las preguntas de opción múltiple y en una prueba final que requería respuestas breves por escrito. “Los resultados de este estudio plantean cuestiones importantes para el futuro de la evaluación de los estudiantes en la mayoría de las disciplinas académicas, si no en todas”, escriben los autores.
Este estudio es el primero que compara a estudiantes de LLM con estudiantes de una asignatura académica completa en el campo biomédico. Los investigadores señalan que una asignatura basada en el conocimiento como esta puede ser especialmente adecuada para los LLM generativos, a diferencia de los cursos académicos más participativos que ayudan a los estudiantes a desarrollar destrezas y habilidades más complejas.
Una línea delgada
Hersh recuerda su propia experiencia en la facultad de medicina. “Cuando era estudiante de medicina, uno de mis formadores me dijo que tenía que tener todos los conocimientos en la cabeza”, cuenta. “Incluso en los años 80, eso era un reto. La cantidad de conocimientos en medicina hace tiempo que superó la capacidad del cerebro humano para recordarlo todo”.
Aun así, cree que hay una delgada línea entre el uso juicioso de los medios técnicos para mejorar el aprendizaje y la dependencia excesiva, que lo
Perspectiva más amplia
En este sentido, afirma, la medicina siempre requerirá un aspecto humano. “Hay muchas cosas que hacen los profesionales sanitarios que son bastante sencillas, pero hay momentos en que se complican y hay que emitir un juicio”, explica. “Entonces es útil tener esa perspectiva más amplia, sin tener que tener cada pequeño dato en la cabeza”.
Al comienzo del nuevo curso, sin embargo, a Hersh no le preocupa que los alumnos abusen de ChatGPT para aprobar los exámenes. “Actualizo el curso cada año. En cualquier campo científico hay novedades constantemente y los LLM no están necesariamente al día de todo. Eso solo significa que hay exámenes más nuevos o con más matices para los que no obtendrás la respuesta en ChatGPT”.
Sin comentarios