Estas investigadoras pusieron a prueba el humor del chatbot y los resultados no fueron los esperados
Dos investigadoras alemanas, Sophie Jentzsch y Kristian Kersting, publicaron un artículo este miércoles en el que analizan la capacidad de ChatGPT-3.5 de OpenAI para entender y generar humor. Descubrieron que el conocimiento de los chistes por parte de ChatGPT es muy limitado.
Estas investigadoras, en colaboración con el Instituto de Tecnología de Software, el Centro Aeroespacial Alemán (DLR) y la Universidad Técnica de Darmstadt, exploraron los matices del humor presentes en la versión 3.5 de ChatGPT a través de una serie de experimentos centrados en la generación, explicación y detección de chistes.
En una prueba realizada, el 90% de las 1008 solicitudes de chistes obtuvieron las mismas 25 respuestas que el modelo pudo contar. Esto llevó a concluir que las respuestas probablemente se aprendieron y memorizaron durante el entrenamiento del modelo de inteligencia artificial en lugar de ser generadas.
En el experimento, se le pidió al chatbot que contara un chiste mil veces para evaluar su variedad. Todas las respuestas fueron correctas desde el punto de vista gramatical.
A pesar de las limitaciones en la generación y explicación de chistes, las investigadoras destacaron que su enfoque en el contenido y el significado del humor representa un avance hacia una comprensión más completa de la investigación sobre el humor en los modelos de lenguaje.
En resumen, el estudio ha revelado que el chatbot ha aprendido un patrón específico de chistes en lugar de tratar de ser gracioso, pero en la generación, explicación e identificación de chistes, se enfoca en el contenido y el significado en lugar de características superficiales.
Jentzsch y Kersting tienen planes de continuar investigando el humor en modelos de lenguaje más grandes, evaluando específicamente el GPT-4 de OpenAI en el futuro. Esto representa un gran avance en la comprensión general del humor en el chatbot.
