Get All Access for $5/mo

Estudio de la Universidad de Stanford muestra que ChatGPT es cada vez menos preciso Un grupo de investigadores de la Universidad de Stanford concluyeron que ChatGPT ha empeorado en su habilidad para resolver problemas matemáticos.

MARCO BERTORELLO | Getty Images

La inteligencia artificial (IA) ha ido avanzando a pasos agigantados con el paso del tiempo; sin embargo, parece que, con ChatGPT, el modelo de lenguaje autorregresivo desarrollado por OpenAI, no pasa lo mismo, de acuerdo con un estudio de la Universidad de Stanford, que fue publicado en Twitter por el investigador Matei Zaharia.

Dicha investigación muestra que el chatbot más famoso del mundo tuvo un peor desempeñó en ciertas tareas en junio que en su versión de marzo.

El estudio analizó dos versiones del chatbot de OpenAI durante el período de tiempo: una versión llamada GPT-3.5 y otra conocida como GPT-4.

Fue ahí donde se dieron cuenta de que, en marzo, GPT-4 pudo identificar correctamente que el número 17,077 es un número primo el 97% de las veces de las veces. Pero solo tres meses después, su precisión cayó a 2.4%.

En el caso del modelo 3.5, la versión de marzo respondió correctamente a la misma pregunta solo el 7.4% de las veces, mientras que la versión de junio lo hizo correctamente el 86.8%.

Durante una entrevista con Fortune, James Zou, un profesor de informática de Stanford y uno de los autores del estudio, aseguró que la "magnitud del cambio" fue inesperada.

"Cuando estamos ajustando un gran modelo de lenguaje para mejorar su rendimiento en ciertas tareas, puede tener muchas consecuencias no deseadas, que en realidad podrían perjudicar el rendimiento de este modelo en otras tareas. Hay todo tipo de interdependencias interesantes en la forma en que el modelo responde a las cosas que pueden conducir al empeoramiento de algunos de los comportamientos que observamos", indicó.

El estudio dio cuenta también de que las respuestas de ChatGPT a preguntas delicadas (sobre temas de género o étnicos) se convirtieron en evasivas.

Las primeras versiones del chatbot explicaban detalladamente por qué no podían responder a determinadas preguntas delicadas. En junio, sin embargo, los modelos simplemente se disculparon con el usuario y se negaron a contestar.

Por lo anterior, los líderes de la investigación realizada por la Universidad de Stanford recomiendan a las empresas supervisar los resultados de ChatGPT, sin confiar ciegamente en su capacidad.

Relacionado: Le pedí a la IA que creara un plan estratégico para una empresa ficticia: los resultados me sorprendieron, pero no de la forma en que podrías imaginar
Entrepreneur en Español

Entrepreneur Staff

Iniciar un negocio

La guía completa de 12 pasos para iniciar un negocio

Todo lo que necesitas saber sobre cómo iniciar un negocio.

Emprendedores

10 grandes frases sobre el poder de las metas

Establecer metas es el primer paso para lograr algo significativo.

Emprendedores

5 maneras de comenzar a sanar después de un divorcio

Sí es posible encontrar una nueva vida y felicidad después del divorcio.

Noticias

¡Adiós Serena Williams! 10 frases inspiradoras para celebrar a la tenista después del anuncio de su retiro

La deportista anunció el fin de su carrera por medio de una columna publicada en un sitio femenino. La celebramos recordando algunas de sus frases capaces de motivar a cualquier emprendedor.

Noticias

Samsung supera a Apple y se convierte en el nuevo líder de ventas de smartphones a nivel mundial

Durante el primer trimestre de 2024, las ventas de los iPhone han disminuido en casi un 10%.

Emprendedores

Aquí se explica cómo postularse para dar una charla TEDx

La mayoría de la gente quiere dar una charla TEDx pero no tiene idea de lo difícil que es refinar una idea para que sea aceptada y avanzar a través del proceso formal.