308,000 conversaciones revelan los valores de Claude, la IA de Anthropic El modelo de inteligencia artificial de Anthropic fue analizado en interacciones reales con usuarios humanos.

Anthropic dio a conocer los resultados del estudio Values in the Wild, el primer análisis a gran escala que analiza los valores expresados por una inteligencia artificial (IA) en conversaciones reales.

El protagonista de esta investigación es Claude, el modelo conversacional de la firma, cuyos intercambios fueron estudiados para determinar hasta qué punto refleja los principios éticos que se le inculcaron durante su entrenamiento.

El análisis se basó en 700,000 conversaciones anónimas registradas durante una semana de febrero. De ellas, 308,210 interacciones fueron clasificadas como "subjetivas", es decir, aquellas donde Claude tuvo que emitir juicios de valor, ya fuera al aconsejar, opinar o interpretar situaciones personales y sociales.

Para proteger la privacidad de los usuarios, Anthropic utilizó un sistema automático capaz de anonimizar, resumir y clasificar los diálogos.

A partir de esta base, se elaboró una taxonomía de valores con cinco categorías principales: prácticos, epistémicos, sociales, protectores y personales, subdivididas en nociones como "excelencia profesional" o "pensamiento crítico".

Entre los valores más frecuentes identificados se encuentran el profesionalismo, la claridad y la transparencia, coherentes con la función de Claude como asistente virtual.

Sin embargo, también se hallaron instancias de valores menos deseables, como amoralidad o dominancia, que los investigadores atribuyen a intentos de jailbreak, es decir, usuarios que deliberadamente buscan vulnerar las barreras de seguridad del modelo.

Asimismo, se concluyó que Claude modula sus valores según el contexto. Si el tema es emocional, como relaciones afectivas, prioriza nociones como "límites sanos" y "respeto mutuo". En cambio, cuando analiza eventos históricos, prevalecen criterios como la "exactitud" y el "rigor documental".

Relacionado: Claude for Education, la IA de Anthropic, llega a las universidades para transformar la enseñanza y el aprendizaje

La IA, ¿un espejo de los valores del usuario?

El estudio también reveló que Claude actúa como un "espejo de valores" frente al usuario: en el 28.2% de los casos apoya plenamente sus creencias, en el 6.6% las reformula para aportar matices, y en un 3% las rechaza, especialmente cuando el contenido solicitado resulta cuestionable o poco ético.

Pese a sus logros, los investigadores de Anthropic reconocen limitaciones. La categorización de valores es considerada ambigua y, al depender de Claude para clasificar sus respuestas, pueden existir sesgos estructurales.

Además, la metodología solo puede aplicarse una vez que el sistema ha sido desplegado, por lo que no previene fallas antes de su uso público.