La lección de los exámenes imperiales chinos sobre la evaluación de la inteligencia artificial

Tecnología · Historia de las instituciones

China seleccionó a sus funcionarios imperiales con un examen durante trece siglos. Y acabó produciendo expertos en examinarse, como hoy en día hay expertos en pasar entrevistas. La inteligencia artificial corre hoy el mismo riesgo, y la solución tampoco está en hacer un examen mejor.

Por Manuel Herranz · 26 de septiembre de 2026 · Lectura: 11 minutos

Un modelo de inteligencia artificial que “aprueba” un examen ha demostrado, ante todo, que es un buen alumno que sabe examinarse. Lo que haga después, en manos de personas en entornos reales y ique no han leído el enunciado… pertenece a otra categoría de conocimiento. Confundir ambas cosas es uno de los errores más antiguos de las instituciones, y la industria de la IA lo está repitiendo con una precisión casi conmovedora.

Lo aprendí de la manera habitual, que es la cara. Hace unos años validamos un asistente de consultas para una administración pública. Superó todas las baterías de prueba con una nota que habría hecho sonreír a cualquier comité. Hubo presentación, hubo aplausos contenidos. A las dos semanas, un funcionario veterano escribió una pregunta sobre un plazo administrativo con dos giros valencianos y una abreviatura que solo existía en su negociado. El sistema respondió con aplomo impecable y un plazo equivocado. Ninguna de nuestras pruebas contenía a aquel señor.

No había nada roto. Habíamos inspeccionado el casco con el barco en dique seco, y en dique seco todos los cascos son admirables. El agua entra por el pantoque, esa curva donde el fondo se convierte en costado, y solo cuando hay mar, carga mal estibada y una tripulación con prisa.

El examen que duró trece siglos

El sistema de exámenes imperiales chinos, el keju (科举), es probablemente el experimento de evaluación más largo de la historia humana. Instituido bajo la dinastía Sui a comienzos del siglo VII y abolido en 1905, bajo los Qing, pretendía algo que hoy parece de una modernidad insolente: sustituir el linaje por el mérito medido. Cualquier varón, en teoría, podía llegar a mandarín si superaba las pruebas.

Funcionó durante mucho tiempo. Y precisamente porque funcionó, los candidatos aprendieron a optimizar el instrumento. Bajo los Ming se consolidó el bāgǔwén, el «ensayo de ocho patas», con una estructura tan rígida que acabó premiando la forma sobre el pensamiento. Sus críticos, ya en la propia China, lo acusaron de fabricar eruditos capaces de desarrollar cualquier tema con perfección métrica y sin una sola idea útil para gobernar una provincia inundada. El nombre técnico de ese vicio en pedagogía es psitacismo: aprender como el loro, repitiendo sin comprender.

La lección no es que los exámenes sean inútiles. Es más incómoda: cuanto más importa una medida, más se deforma el comportamiento para satisfacerla. El economista Charles Goodhart lo formuló en 1975 para la política monetaria, y la antropóloga Marilyn Strathern le dio en 1997 su versión más citada: cuando una medida se convierte en objetivo, deja de ser una buena medida. Los benchmarks públicos de IA viven hoy exactamente ese destino. Se publican, se convierten en marcadores, los laboratorios compiten por ellos y, con el tiempo, los modelos aprenden a escribir su propio ensayo de ocho patas.

Tres preguntas que suelen esconderse bajo la palabra «probar»

Una evaluación seria de un sistema de IA responde a tres preguntas distintas. El Instituto Nacional de Estándares y Tecnología de Estados Unidos (NIST) las separa explícitamente en su programa ARIA como prueba de modelo, red teaming y prueba con usuarios, y las presenta como componentes complementarios. Lo valioso de esa distinción no es la taxonomía, sino que cada método produce un tipo diferente de evidencia.

¿Hace lo que se le pidió? La prueba de modelo

Tareas definidas, respuestas de referencia, umbrales de aceptación. Su virtud es la repetibilidad: el mismo examen aplicado a dos modelos o a dos versiones permite decidir con datos en lugar de con demostraciones. Los benchmarks públicos dan orientación general. Un conjunto de pruebas propio describe otra cosa: los contratos, la terminología, las excepciones y la tolerancia al error de una organización concreta. El modelo se sustituye el año próximo. La definición de lo aceptable permanece.

¿Cómo se puede derrotar? El red teaming

Donde la prueba de modelo parte de una especificación, el red teaming parte de la sospecha. Alguien busca a propósito la instrucción ambigua, el contexto contradictorio, la petición indirecta. El Instituto de Seguridad de la IA de Japón (J-AISI), en su guía metodológica de 2024, insiste en que no es un trámite que se hace una vez y se archiva, sino una práctica periódica a lo largo de todo el ciclo de vida del sistema. Su producto real no son capturas de pantalla divertidas, sino conocimiento estructurado sobre fallos reproducibles.

¿Qué ocurre cuando llegan las personas? La prueba con usuarios

Los usuarios son deliciosamente inconvenientes. Omiten datos, pegan documentos rotos, mezclan tres peticiones en una frase y dan por sabido lo que nadie explicó. Una respuesta puede ser técnicamente correcta y operativamente inútil. Un sistema que encuentra la información exacta y la presenta de manera que nadie puede verificar su procedencia tiene un problema que ningún porcentaje revelará.

Método	Pregunta	Evidencia que produce	Punto ciego
Prueba de modelo	¿Cumple lo especificado?	Rendimiento repetible y comparable	Solo ve lo que alguien pensó en preguntar
Red teaming	¿Cómo se rompe?	Fallos reproducibles y su gravedad	Depende de la imaginación del atacante
Prueba con usuarios	¿Qué pasa en uso real?	Fricción, confianza excesiva, usos imprevistos	Difícil de repetir y de escalar
Regresión	¿Sigue funcionando tras el cambio?	Memoria acumulada de fallos	Solo recuerda lo que ya ocurrió

Cuatro capas de evaluación de la IA y lo que cada una deja sin ver. Elaboración propia a partir del enfoque ARIA del NIST.

Lo explico siempre con una paella, porque en Valencia es la única metáfora que no admite réplica. La prueba de modelo comprueba que la receta está bien escrita. El red teaming pone a alguien a intentar arruinarla a propósito: fuego demasiado alto, caldo salado, arroz de otro lote. La prueba con usuarios es el domingo a las tres, con la abuela pidiendo menos azafrán, un primo que reclama kétchup y alguien que llega una hora tarde. Una cocina que solo ha superado la primera prueba no ha demostrado nada sobre el domingo.

El shibbolet: cuando la lengua es la prueba

El Libro de los Jueces cuenta que los galaaditas, tras derrotar a los efraimitas, controlaban los vados del Jordán pidiendo a cada fugitivo que pronunciara shibbolet. Quien decía «sibbolet» delataba su origen. Es, que yo sepa, el primer test lingüístico documentado de la historia, y demuestra algo que la evaluación de la IA está redescubriendo: la lengua no es un envoltorio neutro del contenido. Es parte de la prueba.

Un modelo evaluado exhaustivamente en inglés no ha sido evaluado en árabe, en japonés ni en catalán. El equipo de Yue Deng, en DAMO Academy de Alibaba y la Universidad Tecnológica de Nanyang, lo cuantificó en un trabajo presentado en ICLR 2024: al traducir peticiones dañinas a nueve idiomas con hablantes nativos, observaron que en las lenguas con menos recursos la probabilidad de obtener contenido dañino era aproximadamente tres veces mayor que en las lenguas con muchos recursos. Las salvaguardas, construidas mayoritariamente en inglés, no viajaban bien.

Desde el Golfo llega una respuesta complementaria. El equipo de Emad Alghamdi publicó en COLING 2025 AraTrust, un benchmark de fiabilidad para modelos en árabe con 522 preguntas escritas por personas, que cubren veracidad, ética, privacidad, salud física y mental, discriminación y actividades ilegales. Su punto de partida es el mismo que el de aquellos vados del Jordán: la complejidad lingüística y cultural del árabe no se captura traduciendo un test pensado en otra lengua.

Un ataque inventado en inglés y traducido literalmente conserva las palabras y pierde el ataque. Los hablantes reales usan otros eufemismos, otras cortesías, otras maneras de pedir algo sin pedirlo. La evaluación multilingüe no consiste en traducir el examen, sino en escribirlo de nuevo desde dentro de cada lengua.

La evaluación como memoria institucional

Hay una consecuencia menos evidente y, a mi juicio, más valiosa. Cada fallo confirmado puede convertirse en una prueba nueva. La alucinación de ayer entra en el conjunto de regresión de mañana. Un error terminológico, un patrón adversario, un incidente en producción: todo sedimenta. Con los años, una organización acumula algo más duradero que un informe. Acumula un corpus de comportamiento esperado: lo que sus sistemas deben hacer, lo que no deben hacer nunca y lo que tienen que seguir haciendo después de la próxima actualización.

Ese corpus es un palimpsesto: cada modelo nuevo se escribe encima, pero las huellas de los fallos anteriores siguen legibles debajo. Los modelos son perecederos. El palimpsesto se revaloriza. Por eso la idea de «probar una vez antes de lanzar» resulta tan anacrónica como certificar un puente el día de su inauguración y no volver a mirarlo.

El examen imperial chino fracasó en parte por lo contrario. Era una evaluación sin memoria de uso: medía al candidato en la sala del examen y nunca volvía a preguntar qué tal gobernaba la provincia. Una evaluación sin realimentación desde la realidad termina, siempre, evaluándose a sí misma.

Lo que hay detrás de un 91,7

Para quien compra sistemas de IA, todo esto se traduce en una desconfianza sana hacia el número único. Una cifra comprime la realidad, y comprimir es útil mientras se recuerde qué se ha comprimido. Un 91,7 sin conjunto de datos, sin rúbrica, sin acuerdo entre revisores y sin distribución de errores ofrece precisión matemática y niebla epistemológica a la vez.

Las preguntas que yo haría a cualquier evaluador caben en una servilleta: qué se evaluó, el modelo o la aplicación entera; qué idiomas, dominios y usuarios representa el conjunto de pruebas; quién produjo las respuestas de referencia y con qué cualificación; cómo se resuelven las discrepancias entre revisores; si los fallos se pueden reproducir; si se acumulan en una batería de regresión. Y la última, la decisiva: si puedo inspeccionar la maquinaria que hay detrás del número.

La disciplina camina hacia su institucionalización. En Europa, la Oficina de IA de la Comisión ha empezado a examinar qué cualificación e independencia deberían exigirse a los evaluadores externos de modelos de propósito general con riesgo sistémico. No todo despliegue empresarial necesita ese aparato, pero la dirección es inequívoca: un cuadro de mandos vistoso ya no es evidencia.

Una advertencia de parte interesada

Debo decirlo porque sería poco elegante callarlo: en Pangeanic trabajamos precisamente en este terreno, donde se cruzan la lengua, los datos y la evaluación, y he escrito allí una versión técnica y operativa de este mismo marco. Eso sesga mi mirada. Pero veinte años de trabajo con corpus, traducción automática y revisión humana me han enseñado lo mismo una y otra vez: los modelos cambian de forma asombrosa, y el problema de fondo, representar con fidelidad una lengua y a quienes la hablan, sigue siendo tan terco como el primer día.

Durante años pensé que el reto de la evaluación era técnico: diseñar mejores métricas. Ahora creo que es institucional. Se trata de decidir quién tiene autoridad para declarar que algo funciona, con qué evidencia y durante cuánto tiempo. Los mandarines de los Qing también tenían métricas excelentes.

Aquel funcionario valenciano nunca supo que había hecho la mejor prueba de todo el proyecto. Me pregunto cuántos de los sistemas en los que confiamos hoy han sido examinados alguna vez por alguien parecido a nosotros.

Preguntas frecuentes sobre la evaluación de la inteligencia artificial

¿Qué diferencia hay entre un benchmark y una evaluación de IA?

Un benchmark es un instrumento de medida estandarizado que compara modelos en tareas públicas. Una evaluación de IA en producción verifica si un sistema concreto se comporta como se necesita en las condiciones reales de uso de una organización, combinando prueba de modelo, red teaming, prueba con usuarios y regresión.

¿Qué es el red teaming en inteligencia artificial?

Es la búsqueda deliberada de fallos en un sistema de IA desde la perspectiva de un atacante o de un usuario malintencionado: instrucciones ambiguas, peticiones indirectas, contextos contradictorios o cambios de idioma. Guías como la del Instituto de Seguridad de la IA de Japón recomiendan practicarlo de forma periódica durante todo el ciclo de vida del sistema.

¿Por qué no basta con evaluar un modelo de IA en inglés?

Porque la seguridad y la precisión no se transfieren automáticamente entre lenguas. Investigaciones como la de Deng y colaboradores (ICLR 2024) encontraron que las lenguas con menos recursos multiplicaban aproximadamente por tres la probabilidad de obtener contenido dañino frente a las lenguas mayoritarias.

¿Qué es la ley de Goodhart y qué relación tiene con la IA?

La ley de Goodhart, en la formulación de Marilyn Strathern, afirma que cuando una medida se convierte en objetivo deja de ser una buena medida. En IA describe el riesgo de que los modelos se optimicen para los benchmarks públicos sin mejorar su comportamiento en situaciones reales.

¿Qué es una batería de regresión en evaluación de IA?

Es el conjunto acumulado de pruebas construido a partir de fallos ya detectados. Sirve para comprobar que cada nueva versión de un modelo, un prompt o una base de conocimiento no reintroduce errores que ya se habían corregido.

Seguir leyendo en manolito.info

• La dimensión lingüística de este problema aparece en La arquitectura de la inteligencia asimétrica.
• Sobre por qué las organizaciones olvidan lo que ya sabían: Por qué las instituciones olvidan lo que sabían.

Fuentes y bibliografía

1. Jensen, T., Przybocki, M., Kodwani, M., Greene, K., Hall, P., Amironesei, R. y Greenberg, C. (2026). ARIA Evaluation Planning Manual: Elements of ARIA Style AI Evaluations. NIST. nist.gov
2. Japan AI Safety Institute (2024; v1.10, 2025). Guide to Red Teaming Methodology on AI Safety. aisi.go.jp
3. Deng, Y., Zhang, W., Pan, S. J. y Bing, L. (2024). «Multilingual Jailbreak Challenges in Large Language Models». ICLR 2024. OpenReview
4. Alghamdi, E. A., Masoud, R. I., Alnuhait, D., Alomairi, A. Y. et al. (2025). «AraTrust: An Evaluation of Trustworthiness for LLMs in Arabic». COLING 2025. ACL Anthology
5. Comisión Europea, Oficina Europea de IA (2026). Qualification requirements for external evaluators of GPAI models with systemic risk. digital-strategy.ec.europa.eu
6. Goodhart, C. A. E. (1975). «Problems of Monetary Management: The U.K. Experience». Papers in Monetary Economics, Reserve Bank of Australia.
7. Strathern, M. (1997). «‘Improving ratings’: audit in the British University system». European Review, 5(3), 305–321.
8. Elman, B. A. (2000). A Cultural History of Civil Examinations in Late Imperial China. University of California Press.
9. Jueces 12:5–6.

Nota: la escena inicial es una reconstrucción narrativa a partir de la experiencia profesional del autor.