José Hernández-Orallo lleva más de dos décadas dedicado a una pregunta que hoy resulta más urgente que nunca, qué sabe realmente hacer una inteligencia artificial, y qué no. Catedrático de Ciencias de la Computación en la Universitat Politècnica de València e investigador del Instituto VRAIN, compagina su actividad en Valencia con la de Senior Research Fellow en el Leverhulme Centre for the Future of Intelligence de la Universidad de Cambridge, donde su trabajo se centra en la evaluación de las capacidades, la generalidad, el progreso y los riesgos de la inteligencia artificial.
Autor de The Measure of All Minds (Cambridge University Press, 2017), galardonado con el PROSE Award 2018, ha construido marcos de evaluación, herramientas de detección de sesgos y métricas de fiabilidad que hoy emplean reguladores, empresas tecnológicas y la comunidad científica internacional para poner a prueba los sistemas de IA antes de confiarles decisiones. Su investigación, publicada en revistas como Nature, Science o Communications of the ACM, ha sido reconocida este año con el Premio Aritmel de los Premios de Investigación de la Sociedad Científica Informática de España (SCIE) y la Fundación BBVA 2026, que distingue a investigadores de hasta 55 años con aportaciones científicas particularmente significativas en ingeniería informática. Este verano, además, ha sido seleccionado como uno de los 60 expertos internacionales -y uno de solo tres españoles- de la Comisión Técnica Científica que asesorará a la Oficina Europea de Inteligencia Artificial en la aplicación de la Ley de IA.
José es directo y claro. Hablamos con él sobre los límites reales de la IA actual, los riesgos de confundir rendimiento con inteligencia, y el papel que Europa puede -o no- aspirar a tener en un tablero dominado por Estados Unidos y China.
ENTREVISTA
- El Premio Aritmel de SCIE-BBVA distingue aportaciones científicas particularmente significativas en ingeniería informática ¿Qué representa para ti recibir el Premio Aritmel y qué aspectos de tu carrera consideras que han sido determinantes para obtenerlo?
Significa un reconocimiento a VRAIN, a la ETSINF, y a un equipo de colaboradores con los que he crecido como investigador, gracias a su generosidad. Aquí he encontrado la libertad de explorar las ideas hasta sus últimas consecuencias, como por ejemplo que la inteligencia humana y artificial se entienden y se evalúan computacionalmente. Y la única explicación que le encuentro a este premio es que mi propia incapacidad de hacer más y mejor que otros me ha obligado a hacer algo diferente.
- Tu tesis doctoral en lógica, con premio extraordinario, marcó el inicio de un camino que hoy te sitúa entre Cambridge y la UPV en Valencia. ¿Cuándo decidiste que tu investigación se centraría en medir con rigor lo que esos sistemas de IA realmente son capaces de hacer?
Nunca he tenido un camino claro, pero sí ciertas fascinaciones y preguntas que me han acompañado incluso desde niño. Algunas muy cándidas, como si era posible hacer pensar un ZX Spectrum, ese mi primer ordenador de sólo 48K, que compartía con mi hermano. Otras más sofisticadas, como determinar que algo se ha “comprendido” –que no sólo es un rasgo fundamental de la inteligencia, pero nuestra labor principal como docentes. Siempre he rechazado aquellos caminos antropocéntricos que veían la inteligencia como algo exclusivamente humano o aquellos que pretendían explicar una singularidad humana más allá del mundo físico y de la computación. Y luego te marcan los libros que leía en mis veranos de adolescente, como “El Mono Desnudo”, de Desmond Morris, “Escher, Gödel y Bach”, de Douglas Hofstadter, o incluso esas ediciones de la historia del pensamiento, donde leía desde Russell a Frege, intentando entender si las leyes de la lógica son innatas o adquiridas. Lo demás es una mezcla de cabezonería y suerte. Todavía hoy en día, no encuentro pregunta más importante y fascinante que entender qué tipos de inteligencia pueden existir. Desde la computación, desde la informática, intento recorrer ese camino.
- La inteligencia artificial generativa produce respuestas cada vez más convincentes y se habla con frecuencia de que estamos cerca de una IA general. Desde una perspectiva científica ¿cómo podemos distinguir entre un sistema que razona y otro que únicamente genera una respuesta verosímil? ¿qué capacidades debería demostrar para considerarla verdaderamente general?
De la misma manera que hacemos con los seres humanos, evaluamos con tests que tengan validez de medida. En particular, nos han de permitir inferir capacidades y propensiones que puedan predecir y explicar cuándo un sistema inteligente es válido o no. Pero los sistemas de IA de hoy se parecen y difieren de los humanos a partes iguales, con lo que se requieren tests inspirados en cómo se evalúan la inteligencia natural pero que tengan fundamentos más sólidos, y que nos permitan establecer perfiles de capacidades y propensiones. Esa es la investigación que realizamos. Analizando dichos perfiles, podemos, por ejemplo, constatar niveles muy altos de expresión lingüística o de razonamiento matemático en modelos como Claude Fable, pero niveles más bajos en memoria episódica o metacognición. El concepto de “generalidad” no es más que tener un nivel alto en muchas capacidades, lo que implica acertar sistemáticamente en aquellos problemas sencillos que están por debajo de esos niveles. En los últimos cinco años hemos visto un crecimiento muy importante en prácticamente todas las capacidades, unas más que otras. No sería de extrañar ver perfiles suprahumanos en muy pocos años.
- ¿Es posible establecer métricas objetivas que permitan detectar sesgos y anticipar cuándo un sistema puede equivocarse o comportarse de manera poco fiable?
Sí, es posible. Lo mejor de la IA, de la ciencia de datos y la informática en general, es que podemos utilizar métricas para evaluar sesgo y discriminación de los modelos, de una manera robusta y sistemática, y hacer correcciones o retirar el sistema. Eso es mucho más difícil con decisiones humanas que muchas veces ni se registran ni evalúan, pero que también están sesgadas. En un artículo en Nature corroboramos que los modelos de lenguaje no mejoraron en fiabilidad entre 2023 y 2025. En otro artículo en la misma revista este año demostramos como podemos predecir si un modelo va a acertar o no con bastante fiabilidad. En otras palabras, tenemos herramientas para hacer la IA más fiable, y eso es una buena noticia.
- Has sido seleccionado como uno de los 60 expertos independientes que asesorarán a la Oficina Europea de Inteligencia Artificial y a autoridades nacionales en la aplicación de la Ley de IA ¿Cuáles son los principales desafíos?
Nuestra principal misión es la IA de propósito general con riesgo sistémico, como, por ejemplo, el uso malicioso de un modelo de lenguaje para encontrar vulnerabilidades nuevas en sistemas informáticos detrás de servicios críticos. Por mi parte, quiero aportar nuevas metodologías de evaluación y anticipar cómo puede ser la inteligencia (artificial, humana e híbrida) a final de esta década.
- ¿En qué medida nos afecta la concentración de la IA en manos de unos pocos? ¿Es posible una soberanía digital europea?
La concentración de la IA proviene de una concentración tecnológica en informática que arrastramos desde hace décadas. Sólo hay que mirar el móvil y ver cuántas aplicaciones europeas hay. Es muy difícil revertirlo, pero cierta soberanía se puede conseguir con mejor investigación, mejor educación y mejor regulación: un espacio europeo donde quizás la IA puntera no se haga aquí, donde no nos volvamos locos por quemar CO2, pero donde la sociedad la entienda y donde se gestione mejor.
- En tu libro “The Measure of All Minds” proponías una visión integrada de la evaluación de la inteligencia humana, animal y artificial. ¿Qué ha cambiado en esa visión desde su publicación en 2017 hasta la actualidad, con la irrupción de los modelos generativos?
En 2017, se medía desempeño específico en tareas: desde un clasificador de imágenes hasta un traductor automático. Entender el comportamiento de la IA a partir de capacidades y propensiones de sistemas de IA, de la misma manera que aplicamos a estos términos a animales humanos y no humanos, parecía incluso ridículo. Hoy en día, el Code of Practice de la EU AI Office y la comunidad científica en general habla en términos de capacidades y propensiones. Después de diez años, mi libro y yo tenemos más canas, pero la visión es la misma: la tecnología ha llegado por fin a un nivel donde necesitamos un mayor nivel de abstracción para entender la inteligencia artificial.
- ¿Qué papel tiene VRAIN en el panorama internacional de la evaluación de IA, y qué aporta la investigación valenciana a un debate y mercado dominado por Estados Unidos?
VRAIN es una excepción de talento en un entorno hostil: poca inversión y burocratización abismal en la investigación española. Creo que los valencianos siempre hemos tenido que sacar de donde no hay, levantarnos nosotros mismos. Por eso veo compañeros de la UPV, en VRAIN, en la ETSINF, o en Alcoi, que son voces importantes en la IA. Hemos de trabajar con los mejores en Europa, con los mejores en China, como se está propulsando muy decididamente en la UPV, y hemos de estar en las conferencias top de la IA. Debemos preguntarnos para qué sirve acumular revistas de no sé qué cuartil que pocos citan y hoy sólo la IA lee de principio a fin. Hemos de salir de la zona de confort, todos los días del año. Arriesgar.
- A medida que los sistemas se vuelven más agénticos y autónomos, ¿hace falta repensar por completo cómo medimos capacidades, límites y riesgos de la IA? ¿cuáles son, a tu juicio, los riesgos reales que deberían preocuparnos en el presente?
Hemos tenido la suerte que los sistemas de IA de altas capacidades hasta ahora han sido básicamente oráculos de pregunta y respuesta, y debido al cómputo que requieren, centralizados. Aunque este tipo de IA no agéntica ya implica muchos riesgos, usado como herramienta con buenas o malas intenciones, las amenazas de un mundo poblado por millones de bots autonómos son mucho mayores y más complejas. El paradigma de evaluación es el mismo, pero las evaluaciones más costosas, la interacción humana y el uso de simulaciones más necesario. Las propensiones serán más importantes incluso que las capacidades en los próximos años. La pregunta no es si un agente podrá hacer X, si no si podemos anticipar una situación que incite al agente a hacer X.
Entrevista completa en ETSINF UPV
