“El sistema falla donde menos te lo esperas”. Así evaluaron GPT-4 estos dos españoles por encargo de OpenAI José Hernández-Orallo y Cèsar Ferri, ambos investigadores de inteligencia artificial en la UPV, pertenecieron al grupo de apenas 40 personas seleccionadas para evaluar la actual versión de pago de ChatGPT.
En el verano de 2022, los que buceaban en las aguas más profundas de la inteligencia artificial —investigadores, empleados del sector, directores de IA en empresas— sabían bien que OpenAI preparaba el lanzamiento de su siguiente GPT (su modelo de lenguaje o LLM). Pero no se conocían detalles. Ni cuándo sería, ni quién tendría acceso, ni qué capacidades nuevas demostraría respecto a la versión anterior, GPT-3, de uso restringido.
Así estaban José Hernández-Orallo y Cèsar Ferri cuando en septiembre, Lama Ahmad, investigadora de políticas en OpenAI, les propuso formar parte del equipo externo que evaluaría GPT-4. Hernández-Orallo y Ferri, ambos catedráticos del departamento de Sistemas Informáticos y Computación de la Universitat Politècnica de València (UPV), pertenecen al mismo grupo de investigación y tienen una amplia experiencia en evaluación de sistemas de inteligencia artificial. Quizá por eso se cuentan entre las poco más de 40 personas que OpenAI seleccionó en todo el mundo para probar su nuevo modelo de lenguaje.
El objetivo era encontrar fallas en el sistema durante los seis meses anteriores al lanzamiento, en marzo de 2023. “Ya desde GPT-3 nos han dado acceso siempre a sus sistemas de manera gratuita, a veces antes del lanzamiento, para hacer investigación”, indica Hernández-Orallo, que colabora con OpenAI desde hace cuatro años y destaca la buena comunicación entre la empresa y los investigadores que quieren analizar sus sistemas.
El año pasado, ese verano en que se rumoreaba la llegada del próximo GPT, el acercamiento se estrechó. Los investigadores de la UPV organizaron un taller dentro de la Conferencia conjunta internacional sobre inteligencia artificial, uno de los eventos de inteligencia artificial más prestigiosos del año, y allí conocieron a más gente de OpenAI. Recibieron su llamada en septiembre.
Noticia completa: El País
