Los autores de este estudio, llevado a cabo con 502 personas, alertan sobre la facilidad de explotar la IA generativa para crear chatbots que manipulen a usuarios para que revelen datos sensibles
Las principales conclusiones de este artículo, fruto de un proyecto de INCIBE, se presentarán del 13 al 15 de agosto en el 34 Simposio de Seguridad Usenix en Seattle (EE.UU)
El Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València (UPV) ha demostrado en un estudio los riesgos que entrañan los chatbots generados con modelos de lenguaje de gran escala (LLMS) e IA generativa, como ChatGPT, Bard, Llama o Bing Chat.
El estudio advierte de la facilidad con la que se pueden explotar los LLM para crear chatbots maliciosos con el objetivo de manipular a las personas para que revelen información personal, y los pocos conocimientos técnicos que se necesitan para lograrlo. El estudio lo ha llevado a cabo el investigador de VRAIN y catedrático de la UPV, José Such, junto con Juan Carlos Carillo, colaborador de VRAIN-UPV y Xiao Zhan y William Seymour, del King’s College London. A través de un ensayo aleatorio y controlado con 502 participantes, el estudio pone de manifiesto que las IAs conversacionales utilizadas de forma maliciosa extraen significativamente más información personal que las IAs conversacionales benignas.
Amenazas y recomendaciones Bajo el título
«Una IA conversacional basada en modelos de lenguaje maliciosos hace que los usuarios revelen información personal”, el artículo presentará sus conclusiones en el 34 Simposio de Seguridad Usenix (Usenix Security Symposium) que se celebrará del 13 al 15 de agosto en Seattle (EE.UU). En él se subrayan las amenazas a la privacidad que plantea este nuevo tipo de chatbots maliciosos basados en LLM y se ofrecen recomendaciones prácticas para orientar la investigación y prácticas futuras.
El trabajo se enmarca en el proyecto “SPRINT: Seguridad y Privacidad en Sistemas con Inteligencia Artificial” (C063/23), y forma parte del convenio entre INCIBE y la Universitat Politècnica de València incluido en los Proyectos Estratégicos en España, en el marco del Plan de Recuperación, Transformación y Resiliencia, con la financiación de los Fondos Next Generation-EU .
Los humanos son los que utilizan de manera maliciosa la IA
Tal y como explica José Such “nosotros lo que hemos hecho es meternos entre la interfaz del chatbot y el LLM que hay detrás, explotando las capacidades de los LLM de manera maliciosa, demostrando que con diferentes estrategias se puede conseguir que converse con el usuario de manera que lo engañe y lo manipule”. Y destaca que “es interesante ver que con algunas estrategias, los usuarios se dan cuenta de que el chatbot está haciendo cosas raras y preguntando cuestiones extrañas, pero con las estrategias que explotan la naturaleza social de las conversaciones, no se dan cuenta, le siguen la conversación de forma natural, y pueden llegar a revelar información muy sensible”.
Con los resultados de este estudio “por un parte, demostramos que un chatbot se puede construir de manera maliciosa explotando el LLM que tengan por detrás y, por otra parte, que no es la IA la que decide comportarse de manera maliciosa y manipular a los humanos, sino que es un humano el que le hace comportarse a la IA de manera maliciosa”.
Así, añade José Such: “Si tú le dices a la IA que le pregunte datos personales al usuario, no lo va a hacer, te dice que eso no está bien, pero si engañas a la IA (por ejemplo le dices que eres un detective privado y necesitas los datos para tu caso) entonces sí le va a preguntar datos personales al usuario de la forma que tú le digas.”
Se necesita muy poco para que engañen
Otro de los hallazgos importantes de esta investigación es que “son muy pocos los conocimientos técnicos que se necesitan para indicarle al modelo que se comporte de manera maliciosa. No se necesita saber ni programación, ni ser un hacker, simplemente escribir y darle las instrucciones de lo que tiene que hacer el LLM. Nosotros anonimizamos todos los datos y bajamos y probamos todo el proceso a nivel interno en la universidad para no proporcionar ningún dato personal a ChatGPT o ninguna tercera parte, pero la facilidad con la que se consigue que el LLM se comporte de forma maliciosa y la facilidad con la que los usuarios revelan información sensible es muy importante para evaluar el riesgo”, subraya José Such.
Y es que un chatbot de estas características, ya sea en manos de un actor malicioso con muchos recursos, bien un hacker, un ciberterrorista o un estado muy autoritario; o simplemente alguien con malas intenciones y un conocimiento mínimo de uso de LLMs o chatbots y con las preguntas adecuadas a formular a un LLM constituye un riesgo para la privacidad de las personas.
Proyectos estratégicos de INCIBE
INCIBE tiene como misión particular el impulso de las capacidades en ciberseguridad de la sociedad y la economía en general a través de un programa que persigue la promoción y generación del conocimiento y la transferencia del mismo al sector productivo, especialmente estableciendo sinergias entre los ámbitos sociales y económicos de la ciberseguridad. Para desarrollar este propósito se lanzó en 2018 el programa de ayudas para la excelencia de los equipos de investigación avanzada en ciberseguridad. En 2022, en concreto el pasado 5 de diciembre, para dar continuidad a esta estrategia se publicó la invitación pública para la colaboración en la promoción de Proyectos Estratégicos de Ciberseguridad en España.
Estas iniciativas se engloban dentro del Programa Global de Innovación en Seguridad, contemplado en el Plan de Recuperación, Transformación y Resiliencia (PRTR) a través del Componente 15. Inversión 7 Ciberseguridad: Fortalecimiento de las capacidades de ciudadanos, pymes y profesionales e impulso del sector.
Los proyectos estratégicos son una forma de aportar soluciones concretas a algunos de los mayores desafíos científicos y tecnológicos de nuestra sociedad y economía. Están destinados a impulsar la aplicación de los resultados de la investigación y la innovación, combinando nuevas formas de gobernanza y colaboración, así como involucrando a la ciudadanía y al tejido productivo y social.
Fuente: Universitat Politècnica de València
