Conferencia de Directores y Decanos de Ingeniería Informática

Mensajes etiquetados retos

¿Los algoritmos de inteligencia artificial pueden ser engañados?

Advierten que estos sistemas que median cada vez más nuestras vidas codifican los mismos tipos de prejuicios que tienen los humanos.

Autor: Cesar Dergarabedian

Las tecnologías de inteligencia artificial (IA) se desarrollan con rapidez y cada vez son más asequibles, aunque podrían usarse con propósitos malintencionados. Un ejemplo explica los temores en torno a esta tecnología. Un dron de rastreo fabricado por la empresa Skydio cuesta 2.499 dólares. Se armó con piezas de construcción tecnológicas disponibles para cualquiera: cámaras ordinarias, programa de código abierto y procesadores de computadora de bajo costo. Con el tiempo, reunir estos componentes será cada vez más fácil y barato. Estas mismas tecnologías aportan un nuevo nivel de autonomía a los vehículos, los robots en los almacenes, las cámaras de seguridad y una amplia gama de servicios de Internet. Los nuevos sistemas de IA también exhiben comportamientos inesperados y extraños debido a que no se entiende por completo la manera en que aprenden a partir de enormes cantidades de datos. Esto los hace vulnerables a la manipulación; se puede engañar a los algoritmos para que, por ejemplo, vean cosas que no existen.

En un contexto como éste, los delincuentes podrían burlar cámaras de seguridad o afectar a un vehículo autónomo. Josh Saxe, jefe de datos científicos de la empresa de seguridad informática Sophos, explicó a iProfesional cómo los cibercriminales utilizan la inteligencia artificial para sus actividades.

  • -Las tecnologías de inteligencia artificial se desarrollan con rapidez y cada vez son más asequibles. Pero ¿podrían usarse con propósitos malintencionados? –

Sí:

* Deepfakes: el contenido generado por la red neuronal es ahora una realidad y ha sido reconocido como una amenaza importante para el discurso público. Por ejemplo, las fallas profundas pueden hacer que parezca que una celebridad, una figura pública o un ciudadano privado ha dicho y hecho cosas que en realidad no hizo.

* La inteligencia artificial también se puede utilizar para generar URL falsas, publicaciones en redes sociales e incluso perfiles en redes sociales.

* Los investigadores también han experimentado con el uso de inteligencia artificial para generar malware, pero aún no se ha demostrado que estos métodos tengan ventajas significativas sobre las técnicas de generación de malware no basadas en IA como el polimorfismo.

  • – ¿Se puede engañar a los algoritmos de la inteligencia artificial, por ejemplo, para que vean cosas que no existen? –

Sí. Es bien sabido que los algoritmos de inteligencia artificial pueden ser engañados, y todavía no hay una solución robusta para este tipo de ataques. Por ejemplo, los investigadores han demostrado que al poner un sticker en una señal de stop, los delincuentes pueden engañar a un auto que se maneja solo para que no lo vea.

En ciberseguridad, es posible generar malware que evade la detección basada en el aprendizaje automático utilizando técnicas matemáticas. En general, los algoritmos de inteligencia artificial actualmente no son difíciles de engañar.

Este es un problema que se ha convertido en un foco importante de investigación en la comunidad de inteligencia artificial, incluso dentro de nuestro equipo de investigación de ciencia de datos en Sophos.

  • – ¿Estas técnicas automatizadas harán que sea más fácil perpetrar ataques que ahora requieren mucha labor humana, entre ellos phishing o ciberestafa, que involucra reunir y usar los datos personales de las víctimas? –

No creo que la inteligencia artificial cambie la forma en que los atacantes recopilan información sobre las víctimas. Creo que la inteligencia artificial puede ayudar a los atacantes, eventualmente, con la generación de texto en el «estilo» de un objetivo que buscan suplantar, o con la generación de imágenes falsas, audio y video que suplantan a un objetivo.

De esta manera, esperaría que la inteligencia artificial haga que los ataques de ingeniería social sean mucho más sofisticados en el plazo de la próxima década

  • – ¿Qué medidas deben tomar las organizaciones para prevenir estos usos malintencionados? –

Creo que la comunidad técnica en su conjunto necesita comenzar una discusión seria sobre los esquemas de firma digital y la infraestructura de clave pública para firmar contenido multimedia para evitar ataques de falsificación profunda.

También se ha vuelto importante usar inteligencia artificial para detectar contenido que puede deberse a ataques de ingeniería social. Finalmente, los investigadores deben continuar construyendo sistemas de inteligencia artificial que sean robustos en sus intentos de engañar a los atacantes.

Creo que vamos a ver el mismo tipo de juego del gato y el ratón en la ciberseguridad en el futuro, la diferencia es que la inteligencia artificial se convertirá en un nuevo escenario para este juego.

  • – ¿Qué principios deben adoptar las organizaciones al diseñar, desarrollar o utilizar la inteligencia artificial? Por ejemplo, los derechos humanos. –

Es importante que los algoritmos de inteligencia artificial que toman decisiones socialmente impactantes, como decidir qué contenido promover en un sitio de redes sociales, o decidir quién debe ser elegible para un préstamo, se diseñen con el objetivo de minimizar los sesgos en relación con la raza, el género, la orientación sexual, nacionalidad, etc. Tal como está, está bien documentado que los algoritmos de inteligencia artificial que median cada vez más nuestras vidas codifican los mismos tipos de prejuicios que los humanos llevan. Necesitamos continuar trabajando para remediar esto.

Fuente: Iprofesional

Los retos de la ingeniería informática a debate tras cuatro décadas de estudios universitarios 

coddii investidura UPM Barbara Liskov
La CODDII reflexiona en torno al papel clave de los estudios de informática en la transformación digital de la sociedad.

Cuatro décadas de estudios universitarios de informática en España consolidan una disciplina en permanente evolución, en el centro de la revolución social, industrial y económica de la actual realidad conectada.

Los decanos y directores de los centros universitarios de ingeniería informática de España se reunieron recientemente para debatir sobre las áreas que deben potenciar en los ámbitos de la formación, la investigación, la innovación y la transferencia de conocimientos. Esta es su declaración:

DECLARACIÓN

La Conferencia de Directores y Decanos de Ingeniería Informática (CODDII), que representa a más de 70 centros universitarios ofertando títulos de grado y máster en Ingeniería Informática, ha celebrado durante los días 8 y 9 de junio su Asamblea General anual, coincidiendo con diversos actos que han culminado un curso en el que se ha conmemorado el 40º aniversario de los estudios universitarios de Informática en España.

Se ha celebrado, por tanto, la consolidación y madurez plena que confieren estas cuatro décadas, en las que la disciplina ha ido adecuándose a las necesidades del sector, a los avances de las tecnologías y a la evolución de la profesión.

Los centros universitarios responsables de organizar la oferta en España en el ámbito de la Ingeniería Informática han tenido que realizar un enorme esfuerzo para mantener los planes de estudio alineados con las exigencias de cada momento; con toda seguridad, en mayor medida que en otros campos, por el dinamismo intrínseco que caracteriza a las Tecnologías de la Información.

Muchos han sido los estudiantes que desde entonces se han formado en las escuelas y facultades que componen nuestra Conferencia. Nos congratulamos de haber contribuido a la formación de los profesionales que han sido, son y serán protagonistas directos de la revolución social, industrial y económica que supone la digitalización de nuestra sociedad.

La historia de los estudios universitarios de Informática, sus orígenes y su evolución, le han conferido a la disciplina unas características únicas que hacen a los profesionales formados en ella especialmente competitivos, a la vez que versátiles, en un entorno cada vez más necesitado de especialistas en dominios  como la ciencia y la ingeniería de datos, la ciberseguridad, la internet de las cosas, la robótica o la inteligencia artificial.

En efecto, los orígenes de los estudios de Informática, asentados en las Ciencias Matemáticas y las Ciencias Físicas, así como su posterior y natural evolución al ámbito de la Ingeniería, hacen a los ingenieros e ingenieras en Informática específicamente preparados para afrontar los retos que hoy se presentan en una sociedad que está sufriendo una transformación digital. Un ejemplo de esta evolución se muestra en la carrera de la Profesora Barbara Liskov que es investida Doctora Honoris Causa por la Universidad Politécnica de Madrid, precisamente coincidiendo con la celebración de estos cuarenta años de estudios universitarios de Informática en España, con el décimo aniversario del premio A.M. Turing de la profesora, considerado el Nobel de la informática, y el cincuenta aniversario de su doctorado pionero en informática (Computer Science).

Lamentablemente, es tal la demanda de ingenieros e ingenieros técnicos en Informática que la industria ha de nutrirse de profesionales sin una preparación específica. Por ello, desde la CODDII consideramos de trascendental importancia potenciar los estudios de Ingeniería Informática, a nivel de grado, pero también a nivel de máster, promoviendo las vocaciones a edades tempranas (preuniversitarias) e incidiendo en la enorme importancia de que las mujeres aumenten sustancialmente su presencia en estas actividades profesionales. Todos estos temas fueron objeto de reflexión durante las sesiones de esta Asamblea General.

Con el compromiso demostrado en estos cuarenta años, los centros que constituyen la CODDII seguirán apostando por la formación, la investigación, la innovación y la transferencia en los temas que hoy, más que nunca, resultan cruciales para seguir avanzando en la transformación digital de nuestra sociedad, gracias a la que, sin duda, será una de las profesiones más importantes e influyentes y que más vocaciones científicas y tecnológicas despertará en los próximos cuarenta años: la Ingeniería Informática.

Incluimos a continuación, otras de las imágenes de la jornada: