En Buenos Aires, el 22 de mayo de 2019 se realizó el Seminario de «Inteligencia Artificial y Ética: el desafío de las armas autónomas letales», organizado por la Red de Seguridad Humana para América Latina y el Caribe (SEHLAC) y el Centro de Estudios en Política Internacional de la Facultad de Ciencias Sociales de la UBA y el apoyo de la Campaing to Stop Killer Robots convocó a diferentes expertos en Defensa, científicos especialistas en Inteligencia Artificial, Derecho Internacional y Filosofía para debatir sobre la implementación y alcances de las armas autónomas letales.

La jornada se dividió en tres bloques en la cual los disertantes aportaron su experiencia en la materia y su visión sobre el futuro, que ya llegó.

Con el fin de difundir las reflexiones de los expositores, hemos realizado una síntesis de los aspectos más relevantes de la jornada.

María Pía Devoto, Directora de APP y Coordinadora SEHLAC, una de las Instituciones organizadoras del evento, presentó el Seminario cuyo objetivo principal fue el de reunir a diversos grupos de interés, académicos, juristas, empresarios de la tecnología, parlamentarios, oficiales de gobierno, fuerzas armadas y sociedad civil, entre otros, para dialogar e intercambiar sobre los desafíos éticos de la aplicación de la Inteligencia Artificial al desarrollo de armas autónomas letales.

Bloque 1:

“Debate multilateral y posición argentina respecto a los Sistemas Autónomos de Armas Letales”, Ángel Dalmazzo, Representante de la Dirección de Seguridad Internacional, Asuntos Nucleares y Espaciales (DIGAN), Ministerio de Relaciones Exteriores y Culto.

Se enfocó especialmente en brindar el contexto en el cual Argentina decidió tener una postura preventiva, es decir, “que se asegure que todo posible desarrollo mantenga un margen significativo de control humano”

“El rol de la sociedad civil en el marco de la campaña para detener a los robots asesinos”, a cargo de Camilo Serna, director de la Campaña Colombiana contra Minas y miembro de Sehlac quien comparó a las armas autónomas letales con las minas antipersonales, de la cual conoce y mucho por ser Director de Campaña Colombiana Contra Minas.

El experto destacó que cuando se empezó con el uso de minas antipersonales eran el “soldado perfecto”, ya que eran efectivas, tenían bajo costo de mantenimiento y eran fáciles de armar, pero no se midió el efecto que iban a tener luego de finalizadas las guerras. Si bien desde el año 1997 están prohibidas, las minas en muchos lugares del mundo siguen activa, tal como sucede en Colombia.

Finalmente agregó: «Cuando tengamos los sistemas de Inteligencia Artificial funcionando, no sabemos si los podremos apagar, como sucede con el desminado»

El planteo de Camilo es realmente un llamado a concientizar a la sociedad civil sobre lo complejo que es luego frenar un desarrollo de este tipo.

Bloque 2:

Con la moderación de Doctora en Sociología Alejandra Otamendi, Investigadora del CONICET y Docente de Metodología de la Investigación Social en la Universidad de Buenos Aires (UBA). en cotutela, UBA-EHESS de Paris se inició el segundo bloque.

La disertación fue sobre “El problema ético del uso de dispositivos autónomos inteligentes”, a cargo del Dr. Guillermo Simari (UBA/CONICET) y la Dra. María Vanina Martínez (FCEyN-UBA/CONICET), que se centró en los aspectos científicos del desarrollo de Inteligencia Artificial.

“No existe un sistema informático que no se pueda hackear”, advirtió Simari durante el seminario. O que algo no pueda funcionar, “es difícil que una máquina no cometa errores por la complejidad para tomar decisiones”, prueba de ello son las dos recientes tragedias de los Boeing 737 MAX, por el momento atribuidas a un sistema automatizado que falló y la dificultad de los pilotos por anularlo a tiempo.

Por eso pidió que en el caso de las armas autónomas: «Hagamos los sistemas con la capacidad de ser abortados» y recordó la sorpresa generada en 2016 cuando Tay, la IA desarrollada por Microsoft para aprender a conversar leyendo tuits reales en Twitter, rápidamente y sin control se convirtió en racista, violenta y homofóbica.

Por otra parte, su colega María Vanina Martínez explicó que existen dos grandes ramas de investigación y desarrollo en inteligencia artificial: la que se fundamenta en machine learning (aprendizaje automático) y la basada en lógica.

De hecho, la IA es una tecnología que puede utilizarse tanto para simplificar infinitas actividades de la vida cotidiana, así como para el desarrollo de armas autónomas. También, “existen formas de utilizar la IA en Defensa de forma beneficiosa, pero hace falta un cambio de postura, especialmente en los referido a la presencia del humano en la toma de decisiones” aclaró la Dra. Martínez, especialista en la materia.

Luego agregó que: «Nuestras técnicas de IA actuales son muy básicas y proclives a errores. Generalmente venimos detrás del problema». Por eso sugirió que lo ideal sería “incluir consideraciones éticas en los tiempos de la máquina, eso sería mucho más rápido que un sistema para abortar»

Y ya cerrando el tema planteó: “¿Cómo bajamos el lenguaje ético a la máquina?” a lo cual señaló que es “ética por diseño”. Por eso se enfocó más en controlar que en prohibir el desarrollo de armas autónomas letales.

El bloque cerró con “Inteligencia Artificial aplicada al desarrollo de tecnología militar y los debates en torno a la legislación Internacional y el DIH”, por la Dra. Lis Garmendia, representante de la Dirección Nacional de Derechos Humanos y Derecho Internacional Humanitario del Ministerio de Defensa.

Explicó que cuando surge un nuevo sistema se interpela al Estado a analizar las normas / legalidad del sistema Por eso, “celebro el enfoque preventivo que adoptó nuestro país ante las armas autónomas letales”

Uno de los problemas fundamentales a tener en cuenta en el sistema de armas desarrolladas bajo I.A. es que no es un sistema que tiene la capacidad de distinguir entre combatientes y civiles o combatientes que se rinden y de ahí la gravedad de ceder el control a las máquinas, concluyó la Dra. Garmendia.

Bloque 3:

La MA en Seguridad Internacional Carina Solmirano, especialista en defensa y seguridad internacional, con una trayectoria de más de 15 años en Argentina y el exterior fue la responsable de moderar el último bloque del Seminario.

“Los desafíos tecnológicos del Orden Internacional actual” fueron planteados por el Mg. Juan Battaleme Martínez, que además es profesor adjunto a cargo de la materia Tecnología, Estrategia y Política Internacional (UBA) y Director de la Maestría en Defensa Nacional.

“Nos preocupa que la máquina mate, pero no hace más que lo que hacemos nosotros” sentenció Battaleme, además dijo «prohibir las armas requiere pelearse con cuatro industrias: la de IA, la impresión 3D, la biología digital y la conectividad. Es inevitable que estas armas proliferen»

Además, como en su momento el Dr. Guillermo Simari había señalado, no hay barreras para el diseño de armas autónomas, no necesitan de un insumo sofisticado o difícil de conseguir.

Luego, el Mg. Juan Battaleme señaló un poco más esperanzador: “No pudimos detener las armas nucleares, pero sí el número de actores», en referencia al Tratado de Prohibición de Armas Nucleares y de otros acuerdos que existen en relación a este tipo de armas.

La Dra. Marta Vigevano, Docente de la Universidad Nacional Buenos Aires presentó “Sistemas de Armas Autónomas, Drones y Derecho Internacional”, en el cual destacó la importancia de la formación en FFAA en Derecho Internacional Humanitario, quien no puede conocer el buen manejo de un arma, no puede usarla favorablemente.

Tal como lo hicieron otros expositores, la Dra. Vigevano mencionó que las armas desarrolladas con IA deben respetar la condiciones para crear un arma nueva.

Finalmente, el Lic. Esteban Ierardo, profesor de la Facultad de Ciencias Sociales, de las carreras de Comunicación Social y Sociología – UBA propuso una mirada diferente: “Inteligencia Artificial y Ética. Un debate filosófico”.

Hay que entender que siempre hay un problema ético en la tecnología, como el ejemplo del auto autónomo: ¿A quién debe matar un vehículo autónomo en caso de un accidente inevitable? ¿Debe primar a los pasajeros o a los peatones?

El Lic. Ierardo hizo una profunda reflexión: “la IA se ha independizado del ser humano como una trascendencia divina. Sin una actitud crítica, los seres humanos le damos un carácter supremo a la tecnología”.

Son temas que nos interpelan tanto a legisladores, militares, científicos, filósofos, como a sociedad civil. No hay una respuesta simple, pero claramente el futuro ya llegó y no podemos hacernos los desentendidos.

Desde acá se pueden bajar el trabajo sobre ARMAS BASADAS EN IA: ALGUNAS CUESTIONES ÉTICAS realizado por la Dra. María Vanina Martínez y Ricardo Oscar Rodríguez Departamento de Computación. FCEyN-UBA Instituto de Ciencias de la Computación. UBA-CONICET: ¡Bajar Acá! 

Organizadores del Seminario:

Sehlac. La Red de Seguridad Humana para América Latina y el Caribe (Sehlac) es una red de trabajo sobre Desarme Humanitario constituida en 2009, que tiene presencia en casi todos los países de la región a través de sus miembros permanentes y aliados. (www.sehlac.org)

StopKIllerRobots. La Campaña Stop Killer Robots fue fundada en octubre del 2012 y es una red global de organizaciones de la sociedad civil que trabaja para prohibir las armas completamente autónomas y mantener el control humano sobre la fuerza.

CEPI. Es el Centro de Estudios en Política Internacional de la Facultad de Ciencias Sociales de la UBA.