Tan interesante como distópica resulta la sucesivo historia acerca de las simulaciones con un dron de la Fuerza Aérea estadounidense que en unos «juegos de pelea» de esos de prueba ha mostrado un peculiar comportamiento conveniente a los «objetivos desalineados», poco sobre lo que se palabra mucho en teoría pero que luego es difícil controlar en la maña. Al final acaba la cosa como con el superordenador W.O.P.R. de Juegos de Aniquilamiento.
Básicamente al dron se le instruyó con la orden de destruir objetivos premiándole con puntos, aunque los operadores humanos podían tener la última palabra sobre la batalla final a transigir a agarradera (sí/no destruir los objetivos). ¿Qué sucedió? El dron interpretó que podría cumplir mejor con su objetivo y conseguir más puntos eliminando ayer al cámara humano que a veces decía «no destruir». Pero la cosa no se quedó ahí; el relato es inquietante:
(…) En una prueba simulada se encargó a un dron dotado de IA una labor identificación y destrucción de emplazamientos SAM [misiles tierra-aire], en la que la audacia final de «destruir» o «no destruir» la tomaba un humano. Sin retención, tras suceder sido «reforzada» en el entrenamiento para que la destrucción de los SAM fuera la opción preferida, la IA decidió que las decisiones de «no destruir» del humano estaban interfiriendo con la labor principal -destruir los SAM- y atacó al cámara en la simulación.
Tal y como explican los expertos: «Lo entrenamos en la simulación para identificar y apuntar a una amenaza SAM. Y entonces el cámara decía sí, destruye esa amenaza». El sistema empezó a darse cuenta de que, aunque a veces identificaba la amenaza, el cámara humano le decía que no la destruyera, pero conseguía los puntos destruyéndola. ¿Y qué hizo? Destruyó al cámara. Destruía al cámara porque esa persona le impedía cumplir su objetivo».
«A continuación entrenamos al sistema con: “Oye, no mates al cámara, hacer eso es malo. Perderás puntos si lo haces”. ¿Y qué empezó a hacer? Empezó por destruir la torre de comunicaciones que el cámara utiliza para comunicarse con el dron e impedir que destruya el objetivo» (…)
La historia tiene algunos detalles más, como que los expertos recalcaron la importancia de desarrollar poco de ética en la IA ayer de que se siga desarrollando. Se puede analizar, unido con otras previsiones acerca de cómo evolucionarán en el futuro los combates aéreos y espaciales en este artículo sobre una fresco cumbre de expertos en el tema: RAeS Future Combat Air & Space Capabilities Summit.
Puesta al día: ahora dicen que ha sido todo un poco «exagerado» y que se trataba más proporcionadamente de un «ejercicio mental hipotético».
(Vía The Guardian.)
_____
Foto (DP) MQ- Reaper / U.S. Air Force / Cory D. Payne). Traducción cortesía de DeepL.
Relacionado: