Zemari Ahmadi, de 43 años, prestaba ayuda humanitaria en una ONG en Kabul. El 29 de agosto de 2021, estaba descargando su furgoneta delante de su casa, en un barrio humilde a las afueras de la ciudad afgana, ayudado por nueve miembros de su familia, siete de ellos niños, cuando un dron del ejército norteamericano les disparó un misil. Todos murieron. Nadie fue castigado por el «terrible error», tal y como fue descrito por el alto mando a cargo de la operación. Según explicaron a la prensa los militares, teniendo en cuenta los datos de que disponían en ese momento, fue «razonable» concluir que ese vehículo estaba ocupado por terroristas. La posterior investigación de las Fuerzas Aéreas de EE. UU. determinó que no había habido por su parte «violación de la ley, negligencia o incumplimiento del deber». La decisión fue tomada en base a un programa de inteligencia artificial que apuntó que había una «certeza razonable» de que aquel era su objetivo. Y, claro, no se puede pedir explicaciones a unos algoritmos, ¿o sí?
«Cuando dejamos las decisiones en manos de programas de deep learning y algo sale mal, es imposible saber en qué punto del proceso está en problema. El deep learning funciona en base a pura estadística y a ingentes cantidades de datos. Y no permite conocer desde fuera cuáles han sido las razones ni los pasos empleados para tomar una decisión», dice a MUY el programador Justo Rivera. Es lo mismo que ha ocurrido en los accidentes fatales que ha habido con vehículos Tesla. «Los coches autónomos están entrenados para responder a una serie de circunstancias más o menos habituales. Pero, cuando tiene lugar un edge case —una situación con muy pocas probabilidades de ocurrir—, pueden actuar de cualquier manera. Igual da de pronto un volantazo y atropella a un peatón, o se estrella contra un árbol, como ya ha pasado», añade.
Aunque hay técnicas de Inteligencia Artificial (IA) en las que es, más sofisticadas, no pueden explicar por qué actúan de una forma y no de otra. Están formadas por métodos matemáticos que se entrenan para que aprendan por sí mismos. A veces, incluso, se autoentrenan. Esa es la razón por la que los resultados pueden ser impredecibles. Según nos explica Rivera, «la IA se programa con un objetivo — como puede ser eliminar a terroristas del ISIS—, pero es una tecnología que no entiende de ética, ni sabe discernir cuándo los medios no justifican el fin». Algo así como una especie de Maquiavelo informático que carece de sentido común y capacidad para adaptarse a diferentes contextos.
