La verdadera amenaza de la IA: fallos de diseño, no intenciones maliciosas
Los principales desafíos de seguridad de la IA provienen de fallos, no de intenciones maliciosas. El artículo explica por qué los errores, y no la maldad, generan enormes consecuencias.
Los verdaderos retos de seguridad de la IA: más allá de los robots asesinos
Los principales retos de seguridad de la IA se derivan de errores, no de intenciones maliciosas. La seguridad de la IA no es un concepto futurista. Ya afecta a la vida diaria de formas sutiles pero graves. No estamos hablando de que la IA se vuelva malvada. Nos referimos a que la IA cometa errores con enormes consecuencias.
Piense en la construcción de un puente. Usted no teme que se derrumbe por malicia. En cambio, le preocupan los defectos de diseño, los fallos de los materiales o las tensiones inesperadas. Estos lo hacen poco fiable e inseguro. La IA es similar. Sus fallos se derivan de interacciones inesperadas, datos de entrenamiento sesgados o, sencillamente, de no funcionar como se esperaba en el mundo real.
Los fallos ocultos de la IA
El 18 de marzo de 2018, un vehículo de prueba autónomo de Uber atropelló y mató a Elaine Herzberg en Tempe, Arizona. Este trágico incidente puso de manifiesto un problema central. Los sistemas de IA, incluso los avanzados, pueden fallar en escenarios complejos del mundo real. El software del vehículo clasificó inicialmente a Herzberg como ciclista. Luego la identificó como un objeto desconocido, sin predecir su trayectoria correctamente.
La fiabilidad de la IA significa que un sistema de IA cumple de manera consistente su función prevista en diversas condiciones. Se trata de la previsibilidad. Se trata de la consistencia. La seguridad de la IA, por el contrario, se centra en prevenir daños. Esto incluye lesiones físicas, pérdidas financieras o discriminación injusta. Un sistema puede ser fiable incluso en sus errores, por ejemplo, tomando decisiones sesgadas de forma consistente.
Por qué la IA falla
Los sistemas de IA aprenden de patrones en grandes cantidades de datos. Este proceso de aprendizaje causa muchos problemas de seguridad y fiabilidad. Si los datos son defectuosos, la IA hereda esos defectos.
En 2018, las investigadoras Joy Buolamwini y Timnit Gebru publicaron el estudio “Gender Shades” del MIT Media Lab. Demostraron que los sistemas de reconocimiento facial de las principales empresas tecnológicas tenían tasas de error mucho más altas para mujeres de piel más oscura. Esto ocurría en comparación con hombres de piel más clara. Esto se debía al sesgo de datos: los conjuntos de datos de entrenamiento contenían menos imágenes de rostros diversos. La IA aprendió a reconocer ciertas demografías mejor que otras.
Otro desafío es la falta de explicabilidad, a menudo llamada el “problema de la caja negra”. Los modelos complejos de IA, especialmente los sistemas de aprendizaje avanzados, toman decisiones de un modo que los humanos no pueden comprender. Vemos la entrada y la salida, pero rastrear los pasos intermedios es difícil. La Agencia de Proyectos de Investigación Avanzados de Defensa (DARPA) lanzó su programa de IA Explicable (XAI) para solucionar esto. Quieren crear sistemas de IA que puedan explicar su razonamiento, fiabilidad e implicaciones.
El 18 de marzo de 2018, un vehículo de prueba autónomo de Uber, un Volvo XC90 modificado, atropelló y mató a Elaine Herzberg en Tempe, Arizona. Este trágico incidente destacó los desafíos críticos de seguridad de los sistemas autónomos que operan en escenarios complejos del mundo real, demostrando cómo los errores de la IA pueden tener consecuencias devastadoras. (Fuente: theverge.com)
Los sistemas de IA también pueden ser vulnerables a entradas manipuladas. Estos son cambios sutiles, a menudo imperceptibles, en los datos de entrada, diseñados para engañar a una IA. Un estudio de 2014 coescrito por Ian Goodfellow demostró esto. Añadir un ruido minúsculo y específicamente diseñado a una imagen de panda podría hacer que un sistema de aprendizaje la clasificara como un gibón con un alto grado de confianza. Esto muestra una falta de resiliencia. La IA puede ser fácilmente engañada por entradas que se salen de su distribución de entrenamiento esperada. Tales vulnerabilidades ponen en riesgo los sistemas de conducción autónoma o de seguridad.
Riesgos reales de la IA poco fiable
La IA poco fiable o insegura tiene consecuencias reales que se manifiestan en sectores críticos. En 2016, ProPublica investigó el algoritmo COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) utilizado en los tribunales de EE. UU. Descubrieron que tenía el doble de probabilidades de etiquetar falsamente a los acusados negros como futuros delincuentes. Esto, en comparación con los acusados blancos. Por el contrario, etiquetaba falsamente a los acusados blancos como de bajo riesgo con más frecuencia que a los acusados negros. Esto demuestra cómo el sesgo en las reglas del sistema puede perpetuar y amplificar las desigualdades sociales existentes dentro del sistema de justicia.
En la atención médica, la IA promete avances, aunque también conlleva riesgos. Las primeras versiones de IBM Watson Health, por ejemplo, fueron objeto de críticas. Proporcionó recomendaciones de tratamiento contra el cáncer inseguras e incorrectas. Un informe de STAT News de 2018 detalló casos en los que los médicos encontraron las recomendaciones de la IA “tremendamente inexactas” o potencialmente peligrosas. Esto se debió en parte a la limitación de los datos de entrenamiento y a la dependencia de casos de pacientes hipotéticos. Esto subraya la necesidad de pruebas y validaciones rigurosas antes de implementar la IA en aplicaciones de riesgo vital.
Los sistemas autónomos, desde vehículos hasta drones, presentan riesgos directos para la seguridad física. Más allá del incidente de Uber, predecir el comportamiento humano y las variables ambientales sigue siendo un gran obstáculo. Incluso pequeños errores en la percepción o la toma de decisiones pueden ser fatales. Es como un cirujano experto que utiliza instrumentos defectuosos. La experiencia existe, pero las herramientas fallan.
Construyendo una IA más segura: qué estamos haciendo
Abordar la fiabilidad y la seguridad de la IA requiere un enfoque multifacético. Esto implica innovación técnica, políticas y consideraciones éticas. La Unión Europea lidera este esfuerzo, aprobando la Ley de IA de la UE en marzo de 2024. Esta regulación histórica clasifica los sistemas de IA por nivel de riesgo. Impone requisitos estrictos a las aplicaciones de “alto riesgo” como las de infraestructura crítica, atención médica o aplicación de la ley. Estos requisitos incluyen cómo se gestionan los datos, la supervisión humana, la transparencia y las evaluaciones de conformidad.
El Parlamento Europeo en Bruselas, Bélgica, es donde se aprobó la histórica Ley de IA de la UE en marzo de 2024. Esta innovadora regulación es la primera ley integral del mundo sobre inteligencia artificial, con el objetivo de garantizar la seguridad y fiabilidad de los sistemas de IA en diversos sectores. (Fuente: gettyimages.ca)
Técnicamente, estamos trabajando para mejorar la IA explicable (XAI). Investigadores como Cynthia Rudin de la Universidad de Duke abogan por modelos inherentemente interpretables. Estos son mejores que las explicaciones a posteriori de los sistemas de caja negra. Estos modelos están diseñados desde cero para ser comprensibles. Esto facilita la identificación y corrección de errores. Por ejemplo, una IA médica podría no solo predecir un diagnóstico. También podría resaltar los síntomas específicos y los aspectos clave del historial del paciente que llevaron a su conclusión.
Las pruebas de resiliencia se están convirtiendo en una práctica estándar. Esto implica realizar pruebas de seguridad proactivas de forma activa en sistemas de IA. Los expertos buscan deliberadamente encontrar fallos y detectar sus vulnerabilidades, a menudo utilizando entradas manipuladas. Esto ayuda a los desarrolladores a identificar vulnerabilidades antes de la implementación. Organizaciones como el Instituto Nacional de Estándares y Tecnología (NIST) han desarrollado marcos. Un ejemplo es el Marco de Gestión de Riesgos de IA del NIST. Estos guían a los desarrolladores en la gestión de los riesgos de la IA a lo largo de su ciclo de vida. Destaca la transparencia, la validación y la rendición de cuentas.
Finalmente, la supervisión humana sigue siendo vital, especialmente en aplicaciones de alto riesgo. No se trata de que los humanos hagan el trabajo de la IA. Se trata de proporcionar supervisión humana para la monitorización, la intervención y la responsabilidad final. Reconoce que la IA es una herramienta poderosa. Sin embargo, el juicio humano sigue siendo esencial para una implementación ética y segura. Diseñar un rascacielos no se trata solo de hacerlo alto. Se trata de la resistencia a terremotos, la seguridad contra incendios y las rutas de escape.
El futuro de la seguridad de la IA
La IA avanza rápidamente, y sus retos de fiabilidad y seguridad siguen cambiando. En noviembre de 2023, el Reino Unido fue anfitrión de la Cumbre de Seguridad de la IA en Bletchley Park. Líderes mundiales se reunieron allí para discutir los riesgos de la IA avanzada. Este evento destacó un creciente acuerdo internacional sobre la necesidad de trabajo en equipo. Si bien este evento puso de manifiesto un creciente acuerdo internacional sobre la necesidad de colaboración, el acuerdo sobre estándares globales y su aplicación sigue siendo una tarea diplomática compleja.
Un reto persistente es lograr que las medidas de seguridad funcionen para sistemas más grandes. Los modelos de IA son cada vez más grandes y de propósito general, como los que sustentan los sistemas de lenguaje avanzados. Su potencial de comportamientos inesperados o habilidades nuevas e imprevistas aumenta. Garantizar la seguridad de sistemas tan complejos es un problema muy diferente al de las IA de propósito limitado y específicas para tareas. El número de modos de fallo potenciales crece exponencialmente.
En noviembre de 2023, el Reino Unido fue anfitrión de la primera Cumbre Global de Seguridad de la IA en Bletchley Park, el sitio histórico donde los descifradores de códigos aliados descifraron el código Enigma durante la Segunda Guerra Mundial. Líderes mundiales se reunieron aquí para discutir los riesgos y la gobernanza de la IA avanzada, destacando el creciente consenso internacional sobre la necesidad de esfuerzos colaborativos en seguridad. (Fuente: reuters.com)
Otro enfoque es desarrollar mejores métodos para verificar y confirmar los sistemas de IA. Esto implica la creación de entornos de prueba rigurosos y métodos de prueba estructurados. Estos demuestran matemáticamente ciertas propiedades de seguridad de los sistemas de IA. Es un campo altamente técnico, pero vital para asegurar que la IA se comporte de manera predecible en situaciones críticas. Los investigadores también están explorando cómo la IA puede ayudarse a sí misma a ser más segura. Utilizan técnicas de IA para monitorizar, probar e incluso reparar otros sistemas de IA.
En última instancia, la seguridad futura de la IA depende de la investigación continua, la regulación proactiva y un compromiso global con el desarrollo responsable. Debemos ir más allá de las soluciones reactivas y construir la seguridad desde cero. Este esfuerzo colectivo no se trata solo de prevenir desastres. Se trata de moldear la IA para que realmente sirva a la humanidad, convirtiéndola en una fuerza para el bien, no en una fuente de daño impredecible.
Preguntas frecuentes
¿Cuál es la mayor idea errónea sobre la seguridad de la IA? Muchas personas asumen incorrectamente que la seguridad de la IA consiste principalmente en que se vuelva malvada y tome el control. El peligro real y presente reside en errores sutiles, sesgos y consecuencias no intencionadas dentro de los sistemas de IA. Estos conducen a daños o resultados injustos.
¿Puede la IA ser 100% fiable? No, lograr una fiabilidad del 100% para sistemas de IA complejos que interactúan con entornos impredecibles del mundo real es prácticamente imposible. Como cualquier tecnología, la IA opera con limitaciones inherentes y probabilidades de error. Esto es especialmente cierto cuando se enfrenta a situaciones novedosas que escapan a sus datos de entrenamiento.
¿Quién es responsable cuando la IA comete un error? Determinar la responsabilidad es un reto legal y ético complejo. A menudo recae en los desarrolladores, implementadores u operadores del sistema de IA. Esto depende de factores como la negligencia, los defectos de diseño o el mal uso. Normativas como la Ley de IA de la UE buscan aclarar esta responsabilidad.
¿Qué es la Ley de IA de la UE? La Ley de IA de la UE es una normativa pionera de la Unión Europea. Clasifica los sistemas de IA según su nivel de riesgo potencial. Impone requisitos estrictos a la IA de “alto riesgo”. Esto se centra en la transparencia, la supervisión humana, la calidad de los datos y las evaluaciones de conformidad. El objetivo es garantizar la seguridad y el uso ético en todos los estados miembros.
Un robot quirúrgico asistido por IA, como el ampliamente utilizado Sistema Quirúrgico da Vinci, ejemplifica una aplicación de IA de "alto riesgo" donde las pruebas rigurosas y la prueba matemática de seguridad son primordiales. Estos sistemas complejos requieren una supervisión meticulosa para garantizar un funcionamiento predecible y seguro durante procedimientos médicos críticos. (Fuente: robotsguide.com)
También te puede interesar:
👉 La Revolución Invisible: Explorando la Robótica en Ejemplos de la Vida Cotidiana
👉 Bots en línea: El reto de detectar su suplantación en X y Facebook
