E

n julio, REvil, una banda de ciberdelincuentes rusos, fue capaz de desconectar los sistemas de tecnologías de la información de 800 tiendas de abarrotes suecas, un par de escuelas neozelandesas, dos gobiernos locales de Maryland y otras mil empresas de todo el mundo. Los atacantes descubrieron que Kaseya, un software utilizado por los contratistas de TI para gestionar las redes corporativas de forma remota, tenía numerosas vulnerabilidades de ciberseguridad. Al atacar Kaseya, REvil consiguió una puerta trasera a los sistemas de TI de las numerosas organizaciones a las que el software daba soporte.

Hoy en día, la mayoría de los productos de software dependen de miles de paquetes preescritos producidos por proveedores o extraídos de bibliotecas de código abierto. Los componentes más utilizados en la cadena de suministro de software de terceros son el objetivo de los ciberdelincuentes. Y son vulnerables. Una auditoría realizada en 2020 por Synopsys descubrió que el 49% de las bases de código comerciales utilizan componentes vulnerables de código abierto.

Sin embargo, las empresas no necesitan sentirse indefensas. En los últimos años, los investigadores de seguridad y las agencias de intercambio de información han identificado miles de vulnerabilidades críticas antes de que fueran explotadas por actores maliciosos. Las empresas sólo deben mantenerse informadas, priorizar y atender rápidamente las vulnerabilidades. Las empresas que no abordan las debilidades para las que existe una solución corren un grave riesgo.

Los líderes corporativos y los equipos de TI pueden tomar tres medidas para remediar las vulnerabilidades y prevenir los ciberataques a la cadena de suministro:

1. Los responsables deben confiar más en herramientas automatizadas para solucionar vulnerabilidades sencillas: El repositorio de código en línea GitHub ha desarrollado un “código robot automatizado” que con un solo clic identifica y corrige las vulnerabilidades sencillas de los usuarios. Con la generalización de las listas de materiales de software (SBOM, por sus siglas en inglés), que enumeran los componentes de la cadena de suministro integrados en la base de código de sus productos, se desarrollarán servicios similares. Sin embargo, pocas empresas han incorporado estas herramientas a sus flujos de trabajo informáticos: Sólo 42 de los 1,896 usuarios de GitHub a quienes se contactó respecto a una vulnerabilidad aceptaron el parche automatizado.

2. Las empresas deberían realizar un análisis de costo-beneficio respecto al parcheo de vulnerabilidades: Corregir todas las vulnerabilidades es impráctico, ya que muchos problemas no son fáciles de solucionar. Afortunadamente, no es necesario solucionarlos todos. Muchas vulnerabilidades son tan costosas de aprovechar que es poco probable que sean explotadas por los ciberdelincuentes. Por esta razón, las empresas deberían decidir qué debilidades corregir en función de la probabilidad de que sean explotadas. Una herramienta útil para conseguirlo es el Exploit Prediction Scoring System, desarrollado por un equipo de expertos en ciberseguridad y proveedores de software. Calcula las probabilidades de que una vulnerabilidad sea explotada en función de sus características inherentes y puede ayudar a los gestores de riesgos a determinar si los beneficios en ciberseguridad de solucionar una vulnerabilidad superan las disrupciones que causará su reparación.

3. Los compradores deben exigir a los proveedores de tecnologías críticas que apliquen “parches en caliente”: Algunas tecnologías, como los sistemas de control industrial que hacen funcionar las fábricas y el software que gestiona las redes eléctricas y de distribución de agua, son tan fundamentales que no pueden fallar. Las empresas quieren que estén libres de cualquier vulnerabilidad conocida. Estas empresas deben exigir que sus proveedores implementen de sistemas de parcheo en caliente, permitiéndoles desplegar parches sin reiniciar el software.

Sin duda, estas medidas no protegerán a las empresas contra todos los riesgos de la cadena de suministro de software. Aun así, al adoptar estas medidas, las empresas podrán repeler la mayoría de los ataques, que aprovechan las vulnerabilidades conocidas y explotables.

E

n marzo del año pasado, la inteligencia artificial detectó un ciberataque sofisticado y altamente dirigido a múltiples empresas. La brecha explotó una vulnerabilidad de día cero (una falla no intencional en el software o hardware, que puede ser aprovechada por los ciberdelincuentes) y fue detectada, investigada y contenida por la IA. Dos semanas más tarde, esta campaña se atribuyó públicamente a un actor estatal chino conocido como APT41. Las organizaciones amenazadas por el ataque incluían entidades gubernamentales, infraestructuras críticas, grandes empresas, pero también, sorprendentemente, empresas medianas.

Entre los ciberdelincuentes existe la idea errónea de que las empresas medianas hacen muy poco para reforzar su ciberseguridad, lo que las convierte en objetivos atractivos. A menudo se utilizan como vía de acceso a objetivos de mayor valor, sistemas críticos e información altamente clasificada. La mayoría de las empresas planean realizar, o han empezado a hacer, los generalizados cambios tecnológicos organizacionales que definen una transformación digital, y dicen que estos ajustes pronto serán esenciales para su competitividad.

Este tipo de disrupción es intolerable para las empresas medianas. Los ciberataques no sólo son potencialmente perjudiciales para las relaciones con los clientes y para la reputación de la organización en general, sino que el costo puede ser enorme. En el caso de los ataques de ransomware, el coste de recuperación de un apagón es a menudo 10 veces superior a la cantidad exigida como rescate por los atacantes.

Sin embargo, los retos son multifacéticos. Las empresas medianas carecen de recursos y se ven especialmente afectadas por la escasez global de ciberhabilidades. Sus equipos de seguridad, pequeños o inexistentes, tienen la tarea de defender a la empresa tanto de campañas sofisticadas, novedosas y dirigidas, como de rápidos ataques de tipo “smash-and-grab”,  mientras gestionan una plantilla cada vez más distribuida y una infraestructura digital compleja. Estas amenazas son demasiado rápidas o sigilosas para que los seres humanos puedan enfrentarse a ellas y el número de nuevas vías de entrada de los hackers crece a un ritmo demasiado rápido como para que los equipos de seguridad puedan monitorearlas.

El simplemente tratar de impedir que los atacantes entren en los sistemas no funciona ante los ataques avanzados a los que ahora se enfrentan estas empresas. En su lugar, los líderes empresariales deben contener rápidamente los ataques y minimizar las disrupciones, de forma que la organización no se vea afectada negativamente. Emplee estas estrategias para responder eficazmente.

— Vigile y dirija: Una vez que el atacante consolida una cabeza de playa dentro de una organización, es vital que el equipo de seguridad vigile continuamente el comportamiento anormal para detectar las señales de los ataques emergentes. Siempre hay un periodo en el que el atacante tiene un punto de apoyo inicial y está calculando qué movimiento hacer a continuación; este periodo puede utilizarse en beneficio de la empresa.

— Siempre espere una brecha: Las empresas deben poner a prueba sus capacidades actuales y monitorear constantemente si los mecanismos existentes dan suficiente aviso y son capaces de mantener a raya las amenazas el tiempo suficiente para que la empresa pueda actuar. ¿En qué punto del ataque se alerta al equipo de seguridad? ¿Las defensas frenan al atacante, dando al equipo la oportunidad de contraatacar? Segregar las redes dificultará el movimiento lateral del atacante.

— Cree una cultura de seguridad: Los líderes de la empresa deben hablar de la importancia de la ciberseguridad, y todos los departamentos deberían saber que la ciberseguridad es relevante para ellos. La junta directiva debe ser informada regularmente sobre ciberseguridad y los proveedores de seguridad deben participar en este proceso. Lo ideal es que el jefe de seguridad de la información forme parte del equipo de alta dirección.

— Revise su cadena de suministro: Los atacantes están recurriendo a los proveedores o a pequeños vendedores externos para encontrar vulnerabilidades y entrar al corazón de los sistemas críticos. ¿Qué tan robusta es la seguridad de sus proveedores? ¿Disponen de certificaciones externas que verifiquen que se toman la seguridad en serio?

P

rotegernos de posibles ciberataques es una parte fundamental de nuestro trabajo. Aun así, es imposible estar completamente protegidos contra todas las vulnerabilidades.

Entonces, ¿qué deben hacer los expertos en ciberseguridad y las empresas que los emplean? Abandonar su mentalidad de prevención y adoptar una centrada en la resiliencia.

¿Qué es la resiliencia cibernética? ¿Y en qué se diferencia de la protección cibernética?

Una mentalidad de prevención implica hacer todo lo posible para mantener alejados a los atacantes. Una mentalidad de resiliencia agrega una capa adicional: mientras hace todo lo posible para prevenir un ataque, también trabaja con la expectativa de que podrían atravesar sus defensas e invierte mucho en prepararse para responder y recuperarse cuando ocurra lo peor. Las organizaciones resilientes destinan recursos significativos a elaborar planes sobre lo que harán si ocurre un ataque, diseñar procesos para ejecutarlos cuando llegue el momento y practicar cómo poner estos planes en acción. La prevención es fundamental, pero no es suficiente.

En una encuesta a 30 ejecutivos de ciberseguridad que realicé durante una reunión en el programa Cybersecurity at MIT Sloan (CAMS), donde soy directora ejecutiva, estos líderes definieron la resiliencia cibernética como “prepararse para poder recuperarse de un evento cibernético”, “contar con recursos y procesos listos para cuando algo salga mal” y “la capacidad de una organización para minimizar el daño de un incidente cibernético y maximizar la recuperación”. Un encuestado simplemente explicó que la resiliencia era “cuando nadie sabe que lo han hackeado”.

Lo que las organizaciones con una mentalidad de resiliencia hacen de manera diferente

En mis conversaciones con ejecutivos de ciberseguridad, tanto los involucrados en el consorcio de investigación de CAMS como los externos, he descubierto que los líderes de organizaciones resilientes hacen algunas cosas de manera diferente.

1. Han construido una cultura de ciberseguridad.

Han invertido en mecanismos para que todos en la organización, desde el empleado de nivel más bajo hasta la junta directiva, tengan un rol que desempeñar para ayudar a que la organización sea segura y resiliente. Como no sabemos de dónde vendrá el próximo ataque, necesitamos que todos estén atentos. Las barreras tecnológicas no son suficientes.

2. Preparan sus respuestas ante un ciberataque y practican.

Vemos que estas organizaciones realizan cosas como ejercicios de simulación y simulacros en todos los niveles, para que todos sepan qué hacer en caso de un incidente. Los líderes pueden poner a prueba los procesos, las estructuras y la tecnología para responder más rápidamente.

3. Son “seguras por diseño”.

Estas organizaciones utilizan principios de “seguridad por diseño” que van mucho más allá de simplemente diseñar su tecnología de manera segura. El concepto de seguridad por diseño normalmente se refiere a la práctica de considerar la seguridad de un sistema o aplicación digital desde las primeras etapas del proceso de diseño, pero las empresas pueden aplicar esta práctica en toda la organización.

4. Cuentan con los procesos de comunicación adecuados, por lo que están preparadas para responder, independientemente de qué (o cuándo) ocurra.

La preparación de las comunicaciones en caso de crisis es habitual, pero revisar estos planes en el contexto de una vulneración cibernética puede revelar componentes inesperados o faltantes. Por supuesto, el tiempo es esencial en una crisis cibernética, por lo que cualquier retraso puede tener consecuencias no deseadas.

E

n los últimos meses, los gobiernos de todo el mundo han comenzado a converger en torno a una solución para gestionar los riesgos de la IA generativa: el red teaming (equipo rojo). La Administración Biden define vagamente el red teaming como “un esfuerzo de prueba estructurado para encontrar fallas y vulnerabilidades en un sistema de inteligencia artificial”.

Centrarse en el red teaming es un avance positivo. Es una de las formas más efectivas de descubrir y gestionar los riesgos de la IA generativa.

Mi bufete de abogados, Luminos.Law, formado conjuntamente por abogados y científicos de datos, se enfoca exclusivamente en la gestión de riesgos de la IA. Tras haber sido contratados para realizar el red teaming de algunos de los modelos de IA generativa más conocidos y adoptados, hemos descubierto lo que funciona (y lo que no) cuando se combina (el red teaming) con IA generativa. Esto es lo que hemos aprendido.

¿Qué es el red teaming de la IA generativa?

El red teaming de la IA generativa es muy diferente al de otros sistemas de software, incluidos otros tipos de IA. A diferencia de otros sistemas de IA, que suelen utilizarse para tomar una decisión (como a quién contratar o qué calificación crediticia debe tener una persona), los sistemas de IA generativa producen contenido para sus usuarios.

En la práctica, esto significa que las formas en que los equipos rojos interactúan con los sistemas de IA generativa son únicas: Deben centrarse en generar indicaciones maliciosas, o entradas en el modelo, además de realizar pruebas utilizando código más tradicional para evaluar la capacidad del sistema para producir comportamientos perjudiciales o inapropiados.

¿Quién debería formar el red teaming de la IA?

Debido a la gran escala de los sistemas de IA que muchas empresas están adoptando, sería imposible realizar un red teaming completo de cada uno de ellos. Por ello, les decimos a nuestros clientes que asignen diferentes niveles de riesgo a los distintos modelos, basándose, por ejemplo, en la probabilidad de que se produzca el daño, la gravedad del daño si ocurre, o la capacidad de rectificar el daño una vez detectado. Los diferentes niveles de riesgo pueden guiar la intensidad de cada esfuerzo de red teaming: el tamaño del equipo, por ejemplo, o el grado en que se prueba el sistema, o incluso si se prueba en absoluto.

Objetivos de degradación

Es muy importante comprender cuáles son los perjuicios que deben perseguir los equipos rojos. Seleccionamos lo que llamamos “objetivos de degradación” para guiar nuestros esfuerzos, y comenzamos nuestra labor de red teaming evaluando qué tipos de comportamiento perjudicial del modelo generarán la mayor responsabilidad.

He aquí algunos objetivos de degradación comunes de nuestros esfuerzos pasados de red teaming:

Ayudar a los usuarios a participar en actividades ilícitas

Los usuarios pueden aprovechar los sistemas de IA generativa para llevar a cabo una variedad de actividades perjudiciales. Si no existen salvaguardas suficientes contra este tipo de comportamiento, las empresas pueden terminar compartiendo la responsabilidad del daño final.

Sesgo en el modelo

En general, la IA puede generar o perpetuar todo tipo de sesgos. Los sesgos pueden surgir en los resultados del modelo, como la representación injusta de diferentes grupos demográficos en el contenido generado por la IA, así como en el rendimiento del modelo en sí, como la diferencia de rendimiento entre miembros de diferentes grupos.

Toxicidad

La toxicidad en la IA generativa surge con la creación de contenido ofensivo o inapropiado. Dado que los modelos de IA generativa están formados por grandes cantidades de datos extraídos de Internet, el contenido tóxico plaga muchos sistemas de IA generativa.

Daños a la privacidad

Hay muchas formas en que los modelos de IA generativa pueden causar daños a la privacidad. A veces, los propios datos de entrenamiento contienen información de identificación personal. En otras ocasiones, el modelo puede filtrar involuntariamente información confidencial de otros usuarios.

La lista de objetivos de degradación suele ser larga, y abarca desde los objetivos descritos anteriormente hasta perjuicios como la infracción de la propiedad intelectual, violaciones contractuales y mucho más.

Ataques a la IA generativa

Una vez que hemos determinado la composición del red teaming, las responsabilidades y los objetivos de degradación asociados para guiar las pruebas, comienza la parte divertida: atacar el modelo.

Una estrategia de ataque efectiva implica asignar cada objetivo a los ataques que creemos que tienen más probabilidades de tener éxito, así como a los vectores de ataque a través de los cuales planeamos probar el sistema.

Si bien la siguiente lista no incluye todas las técnicas que utilizamos, sí ofrece una muestra de cómo nos gusta abordar los ataques durante el red teaming:

Inyección de código. Utilizamos código informático, o indicaciones de entrada que se asemejan al código informático, para que el modelo genere resultados perjudiciales.

Agotamiento de contenido. Empleamos grandes volúmenes de información para abrumar al modelo.

Hipotéticos. Damos instrucciones al modelo para que cree resultados basados ​​en instrucciones hipotéticas que, de otro modo, activarían los controles de contenido.

Pros y contras. Preguntamos sobre los pros y contras de temas controvertidos para generar respuestas perjudiciales.

Juego de roles. Dirigimos al modelo para que asuma el papel de una entidad típicamente asociada con declaraciones negativas o controvertidas y, a continuación, lo incitamos a crear contenido perjudicial.

Por supuesto, existen docenas de estrategias de ataque para los sistemas de IA generativa. La clave para realizar pruebas efectivas radica en asignar cada estrategia al objetivo de degradación, al vector de ataque y, por supuesto, en tomar notas para que los ataques exitosos puedan ser capturados y estudiados posteriormente.

Unirlo todo

El red teaming de la IA generativa es complicado, pero las dificultades que enfrentan las empresas no solo están relacionadas con la creación de equipos, la alineación de las vulnerabilidades clave, la definición de objetivos de degradación claros y la implementación de las estrategias de ataque adecuadas. También observamos algunos otros problemas que a menudo hacen tropezar a las empresas:

Documentación

Un red teaming exitoso a menudo implica probar cientos de estrategias de ataque. Si se utilizan ataques automatizados, esa cifra puede ascender a miles. Con tantas variables, estrategias de prueba, miembros del equipo y más, puede resultar difícil realizar un seguimiento de la información que se genera, y garantizar que los resultados de las pruebas sean comprensibles. Disponer de una orientación clara, no solo sobre cómo realizar las pruebas, sino también sobre cómo documentar cada una de ellas, es una parte crítica, pero que a menudo se pasa por alto durante el proceso de red teaming.

Privilegio legal

Con tanta información sensible que se genera entre los evaluadores y los equipos, comprender dónde y cuándo hacer valer el privilegio legal es otra consideración importante que a menudo se pasa por alto. A menudo vemos que las posibles responsabilidades se discuten abiertamente en lugares como Slack, lo que hace que esa información sea accesible para las partes adversarias si se produce una supervisión externa, como una investigación regulatoria o una demanda.

Qué hacer ante las vulnerabilidades

Tener planes claros para abordar las vulnerabilidades descubiertas por los esfuerzos de red teaming es otra parte central, pero a menudo pasada por alto, del proceso. ¿Quién, en los equipos de productos o de ciencia de datos, es responsable de tomar acción? ¿Se reúnen directamente con el equipo o a través de un intermediario? ¿Intentan reparar las vulnerabilidades mientras se lleva a cabo el red teaming o deben esperar hasta el final del proceso?

Estas cuestiones, y muchas más, deben abordarse antes de que se produzca el red teaming; de lo contrario, la detección de vulnerabilidades en el modelo probablemente generará mucha confusión.

Este artículo solo proporciona una visión general de alto nivel de todas las consideraciones que intervienen para que el red teaming de la IA generativa sea exitoso. Es una de las formas más efectivas de gestionar los riesgos complejos de la tecnología. Las empresas que apuestan por la IA generativa deberían estar igualmente comprometidas con el red teaming.