S

i hay una constante en el mundo de la tecnología, es que cuanto más se adopta una tecnología determinada, más fallos presenta.

Dado que la respuesta ante incidentes de IA es diferente de la respuesta tradicional a incidentes en varios aspectos, los esfuerzos de respuesta ante incidentes de IA requieren sus propias políticas y procedimientos para guiar a las empresas y al personal involucrado en la gestión del incidente. Las políticas sobre incidentes de IA deben abordar los siguientes puntos.

— Crear una definición de IA.

— Identificar los daños más relevantes.

— Designar a los responsables de responder ante incidentes.

— Desarrollar un plan de contención a corto plazo.

¿Qué hacer después de identificar un incidente de IA: contención, erradicación y recuperación?

Una vez que se han identificado los incidentes, el siguiente paso es llevar a cabo una estrategia de contención a más largo plazo para evitar que el daño se extienda aún más. Estas son las preguntas críticas que dicha evaluación debe responder:

— ¿Quién está siendo perjudicado?

— ¿Cuáles son las opciones para modificar el comportamiento del sistema de IA?

— ¿Qué está causando el daño?

— ¿Pueden abordarse o rectificarse de alguna manera los daños existentes?

Una vez que el incidente ha ocurrido, es importante no solo entender quién ha sido perjudicado, sino también qué pueden hacer las empresas al respecto. Un tipo común de incidente se produce cuando se ofrecen servicios preferenciales (como descuentos en productos) solo a grupos demográficos específicos.

Cuando se han puesto en marcha y ejecutado los planes de contención, el siguiente paso consiste en intentar eliminar por completo la causa del incidente. Algunos sistemas de IA pueden ser susceptibles de ser erradicados, pero otros solo permiten una erradicación parcial, o es posible que la fuente del incidente no pueda eliminarse por completo. A grandes rasgos, existen tres formas principales de abordar o corregir el comportamiento problemático de los modelos, cada una de las cuales ha sido utilizada desde hace mucho tiempo para depurar modelos de aprendizaje automático:

1. Preprocesamiento: Se refiere a las acciones que se pueden realizar antes de que el modelo ingiera datos de entrada o sea entrenado con ellos. En algunos casos, los datos de entrenamiento no representativos pueden ser la fuente del comportamiento problemático del modelo. En ese caso, la solución consiste en volver a entrenar el modelo con datos más representativos.

2. Procesamiento interno: Este tipo de correcciones implica cambiar los pesos reales o la arquitectura del propio modelo. En ocasiones, este tipo de actualizaciones son relativamente simples, pero en la mayoría de los casos requieren un desarrollo significativo y prolongado. Rara vez he visto que este enfoque funcione en la práctica, sobre todo porque a menudo implica crear un modelo completamente nuevo.

3. Postprocesamiento: Esta es la opción más sencilla de todas y se ha utilizado ampliamente durante décadas para solucionar problemas de IA. Consiste en cambiar el comportamiento del modelo después de que el sistema ha realizado sus predicciones. Los filtros de salida, por ejemplo, pueden simplemente impedir ciertos comportamientos o evitar que se generen predicciones específicas. Por lo general, estos se presentan en forma de reglas que pueden añadirse al modelo.

Lecciones aprendidas

Una vez concluidas las actividades de respuesta, es fundamental que las empresas realicen una revisión posterior para aprender y mejorar a partir de cada incidente. Esto implica dar un paso atrás y evaluar los aciertos y las deficiencias en la forma en que se abordó el incidente.

Prevenir y responder a los riesgos debe ser un ejercicio continuo.

P

ara hacer frente a los desafíos que plantean las amenazas ambiguas, los empleados deben alzar la voz ante las primeras señales de problemas. Sin embargo, cuanto más ambigua sea una amenaza, más probable es que los empleados permanezcan en silencio. En una encuesta realizada a 436 empleados y gerentes de una empresa de consultoría en petróleo y gas, los empleados se enfrentaban frecuentemente a señales ambiguas que podrían indicar riesgos de ingeniería, dada la naturaleza de alto riesgo de actividades como la perforación, el procesamiento submarino y el control de presión.

Una y otra vez, descubrimos que los empleados tenían menos probabilidades de hablar a medida que aumentaba la ambigüedad de estas señales. A continuación, realizamos una serie de experimentos psicológicos con 1,193 empleados de diversos sectores. Descubrimos que, ante la ambigüedad, los empleados eran más propensos a ceder ante el liderazgo: En lugar de analizar el problema por sí mismos o expresar sus preocupaciones, esperaban que su jefe se hiciera cargo de la situación.

Una posible explicación es la sobrecarga cognitiva. Los empleados manejan múltiples responsabilidades, y las amenazas ambiguas requieren un esfuerzo mental considerable para evaluarlas. Como resultado, pueden cambiar su enfoque hacia tareas más manejables.

Dado que las amenazas ambiguas surgen sin señales claras de advertencia y los empleados a menudo confían en que el liderazgo las abordará, ¿cómo pueden las organizaciones alentar a los empleados a mantenerse alerta y comprometidos? Recomendamos acciones específicas en tres niveles: organizaciones, líderes y empleados.

Organizaciones: Crear una cultura de vigilancia

Las empresas pueden abordar con éxito el desafío de las amenazas ambiguas fomentando una cultura de “preocupación por el fracaso”, es decir, una mentalidad que promueva el análisis proactivo, incluso de los errores más pequeños. En nuestras entrevistas, los empleados enfatizaron la importancia de esta mentalidad, señalando que debieron haber tomado más tiempo para evaluar a fondo los riesgos. Toyota es líder en este enfoque. Su Sistema Andon (un panel de alerta visual que se activa cuando los trabajadores tiran de un cable o presionan un botón al detectar un problema en su estación) permite a los empleados detener la producción ante la primera señal de cualquier problema. En lugar de verlo como una interrupción, la empresa lo trata como una responsabilidad, reforzando una cultura donde se valoran las alertas tempranas.

Líderes: Formar a los empleados para detectar amenazas

Los líderes desempeñan un papel crucial en la preparación de los empleados para situaciones inciertas y en brindarles las habilidades necesarias para reconocer y responder ante las amenazas. Los encuestados en nuestras entrevistas destacaron cómo las pruebas estructuradas (evaluaciones sistemáticas como simulaciones, pruebas de resistencia o ejercicios controlados diseñados para evaluar vulnerabilidades y la preparación del sistema actual) podrían haber ayudado a prevenir fallos en sus organizaciones. Netflix lleva este concepto aún más lejos con la ”ingeniería del caos”, en la que se introducen fallos del sistema deliberadamente para probar la resiliencia. Sus herramientas Simian Army, en particular Chaos Monkey, interrumpen los sistemas de manera aleatoria, entrenando a los empleados para detectar vulnerabilidades y discutir las respuestas adecuadas. Al institucionalizar este tipo de formación, las empresas dotan a los empleados de habilidades para detectar amenazas en tiempo real.

Empleados: Cuestionar al liderazgo cuando sea necesario

Los empleados también desempeñan un papel en la lucha contra las amenazas ambiguas al cuestionar al liderazgo cuando sea necesario. Varios de los encuestados en nuestras entrevistas lamentaron no haber desafiado a sus gerentes cuando sospechaban de un problema, admitiendo que debieron haber insistido en una investigación más profunda. NVIDIA fomenta esta mentalidad en sus empleados al enfatizar la “honestidad intelectual”, es decir, la capacidad de decir las cosas como son, sin titubeos. Se espera que los empleados hablen, cuestionen las decisiones y propongan cambios sin temor a represalias.

Al fomentar una cultura de cuestionamiento, anticipación de riesgos y acción temprana, las empresas pueden transformar las amenazas ambiguas de un pasivo en una ventaja competitiva. En un mundo donde la disrupción es inevitable, las organizaciones que identifiquen los riesgos de forma proactiva, en lugar de reaccionar ante las crisis, serán las que se mantengan a la vanguardia.