¿Cómo preparar a su empresa para incidentes relacionados con IA?
S
i hay una constante en el mundo de la tecnología, es que cuanto más se adopta una tecnología determinada, más fallos presenta.
Dado que la respuesta ante incidentes de IA es diferente de la respuesta tradicional a incidentes en varios aspectos, los esfuerzos de respuesta ante incidentes de IA requieren sus propias políticas y procedimientos para guiar a las empresas y al personal involucrado en la gestión del incidente. Las políticas sobre incidentes de IA deben abordar los siguientes puntos.
— Crear una definición de IA.
— Identificar los daños más relevantes.
— Designar a los responsables de responder ante incidentes.
— Desarrollar un plan de contención a corto plazo.
¿Qué hacer después de identificar un incidente de IA: contención, erradicación y recuperación?
Una vez que se han identificado los incidentes, el siguiente paso es llevar a cabo una estrategia de contención a más largo plazo para evitar que el daño se extienda aún más. Estas son las preguntas críticas que dicha evaluación debe responder:
— ¿Quién está siendo perjudicado?
— ¿Cuáles son las opciones para modificar el comportamiento del sistema de IA?
— ¿Qué está causando el daño?
— ¿Pueden abordarse o rectificarse de alguna manera los daños existentes?
Una vez que el incidente ha ocurrido, es importante no solo entender quién ha sido perjudicado, sino también qué pueden hacer las empresas al respecto. Un tipo común de incidente se produce cuando se ofrecen servicios preferenciales (como descuentos en productos) solo a grupos demográficos específicos.
Cuando se han puesto en marcha y ejecutado los planes de contención, el siguiente paso consiste en intentar eliminar por completo la causa del incidente. Algunos sistemas de IA pueden ser susceptibles de ser erradicados, pero otros solo permiten una erradicación parcial, o es posible que la fuente del incidente no pueda eliminarse por completo. A grandes rasgos, existen tres formas principales de abordar o corregir el comportamiento problemático de los modelos, cada una de las cuales ha sido utilizada desde hace mucho tiempo para depurar modelos de aprendizaje automático:
1. Preprocesamiento: Se refiere a las acciones que se pueden realizar antes de que el modelo ingiera datos de entrada o sea entrenado con ellos. En algunos casos, los datos de entrenamiento no representativos pueden ser la fuente del comportamiento problemático del modelo. En ese caso, la solución consiste en volver a entrenar el modelo con datos más representativos.
2. Procesamiento interno: Este tipo de correcciones implica cambiar los pesos reales o la arquitectura del propio modelo. En ocasiones, este tipo de actualizaciones son relativamente simples, pero en la mayoría de los casos requieren un desarrollo significativo y prolongado. Rara vez he visto que este enfoque funcione en la práctica, sobre todo porque a menudo implica crear un modelo completamente nuevo.
3. Postprocesamiento: Esta es la opción más sencilla de todas y se ha utilizado ampliamente durante décadas para solucionar problemas de IA. Consiste en cambiar el comportamiento del modelo después de que el sistema ha realizado sus predicciones. Los filtros de salida, por ejemplo, pueden simplemente impedir ciertos comportamientos o evitar que se generen predicciones específicas. Por lo general, estos se presentan en forma de reglas que pueden añadirse al modelo.
Lecciones aprendidas
Una vez concluidas las actividades de respuesta, es fundamental que las empresas realicen una revisión posterior para aprender y mejorar a partir de cada incidente. Esto implica dar un paso atrás y evaluar los aciertos y las deficiencias en la forma en que se abordó el incidente.
Prevenir y responder a los riesgos debe ser un ejercicio continuo.
© 2026 Harvard Business School Publishing Corp. | De: hbr.org | Distribuido por: The New York Times Syndicate.
Artículo en inglés
If there is one constant in the world of technology, it is that the more any given technology is adopted, the more it breaks.
Because AI incident response is different from traditional incident response in a number of ways, AI incident response efforts require their own policies and procedures to guide companies and the personnel involved in responding to the incident. AI incident policies should address the following things.
— Create a definition of AI.
— Identify the most relevant harms.
— Designate incident responders.
— Develop a short-term containment plan.
WHAT TO DO AFTER IDENTIFYING AN AI INCIDENT: CONTAINMENT, ERADICATION AND RECOVERY
Once incidents have been identified, the next step is carrying out a longer-term containment strategy to stop the harm from spreading further. Here are the critical questions that such an assessment should answer:
— Who is being harmed?
— What are the options to modify the AI system’s behavior?
— What is causing the harm?
— Can existing harms be addressed or rectified in any way?
Once the incident has taken place, it is important not just to understand who has been harmed, but what companies can do about it. One common type of incident arises when preferential services, such as product discounts, are offered only to specific demographic groups.
Once containment plans have been put in place and executed, the next step lies in attempting to remove the cause of the incident entirely. Some AI systems may be amenable to eradication efforts, but other systems may only allow for partial eradication or the source of the incident may not be able to be removed at all. At a high level, there are three main ways to address or fix problematic model behavior, each of which has long been used to debug machine learning models:
— Pre-processing: This relates to things you can do before the model ingests or is trained on input data. In some instances, unrepresentative training data may be the source of problematic model behavior. In that case, the remedy is to retrain the model with more representative training data.
— In-processing: These kinds of fixes involve changing the actual weights or architecture of the model itself. Sometimes these types of updates are relatively simple, but more often than not they require a significant and time-consuming amount of development. I have rarely seen this approach work in practice, mostly because it frequently involves building an entirely new model.
— Post-processing: This is the most straightforward of all options and has been widely used to troubleshoot AI for decades. This involves changing model behavior after the system has made its predictions. Output filters, for example, can simply disallow some behavior or prevent specific predictions from being generated. These usually come in the form of rules that can be added on to the model.
LESSONS LEARNED
After the response activities conclude, it is crucial for companies to conduct a post-mortem review so they learn and improve from each incident. It consists of taking a step back and evaluating the successes and shortcomings of how the incident was addressed.
Preventing and responding to risks should be a continuous exercise.
La IA generativa podría solucionar las evaluaciones de desempeño (o empeorarlas aún más)
La IA puede alejar las evaluaciones de desempeño de las narrativas laborales y acercarlas a evidencia directa del trabajo en la práctica.
Es difícil utilizar la IA en equipo. Estas 3 prácticas pueden ayudar
He aquí tres prácticas que pueden ayudar a desarrollar la «química humano-IA en los equipos» a medida que evoluciona el lugar de trabajo.
¿Cuáles son los problemas de su empresa en materia de IA?
El “Ethical Nightmare Challenge” (ENC) es un marco de trabajo que puede integrarse con programas existentes de gestión de riesgos de IA.
