¿Cuáles son los problemas de su empresa en materia de IA?

por Entorno e Innovación

El “Ethical Nightmare Challenge” (ENC) es un marco de trabajo que puede integrarse con programas existentes de gestión de riesgos de IA.

A

ntes de que la IA generativa irrumpiera en escena a finales de 2022, las empresas seguían un enfoque más o menos estándar para gestionar los riesgos que planteaba la IA: desarrollaban programas de riesgo ético en materia de IA (también llamados programas de IA responsable o de gobernanza de la IA).

Estos programas eran diseñados por ejecutivos y se enfocaban principalmente en redactar e implementar políticas de IA a nivel empresarial, destinadas a explicar cómo la organización cumpliría con sus valores éticos en materia de IA (o principios o pilares, como también se les conoce). Cuando apareció la IA generativa, las organizaciones actualizaron sus programas para adaptarse a la nueva tecnología. Ahora que los agentes de IA están ganando terreno, es probable que la mayoría intente actualizarlos de nuevo.

Eso sería un error. El enfoque estándar de la IA responsable está fundamentalmente roto.

No llego a esta conclusión a la ligera. Es el resultado de observar cómo ha evolucionado el panorama de la IA de tal forma que se ha creado un escenario de riesgos realmente complejo.

El enfoque estándar es demasiado lento, ambiguo y difícil de comunicar. En lugar de centrarse en valores y políticas, las empresas estarían mejor si se enfocaran en sus peores escenarios posibles: sus problemas éticos relacionados con la IA. Esto se debe a que este enfoque les permite aplicar una metodología novedosa y de rápida implementación que funciona para todo, desde IA limitada hasta la gestión de agentes de IA.

Durante el último año, he desarrollado un marco de trabajo que puede ponerse a prueba y escalarse rápidamente, y que además puede integrarse con programas existentes de gestión de riesgos de IA. He aquí cómo funciona.

El marco de trabajo

El “Ethical Nightmare Challenge” (ENC) plantea tres preguntas:

— ¿Cuáles son los problemas éticos de su organización en relación con la IA?

— ¿Qué recursos desarrollará para evitar esos problemas?

— ¿Cómo capacitará a su gente para utilizar esos recursos de manera efectiva?

Implementación del marco de trabajo

Una vez identificados sus problemas, es momento de pasar a la acción. Esto se logra creando equipos de Ethical Nightmare Challenge. Estos equipos pueden crearse en cualquier nivel de la organización y en cualquier momento, y son pequeños (por ejemplo, de cinco a ocho personas) y multifuncionales (con al menos un perfil tecnológico). Lo más importante es que deben ser ágiles.

La misión central de cada equipo ENC es trabajar en torno a estas tres preguntas. Estos equipos participan en la resolución colaborativa de problemas relacionados con los posibles problemas en materia de IA que han identificado. Cuando las tres preguntas se repiten de manera consistente en todos los niveles de una organización (juntas directivas, alta dirección, departamentos, equipos de proyecto y colaboradores individuales), se crea un lenguaje compartido que hace posible la comunicación y la colaboración entre todos esos niveles.

La naturaleza multifuncional de estos equipos es esencial para su éxito. Un científico de datos puede identificar fuentes técnicas de posibles problemas que un especialista en marketing jamás vería. Un profesional de marketing entiende el comportamiento del consumidor de maneras que permiten identificar ciertos riesgos técnicos que los ingenieros podrían pasar por alto. Un diseñador de producto puede detectar formas en que las cosas podrían salir mal y que resultarían invisibles para el área legal.

Integración del marco de trabajo

Las políticas existentes, los comités de riesgo y los marcos de gobernanza no desaparecen bajo el enfoque ENC: se convierten en recursos de los que los equipos ENC pueden apoyarse.

Un comité de riesgos de IA ya existente, en lugar de ser la primera línea de defensa para cada caso de uso de IA de alto riesgo, se convierte en una instancia excepcional, convocada cuando un equipo ENC a nivel de proyecto ha identificado un problema que no puede mitigar adecuadamente, o cuando el nivel de riesgo es lo suficientemente alto como para justificar una revisión de alto nivel. Esto es operativamente crucial: a medida que aumenta la adopción de IA, también aumentan los casos de alto riesgo, convirtiendo al comité de riesgo en un cuello de botella para la innovación mientras los equipos esperan ser evaluados y recibir dirección. La solución es crear una primera línea de defensa más capaz mediante la capacitación ENC.

© 2026 Harvard Business School Publishing Corp. | De: hbr.org  |  Distribuido por: The New York Times Syndicate.

Artículo en inglés

Before generative AI burst onto the scene in late 2022, companies took a more or less standard approach to managing the risks introduced by artificial intelligence: They developed AI ethical risk (or Responsible AI or AI Governance) programs. These programs were designed by executives and focused primarily on writing and implementing enterprisewide AI policies that are meant to explain how the organization will live up to its AI ethics values (or principles or pillars, as they are also called). When generative AI showed up, organizations updated their programs to accommodate the new technology. Now that AI agents are gaining traction, most will likely try to update yet again.

That would be a mistake. The standard approach to Responsible AI is fundamentally broken.

I do not come to this conclusion lightly. It is the result of seeing how the AI landscape has evolved in ways that create a diabolically complex risk landscape.

The standard approach is too slow, too vague and too hard to communicate. Instead of focusing on values and policy, companies would be better served by focusing on their worst-case scenarios — their AI ethical nightmares. That’s because this focus allows them to apply a novel, rapidly implementable approach that works for everything from narrow AI to governing AI agents.

Over the past year, I’ve developed a framework that can be rapidly piloted and scaled, and can integrate with existing AI risk programs. Here’s how it works.

THE FRAMEWORK

The Ethical Nightmare Challenge asks three questions:

— What are the ethical nightmares of your organization as they pertain to AI?

— What resources will you build to avoid those nightmares?

— How will you train your people to use those resources effectively?

IMPLEMENTING THE FRAMEWORK

With your nightmares identified, it’s time to implement. This is done by creating Ethical Nightmare Challenge, or ENC teams. These teams can be created at any level of the organization and on any timeline, and are small (say, five to eight people) and cross functional (with at least one technologist). Importantly, they should be fast.

The core mission of each ENC team is to work through the three questions. They are engaged in collaborative problem solving around the potential AI nightmares they’ve identified. When the three questions are echoed consistently at every level of an organization — board, C-suite, department, project team, individual contributor — they create a shared language that makes communication and collaboration across all of those levels possible.

The cross-functionality of these teams is essential to their success. A data scientist can identify technical sources of nightmares that a marketer would never see. A marketer understands consumer behavior in ways that make certain technical nightmares legible that engineers might miss. A product designer can see ways that things can go wrong that are invisible to legal.

INTEGRATING THE FRAMEWORK

Existing policies, risk boards and governance frameworks don’t disappear under the ENC approach — they become resources that ENC teams can draw on.

An existing AI risk board, rather than being the first line of defense for every high-risk AI use case, becomes the exception, called upon when a project-level ENC team has identified a nightmare it cannot adequately mitigate, or when the stakes are high enough to warrant senior-level review. This is operationally crucial: as AI adoption increases, high risk cases increase as well, turning the risk board into an innovation bottleneck as teams wait to be reviewed and receive direction. Creating a more capable first line of defense through ENC training is the solution.

Autor

  • Es autor de "The Ethical Nightmare Challenge and Ethical Machines". También es fundador y CEO de Virtue, donde trabaja con organizaciones para implementar rápidamente esquemas de gobernanza de inteligencia artificial para agentes de IA.

    Ver todas las entradas

Sobre el Autor

Es autor de "The Ethical Nightmare Challenge and Ethical Machines". También es fundador y CEO de Virtue, donde trabaja con organizaciones para implementar rápidamente esquemas de gobernanza de inteligencia artificial para agentes de IA.