Para mitigar los riesgos de la IA generativa, aproveche el juicio colectivo de su equipo
L
a IA generativa (Gen AI) ofrece oportunidades transformadoras para el aprendizaje, el trabajo, la creatividad y la toma de decisiones en las organizaciones. Esto marca un cambio de paradigma hacia una colaboración sin precedentes entre humanos y máquinas. Sin embargo, su integración en la forma de trabajar de las organizaciones es compleja. Los riesgos son numerosos, incluidos los problemas de confianza y precisión, las alucinaciones y los sesgos heredados de los modelos subyacentes. Hoy en día, muchas empresas se enfrentan al dilema de aprovechar el poder de la IA generativa sin caer presa de sus posibles desventajas.
El temor a cometer errores críticos con la IA generativa ha llevado a algunas organizaciones a restringir severamente su uso, o incluso a prohibirlo por completo. Este enfoque evasivo es más peligroso de lo que parece, ya que puede generar consecuencias no deseadas (como que los empleados utilicen cuentas personales para eludir las restricciones) e impide que las empresas aprovechen los beneficios de la IA generativa.
Otras empresas más dispuestas a experimentar con la IA generativa han adoptado un nivel básico de estrategias inteligentes de gestión de riesgos. Estas mitigaciones comienzan con políticas de uso, códigos de conducta, restricciones a herramientas aprobadas y límites establecidos. Estas medidas son recomendables y necesarias, pero insuficientes; ya que no abordan muchos escenarios futuros desconocidos y difíciles de definir, especialmente dada la velocidad del cambio tecnológico.
Cada vez es más frecuente un segundo nivel de mitigación de riesgos: Ahora, muchas empresas alientan a su personal a utilizar el pensamiento crítico y el juicio en torno a las herramientas de IA. Este juicio a nivel individual va más allá de simplemente examinar los resultados generados por la IA; implica establecer el modo de colaboración adecuado con la IA, establecer un contexto y límites claros, y proporcionar retroalimentación continua a la máquina.
El ejercicio del juicio individual tiene más ventajas que las políticas por sí solas. Permite a los empleados interpretar las directrices en el contexto de uso, ya que las políticas no pueden cubrir todas las situaciones. El juicio permite a las personas traducir y adaptar reglas abstractas a escenarios del mundo real; por ejemplo, garantizar la confidencialidad al eliminar cuidadosamente los elementos sensibles específicos incluidos en un prompt. Sin embargo, el juicio individual puede no ser suficiente en todas las circunstancias. De hecho, cuando la IA presenta alucinaciones o genera resultados inexactos, las personas podrían caer inadvertidamente en una «trampa de confianza», influenciadas por el tono autoritario de las sugerencias generadas por la inteligencia artificial.
En este sentido, proponemos un nuevo nivel de mitigación de riesgos: el juicio en equipo.
Los tres tipos de juicio a nivel de equipos
La investigación en campos tan diversos (como la atención médica, el control del tráfico aéreo y la generación de energía nuclear) destaca el papel fundamental del trabajo en equipo para mitigar los riesgos operativos.
Un enfoque similar, que combine reglas estrictas con el juicio a nivel de equipos, puede ayudar a las organizaciones a abordar de manera efectiva los desafíos de la IA. Las conversaciones entre colegas pueden aportar perspectivas diversas, cuestionar los resultados y descubrir sesgos ocultos. Recurrir a expertos en la materia puede ayudar a validar datos específicos o revisar áreas en las que existen dudas o inquietudes debido a la falta de conocimientos para juzgar con confianza. El juicio a nivel de equipos tiene tres manifestaciones principales:
1. Juicio colectivo: Los equipos deben participar en debates para garantizar la precisión, identificar riesgos y evaluar los resultados generados por la IA. Por ejemplo, si los miembros no están seguros de un resultado generado por la IA, deben consultarlo con otros colegas o equipos, y revisar el contenido generado antes de aceptarlo y utilizarlo. Estas rutinas de reflexión y debate compartidos permiten una evaluación integral de los posibles impactos, incluidas las implicaciones éticas y legales.
2. Juicio especializado: Cuando se producen imprevistos o se detectan anomalías en los resultados de los sistemas de IA, los equipos deben delegar la autoridad de toma de decisiones a aquellos que son expertos o que están más cerca del trabajo, y no a quienes tienen el rango más alto. Al consultar a los expertos en la materia cuando surgen preguntas o problemas con la IA, sus conocimientos pueden orientar al equipo de manera oportuna y evitar que se extiendan las consecuencias negativas.
3. Juicio reflexivo: Los equipos deben reunirse periódicamente para compartir y reflexionar sobre sus experiencias y las de otros al usar IA, mejorando así su comprensión y capacidad para navegar por los sistemas de IA. Este aprendizaje continuo es fundamental para seguir el ritmo de la rápida evolución de la tecnología, permitiendo a los equipos aprender de los errores y éxitos para optimizar el uso seguro y eficaz. Un ejemplo de juicio reflexivo es la realización periódica de retrospectivas en equipo para analizar las lecciones aprendidas.
La incorporación de estas formas de juicio a nivel de equipos aborda elementos críticos de riesgo que las políticas o el juicio individual por sí solos podrían pasar por alto. Este enfoque colaborativo ayuda a descubrir puntos ciegos y sesgos, ofreciendo salvaguardas más completas.
Desarrollar el juicio a nivel de equipos
El juicio basado en equipos debe cultivarse antes de que pueda ser efectivo. Requiere práctica y refuerzo constantes para convertirse en un mecanismo sólido para gestionar los riesgos y garantizar resultados de alta calidad. A continuación, se presentan algunas recomendaciones prácticas para ayudar a los líderes a desarrollar esta capacidad dentro de sus equipos:
Cómo reforzar el juicio colectivo
Cree rutinas para la reflexión y debate dentro de los plazos del proyecto. Esto puede incluir reuniones breves o puntos de control diseñados específicamente para la toma de conciencia colectiva. Por ejemplo, después de una interacción uno a uno con la máquina, tomarse un momento para revisar y evaluar los resultados generados por la IA con sus compañeros puede brindar información valiosa y asegurar que los resultados no se acepten acríticamente, sino que se examinen para comprobar su precisión y relevancia. Algunas posibles preguntas para este tipo de sesiones incluyen: ¿Esto es plausible? ¿Se citan correctamente las fuentes? ¿Esta recomendación es propensa a posibles riesgos o sesgos? Hacer este juicio crítico en un grupo es más poderoso, ya que se tienen diferentes perspectivas y experiencia, y es menos probable que se caiga en la trampa de la confianza.
Cómo reforzar el juicio especializado
Establezca mecanismos para identificar y activar a los expertos en la materia a lo largo del proyecto. En primer lugar, asegurarse de que las personas comprendan la necesidad de involucrar a otros expertos durante el proceso de colaboración entre humanos e IA. A continuación, facilite la identificación de los expertos adecuados (disponiendo de mapas de expertos o una lista de especialistas) y el contacto con ellos (por ejemplo, formulando preguntas en comunidades internas de práctica, a menudo a través de sistemas de chat virtual o foros de discusión). Introduzca incentivos para los expertos que apoyen a los equipos y orienten la toma de decisiones cuando surjan problemas.
Cómo reforzar el juicio reflexivo
Dedique tiempo a actividades de aprendizaje continuo y fomente el intercambio de experiencias mediante sesiones y repositorios dedicados. Las sesiones retrospectivas deben incorporarse a los planes de los proyectos para facilitar el aprendizaje dentro y entre los equipos. Algunas preguntas útiles para explorar incluyen: ¿Qué aprendimos este mes al utilizar esta nueva tecnología? ¿Cuáles son los errores más comunes? ¿Cómo están lidiando nuestros colegas con desafíos similares? ¿Cómo podemos integrar mejor la IA generativa en nuestros flujos de trabajo para evitar estos errores? Además, el aprendizaje puede consolidarse y conservarse en un repositorio de conocimientos o como parte de academias de IA generativa.
El juicio basado en equipos es un activo estratégico para navegar en un futuro impulsado por la IA. Al cultivar esta capacidad a gran escala, las empresas están mejor equipadas para adaptarse rápidamente al cambiante panorama de la IA, incluidos los riesgos que aún no son generalizados o conocidos. Esta sabiduría colectiva permite a las organizaciones adoptar con confianza la integración de la IA, adaptarse a los flujos de trabajo cambiantes y gestionar las complejidades de la colaboración entre humanos e IA, acelerando la obtención de beneficios y mitigando de forma proactiva los riesgos existentes y emergentes.
© 2024 Harvard Business School Publishing Corp. | De: hbr.org | Distribuido por: The New York Times Syndicate.
Artículo en inglés
Generative AI (gen AI) offers transformative opportunities for learning, work, creativity and decision making across organizations. This marks a paradigm shift toward unprecedented human-machine collaboration. However, its integration into the way organizations work is complex. The risks are many, including trust and accuracy issues, hallucinations and inherited biases from the underlying foundational models. Many companies today face the conundrum of harnessing the power of gen AI without falling prey to its potential drawbacks.
The fear of making critical mistakes with gen AI has led some organizations to severely throttle its use or ban it outright. This avoidant approach is more dangerous than it seems, as it can lead to unintended consequences (such as employees using personal accounts to circumvent restrictions) and prevents companies from reaping the benefits of gen AI.
Other companies more willing to experiment with gen AI have turned to a basic layer of smart risk management strategies. These mitigations begin with usage policies, codes of conduct, restricting to approved tools and guardrails. These measures are advisable and necessary, but they are insufficient; they don’t address many unknown, future and hard-to-define scenarios, especially given the rapid pace of technological change.
A second layer of risk mitigation is growing more prevalent: Many companies now encourage their people to employ critical thinking and judgment around AI tools. This individual-level judgment goes beyond simply vetting AI-generated output; it involves framing the right collaboration mode with AI, setting clear context and boundaries and giving the machine continuous feedback.
Exercising individual judgment has benefits over policy alone. It empowers employees to interpret guidelines in the context of use, as policies cannot cover every situation. Judgment enables individuals to translate and adapt abstract rules into real-world scenarios — for example, ensuring confidentiality by carefully sanitizing specific sensitive elements included in a prompt. However, individual judgment may not be enough in all circumstances. In fact, when AI hallucinates or generates inaccurate outputs, an individual may unknowingly fall into a “trust trap,” swayed by the authoritative tone of AI-generated suggestions.
In this light, we propose a novel layer of risk mitigation: team-based judgment.
THE THREE TYPES OF TEAM-BASED JUDGMENT
Research on fields as diverse as health care, air traffic control and nuclear power generation highlights the critical role of teamwork in mitigating operational risk.
A similar approach of combining strict rules with team-level judgment can help organizations effectively tackle AI challenges. Discussions with colleagues can bring diverse perspectives, challenge the output and uncover hidden biases. Reaching out to domain experts can help validate specific data or review areas where there are doubts or concerns due to a lack of knowledge to judge confidently. Team-level judgment has three primary manifestations:
COLLECTIVE JUDGMENT: Teams should engage in discussions to ensure accuracy, identify risks and evaluate AI-generated output. For example, if members are unsure about an AI-generated output, they will consult with other colleagues or teams and review the AI-generated content before accepting and using it. These shared reflection and discussion routines enable a comprehensive assessment of potential impacts, including ethical and legal implications.
DOMAIN JUDGMENT: When unexpected events occur or anomalies are detected in the output of AI systems, teams should delegate decision making authority to those with the highest expertise or those closest to the work, rather than to those with the highest rank. By identifying subject matter experts to consult with when questions or problems arise with AI, their insights can guide the team in a timely manner and prevent negative consequences from spreading.
REFLECTIVE JUDGMENT: Teams should meet regularly to share and reflect on their experiences and on those of others using AI, enhancing their understanding and ability to navigate the AI systems. This ongoing learning is critical for keeping pace with the rapid evolution of the technology, allowing teams to learn from mistakes and successes to optimize safe and effective use. One example of reflective judgment is holding regular team retrospectives to discuss lessons learned.
Incorporating these forms of team-level judgment addresses critical elements of risk that policy or individual judgment alone may miss. This collaborative approach helps to uncover blind spots and biases, offering more comprehensive safeguards.
DEVELOPING TEAM-BASED JUDGMENT
Team-based judgment needs to be cultivated before it can be effective. It requires ongoing practice and reinforcement to develop into a robust mechanism for managing risks and ensuring high-quality outcomes. Here are some actionable recommendations to help leaders build this ability within their teams:
HOW TO STRENGTHEN COLLECTIVE JUDGMENT
Create routines for reflection and discussion within project timelines. This could include short meetings or checkpoints specifically designed for collective sensemaking. For instance, after a one-on-one interaction with the machine, taking a moment to review and critique the AI-generated outputs with peers can provide valuable insights, and ensures that the outputs are not accepted uncritically, but instead examined for accuracy and relevance. Potential questions for such challenge sessions: Is this plausible? Are the sources cited correctly? Is this recommendation prone to potential risks or biases? Making this critical judgment in a group is more powerful because you have different perspectives and expertise, and together are less likely to fall into the trust trap.
HOW TO STRENGTHEN DOMAIN JUDGMENT
Establish mechanisms for identifying and activating domain experts throughout the project. First, ensure that individuals understand the need for engaging fellow experts along the human-AI collaborative process. Then, streamline the process of identifying the right experts (having experts maps or a list of subject matter experts) and reaching out to experts (for example, asking questions on internal communities of practice, often through virtual chats system or discussion forums). Introduce incentives for domain experts who support teams and inform decision making when issues arise.
HOW TO STRENGTHEN REFLECTIVE JUDGMENT
Allow time for continuous learning activities and encourage the sharing of experiences through dedicated sessions and repositories. Retrospective sessions should be built into project plans to facilitate learning within and across teams. Useful questions to explore include: What did we learn this month using this new technology? What are the most common errors? How are our colleagues dealing with similar challenges? How can we better integrate gen AI into our workflows to avoid these errors? In addition, learning can be consolidated and curated in a knowledge repository or as part of gen AI academies.
Team-based judgment is a strategic asset for navigating an AI-driven future. By cultivating this capability at scale, firms are better equipped to rapidly adapt to the fast-evolving AI landscape, including risks that are not widespread or even known yet. This collective wisdom empowers organizations to confidently embrace AI integration, adapt to changing workflows, and manage the complexities of human-AI collaboration, accelerating the realization of benefits while proactively mitigating both existing and emerging risks.
Las claves para tener éxito con un nuevo jefe
Saber que tendrá un nuevo jefe puede despertar una mezcla de emociones: desde alivio y entusiasmo hasta frustración, inquietud y sensación de pérdida.
Nuestros consejos favoritos de gestión sobre cómo dar retroalimentación
A continuación, presentamos una selección de nuestros consejos favoritos sobre cómo dar (y pedir) retroalimentación.
Lo que las empresas internacionales pierden cuando la toma de decisiones gira en torno a la sede central
Cuando las organizaciones cierran la brecha entre la sede central y el resto, se generan mejores decisiones, mayor flujo de información y menos frustración derivada de trabajar alrededor del mundo.
