E

n los últimos años, la IA ha pasado de ser un ámbito exclusivo de los equipos técnicos a convertirse en una herramienta de uso generalizado. Antes, la IA operaba detrás de escena (por ejemplo, impulsando productos de consumo o moldeando los contenidos que aparecen en las redes sociales); ahora, el público en general interactúa directamente con asistentes virtuales y chatbots basados en IA generativa. Este aumento en el uso también ha despertado una mayor conciencia sobre los riesgos que pueden acompañar a los sistemas de IA. 

Todo esto ha impulsado la aparición de una nueva profesión: el auditor algorítmico.

Aunque las auditorías se están convirtiendo en un componente central del trabajo con IA, no siguen un proceso predeterminado ni lineal; más bien, están formadas por una red de decisiones distintas, tanto desde el punto de vista empresarial como técnico. A continuación, explicamos lo que los líderes empresariales deben saber sobre el funcionamiento de estas auditorías y cómo pueden ayudar a orientar el proceso.

Cuatro desafíos de las auditorías algorítmicas

¿Qué es una auditoría algorítmica? En pocas palabras, es una forma de responder a una pregunta sobre un sistema algorítmico mediante el análisis de datos sobre cómo interactúan los usuarios y los sistemas. Parte de la dificultad del proceso radica en convertir esas preguntas en algo concreto y operativo, identificando los datos y sistemas adecuados para responderlas.

Este proceso presenta cuatro desafíos comunes:

1. Las auditorías no siguen una línea recta

Con frecuencia, los auditores se encuentran tomando muchos desvíos en el camino, que van desde la pregunta de investigación hasta la respuesta. A medida que conocen mejor el sistema que están auditando y los datos que lo sustentan, a menudo tienen que ajustar el rumbo.

2. La gobernanza de datos es un caos

No es raro que los equipos técnicos dediquen la mayor parte de su tiempo a encontrar los datos adecuados y asegurarse de que puedan interpretarlos correctamente.

3. La confianza interna es esencial

El equipo responsable del sistema auditado puede sentirse amenazado ante la idea de que su trabajo será evaluado, especialmente cuando los auditores son ajenos a su equipo. Esto puede generar un entorno de poca confianza, en el que resulta difícil fomentar la colaboración y donde los incentivos no están alineados.

4. El enfoque está puesto en el pasado

A menos que el sistema esté siendo monitoreado en tiempo real, las auditorías se centran en el pasado. Esto genera ciertos desafíos técnicos: el proceso solo será exitoso en la medida en que los auditores logren reconstruir lo ocurrido.

Lo que los líderes pueden hacer

Antes de que una organización inicie un proceso de auditoría externa, debe seguir ciertos pasos para prepararse.

— Cultura e incentivos: La cultura siempre se define desde arriba. Los líderes deben dejar claro que las auditorías forman parte del trabajo cotidiano, y que no son medidas punitivas o una carga adicional.

— Diseñar la auditoría: Aunque se necesita tiempo y recursos para desarrollar la capacidad de auditoría interna y determinar los procesos adecuados, contar con un equipo interno eficaz puede suponer una ventaja a largo plazo. Por otro lado, los auditores externos no generan fricciones entre las distintas partes de la empresa, lo que podría ser una de las razones por las que a menudo se recurre a proveedores externos (aunque resulten más costosos).

Durante una auditoría

A pesar de que se haya llevado a cabo una preparación adecuada, la auditoría en sí misma puede resultar más complicada de lo que la mayoría esperaría. Los líderes empresariales deben ser conscientes de ello, aceptar el desorden inherente al proceso y ayudar aportando claridad.

— Dar forma al proceso: Los líderes deben tenerlo presente y asegurarse de recibir actualizaciones periódicas sobre las decisiones estratégicas más recientes, para poder ofrecer orientación cuando sea necesario.

También es fundamental que exijan una documentación exhaustiva de todas las decisiones técnicas, incluidas las compensaciones y cualquier métrica indirecta que se haya considerado. Esto ayudará a interpretar los resultados dentro de su contexto específico y con sus limitaciones.

E

n los últimos años, la IA ha pasado de ser un ámbito exclusivo de los equipos técnicos a convertirse en una herramienta de uso generalizado. Antes, la IA operaba detrás de escena (por ejemplo, impulsando productos de consumo o moldeando los contenidos que aparecen en las redes sociales); ahora, el público en general interactúa directamente con asistentes virtuales y chatbots basados en IA generativa. Este aumento en el uso también ha despertado una mayor conciencia sobre los riesgos que pueden acompañar a los sistemas de IA: desde el trato desigual hacia distintos grupos hasta la generación de información falsa, sensible o dañina, especialmente en temas de gran impacto (como cuestiones médicas o legales).

En respuesta, los responsables de formular políticas públicas han intentado establecer límites y salvaguardas sobre el impacto que estas herramientas pueden tener en la sociedad.

Todo esto ha impulsado la aparición de una nueva profesión: el auditor algorítmico.

Aunque las auditorías se están convirtiendo en un componente central del trabajo con IA, no siguen un proceso predeterminado ni lineal; más bien, están formadas por una red de decisiones distintas, tanto desde el punto de vista empresarial como técnico. A continuación, explicamos lo que los líderes empresariales deben saber sobre el funcionamiento de estas auditorías y cómo pueden ayudar a orientar el proceso.

Cuatro desafíos de las auditorías algorítmicas

¿Qué es una auditoría algorítmica? En pocas palabras, es una forma de responder a una pregunta sobre un sistema algorítmico mediante el análisis de datos sobre cómo interactúan los usuarios y los sistemas. Estas preguntas (que suelen tener como objetivo comprender si un sistema funciona según lo previsto o si perjudica a los usuarios) pueden ser tanto concretas como abstractas. Parte de la dificultad del proceso radica en convertir esas preguntas en algo concreto y operativo, identificando los datos y sistemas adecuados para responderlas.

Este proceso presenta cuatro desafíos comunes:

1. Las auditorías no siguen una línea recta

Con frecuencia, los auditores se encuentran tomando muchos desvíos en el camino, que van desde la pregunta de investigación hasta la respuesta. A medida que conocen mejor el sistema que están auditando y los datos que lo sustentan, a menudo tienen que ajustar el rumbo, lo que puede traducirse en plazos de entrega más largos o en pequeños cambios en el enfoque.

2. La gobernanza de datos es un caos

La gobernanza interna de datos suele parecerse menos a un rascacielos moderno (con una distribución racional y un plano claro) y más a un edificio antiguo en el que cada nueva capa se construye sobre la anterior, muchas veces sin tener en cuenta los usos previos. No es raro que los equipos técnicos dediquen la mayor parte de su tiempo a encontrar los datos adecuados y asegurarse de que puedan interpretarlos correctamente.

También hay otros problemas comunes. Quizá la persona responsable del conjunto de datos ya dejó la organización, o tal vez ese conjunto de datos simplemente fue descontinuado y sustituido por uno más reciente, pero sin documentación. En la mayoría de los casos, la única manera de avanzar es encontrar a alguien que pueda ayudar, un proceso poco eficiente y que consume mucho tiempo.

3. La confianza interna es esencial

La dinámica de los equipos desempeña un papel importante. El equipo responsable del sistema auditado puede sentirse amenazado ante la idea de que su trabajo será evaluado, especialmente cuando los auditores son ajenos a su equipo. Esto puede generar un entorno de poca confianza, en el que resulta difícil fomentar la colaboración y donde los incentivos no están alineados.

Para ser efectivos, los auditores necesitan orientación y apoyo del equipo auditado, ya que no carecen del conocimiento especializado del sistema que están evaluando. La cultura adecuada es aquella en la que tanto auditores como auditados trabajan juntos para fortalecer el sistema y, en última instancia, obtener un resultado más sólido y de mayor calidad.

4. El enfoque está puesto en el pasado

A menos que el sistema esté siendo monitoreado en tiempo real, las auditorías se centran en el pasado. Esto genera ciertos desafíos técnicos: el proceso solo será exitoso en la medida en que los auditores logren reconstruir lo ocurrido. Para empezar, es posible que los datos necesarios ya no se encuentren disponibles en el sistema.

Un problema relacionado es que los sistemas algorítmicos cambian con el tiempo. Los modelos pueden volver a entrenarse con datos más recientes, o un sistema antiguo puede ser sustituido por un algoritmo o una arquitectura más nuevos. Puede ser muy difícil (e incluso imposible) reproducir las condiciones exactas en las que se encontraba cada componente durante el periodo de auditoría deseado. En este sentido, es de esperar que exista cierta disparidad, pero debe exigirse a los auditores que documenten los problemas encontrados al buscar los datos adecuados y que estimen hasta qué punto los resultados de la auditoría son aplicables a los sistemas que actualmente están en funcionamiento.

Lo que los líderes pueden hacer

Estas son algunas acciones útiles que pueden tomarse antes y durante una auditoría.

Antes de una auditoría

Antes de que una organización inicie un proceso de auditoría externa, debe seguir ciertos pasos para prepararse.

— Cultura e incentivos: Las auditorías pueden no ser bien recibidas por los equipos responsables del sistema que será examinado. Pueden sentirse bajo presión, frustrados y, en última instancia, molestos porque su trabajo está bajo lupa.

La cultura siempre se define desde arriba. Los líderes deben dejar claro que las auditorías forman parte del trabajo cotidiano, y que no son medidas punitivas o una carga adicional.

Como parte de la preparación, los líderes empresariales podrían estructurar la organización de modo que cada equipo cuente con una persona designada que esté disponible para responder directamente cualquier pregunta sobre datos y algoritmos, o que tenga la capacidad de orientar hacia la dirección correcta. Esto ayudaría a aislar y minimizar las interrupciones.

— Diseñar la auditoría: Las auditorías exigidas por ley deben ser realizadas por auditores externos e independientes. Aunque se necesita tiempo y recursos para desarrollar la capacidad de auditoría interna y determinar los procesos adecuados, contar con un equipo interno eficaz puede suponer una ventaja a largo plazo. Por otro lado, los auditores externos no generan fricciones entre las distintas partes de la empresa, lo que podría ser una de las razones por las que a menudo se recurre a proveedores externos (aunque resulten más costosos).

Un equipo de auditoría centralizado acumulará una experiencia más profunda y, al trabajar con distintas áreas del negocio, tendrá una comprensión más amplia e integral del proceso. Sin embargo, al ser externos al equipo auditado, estos equipos necesitarán más tiempo para ganarse su confianza y recopilar la información necesaria para realizar su trabajo. Un equipo que audita sus propios sistemas, por supuesto, partirá de una comprensión más completa de todos sus componentes. Sin embargo, al realizar auditorías con menor frecuencia, podría pasar por alto algunas buenas prácticas importantes.

Durante una auditoría

Aunque se haya llevado a cabo una preparación adecuada, la auditoría en sí misma puede resultar más complicada de lo que la mayoría esperaría. Los líderes empresariales deben ser conscientes de ello, aceptar el desorden inherente al proceso y ayudar aportando claridad.

— Dar forma al proceso: Dado que la auditoría es un proceso no lineal, pueden producirse muchos cambios mientras se lleva a cabo. Los líderes deben tenerlo presente y asegurarse de recibir actualizaciones periódicas sobre las decisiones estratégicas más recientes, para poder ofrecer orientación cuando sea necesario.

También es fundamental que exijan una documentación exhaustiva de todas las decisiones técnicas, incluidas las compensaciones y cualquier métrica indirecta que se haya considerado. Esto ayudará a interpretar los resultados dentro de su contexto específico y con sus limitaciones.

U

n médico utiliza la IA para redactar una solicitud de autorización previa, transformando lo que podría ser un proceso tedioso y prolongado en uno eficiente. Sin embargo, si la IA de una aseguradora rechaza la solicitud basándose en criterios que el sistema del médico no contempló, el resultado son retrasos y frustración. Esta es la nueva realidad de los ecosistemas de IA: redes interconectadas de agentes y sistemas inteligentes que colaboran, compiten o chocan entre diferentes unidades de negocio u organizaciones. Estos ecosistemas pueden ofrecer nuevas oportunidades, pero también introducir complejidades y riesgos adicionales.

Construir y gestionarlos de forma segura y responsable requiere, entre otras cosas, replantear la formación de la fuerza laboral, aprovechar la tecnología para facilitar la alineación y la coordinación, y establecer marcos de gobernanza que garanticen la confianza y la rendición de cuentas.

Capacitación para operar en ecosistemas de IA

A medida que las empresas adoptan la IA en todos los ámbitos, es cada vez más importante redoblar los esfuerzos en materia de capacitación. Por ello, los empleados deben fortalecer su capacidad no solo para trabajar con la IA, sino también para navegar y mediar en las interacciones de múltiples sistemas de IA. Además, deben ser más sensibles no sólo a la forma en que estos sistemas pueden afectar a sus propias decisiones, sino también a las de otras personas dentro o fuera de la organización.

Consideremos el ejemplo de un algoritmo utilizado en el Reino Unido para priorizar los trasplantes de hígado mediante la predicción de la supervivencia a cinco años de los pacientes con y sin trasplante. Este enfoque infravaloraba a los pacientes más jóvenes, cuyos beneficios se extienden mucho más allá de los cinco años, y los penalizaba aún más, ya que tienen más probabilidades de sobrevivir sin un trasplante.

En el sector de los servicios financieros, los resultados de un modelo (como las puntuaciones crediticias) pueden servir como datos de entrada para los sistemas de IA posteriores, lo que permite que los posibles errores o sesgos de los modelos de crédito se propaguen a través de la red. Esto destaca no solo la complejidad de la gestión de los sistemas de IA individuales, sino también el desafío más amplio de los sistemas interconectados, donde las fallas iniciales pueden propagarse y posiblemente amplificar los errores o desigualdades en las decisiones posteriores. Junto con el sesgo de automatización de la IA (la tendencia de los usuarios a confiar en los resultados de la IA sin cuestionarlos), los errores pueden pasar desapercibidos, especialmente en comparación con las prácticas actuales de puntuación y uso de la IA más simples.

Los abogados y estudiantes de derecho utilizan cada vez más la IA en una variedad de tareas que tradicionalmente realizaban los humanos. Sin embargo, los abogados de hoy en día a menudo carecen de orientación sobre cómo integrar estas herramientas en los flujos de trabajo o explicar a los clientes los resultados generados por la IA, especialmente cuando esos resultados son el producto del trabajo de muchos algoritmos de IA que interactúan entre sí. Los programas de capacitación deben centrarse no solo en el uso de las herramientas, sino también en la comprensión del funcionamiento conjunto de múltiples sistemas para fundamentar las decisiones.

Para abordar estas cuestiones, la capacitación debe ir más allá de los aspectos básicos del manejo de las herramientas de IA. Es necesario equipar a los empleados para evaluar críticamente los resultados de la IA, comprender cómo fluyen los datos y las decisiones a través de los sistemas de IA interconectados y tomar medidas cuando surjan conflictos. Por ejemplo, los médicos deben aprender a contrastar los resultados de los diagnósticos con los registros de los pacientes y cuestionar las recomendaciones de triaje cuando los datos parecen incompletos.

Los empleados necesitan habilidades para evaluar cómo interactúan entre sí las herramientas de IA. Por ejemplo, deben reconocer cuándo los sesgos de los datos previos se propagan a las recomendaciones posteriores o cuándo los resultados contradictorios indican un fallo en la coordinación. La capacitación también debe empoderar a los empleados para abordar estos desafíos, ya sea adaptando los flujos de trabajo, redefiniendo las interacciones de los sistemas de IA u optimizando la gestión de los datos y las cadenas de suministro de IA.

Aprovechar la tecnología para mejorar la alineación

Si bien la capacitación prepara a las personas, la tecnología puede permitir que los sistemas de IA interactúen de manera efectiva y eficiente. La interoperabilidad es fundamental, pero el desafío más amplio radica en diseñar infraestructuras y procesos tecnológicos que fomenten la colaboración entre los sistemas de IA mientras se mitigan los riesgos. No se trata solo de la interoperabilidad técnica tradicional, sino también de la interdependencia de las decisiones y la alineación.

El diseño proactivo de las cadenas de suministro de datos e IA de la organización proporciona un punto de partida útil: los sistemas ascendentes alimentan las aplicaciones intermedias que adaptan esos modelos para industrias específicas, los cuales, a su vez, impulsan las herramientas descendentes para los usuarios finales. Por ejemplo, en el sector de la salud, una IA ascendente agrega datos de exploraciones radiológicas globales para desarrollar un modelo de diagnóstico. Una aplicación intermedia podría personalizar este modelo para un sistema hospitalario específico, mientras que una herramienta secundaria podría permitir a los médicos priorizar los casos.

Con el tiempo, pueden surgir ecosistemas más complejos. Por ejemplo, en las operaciones de confianza y seguridad para plataformas en línea, los sistemas de IA para la detección de contenido, el análisis de opiniones y el monitoreo del comportamiento de los usuarios suelen operar de manera independiente, creando brechas o superposiciones en la toma de decisiones. Una mejor integración de estos sistemas puede proporcionar a los moderadores información en tiempo real, garantizando que las decisiones sean coherentes y defendibles.

Estos ejemplos muestran por qué las organizaciones deben diseñar sistemas de IA como marcos interconectados en lugar de herramientas aisladas, y empezar a pensar en sus cadenas de suministro de datos e IA desde el principio. Al adoptar tecnologías que faciliten la coordinación y las pruebas de solidez continuas, y al rediseñar procesos para alinear las interacciones de la IA, las empresas pueden aprovechar sus ecosistemas de IA en evolución no solo para crear valor, sino también para evitar la destrucción de valor debido a los posibles riesgos de la IA que pueden estar ocultos en algún punto de la cadena.

Gobernanza para ecosistemas complejos

La escala y la complejidad de los ecosistemas emergentes de IA exigen marcos claros de gobernanza. La naturaleza interconectada de estos sistemas introduce riesgos de fallos en cascada, sesgos amplificados y brechas en la rendición de cuentas. Una gobernanza sólida debe abordar estos desafíos mientras fomenta la confianza y la adaptabilidad.

La transparencia es primordial. En los ecosistemas de IA, la rendición de cuentas suele quedar oculta por las capas de interacción. Las organizaciones deben adoptar marcos de gobernanza que puedan rastrear las decisiones a lo largo del sistema, permitiendo el análisis de las causas y la mejora continua.

Empoderar a los usuarios finales es otra prioridad crítica de gobernanza. Aunque las organizaciones suelen centralizar el despliegue de la IA para mantener la consistencia, dar a los usuarios finales la flexibilidad necesaria para adaptar los sistemas de IA puede generar innovación y permitir la gestión de los riesgos desde su origen.

La gobernanza también exige establecer ciclos de retroalimentación para monitorear y perfeccionar los ecosistemas de IA a lo largo del tiempo. En las prácticas legales, por ejemplo, las empresas pueden implementar mecanismos para identificar cuándo los resultados de diferentes sistemas producen recomendaciones contradictorias. Mediante la incorporación de este tipo de prácticas de gobernanza, las empresas pueden garantizar a las partes interesadas que sus sistemas de IA son seguros y confiables. Las regulaciones recientes, como la Ley de Servicios Digitales de la UE (DSA, por sus siglas en inglés), brindan una valiosa orientación sobre transparencia, rendición de cuentas, capacitación de los usuarios y bucles de retroalimentación.

Por ejemplo, los proveedores de atención médica pueden implementar marcos de trazabilidad para garantizar que las decisiones de diagnóstico de la IA sean claras tanto para los pacientes como para los organismos reguladores. De manera similar, las plataformas de confianza y seguridad ya están adoptando mecanismos de auditoría que explican las decisiones de moderación de contenido y permiten a los usuarios cuestionarlas. Al aplicar estos principios, las organizaciones pueden crear ecosistemas de IA que no solo sean eficaces, sino también éticamente alineados y en los que confíen las partes interesadas.

Además, la capacitación basada en principios y procesos claros también puede permitir que los usuarios de los sistemas de IA exploren mejor y, en última instancia, aprovechen las fortalezas y debilidades de la IA, facilitando el aprendizaje. Esto puede aumentar la precisión de la toma de decisiones y mejorar la comprensión intuitiva de los moderadores de contenido que dependen de diferentes sistemas de IA para moderar el contenido.

Seguridad en la era de los ecosistemas de IA

A medida que las empresas desarrollan sus estrategias de IA y la adoptan en sus procesos y productos, los ecosistemas de IA inevitablemente se volverán cada vez más complejos, lo que exigirá nuevas prácticas, procesos y herramientas para que las personas los aprovechen mejor y con mayor seguridad. No podemos prever los nuevos tipos de riesgos que crearán las cadenas de suministro y ecosistemas de IA emergentes y complejos, por lo que las buenas prácticas de gestión de riesgos requieren una preparación adecuada y un aprendizaje continuo.