E

n los últimos años, la IA ha pasado de ser un ámbito exclusivo de los equipos técnicos a convertirse en una herramienta de uso generalizado. Antes, la IA operaba detrás de escena (por ejemplo, impulsando productos de consumo o moldeando los contenidos que aparecen en las redes sociales); ahora, el público en general interactúa directamente con asistentes virtuales y chatbots basados en IA generativa. Este aumento en el uso también ha despertado una mayor conciencia sobre los riesgos que pueden acompañar a los sistemas de IA. 

Todo esto ha impulsado la aparición de una nueva profesión: el auditor algorítmico.

Aunque las auditorías se están convirtiendo en un componente central del trabajo con IA, no siguen un proceso predeterminado ni lineal; más bien, están formadas por una red de decisiones distintas, tanto desde el punto de vista empresarial como técnico. A continuación, explicamos lo que los líderes empresariales deben saber sobre el funcionamiento de estas auditorías y cómo pueden ayudar a orientar el proceso.

Cuatro desafíos de las auditorías algorítmicas

¿Qué es una auditoría algorítmica? En pocas palabras, es una forma de responder a una pregunta sobre un sistema algorítmico mediante el análisis de datos sobre cómo interactúan los usuarios y los sistemas. Parte de la dificultad del proceso radica en convertir esas preguntas en algo concreto y operativo, identificando los datos y sistemas adecuados para responderlas.

Este proceso presenta cuatro desafíos comunes:

1. Las auditorías no siguen una línea recta

Con frecuencia, los auditores se encuentran tomando muchos desvíos en el camino, que van desde la pregunta de investigación hasta la respuesta. A medida que conocen mejor el sistema que están auditando y los datos que lo sustentan, a menudo tienen que ajustar el rumbo.

2. La gobernanza de datos es un caos

No es raro que los equipos técnicos dediquen la mayor parte de su tiempo a encontrar los datos adecuados y asegurarse de que puedan interpretarlos correctamente.

3. La confianza interna es esencial

El equipo responsable del sistema auditado puede sentirse amenazado ante la idea de que su trabajo será evaluado, especialmente cuando los auditores son ajenos a su equipo. Esto puede generar un entorno de poca confianza, en el que resulta difícil fomentar la colaboración y donde los incentivos no están alineados.

4. El enfoque está puesto en el pasado

A menos que el sistema esté siendo monitoreado en tiempo real, las auditorías se centran en el pasado. Esto genera ciertos desafíos técnicos: el proceso solo será exitoso en la medida en que los auditores logren reconstruir lo ocurrido.

Lo que los líderes pueden hacer

Antes de que una organización inicie un proceso de auditoría externa, debe seguir ciertos pasos para prepararse.

— Cultura e incentivos: La cultura siempre se define desde arriba. Los líderes deben dejar claro que las auditorías forman parte del trabajo cotidiano, y que no son medidas punitivas o una carga adicional.

— Diseñar la auditoría: Aunque se necesita tiempo y recursos para desarrollar la capacidad de auditoría interna y determinar los procesos adecuados, contar con un equipo interno eficaz puede suponer una ventaja a largo plazo. Por otro lado, los auditores externos no generan fricciones entre las distintas partes de la empresa, lo que podría ser una de las razones por las que a menudo se recurre a proveedores externos (aunque resulten más costosos).

Durante una auditoría

A pesar de que se haya llevado a cabo una preparación adecuada, la auditoría en sí misma puede resultar más complicada de lo que la mayoría esperaría. Los líderes empresariales deben ser conscientes de ello, aceptar el desorden inherente al proceso y ayudar aportando claridad.

— Dar forma al proceso: Los líderes deben tenerlo presente y asegurarse de recibir actualizaciones periódicas sobre las decisiones estratégicas más recientes, para poder ofrecer orientación cuando sea necesario.

También es fundamental que exijan una documentación exhaustiva de todas las decisiones técnicas, incluidas las compensaciones y cualquier métrica indirecta que se haya considerado. Esto ayudará a interpretar los resultados dentro de su contexto específico y con sus limitaciones.

E

n los últimos años, la IA ha pasado de ser un ámbito exclusivo de los equipos técnicos a convertirse en una herramienta de uso generalizado. Antes, la IA operaba detrás de escena (por ejemplo, impulsando productos de consumo o moldeando los contenidos que aparecen en las redes sociales); ahora, el público en general interactúa directamente con asistentes virtuales y chatbots basados en IA generativa. Este aumento en el uso también ha despertado una mayor conciencia sobre los riesgos que pueden acompañar a los sistemas de IA: desde el trato desigual hacia distintos grupos hasta la generación de información falsa, sensible o dañina, especialmente en temas de gran impacto (como cuestiones médicas o legales).

En respuesta, los responsables de formular políticas públicas han intentado establecer límites y salvaguardas sobre el impacto que estas herramientas pueden tener en la sociedad.

Todo esto ha impulsado la aparición de una nueva profesión: el auditor algorítmico.

Aunque las auditorías se están convirtiendo en un componente central del trabajo con IA, no siguen un proceso predeterminado ni lineal; más bien, están formadas por una red de decisiones distintas, tanto desde el punto de vista empresarial como técnico. A continuación, explicamos lo que los líderes empresariales deben saber sobre el funcionamiento de estas auditorías y cómo pueden ayudar a orientar el proceso.

Cuatro desafíos de las auditorías algorítmicas

¿Qué es una auditoría algorítmica? En pocas palabras, es una forma de responder a una pregunta sobre un sistema algorítmico mediante el análisis de datos sobre cómo interactúan los usuarios y los sistemas. Estas preguntas (que suelen tener como objetivo comprender si un sistema funciona según lo previsto o si perjudica a los usuarios) pueden ser tanto concretas como abstractas. Parte de la dificultad del proceso radica en convertir esas preguntas en algo concreto y operativo, identificando los datos y sistemas adecuados para responderlas.

Este proceso presenta cuatro desafíos comunes:

1. Las auditorías no siguen una línea recta

Con frecuencia, los auditores se encuentran tomando muchos desvíos en el camino, que van desde la pregunta de investigación hasta la respuesta. A medida que conocen mejor el sistema que están auditando y los datos que lo sustentan, a menudo tienen que ajustar el rumbo, lo que puede traducirse en plazos de entrega más largos o en pequeños cambios en el enfoque.

2. La gobernanza de datos es un caos

La gobernanza interna de datos suele parecerse menos a un rascacielos moderno (con una distribución racional y un plano claro) y más a un edificio antiguo en el que cada nueva capa se construye sobre la anterior, muchas veces sin tener en cuenta los usos previos. No es raro que los equipos técnicos dediquen la mayor parte de su tiempo a encontrar los datos adecuados y asegurarse de que puedan interpretarlos correctamente.

También hay otros problemas comunes. Quizá la persona responsable del conjunto de datos ya dejó la organización, o tal vez ese conjunto de datos simplemente fue descontinuado y sustituido por uno más reciente, pero sin documentación. En la mayoría de los casos, la única manera de avanzar es encontrar a alguien que pueda ayudar, un proceso poco eficiente y que consume mucho tiempo.

3. La confianza interna es esencial

La dinámica de los equipos desempeña un papel importante. El equipo responsable del sistema auditado puede sentirse amenazado ante la idea de que su trabajo será evaluado, especialmente cuando los auditores son ajenos a su equipo. Esto puede generar un entorno de poca confianza, en el que resulta difícil fomentar la colaboración y donde los incentivos no están alineados.

Para ser efectivos, los auditores necesitan orientación y apoyo del equipo auditado, ya que no carecen del conocimiento especializado del sistema que están evaluando. La cultura adecuada es aquella en la que tanto auditores como auditados trabajan juntos para fortalecer el sistema y, en última instancia, obtener un resultado más sólido y de mayor calidad.

4. El enfoque está puesto en el pasado

A menos que el sistema esté siendo monitoreado en tiempo real, las auditorías se centran en el pasado. Esto genera ciertos desafíos técnicos: el proceso solo será exitoso en la medida en que los auditores logren reconstruir lo ocurrido. Para empezar, es posible que los datos necesarios ya no se encuentren disponibles en el sistema.

Un problema relacionado es que los sistemas algorítmicos cambian con el tiempo. Los modelos pueden volver a entrenarse con datos más recientes, o un sistema antiguo puede ser sustituido por un algoritmo o una arquitectura más nuevos. Puede ser muy difícil (e incluso imposible) reproducir las condiciones exactas en las que se encontraba cada componente durante el periodo de auditoría deseado. En este sentido, es de esperar que exista cierta disparidad, pero debe exigirse a los auditores que documenten los problemas encontrados al buscar los datos adecuados y que estimen hasta qué punto los resultados de la auditoría son aplicables a los sistemas que actualmente están en funcionamiento.

Lo que los líderes pueden hacer

Estas son algunas acciones útiles que pueden tomarse antes y durante una auditoría.

Antes de una auditoría

Antes de que una organización inicie un proceso de auditoría externa, debe seguir ciertos pasos para prepararse.

— Cultura e incentivos: Las auditorías pueden no ser bien recibidas por los equipos responsables del sistema que será examinado. Pueden sentirse bajo presión, frustrados y, en última instancia, molestos porque su trabajo está bajo lupa.

La cultura siempre se define desde arriba. Los líderes deben dejar claro que las auditorías forman parte del trabajo cotidiano, y que no son medidas punitivas o una carga adicional.

Como parte de la preparación, los líderes empresariales podrían estructurar la organización de modo que cada equipo cuente con una persona designada que esté disponible para responder directamente cualquier pregunta sobre datos y algoritmos, o que tenga la capacidad de orientar hacia la dirección correcta. Esto ayudaría a aislar y minimizar las interrupciones.

— Diseñar la auditoría: Las auditorías exigidas por ley deben ser realizadas por auditores externos e independientes. Aunque se necesita tiempo y recursos para desarrollar la capacidad de auditoría interna y determinar los procesos adecuados, contar con un equipo interno eficaz puede suponer una ventaja a largo plazo. Por otro lado, los auditores externos no generan fricciones entre las distintas partes de la empresa, lo que podría ser una de las razones por las que a menudo se recurre a proveedores externos (aunque resulten más costosos).

Un equipo de auditoría centralizado acumulará una experiencia más profunda y, al trabajar con distintas áreas del negocio, tendrá una comprensión más amplia e integral del proceso. Sin embargo, al ser externos al equipo auditado, estos equipos necesitarán más tiempo para ganarse su confianza y recopilar la información necesaria para realizar su trabajo. Un equipo que audita sus propios sistemas, por supuesto, partirá de una comprensión más completa de todos sus componentes. Sin embargo, al realizar auditorías con menor frecuencia, podría pasar por alto algunas buenas prácticas importantes.

Durante una auditoría

Aunque se haya llevado a cabo una preparación adecuada, la auditoría en sí misma puede resultar más complicada de lo que la mayoría esperaría. Los líderes empresariales deben ser conscientes de ello, aceptar el desorden inherente al proceso y ayudar aportando claridad.

— Dar forma al proceso: Dado que la auditoría es un proceso no lineal, pueden producirse muchos cambios mientras se lleva a cabo. Los líderes deben tenerlo presente y asegurarse de recibir actualizaciones periódicas sobre las decisiones estratégicas más recientes, para poder ofrecer orientación cuando sea necesario.

También es fundamental que exijan una documentación exhaustiva de todas las decisiones técnicas, incluidas las compensaciones y cualquier métrica indirecta que se haya considerado. Esto ayudará a interpretar los resultados dentro de su contexto específico y con sus limitaciones.