L

as pruebas A/B son el estándar de oro de la experimentación. Su objetivo es ayudar a las empresas a tomar decisiones más rápidas, mejores y basadas en datos. Pero, con demasiada frecuencia, ocurre lo contrario. La reunión comienza con optimismo: una nueva idea de precios, diseño publicitario o pantalla de registro entra en una prueba A/B. Tras semanas de espera, los analistas regresan con valores p, umbrales de confianza del 95% y una conclusión ya conocida: “Deberíamos esperar a tener más datos. Aún no tenemos suficiente evidencia y no es estadísticamente significativa”.

Esperar a tener “suficientes datos” se siente seguro, pero consume tiempo, participación y crecimiento. Hay una razón para ello: los métodos estadísticos comunes recompensan la inacción.

En lugar de juzgar si un resultado es lo suficientemente significativo, los equipos deberían evaluar qué decisión minimiza la pérdida en el peor escenario. Esta guía surge de un marco de decisión denominado “arrepiento minimax asintótico” (AMMR).

El AMMR muestra cómo actuar utilizando pruebas A/B, manteniendo al mismo tiempo el rigor estadístico que se espera de los equipos modernos de analítica y conservando mecanismos de protección para los casos en los que la decisión ejecutiva pudiera resultar incorrecta, al limitar las pérdidas en el peor escenario.

Así es como se aplica el AMMR en cuatro pasos:

1. Formule la pregunta correcta.

En esencia, el AMMR reduce cada decisión de prueba a un único umbral: lance la nueva idea si su incremento estimado supera su costo de implementación por cliente. En otras palabras, “elija al ganador”. Esta lógica, que durante mucho tiempo fue intuida por profesionales como Jeff Bezos, ahora cuenta con un respaldo riguroso.

Los ejecutivos ya piensan en términos de economía unitaria. El AMMR simplemente lo hace explícito y añade salvaguardas, de modo que los equipos de datos puedan trabajar con los ejecutivos, no en su contra. Por lo tanto, no pida a su equipo que recopile evidencia solo para lograr que el valor p sea < 0.05. El AMMR replantea las pruebas como una decisión de negocio: ¿Qué opción es más probable que genere más valor, teniendo en cuenta lo que ya sabemos?

2. Haga explícito el análisis de costo/beneficio de la alta dirección (en términos por cliente).

La mayoría de las decisiones de despliegue implican costos por cliente (o por unidad), por ejemplo, 1.7 dólares por cada talonario de cupones promocionales enviado o 0.03 dólares por cada chat de soporte adicional. Estos costos también incluyen tarifas de proveedores, infraestructura incremental, carga operativa y cualquier mínimo contractual prorrateado por usuario o cliente.

El AMMR convierte esos costos en un umbral de decisión, imponiendo disciplina: los equipos no pueden recomendar lanzamientos cuya economía unitaria esperada no supere sus propios costos de implementación. Este es el criterio de decisión:

— Lance si el incremento estimado por cliente es ≥ al costo unitario de implementación.

— Deténgase si es inferior.

3. Exija resultados expresados en términos de negocio.

Indique a su equipo de analítica que reporte tres elementos en cada prueba A/B:

— Decisión (basada en AMMR): ¿Lanzar o detenerse?

— Pérdida esperada en el peor escenario si seguimos esa decisión (en dólares/KPIs).

— Tamaño de muestra necesario para limitar la pérdida a un objetivo que usted defina (por ejemplo, “mantener la pérdida diaria de ingresos en el peor escenario por debajo de 10,000 dólares”).

Por qué funciona: la pérdida en el peor escenario escala linealmente con el error estándar del ATE (efecto promedio del tratamiento). Esto le brinda una palanca clara: si el límite de pérdida actual es demasiado alto, usted sabe exactamente cuánta recolección adicional de datos se necesita para reducirlo al nivel deseado y asegurarse de que un posible error no resulte demasiado costoso.

4. Cierre el ciclo para el aprendizaje estratégico.

Como el AMMR expresa todo en el KPI que usted gestiona, facilita el aprendizaje posterior al lanzamiento.

Dado que todo se mide en el KPI que usted administra, puede comparar pronósticos con resultados y refinar los umbrales futuros. Puede preguntarse: ¿La acción generó el valor que esperábamos? Si no fue así, ¿la variabilidad fue mayor de lo previsto o el efecto fue menor? Utilice esas respuestas para ajustar el próximo límite de pérdida objetivo y el plan de muestreo de su siguiente prueba.

L

os desafíos que enfrentan los líderes empresariales nunca han sido mayores. Las decisiones habituales son cada vez más complejas, dada la inflación, las tensiones comerciales y la incertidumbre política. Los problemas relacionados con el capital humano ahora incluyen la diversidad, la equidad y la inclusión, la salud mental y la mejora de las capacidades para la cuarta revolución industrial. Las cuestiones ambientales, sociales y de gobernanza ya no se pueden delegar a un departamento de responsabilidad social corporativa, sino que son responsabilidad de la alta dirección. La inteligencia artificial ofrece innumerables oportunidades, pero también múltiples amenazas.

Sin embargo, los ejecutivos tienen una herramienta para combatir estos desafíos: la información. Con solo hacer clic con el mouse o presionar un botón, pueden acceder a investigaciones de vanguardia sobre prácticamente cualquier tema. Con tanta información disponible, ¿cómo saber en qué confiar? Como han puesto de manifiesto controversias recientes, incluso las investigaciones publicadas en revistas de élite, revisadas por expertos, podrían basarse en datos manipulados. El sesgo de confirmación puede significar que lo que la gente comparte y, por lo tanto, lo que vemos en las noticias, es lo que quieren que sea verdad, en lugar de lo que es realmente cierto. Lo que los ejecutivos necesitan es una taxonomía simple de la desinformación para saber a qué prestar atención.

En un nuevo libro, me baso en las herramientas de investigación en ciencias sociales para desarrollar lo que yo llamo la “escalera de la inferencia errónea”, que clasifica la desinformación en cuatro pasos en falso. Este marco puede resultar útil para líderes de todo tipo, que necesitan gestionar sus propias avalanchas informativas.

El primer paso en falso es que una declaración no es un hecho, porque puede no ser exacta. ¿Con qué frecuencia aceptamos una declaración tal como se presenta porque nos gusta lo que dice? Por ejemplo, mi investigación destaca los beneficios del gobierno corporativo y el valor del capitalismo de partes interesadas. Por ello, cuando me encontré con un informe de una influyente ONG, que afirmaba que las empresas con altos estándares ambientales, sociales y de gobierno corporativo (ASG o ESG, por sus siglas en inglés) superan a sus homólogas, estaba ansioso por aceptar esta afirmación acríticamente. El estudio incluía notas a pie de página que sugerían que había evidencia que lo respaldaba, por lo que fue tentador pensar que esto era suficiente y seguir adelante.

Pero el primer paso para un pensamiento más inteligente es verificar los hechos. En este caso, seguí la nota a pie de página sólo para descubrir que la fuente subyacente decía lo contrario de lo que afirmaba el informe. La nota a pie de página llevaba a un artículo titulado «Donde los criterios ASG fallan», y cuyo subtítulo afirmaba que «A pesar de innumerables estudios, nunca ha habido evidencia concluyente de que las pantallas socialmente responsables proporcionen alfa». Una nota al final de una oración no significa que la nota realmente respalde la oración: la afirmación no es un hecho.

Otras inexactitudes surgen debido a errores de medición. Un artículo afirmaba que las empresas que invierten en ASG obtienen grandes beneficios. Pero al profundizar en el estudio, uno se da cuenta de que los autores nunca midieron realmente el nivel de ASG de una empresa, sino que simplemente se limitaron a preguntar a las empresas si pensaban que los ASG se habían vuelto más importantes, lo cual es muy diferente. Incluso si una declaración está vinculada a una avalancha de datos, estos pueden no medir realmente lo que se afirma en la declaración.

El segundo problema es que un hecho no es un dato, porque puede no ser representativo. Los estudios de casos son un método de enseñanza popular y poderoso. Pero los gurús suelen elegir el ejemplo que ilustra el punto de la manera más destacada posible, ya que hace que la historia sea más memorable. Una sola anécdota, o incluso un par de anécdotas, nos dicen poco, porque podrían estar seleccionadas a conveniencia. Son excepciones que no confirman la regla.

Nos encanta aprender de las historias de éxito, pero nunca se puede identificar lo que impulsó el éxito, a menos que también se estudie el fracaso. El conjunto de datos debe incluir empresas con la fórmula secreta que fracasaron, así como aquellas que no la tenían y que tuvieron éxito. Si solo se presentan aquellas que siguieron la fórmula y ganaron el premio mayor, entonces se tiene una muestra seleccionada.

La tercera advertencia es que los datos no son evidencia, porque pueden no ser concluyentes. Los datos a gran escala pueden ser representativos, pero son sólo un primer paso, porque los datos no son más que un conjunto de hechos. La evidencia es un conjunto de hechos que nos permite llegar a una conclusión. Para ello, no sólo es necesario respaldar su teoría, sino también rechazar teorías rivales, del mismo modo que las pruebas en un juicio penal sólo son significativas si señalan a un sospechoso en particular.

Pregúntese siempre si existen otras teorías que sean consistentes con los datos que tiene ante usted, en lugar de aceptar de inmediato la explicación que desea que sea cierta.

El último punto a tener en cuenta es que la evidencia no es una prueba, porque puede no ser universal. Incluso si la evidencia respalda un resultado a la perfección, puede que sólo lo haga en el contexto en el que se recopiló, y que no lo haga en ningún otro.

Según uno de mis estudios, las empresas con un alto grado de satisfacción de sus empleados superan a sus homólogas en un 2.3% y un 3.8% anual en rentabilidad bursátil a largo plazo, lo que equivale a un aumento acumulado del 89% al 184%, incluso después de controlar otros factores que impulsan la rentabilidad. Otros análisis sugieren que es la satisfacción de los empleados la que genera un buen rendimiento, en lugar de que un buen rendimiento permita a una empresa invertir en la satisfacción de los empleados.

Sin embargo, este estudio se limitó a los EE. UU. Con algunos coautores, amplié mi estudio original a 30 países. Descubrí que mis conclusiones originales solían mantenerse, pero no siempre. En países con regulaciones laborales estrictas, las empresas con un alto grado de satisfacción de sus empleados ya no superaban a las demás. Eso tiene sentido: la ley implica que sus competidores ya ofrecen un alto nivel de bienestar laboral, por lo que aquellos en la parte superior pueden estar más allá del punto de rendimientos decrecientes.

¿Cómo podemos poner en práctica la escalera de la inferencia errónea al encontrar información? Haciéndonos las siguientes preguntas:

1. Si vemos una declaración, ¿está respaldada por datos? Incluso si la afirmación está respaldada, ¿qué miden realmente los datos?

2. Si escuchamos un hecho, como una historia o anécdota, ¿es representativo o ha sido seleccionado a conveniencia? ¿El autor considera otras empresas con la fórmula secreta que fracasaron, así como aquellas que no la tenían y que tuvieron éxito?

3. Si nos dan datos a gran escala, ¿cuáles son las teorías rivales que son consistentes con los mismos datos? Un consejo práctico para identificar teorías rivales es imaginar que el estudio encontró el resultado opuesto (uno que no nos gusta) y pensar en cómo intentaríamos refutarlo.

4. Si encontramos evidencia sólida, ¿se aplica en el entorno que nos interesa? Un estudio que concluye que la capacitación de los empleados funciona en el ámbito tecnológico, no necesariamente significa que sea eficaz en la minería, donde la salud y la seguridad son primordiales y las normas tienen más valor.

Estos antídotos resaltan que comprender los datos no requiere pirotecnia estadística, sino sentido común, pensamiento crítico y una buena dosis de escepticismo.