Probablemente esté haciendo demasiadas pruebas A/B. Esto es lo que debe hacer en su lugar
L
as pruebas A/B son el estándar de oro de la experimentación. Su objetivo es ayudar a las empresas a tomar decisiones más rápidas, mejores y basadas en datos. Pero, con demasiada frecuencia, ocurre lo contrario. La reunión comienza con optimismo: una nueva idea de precios, diseño publicitario o pantalla de registro entra en una prueba A/B. Tras semanas de espera, los analistas regresan con valores p, umbrales de confianza del 95% y una conclusión ya conocida: “Deberíamos esperar a tener más datos. Aún no tenemos suficiente evidencia y no es estadísticamente significativa”.
Esperar a tener “suficientes datos” se siente seguro, pero consume tiempo, participación y crecimiento. Hay una razón para ello: los métodos estadísticos comunes recompensan la inacción.
En lugar de juzgar si un resultado es lo suficientemente significativo, los equipos deberían evaluar qué decisión minimiza la pérdida en el peor escenario. Esta guía surge de un marco de decisión denominado “arrepiento minimax asintótico” (AMMR).
El AMMR muestra cómo actuar utilizando pruebas A/B, manteniendo al mismo tiempo el rigor estadístico que se espera de los equipos modernos de analítica y conservando mecanismos de protección para los casos en los que la decisión ejecutiva pudiera resultar incorrecta, al limitar las pérdidas en el peor escenario.
Así es como se aplica el AMMR en cuatro pasos:
- Formule la pregunta correcta.
En esencia, el AMMR reduce cada decisión de prueba a un único umbral: lance la nueva idea si su incremento estimado supera su costo de implementación por cliente. En otras palabras, “elija al ganador”. Esta lógica, que durante mucho tiempo fue intuida por profesionales como Jeff Bezos, ahora cuenta con un respaldo riguroso.
Los ejecutivos ya piensan en términos de economía unitaria. El AMMR simplemente lo hace explícito y añade salvaguardas, de modo que los equipos de datos puedan trabajar con los ejecutivos, no en su contra. Por lo tanto, no pida a su equipo que recopile evidencia solo para lograr que el valor p sea < 0.05. El AMMR replantea las pruebas como una decisión de negocio: ¿Qué opción es más probable que genere más valor, teniendo en cuenta lo que ya sabemos?
- Haga explícito el análisis de costo/beneficio de la alta dirección (en términos por cliente).
La mayoría de las decisiones de despliegue implican costos por cliente (o por unidad), por ejemplo, 1.7 dólares por cada talonario de cupones promocionales enviado o 0.03 dólares por cada chat de soporte adicional. Estos costos también incluyen tarifas de proveedores, infraestructura incremental, carga operativa y cualquier mínimo contractual prorrateado por usuario o cliente.
El AMMR convierte esos costos en un umbral de decisión, imponiendo disciplina: los equipos no pueden recomendar lanzamientos cuya economía unitaria esperada no supere sus propios costos de implementación. Este es el criterio de decisión:
— Lance si el incremento estimado por cliente es ≥ al costo unitario de implementación.
— Deténgase si es inferior.
- Exija resultados expresados en términos de negocio.
Indique a su equipo de analítica que reporte tres elementos en cada prueba A/B:
— Decisión (basada en AMMR): ¿Lanzar o detenerse?
— Pérdida esperada en el peor escenario si seguimos esa decisión (en dólares/KPIs).
— Tamaño de muestra necesario para limitar la pérdida a un objetivo que usted defina (por ejemplo, “mantener la pérdida diaria de ingresos en el peor escenario por debajo de 10,000 dólares”).
Por qué funciona: la pérdida en el peor escenario escala linealmente con el error estándar del ATE (efecto promedio del tratamiento). Esto le brinda una palanca clara: si el límite de pérdida actual es demasiado alto, usted sabe exactamente cuánta recolección adicional de datos se necesita para reducirlo al nivel deseado y asegurarse de que un posible error no resulte demasiado costoso.
- Cierre el ciclo para el aprendizaje estratégico.
Como el AMMR expresa todo en el KPI que usted gestiona, facilita el aprendizaje posterior al lanzamiento.
Dado que todo se mide en el KPI que usted administra, puede comparar pronósticos con resultados y refinar los umbrales futuros. Puede preguntarse: ¿La acción generó el valor que esperábamos? Si no fue así, ¿la variabilidad fue mayor de lo previsto o el efecto fue menor? Utilice esas respuestas para ajustar el próximo límite de pérdida objetivo y el plan de muestreo de su siguiente prueba.
© 2026 Harvard Business School Publishing Corp. | De: hbr.org | Distribuido por: The New York Times Syndicate.
Artículo en inglés
A/B testing is the gold standard of experimentation. It is meant to help companies make faster, better, data-driven decisions. But too often, it does the opposite. The meeting starts with optimism: a new pricing idea, ad layout or sign-up screen goes into an A/B test. After waiting for weeks, analysts come back with p-values, 95% confidence thresholds and a familiar conclusion: “We should wait for more data. We don’t have enough evidence yet, and it’s not statistically significant.”
Waiting for “enough data” feels safe, but it eats time, engagement and growth. There is a reason why: common statistical methods reward inaction.
Instead of judging whether a result is significant enough, teams should evaluate which decision minimizes worst-case loss. This guidance falls out of a decision framework called asymptotic minimax-regret (AMMR).
AMMR shows how to take action using A/B tests, while still maintaining statistical rigor expected from modern analyst teams and keeping safeguards for cases in which the executive decision might turn out to be wrong by capping worst-case losses.
Here’s what AMMR looks like in four steps:
1. ASK THE RIGHT QUESTION.
At its core, AMMR reduces every testing decision to a single threshold: Launch the new idea if its estimated lift exceeds its per-customer deployment cost. In other words, “pick the winner.” The logic, long suspected by practitioners like Jeff Bezos, now has rigorous backing.
Executives already think in those unit-economic terms; AMMR simply makes them explicit and adds safeguards, so that data teams can work with executives, not against them. So, don’t ask your team to collect evidence so that p-value < 0.05. AMMR reframes testing as a business decision: Which choice likely creates more value, given what we already know?
2. MAKE THE C-SUITE’S COST/BENEFIT EXPLICIT (IN PER-CUSTOMER TERMS).
Most rollout decisions incur per-customer (or per-unit) deployment costs — for example, $1.7 per promo coupon book sent or $0.03 per additional support chat. These also include vendor fees, incremental infra, operational toil and any contractual minimums prorated per user/customer.
AMMR converts those costs into a decision threshold, while forcing discipline: teams can’t recommend launches whose expected unit economics don’t clear their own deployment costs. This is the decision bar:
— Launch if the estimated lift per customer ≥ unit deployment cost if the estimated lift per customer ≥ unit deployment cost.
— Hold if it’s below.
3. INSIST ON OUTPUTS IN BUSINESS TERMS.
Direct your analytics team to report three items for every A/B test:
— Decision (based on AMMR): Ship or hold?
— Worst-case expected loss if we follow that decision (in dollars/KPIs).
— Sample size to cap loss at a target you set (e.g., “keep worst-case daily revenue loss under $10,000”).
Why this works: the worst-case loss scales linearly with the standard error of the ATE. That gives you a clear lever: if the current loss cap is too high, you know exactly how much more data collection is needed to bring it down to where you want it to make sure a possible mistake isn’t too costly.
4. CLOSE THE LOOP FOR STRATEGIC LEARNING.
Because the AMMR expresses everything in the KPI you manage to, it makes postlaunch learning easier.
Because everything is measured in the KPI you manage to, you can compare forecasts with outcomes and refine future thresholds. You can ask: Did the action deliver the value we expected? If not, was the variance larger than we thought, or was the effect smaller? Use those answers to refine your next test’s target loss cap and sample plan.
La IA generativa podría solucionar las evaluaciones de desempeño (o empeorarlas aún más)
La IA puede alejar las evaluaciones de desempeño de las narrativas laborales y acercarlas a evidencia directa del trabajo en la práctica.
Es difícil utilizar la IA en equipo. Estas 3 prácticas pueden ayudar
He aquí tres prácticas que pueden ayudar a desarrollar la «química humano-IA en los equipos» a medida que evoluciona el lugar de trabajo.
¿Cuáles son los problemas de su empresa en materia de IA?
El “Ethical Nightmare Challenge” (ENC) es un marco de trabajo que puede integrarse con programas existentes de gestión de riesgos de IA.
