L

as pruebas A/B son el estándar de oro de la experimentación. Su objetivo es ayudar a las empresas a tomar decisiones más rápidas, mejores y basadas en datos. Pero, con demasiada frecuencia, ocurre lo contrario. La reunión comienza con optimismo: una nueva idea de precios, diseño publicitario o pantalla de registro entra en una prueba A/B. Tras semanas de espera, los analistas regresan con valores p, umbrales de confianza del 95% y una conclusión ya conocida: “Deberíamos esperar a tener más datos. Aún no tenemos suficiente evidencia y no es estadísticamente significativa”.

Esperar a tener “suficientes datos” se siente seguro, pero consume tiempo, participación y crecimiento. Hay una razón para ello: los métodos estadísticos comunes recompensan la inacción.

En lugar de juzgar si un resultado es lo suficientemente significativo, los equipos deberían evaluar qué decisión minimiza la pérdida en el peor escenario. Esta guía surge de un marco de decisión denominado “arrepiento minimax asintótico” (AMMR).

El AMMR muestra cómo actuar utilizando pruebas A/B, manteniendo al mismo tiempo el rigor estadístico que se espera de los equipos modernos de analítica y conservando mecanismos de protección para los casos en los que la decisión ejecutiva pudiera resultar incorrecta, al limitar las pérdidas en el peor escenario.

Así es como se aplica el AMMR en cuatro pasos:

1. Formule la pregunta correcta.

En esencia, el AMMR reduce cada decisión de prueba a un único umbral: lance la nueva idea si su incremento estimado supera su costo de implementación por cliente. En otras palabras, “elija al ganador”. Esta lógica, que durante mucho tiempo fue intuida por profesionales como Jeff Bezos, ahora cuenta con un respaldo riguroso.

Los ejecutivos ya piensan en términos de economía unitaria. El AMMR simplemente lo hace explícito y añade salvaguardas, de modo que los equipos de datos puedan trabajar con los ejecutivos, no en su contra. Por lo tanto, no pida a su equipo que recopile evidencia solo para lograr que el valor p sea < 0.05. El AMMR replantea las pruebas como una decisión de negocio: ¿Qué opción es más probable que genere más valor, teniendo en cuenta lo que ya sabemos?

2. Haga explícito el análisis de costo/beneficio de la alta dirección (en términos por cliente).

La mayoría de las decisiones de despliegue implican costos por cliente (o por unidad), por ejemplo, 1.7 dólares por cada talonario de cupones promocionales enviado o 0.03 dólares por cada chat de soporte adicional. Estos costos también incluyen tarifas de proveedores, infraestructura incremental, carga operativa y cualquier mínimo contractual prorrateado por usuario o cliente.

El AMMR convierte esos costos en un umbral de decisión, imponiendo disciplina: los equipos no pueden recomendar lanzamientos cuya economía unitaria esperada no supere sus propios costos de implementación. Este es el criterio de decisión:

— Lance si el incremento estimado por cliente es ≥ al costo unitario de implementación.

— Deténgase si es inferior.

3. Exija resultados expresados en términos de negocio.

Indique a su equipo de analítica que reporte tres elementos en cada prueba A/B:

— Decisión (basada en AMMR): ¿Lanzar o detenerse?

— Pérdida esperada en el peor escenario si seguimos esa decisión (en dólares/KPIs).

— Tamaño de muestra necesario para limitar la pérdida a un objetivo que usted defina (por ejemplo, “mantener la pérdida diaria de ingresos en el peor escenario por debajo de 10,000 dólares”).

Por qué funciona: la pérdida en el peor escenario escala linealmente con el error estándar del ATE (efecto promedio del tratamiento). Esto le brinda una palanca clara: si el límite de pérdida actual es demasiado alto, usted sabe exactamente cuánta recolección adicional de datos se necesita para reducirlo al nivel deseado y asegurarse de que un posible error no resulte demasiado costoso.

4. Cierre el ciclo para el aprendizaje estratégico.

Como el AMMR expresa todo en el KPI que usted gestiona, facilita el aprendizaje posterior al lanzamiento.

Dado que todo se mide en el KPI que usted administra, puede comparar pronósticos con resultados y refinar los umbrales futuros. Puede preguntarse: ¿La acción generó el valor que esperábamos? Si no fue así, ¿la variabilidad fue mayor de lo previsto o el efecto fue menor? Utilice esas respuestas para ajustar el próximo límite de pérdida objetivo y el plan de muestreo de su siguiente prueba.

L

a avalancha de nuevos retos planteados por el COVID-19 ha llevado a las empresas a dar lo que McKinsey llama un “salto cuántico” en la digitalización. En una encuesta publicada en octubre de 2020, la firma consultora descubrió que en los meses previos las empresas habían adoptado más tecnología nueva que en la suma de varios años anteriores. De hecho, “la proporción de productos digitales o habilitados digitalmente en sus portafolios se ha acelerado en unos sorprendentes siete años.”

No hay duda de que adoptar nuevas tecnologías ha ayudado a muchas empresas a mantenerse a flote, y en algunos casos incluso a prosperar, mientras los empleados trabajaban desde casa, las cadenas de suministro se revolucionaban y los hábitos de consumo cambiaron. Sin embargo, la ola de nuevas herramientas también puede causar estragos en los trabajadores.

Un estudio de Cornell University y Qatalog concluye que “la tecnología se ha desbocado en la oficina digital” y los trabajadores están “tambaleándose”. Más del 43% dijo que pasan demasiado tiempo cambiando entre diferentes herramientas para hacer su trabajo. He aquí mi consejo:

Diseñe la pila tecnológica como si fuera un único producto. 

Aunque las piezas individuales de software parecen ofrecer grandes beneficios, las organizaciones a menudo las consideran en el vacío, sin pensar mucho en cómo cada nueva herramienta encajaría en un flujo de trabajo que ya está cargado de tecnología. En lugar de ello, deberían pensar en su pila tecnológica como si fuera una aplicación, no como un teléfono lleno de aplicaciones.

Cuando las empresas empiezan a ver cada nueva herramienta a partir del telón de fondo de todas las demás tecnologías que los empleados deben aprender y utilizar, empiezan a entender que están rompiendo una regla fundamental del diseño tecnológico: No añadir demasiados pasos para el usuario final. Cualquier nuevo elemento que se introduzca en la pila debería funcionar sin problemas e, idealmente, de forma automática con todas las demás herramientas, requiriendo poco o ningún esfuerzo adicional por parte del usuario. Si añade tiempo, asegúrese de calcularlo como parte del “costo” de la tecnología, y reconsidere si este vale la pena.

Realice pruebas A/B. 

Antes de decidir el despliegue de una nueva herramienta digital a toda la plantilla, algunas empresas hacen que los empleados la prueben para conocer sus funciones. Esto a menudo involucra dedicar tiempo a usar sólo esa pieza de software en un entorno simulado y se le piden sus primeras impresiones a los empleados acerca de si la herramienta puede ser útil o no. Las pruebas A/B son una forma de comparar dos versiones de algo para averiguar cuál funciona mejor. Al igual que las pruebas A/B se utilizan para mejorar la CX (experiencia del cliente) de las personas que podrían acceder al sitio web o la app de una empresa, las compañías deberían utilizarlas para mejorar su propia EX (experiencia del empleado).

Construir pensando en una alfabetización media. 

En muchas organizaciones, los empleados tienen un amplio rango de alfabetización digital. Muchos trabajadores todavía encuentran confusas e intimidantes a las nuevas tecnologías.

Ya que las personas que supervisan la pila tecnológica suelen tener conocimientos de tecnología, deben evitar utilizarse a sí mismas como barómetro de la facilidad de uso de una nueva herramienta. Pregunte a la empresa que creó la herramienta cuál es el nivel de conocimientos digitales que esta requiere. Lea las reseñas que hablan de este tema. Además, asegúrese de que sus pruebas A/B incluyan a personas con distintos niveles de habilidad. En última instancia, todo lo que adopte debe ser fácil de usar para el mayor número posible de empleados.

E

n el vertiginoso mundo del emprendimiento, el éxito parece depender de saber cuándo aprovechar la oportunidad de expandirse y cuándo es mejor esperar. La pregunta es: ¿En la carrera hacia el éxito de las startups predomina el enfoque “rápido y furioso” o “lento y constante”?

Es evidente que el escalamiento es crucial, pero difícil de comprender y estudiar. Esta realidad nos llevó a plantearnos la siguiente pregunta: ¿Cuándo deben escalar las startups?

Los riesgos de escalar antes de tiempo

En nuestra reciente investigación, analizamos datos a gran escala de Burning Glass Technologies y Crunchbase. Estos datos incluían 6.3 millones de ofertas de trabajo publicadas entre 2010 y 2019 por 38,217 startups fundadas en Estados Unidos. Descubrimos que, cuando las startups comienzan a expandirse, generalmente contratan a su primer gerente y vendedor para coordinar una fuerza laboral en crecimiento y ampliar su base de clientes.

Aprovechando esta información, utilizamos las primeras ofertas de trabajo para estas dos funciones con el fin de determinar el momento en que una startup empieza a escalar. Nuestros análisis revelaron que el escalamiento prematuro aumenta el riesgo de fracaso entre un 20 y un 40%. Además, este riesgo de fracaso es particularmente importante en empresas de plataforma de dos caras. Sin embargo, también descubrimos que cuando las startups incorporan la experimentación a través de pruebas A/B, el efecto adverso de escalar antes de tiempo sobre la probabilidad de fracaso disminuye.

Entonces, ¿qué impulsa la dinámica entre la velocidad de escalamiento, la experimentación y el fracaso? Proponemos que todo se reduce al riesgo de compromiso. Escalar requiere comprometerse con una idea, estrategia o producto, incluso si no está completamente perfeccionado. El riesgo subyacente a este compromiso se intensifica cuando las startups escalan prematuramente, ya que se ven obligadas a seguir una dirección particular antes de haber desarrollado completamente su concepto.

En cambio, cuando las startups se toman el tiempo necesario para escalar, evitan el riesgo de comprometerse demasiado pronto. Este enfoque les da margen para experimentar, perfeccionar su idea y realizar mejoras. Aunque pueden enfrentar desafíos (como la competencia o la imitación), ganan flexibilidad para ajustar sus ideas y estrategias.

Lo que los emprendedores deben tener en cuenta

Al analizar cómo influye el momento de la expansión en los resultados de las startups, nuestra investigación proporciona información sobre lo que los emprendedores deben priorizar al formular su estrategia de escalamiento:

— No se apresure a escalar antes de tiempo. Ante todo, las startups deben ser cautelosas a la hora de expandirse. Evite escalar su negocio y comprometerse con un concepto hasta que haya logrado que el producto se ajuste al mercado. Un escalamiento prematuro puede poner en riesgo las posibilidades de éxito de su startup.

— Adopte la experimentación. En segundo lugar, es importante fomentar una cultura de experimentación y hacer un uso estratégico de las pruebas A/B. En el dinámico panorama del crecimiento de las startups, experimentar con diferentes conceptos, estrategias y segmentos de clientes permite a los emprendedores recopilar información valiosa y validar supuestos antes de comprometerse con el costoso proceso de expansión.

Una limitación de nuestra investigación es que solo examina una dimensión del escalamiento y cómo esta influye en el éxito o fracaso de las startups. Otras dimensiones, como la modalidad o la geografía, también pueden tener un impacto significativo en el desempeño de las startups. Por lo tanto, aún quedan por descubrir muchas ideas relevantes sobre la dinámica del escalamiento de las startups.

Aunque puede parecer menos emocionante y glamoroso en una era en la que se celebra el crecimiento rápido, la paciencia puede garantizar una trayectoria más prometedora a largo plazo para las startups. Al final, la lentitud y la constancia ganan la carrera.