L

as plataformas de trabajo en línea como Fiverr, Handy, Uber y Upwork han crecido de manera significativa desde finales de la década de 1990, transformando radicalmente la economía y las prácticas de gestión utilizadas para respaldar el trabajo gig. Uno de los principales cambios introducidos por estas plataformas es su dependencia de las valoraciones de los clientes para evaluar el desempeño de los trabajadores.

Las implicaciones de este cambio son profundas. Las valoraciones de los clientes en estas plataformas no son solo comentarios sobre el desempeño; influyen directamente en las oportunidades de empleo, las asignaciones de trabajo y los ingresos de los trabajadores.

Por qué falla la escala de cinco estrellas y cómo ayuda la dicotomización

Si bien muchas personas creen que las evaluaciones son meritocráticas en teoría, y que son una medida justa del desempeño, se ha demostrado que los sesgos sutiles pueden influir en las evaluaciones, incluso sin conciencia de ello. La probabilidad de que estos sesgos sutiles influyan en las valoraciones puede aumentar cuando los clientes tienen una mayor libertad para hacer la evaluación (por ejemplo, al incluir más puntos en la escala que fomenten una mayor diferenciación).

Por ejemplo, un cliente con un sesgo inconsciente podría calificar a un trabajador racializado con cuatro estrellas en lugar de cinco, creyendo que aún le está dando una buena valoración; al fin y al cabo, es la mayoría de las estrellas disponibles. Sin embargo, cuando estos ligeros cambios a la baja no están relacionados con la calidad y se repiten en miles de transacciones, estos pequeños sesgos se acumulan, dando lugar a desigualdades cuantificables en los ingresos y las oportunidades de los trabajadores.

Los trabajadores enfrentan una creciente inseguridad reputacional, ya que las plataformas de trabajo en línea utilizan algoritmos opacos y valoraciones de los clientes para determinar sus oportunidades laborales. Incluso pequeños cambios en las valoraciones de los trabajadores pueden reducir drásticamente sus ingresos.

Proponemos que cambiar a una escala de valoración dicotómica (por ejemplo, pulgar arriba/pulgar abajo) podría reducir estos sesgos al simplificar la decisión a una elección dicotómica. En lugar de permitir evaluaciones matizadas (pero potencialmente sesgadas), una escala dicotómica anima a los evaluadores a centrarse en la pregunta esencial: ¿El desempeño fue bueno o malo?

Recomendamos las siguientes estrategias para las plataformas que buscan reducir los sesgos en procesos de evaluación similares.

Identifique las brechas.

Las plataformas deben auditar periódicamente sus sistemas de valoración para determinar si las evaluaciones varían sistemáticamente en función de las características que comúnmente no están relacionadas con la calidad del trabajo, como la identidad demográfica del trabajador.

Para detectar con mayor precisión los sesgos (y no las diferencias de calidad), las plataformas deben comparar las valoraciones de los trabajadores que realizan trabajos similares con una experiencia comparable. También pueden analizar de manera proactiva los comportamientos individuales de valoración de los clientes para identificar a aquellos que de forma sistemática califican a los trabajadores de forma diferente en función de sus características demográficas y no de su rendimiento.

Simplifique el proceso.

Adopte procesos de evaluación más simples que dirijan la atención de los calificadores a la evaluación central: ¿El desempeño fue bueno o malo?, en lugar de sistemas de valoración complejos que puedan introducir ambigüedad y sesgo.

Proporcione directrices de valoración más claras.

En un principio, los responsables de las plataformas podrían preocuparse de que pasar a una escala más simple de pulgar arriba/pulgar abajo implique sacrificar las valiosas distinciones que ofrece una escala multipunto. Una posible solución es que las plataformas consideren el uso de una serie de valoraciones dicotómicas en los criterios más importantes para capturar comentarios detallados de manera clara y efectiva.

Los procesos de evaluación efectivos deben ser precisos, justos y fáciles de entender. Nuestra investigación demuestra que, cuando se trata de crear procesos de evaluación más eficaces, a veces las soluciones simples son las más poderosas.

H

oy en día, los consumidores suelen empezar a ver una nueva serie de televisión confirmando su estatus de “reciente” en Rotten Tomatoes, reservan en un restaurante en función de sus valoraciones en Yelp y consultan las reseñas de productos antes de realizar una compra en Amazon.

Pero, ¿hasta qué punto podemos confiar en estas reseñas? Más allá del problema bien documentado de las reseñas falsas, la simple agregación de valoraciones sin procesar puede ser engañosa. Los consumidores más experimentados tienden a comprar (y calificar) productos de mayor calidad y, en consecuencia, a tener expectativas más altas. ¿El resultado? Los productos de mayor calidad se someten a un estándar más alto y pueden recibir valoraciones promedio más bajas que sus alternativas de menor calidad.

Se podría argumentar que el precio explica estas diferencias. ¿No debería exigirse más a un restaurante con estrella Michelin que cuesta cientos de dólares que a una comida rápida de 10 dólares? Aunque no cabe duda de que se trata de un argumento válido, pensamos que era solo una parte de la historia. Para demostrarlo, decidimos estudiar este sesgo en un mercado con precios uniformes: el de las películas.

El caso de las valoraciones de películas

Analizamos más de 9,000 películas en IMDb que recibieron un total de más de 650 millones de valoraciones. IMDb destaca convenientemente la calificación promedio de cada película y ofrece puntuaciones separadas de sus usuarios del “Top 1,000” (aquellos que han valorado más títulos en la plataforma). Para profundizar en nuestro análisis, también incorporamos 15 millones de valoraciones individuales de MovieLens, un popular sitio de recomendaciones de películas. Para medir la calidad, utilizamos indicadores externos como premios en festivales, nominaciones y reseñas de críticos profesionales.

Como era de esperar, los usuarios del “Top 1,000” en IMDb tienden a ver películas de mayor calidad y a calificarlas de forma más estricta. Entre las películas con características similares (año de producción, género y número de críticas), aquellas con al menos un premio o una nominación recibieron más del 5% de valoraciones adicionales de los usuarios del “Top 1,000”. Además, estos usuarios dieron puntuaciones más bajas que el usuario promedio en un asombroso 98% de las películas que estudiamos.

En conjunto, estos hallazgos revelan un claro sesgo contra las películas de mayor calidad: Debido a que estas películas deben impresionar a una audiencia más conocedora y crítica, sus valoraciones se ven afectadas en comparación con sus homólogas de menor calidad.

Una solución fácil de implementar

Este sesgo, aunque generalizado, se puede corregir con una solución sencilla. La clave es ajustar la rigurosidad de los usuarios al calcular las puntuaciones. Basándonos en las valoraciones individuales de MovieLens, medimos la “rigurosidad” de cada usuario comparando sus puntuaciones con la calificación promedio para las mismas películas.

Los resultados validaron nuestra teoría: Las valoraciones ajustadas se correlacionaban mejor con indicadores externos de calidad, como las nominaciones y los premios de los principales festivales de cine como Sundance, Toronto, Cannes y Venecia.

Implicaciones para las plataformas

Nuestro estudio destaca un problema central con las valoraciones de los consumidores. Incluso si asumimos que cada consumidor califica de forma honesta (pero subjetiva) y que no hay reseñas falsas, las comparaciones de las puntuaciones promedio pueden ser profundamente engañosas sobre la calidad relativa de los productos, ya que se aplican criterios totalmente distintos a unos y otros.

En última instancia, las plataformas deben reconocer que los sesgos en las valoraciones de los consumidores no son solo una consecuencia de actores malintencionados (por ejemplo, reseñas falsas), sino que están profundamente arraigados en el diseño de los sistemas de retroalimentación. Los algoritmos que se ajustan a este sesgo ofrecen un camino prometedor a seguir, permitiendo que los mercados y las redes mejoren la imparcialidad y la confiabilidad de sus productos.