Upwork archivos - DirigeHoy PREMIUM

Investigación: Cómo las plataformas gig pueden mitigar el sesgo racial en las valoraciones

Tristan L. Botelho — Thu, 27 Mar 2025 13:30:17 +0000

Investigación: Cómo las plataformas gig pueden mitigar el sesgo racial en las valoraciones

as plataformas de trabajo en línea como Fiverr, Handy, Uber y Upwork han crecido de manera significativa desde finales de la década de 1990, transformando radicalmente la economía y las prácticas de gestión utilizadas para respaldar el trabajo gig. Uno de los principales cambios introducidos por estas plataformas es su dependencia de las valoraciones de los clientes para evaluar el desempeño de los trabajadores.

Las implicaciones de este cambio son profundas. Las valoraciones de los clientes en estas plataformas no son solo comentarios sobre el desempeño; influyen directamente en las oportunidades de empleo, las asignaciones de trabajo y los ingresos de los trabajadores.

Por qué falla la escala de cinco estrellas y cómo ayuda la dicotomización

Si bien muchas personas creen que las evaluaciones son meritocráticas en teoría, y que son una medida justa del desempeño, se ha demostrado que los sesgos sutiles pueden influir en las evaluaciones, incluso sin conciencia de ello. La probabilidad de que estos sesgos sutiles influyan en las valoraciones puede aumentar cuando los clientes tienen una mayor libertad para hacer la evaluación (por ejemplo, al incluir más puntos en la escala que fomenten una mayor diferenciación).

Por ejemplo, un cliente con un sesgo inconsciente podría calificar a un trabajador racializado con cuatro estrellas en lugar de cinco, creyendo que aún le está dando una buena valoración; al fin y al cabo, es la mayoría de las estrellas disponibles. Sin embargo, cuando estos ligeros cambios a la baja no están relacionados con la calidad y se repiten en miles de transacciones, estos pequeños sesgos se acumulan, dando lugar a desigualdades cuantificables en los ingresos y las oportunidades de los trabajadores.

Los trabajadores enfrentan una creciente inseguridad reputacional, ya que las plataformas de trabajo en línea utilizan algoritmos opacos y valoraciones de los clientes para determinar sus oportunidades laborales. Incluso pequeños cambios en las valoraciones de los trabajadores pueden reducir drásticamente sus ingresos.

Proponemos que cambiar a una escala de valoración dicotómica (por ejemplo, pulgar arriba/pulgar abajo) podría reducir estos sesgos al simplificar la decisión a una elección dicotómica. En lugar de permitir evaluaciones matizadas (pero potencialmente sesgadas), una escala dicotómica anima a los evaluadores a centrarse en la pregunta esencial: ¿El desempeño fue bueno o malo?

Recomendamos las siguientes estrategias para las plataformas que buscan reducir los sesgos en procesos de evaluación similares.

Identifique las brechas.

Las plataformas deben auditar periódicamente sus sistemas de valoración para determinar si las evaluaciones varían sistemáticamente en función de las características que comúnmente no están relacionadas con la calidad del trabajo, como la identidad demográfica del trabajador.

Para detectar con mayor precisión los sesgos (y no las diferencias de calidad), las plataformas deben comparar las valoraciones de los trabajadores que realizan trabajos similares con una experiencia comparable. También pueden analizar de manera proactiva los comportamientos individuales de valoración de los clientes para identificar a aquellos que de forma sistemática califican a los trabajadores de forma diferente en función de sus características demográficas y no de su rendimiento.

Simplifique el proceso.

Adopte procesos de evaluación más simples que dirijan la atención de los calificadores a la evaluación central: ¿El desempeño fue bueno o malo?, en lugar de sistemas de valoración complejos que puedan introducir ambigüedad y sesgo.

Proporcione directrices de valoración más claras.

En un principio, los responsables de las plataformas podrían preocuparse de que pasar a una escala más simple de pulgar arriba/pulgar abajo implique sacrificar las valiosas distinciones que ofrece una escala multipunto. Una posible solución es que las plataformas consideren el uso de una serie de valoraciones dicotómicas en los criterios más importantes para capturar comentarios detallados de manera clara y efectiva.

Los procesos de evaluación efectivos deben ser precisos, justos y fáciles de entender. Nuestra investigación demuestra que, cuando se trata de crear procesos de evaluación más eficaces, a veces las soluciones simples son las más poderosas.

Artículo en inglés

Online labor market platforms like Fiverr, Handy, Uber and Upwork have grown significantly since the late 1990s, radically transforming the economy and the management practices used to support gig work. One major change introduced by these platforms is their reliance on customer ratings to assess worker performance.

The implications of this shift are profound. Customer ratings on these platforms are not just performance feedback; they directly influence workers’ job opportunities, work assignments and income.

WHY THE FIVE-STAR RATING SCALE FAILS AND HOW DICHOTOMIZATION HELPS

While people often believe that evaluations are meritocratic in theory and that they are fair measure of performance, it has been demonstrated that subtle biases can influence evaluations, even without conscious awareness. The likelihood that these subtle biases influence ratings may be compounded when customers have greater latitude to make the assessment (e.g., including more scale points that encourage greater differentiation). For example, a customer with unconscious bias might rate a worker of color with four stars instead of five, believing they are still giving a good evaluation; it is, after all, the majority of the available stars. However, when these slight rating downshifts are unrelated to quality and are repeated across thousands of transactions, these small biases accumulate, resulting in measurable inequalities in worker income and opportunities.

Workers face growing reputational insecurity as online labor market platforms use opaque algorithms and customer ratings to determine work opportunities. Even small changes in worker ratings can drastically reduce their earnings.

We proposed that switching to a dichotomous rating scale (e.g., thumbs up/thumbs down) could reduce these biases by simplifying the decision to a dichotomous choice. Instead of allowing for nuanced but potentially biased evaluations, a dichotomous scale encourages evaluators to focus on the essential question: Was the performance good or bad?

We recommend the following strategies for platforms seeking to reduce biases in similar evaluation processes.

CHECK FOR GAPS.

Platforms should regularly audit their rating systems to see if evaluations vary systematically based on characteristics commonly unrelated to the quality of work, like the demographic identity of the worker.

To most accurately detect bias and not quality differences, platforms should compare ratings for workers performing similar jobs with comparable experience. Platforms can also proactively analyze individual customer rating behaviors to identify customers who consistently rate workers differently based on worker demographics rather than performance.

KEEP IT SIMPLE.

Adopt simpler evaluation processes that direct raters’ attention to the core assessment — Was the performance good or bad? — rather than complex rating systems that may introduce ambiguity and bias.

PROVIDE CLEARER RATING GUIDELINES.

Platform leaders might initially worry that moving to a simpler thumbs up/thumbs down scale could sacrifice valuable distinctions provided by a multipoint scale. One potential solution is for platforms to consider using a series of dichotomous ratings across the most important criteria to clearly and effectively capture detailed feedback.

Effective evaluation processes must be accurate, fair and easy to understand. Our research demonstrates that when it comes to creating more effective evaluation processes, sometimes simple solutions are the most powerful.

Los gerentes están teniendo dificultades para seguir el ritmo del auge de la productividad impulsado por la IA

Liderazgo y Gerencia

Ya no necesita asignar tareas específicas y secuenciales. La IA puede ejecutar el “qué” en cuestión de minutos.

Cómo llegan realmente las personas a los puestos directivos en las empresas del S&P 500

Liderazgo y Gerencia

Para alcanzar el éxito no basta con conocer a fondo la organización y tener una gran experiencia dentro de su área funcional.

Formas sorprendentes de reducir la rotación de personal en puestos de trabajo de alta presión y alta especialización

Liderazgo y Gerencia

La sobrecarga desgasta a las personas; la responsabilidad significativa las mantiene comprometidas.

La entrada Investigación: Cómo las plataformas gig pueden mitigar el sesgo racial en las valoraciones se publicó primero en DirigeHoy PREMIUM.

Investigación: Cómo los sistemas de valoración influyen en el comportamiento de los usuarios en la economía colaborativa

Arne De Keyser — Fri, 23 Aug 2024 13:00:09 +0000

Investigación: Cómo los sistemas de valoración influyen en el comportamiento de los usuarios en la economía colaborativa

os sistemas de valoración, fundamentales para la economía de plataformas, influyen profundamente en el comportamiento y las elecciones humanas. Plataformas como Uber, Airbnb, Turo y Upwork confían en estos sistemas, no solo como reflejos del desempeño pasado, sino como herramientas proactivas para garantizar la calidad y fomentar una conducta adecuada en ambos lados de una transacción.

Los proveedores de plataformas suelen mostrar la información de las valoraciones al usuario de dos maneras. Los sistemas de valoración incremental, empleados por plataformas como TaskRabbit y Airbnb, ofrecen una vista detallada por anuncio y, a menudo, proporcionan información sobre la puntuación de cada valoración individual. Por el contrario, los sistemas de valoración promediada, utilizados por plataformas como Uber, Lyft y DoorDash, presentan una puntuación general que agrega todas las valoraciones individuales.

Realizamos nueve experimentos para nuestro próximo estudio que se publicará en el Journal of Marketing Research, que ilustran cómo la forma en que se comunican las valoraciones bajas influye en la experiencia y el comportamiento del usuario.

Los sistemas de valoración incremental destacan las puntuaciones bajas e impulsan la mejora del rendimiento.

En la economía de plataformas, es vital identificar y abordar rápidamente un servicio deficiente. Pensemos en una plataforma de viajes compartidos como Lyft. Si un conductor recibe calificaciones bajas, un sistema de valoración incremental haría que estas puntuaciones fueran más visibles, señalando tanto al conductor como a la plataforma la necesidad de mejorar (o incluso la posible desactivación). Este enfoque es crucial no solo para mantener los estándares de calidad, sino también para garantizar la seguridad y la satisfacción de los pasajeros.

Las puntuaciones incrementales permiten a los proveedores superar los contratiempos.

Para los proveedores de servicios en plataformas como Airbnb que puedan haber tenido un mal comienzo o algunas reseñas negativas al principio, un sistema incremental puede ser más indulgente. A medida que realicen mejoras, estos cambios positivos serán visibles de forma más inmediata en sus valoraciones más recientes. Este enfoque ofrece un camino más rápido para superar los contratiempos del pasado, algo crucial para los anfitriones que buscan reconstruir su reputación y atraer a más huéspedes.

Los sistemas incrementales pueden amplificar significativamente las valoraciones negativas.

Al resaltar cada puntuación baja, los sistemas incrementales pueden amplificar significativamente el impacto negativo de estas valoraciones en los proveedores de servicios. Esta mayor visibilidad de los comentarios negativos no solo afecta la autopercepción del individuo, sino que también puede generar un mayor deseo de abandonar la plataforma.

Los sistemas de valoración promediada ayudan a suavizar el impacto de las puntuaciones bajas, fomentando la retención y la fidelización.

Pensemos en un repartidor de una plataforma como DoorDash que experimenta un día inusual de retrasos debido al tráfico o problemas con los pedidos. Si bien esto puede resultar en algunas calificaciones bajas, al promediar estas puntuaciones en múltiples entregas, esta anomalía se coloca dentro del contexto más amplio de su desempeño general. Al demostrar que un mal día no alterará drásticamente su valoración, la plataforma fomenta un sentido de lealtad y anima a los proveedores de servicios a mantener su compromiso.

Los sistemas de valoración promediada ocultan las puntuaciones bajas.

Descubrimos que las personas no son buenas para estimar qué puntajes obtuvieron cuando solo ven una puntuación promedio. Pensemos en un conductor que fue calificado en tres viajes en total: dos de sus pasajeros le dieron una calificación de cinco estrellas, mientras que el tercero le dio una calificación de una estrella. Nuestra investigación sugiere que este conductor probablemente estimaría que su calificación más reciente es significativamente más alta si se le mostrara una puntuación promedio de 3.67.

La elección entre sistemas de valoración incremental y promediada afecta significativamente la forma en que los usuarios responden a las puntuaciones bajas. Si bien las plataformas establecidas pueden encontrar desafiante cambiar sus formatos de valoración debido a su larga trayectoria, las plataformas nuevas pueden seleccionar y personalizar cuidadosamente sus sistemas de valoración.

Artículo en inglés

Rating systems, integral to the platform economy, profoundly influence human behavior and choice. Platforms like Uber, Airbnb, Turo and Upwork rely on these systems not just as reflections of past performance, but as proactive tools for ensuring quality and encouraging proper conduct on both sides of a transaction.

Platform providers typically display ratings information to the user in two ways. Incremental rating systems, employed by platforms like TaskRabbit and Airbnb, offer a detailed view by listing and often providing insights into every individual review score. In contrast, averaged rating systems, used by platforms such as Uber, Lyft and DoorDash, present an overall score that aggregates all individual ratings.

We conducted nine experiments for our forthcoming study in the Journal of Marketing Research, which illustrate how the way low ratings are communicated shape user experience and behavior.

INCREMENTAL RATINGS SYSTEMS HIGHLIGHT LOW SCORES AND PROMPT PERFORMANCE IMPROVEMENT.

In the platform economy, it’s vital to quickly identify and address poor service. Consider a ride-sharing platform like Lyft. If a driver receives low ratings, an incremental rating system would make these scores more visible, signaling both to the driver and the platform the need for improvement or even potential deactivation. This approach is crucial not just for maintaining quality standards but also for ensuring passenger safety and satisfaction.

INCREMENTAL SCORES ALLOW PROVIDERS TO OUTGROW SETBACKS.

For service providers on platforms like Airbnb who may have had a rough start or a few early poor reviews, an incremental system can be more forgiving. As they make improvements, these positive changes will be more immediately visible in their more recent ratings. This approach offers a quicker path to overcoming past setbacks, crucial for hosts looking to rebuild their reputation and attract more guests.

INCREMENTAL SYSTEMS CAN SIGNIFICANTLY AMPLIFY NEGATIVE RATINGS.

By highlighting each low score, incremental systems can significantly amplify the negative impact of these ratings on service providers. This heightened visibility of negative feedback not only affects the individual’s self-perception, it can also lead to a stronger desire to disengage from the platform.

AVERAGED RATINGS SYSTEMS HELP SOFTEN THE BLOW OF LOW SCORES, AIDING RETENTION AND LOYALTY.

Consider a delivery driver on a platform like DoorDash who experiences an unusual day of delays due to traffic or order issues. While this might result in a few low ratings, averaging these scores over multiple deliveries places this anomaly within the larger context of their overall performance. By showing that one bad day won’t drastically alter their rating, the platform fosters a sense of loyalty and encourages service providers to stay committed.

AVERAGED RATINGS SYSTEMS OBSCURE LOW RATINGS.

We found people are not good at estimating what scores they got when they only see an average score. Consider a driver who was rated on three total trips: Two of their passengers gave them a five-star rating, while the third gave them a one-star rating. Our research suggests that this driver would likely estimate their most recent rating to be significantly higher if they were shown an average rating of 3.67.

The choice between incremental and averaged scoring systems significantly affects how users respond to low ratings. While established platforms might find it challenging to change their rating formats due to their long history, new platforms can thoughtfully select and customize their rating systems.