Investigación: Cómo influyen los mejores críticos en las valoraciones en línea

H

oy en día, los consumidores suelen empezar a ver una nueva serie de televisión confirmando su estatus de “reciente” en Rotten Tomatoes, reservan en un restaurante en función de sus valoraciones en Yelp y consultan las reseñas de productos antes de realizar una compra en Amazon.

Pero, ¿hasta qué punto podemos confiar en estas reseñas? Más allá del problema bien documentado de las reseñas falsas, la simple agregación de valoraciones sin procesar puede ser engañosa. Los consumidores más experimentados tienden a comprar (y calificar) productos de mayor calidad y, en consecuencia, a tener expectativas más altas. ¿El resultado? Los productos de mayor calidad se someten a un estándar más alto y pueden recibir valoraciones promedio más bajas que sus alternativas de menor calidad.

Se podría argumentar que el precio explica estas diferencias. ¿No debería exigirse más a un restaurante con estrella Michelin que cuesta cientos de dólares que a una comida rápida de 10 dólares? Aunque no cabe duda de que se trata de un argumento válido, pensamos que era solo una parte de la historia. Para demostrarlo, decidimos estudiar este sesgo en un mercado con precios uniformes: el de las películas.

El caso de las valoraciones de películas

Analizamos más de 9,000 películas en IMDb que recibieron un total de más de 650 millones de valoraciones. IMDb destaca convenientemente la calificación promedio de cada película y ofrece puntuaciones separadas de sus usuarios del “Top 1,000” (aquellos que han valorado más títulos en la plataforma). Para profundizar en nuestro análisis, también incorporamos 15 millones de valoraciones individuales de MovieLens, un popular sitio de recomendaciones de películas. Para medir la calidad, utilizamos indicadores externos como premios en festivales, nominaciones y reseñas de críticos profesionales.

Como era de esperar, los usuarios del “Top 1,000” en IMDb tienden a ver películas de mayor calidad y a calificarlas de forma más estricta. Entre las películas con características similares (año de producción, género y número de críticas), aquellas con al menos un premio o una nominación recibieron más del 5% de valoraciones adicionales de los usuarios del “Top 1,000”. Además, estos usuarios dieron puntuaciones más bajas que el usuario promedio en un asombroso 98% de las películas que estudiamos.

En conjunto, estos hallazgos revelan un claro sesgo contra las películas de mayor calidad: Debido a que estas películas deben impresionar a una audiencia más conocedora y crítica, sus valoraciones se ven afectadas en comparación con sus homólogas de menor calidad.

Una solución fácil de implementar

Este sesgo, aunque generalizado, se puede corregir con una solución sencilla. La clave es ajustar la rigurosidad de los usuarios al calcular las puntuaciones. Basándonos en las valoraciones individuales de MovieLens, medimos la “rigurosidad” de cada usuario comparando sus puntuaciones con la calificación promedio para las mismas películas.

Los resultados validaron nuestra teoría: Las valoraciones ajustadas se correlacionaban mejor con indicadores externos de calidad, como las nominaciones y los premios de los principales festivales de cine como Sundance, Toronto, Cannes y Venecia.

Implicaciones para las plataformas

Nuestro estudio destaca un problema central con las valoraciones de los consumidores. Incluso si asumimos que cada consumidor califica de forma honesta (pero subjetiva) y que no hay reseñas falsas, las comparaciones de las puntuaciones promedio pueden ser profundamente engañosas sobre la calidad relativa de los productos, ya que se aplican criterios totalmente distintos a unos y otros.

En última instancia, las plataformas deben reconocer que los sesgos en las valoraciones de los consumidores no son solo una consecuencia de actores malintencionados (por ejemplo, reseñas falsas), sino que están profundamente arraigados en el diseño de los sistemas de retroalimentación. Los algoritmos que se ajustan a este sesgo ofrecen un camino prometedor a seguir, permitiendo que los mercados y las redes mejoren la imparcialidad y la confiabilidad de sus productos.