Investigación: Cómo influyen los mejores críticos en las valoraciones en línea
H
oy en día, los consumidores suelen empezar a ver una nueva serie de televisión confirmando su estatus de “reciente” en Rotten Tomatoes, reservan en un restaurante en función de sus valoraciones en Yelp y consultan las reseñas de productos antes de realizar una compra en Amazon.
Pero, ¿hasta qué punto podemos confiar en estas reseñas? Más allá del problema bien documentado de las reseñas falsas, la simple agregación de valoraciones sin procesar puede ser engañosa. Los consumidores más experimentados tienden a comprar (y calificar) productos de mayor calidad y, en consecuencia, a tener expectativas más altas. ¿El resultado? Los productos de mayor calidad se someten a un estándar más alto y pueden recibir valoraciones promedio más bajas que sus alternativas de menor calidad.
Se podría argumentar que el precio explica estas diferencias. ¿No debería exigirse más a un restaurante con estrella Michelin que cuesta cientos de dólares que a una comida rápida de 10 dólares? Aunque no cabe duda de que se trata de un argumento válido, pensamos que era solo una parte de la historia. Para demostrarlo, decidimos estudiar este sesgo en un mercado con precios uniformes: el de las películas.
El caso de las valoraciones de películas
Analizamos más de 9,000 películas en IMDb que recibieron un total de más de 650 millones de valoraciones. IMDb destaca convenientemente la calificación promedio de cada película y ofrece puntuaciones separadas de sus usuarios del “Top 1,000” (aquellos que han valorado más títulos en la plataforma). Para profundizar en nuestro análisis, también incorporamos 15 millones de valoraciones individuales de MovieLens, un popular sitio de recomendaciones de películas. Para medir la calidad, utilizamos indicadores externos como premios en festivales, nominaciones y reseñas de críticos profesionales.
Como era de esperar, los usuarios del “Top 1,000” en IMDb tienden a ver películas de mayor calidad y a calificarlas de forma más estricta. Entre las películas con características similares (año de producción, género y número de críticas), aquellas con al menos un premio o una nominación recibieron más del 5% de valoraciones adicionales de los usuarios del “Top 1,000”. Además, estos usuarios dieron puntuaciones más bajas que el usuario promedio en un asombroso 98% de las películas que estudiamos.
En conjunto, estos hallazgos revelan un claro sesgo contra las películas de mayor calidad: Debido a que estas películas deben impresionar a una audiencia más conocedora y crítica, sus valoraciones se ven afectadas en comparación con sus homólogas de menor calidad.
Una solución fácil de implementar
Este sesgo, aunque generalizado, se puede corregir con una solución sencilla. La clave es ajustar la rigurosidad de los usuarios al calcular las puntuaciones. Basándonos en las valoraciones individuales de MovieLens, medimos la “rigurosidad” de cada usuario comparando sus puntuaciones con la calificación promedio para las mismas películas.
Los resultados validaron nuestra teoría: Las valoraciones ajustadas se correlacionaban mejor con indicadores externos de calidad, como las nominaciones y los premios de los principales festivales de cine como Sundance, Toronto, Cannes y Venecia.
Implicaciones para las plataformas
Nuestro estudio destaca un problema central con las valoraciones de los consumidores. Incluso si asumimos que cada consumidor califica de forma honesta (pero subjetiva) y que no hay reseñas falsas, las comparaciones de las puntuaciones promedio pueden ser profundamente engañosas sobre la calidad relativa de los productos, ya que se aplican criterios totalmente distintos a unos y otros.
En última instancia, las plataformas deben reconocer que los sesgos en las valoraciones de los consumidores no son solo una consecuencia de actores malintencionados (por ejemplo, reseñas falsas), sino que están profundamente arraigados en el diseño de los sistemas de retroalimentación. Los algoritmos que se ajustan a este sesgo ofrecen un camino prometedor a seguir, permitiendo que los mercados y las redes mejoren la imparcialidad y la confiabilidad de sus productos.
© 2025 Harvard Business School Publishing Corp. | De: hbr.org | Distribuido por: The New York Times Syndicate.
Artículo en inglés
Today, consumers often begin a new TV series by confirming its “fresh” status on Rotten Tomatoes, book a restaurant based on its Yelp ratings and consult product reviews before making a purchase on Amazon.
But how much can we trust the information in these reviews? Beyond the well-documented issue of fake reviews, simply aggregating raw ratings may be misleading. More experienced consumers tend to both purchase — and rate — higher-quality products and, as a result, to have higher expectations. The result? Higher-quality products are held to a higher standard and may receive lower average ratings than their lower-quality alternatives.
One could argue that pricing explains these differences — shouldn’t a Michelin-star restaurant costing hundreds of dollars be held to a different standard than a $10 fast-food meal? While this is undoubtedly a valid point, we thought it was only half of the story. To prove it, we chose to study this bias in a market with uniform pricing: movies.
THE CASE OF MOVIE RATINGS
We analyzed more than 9,000 movies on IMDb that received a total of more than 650 million ratings. IMDb conveniently highlights the average score for each movie and provides separate scores from its “Top 1,000” users — those who have rated the most titles on the platform. To deepen our analysis, we also incorporated 15 million individual ratings from MovieLens, a popular movie recommendation site. To measure quality, we used external proxies such as festival awards, nominations and reviews from professional critics.
As expected, the Top 1,000 users on IMDb tend to watch higher-quality movies and rate them more strictly. Among movies with similar characteristics — year of production, genre and number of reviews — those with at least one award or nomination received more than 5% more ratings from Top 1,000 users. What’s more, these users gave lower scores than the average user for an astonishing 98% of the movies we studied.
Together, these findings reveal a clear bias against higher-quality movies: Because these films must impress a more knowledgeable and critical audience, their ratings suffer relative to their lower-quality counterparts.
AN EASY-TO-IMPLEMENT REMEDY
This bias, while pervasive, can be corrected with a straightforward solution. The key is to adjust for users’ stringency when calculating ratings. Based on individuals’ ratings from MovieLens, we measured each user’s “strictness” by comparing their ratings to the average score for the same movies.
The results validated our theory: The adjusted ratings better correlated with external quality proxies, such as nominations and awards from major film festivals like Sundance, Toronto, Cannes and Venice.
IMPLICATIONS FOR PLATFORMS
Our study highlights a core problem with consumer ratings. Even if we were to assume that every consumer rates honestly (but subjectively) and that no fake reviews are present, comparisons of average scores can be deeply misleading about products’ relative qualities, since different products are held to completely different standards.
Ultimately, platforms must recognize that biases in consumer ratings are not just a consequence of bad actors (e.g., fake reviews) but are deeply embedded in the design of feedback systems. Algorithms that adjust for this bias offer a promising path forward, enabling marketplaces and networks to enhance the fairness and reliability of their products.
Leyes de privacidad al compartir datos
Las regulaciones que ampliaron el control de los clientes sobre el uso que las empresas hacen de sus datos personales entraron en vigor en California y Virginia en 2023.
Cuando se trata de valor a largo plazo, las empresas tradicionales deberían pensar como disruptores digitales
A diferencia de muchas empresas tradicionales consolidadas, los disruptores digitales exitosos se enfocan en crear valor a largo plazo de una manera diferente.
Cuando el CEO se convierte en la marca
Cuando una marca se polariza políticamente debido al activismo de su CEO, la empresa se enfrenta a tres caminos estratégicos principales de cara al futuro.
