
Sesgos en las valoraciones
Un evaluador puede poner notas más altas a medida que acumula experiencia, aunque lo evaluado no haya mejorado.En ocho estudios y más de 12.000 evaluaciones sucesivas apareció esa tendencia en ámbitos distintos.El artículo explica una posible causa, los límites del hallazgo y qué conviene mirar antes de usar puntuaciones para decidir.
Las valoraciones desempeñan un papel enorme en nuestra vida. Las que hacen críticos, jueces y evaluadores determinan resultados muy diversos: desde algo aparentemente trivial, como el vino que elegimos para cenar o los productos que compramos en Amazon, hasta decisiones de mayor trascendencia, como qué deportistas ganan el oro olímpico o qué estudiantes ingresan en las mejores universidades.
Pero ¿hasta qué punto son fiables esas valoraciones? ¿Se mantienen estables con el tiempo?
Nos planteamos estas preguntas al conocer las especulaciones sobre la inflación de las puntuaciones de los vinos. Cuando un crítico introdujo hace décadas su escala de 100 puntos, la puntuación más alta que concedió aquel año fue de 91. Hoy, muchos vinos reciben cada año la puntuación perfecta en su publicación especializada. Del mismo modo, en 2000 solo el 15 % de los vinos evaluados por otra revista especializada superaba los 90 puntos. En 2015, la frecuencia de esas puntuaciones se había más que duplicado: casi un tercio de todos los vinos reseñados superaba ya los 90 puntos.
Queríamos entender qué ocurría y si las personas tienden a conceder puntuaciones más altas a medida que pasa el tiempo.
Las valoraciones aumentan con la experiencia
En ocho estudios publicados recientemente en Psychological Science, reunimos más de 12.000 evaluaciones sucesivas para comprobar si las puntuaciones cambiaban conforme el evaluador adquiría experiencia. Las evaluaciones abarcaban ámbitos muy distintos: las puntuaciones de los jueces de un concurso televisivo de baile, las notas que ponían profesores universitarios y las valoraciones de relatos breves y fotografías hechas por estudiantes universitarios. También analizamos miles de reseñas de productos de Amazon escritas por usuarios habituales.
En un estudio analizamos 5.511 puntuaciones otorgadas por el mismo panel de jueces del concurso de baile. A lo largo de 20 temporadas observamos que, cuantas más evaluaciones hacían los jueces, más altas eran las puntuaciones que daban. Esto se mantenía incluso al controlar otros factores, como una posible mejora real de las parejas profesionales o la participación de bailarines más hábiles en las temporadas posteriores.
Después examinamos las notas de los estudiantes durante un período de 10 años en 991 asignaturas impartidas varias veces por los mismos profesores. Igual que sucedía con los jueces del concurso, cuantas más veces impartía un profesor una asignatura, más altas eran las notas que ponía. Consideramos otras posibles explicaciones: que los estudiantes mejoraran con el tiempo, que subieran las notas de todas las asignaturas, que fuera más probable volver a ofrecer las asignaturas con notas altas o que los profesores mejoraran su enseñanza. Incluso después de controlar estas posibilidades, encontramos el mismo resultado: cuando los profesores impartían muchas veces la misma asignatura, tendían a poner notas más altas.
Para descartar explicaciones alternativas, también examinamos este patrón en un experimento controlado en el que los participantes evaluaban relatos breves. Pedimos a 168 estudiantes universitarios de grado que puntuaran un relato al día durante 10 días. Al final, todos habían valorado los mismos 10 relatos, pero cada uno los había visto en un orden aleatorio distinto. Esa asignación nos permitió aislar la influencia del orden —día 1, día 2 y así sucesivamente— sobre las evaluaciones. En otras palabras, ¿basta con hacer más evaluaciones para que suban las puntuaciones, independientemente de lo que se evalúe? Como antes, observamos que cuantos más relatos puntuaba una persona, más altas eran sus valoraciones. Por eso, el décimo relato recibió, de media, una puntuación superior a la del primero.
| Ámbito | Tamaño descrito | Observación |
|---|---|---|
| Concurso de baile | 5.511 puntuaciones, 20 temporadas | Las puntuaciones subían con la experiencia de los jueces. |
| Asignaturas universitarias | 991 asignaturas durante 10 años | Las notas tendían a subir con las repeticiones de la asignatura. |
| Relatos breves | 168 estudiantes, 10 días | El orden aleatorio permitió aislar el efecto de evaluar más veces. |
Encontramos el mismo resultado en todos los ámbitos.
Cuanto más evaluamos, más fácil nos parece evaluar
¿Por qué podrían subir las puntuaciones con el tiempo?
Nos preguntamos si el acto de evaluar podría parecer más fácil con la práctica y si eso influiría en la valoración positiva de aquello que se examina. En un estudio posterior pedimos a 362 personas de un panel en línea que puntuaran un relato elegido al azar cada día durante 10 días. También les hicimos preguntas diarias, como cuánto les había costado evaluar cada relato. A medida que pasaban los días, los participantes afirmaban que evaluar los relatos les resultaba más fácil y agradable. A su vez, esas sensaciones hicieron que las valoraciones de los relatos mejoraran con el tiempo.
Los resultados sugieren que las evaluaciones sesgadas proceden de una atribución errónea: si evaluar algo resulta más fácil, las personas creen que ese algo debe ser mejor. Es decir, atribuyen sus sensaciones sobre el proceso de evaluación —«me resulta más fácil emitir un juicio»— a los méritos de lo evaluado —«esto debe merecer una puntuación más alta»—. Esto sucedió aunque la secuencia de relatos fuera aleatoria para cada persona.
Sin embargo, cuando les preguntamos si creían que sus puntuaciones aumentaban con el tiempo, los participantes dijeron que no. El resultado sugiere que la mayoría desconoce que ese sesgo puede influir en sus juicios.
Valoraciones, ascensos y desempeño: ¿qué fiabilidad tienen?
¿Por qué importan estos resultados a directivos y organizaciones? Una consecuencia práctica afecta a las organizaciones que solicitan reseñas a sus clientes. En un estudio complementario observamos que quienes escriben reseñas en Amazon conceden puntuaciones más altas a los productos conforme aumenta el número de reseñas que han hecho. Por ejemplo, alguien que evalúa por primera o segunda vez podría dar menos estrellas —con independencia del producto— que cuando hace su vigésima evaluación. Si la información aportada por los usuarios es una parte esencial del modelo de negocio de una organización y orienta las decisiones de compra, tanto sus responsables como los consumidores deberían tener presente este sesgo.
Nuestros resultados también plantean una pregunta abierta para los directivos: ¿cómo podría afectar este sesgo a la selección de personal, los ascensos y las evaluaciones del desempeño? Pese a los esfuerzos por evaluar con precisión y justicia, nuestros hallazgos sugieren que los procesos de evaluación podrían favorecer a los candidatos entrevistados por un reclutador que lleva más tiempo evaluando. Nuestro siguiente paso es estudiar esta posibilidad, para lo que buscamos organizaciones colaboradoras.
También queremos averiguar si se observarían resultados parecidos en las decisiones de ascenso y en los procesos sucesivos de evaluación anual de 360 grados. De ser así, el efecto de estos sesgos podría extenderse a gran parte de la población activa actual y futura.
Nos interesa asimismo estudiar cómo reducir este sesgo para mejorar la precisión de las evaluaciones de candidatos, del desempeño y de los ascensos. En nuestros estudios observamos que la mayoría de las personas parecía ignorar la influencia que el sesgo ejercía sobre sus decisiones con el tiempo. Una posible medida sería simplemente informarles de esa posible influencia. También tratamos de comprender mejor otras variables de la situación.
Límites del hallazgo y cómo interpretarlo
Conviene señalar algunas limitaciones de nuestros estudios. Aunque encontramos el sesgo en todos los contextos que examinamos, muchos otros factores influyen en las decisiones de evaluación; la tendencia a valorar de forma más positiva con el tiempo es solo uno de ellos. Además, hay indicios de que, en determinadas condiciones, las evaluaciones también pueden volverse más negativas con el tiempo. Sigue sin saberse qué factores y condiciones hacen que se vuelvan más positivas o más negativas.
Quizá la próxima vez que publiques una reseña o entrevistes candidatos te preguntes cuántas evaluaciones has hecho ya y si tu valoración actual podría inclinarse hacia lo positivo. Eso podría ayudarte a evaluar con más precisión.
A la inversa, cuando te apoyes en puntuaciones numéricas dadas por otras personas, recuerda que una puntuación refleja la calidad propia del producto, pero también puede ser más alta porque quien la otorgó tiene más experiencia evaluando. Tal vez merezca la pena comprar esa botella de vino más antigua cuya puntuación es menor.
Te dejo un desafío
Antes de comparar puntuaciones, pregunta cuántas evaluaciones ha hecho cada persona y si la escala y los criterios se mantuvieron iguales. Escoge una decisión de tu equipo y revisa si una nota más alta refleja mejor desempeño o un cambio en la forma de evaluar.
