Ralun

Ralun / Guías de desempeño

Puntuaciones de evaluación: qué significa el error de medida

Isotipo oficial de RalunRalun · Lectura estimada: 7 min
CompartirLinkedInFacebook
Enlace

Selecciona el enlace y usa la opción Copiar de tu dispositivo.

Correo
Una profesional examina una hoja mediante un marco transparente; un trazo violeta destaca el área de revisión.

Un informe de evaluación presenta una nota con decimales, pero no explica qué tan precisa es.Antes de comparar puntuaciones, revisa qué información pedir sobre la escala, la fiabilidad y el error de medida, y usa un ejemplo para reconocer los límites de la cifra.

Distingue puntuación observada y precisión declarada

Una puntuación es el resultado que entrega un procedimiento bajo determinadas condiciones. Puede resumir respuestas, tareas o valoraciones. Su formato no explica por sí mismo cuánta incertidumbre contiene: mostrar 78,43 en vez de 78 no demuestra que se pueda distinguir con fundamento una diferencia de centésimas.

Antes de leer una cifra como precisa, pregunta qué se intentó medir, para qué uso se preparó y qué cambios del procedimiento podrían alterar el resultado. Un conjunto de preguntas distinto, una ocasión diferente o la intervención de otra persona evaluadora pueden introducir fuentes de variación distintas. El estudio disponible debe indicar cuáles considera.

El error estándar de medida, o SEM por sus siglas en inglés, describe una dispersión estimada de errores bajo un modelo y unas fuentes de variación definidos. Se expresa en las mismas unidades que la puntuación. Como explica Samuel Livingston en su guía de ETS, para darle sentido hay que conocer tanto la unidad como las fuentes de inconsistencia incluidas. El documento trata de pruebas; no valida una evaluación de desempeño particular.

Recupera escala, modelo y fuente de fiabilidad

Pide la documentación del instrumento y registra estos antecedentes antes de interpretar un error informado:

PreguntaQué necesitas recuperarPor qué importa
¿Qué significa la puntuación?Escala, unidades, reglas de cálculo y uso previsto.Una diferencia numérica no se interpreta sin saber qué representan sus unidades.
¿A quién se refiere la evidencia?Población, contexto y condiciones del estudio.Un coeficiente obtenido en otro grupo o uso no se traslada automáticamente.
¿Qué modelo se usó?Supuestos, método de estimación y versión del instrumento.La interpretación depende de cómo se definió el error.
¿Qué fuentes de variación incluye?Por ejemplo, selección de tareas, ocasión o evaluadores, según el diseño.Un estudio puede cubrir una fuente y dejar otra pendiente.
¿Qué coeficiente y error se informan?Valor, fuente, unidades y limitaciones.Permite reconstruir qué se calculó y evita tratar un número aislado como respuesta completa.

La consistencia interna, la estabilidad en el tiempo y el acuerdo entre evaluadores no responden automáticamente a la misma pregunta. Pide que quien realizó el estudio explique por qué el coeficiente elegido es pertinente para el uso. Si la puntuación proviene de niveles ordenados de una rúbrica, revisa qué operaciones permite la escala antes de restar o aplicar una fórmula. El análisis de brechas sin restar niveles ordinales desarrolla esa distinción.

Comprueba qué permite el error informado

Con la escala y el estudio a la vista, revisa el alcance de la cifra. Un SEM promedio resume la dispersión estimada del error bajo las condiciones del estudio. No identifica cuánto error contiene la puntuación de una persona ni garantiza la misma precisión en todos los niveles. Si una decisión depende especialmente de un punto de corte, pregunta si existe evidencia apropiada para esa zona y cómo se obtuvo. Un estudio de ETS sobre error condicional ilustra que el error en torno a un corte puede diferir del promedio para el grupo; sus resultados corresponden a las pruebas estudiadas.

Tampoco conviertas el SEM en una conclusión sobre validez. Que un resultado sea consistente bajo ciertas condiciones no demuestra por sí solo que represente adecuadamente aquello que se pretende evaluar ni que sea apropiado para una decisión laboral. Conserva por separado la evidencia sobre el contenido, las condiciones de aplicación y la interpretación propuesta.

Resuelve una fórmula clásica con supuestos explícitos

El siguiente ejercicio es ficticio y sirve solo para practicar una relación aritmética de la teoría clásica de los tests. Supongamos que el modelo es apropiado para el instrumento y el uso, que la desviación típica de las puntuaciones es 10 unidades y que el coeficiente de fiabilidad pertinente es 0,84. Ambos datos se refieren al mismo grupo y a las mismas fuentes de error. No son datos de una evaluación real.

Entrada o pasoOperaciónResultado
Desviación típica supuesta—10 unidades de puntuación
Fiabilidad supuesta—0,84
Complemento de la fiabilidad1 − 0,840,16
Raíz cuadrada√0,160,4
SEM del ejercicio10 × 0,44 unidades de puntuación

El resultado no dice que el error de una persona concreta sea 4 puntos. Tampoco autoriza a sumar y restar 4 para presentar un intervalo individual, ni a decidir que dos puntuaciones son distintas de manera significativa. Esas inferencias requieren supuestos, métodos y evidencia adicionales. Cambiar la escala, la población o las fuentes de error puede cambiar la pregunta y la estimación.

Para contrastar esto con una nota compuesta, el formato de evaluación del desempeño muestra cómo documentar reglas y componentes. Poder reconstruir una nota no equivale, por sí solo, a demostrar su precisión psicométrica.

Deriva las inferencias que requieren un estudio adicional

Si el informe no indica la fuente del coeficiente, registra que la precisión todavía necesita respaldo. Esa ausencia indica qué debes pedir; no demuestra por sí sola que la puntuación sea inutilizable. Si solo estudió una fuente de variación, evita afirmar que cubre todas. Cuando la pregunta sea cuánto cambia el resultado entre ocasiones, o cuánto coinciden distintas personas al aplicar una pauta, pide el diseño y las evidencias específicos para esa pregunta; no sustituyas uno por otro.

La prueba de trabajo para observar competencias técnicas ayuda a definir una tarea y sus condiciones de observación. Eso no demuestra automáticamente la precisión de una puntuación derivada de ella. Del mismo modo, un modelo de competencias por cargo puede aclarar qué conducta se espera sin acreditar por sí mismo un coeficiente de fiabilidad.

Prueba cómo se documenta el límite de interpretación

Usa esta ficha dentro del informe o del expediente técnico. No completes con una cifra estimada por intuición los campos que todavía no tienen respaldo.

CampoRegistro para completar
Puntuación, escala y unidad¿Qué valor se presenta y qué significa cada unidad?
Uso y población¿Para qué decisión se propone y a quiénes se refiere el estudio?
Modelo y versión¿Qué procedimiento y supuestos respaldan la estimación?
Fuente de error¿Qué variación se incluye y cuál queda fuera?
Coeficiente y fuente¿Cuál es el valor pertinente y dónde se documenta?
Error informadoValor, unidad, método y condiciones.
Inferencia permitida¿Qué puede explicarse con la evidencia disponible?
Pendiente y responsable¿Qué dato o estudio falta, quién lo revisará y cuándo?

Por ejemplo, ante una nota con dos decimales y sin documentación de fiabilidad, la ficha puede registrar: "Escala y regla de cálculo conocidas; fuente de error y precisión de medida pendientes de comprobar". Esa frase conserva el resultado observado y limita lo que se afirma sobre él. La guía de evidencias de desempeño ayuda a conservar fuente, período y límites de los antecedentes que acompañan la valoración.

Si quieres revisar cómo se presenta y reconstruye un resultado, puedes solicitar una demo de Ralun con una tarea y un ejemplo anonimizado. Comprueba qué entradas utiliza el recorrido y qué revisiones conserva tu equipo. La demo no reemplaza un estudio de fiabilidad ni acredita un cálculo automático de SEM.

Preguntas frecuentes

¿Más decimales significan mayor precisión?

No necesariamente. Muestran cómo se presenta el resultado. La precisión de medida necesita evidencia sobre el procedimiento, la población, el modelo y las fuentes de error pertinentes.

¿Puedo usar cualquier coeficiente de fiabilidad en la fórmula?

No. Antes de usar uno, revisa qué fuente de variación representa, cómo se obtuvo y si el modelo y el uso de la puntuación justifican esa operación.

¿Un SEM de cuatro permite decir que dos personas difieren?

No por sí solo. La interpretación de una diferencia exige un método adecuado y evidencia sobre las puntuaciones y sus condiciones. El ejercicio de este artículo no calcula ese análisis.

Conclusión

Una cifra puede ser útil para organizar una conversación y, al mismo tiempo, tener límites de interpretación. Antes de usar sus decimales para distinguir resultados, recupera escala, población, modelo, fuente de error y documentación del coeficiente. Cuando falte evidencia, conserva la pregunta y su responsable en vez de completar una precisión que todavía no se ha demostrado.

Luis Grau

Te dejo un desafío

Esta semana, muestra a un colega la explicación de una puntuación sin enseñarle el informe completo. Pídele que identifique qué puede concluir y qué información necesitaría antes de comparar resultados. Su respuesta te ayudará a detectar una precisión que todavía falta explicar.

CompartirLinkedInFacebook
Enlace

Selecciona el enlace y usa la opción Copiar de tu dispositivo.

Correo