Ralun

Ralun / Guías de desempeño

Test-retest de competencias: ¿pueden cambiar las notas sin cambiar el orden?

Isotipo oficial de RalunRalun · Lectura estimada: 7 min
CompartirLinkedInFacebook
Enlace

Selecciona el enlace y usa la opción Copiar de tu dispositivo.

Correo
Una profesional ficticia compara dos hojas con formas en el mismo orden, unidas por una flecha violeta

Al repetir una evaluación de competencias, las puntuaciones pueden cambiar aunque la clasificación de las personas siga igual.Con un ejemplo y una ficha, aprenderás a revisar las condiciones del estudio y a separar la estabilidad del orden de la cercanía entre resultados.

Define la estabilidad esperada y el atributo

Un estudio test-retest compara resultados de una misma medición en dos momentos. Antes de revisar un coeficiente, pregunta qué atributo se quiso medir, con qué instrumento, en qué población y para qué decisión se usarían los resultados. Para precisar el atributo, revisa cómo un diccionario de competencias define conductas y niveles. No es lo mismo esperar estabilidad en una característica durante un intervalo breve que evaluar una capacidad que podría cambiar tras practicar.

Anota la expectativa antes de mirar los resultados. Si se impartió formación entre aplicaciones, una diferencia puede reflejar aprendizaje, diferencias de condiciones, error de medición u otros factores. Dos puntuaciones por sí solas no permiten repartir la diferencia entre esas explicaciones. Una comparación útil necesita registrar qué ocurrió entre ambas ocasiones y reconocer lo que el diseño no permite distinguir.

Recupera intervalo, formas y condiciones

Busca la fecha y duración entre aplicaciones, quiénes participaron en ambas, cuántos quedaron fuera y si cambiaron las condiciones. Comprueba si se usó la misma forma o una versión alternativa, cómo se administró y calificó, qué información recibieron las personas y si hubo práctica, retroalimentación o intervención entre mediciones. Si cambió el modelo, identifica qué versión de competencias se utilizó en cada ocasión.

El intervalo importa por la pregunta, no por una duración universal. Si es corto, recordar tareas puede influir; si es largo, el atributo o el contexto pueden cambiar. Un informe debe explicar por qué su intervalo sirve para el uso propuesto y qué incertidumbres permanecen. La comparación de formas distintas añade una pregunta sobre su equivalencia; no atribuyas automáticamente cada diferencia al paso del tiempo.

Separa orden relativo y acuerdo de puntuación

La estabilidad relativa se pregunta si las personas mantienen una posición parecida entre sí. El acuerdo de puntuaciones pregunta cuán próximos están los valores de cada persona en las dos ocasiones. Una correlación puede reflejar una relación lineal fuerte sin demostrar que los valores coinciden. Bland y Altman explicaron este límite al comparar métodos de medición clínica; su artículo ayuda a comprender la distinción, pero no valida una escala laboral. Por eso conviene leer el nombre y la definición del estadístico, el modelo utilizado y el intervalo de incertidumbre junto con las diferencias observadas, en vez de convertir una cifra aislada en un sello de calidad.

La decisión sobre qué estadístico usar depende de la pregunta, la escala y el diseño. Consulta a una persona especialista en medición cuando una decisión importante dependa de esa elección. El grado de dispersión y la composición de la muestra también importan: un coeficiente obtenido en una población no se traslada automáticamente a otra.

Resuelve dos mediciones con desplazamiento común

Este ejemplo es ficticio y usa unidades didácticas. Tres personas, Ana, Bruno y Carla, obtienen las siguientes puntuaciones:

Persona Primera medición Segunda medición Diferencia
Ana 40 45 +5
Bruno 50 55 +5
Carla 60 65 +5

El orden se conserva: Ana queda por debajo de Bruno y Bruno por debajo de Carla en ambas ocasiones. Pero ninguna puntuación es igual a la anterior. El desplazamiento común ilustra por qué mantener el orden no equivale a coincidencia de valores.

El ejemplo no estima fiabilidad: tres registros no constituyen una muestra psicométrica recomendable. Tampoco demuestra que las personas hayan aprendido o cambiado realmente, ni supone que una escala laboral tenga propiedades intervalares. Antes de interpretar la diferencia habría que conocer el instrumento, las condiciones y lo ocurrido entre mediciones.

Contrasta el informe con responsables del trabajo

Pide a quien diseñó o utiliza la evaluación que explique la decisión para la que se necesita el resultado. Un perfil de cargo con responsabilidades y competencias ayuda a contrastar la pertinencia del criterio para el trabajo. Después, revisen si el atributo y las condiciones del estudio se parecen al uso previsto: población, tarea, entorno, intervalo y consecuencias de una interpretación errónea. Si falta información, registra el límite antes de decidir qué puede sostener el informe.

Una referencia para entender por qué se describen estas condiciones es el estudio de Liao y Qu para ETS: comparó formas alternativas y ocasiones de pruebas TOEIC de expresión oral y escrita. Sus datos se refieren a ese instrumento y a su población; sus coeficientes e intervalos no validan una evaluación de competencias laborales. El ejemplo anterior y la ficha siguiente son recursos didácticos propios, no instrumentos validados por ETS.

Ficha para revisar el estudio

Pregunta Qué registrar
Atributo y uso Qué se mide, qué se esperaba estable y qué decisión se propone.
Población Participantes, selección, pérdidas y semejanza con el uso previsto.
Intervalo y formas Fechas, justificación del intervalo y versiones aplicadas.
Condiciones Administración, instrucciones, calificación y cambios conocidos.
Entre aplicaciones Práctica, exposición, retroalimentación e intervenciones.
Resultado Estadístico y definición, incertidumbre, diferencias y desplazamiento de nivel.
Interpretación Qué evidencia apoya, qué explicaciones siguen abiertas y qué revisión falta.

Completa la ficha con el informe a la vista. Si una casilla no está documentada, déjala como información pendiente; no la rellenes con una suposición.

Prueba el vínculo entre criterio, evidencia y desarrollo en Ralun

Antes de convertir un resultado en una decisión de desarrollo, revisa si el criterio describe una tarea relevante del puesto, qué evidencia lo respalda y qué conversación se necesita para interpretarla. Un cambio de puntuación puede orientar preguntas; por sí solo no identifica su causa ni indica qué apoyo necesita una persona. Antes de concluir que existe una brecha, distingue una diferencia respaldada de la falta de evidencia.

La evaluación por competencias con criterios y evidencia ayuda a preparar esa revisión. Según su página de producto, Ralun propone competencias, conductas y niveles a partir de la estrategia y familias de cargo; el equipo revisa la propuesta y define las fuentes. Esta función no valida un instrumento ni sustituye un estudio de estabilidad.

Puedes llevar un criterio y un ejemplo sintético a una demo de Ralun para revisar qué entradas necesita el proceso, qué salida se obtiene y qué decisiones conserva el equipo.

Preguntas frecuentes

¿Un resultado estable significa que nadie aprendió?

No necesariamente. Mantener posiciones relativas es compatible con un aumento común de puntuaciones. Para hablar de aprendizaje se necesita un diseño y evidencia adecuados para esa pregunta.

¿Basta con repetir la prueba una vez?

Dos ocasiones pueden formar parte de un estudio, pero su utilidad depende de la muestra, el intervalo, las condiciones y el análisis. Una segunda puntuación aislada no valida el instrumento.

¿Qué hago si el informe no explica las condiciones?

Solicita el diseño y las definiciones faltantes. Mientras no estén disponibles, limita la interpretación y evita trasladar el resultado a decisiones para las que no hay respaldo suficiente.

Conclusión

Interpretar un test-retest comienza por la expectativa de estabilidad y el uso previsto. El orden entre personas, la cercanía de sus puntuaciones y el cambio posible del atributo responden preguntas relacionadas, pero distintas. Una lectura responsable conserva esas diferencias y deja explícito lo que todavía no se sabe.

Luis Grau

Te dejo un desafío

Esta semana, toma un informe de evaluación repetida y busca la descripción de sus dos aplicaciones. Anota qué se esperaba estable y qué cambió entre ellas. Esa comparación te ayudará a formular una pregunta concreta antes de interpretar cualquier puntuación.

CompartirLinkedInFacebook
Enlace

Selecciona el enlace y usa la opción Copiar de tu dispositivo.

Correo