
Dos evaluadores pueden recibir la misma evidencia y llegar a conclusiones distintas.Antes de interpretar esa diferencia, necesitas saber si aplicaron el mismo criterio de forma independiente.Aquí aprenderás a organizar pares comparables, calcular coincidencias y decidir qué revisar después.
Formula qué acuerdo necesitas estudiar
La pregunta es concreta: ¿con qué frecuencia dos evaluadores asignan la misma categoría cuando reciben la misma evidencia y aplican el mismo criterio por separado? La respuesta describe las valoraciones observadas en esos casos y condiciones. No demuestra por sí sola que una valoración sea correcta ni que el instrumento mida aquello que pretende medir.
Define antes de comenzar la unidad que se valorará, el criterio, las categorías y la versión de las instrucciones. Por ejemplo, una unidad puede ser una descripción anonimizada de una situación de trabajo; el criterio, la manera en que se documentó una decisión. Si las categorías no se entienden del mismo modo, revisa sus definiciones y ejemplos antes de estudiar el acuerdo. Una escala con anclajes conductuales puede ayudar a precisar qué se observa, pero no garantiza coincidencia.
Delimita también a quiénes y qué situaciones representan los casos. Un resultado obtenido con dos evaluadores y siete ejemplos no se traslada automáticamente a todo un ciclo. La selección de evaluadores responde a otra pregunta: quién puede observar el trabajo pertinente. En esta prueba ambos necesitan recibir la misma evidencia para que la comparación tenga sentido.
Prepara casos comunes y juicios independientes
Elige casos que reflejen la tarea que quieres estudiar y conserva una copia identificada de la evidencia y las instrucciones. Protege los datos personales y registra qué material recibió cada evaluador. Si uno ve una versión distinta, no atribuyas de inmediato la diferencia de categoría a su forma de aplicar el criterio.
Pide a cada evaluador que registre su respuesta sin conocer la del otro. No muestres una calificación previa ni organices una discusión conjunta hasta terminar la medición. La conversación posterior puede ser útil, pero una respuesta acordada después de discutir no representa el juicio independiente inicial.
La capacitación de evaluadores puede realizarse antes con casos de práctica separados. Después, una comprobación dentro de un piloto de evaluación permite observar cómo funciona el diseño en las condiciones elegidas. Anota cuándo se formó al equipo y qué cambió: esas condiciones forman parte del resultado.
Organiza pares y registra lo no comparable
Prepara una fila por caso con la referencia a la evidencia común, su versión, las dos valoraciones originales y una marca que indique si el par es comparable. Antes de contar, define qué datos deben estar presentes y cómo documentarás una exclusión.
Un juicio ausente no es automáticamente un desacuerdo. Tampoco es una coincidencia. Si no hay evidencia común o falta una respuesta, conserva la fila, registra la razón y exclúyela del denominador de pares comparables. Revisa las exclusiones: si se concentran en un tipo de situación, el porcentaje restante puede describir solo una parte del problema.
Calcula el acuerdo descriptivo del ejemplo
En este ejemplo ficticio, dos evaluadores revisan siete casos con las mismas reglas. Las letras identifican categorías nominales; no implican una distancia numérica ni un orden entre ellas.
| Caso | Primer evaluador | Segundo evaluador | Resultado |
|---|---|---|---|
| CE01 | A | A | Coinciden |
| CE02 | B | B | Coinciden |
| CE03 | C | C | Coinciden |
| CE04 | B | B | Coinciden |
| CE05 | A | B | Difieren |
| CE06 | C | B | Difieren |
| CE07 | Sin evidencia común | No comparable | Excluido: no hay evidencia común |
Hay siete casos registrados, seis pares comparables y cuatro coincidencias. El acuerdo observado es 4 ÷ 6 × 100 = 66,7 %; los dos desacuerdos representan 2 de 6 pares comparables. CE07 permanece visible con su motivo de exclusión, pero no entra en el cálculo.
Esta cifra describe lo que ocurrió en el ejemplo. No significa que el 66,7 % de las valoraciones sea correcto: no se ha establecido una respuesta de referencia. Tampoco permite concluir que el instrumento sea fiable ni fijar un umbral universal. Con seis pares, cambiar un solo resultado movería mucho el porcentaje; hace falta una muestra y un diseño pertinentes para el uso previsto.
Elige un análisis y una revisión adecuados
El porcentaje observado es un primer resumen comprensible, pero no ajusta las coincidencias esperables por azar. Hallgren explica que la elección de un estadístico depende del diseño de evaluación y del tipo de puntuación; también distingue la coincidencia entre evaluadores de la validez de aquello que se mide.
Según el número de evaluadores, la escala, la asignación de casos y la pregunta, un especialista puede considerar una variante de kappa o una correlación intraclase, entre otras opciones. Esas medidas tienen supuestos y límites propios. Una correlación alta, por sí sola, no demuestra que dos evaluadores den la misma valoración: podrían mantener un orden parecido y usar niveles distintos.
Una vez guardados los juicios independientes, revisa CE05 y CE06 para identificar qué evidencia y definición utilizó cada persona. Una reunión de calibración puede ayudar a examinar esas razones; conserva el resultado original junto a cualquier decisión posterior. Una diferencia aislada tampoco identifica su causa: los controles frente a sesgos requieren preguntas y evidencia adicionales.
Comprueba que puedes recuperar las valoraciones originales
Antes de usar los resultados, verifica que puedas recuperar la evidencia que recibió cada evaluador, la versión del criterio, los dos juicios originales, las exclusiones y las decisiones posteriores. Esa trazabilidad permite repetir la cuenta y explicar qué cambió durante la revisión.
Si quieres explorar cómo organizar el ciclo y contrastar resultados en tu contexto, puedes conversar con Ralun. Lleva un ejemplo anonimizado y consulta qué entradas, salidas y revisión humana pueden demostrarse para tu proceso. Esta invitación no implica que la plataforma calcule automáticamente una medida de fiabilidad psicométrica.
Preguntas frecuentes
¿Coincidir significa que ambos evaluadores tienen razón?
No necesariamente. Pueden coincidir y aun así aplicar mal un criterio o evaluar una evidencia que no representa el trabajo relevante. Para hablar de exactitud se necesita una referencia adecuada y una pregunta distinta.
¿Debo contar una respuesta faltante como desacuerdo?
No en esta cuenta. Señálala como no comparable, conserva la razón y describe cuántos casos quedaron fuera. Define la regla antes del cálculo y revisa qué efecto pueden tener las exclusiones.
¿Un porcentaje de acuerdo basta para validar una evaluación?
No. Describe coincidencias en los pares observados. La interpretación de un instrumento y su uso requieren otras evidencias, un diseño pertinente y, cuando corresponda, análisis especializado.
Conclusión
Una comprobación útil empieza antes de la fórmula: fija el criterio y la evidencia, recoge juicios independientes y deja visibles los casos que no se pueden comparar. El porcentaje muestra dónde hay coincidencias; la revisión posterior permite investigar diferencias sin convertir una muestra pequeña en una garantía de calidad.
Te dejo un desafío
Esta semana, elige un caso anonimizado y pide a dos personas que lo valoren por separado con el mismo criterio. Guarda ambas respuestas antes de compararlas y anota qué evidencia recibió cada una; tendrás un primer registro para revisar dónde empieza la diferencia.
