
Dos evaluadores ponen la misma nota, pero uno usa los criterios acordados y el otro se guía por una impresión.¿Cómo detectar esa diferencia antes del ciclo real?Esta guía propone ejercicios para practicar la valoración de conductas, explicar cada decisión y reconocer cuándo falta información.
Define qué debe poder hacer quien evalúa
La capacitación de evaluadores de desempeño puede organizarse alrededor de una tarea concreta: leer un caso, relacionar sus hechos con un criterio, aplicar la pauta y explicar qué falta para concluir. Haber asistido a una presentación deja pendiente esa comprobación. Para prepararla necesitas la versión vigente del instrumento y casos que permitan ensayar su uso.
Empieza por una sola conducta relevante. Pide a cada participante que señale el hecho que usaría, el nivel que asignaría y la regla que conecta ambos. Cuando la pauta no cubra lo observado, la respuesta esperada puede ser una pregunta o una revisión pendiente. Reconocer ese límite también forma parte de la práctica.
Practicar cómo se aplican los criterios tiene respaldo en la investigación sobre entrenamiento con un marco de referencia compartido. El metaanálisis de Roch y colaboradores encontró mejoras de precisión, con diferencias según cómo se midiera esa precisión. Ese resultado no permite prometer que cualquier taller eliminará errores ni trasladar sus resultados al pequeño ensayo de esta guía.
Separa la preparación de la selección de participantes. Antes de enseñar a usar la pauta hay que comprobar quién tuvo oportunidad de observar el trabajo. Aquí nos centraremos en practicar la aplicación; la selección de evaluadores requiere revisar esa cobertura por separado.
Prepara casos y referencias didácticas explícitas
Reúne el criterio, sus descripciones de nivel y las reglas para situaciones incompletas. Si utilizas un diccionario de competencias, identifica qué conducta y versión corresponden al ensayo. Contrasta también la exigencia del modelo de competencias por cargo: una descripción genérica puede necesitar contexto antes de convertirse en material de práctica.
El ejemplo siguiente es ficticio. Su criterio es: "Comunica un cambio de compromiso con información y una alternativa acordada antes de su impacto". Los tres niveles son una pauta didáctica creada para mostrar el ejercicio. No representan una escala validada ni un umbral de aprobación de evaluadores.
| Nivel | Descripción usada en el ensayo |
|---|---|
| 1 | La información llega después del impacto y no consta alternativa. |
| 2 | La información llega antes del impacto, pero no consta alternativa. |
| 3 | La información llega antes del impacto y constan alternativa viable y acuerdo. |
Prepara dos casos completos y uno que deje una cuestión abierta. En V1 hay un mensaje anterior al impacto, una alternativa viable y el acuerdo registrados. La referencia didáctica es 3 porque constan los tres componentes. En V2 el mensaje llega después del impacto y el caso completo indica que no hubo alternativa. Su referencia es 1.
En V3 constan el mensaje previo y la alternativa, pero no se sabe si hubo acuerdo. No asignes automáticamente el nivel 3. Tampoco fuerces el nivel 2: su descripción dice que no consta alternativa, y aquí sí existe una. Falta contraste y la pauta no describe completamente esa combinación. Anota ambos problemas: evidencia pendiente y cobertura insuficiente del instrumento.
Antes de usar el material con el grupo, pide a alguien que conozca ese trabajo que revise si los hechos son comprensibles y si la referencia se justifica con la pauta. Conserva la versión revisada. Cuando necesites producir una muestra observable, el diseño de una prueba de trabajo exige definir qué tarea representa y qué permite inferir; un relato breve no cubre automáticamente todo un cargo.
Recoge aplicación individual antes de discutir
Entrega a todos la misma versión del caso y de la pauta. Pide que respondan por separado antes de mostrar la referencia o escuchar a otras personas. Así conservarás una respuesta inicial que puedas contrastar con la explicación posterior, en lugar de registrar solo el acuerdo alcanzado durante la conversación.
- Lee V1 y asigna un nivel provisional. Copia el hecho que utilizaste y explica qué parte de la pauta lo sostiene.
- Haz lo mismo con V2, sin consultar las respuestas de otra persona.
- Contrasta las justificaciones con la referencia didáctica. Revisa si la diferencia nace de un hecho omitido, una interpretación añadida o una regla confusa.
- Vuelve a responder y registra el motivo de cualquier cambio. Conserva también las respuestas que no cambian y su explicación.
- Prueba V3 y deja escrita la pregunta que impide concluir, además del punto de la pauta que necesita revisión.
Quien facilita puede pedir: "¿Dónde aparece ese acuerdo en el caso?" o "¿Qué condición de este nivel todavía no puedes sostener?". La conversación vuelve así a la evidencia. Si alguien mantiene una interpretación distinta, registra su razón; la autoridad de quien facilita no sustituye la explicación del criterio.
El registro de práctica puede tener estas columnas dentro del documento habitual del equipo: caso, hecho utilizado, nivel inicial, justificación inicial, respuesta revisada, motivo del cambio y apoyo pendiente. Añade la versión del instrumento y la fecha para poder interpretar después qué se practicó. Evita datos personales de trabajadores reales.
Entrenar con casos didácticos y calibrar calificaciones de un ciclo son tareas distintas. En este ensayo se conoce la referencia del material y se revisa cómo se aprende a aplicarla. Una reunión sobre personas reales necesita sus propias reglas, evidencia y decisiones. No uses el resultado de V1 o V2 como una nota de un trabajador.
Revisa el ejemplo de dos evaluadores y dos casos
Supongamos que dos evaluadores, E1 y E2, completan el ejercicio. La tabla conserva las cuatro respuestas iniciales y las cuatro posteriores a la práctica. Cada fila representa una respuesta a un caso; no son cuatro personas ni cuatro observaciones de desempeño real.
| Respuesta | Inicial | Tras practicar | Referencia |
|---|---|---|---|
| E1 · V1 | 2 | 3 | 3 |
| E1 · V2 | 1 | 1 | 1 |
| E2 · V1 | 3 | 3 | 3 |
| E2 · V2 | 2 | 1 | 1 |
Al inicio coinciden con la referencia dos de las cuatro respuestas: E1 en V2 y E2 en V1. Después coinciden las cuatro. E1 revisa V1 al reconocer que el acuerdo estaba registrado. E2 revisa V2 al advertir que el mensaje ocurrió después del impacto y que el caso indicaba ausencia de alternativa. Son explicaciones ilustrativas del cambio dentro del caso ficticio.
Las otras dos respuestas conservan su nivel, pero también necesitan una justificación. Acertar una cifra sin poder explicar la relación entre hecho y regla deja incompleta la tarea de aprendizaje. Para redactar comentarios de evaluación útiles, conserva esa conexión y señala expresamente lo que todavía no puede sostenerse.
El resultado se resume como 2 de 4 coincidencias iniciales y 4 de 4 después de practicar los mismos casos. No es una estimación de fiabilidad entre evaluadores, una certificación ni una prueba de transferencia. Los participantes ya conocen el material y han discutido sus respuestas. Para comprobar otro alcance necesitarás otra pregunta y evidencia adecuada.
Registra qué se aprendió y qué sigue sin demostrarse
Además de contar respuestas, revisa qué razonamiento cambió. Puede haberse aclarado una condición del nivel, identificado un dato que se había pasado por alto o detectado una ambigüedad del instrumento. Cada salida pide una acción distinta: volver a practicar, mejorar el material o devolver la regla a quien la administra.
| Lo observado | Registro y siguiente paso |
|---|---|
| Relaciona el hecho con la regla. | Conservar la justificación y probar un caso diferente, sin revelar su referencia. |
| Elige el nivel, pero no explica por qué. | Pedir el hecho concreto y revisar la aplicación antes de darla por aprendida. |
| Falta evidencia, como en V3. | Registrar qué antecedente falta y a quién corresponde contrastarlo. |
| La pauta no cubre el caso. | Conservar la duda y devolver la combinación a quien mantiene el instrumento. |
Un ensayo puede revelar dudas de aplicación sin demostrar cómo se evaluará el trabajo meses después. La coincidencia tampoco descarta sesgos: dos personas pueden compartir una interpretación equivocada. Conserva por separado lo observado en el ejercicio y las hipótesis que requieren una comprobación posterior.
Define una oportunidad para revisar el uso con evidencia diferente y pertinente al contexto real, respetando acceso y confidencialidad. No fijes un porcentaje universal para aprobar. La decisión depende de la tarea, el instrumento y las consecuencias de su uso; si necesitas evaluar una intervención formativa completa, diseña esa evaluación como un trabajo distinto.
Conecta la práctica con el próximo uso del instrumento
Al terminar el taller, conserva una pauta identificable, casos revisados, respuestas justificadas y dudas con responsable. Aclara dónde se consultará la versión vigente y qué canal usará quien encuentre una situación no cubierta. Así, quien encuentre una excepción tendrá dónde pedir apoyo, en vez de recibir solo la indicación de que todos "usen el mismo criterio" sin indicar cómo resolver una excepción.
También conviene revisar qué parte del proceso necesita soporte tecnológico. La página de evaluación de competencias de Ralun describe propuestas de competencias, conductas y niveles que DO y los líderes revisan. Esa oferta no acredita por sí sola un curso, una certificación de evaluadores o un LMS. La organización conserva la validación del instrumento y de su uso.
Si quieres examinar ese encaje, puedes ver una demo de criterios y modelos para evaluar. Lleva una pauta anonimizada y una tarea concreta: por ejemplo, revisar la claridad de una conducta y su nivel esperado. Confirma qué puede demostrarse, qué información necesita y qué revisión seguirá a cargo de tu equipo.
Preguntas frecuentes sobre capacitación de evaluadores
¿Qué conviene practicar primero?
Una tarea acotada: relacionar un hecho del caso con un criterio y justificar la valoración. Empieza con la pauta vigente y una referencia explicada. Amplía la práctica cuando puedas identificar qué dificultad concreta requiere otro caso.
¿Una respuesta igual a la referencia demuestra aprendizaje?
Permite registrar una coincidencia en ese caso. Revisa también la justificación y si la persona reconoce los límites. Repetir un caso discutido no demuestra por sí solo aplicación en situaciones nuevas.
¿Qué hago si falta evidencia o la pauta es ambigua?
Deja el punto abierto y distingue las dos necesidades. Pide el antecedente que falta y registra qué parte de la regla no cubre la combinación observada. No completes el caso con hechos inventados ni asignes automáticamente el nivel más alto.
¿Esta práctica certifica a quienes evalúan?
No. Es un ejercicio didáctico para revisar aplicación y dudas. Una certificación o una afirmación sobre fiabilidad, validez o transferencia requiere requisitos y evidencia que este ensayo no proporciona.
Conclusión: conserva la razón de cada valoración
Preparar a quienes evalúan implica hacer visible cómo pasan de un hecho a una valoración. Los casos completos permiten ensayar esa conexión; un caso incompleto permite reconocer cuándo detenerla. Conserva las justificaciones, las dudas y la versión utilizada para decidir qué apoyo o revisión necesita el próximo uso del instrumento.
Te dejo un desafío
Esta semana, toma una respuesta de práctica que parezca correcta y oculta su nivel. Empieza leyendo solo la justificación: ¿puedes reconocer el hecho y la regla que la sostienen? Esa revisión te ayudará a detectar cuándo una cifra acertada todavía necesita una explicación útil.
