Ralun

Ralun / Guías de desempeño

Cómo saber si se entienden las preguntas de una evaluación

Isotipo oficial de RalunRalun · Lectura estimada: 8 min
CompartirLinkedInFacebook
Enlace

Selecciona el enlace y usa la opción Copiar de tu dispositivo.

Correo
Dos personas conversan junto a una tarjeta con dos trayectorias que representan distintas interpretaciones.

Antes de usar una pregunta de evaluación, escucha cómo una persona llega a su respuesta. Una entrevista cognitiva ayuda a detectar si entendió otro comportamiento, recordó un período distinto o no encontró una opción adecuada. Aquí verás cómo registrar esos hallazgos y probar cambios.

Define el problema del ítem y la población de prueba

Antes de conversar con participantes, elige una pregunta concreta y escribe qué información debería recoger. Separa el propósito de la redacción: una frase puede mencionar "comunicación" sin explicar si interesa comunicar cambios de turno, requisitos de entrega u otra cosa. Conserva el ítem y las opciones tal como los verá quien responda; cambiar la formulación durante cada entrevista impide saber qué versión produjo cada observación.

Define quiénes responderán en el proceso real y qué experiencias podrían cambiar su interpretación. En su explicación metodológica para encuestas, Gallup también describe la selección de participantes semejantes a la población destinataria y con experiencias diversas. Por ejemplo, una jefatura con contacto diario y una persona que observa el trabajo solo en reuniones pueden disponer de información diferente. Busca variedad pertinente para la pregunta, no únicamente personas familiarizadas con la intención del diseñador. Documenta a quiénes incluiste y qué situaciones quedaron fuera.

El CDC describe la entrevista cognitiva como un método cualitativo para examinar cómo se entienden y contestan preguntas. Su centro selecciona participantes por experiencias pertinentes; el objetivo es identificar problemas, no estimar su frecuencia en toda la población. La cantidad de entrevistas debe responder al objetivo, la diversidad relevante y los recursos disponibles; no hay un número universal que convierta cualquier prueba en validación completa.

Prepara indagaciones sin enseñar la respuesta correcta

Invita a participar explicando que se revisa la pregunta y no se califica a la persona. Acuerda cómo registrar la conversación y evita pedir ejemplos laborales sensibles que no hagan falta. Si se usan notas o grabaciones, informa su propósito, acceso y tratamiento conforme a las reglas de la organización. Una persona debe poder explicar su razonamiento sin sentir que su respuesta afectará su evaluación.

Presenta el ítem con sus instrucciones y opciones. Pide primero una respuesta como la daría habitualmente y, después, indaga sin revelar la interpretación que esperabas. Algunas preguntas útiles son:

  • ¿Qué significa para ti esta frase en el contexto de tu trabajo?
  • ¿En qué situaciones pensaste para responder?
  • ¿Qué período tuviste en cuenta?
  • ¿Cómo decidiste entre estas opciones?
  • ¿Qué harías si no hubieras tenido oportunidad de observarlo?

Evita preguntas como "¿entendiste que hablamos de cambios de turno?": incorporan la respuesta que quieres comprobar. Si una explicación tuya resulta necesaria para continuar, anota cuándo intervino y distingue la respuesta anterior de la posterior.

Distingue comprensión, recuerdo, juicio y categoría

Estas cuatro perspectivas ayudan a ordenar observaciones; no son una prueba clínica ni obligan a que el pensamiento siga siempre una secuencia fija.

PerspectivaQué observarIndagación posible
ComprensiónQué significado atribuye a palabras, referente y período."¿Qué entiendes por cambios en esta pregunta?"
RecuerdoQué situaciones puede traer a la memoria y con qué alcance."¿En qué momentos pensaste para responder?"
JuicioCómo valora la información disponible y qué criterio aplica."¿Cómo decidiste si ocurrió oportunamente?"
Categoría de respuestaCómo traduce ese juicio a las opciones y si encuentra una adecuada."¿Por qué elegiste esa opción y no otra?"

Registra lo que la persona dijo o hizo y separa esa observación de tu interpretación. "Pensó en la última semana" es una observación; "el período es ambiguo" es una hipótesis que se contrasta con otras entrevistas y con la intención del ítem. Al revisar el recuerdo, también conviene distinguir la pregunta de las evidencias de desempeño disponibles para responderla.

Resuelve tres hallazgos en una pregunta ficticia

Imagina que un equipo prepara una evaluación y prueba el ítem ficticio "Comunica oportunamente los cambios", con opciones de malo a excelente. El equipo quiere conocer cómo se comunica una modificación de requisitos de entrega durante el último trimestre. El ítem original no especifica esos límites. Las siguientes observaciones son un ejemplo construido para enseñar el método, no resultados de una empresa ni hallazgos validados por el CDC.

RegistroObservación ficticiaInterpretación y decisiónNueva prueba
IC01 · ReferenteUna persona piensa en cambios de turno y otra en requisitos de entrega.Precisar el tipo de cambio que corresponde al criterio.Preguntar a otras personas qué situaciones incluyen y excluyen.
IC02 · PeríodoUna persona recuerda la última semana; otra considera un año.Indicar el período que el proceso necesita y comprobar si se puede recordar.Pedir que expliquen qué intervalo consideraron y qué información pudieron recuperar.
IC03 · OpcionesUna persona no tuvo ocasión de observar y encuentra solo opciones de malo a excelente.Evaluar una opción de observación insuficiente y definir cómo se tratará.Comprobar si quienes no observaron el comportamiento reconocen y usan esa salida.

Una posible versión para volver a probar sería: "Durante el último trimestre, ¿con qué oportunidad comunicó los cambios en los requisitos de entrega que pudiste observar?". La escala y la definición operativa de "oportunidad" aún necesitan diseño y prueba. Añadir "No tuve oportunidad de observarlo" puede evitar forzar una calificación, siempre que el proceso determine cómo interpretar y tratar esa respuesta. El ejemplo muestra decisiones posibles; no prueba que la nueva pregunta funcione.

Los tres registros no son una tasa de error ni una nota para quienes participaron. Tampoco permiten concluir que el instrumento completo sea válido. Para construir criterios compartidos de calificación existe otra tarea, la calibración del desempeño; aquí examinamos cómo se entiende y responde el ítem.

Modifica el ítem y vuelve a probar la interpretación

Después de cada ronda, reúne los registros por versión. Identifica si una diferencia afecta el significado buscado, el recuerdo disponible o la elección de una categoría. No cambies una palabra solo porque una persona propuso una alternativa: explica qué problema intentas resolver y qué podría perderse con el cambio. Cuando varias interpretaciones sean pertinentes, decide si la pregunta debe delimitarlas o si conviene separarlas.

Usa esta pauta dentro del equipo:

CampoQué registrar
Ítem y versiónTexto exacto, instrucciones y opciones mostradas.
PropósitoInformación que el equipo pretende recoger.
IndagaciónPregunta de seguimiento utilizada, sin respuesta sugerida.
Interpretación y recuerdoQué entendió la persona y en qué situaciones pensó.
Criterio y categoríaCómo juzgó la información y eligió una opción.
Problema observadoDiferencia relevante y evidencia que la sustenta.
Cambio propuestoTexto u opciones nuevas y motivo.
Nueva pruebaParticipantes o situaciones por explorar y resultado pendiente.

Vuelve a presentar la versión modificada a personas que puedan aportar experiencias pertinentes. Conserva también los problemas no resueltos y las decisiones de no cambiar, con su fundamento. La revisión de preguntas puede alimentar el control de calidad del ciclo, pero una entrevista cognitiva no reemplaza las demás comprobaciones del instrumento o del proceso.

Prueba cómo conservar preguntas y versiones

Un registro común permite volver desde un cambio hasta la observación que lo motivó. Antes de seleccionar una herramienta, identifica la entrada que necesitas guardar —texto y opciones exactos—, quién decide el cambio y qué salida servirá para revisarlo. Comprueba que las versiones anteriores sigan distinguibles y que el equipo no confunda una propuesta con un ítem ya aprobado.

Si quieres examinar el recorrido con tu equipo, puedes solicitar una reunión con Ralun y llevar un ejemplo anonimizado. La conversación sirve para revisar una tarea concreta y comprobar qué puede demostrarse, sus entradas, salida y revisión humana. No supone que Ralun ejecute entrevistas cognitivas ni valide preguntas automáticamente.

Preguntas frecuentes

¿La entrevista cognitiva valida toda una evaluación?

No. Puede aportar evidencia sobre cómo algunas personas interpretan y responden preguntas concretas. La validez de las interpretaciones y usos de una evaluación exige otras evidencias adecuadas a su propósito y contexto.

¿Debo corregir a la persona si interpreta algo distinto?

Primero registra su interpretación y pregunta cómo llegó a ella sin sugerir la respuesta. Si luego explicas la intención, anota la intervención. La diferencia puede revelar un problema de diseño que conviene estudiar.

¿Una opción "No observado" resuelve todos los casos?

No necesariamente. Hay que comprobar si corresponde al propósito, si las personas la entienden y cómo se tratará en el análisis. También conviene revisar si quienes deben responder realmente tuvieron oportunidad de observar el comportamiento.

Conclusión

Probar un ítem consiste en escuchar el recorrido de respuesta, no en pedir a la persona que adivine la intención del diseñador. Define el propósito, pregunta sin orientar, conserva observaciones y versiones, y vuelve a probar los cambios. Así el equipo obtiene indicios concretos para mejorar las preguntas y reconocer lo que todavía no sabe antes de interpretar los resultados.

La revisión de resultados y la conversación posterior cumplen funciones distintas de esta prueba. Un formato de feedback puede ayudar en esa otra etapa sin convertir una entrevista cognitiva en una evaluación de la persona.

Luis Grau

Te dejo un desafío

Esta semana, revisa una pregunta de tu evaluación y sus opciones. Empieza por imaginar que no tuviste oportunidad de observar el comportamiento: ¿podrías responder sin inventar una calificación? Identifica cómo debería tratarse ese caso antes de usar los resultados.

CompartirLinkedInFacebook
Enlace

Selecciona el enlace y usa la opción Copiar de tu dispositivo.

Correo