
Cuando distintas personas evalúan tareas diferentes, una puntuación por sí sola no muestra de dónde vienen las diferencias.Este artículo ayuda a definir qué tareas, evaluadores y momentos registrar, y a preparar un estudio que examine esas fuentes de variación con sus límites.
Una puntuación no se produce en el vacío. La persona responde a una tarea, en un momento y bajo condiciones determinadas; alguien puede observar y valorar su respuesta. La teoría de la generalizabilidad ayuda a formular qué parte de la variación de las puntuaciones se asocia con esas condiciones y sus combinaciones, siempre dentro del diseño y los datos disponibles. No demuestra por sí sola que una interpretación o una decisión sea válida.
Define el universo al que se pretende generalizar
Primero escribe el uso de la evaluación. ¿Se comparará a personas entre sí o se interpretará cada resultado frente a un nivel definido? La decisión importa porque cambia qué diferencias interesan y qué errores son relevantes.
Después define el objeto de medida —por ejemplo, la persona evaluada— y el conjunto de observaciones al que quisieras extender la interpretación. ¿Qué tareas representan el trabajo? ¿Qué evaluadores podrían participar? ¿Qué momentos y condiciones deberían estar cubiertos? Ese conjunto pretendido se conoce como universo de generalización. Una selección estrecha de tareas o una sola ocasión limita lo que puedes sostener sobre otras tareas u otros momentos.
Una faceta es una condición de observación que el diseño distingue, como tarea, evaluador u ocasión. Antes de tratarla como una muestra de condiciones posibles o como un conjunto fijo, explica qué conclusión necesitas y consulta a un especialista. Por ejemplo, dos tareas elegidas por representar una función concreta no son automáticamente una muestra de todas las tareas posibles de la organización.
Dibuja facetas y relaciones del diseño
No basta con listar columnas. Dibuja quién realiza qué tarea y quién observa cada respuesta. En un diseño completamente cruzado, cada nivel de una faceta aparece con todos los niveles de las otras facetas pertinentes. Si cada persona realiza las mismas dos tareas y los mismos dos evaluadores valoran cada respuesta, persona, tarea y evaluador están cruzados en ese esquema.
En un diseño anidado, los niveles de una faceta pertenecen a determinados niveles de otra: por ejemplo, cada tarea tiene evaluadores distintos y ninguno observa la otra. La forma de asignar personas y observadores determina qué contrastes son posibles. Un diseño parcial o con ausencias puede requerir un tratamiento distinto: no lo llames cruzado solo porque el formulario tiene columnas para todas las facetas.
La selección de evaluadores ayuda a decidir quién puede observar la conducta; la conexión estadística exige además registrar su identidad y asignación. La carga de evaluadores en una evaluación 360 recuerda una restricción práctica: aumentar observaciones tiene costos y requiere una organización viable.
Distingue estudio G y escenarios de decisión D
Según la explicación metodológica de Vispoel, Morris y Kilinc, un estudio de generalizabilidad, o estudio G, utiliza datos recogidos bajo un diseño definido para estimar componentes de variación atribuibles a las facetas y sus interacciones, en la medida en que el diseño lo permita. El análisis necesita un modelo apropiado, suficientes datos y revisión de sus supuestos; una tabla de asignaciones todavía no es un estudio G.
Un estudio de decisión, o estudio D, usa esos componentes y supuestos para examinar escenarios de medida: por ejemplo, qué cambiaría en la precisión esperada si el diseño utilizara más tareas o evaluadores. Es una proyección condicionada al modelo y a las estimaciones disponibles. No crea observaciones nuevas ni garantiza que los nuevos evaluadores se comporten como los anteriores.
La distinción entre decisiones relativas y absolutas también cambia qué componentes integran el error pertinente. Comparar el orden de las personas no es lo mismo que decidir si cada puntuación supera un umbral. Un especialista debe definir esa decisión antes de elegir y comunicar un coeficiente.
Resuelve un diseño candidato sin calcular coeficientes
Imagina un ejemplo ficticio: tres personas realizan dos tareas y dos evaluadores valoran cada respuesta en una sola ocasión. Si todas las combinaciones se llevan a cabo, el esquema prevé 3 × 2 × 2 = 12 celdas de valoración. Ese número cuenta combinaciones previstas: no demuestra que existan doce observaciones independientes ni que el diseño sea suficiente para estimar los componentes.
| Elemento | Diseño candidato | Pregunta antes de analizar |
|---|---|---|
| Personas | 3 ficticias | ¿Qué población se pretende representar? |
| Tareas | 2, realizadas por cada persona | ¿Representan el universo de tareas relevante? |
| Evaluadores | 2, cada uno valora ambas tareas de cada persona | ¿Se registra la identidad real en cada valoración? |
| Ocasión | 1 | No permite estudiar variación entre ocasiones. |
| Celdas | 12 previstas | ¿Cuáles se observaron y cuáles faltan? |
La cifra de tres personas sirve únicamente para ilustrar la estructura; no es una recomendación de tamaño muestral. Antes de cualquier estimación, registra persona, tarea, evaluador, ocasión, puntuación y estado de cada celda; separa ausencia de puntuación cero. Después revisa asignaciones, dependencia, datos faltantes y modelo con un especialista. No calcules componentes, G o phi a partir del esquema vacío.
Para preparar la captura de datos, compara el formato de evaluación del desempeño con las identificaciones que este diseño requiere. Un formulario ordenado facilita la revisión, pero no sustituye la planificación de medida.
Interpreta la fuente con sus límites
Un estudio de McCaffrey, Oliveri y Holtzman para Educational Testing Service aplicó teoría de la generalizabilidad a evaluaciones de terceros utilizadas en decisiones de admisión de posgrado. Su utilidad aquí es mostrar cómo formular fuentes de variación en un contexto real. Sus participantes, tareas, relaciones y decisiones pertenecen a admisión educativa: sus estimaciones no se trasladan a una evaluación laboral.
El ejemplo anterior es una construcción editorial distinta, sin resultados observados. Tampoco prueba que una evaluación de competencias sea válida para una decisión. La evaluación del desempeño por competencias aporta contexto sobre el proceso; el diseño de medida y la interpretación deben justificarse para el uso concreto.
Contrasta estructura y exportación de evidencia
Antes de levantar datos, prepara este plan dentro del equipo:
| Campo del plan | Qué registrar |
|---|---|
| Uso y decisión | Comparación entre personas o decisión frente a un criterio; consecuencias previstas. |
| Universo | Personas, tareas, condiciones y periodo a los que se pretende extender la interpretación. |
| Facetas | Tarea, evaluador y ocasión pertinentes; justificar condiciones fijas o variables. |
| Relación | Qué facetas se cruzan, cuáles están anidadas y cuáles faltan por definir. |
| Unidad y celda | Qué respuesta se observa y quién emite cada valoración. |
| Datos | Identificadores, puntuación, fecha, ausencias y reglas para revisarlas. |
| Modelo | Pendiente de revisión psicométrica según diseño y datos. |
| Escenarios D | Cambios de tareas o evaluadores que se quieran explorar después del estudio G. |
El formato de evaluación 360 puede servir para conversar sobre fuentes y campos. Verifica que la estructura real conserve las identidades y relaciones necesarias: un promedio final sin trazabilidad por tarea y evaluador puede impedir reconstruir el diseño.
Ralun comunica funciones para organizar evaluaciones y consolidar resultados. Si deseas revisar una muestra anonimizada y comprobar qué información está disponible en tu configuración, puedes solicitar una demostración. La conversación requiere validar las entradas y salidas reales; no implica que exista un análisis de generalizabilidad integrado ni una certificación psicométrica.
Preguntas frecuentes
¿Más evaluadores garantizan una evaluación precisa? No. La contribución de evaluadores depende de la decisión, las tareas, las asignaciones y los componentes de variación. Un escenario D bien fundamentado puede ayudar a compararlos, pero no garantiza un resultado al cambiar el número de evaluadores.
¿Se puede estudiar la variación entre ocasiones con una sola medición? No se puede estimar esa variación a partir de una única ocasión observada. El diseño debe incorporar ocasiones pertinentes y datos suficientes si esa fuente es parte de la pregunta.
¿Una puntuación consistente es necesariamente válida? No. La consistencia de una puntuación es una parte de la evidencia; la validez se refiere a la justificación de las interpretaciones y usos propuestos y exige otras comprobaciones.
Conclusión
Un plan de generalizabilidad comienza con la decisión y el universo al que se quiere extender la interpretación. Después conecta tareas, evaluadores y ocasiones con una estructura de datos y un modelo revisable. El ejemplo de doce celdas ayuda a detectar qué habría que observar; no permite afirmar precisión ni sustituye un estudio con datos.
Te dejo un desafío
Esta semana toma una evaluación que tu equipo ya utiliza y dibuja una sola tarea: anota quién la realiza, quién la observa y cuándo. Compara ese esquema con las columnas disponibles en tus datos para descubrir qué relación necesitarías conservar antes de analizarla.
