Infraestructura oculta de la retroalimentación académica

Leyenda

• Azul: Cognitivo
• Rojo: Instruccional
• Verde: Conductual
• Azul oscuro: Estructural
• Rojo discontinuo: Temporal
• Morado: Mecánico
• Naranja: Fortalezas

Para qué sirve la retroalimentación

Hattie y Timperley, 2007

• Preguntas de retroalimentación
• ¿Hacia dónde voy? (meta)
• ¿Cómo voy? (progreso)
• ¿Qué sigue? (siguiente paso)
• Brecha de validez
• Niveles de retroalimentación
• Tarea (sobre el trabajo)
• Proceso (sobre las estrategias)
• Autorregulación (sobre el monitoreo)
• El yo (sobre el estudiante)
• Casi toda la retroalimentación responde la primera pregunta. El aprendizaje requiere las tres.
• Notas altas no significan aprendizaje profundo. Notas bajas no significan mala enseñanza.

Por qué los estudiantes no la leen

• Razones cognitivas
• La retroalimentación llega tras la nota (la nota cierra el ciclo; Butler 1988)
• La retroalimentación llega tras el curso
• El volumen impide procesarla
• Sin oportunidad de revisión, la retroalimentación no sirve
• Razones conductuales
• La reacción emocional a la nota bloquea la lectura
• Sin incentivo si la nota es final
• No saben cómo aplicarla
• La nota es el punto final. Todo lo que viene después es invisible.

El problema de los tiempos

La retroalimentación pierde fuerza con el tiempo.

• Diagrama: gráfico del impacto de la retroalimentación (vertical, de bajo a alto) frente al tiempo desde la entrega (Inmediata, 1 semana, 2 semanas, Fin del semestre); el impacto cae con fuerza con el tiempo.
• Inmediata: Alto impacto, mucho contexto
• 1 semana: Impacto moderado
• 2 semanas: Bajo impacto, contexto perdido
• Fin del semestre: ≈0 impacto
• La retroalimentación oportuna convierte el desempeño en aprendizaje. La tardía lo vuelve papel mojado.

Retroalimentación escrita vs. verbal

• Escrita
• Permanente, consultable
• A menudo densa
• Muchas veces no se lee
• Verbal (tutorías, en clase)
• Inmediata, dialógica
• Permite aclarar
• Mayor retención
• Híbrida (retroalimentación en audio/video)
• Mayor participación
• Personal
• Eficiente
• Según la investigación, la retroalimentación verbal y en audio suele mejorar más la revisión que los comentarios escritos solos.
• La retroalimentación más eficaz es una conversación, no un documento.

El sistema de la especificidad

De lo vago a lo aplicable.

• Diagrama: una escala de menos útil a más útil: Vaga, luego General, luego Específica, luego Aplicable.
• Vaga: “Buen trabajo.” “Falta trabajo.”
• General: “La tesis es débil.”
• Específica: “La tesis aún no toma una postura; describe pero no argumenta.”
• Aplicable: “La tesis debe responder: ¿qué quiere que yo entienda que todavía no sepa?”
• La especificidad no depende de la cantidad de comentarios, sino de la precisión de la orientación.

Bancos de retroalimentación

Eficiencia mediante sistemas.

• Diagrama: Concepto lleva a Mucha retroalimentación se repite de una entrega a otra, y a la estructura del banco, que lleva al ahorro de tiempo y a una mejor calidad.
• Estructura del banco
• Organizado por tipo de error
• Comentarios preescritos
• Numerados para copiar y pegar
• Ahorro de tiempo
• 30 min en crearlo
• 90 min / lote
• vs. 300 min
• Mejor calidad
• Más coherente
• Menos fatiga
• Más especificidad
• Créelo una vez. Úselo todo el semestre. Su retroalimentación mejora a medida que se cansa menos.

El mal uso institucional de las evaluaciones

• Se usan para
• Titularidad
• Salario
• Recontratación
• Premios docentes
• Diseñadas para
• Mejorar el curso
• Retroalimentación
• Efectos del mal uso
• Presión por inflar notas
• Pedagogía sin riesgos
• Rigor desalentado
• El instrumento se diseñó para un propósito. Se usa para otro. El desajuste tiene consecuencias.

El sistema de penalización por identidad

Desventaja acumulativa.

• Docentes mujeres: menor nota en autoridad, conocimiento, claridad
• Docentes de color: menor nota en cercanía, comunicación
• Docentes con acento: menor nota en profesionalismo
• Docentes noveles: menor nota en todas las dimensiones
• Diagrama: una flecha de doble sentido une estos grupos con el efecto combinado.
• Efecto combinado: Los sistemas de evaluación dañan estructuralmente a quienes ya están en desventaja.
• El sesgo se acumula. Una evaluación aislada es ruido. Una carrera de evaluaciones es un sistema.

Para qué sirven las evaluaciones

• Útiles
• Detectar casos extremos
• Ver tendencias en el tiempo del mismo docente
• Experiencia del estudiante
• Comentarios abiertos para mejoras concretas
• No útiles
• Comparar entre docentes
• Titularidad y ascensos
• Medir el aprendizaje
• Clasificar la docencia
• Saber lo que la herramienta no puede hacer es parte de saber usarla.

Cómo contextualizar sus evaluaciones

• Revise el N (N bajo = alta varianza)
• Revise quién respondió (demografía)
• Separe los puntajes numéricos de los comentarios cualitativos
• Compárese consigo mismo en el tiempo, no con otros
• Dé más peso a comentarios concretos
• Ignore los valores atípicos aislados
• La alfabetización estadística es autodefensa.

Cómo es una buena retroalimentación sobre la docencia

• Retroalimentación a medio semestre (estudiantes; formativa, aplicable)
• Observación entre pares (estructurada, con criterios)
• Portafolio docente (relato basado en evidencias)
• Resultados de aprendizaje (medidas reales del aprendizaje)
• Protocolo de autorreflexión
• La calidad docente es demasiado compleja para un solo instrumento. Varias medidas dan una imagen más honesta.

Hacia mejores sistemas de evaluación

• Alternativas con evidencia
• Observación de aula COPUS
• Portafolios de evidencia SoTL
• Rúbricas centradas en el aprendizaje
• Análisis de trabajos estudiantiles
• Cambios institucionales necesarios
• Separarlas de decisiones de alto impacto
• Declaraciones de contexto obligatorias
• Formación para evaluadores
• Existen mejores sistemas. Implementarlos requiere voluntad institucional.

La matriz temporal de la evaluación

El impacto varía según el momento y el tipo de trabajo.

• Diagrama: una cuadrícula del impacto en el aprendizaje (vertical, de bajo a alto) frente al tiempo desde la entrega (de Inmediata (días) a Diferida (semanas o más)).
• Retroalimentación inmediata al borrador: Alto impacto, Mucho contexto
• Retroalimentación diferida al borrador: Impacto moderado, El contexto se diluye
• Retroalimentación inmediata al trabajo final: Impacto bajo a moderado, Alta carga emocional
• Retroalimentación diferida al trabajo final: Impacto casi nulo, Sin ocasión de aprender
• La mejor retroalimentación llega antes de la nota, no después.

El ecosistema de la retroalimentación

Muchas fuentes. Una meta: aprender.

• Diagrama: Aprendizaje estudiantil en el centro, con flechas de doble sentido hacia Comentarios escritos, Verbal / Tutorías, Retroalimentación entre pares, Transparencia de la rúbrica, Ejemplos resueltos en clase, Autoevaluación (metacognición) y Retroalimentación en audio/video.
• Desconectadas: Puntajes de satisfacción estudiantil
• Práctica actual: dependencia excesiva de comentarios escritos al final.
• Recomendado: un ecosistema de retroalimentación equilibrado.
• Ningún modo de retroalimentación llega a todos los estudiantes. Diseñe el ecosistema completo.

El plano del banco de retroalimentación

Una estructura de cuatro categorías.

• Problemas conceptuales (tesis, argumento, evidencia): 5–10 comentarios preescritos; numerados; pegar + personalizar
• Problemas estructurales (organización, transiciones, coherencia): 5–10 comentarios preescritos; numerados; pegar + personalizar
• Problemas mecánicos (citas, formato, nivel de oración): 5–10 comentarios preescritos; numerados; pegar + personalizar
• Fortalezas (qué conservar y potenciar): 5–10 comentarios preescritos; numerados; pegar + personalizar
• Media hora de preparación puede ahorrar horas por lote.

La ecuación de la retroalimentación

La buena retroalimentación se diseña; no es casual.

• Momento + Especificidad + Aplicabilidad + Oportunidad de revisión = Retroalimentación que cambia el aprendizaje
• Si la retroalimentación llega después de la nota, después del curso o sin un camino hacia la revisión, no es retroalimentación. Es solo un registro.