La supervisión a distancia puede ser un método eficaz para salvaguardar la integridad de las evaluaciones. Pero no es el único método. Plantear la cuestión como una forma de supervisión frente a la otra, en lugar de determinar lo que necesita desde una perspectiva de integridad académica y luego evaluar sus opciones, podría conducir a una falsa comparación entre dos métodos que tienen méritos relativos en función del contexto.

Decidir cómo salvaguardar la integridad académica es lo mismo que decidir una estrategia de investigación. No empezaría eligiendo una metodología cualitativa o cuantitativa sin antes definir qué conocimientos necesita obtener. Si sólo se centra en comparar métodos, corre el riesgo de hacer una comparación falsa, pasando por alto qué enfoque se ajusta mejor a sus objetivos de investigación. Del mismo modo, en el caso de la supervisión, empezar por la cuestión de los requisitos de integridad académica le permite evaluar las opciones en función de su idoneidad e impacto, en lugar de encerrarse en un debate entre presencial y a distancia.

Entonces, ¿cómo pueden las instituciones sortear las complejidades de decidir si rediseñar una evaluación, seguir haciéndola en persona o considerar si la supervisión es la respuesta adecuada? El propósito de este artículo es ayudarle a plantearse las preguntas que debe hacerse para llegar a la respuesta adecuada a su contexto.

Consideraciones clave para la implantación de la evaluación a distancia

  • ¿Cuánto sé sobre las capacidades de supervisión a distancia en comparación con su aplicación durante la pandemia?
  • ¿Se trata realmente de una cuestión de formato de evaluación?
  • ¿Qué pretende conseguir desde el punto de vista de la evaluación y la integridad?
  • ¿Está haciendo el mejor uso de la tecnología para alcanzar sus objetivos pedagógicos?
  • ¿Cómo se abordan los problemas de privacidad en la supervisión a distancia?
  • ¿Cuándo debe haber supervisión humana en la supervisión a distancia?
  • ¿Cuáles son los comportamientos clave que deben señalarse en la supervisión a distancia?
  • ¿Qué deben saber los estudiantes sobre la supervisión a distancia?

¿Cuánto sé sobre las capacidades de evaluación a distancia y cómo se aplicaron durante la pandemia?

La supervisión a distancia no es la única alternativa a la que se mira con ojos de rosa. El método tradicional de supervisión, en el que los supervisores recorren la sala de examen, no está exento de defectos. A la hora de evaluar una nueva forma de hacer algo, sobre todo cuando se trata de tecnología, es demasiado fácil ignorar los aspectos negativos de lo que existe actualmente y comparar una nueva solución propuesta con un estándar falso.

La vigilancia tradicional, en la que los estudiantes acuden a un lugar para realizar un examen, es sin duda fácil de implantar desde el punto de vista de los estudiantes, porque están familiarizados con ella, y desde el punto de vista de las instituciones, porque disponen de sistemas y procesos heredados para ponerla en práctica a gran escala. Al mismo tiempo, ¿qué puede controlar eficazmente un vigilante o supervisor? ¿O están ahí para disuadir? ¿Es conveniente que los estudiantes acudan a un mismo lugar un mismo día para hacer un examen? ¿Ha disuadido a los estudiantes de cursar su programa debido a la inflexibilidad del régimen de evaluación? ¿En particular, cuando el aprendizaje y la enseñanza son flexibles?

Ahora, con la posibilidad de reflexionar sobre la experiencia, explorar opciones a un ritmo razonable y aplicarlas de forma meditada, ¿qué deben tener en cuenta las instituciones a la hora de decidir si supervisan a distancia a sus estudiantes?

La imposición de algo nuevo a toda velocidad, en circunstancias desafiantes y novedosas, es muy susceptible de un resultado subóptimo. En mi viejo mundo de académico del derecho, el conocido adagio del juez del Tribunal Supremo de EE.UU. Oliver Wendell de que «los casos difíciles hacen mala ley» era el que mejor describía este fenómeno. No es un hecho, a veces esas circunstancias resultan ser justo el empujón necesario para estimular el cambio que se está gestando de forma orgánica. Los exámenes a distancia encajan en esta categoría: una nueva tecnología utilizada a gran escala durante la pandemia con opiniones contrapuestas sobre su eficacia e idoneidad.


¿Es realmente una cuestión de formato de evaluación?

A la hora de plantearse el formato de evaluación, cabe hacerse las siguientes preguntas: ¿Es esta evaluación un examen porque es el mejor formato para evaluar a los estudiantes en estos resultados de aprendizaje? ¿Es un examen porque era la mejor opción de las que tenía en el pasado? ¿Es un examen porque siempre ha sido un examen? ¿Sigue siendo necesario que este examen sea a libro cerrado? Que lo haya sido durante años no significa que tenga que seguir siéndolo.

El examen del formato de evaluación es útil no sólo desde una perspectiva pedagógica, sino que también ayuda a articular mejor las necesidades de integridad académica requeridas. Si algunos o todos los resultados del aprendizaje pueden evaluarse mejor utilizando un formato alternativo, y usted tiene la capacidad de hacer cambios, puede considerar esta opción en lugar de una evaluación a libro cerrado que requiere vigilantes. Podría hacer cambios menores manteniéndolo como examen pero haciéndolo a libro abierto.

Una última consideración es si sigue siendo una evaluación cohesionada o si podría subsumirse en otras, o tal vez algunas partes sí puedan y quede un examen más pequeño. O puede que no se haga ningún cambio. Este artículo no defiende el cambio por el cambio, sino que desaconseja mantener el statu quo sin cuestionar lo que se tiene y su justificación.

 

¿Qué pretende conseguir desde el punto de vista de la evaluación y la integridad?

Reconociendo que la integridad de la evaluación no es negociable, aún hay que decidir cómo conseguirla. Es perfectamente posible bloquear y supervisar todo, pero ¿a qué precio? ¿Necesita todos los datos que generará? ¿Está añadiendo barreras que impidan a los estudiantes realizar las evaluaciones sin ningún beneficio adicional o integridad?

La supervisión remota puede ofrecer un entorno seguro para que los estudiantes realicen una evaluación digital, proporcionándole a usted y a ellos la ventaja de teclear, interactuar con preguntas más allá de lo que puede ofrecer el papel y agilizar el proceso de evaluación. Además, le proporciona pruebas que pueden revisarse durante o después del examen para investigar más a fondo. Esto no ocurre en los exámenes presenciales. Un vigilante que se pasea por una sala no puede repetir lo que ha visto ni mostrárselo a otro. La validez de las pruebas tiene una gran importancia a la hora de considerar el diseño y la integridad de las evaluaciones. Por ejemplo, las características del diseño en línea pueden permitir que más estudiantes demuestren sus habilidades y conocimientos, pero hay que tener cuidado de que las medidas de seguridad adicionales no restrinjan esta capacidad, afectando así a la validez.

¿Está haciendo el mejor uso de la tecnología para alcanzar sus objetivos pedagógicos?

La ética de anteponer la pedagogía a la tecnología es la base de nuestras creencias en Inspera, y sabemos que también de las suyas como educadores. El llamamiento a la «construcción digital» no consiste en crear las evaluaciones a partir de un menú de herramientas tecnológicas, sino en liberar lo que se quiere conseguir con una evaluación del proceso y las limitaciones actuales con las que se realiza.

Por poner sólo algunos ejemplos: tiempo de lectura, trozos de papel borrador o escribir una tabla de cifras que, fuera de un examen con bolígrafo y papel, se crearía digitalmente. Todo esto podría tener mucho sentido en un mundo presencial o basado en el papel. Pero, ¿qué pasaría si no tuviéramos que trabajar en papel o en persona? ¿Podrían entonces diseñarse las evaluaciones de forma que reprodujeran con mayor autenticidad la experiencia del mundo real utilizando las capacidades digitales habituales en los ámbitos académico y profesional?

¿Cómo se abordan los problemas de privacidad en la evaluación a distancia?

La evaluación a distancia no es diferente de cualquier otra tecnología. Si se utiliza de forma incorrecta, inadecuada o sin conocer bien su funcionamiento, el efecto puede ser perjudicial. La base de esta tecnología es la capacidad de grabar la pantalla, la cámara y el micrófono del ordenador de un estudiante. Si no se cuenta con el permiso explícito de los alumnos para capturar y almacenar datos personales de esta naturaleza, puede resultar inadecuada en su contexto.

No obstante, si lo hace, debe asegurarse de que tanto usted como su proveedor de servicios de supervisión disponen de protocolos de acceso estrictos y de una política de archivo y eliminación que se ajuste a la suya propia, lo que le permitirá decidir la proporcionalidad de la captura de datos. El sentimiento y la comprensión de los estudiantes también son clave en este caso.

Nuestra experiencia de trabajo con instituciones de todo el mundo que ofrecen una combinación de evaluaciones presenciales y a distancia, supervisadas a distancia, supervisadas en persona y no, sumativas y formativas, revela que la mayor aceptación por parte de los estudiantes se produce cuando se les da la opción de elegir cómo se supervisa su examen. Para aquellos cuyas circunstancias o preferencias hacen que realizar un examen en un lugar adecuado de su elección sea más conveniente y cómodo.

¿Cuándo debe intervenir una persona en la supervisión a distancia?

Aunque las soluciones de supervisión a distancia pueden ofrecer información valiosa sobre el comportamiento de los estudiantes durante las evaluaciones, es fundamental recordar que esta tecnología sólo sirve para registrar el comportamiento, no para juzgarlo de forma definitiva. Los educadores y administradores con amplia experiencia en la comprensión de los matices del comportamiento de los estudiantes en el contexto de una institución y de evaluaciones específicas son los únicos que deben juzgar lo que constituye o no una mala conducta académica.

Los programas informáticos de evaluación pueden ir un paso más allá de las banderas detectando o siguiendo patrones, o combinaciones de banderas para proporcionar una visión más profunda. Una vez más, no sirven para tomar una decisión, sino que potencialmente pueden ser una mayor ayuda para el humano que decide. Sólo un ser humano puede contextualizar la información.

¿Cuáles son los comportamientos clave a tener en cuenta en la supervisión a distancia?

Una gran variedad de banderas no equivale por sí misma a mejores datos sobre el comportamiento de sus alumnos. La tentación de activar todos los indicadores con la tolerancia más baja porque así se marcará todo tiene el inconveniente de lo mismo: se marcará todo. A menos que esperes que tus alumnos se queden sentados como estatuas durante un examen, moviendo el menor número posible de músculos para teclear sus respuestas, te verás inundado de indicadores cuando revises una grabación.

Un enfoque maduro de la supervisión consiste en comprender lo que hacen las banderas individualmente y en combinación con otras, mezcladas con el comportamiento normal y potencialmente discrepante de sus alumnos. Una conversación con un supervisor le ayudará a comprender cuál será el resultado probable de su examen y cómo influirán en él las distintas combinaciones. Considere, por ejemplo, que un indicador de que un estudiante está mirando hacia otro lado de la pantalla se activará repetidamente si permite que los estudiantes utilicen materiales autorizados durante un examen. En este caso, puede elegir entre utilizar el indicador o modificar su sensibilidad.

En los exámenes de alto riesgo, en los que la integridad académica es primordial, las señales relacionadas con posibles anomalías de comportamiento son fundamentales. Éstas pueden indicar asistencia no autorizada. Sin embargo, deben interpretarse cuidadosamente en el contexto del formato del examen, el calendario y las necesidades del alumno. Por ejemplo, los alumnos con ciertas necesidades pueden activar más señales de movimiento facial, lo que requiere una comprensión de los antecedentes de cada alumno antes de actuar sobre esos datos.

Mientras tanto, si la evaluación es de libro abierto o aprendizaje colaborativo, los indicadores técnicos que potencialmente señalan actividad inusual en Internet o uso no permitido de software pueden ser más pertinentes que los indicadores estrictos de comportamiento. Estos indicadores ayudan a garantizar que los alumnos acceden a los recursos dentro de las directrices aprobadas sin ser juzgados indebidamente por su lenguaje corporal natural.

Tenga en cuenta también que un número elevado de marcas puede indicar a veces la necesidad de realizar ajustes en el diseño del examen y no una mala conducta académica. Un número excesivo de avisos puede indicar que las instrucciones no son claras o que el entorno no es el adecuado para ser examinado. En última instancia, cada señal debe servir como un impulso para una investigación más profunda en lugar de una suposición inmediata de mala conducta.

¿Qué deben saber los estudiantes sobre la supervisión a distancia?

¿Cuánto de esto debe revelarse a los estudiantes? En nuestra opinión, todo. Ser abierto y transparente con los estudiantes en cuanto a cómo funciona la tecnología de supervisión remota, qué es lo que indica y quién revisará las grabaciones, aumenta la confianza y la aceptación. Eliminar el misterio permite a los estudiantes centrarse en su evaluación.

Poner en práctica las respuestas a estas preguntas

Al considerar el uso de la supervisión remota, los educadores deben evaluar varias facetas críticas para asegurarse de que es apropiada para su contexto educativo. El diseño reflexivo de la evaluación es fundamental, ya que determina no sólo sobre qué se examina a los estudiantes, sino también cómo interactúan con una plataforma digital. Comprender el propósito de utilizar la supervisión remota, ya sea para mantener la integridad académica, apoyar un entorno de pruebas justo o garantizar el acceso a evaluaciones seguras en diferentes ubicaciones, es esencial para hacer de la supervisión una herramienta de apoyo, en lugar de punitiva.

La supervisión humana y la transparencia no son negociables. Al incorporar la toma de decisiones humana como piedra angular del proceso, la supervisión puede seguir siendo sensible a las circunstancias individuales de cada estudiante. Los estudiantes deben estar bien informados sobre el funcionamiento de la supervisión a distancia, la protección de sus datos y el modo en que se revisarán los comportamientos detectados.

Al equilibrar estos elementos, los educadores pueden crear un entorno de supervisión que respete la privacidad de los estudiantes, mejore la imparcialidad y, en última instancia, favorezca una experiencia académica equitativa.

Ishan Kolhatkar, Evangelista global de clientes. Ex Vicedecano de Aprendizaje y Enseñanza

–

Descubra cómo Inspera Proctoring ayuda a los educadores a realizar exámenes con el nivel adecuado de integridad.