Remote Proctoring kann eine wirksame Methode sein, um die Integrität von Prüfungen zu gewährleisten. Aber sie ist nicht die einzige Methode. Die Frage nach der einen oder anderen Form der Prüfung zu stellen, anstatt zu ermitteln, was Sie aus der Perspektive der akademischen Integrität brauchen, und dann Ihre Optionen zu bewerten, könnte zu einem falschen Vergleich zwischen zwei Methoden führen, die je nach Kontext relative Vorzüge haben.

Die Entscheidung darüber, wie Sie die akademische Integrität gewährleisten, ist die gleiche wie die Entscheidung über eine Forschungsstrategie. Sie würden nicht damit beginnen, sich für eine qualitative oder quantitative Methode zu entscheiden, ohne vorher zu definieren, welche Erkenntnisse Sie gewinnen wollen. Wenn Sie sich nur auf den Vergleich von Methoden konzentrieren, riskieren Sie einen falschen Vergleich und übersehen, welcher Ansatz am besten zu Ihren Forschungszielen passt. Wenn Sie bei der Prüfung mit der Frage nach den Anforderungen an die akademische Integrität beginnen, können Sie die Optionen auf der Grundlage ihrer Eignung und Wirkung bewerten, anstatt sich in einer Debatte über die Frage „persönlich“ oder „aus der Ferne“ zu verlieren.

Wie können die Institutionen dann die komplexe Entscheidung treffen, ob eine Prüfung umgestaltet werden soll, ob sie weiterhin persönlich abgehalten werden soll oder ob die Durchführung von Prüfungen die richtige Lösung ist? Dieser Artikel soll Ihnen helfen, die Fragen zu beantworten, die Sie sich stellen müssen, um die richtige Antwort für Ihren Kontext zu finden.

Wichtige Überlegungen zur Implementierung von Remote Proctoring

  • Wie viel weiß ich über die Möglichkeiten der Fernprüfung im Vergleich zu der Art und Weise, wie sie während der Pandemie durchgeführt wurde?
  • Ist dies wirklich eine Frage des Bewertungsformats?
  • Was wollen Sie unter dem Gesichtspunkt der Bewertung und Integrität erreichen?
  • Setzen Sie die Technologie optimal ein, um Ihre pädagogischen Ziele zu erreichen?
  • Wie gehen Sie mit den Datenschutzbedenken bei Fernprüfungen um?
  • Wann sollte eine menschliche Aufsicht in die Fernprüfung einbezogen werden?
  • Welches sind die wichtigsten Verhaltensweisen, die bei Remote Proctoring zu beachten sind?
  • Was sollten Studierende über Remote Proctoring wissen?

Wie viel weiß ich über die Möglichkeiten der Fernprüfung im Vergleich zu ihrer Umsetzung während der Pandemie?

Nicht nur die Fernaufsicht wird mit einer Alternative verglichen, die durch eine rosarote Brille betrachtet wird. Die traditionelle Methode der Aufsicht, bei der Aufsichtspersonen durch den Prüfungssaal gehen, ist nicht ohne Fehler. Bei der Bewertung einer neuen Methode, insbesondere wenn es sich um Technologie handelt, werden allzu leicht die negativen Aspekte des Bestehenden ignoriert und eine neue vorgeschlagene Lösung an einem falschen Maßstab gemessen.

Die herkömmliche Aufsicht, bei der die Studierenden einen Ort aufsuchen, um eine Prüfung abzulegen, ist aus Sicht der Studierenden zweifellos einfach zu handhaben, da sie damit vertraut sind, und aus Sicht der Hochschule, da sie über bestehende Systeme und Prozesse verfügt, um sie in großem Umfang einzusetzen. Aber was kann ein Aufseher oder eine Aufsichtsperson effektiv überwachen? Oder haben sie nur eine abschreckende Funktion? Ist es für Ihre Studenten bequem, sich an einem einzigen Tag an einem einzigen Ort einzufinden, um eine Prüfung abzulegen? Haben Sie Studierende von Ihrem Studiengang abgeschreckt, weil die Prüfungsmodalitäten zu unflexibel sind? Insbesondere dann, wenn das Lernen und Lehren flexibel ist?

Mit der Möglichkeit, die Erfahrungen zu reflektieren, die Optionen in einem angemessenen Tempo zu erkunden und sie mit Bedacht umzusetzen, stellt sich die Frage, was die Hochschulen bei der Entscheidung über die Fernprüfung ihrer Studierenden berücksichtigen sollten.

Die rasche Einführung von etwas Neuem unter schwierigen und neuartigen Umständen ist sehr anfällig für ein suboptimales Ergebnis. In meiner alten Welt als Rechtswissenschaftler hat der bekannte Ausspruch des Richters Oliver Wendell vom Obersten Gerichtshof der USA, „Hard cases make bad law“, dieses Phänomen am besten beschrieben. Es ist nicht selbstverständlich, aber manchmal erweisen sich diese Umstände als genau der Anstoß, der erforderlich ist, um einen organisch wachsenden Wandel zu fördern. Die Fernprüfung fällt in diese Kategorie; eine neue Technologie, die während der Pandemie in großem Umfang eingesetzt wurde und über deren Wirksamkeit und Angemessenheit es unterschiedliche Meinungen gibt.


Ist dies wirklich eine Frage des Bewertungsformats?

Fragen, die Sie sich stellen sollten, wenn Sie über das Format Ihrer Bewertung nachdenken, können sein: Handelt es sich bei dieser Bewertung um eine Prüfung, weil dies das beste Format für die Bewertung der Lernergebnisse ist? Handelt es sich um eine Prüfung, weil dies in der Vergangenheit die beste Option war? Ist es eine Prüfung, weil es schon immer eine Prüfung war? Muss diese Prüfung immer noch eine Prüfung mit geschlossenen Büchern sein? Nur weil sie es seit Jahren ist, muss sie nicht unbedingt gleich bleiben.

Eine Überprüfung des Prüfungsformats ist nicht nur aus pädagogischer Sicht sinnvoll, sondern hilft auch, die Anforderungen an die akademische Integrität besser zu formulieren. Wenn einige oder alle Lernergebnisse besser mit einem alternativen Format bewertet werden können und Sie die Möglichkeit haben, Änderungen vorzunehmen, sollten Sie dies anstelle einer Prüfung mit geschlossenen Büchern und Aufsichtspersonen in Betracht ziehen. Sie könnten kleinere Änderungen vornehmen, indem Sie die Prüfung als Klausur beibehalten, sie aber zu einer offenen Prüfung machen.

Eine letzte Überlegung ist, ob es sich immer noch um eine zusammenhängende Prüfung handelt oder ob sie in andere Prüfungen eingegliedert werden kann, oder ob vielleicht Teile davon übernommen werden können und eine kleinere Prüfung übrig bleibt. Oder Sie könnten überhaupt keine Änderungen vornehmen. Dieser Artikel spricht sich nicht für Veränderungen um der Veränderungen willen aus, sondern rät davon ab, den Status quo beizubehalten, ohne das Bestehende und die Gründe dafür zu hinterfragen.

 

Was wollen Sie unter dem Gesichtspunkt der Bewertung und Integrität erreichen?

Auch wenn die Integrität der Bewertung nicht verhandelbar ist, gibt es immer noch Entscheidungen darüber, wie sie erreicht werden kann. Es ist durchaus möglich, alles zu sperren und zu überwachen, aber zu welchem Preis? Brauchen Sie alle Daten, die dabei anfallen? Fügen Sie Barrieren hinzu, die verhindern, dass Schüler ohne zusätzlichen Nutzen oder Integrität an Prüfungen teilnehmen können?

Remote Proctoring bietet den Studierenden eine sichere Umgebung für digitale Prüfungen, die Ihnen und den Studierenden den Vorteil bietet, dass sie tippen und mit Fragen interagieren können, die über die auf Papier gestellten Fragen hinausgehen, und die den Prüfungsprozess rationalisieren. Darüber hinaus erhalten Sie Beweise, die während oder nach der Prüfung für weitere Untersuchungen herangezogen werden können. Das ist bei einer persönlichen Prüfung einfach nicht der Fall. Ein Prüfer, der durch den Raum geht, kann weder wiedergeben, was er gesehen hat, noch kann er es einem anderen zeigen. Die Validität von Tests spielt eine wichtige Rolle, wenn es um die Gestaltung und Integrität von Prüfungen geht. So können z. B. Online-Design-Funktionen es mehr Schülern ermöglichen, ihre Fähigkeiten und Kenntnisse zu demonstrieren, aber Sie müssen darauf achten, dass die zusätzlichen Sicherheitsmaßnahmen diese Fähigkeit nicht einschränken und damit die Gültigkeit beeinträchtigen.

Setzen Sie die Technologie optimal für Ihre pädagogischen Ziele ein?

Das Ethos, die Pädagogik vor die Technologie zu stellen, ist der Kern unserer Überzeugungen bei Inspera, und wir wissen, dass dies auch für Sie als Pädagogen gilt. Das Plädoyer für den „digitalen Aufbau“ bedeutet nicht, dass Sie Ihre Bewertungen aus einem Menü von technischen Tools zusammenstellen, sondern dass Sie das, was Sie mit einer Bewertung erreichen wollen, aus dem aktuellen Prozess und den Beschränkungen, innerhalb derer Sie sie durchführen, herauslösen.

Um nur ein paar Beispiele zu nennen: Zeit zum Lesen, Ausschneiden von unbearbeitetem Papier oder das Schreiben einer Tabelle mit Zahlen, die außerhalb einer Prüfung mit Stift und Papier digital erstellt werden würde. All dies mag in einer persönlichen und/oder papiergestützten Welt durchaus Sinn machen. Wie wäre es aber, wenn Sie nicht an die Arbeit auf Papier oder vor Ort gebunden wären? Könnten Ihre Prüfungen dann so gestaltet werden, dass sie die realen Erfahrungen authentischer abbilden und die digitalen Möglichkeiten nutzen, die in akademischen und beruflichen Bereichen üblich sind?

Wie geht man mit Datenschutzbedenken bei Remote Proctoring um?

Bei der Fernprüfung verhält es sich nicht anders als bei jeder anderen Technologie. Wird sie falsch, unangemessen oder ohne ein angemessenes Verständnis ihrer Funktionsweise eingesetzt, kann dies schädliche Auswirkungen haben. Das Herzstück dieser Technologie ist die Möglichkeit, den Bildschirm, die Kamera und das Mikrofon des Computers eines Schülers aufzuzeichnen. Das allein kann schon dazu führen, dass sie für Ihren Kontext ungeeignet ist, wenn Sie nicht die ausdrückliche Erlaubnis Ihrer Schülerinnen und Schüler haben, persönliche Daten dieser Art zu erfassen und zu speichern.

Wenn Sie dies dennoch tun, sollten Sie sicherstellen, dass Sie und Ihr Prüfungsanbieter über strenge Zugangsprotokolle und eine Archivierungs- und Löschungspolitik verfügen, die mit Ihrer eigenen übereinstimmt, damit Sie über die Verhältnismäßigkeit der Datenerfassung entscheiden können. Die Stimmung und das Verständnis der Studierenden sind hier ebenfalls entscheidend.

Unsere Erfahrung in der Zusammenarbeit mit Institutionen auf der ganzen Welt, die eine Mischung aus Präsenz- und Fernprüfungen, Fernprüfungen mit und ohne Aufsicht, summativen und formativen Prüfungen anbieten, zeigt, dass die größte Akzeptanz bei den Studierenden dort zu verzeichnen ist, wo sie die Wahl haben, wie ihre Prüfung beaufsichtigt wird. Für diejenigen, deren Umstände oder Präferenzen es bequemer und angenehmer machen, eine Prüfung an einem geeigneten Ort ihrer Wahl abzulegen.

Wann sollte eine menschliche Aufsicht bei Remote Proctoring eingesetzt werden?

Fernüberwachungslösungen können zwar wertvolle Einblicke in das Verhalten der Studierenden während der Prüfungen bieten, doch darf man nicht vergessen, dass diese Technologie nur dazu dient, das Verhalten aufzuzeichnen, nicht aber als endgültiges Urteil. Pädagogen und Administratoren mit umfassender Erfahrung im Verständnis der Nuancen studentischen Verhaltens im Kontext einer Institution und spezifischer Prüfungen sind die einzigen, die ein Urteil darüber fällen sollten, was akademisches Fehlverhalten darstellt und was nicht.

Proctoring-Software kann einen Schritt weiter gehen als Flaggen, indem sie Muster oder Kombinationen von Flaggen erkennt und verfolgt, um tiefere Einblicke zu geben. Auch hier dienen sie nicht als Entscheidungshilfe, sondern als potenziell größere Unterstützung für den Menschen, der die Entscheidung trifft. Nur ein Mensch kann die Informationen kontextualisieren.

Welches sind die wichtigsten Verhaltensweisen, die beim Remote Proctoring zu beachten sind?

Eine große Anzahl von Flaggen ist nicht gleichbedeutend mit besseren Daten über das Verhalten Ihrer Schüler. Die Versuchung, jede Markierung auf der niedrigsten Toleranzstufe einzuschalten, weil dann alles markiert wird, hat genau denselben Nachteil: Es wird alles markiert. Wenn Sie nicht die Erwartung haben, dass Ihre Schüler während einer Prüfung fast wie eine Statue sitzen und so wenig Muskeln wie möglich bewegen, um ihre Antworten einzutippen, werden Sie bei der Überprüfung einer Aufzeichnung mit Flaggen überschwemmt.

Ein ausgereifter Ansatz für die Aufsichtsführung besteht darin, zu verstehen, was die Flaggen einzeln und in Kombination mit dem normalen und potenziell abweichenden Verhalten Ihrer Schüler tun. Ein Gespräch mit einem Aufsichtsführenden wird Ihnen helfen zu verstehen, wie das Ergebnis Ihrer Prüfung aussehen wird und wie sich verschiedene Kombinationen darauf auswirken. Wenn Sie beispielsweise den Studierenden erlauben, während einer Prüfung autorisierte Materialien zu verwenden, wird wiederholt ein Kennzeichen ausgelöst, das besagt, dass ein Studierender den Blick vom Bildschirm abwendet. Sie haben also die Wahl, ob Sie das Kennzeichen verwenden oder seine Empfindlichkeit ändern wollen.

Bei Prüfungen, bei denen es auf akademische Integrität ankommt, sind Hinweise auf mögliche Verhaltensanomalien von entscheidender Bedeutung. Diese können auf unautorisierte Hilfe hinweisen. Sie sollten jedoch im Kontext des Prüfungsformats, des Zeitplans und der Bedürfnisse der Studierenden sorgfältig interpretiert werden. Zum Beispiel können Schüler mit bestimmten Bedürfnissen mehr Gesichtsbewegungs-Flags auslösen, was ein Verständnis des Hintergrunds jedes Lernenden erfordert, bevor man auf solche Daten reagiert.

Handelt es sich bei der Bewertung hingegen um ein offenes Buch oder kollaboratives Lernen, sind technische Markierungen, die möglicherweise auf ungewöhnliche Internetaktivitäten oder eine nicht erlaubte Softwarenutzung hinweisen, möglicherweise relevanter als strenge Verhaltensmarkierungen. Solche Flaggen helfen sicherzustellen, dass die Schüler innerhalb der genehmigten Richtlinien auf die Ressourcen zugreifen, ohne dass sie aufgrund ihrer natürlichen Körpersprache übermäßig beurteilt werden.

Bedenken Sie auch, dass eine hohe Anzahl von Markierungen manchmal eher auf eine notwendige Anpassung der Prüfungsgestaltung als auf akademisches Fehlverhalten hinweisen kann. Eine hohe Anzahl von Flaggen kann darauf hindeuten, dass die Anweisungen nicht klar sind oder dass das Umfeld für die Abnahme der Prüfung nicht geeignet ist. Letzten Endes sollte jede Markierung als Anregung für eine eingehendere Untersuchung dienen und nicht sofort auf ein Fehlverhalten hindeuten.

Was sollten Studierende über Remote Proctoring wissen?

Wie viel davon sollte den Schülern mitgeteilt werden? Unserer Ansicht nach, alles. Eine offene und transparente Kommunikation mit den Studierenden darüber, wie die Remote-Proctoring-Technologie funktioniert, was sie anzeigt und wer die Aufzeichnungen überprüft, erhöht das Vertrauen und die Akzeptanz. Wenn das Geheimnis gelüftet wird, können sich die Studierenden auf ihre Prüfung konzentrieren.

Die Antworten auf diese Fragen in die Praxis umsetzen

Wenn Pädagogen den Einsatz von Remote Proctoring in Erwägung ziehen, müssen sie mehrere kritische Aspekte berücksichtigen, um sicherzustellen, dass die Lösung für ihren Bildungskontext geeignet ist. Ein durchdachtes Prüfungsdesign ist von grundlegender Bedeutung, da es nicht nur bestimmt, worüber die Studierenden geprüft werden, sondern auch, wie sie mit einer digitalen Plattform interagieren. Das Verständnis des Zwecks, der hinter dem Einsatz von Remote Proctoring steht – sei es zur Wahrung der akademischen Integrität, zur Unterstützung einer fairen Prüfungsumgebung oder zur Gewährleistung des Zugangs zu sicheren Prüfungen an verschiedenen Standorten – ist entscheidend, um Proctoring zu einem unterstützenden und nicht zu einem bestrafenden Instrument zu machen.

Menschliche Aufsicht und Transparenz sind nicht verhandelbar. Durch die Einbeziehung der menschlichen Entscheidungsfindung als Eckpfeiler des Prozesses kann die Prüfung auf die individuellen Umstände der Studierenden abgestimmt werden. Die Studierenden sollten gut darüber informiert sein, wie die Fernprüfung funktioniert, welche Sicherheitsvorkehrungen für ihre Daten getroffen werden und wie auffälliges Verhalten überprüft wird.

Durch die Abwägung dieser Elemente können Lehrkräfte eine Prüfungsumgebung schaffen, die die Privatsphäre der Studierenden respektiert, die Fairness fördert und letztlich eine gleichberechtigte akademische Erfahrung unterstützt.

Ishan Kolhatkar, Global Client Evangelist. Ehemaliger stellvertretender Dekan für Lernen und Lehre

–

Erfahren Sie, wie Inspera Proctoring Lehrkräften hilft, Prüfungen mit dem richtigen Maß an Integrität abzulegen.