Abitur: Ofquals 'Betrugs'-Algorithmus wird überprüft

Die nationale Statistikbehörde greift ein, um den von Ofqual verwendeten Algorithmus zu überprüfen, mit dem A-Level-Noten für Schüler festgelegt werden, die keine Prüfungen ablegen konnten.

Ein Experte sagte, der Prozess sei grundlegend fehlerhaft und der vom Prüfungswächter gewählte Algorithmus im Wesentlichen "betrogen".

Inmitten eines öffentlichen Aufschreis beschloss die Regierung, die generierten Daten nicht zur Bestimmung der Noten der Schüler zu verwenden.

Es wirft Fragen zur Überwachung der in der Gesellschaft verwendeten Algorithmen auf.

Die Ergebnisse des Algorithmus ließen viele Schüler unglücklich werden, führten zu weit verbreiteten Protesten und wurden schließlich von der Regierung zugunsten von Lehrern geleiteten Bewertungen abgelehnt.

Das Amt für Statistikverordnung (OSR) gab bekannt, dass es nun eine dringende Überprüfung des von Ofqual verfolgten Ansatzes durchführen werde.

"Die Überprüfung soll das Lernen aus den Herausforderungen hervorheben, denen sich diese beispiellosen Umstände gegenübersehen", hieß es.

Tom Haines, Dozent für maschinelles Lernen an der University of Bath, hat die von Ofqual veröffentlichte Dokumentation untersucht und erläutert, wie der Algorithmus entwickelt wurde.

"Viele Fehler wurden auf vielen verschiedenen Ebenen gemacht. Dazu gehörten technische Fehler, bei denen die Leute, die die Konzepte implementierten, nicht verstanden, was die von ihnen eingegebene Mathematik bedeutete", sagte er.

Als Teil des Prozesses testete Ofqual 11 verschiedene Algorithmen und beauftragte sie, die Noten für die Prüfungen 2019 vorherzusagen und die Vorhersagen mit den tatsächlichen Ergebnissen zu vergleichen, um festzustellen, welche die genauesten Ergebnisse erbrachten.

Aber laut Haines: "Sie haben es falsch gemacht und den Algorithmen tatsächlich die Ergebnisse von 2019 gegeben. Der Algorithmus, den sie letztendlich ausgewählt haben, war also derjenige, der im Wesentlichen am besten betrogen hat."

Er sagte, es sei notwendig, den Prozess, mit dem Algorithmen Entscheidungen treffen, weitaus besser zu überwachen.

"Vor ein paar hundert Jahren haben die Leute eine Brücke gebaut und nur gehofft, dass es funktioniert. Wir machen das nicht mehr, wir überprüfen, wir validieren. Dasselbe muss für Algorithmen gelten. Wir sind immer noch bei diesen paar hundert zurück Vor Jahren müssen wir erkennen, dass diese Algorithmen künstliche Artefakte sind, und wenn wir nicht nach Problemen suchen, wird dies Konsequenzen haben. "

"Vom Reden verboten"

Als Antwort sagte Ofqual gegenüber der BBC: "Während des gesamten Prozesses hatten wir eine Experten-Beratergruppe, die sie Anfang April zum ersten Mal traf.

"Die Gruppe besteht aus unabhängigen Mitgliedern aus der Statistik- und Bewertungsgemeinschaft. Die Beratergruppe gab Ratschläge, Anleitungen, Einblicke und Fachkenntnisse, als wir die Details unseres Standardisierungsansatzes entwickelten."

Die Royal Statistical Society (RSS) hatte Ofqual die Unterstützung von zwei ihrer hochrangigen Statistiker angeboten, sagte der Vorsitzende Stian Westlake gegenüber der BBC.

"Ofqual sagte, dass sie sie nur in Betracht ziehen würden, wenn sie eine belastende Geheimhaltungsvereinbarung unterzeichnet hätten, die es ihnen effektiv verboten hätte, über alles zu sprechen, was sie aus dem Prozess für bis zu fünf Jahre gelernt hatten", sagte er.

"Angesichts der Transparenz und Offenheit, die für RSS von zentraler Bedeutung sind, konnten wir nicht Ja sagen."

Die Medienwiedergabe wird auf Ihrem Gerät nicht unterstützt

Der Vorsitzende von Ofqual, Roger Taylor, ist auch Vorsitzender des britischen Zentrums für Datenethik und -innovation, einer von der Regierung eingerichteten Einrichtung zur Überwachung der Datennutzung durch die Regierung.

Sie bestätigte der BBC, dass sie nicht aufgefordert wurde, den Algorithmus oder die Prozesse, die zu seiner Erstellung geführt haben, zu überprüfen, und erklärte, es sei nicht ihre Aufgabe, "die Algorithmen von Organisationen zu prüfen".

Herr Haines sagte: "Es fühlt sich so an, als ob diese Gremien von Unternehmen und Regierungen geschaffen wurden, weil sie der Meinung sind, dass sie sie haben sollten, aber ihnen wird keine tatsächliche Macht übertragen.

"Es ist eine symbolische Geste und wir müssen erkennen, dass Ethik nicht etwas ist, das Sie am Ende eines Prozesses anwenden, sondern etwas, das Sie durchgehend anwenden."

Das RSS begrüßte die OSR-Überprüfung und hoffte, aus dem Fiasko Lehren ziehen zu können.

"Der Prozess und der Algorithmus waren ein Fehler", sagte Westlake.

"Es gab technische Mängel, aber auch die Entscheidungen, die beim Entwurf getroffen wurden, und die Konstrukte, unter denen es betrieben wurde.

"Es musste die Inflationsrate mit der individuellen Ungerechtigkeit in Einklang bringen, und obwohl es nur eine geringe Inflationsrate gab, gab es sehr viele enttäuschte Menschen, und es entstand ein offensichtliches Gefühl der Ungerechtigkeit.

"Das ist kein statistisches Problem, das ist eine Wahl, wie Sie den Algorithmus erstellen."

Zukünftiger Gebrauch

Algorithmen werden auf allen Ebenen der Gesellschaft eingesetzt, von sehr einfachen bis hin zu komplexen Beispielen, die künstliche Intelligenz verwenden.

"Die meisten Algorithmen sind völlig vernünftig, unkompliziert und klar definiert", sagte Haines. Er warnte jedoch davor, dass die Gesellschaft eine Pause einlegen müsse, um zu überlegen, was sie von ihnen wollte.

"Wie gehen wir mit Algorithmen um, die Entscheidungen treffen und nicht die, von denen wir annehmen, dass sie es tun? Wie schützen wir uns davor?"

Und einige Dinge sollten niemals einem Algorithmus überlassen werden, um sie zu bestimmen, sagte er.

"Kein anderes Land hat das getan, was wir mit Prüfungen gemacht haben. Sie haben entweder herausgefunden, wie man Prüfungen durchführt, oder sie hatten Aufsätze, für die sie Durchschnittswerte genommen haben. Letztendlich geht es bei den Prüfungen darum, dass die Schüler ihre Zukunft bestimmen, und das kann man mit einem Algorithmus nicht erreichen." .

"Einige Probleme brauchen nur einen Menschen."