DE4403497A1

DE4403497A1 - Testauflösermanagementsystem

Info

Publication number: DE4403497A1
Application number: DE4403497A
Authority: DE
Inventors: Jay V Clark; William L Jun Bramlett; Judith Moyer
Original assignee: National Computer Systems Inc
Current assignee: National Computer Systems Inc
Priority date: 1993-02-05
Filing date: 1994-02-04
Publication date: 1994-09-01
Anticipated expiration: 2014-02-05
Also published as: US6159018A; US6155839A; US5735694A; US5709551A; US6749435B2; GB9402185D0; US6183261B1; HK1003496A1; US6183260B1; US6976847B2; HK1002467A1; CA2107412A1; US6558166B1; DE4403497B4; US5558521A; US5458493A; CA2107412C; US6168440B1; US7044743B2; US20040086841A1

Description

Gebiet der Erfindung

Die vorliegende Erfindung betrifft ein System zur Verarbei tung von Antworten zu Testfragen.

Hintergrund der Erfindung

Das Bewerten von Testantwortbögen bringt komplexe Probleme mit sich. Diese Testantwortbögen schließen typischerweise ei ne Reihe von Antwortpositionen ein, wie beispielsweise "Bla sen", Ovale oder Rechtecke. Eine an einem Test teilnehmende Person streicht beispielsweise ein passendes Oval mit einem Stift an, um eine Multiple-Choice-Frage zu beantworten. Die se Testantwortbögen können auch handgeschriebene Antworten einschließen, wie Aufsatz- oder Kurzantwortfragen. Systeme zum Abtasten und Bewerten der Blasen auf derartigen Testant wortbögen sind in Fachkreisen bekannt. Erhöhte Schwierigkei ten werden jedoch aufgeworfen, wenn derartige Antwortbögen entweder andere Arten von Antworten einschließen, wie hand geschriebene Antworten, oder nicht maschinell eingestuft wer den können. Falls beispielsweise der Student vergessen hat, seinen Namen auf dem Testantwortbogen einzutragen, kann das System unfähig sein, die Testantwort maschinell zu bewerten.

Die Ziele beim Bewerten von Testantworten, die nicht maschi nell bewertet werden können, schließen Effizienz und Konsis tenz ein. Die Testantwortbögen werden typischerweise bewer tet durch Testauflöser, indem entweder der physikalische Testantwortbogen manuell bewertet wird oder eine elektroni sche Darstellung des Testantwortbogens an einem Computer be wertet wird. Idealerweise sollten die durch die verschiede nen Testauflöser für eine besondere Testfrage versehenen Be wertungen konsistent sein, da die Bewertungen beim Lei stungsvergleich der Studenten untereinander verwendet wer den. Zusätzlich sollte ein Testauflöser idealerweise effi zient arbeiten, um konsistent hohe Bewertungsraten aufrecht zuerhalten. Der Testauflöser sollte nicht eine so hohe Bewer tungsrate aufweisen, daß die Konsistenz oder Qualität der Be wertung signifikant abnimmt; ebenso sollte der Testauflöser nicht eine so niedrige Bewertungsrate aufweisen, daß zu we nig Antwortbögen bewertet werden. Dieses manuelle Bewerten von Testantwortbögen macht es jedoch schwierig, die Bewer tungskonsistenz unter den verschiedenen Testauflösern zu überwachen.

In vielen Situationen reisen Testauflöser tatsächlich an ei nen besonderen Ort, so daß alle Testauflöser gleichzeitig Testantwortbögen bewerten können. Von den Testauflösern zu verlangen, an einen gegebenen Ort zu reisen, ist unbequem für die Auflöser und kostspielig für diejenigen, welche die Tests verwalten. Darüber hinaus kann das Verfolgen der Lei stung von Testauflösern gegenüber sowohl ihrer eigenen Lei stung als auch der Leistung anderer Auflöser sehr schwierig sein mit einer manuellen Bewertungsumgebung.

Der Prozeß des Auflösens von Testfragen wird gegenwärtig ma nuell durchgeführt, und dies bringt Probleme mit sich. Einem Auflöser werden die tatsächlichen Testantwortbögen zur Bewer tung manuell vorgelegt. Dieses Verfahren ist relativ un effizient, da die Auflöser die Antwortbögen einzeln und in der Reihenfolge, in der sie vorgelegt werden, bewerten müs sen. Auch besitzen manuelle Bewertungssysteme nicht die Fä higkeit, die Testantworten zur nachfolgenden Analyse effi zient zu sammeln und zu kategorisieren. Daher ist es mit ei nem manuellen System sehr schwierig zu bestimmen, wie Lehrme thoden geändert werden sollten, um beispielsweise die Anzahl von falschen Antworten zu senken.

Es gibt somit eine Notwendigkeit für ein System, das Konsis tenz und Effizienz beim Bewerten oder Auflösen von Tests för dert und erzielt.

Zusammenfassung der Erfindung

Das vorliegende Testauflösermanagementsystem erleichtert konsistentes, genaues und hochqualitatives Bewerten von Test antworten. Ein Zusammenarbeitsbewertungsuntersystem erlaubt zwei Testauflösern, die gleiche Testantwort zu bewerten, und löst potentielle Diskrepanzen in den durch die Auflöser gelieferten Bewertungen auf.

Das System besitzt außerdem die Fähigkeit, Qualitätsposten zu verwenden, um eine Bewertungsleistung eines Auflösers zu überwachen. Das System überträgt einen Qualitätskontroll testposten mit einer bekannten Bewertung zu einem Testauf löser. Nach Empfang einer Bewertung vom Auflöser vergleicht das System die bekannte Bewertung mit der Bewertung des Auflösers und kann ein Qualitätsprofil für den Auflöser erzeugen.

Das System schafft außerdem Leistungsrückkopplung zu Test auflösern, indem die Bewertungsraten der Auflöser überwacht werden. Falls eine Bewertungsrate eines Auflösers im Ver gleich zu einer anderen Bewertungsrate eine Diskrepanz enthält, kann das System über die Diskrepanz berichten. Das System kann außerdem einem Auflöser Unterbrechungen empfeh len oder einen Auflöser mit Zerstreuungsaktivitäten verse hen, und zwar in Abhängigkeit von einer Diskrepanz in Bewer tungsraten. Das System besitzt ferner die Fähigkeit, Test antworten zu Auflösern zu leiten, und zwar gestützt auf Klassifikationen von Auflösern und Personen, welche die Testantworten erzeugten. Überwachen und Auswählen von Auflösern gestützt auf Klassifikationen fördert faires und konsistentes Bewerten von Testantworten.

Schließlich schafft das System einen Online-Bewertungsfüh rer, um dynamisch einen Testauflöser mit Bewertungsregeln für eine dem Auflöser dargestellte Testantwort zu versehen.

Kurze Beschreibung der Zeichnung

Die Erfindung wird im folgenden beispielhaft anhand der Zeichnung beschrieben; in dieser zeigt:

Fig. 1 ein Diagramm eines Netzwerks, das die vorlie gende Erfindung einschließt,

Fig. 2 ein Blockdiagramm eines Teils des in Fig. 1 gezeigten Netzwerks,

Fig. 3 ein Blockdiagramm der Abtastkonfiguration im Netzwerk von Fig. 1,

Fig. 4 ein Blockdiagramm des Servers im Netzwerk von Fig. 1,

Fig. 5 ein Flußdiagramm des Empfangens und Verarbei tens von Testposten,

Fig. 6 ein Flußdiagramm des Mehrfachpostenbe wertens,

Fig. 7 ein Flußdiagramm des Berichtens über einen kategorisierten (speziellen) Posten,

Fig. 8-10 ein Flußdiagramm des Zusammenarbeitsbewer tens,

Fig. 11 ein Flußdiagramm eines Qualitätspostenver arbeitens,

Fig. 12 ein Flußdiagramm zur Auflöserüberwachung und -rückkopplung,

Fig. 13 ein Flußdiagramm eines Online-Bewertungsfüh rungssystems, und

Fig. 14 ein Beispiel einer Benutzerschnittstelle zur Verwendung mit einer Mehrfachpostenbewer tung.

Ausführliche Beschreibung der bevorzugten Ausführungsform

In der folgenden ausführlichen Beschreibung der bevorzugten Ausführungsform wird auf die begleitende Zeichnung Bezug ge nommen, die einen Teil hiervon bildet und in der veranschau lichend eine spezifische Ausführungsform gezeigt ist, in der die Erfindung praktiziert werden kann. Diese Ausführungsform wird ausreichend ausführlich beschrieben, um Fachleute in die Lage zu versetzen, die Erfindung zu praktizieren, und an dere Ausführungsformen können benutzt und strukturelle oder logische Änderungen durchgeführt werden, ohne vom Rahmen der vorliegenden Erfindung abzuweichen. Die folgende aus führliche Beschreibung ist daher nicht in einem begrenzenden Sinn zu verstehen, und der Rahmen der vorliegenden Erfindung ist durch die beigefügten Ansprüche definiert.

HARDWARE-KONFIGURATION

Fig. 1 zeigt ein Beispiel einer Hardware-Konfiguration für ein Netzwerk, das die vorliegende Erfindung einschließt. Die se Konfiguration ist lediglich als ein Beispiel gezeigt; vie le verschiedene Hardware-Konfigurationen sind verfügbar, wie von einem Fachmann bemerkt, um die unten beschriebenen Soft wareverarbeitungsfunktionen auszuführen. Das gezeigte Netz werk umfaßt einen Mainframe-Computer 20, der durch einen Haupt-Tokenring mit einer Vielzahl von RISC-Servern 11, 12 und 13 über eine Schnittstelle verbunden ist. Jeder RISC-Ser ver ist mit einem Tokenring über eine Schnittstelle verbun den, der Workstations und Abtastvorrichtungen enthält. Der RISC-Server 1 ist in Tokenring 1 mit Abtastvorrichtungen 14 und Workstations 19 verbunden. Der RISC-Server 12 ist in To kenring 2 mit einer Abtastvorrichtung 15 und Workstations 18 verbunden. Der RISC-Server 13 ist in Tokenring 3 mit Abtast vorrichtungen 16 und Workstations 17 verbunden. Der Mainframe-Computer 20 ist außerdem mit einem Drucker hoher Kapazität 22 und einem Drucker niedriger Kapazität 21 verbun den, um Berichte gespeicherter Daten innerhalb des Systems zu drucken.

Das System verwendet die Abtastvorrichtungen, um Testantwort bögen einzulesen. Diese Testantwortbögen können zum Beispiel Testvordrucke mit "Blasen" oder Ovalen umfassen, die mögli che Antworten, handgeschriebene Aufsätze oder andere ver schiedene Arten geschriebener oder gedruckter Informationen repräsentieren. Nach Empfang der abgetasteten Testdaten kann das System innerhalb der RISC-Server diese abgetasteten Testantwortbögen verarbeiten, um Testposten von Interesse von den Antwortbögen zu erzeugen. Ein Testposten ist daher eine elektronische Darstellung wenigstens eines Teils eines Testantwortbogens. Das System kann diese Testposten an die Workstations zur Online-Bewertung verteilen. Ein Testbewer ter an einer Workstation kann dann den Testposten bewerten und eine Testbewertung eingeben. Das System empfängt die Testbewertungen über das Netzwerk und die RISC-Server und verteilt die Bewertungen an geeignete Computer zum nachfol genden Drucken und Berichten; der geeignete Computer kann zum Beispiel den Mainframe-Computer 20 oder einen Server ein schließen. Das System kann auch die Testbewertungen zu bei spielsweise einer Platte oder Telefonleitung übertragen.

Fig. 2 ist ein ausführlicheres Blockdiagramm eines Teils des in Fig. 1 gezeigten Netzwerks. Wie in Fig. 2 gezeigt, umfas sen die in Fig. 1 gezeigten Abtasteinheiten typischerweise eine Abtastvorrichtung 25, die mit einem Computer 24 und Per sonal-Computer (PC) 26 über eine Schnittstelle verbunden ist. Fig. 3 zeigt ein ausführlicheres Blockdiagramm einer Ab tasteinheit. Die Abtastvorrichtung 25 enthält eine Kamera 31, um optisch einen Testantwortbogen einzulesen, und ent hält ferner Logik 32 für optische Zeichenerkennung (OMR) zur Verarbeitung der von der Kamera 31 empfangenen abgetasteten Daten. Der PC 26, vorzugsweise ausgeführt als ein Hoch leistungs-486-Niveau-PC, enthält einen Rahmenpuffer 23, der die abgetasteten Bilddaten von der Abtastvorrichtung 25 emp fängt.

Der Computer 24, bevorzugt ausgeführt als ein HP 1000, ist mit der Abtastvorrichtung 25 und dem PC 26 über eine Schnitt stelle verbunden, um den Betrieb der Abtasteinheit zu steu ern. Der Computer 24 ist optional; das System kann alter nativ so konfiguriert sein, daß sich die gesamte Funktionali tät des Computers 24 innerhalb des PC′s 26 befindet. Der Com puter 24 steuert die Abtastvorrichtung über die OMR-Logik 32 und steuert somit, wann Bilddaten eingetastet und nachfol gend zum PC 26 übertragen werden. Der PC 26 wirkt im wesent lichen als ein Puffer zum Halten der Bilddaten. Der Computer 24 steuert ferner, wann der PC 26 die Bilddaten zur Übertra gung zu einem Server 27 zur nachfolgenden Verarbeitung und Bewertung abfragt. Der PC 26 kann außerdem einen Bereich von Interesse von den Bilddaten, der wenigstens einen Teil der abgetasteten Testantwortbögen repräsentiert, entfernen oder "ausschneiden".

Beispiele von zwei Systemen zum Speichern und Extrahieren von Informationen von abgetasteten Bildern von Testantwortbö gen sind in den US-Patentschriften No. 5 134 669 und No. 5 103 490 gezeigt, die durch Bezugnahme in die vorliegende Anmeldung einbezogen sind, als ob vollständig dargelegt. Der Server 27 empfängt die Bilddaten, die Testposten einschlie ßen, und sorgt für Verarbeitung und Steuerung der Bilddaten. Dieser Teil, der ein Testposten sein kann, wird dann an die Workstations 28, 29 und 30 zur nachfolgenden Bewertung ver teilt. Ein Testauflöser (Bewerter) an der Workstation emp fängt typischerweise den Testposten, führt das Bewerten durch und überträgt die Bewertung zum Empfangscomputer.

Fig. 4 ist ein Blockdiagramm der Hardware- und Software-Funk tionen in einem Server im Netzwerk von Fig. 1. Ein Abtast steuerungsmodul 31 ist mit dem Abtastvorrichtungs-PC 26 über eine Schnittstelle verbunden und empfängt die Bilddaten. Die Bilddaten werden in einer Rohpostendatenbank 36 gespeichert. Die zentrale Anwendungsablage (CAR) 33 speichert typischer weise Dokumentdefinitionen und Handhabungskriterien. Die Do kumentprozeßwarteschlange 37 wirkt als ein Puffer hinein in ein Hauptverarbeitungsmodul 45 in Server 27.

Das Hauptverarbeitungsmodul 45 steuert die Verarbeitung von Testposten. Es steuert die Übertragung von Testposten zu den Workstations zur Bewertung und Übertragung von Bewertungen zum Mainframe-Computer 20. Das Hauptverarbeitungsmodul 45 überwacht auch die Leistung der Testauflöser, um konsisten tes und effizientes Auflösen von Testposten, wie es unten er klärt ist, aufrechtzuerhalten.

Das Hauptverarbeitungsmodul 45 enthält typischerweise die folgenden grundlegenden Funktionen, die durch ein Systemma nagementmodul 32 gesteuert werden. Ein Arbeitsflußmodul 38 empfängt Bilddaten von der Datenbank 36 und steuert den Da tenfluß hinein in ein Editierprozeßmodul 39. Das Edi tierprozeßmodul 39 kann maschinelles Bewerten der Testposten durchführen. Für diejenigen Testposten, die nicht maschinell bewertet werden können, oder möglicherweise für andere Test posten überträgt das System derartige Testposten zur Auf tragsaufbaufunktion 40. Die Auftragsaufbaufunktion 40 be stimmt, welcher Typ nachfolgender Bewertung erforderlich ist für den Testposten und, zum Beispiel, welche Workstation den Testposten empfängt. Ein Auftragssendemodul 41 empfängt den Testposten und überträgt ihn zu einer Leitvorrichtung 42, die ihrerseits den Testposten zu einem Sende/Empfangs- Kommunikationsmodul 43 überträgt. Ein Editierarbeitsmodul 34 und Editierservermodul 35 steuern den Fluß von Testposten in den Server 27 hinein und aus diesem heraus. Ankommende Da ten, wie Testantworten von der Workstation, werden durch die Module 34 und 35 zu einem Auftragsempfangsmodul 44 übertra gen. Das Auftragsempfangsmodul überträgt die Daten zum Edi tierprozeßmodul 39 zur nachfolgenden Speicherung innerhalb der Datenbank 36.

SOFTWARE-VERARBEITUNG

Fig. 5 ist ein Flußdiagramm eines typischen Abtastens und Verarbeitens von Test- und Antwortbögen. Das Dokumentverarbeitungssystem empfängt die Testantwortbögen, oder anderen Dokumente, bei Schritt 50 und führt eine An fangsschreibvorbereitung der Dokumente (Schritt 51) zur Abta stung bei Schritt 52 durch. Das System tastet bei Schritt 52 die Dokumente für OMR und andere Bilddaten ab. Das System kann dann die OMR-Blasen bei Schritt 53 verarbeiten und die Daten im Arbeit-im-Ablauf-Speicher (WIP) bei Schritt 54 spei chern. Das System kann bei Schritt 56 Bereiche von Interesse vom abgetasteten Bild "ausschneiden". Der Schritt des "Aus schneidens" bezieht mit ein, daß elektronisch, typischerwei se in Software, ein Teil des Testpostens oder des abgetaste ten Bilds entfernt wird. Diese "ausgeschnittenen" Bereiche können irgendeinen Teil eines Testantwortbogens umfassen; zum Beispiel einen handgeschriebenen Aufsatz oder ausgewähl te Antwortpositionen. Das System kann auch Bilddaten direkt von fremden Quellen empfangen, magnetisch oder elektronisch, und die Daten in der Rohpostendatenbank 36 speichern. Nach folgende Vorgänge auf den Daten sind die gleichen, ungeach tet der Quelle der Daten. Nach dem "Ausschneiden" von Berei chen von Interesse vom Bild speichert das System die Test posten bei Schritt 57 im Arbeit-im-Ablauf-Speicher 55.

Das System wartet bei Schritt 55 bis es feststellt, daß ein Testposten bereit ist, aufgelöst oder bewertet zu werden. Falls Mehrfachauflösungsposten innerhalb der Bilddaten vor liegen, wie bei Schritt 59 festgestellt, sendet das System dann den Testposten zu einer Mehrfachpostenverarbeitung bei Schritt 63. Andernfalls führt das System andere Auflösungs prozesse auf den Daten bei Schritt 60 durch und speichert das Resultat im Arbeit-im-Ablauf-Speicher 55 bei Schritt 61. Andere Auflösungsprozesse können beispielsweise maschinelles Bewerten, Rohtasteneingabe und analytisches Auflösen ein schließen.

Analytisches Auflösen oder Bewerten kann zum Beispiel Bild vergleiche wie bit-abgebildete Vergleiche zwischen zwei Test posten einschließen. Die Abbildungsvergleiche erlauben einem Testauflöser, zum Beispiel die Antworten eines Beantworters über die Zeit zu vergleichen, um den Fortschritt des Beant worters zu verfolgen. Zum Beispiel kann das analytische Bewerten einbeziehen, daß zwei handgezeichnete Kreise von dem Beantworter verglichen werden, um festzustellen, ob sich die Genauigkeit des Beantworters beim Zeichnen von Kreisen über die Zeit verbessert hat. Analytisches Bewerten kann auch zum Beispiel einschließen, daß falsch buchstabierte Wör ter und Interpunktionsfehler in einer Antwort wie einem Auf satz eingekreist oder elektronisch angezeigt werden.

Mehrfachpostenbewerten

Fig. 6 ist ein Flußdiagramm eines typischen Mehrfach postenverarbeitens. Bei Schritt 64 holt sich das System typi scherweise zuerst ein Mehrfachpostenbild vom Arbeit-im-Ab lauf-Speicher. Das Bild wird gespeichert in einem Mehrfach postendarstellungsspeicher 65 und einem Mehrfach postendarstellungsspeicher 69 zur nachfolgenden Darstellung zu einem Auflöser. Das System fährt fort Mehrfachposten zu empfangen, bis entweder die Postendarstellung voll ist, wie bei Schritt 66 bestimmt, oder keine Mehrfachposten mehr vor liegen, wie bei Schritt 68 bestimmt. Solange die Darstellung nicht voll ist und zusätzliche Mehrfachposten vorhanden sind, tastet das System bevorzugt den Arbeit-im-Ablauf-Spei cher bei Schritt 67 für zusätzliche Posten ab. Wenn die Mehr fachpostendarstellung voll ist oder keine Mehrfachposten mehr vorliegen, sendet das System die zusammengestellten Mehrfachposten zu einem Auflöser bei Schritt 70 und stellt die Mehrfachtestposten auf der Auflöserdarstellung 71 dar.

Das System überträgt typischerweise Testposten zu einem spe ziellen Auflöser gestützt auf die Auflösungsexpertise des Auflösers. Zum Beispiel kann ein besonderer Auflöser angewie sen sein, all die Testposten zu bewerten, die sich auf Wis senschaftsfragen beziehen. Auflösungsexpertisen können auch zum Beispiel Mathematik, Englisch, Geschichte, Geographie, Fremdsprachen oder andere Themen umfassen.

Ein Beispiel einer Schnittstelle auf der Auflöserdarstellung ist in Fig. 14 gezeigt. Die Schnittstelle umfaßt typischer weise eine Vielzahl von Zellen 74, wobei jede Zelle einen aufzulösenden Posten enthält. Nach Darstellen der Mehrfach posten in den Zellen der Auflöserdarstellung erlaubt das Sy stem dem Auflöser bei Schritt 72, die Mehrfachposten zu be werten. Ein Testauflöser zeigt typischerweise die Bewertung der Antworten an durch Verwendung einer "Maus", eines Licht stifts, eines Berührungsschirms, einer Spracheingabe oder ei ner anderen Art von Cursorsteuerung oder Eingabevorrichtung.

Im in Fig. 14 gezeigten Beispiel ist die richtige Antwort "vier" und die falschen Antworten sind durch Schattierung an gedeutet. Alternativ könnte ein Auflöser die richtigen Ant worten bezeichnen. Der Vorteil des Mehrfachpostensystems rührt her von der gleichzeitigen Darstellung von Testposten in den Zellen 74, die einem Testauflöser erlaubt, schnell viele Testposten zu bewerten und somit eine schnellere Ant wortzeit im Vergleich zur Darstellung und Bewertung von le diglich einem einzelnen Testposten zu einem Zeitpunkt zu er zielen. Sogar die gleichzeitige Darstellung von zwei Posten erhöht die Antwortzeit. Wenn die Matrix von Zellen größer wird, erzielt die gleichzeitige Darstellung von Testposten eine signifikante Erhöhung in Antwortzeit und Auflöserauf merksamkeit und -fokussierung.

Nach dem Bewerten oder Auflösen empfängt das System die Re sultate bei Schritt 73 zur nachfolgenden Speicherung im Ar beit-im-Ablauf-Speicher 55. Ein Testauflöser überträgt typi scherweise die Resultate des Auflösens aller dargestellten Testposten in den Zellen als eine einzige Einheit zur Stapel verarbeitung.

Bericht über kategorisierten Posten

Fig. 7 ist ein typisches Flußdiagramm eines Berichts über ei nen kategorisierten (speziellen) Posten. Berichten über ei nen kategorisierten Posten erlaubt dem System, sowohl Antwor ten gemäß vordefinierten Kategorien zu gruppieren, als auch Prozesse zu überwachen, die von den Studenten oder Testteil nehmern beim Erreichen einer gegebenen Antwort verwendet wer den. Die Kategorien, in welche Testantworten gruppiert wer den können, schließen zum Beispiel falsche Antworten und richtige Antworten innerhalb einer Lehrgangseinheit inner halb einer Unterrichtsgruppierung und angeforderter Zeitrah men ein; zum Beispiel alle falschen Mathematikantworten in einer besonderen Klasse eines Lehrers während des vorigen Schuljahrs. Andere Gruppierungen sind möglich in Abhängig keit von den Bedürfnissen der Testauflöser und Lehrer, die das Material unterrichten, auf welches sich der Test be zieht.

Zusätzlich kann das System ein Bild eines Testpostens mit der entsprechenden Bewertung vermengen. Um ein Unterrichten von Material, auf welches sich der Test bezieht, zu er leichtern, vermengt das System typischerweise einen eine fal sche Antwort darstellenden Testposten mit der entsprechenden Bewertung. Durch Berichten über den vorliegenden Testposten kann ein Lehrer Einsicht gewinnen in einen Denkprozeß, der vom Studenten beim Erreichen der falschen Antwort verwendet wird. Dadurch kann ein Lehrer dadurch, daß er etwas Kenntnis darüber besitzt, warum ein Schüler eine Testfrage falsch be antwortete, Maßnahmen ergreifen, um Unterrichtsstrategien zu ändern oder zu modifizieren und somit die Situation zu ver bessern.

Der Bericht über einen kategorisierten Posten umfaßt normal erweise die folgenden Funktionen. Das System tastet bei Schritt 75 den Arbeit-im-Ablauf-Speicher für Posten ab, die dazu bereit sind, daß über sie berichtet wird. Falls Test posten zum Berichten bereit sind, wie bei Schritt 76 be stimmt, verarbeitet das System die Daten bei Schritt 77 zur Erzeugung eines geeigneten Berichts über die Daten. Bei Schritt 78 tastet das System die zentrale Anwendungsablage für Definitionen kategorisierter (spezieller) Posten ab. Wenn spezielle Posten zum Berichten erhältlich sind, wie bei Schritt 79 bestimmt, erlangt das System die speziellen Po sten wieder bei Schritt 80 und kann sie bei Schritt 81 mit anderen Berichtsinformationen, wie die entsprechenden Test posten, wie oben erklärt vermengen. Das System verteilt dann einen Bericht bei Schritt 82, der einen gedruckten Bericht darstellen kann.

Zusammenarbeitsbewerten

Die Fig. 8-11 sind ein Flußdiagramm eines typischen Zusammen arbeitsbewertungssystems. Das Zusammenarbeitsbewertungs system schafft Funktionen, um Fairness und Objektivität beim Auflösen von Testposten zu erzielen. Die Zusammenar beitsbewertung erlaubt zum Beispiel zwei Auflösern, den glei chen Posten zu bewerten, und, falls die Antworten nicht in nerhalb eines besonderen vordefinierten Bereichs liegen, sorgt für nachfolgendes Verarbeiten, um die Diskrepanz aufzu lösen.

Bei den Schritten 83 und 84 stellt das System fest, ob Po sten zur Bewertung verfügbar sind. Bei Schritt 85 empfängt das System Zusammenarbeitsbewertungsanforderungen von der Da tenbank und stellt bei Schritt 86 fest, ob Zu sammenarbeitsbewertung erforderlich ist. Beispiele von Zu sammenarbeitsbewertungsanforderung sind unten dargestellt. Falls Zusammenarbeitsbewertung spezifiziert worden ist, er langt das System den zu bewertenden Posten wieder von der Ar beit-im-Ablauf-Datenbank bei Schritt 87 und sendet den Po sten zu Auflösern 1 und 2 bei den Schritten 88 und 91.

Das System ist ferner in der Lage, Auflöser gemäß Auswahl kriterien bei den Schritten 89 und 90 auszuwählen. Die Aus wahlkriterien der Auflöser zur Bewertung von Antworten kön nen zum Beispiel Rasse, Geschlecht oder geographische Lage einschließen. Die Fähigkeit des Systems, Testauflöser anzu weisen, besondere Testposten zu bewerten, schafft die Grund lage für erhöhte Fairness und Konsistenz bei der Bewertung von Tests. Zum Beispiel kann das System Testauflösern Test posten zuweisen, und zwar gestützt auf die gleiche Rassen klassifikation, was bedeutet, daß der Testauflöser die glei che Rassenklassifikation wie der Student oder Beantworter be sitzt, dessen Test der Auflöser bewertet. Das System kann au ßerdem Testauflösern Testposten zuweisen, und zwar gestützt auf eine unterschiedliche, verstärkt unterschiedliche oder bevorzugte Mischung von Klassifikationen. Das System über wacht die Konsistenz beim Bewerten gestützt auf die Auswahl kriterien und kann, was wichtiger ist, die Auswahlkriterien ändern, um konsistentes und faires Bewerten von Testposten sicherzustellen.

Fig. 9 ist ein Flußdiagramm, das zusätzliche typische Funk tionen der Zusammenarbeitsbewertung zeigt. Bei den Schritten 92 und 93 stellt das System die Posten den Auflösern 1 und 2 zur Bewertung dar. Das System kann ferner die Durch schnittsbewertungen von Auflösern verfolgen und den gleichen Testposten nicht zu zwei Auflösern senden, die Durch schnittsbewertungen innerhalb eines vordefinierten Bereiches geliefert haben. Dies hilft ebenfalls dabei, Konsistenz beim Bewerten zu erzielen. Falls beispielsweise zwei Bewerter je weils hohe Durchschnittsbewertungen in der Vergangenheit ge liefert haben, wie durch das System bestimmt, sollten diese zwei Bewerter bevorzugt nicht zusammenarbeitend die gleichen Testposten bewerten, da es "aufgeblähte" Bewertungen für besondere Testposten ergeben könnte.

Das System zeichnet die Bewertungen von den Auflösern 1 bzw. 2 bei den Schritten 94 bzw. 95 auf und speichert derartige Bewertungen in einem temporären Speicher 96. Bei Schritt 97 vergleicht das System die Bewertungen gemäß Kriterien, die in der zentralen Anwendungsablage spezifiziert sind. Derarti ge Kriterien können zum Beispiel einschließen, daß gefordert wird, daß die Bewertungen innerhalb eines vordefinierten Pro zentsatzes voneinander liegen. Falls die Bewertungen die Kri terien erfüllen, wie bei Schritt 98 festgestellt, zeichnet das System die Bewertung in der Arbeit-im-Ablauf-Datenbank bei Schritt 46 auf. Andernfalls, falls die Bewertungen nicht die Kriterien erfüllen, stellt das System bei Schritt 99 fest, ob die Bewertungen der Auflöser übereinstimmen müssen. Falls die ersten zwei Auflöserbewertungen nicht übereinstim men müssen, überträgt das System dann bevorzugt den Test posten zu einem dritten Auflöser, um die Diskrepanz in den ersten zwei Bewertungen zu "heilen". Bei Schritt 100 stellt das System fest, ob der dritte Auflöser die ersten Bewertun gen sehen soll.

Fig. 10 zeigt zusätzliches typisches Verarbeiten der Zusam menarbeitsbewertung. Falls die ursprünglichen Auflöser 1 und 2 bei einer Bewertung übereinstimmen müssen, führt das Sy stem dann die Schritte 101-105 aus. Das System stellt dann typischerweise zuerst jedem Auflöser die Bewertung des an deren Auflösers bei den Schritten 101 und 102 dar, so daß je der Auflöser die durch den anderen Auflöser bestimmte Be wertung sehen kann. Bei Schritt 103 schafft das System eine Kommunikation zwischen den zwei Auflösern. Eine derartige Kommunikationsverbindung kann zum Beispiel eine Elektroni sche-Post-Verbindung sein, so daß die Bewerter Informationen hinsichtlich der Gründe hinter der geschaffenen Bewertung austauschen können. Bei Schritt 104 arbeiten die Auflöser zu sammen, um eine einzelne vereinbarte Bewertung für den Test posten zu bestimmen. Das System kann die Auflöser 1 und 2 da ran hindern, einen weiteren Testposten zu empfangen, bis sie eine vereinbarte Bewertung für den vorhergehenden Testposten eingegeben haben. Schließlich, bei Schritt 105, speichert das System die vereinbarte Bewertung in der Arbeit-im-Ab lauf-Datenbank.

Anstatt den Auflösern zu erlauben, zusammenzuarbeiten, um ei ne vereinbarte Bewertung aufzuzeichnen, kann das System op tional entweder einen größeren Wert der ersten und zweiten Testbewertungen, einen niedrigeren Wert der ersten und zwei ten Testbewertungen oder einen Durchschnittswert der ersten und zweiten Testbewertungen aufzeichnen.

Falls die Zusammenarbeitsbewertungskriterien spezifizieren, daß der dritte Auflöser die Diskrepanz durch Schiedsspruch entscheiden und eine Bewertung bestimmen soll, stellt das System dann Bewertungen dar von den Auflösern 1 und 2 bei Schritt 106 für Auflöser 3. Der dritte Auflöser (Auflöser 3) gibt dann typischerweise eine Bewertung für den Testposten bei Schritt 107 ein, und das System zeichnet die Bewertung in der Arbeit-im-Ablauf-Datenbank bei Schritt 108 auf.

Falls die Zusammenarbeitsbewertungsanforderung spezifiziert, daß der dritte Auflöser die zwei ersten Bewertungen nicht se hen soll, führt das System dann die Schritte 109-111 aus. Bei Schritt 109 stellt das System den Testposten für den dritten Auflöser dar. Der dritte Auflöser gibt dann typi scherweise eine Bewertung bei Schritt 110 ein, und das Sy stem zeichnet die Bewertung in der Arbeit-im-Ablauf-Daten bank bei Schritt 111 auf.

Qualitätsposten

Fig. 11 ist ein typisches Flußdiagramm der Verwendung von Qualitätsposten im Bewertungsprozeß. Das System kann Quali tätsposten verwenden, um die Genauigkeit des Bewertens für ausgewählte Testauflöser zu prüfen und zu überwachen und so mit konsistentes und hochqualitatives Bewerten von Test posten aufrechtzuerhalten. Bei Schritt 112 bestimmt oder emp fängt das System die Qualitätskriterien. Die Qualtitätskrite rien können zum Beispiel einen vorbestimmten Testposten mit einer bekannten "richtigen" Bewertung darstellen.

Das System wartet dann für eine festgelegte Qualitätsprüfung bei Schritt 113. Bei der Qualitätsprüfung sendet das System, bei Schritt 114, den bekannten Qualitätsposten zum festge legten Auflöser. Bei Schritt 116 aktualisiert das System das Qualitätsprofil des Auflösers gestützt auf die Auswertung bei Schritt 115. Falls der Auflöser ein Qualitätsergebnis empfangen soll, wie bei Schritt 117 bestimmt, stellt das Sy stem das Qualitätsprofil dem Auflöser bei Schritt 118 dar. Bei Schritt 119 sendet das System das Qualitätsprofil zu ei nem Manager zur nachfolgenden Durchsicht. Bei Schritt 120 un ternimmt das System Schritte, die erforderlich sind, um Bewertungsgenauigkeit zu gewährleisten.

Auflöserüberwachung und -rückkopplung

Fig. 12 ist ein Flußdiagramm einer typischen Auflöserüber wachung und -rückkopplung. Die primären Faktoren bei der Überwachungsleistung schließen typischerweise ein:

(1) Gül tigkeit;
(2) Zuverlässigkeit und (3) Geschwindigkeit.

Beim Überwachen dieser Faktoren fördert das System Bewertungs wiederholbarkeit. Diese Faktoren können überwacht werden, in dem eine Leistung eines Auflösers gegenüber vergangener Lei stung des Auflösers oder gegenüber einem bekannten Ziel ver folgt wird.

Gültigkeit wird typischerweise gemessen, indem festgestellt wird, ob ein besonderer Auflöser den Bewertungsschlüssel richtig auf Testposten anwendet oder, mit anderen Worten, Testposten bewertet, wie ein Experte die gleichen Posten be werten würde. Zuverlässigkeit wird typischerweise gemessen, indem festgestellt wird, ob ein Besonderer den gleichen Test posten auf die gleiche Weise über die Zeit (Schaffen von kon sistenter Bewertung) auflöst. Geschwindigkeit wird typischer weise gemessen, indem eine Bewertungsrate eines Auflösers mit vergangenen Bewertungsraten des Auflösers oder anderen Bewertungsraten, wie Durchschnittsbewertungsraten oder Fest punktbewertungsraten, verglichen wird.

Bei Schritt 121 überwacht das System typischerweise kontinu ierlich die Leistung eines Auflösers und aktualisiert die Leistung. Überwachen der Leistung des Auflösers kann ein schließen, wie oben erklärt, daß die Gültigkeit, Zuverlässig keit und Geschwindigkeit beim Auflösen von Testposten des Auflösers überwacht werden. Das System führt periodisch, ge mäß vordefinierten Kriterien, Leistungsprüfungen der Test auflöser durch. Vordefinierte Kriterien können bei spielsweise einschließen: eine Zeitperiode; Rückfragen (wie oft ein Auflöser seine eigene Arbeit auswertet); Erbitten von Hilfe; die Anzahl von Übereinstimmungen unter mehreren Auflösern; das Ausmaß von Abweichung zwischen der Bewertung eines Auflösers und einer bekannten Bewertung, die bestimmt werden kann unter Verwendung von Qualitätsposten; die Fre quenz dieser Abweichungen; die Geschwindigkeit, mit welcher ein Auflöser eine Antwort während des Auflösens von Test posten eingibt; die Zeitlänge zwischen von einem Test auflöser eingegebenen Bewertungen; eine vorhergehende Bewer tungsrate eines Testauflösers, eine Durchschnittsbewer tungsrate eines Testauflösers; Durchschnittsbewertungsraten anderer Testauflöser; oder eine vorbestimmte Festpunktbewer tungsrate.

Bei Schritt 122 stellt das System fest, ob es Zeit ist für eine festgelegte Leistungsprüfung gemäß den vorbestimmten Kriterien. Falls es Zeit ist für eine Leistungsprüfung, ver gleicht das System bei Schritt 123 die gegenwärtige Leistung eines Auflösers, wie bei Schritt 121 bestimmt, mit den gespeicherten Leistungskriterien. Bei Schritt 124 stellt das System fest, ob es eine Diskrepanz in der Leistung des Auflö sers gemäß den vorbestimmten Kriterien gibt. Zum Beispiel kann das System feststellen, ob die gegenwärtige Bewertungs rate des Auflösers innerhalb eines vorbestimmten Prozentsat zes der Durchschnittsbewertungsrate liegt, um effizientes Be werten durch den Testauflöser sicherzustellen. Falls es kei ne Diskrepanz gibt, kehrt das System zum Überwachen der Lei stung des Auflösers zurück. Zusätzlich kann das System die gegenwärtigen Leistungswerte des Auflösers zur späteren Ver arbeitung speichern. Andernfalls berichtet das System über die Diskrepanz bei Schritt 125.

Bei Schritt 126 stellt das System fest, ob es dem Auflöser eine Unterbrechung beim Bewerten empfehlen soll. Falls gemäß vorbestimmten Leistungskriterien das System eine Unterbre chung beim Bewerten empfehlen soll, signalisiert dann das Sy stem dem Auflöser bei Schritt 128, das Bewerten anzuhalten. Vordefinierte Leistungskriterien können zum Beispiel Abwei chungen in der Gültigkeit, Zuverlässigkeit oder Geschwindig keit des Auflösens von Testposten des Auflösers einschlie ßen. Beispiele vordefinierter Leistungskriterien werden oben bezüglich des Überwachens der Leistung des Auflösers gelie fert.

Wenn der Auflöser das Bewerten stoppt, kann das System dem Auflöser die Option liefern, Zerstreuungsaktivitäten zu er bitten. Zerstreuungsaktivitäten sind dazu gedacht, dem Test auflöser eine Ruheperiode und "Unterbrechung" vom Bewerten zu verschaffen, um die Effizienz zu erhöhen. Beispiele von Zerstreuungsaktivitäten schließen Computerspiele und Kreuz worträtsel ein. Falls der Auflöser derartige Zerstreuungsak tivitäten erbeten hat, wie bei Schritt 129 bestimmt, über trägt das System dann eine Zerstreuungsaktivität zum Auflö ser bei Schritt 130. Andernfalls kehrt das System zum Überwa chen der Bewertungsrate des Auflösers zurück, wenn der Auflö ser das Bewerten wieder aufnimmt.

Falls das System bei Schritt 126 nicht eine Unterbrechung beim Bewerten, gestützt auf die Diskrepanz, empfiehlt, kann das System dann optional dem Auflöser Zerstreuungsaktivitä ten, wie bei Schritt 127 bestimmt, verschaffen. Falls der Auflöser die Zerstreuungsaktivitäten empfangen soll, sendet das System dann derartige Aktivitäten zum Auflöser bei Schritt 130. Andernfalls kehrt das System zum Überwachen der Bewertungsrate des Auflösers zurück.

Online-Bewertungsführer

Fig. 13 ist ein Flußdiagramm eines typischen Online-Bewer tungsführungssystems. Der Online-Bewertungsführer erhöht die Bewertungseffizienz, indem dem Auflöser erlaubt wird, Bewer tungsregeln zu erbitten, um beim Bewerten eines besonderen Testpostens zu helfen. In Erwiderung auf die Bitte stellt das System Bewertungsregeln dar entsprechend einer Testfrage für den gegenwärtig dem Auflöser dargestellten Testposten. Einem Auflöser können so schnell spezifische Bewertungsre geln online zur Verfügung stehen, während Testposten bewer tet werden. Dies fördert Bewertungseffizienz und reduziert unnötige Unterbrechungszeiten, die sich daraus ergeben, daß bestimmt wird, wie ein besonderer Testposten zu bewerten ist.

Bei Schritt 131 sendet das System einen Testposten zu einem Auflöser zur Bewertung und stellt den Testposten bei Schritt 132 dar. Falls der Auflöser Bewertungsregeln erbeten hat, wie bei Schritt 133 bestimmt, fragt das System dann einen ge speicherten Bewertungsführer ab, um Bewertungsregeln ausfin dig zu machen, die einer Testfrage für den gegenwärtig dem Auflöser dargestellten Testposten entsprechen. Das System er langt diese besonderen Bewertungsregeln wieder bei Schritt 135 und stellt sie dem Auflöser bei Schritt 136 dar. Das Sy stem verwendet bevorzugt eine Mehrprogramm-Umgebung, um gleichzeitig die Bewertungsregeln und den Testposten darzu stellen. Bei Schritt 134 wartet das System darauf, daß der Auflöser den Testposten bewertet. Bei Schritt 137 speichert das System die Testbewertung eingegeben durch den Auflöser hinein in den Arbeit-im-Ablauf-Speicher.

Wie oben beschrieben, ist die vorliegende Erfindung ein Sy stem, das Testposten verarbeitet. Die verschiedenen Funktio nen, die beim Verarbeiten der Testposten verwendet werden, fördern effizientes, hochqualitatives und konsistentes Bewer ten von Testposten.

Während die vorliegende Erfindung in Verbindung mit ihrer be vorzugten Ausführungsform beschrieben worden ist, wird ver standen werden, daß viele Modifizierungen Fachleuten leicht ersichtlich sein werden, und diese Anwendung ist dazu ge dacht, irgendwelche Anpassungen oder Variationen davon abzu decken. Zum Beispiel kann eine unterschiedliche Hardware-Kon figuration verwendet werden, ohne vom Rahmen der Erfindung abzuweichen, und viele Variationen der beschriebenen Prozes se können verwendet werden. Es ist deutlich beabsichtigt, daß diese Erfindung nur durch die Ansprüche und deren Äquivalente begrenzt ist.

Claims

1. System zum Verifizieren von Testantworten und Schaffen von Zusammenarbeitsbewerten der Testantworten zwischen zwei oder mehreren Testauflösern, falls die Test antworten eine Diskrepanz enthalten, wobei das System um faßt

a) erste Empfangsmittel, die elektronisch eine Antwort zu einer Testfrage empfangen, wobei die Antwort eine elektronische Darstellung wenigstens eines Teils ei nes Testantwortbogens umfaßt;
b) Übertragungsmittel, die elektronisch und unabhängig die Antwort zu ersten und zweiten Testauflösern über tragen;
c) zweite Empfangsmittel, die elektronisch erste und zweite Testbewertungen von den ersten und zweiten Testbewertern empfangen; und
d) Verifikationsmittel, die elektronisch die ersten und zweiten Testbewertungen vergleichen und selektiv ei nen Wert aufzeichnen, der sich auf die ersten und zweiten Testbewertungen bezieht, falls die ersten und zweiten Testbewertungen nicht eine Diskrepanz, die auf vordefinierte Kriterien gestützt ist, enthielten.

2. System nach Anspruch 1, ferner mit Darstellungsmitteln, die elektronisch die Testfrage darstellen.

3. System nach Anspruch 1, worin das Verifikationsmittel ferner Zusammenarbeitsmit tel umfaßt, die eine elektronische Kommunikationsver bindung zwischen den ersten und zweiten Testauflösern schaffen und, falls die ersten und zweiten Bewertungen die Diskrepanz, die auf die vordefinierten Kriterien ge stützt ist, enthalten, den ersten und zweiten Testauflö sern ein Zeichen geben, um interaktiv eine gemeinsame Be wertung zu bestimmen und einzugeben, wobei das Verifikationsmittel ferner Aufzeichnungsmittel zur Auf zeichnung der gemeinsamen Bewertung umfaßt.

4. System nach Anspruch 3, worin das Zusammenarbeitsmittel ferner Mittel umfaßt, die durch die ersten und zweiten Auflöser eingegebene Durchschnittsbewertungen verfolgen und die ersten und zweiten Auflöser daran hindern, den gleichen Testposten zu bewerten, falls die ersten und zweiten Auflöser je weils Durchschnittsbewertungen innerhalb vordefinierter Bewertungskriterien aufweisen.

5. System nach Anspruch 3, worin das Verifikationsmittel ferner Mittel umfaßt, wel che die ersten und zweiten Testauflöser daran hindern, eine weitere zu bewertende Antwort zu empfangen, bis die ersten und zweiten Testauflöser die gemeinsame Bewertung eingegeben haben.

6. System nach Anspruch 3, worin das Verifikationsmittel dritte Auflösermittel um faßt, welche den Testposten zu einem dritten Testauflö ser übertragen, falls die ersten und zweiten Testbewer ter nicht die gemeinsame Bewertung innerhalb einer vorbe stimmten Zeitperiode eingeben.

7. System nach Anspruch 1, worin das Verifikationsmittel ferner dritte Auflösermit tel umfaßt, welche die Antwort zu einem dritten Testauf löser übertragen, falls die ersten und zweiten Bewertun gen die Diskrepanz, die auf die vordefinierten Kriterien gestützt ist, enthalten, und eine vom dritten Testauflö ser empfangene dritte Testbewertung aufzeichnen.

8. System nach Anspruch 7, worin das dritte Auflösermittel ferner Mittel umfaßt, welche den dritten Testauflöser mit den ersten und zwei ten Bewertungen versehen.

9. System nach Anspruch 7, worin das dritte Auflösermittel ferner Mittel umfaßt, die den dritten Testauflöser daran hindern, die ersten und zweiten Bewertungen zu betrachten, bevor der dritte Testauflöser die dritte Testbewertung aufzeichnet.

10. System nach Anspruch 1, worin das Verifikationsmittel ferner Mittel umfaßt, die elektronisch die ersten und zweiten Testauflöser verbin den, wenn sich die ersten und zweiten Testauflöser an un terschiedlichen geographischen Orten befinden.

11. System nach Anspruch 1, worin das Verifikationsmittel Mittel umfaßt, die wenig stens einen eines größeren Werts der ersten und zweiten Testbewertungen, eines niedrigeren Werts der ersten und zweiten Testbewertungen und eines Durchschnittswerts der ersten und zweiten Testbewertungen aufzeichnen.

12. System zum Auswerten der Leistung von Testauflösern durch Leiten von Qualitätskontrollfragen zur Bewertung zu Testauflösern, wobei die Qualitätskontrollfragen eine Testantwort mit einer Qualitätskontrollpersonal bekann ten Bewertung umfassen, wobei das System umfaßt:

a) Übertragungsmittel, die elektronisch zu einem Testauf löser eine unidentifizierte Qualitätskontrollfrage übertragen, die eine Testantwort mit einer Qualitäts kontrollpersonal bekannten Bewertung umfaßt;
b) Empfangsmittel, die elektronisch vom Testauflöser ei ne Bewertung für die Qualitätskontrollfrage empfan gen; und
c) Verarbeitungsmittel, die elektronisch die dem Quali tätskontrollpersonal bekannte Bewertung und die Auflö serbewertung vergleichen und über eine Diskrepanz zwi schen der bekannten Bewertung und der Auflöserbe wertung berichten.

13. System, das elektronisch Leistungsrückkopplung gestützt auf einen Vergleich einer Leistung eines Testauflösers mit vorbestimmten Leistungskriterien schafft, wobei das System umfaßt:

a) Empfangsmittel, die elektronisch Informationen empfan gen, die sich auf ein erstes Leistungsniveau von ei nem ersten Auflöser und ein vorbestimmtes Leistungs niveau beziehen;
b) Vergleichsmittel, die elektronisch das erste Lei stungsniveau und das vorbestimmte Leistungsniveau ver gleichen; und
c) Rückkopplungsmittel, die elektronisch über eine Dis krepanz, die auf vordefinierte Kriterien gestützt ist, zwischen dem ersten Leistungsniveau und dem vorbestimmten Leistungsniveau berichten.

14. System nach Anspruch 13, worin das Rückkopplungsmittel Mittel umfaßt, die elektro nisch dem ersten Testauflöser über die Diskrepanz berich ten.

15. System nach Anspruch 13, worin das Rückkopplungsmittel Mittel umfaßt, die elektro nisch einem Systemmanager über die Diskrepanz berichten.

16. System, das elektronisch Leistungsrückkopplung gestützt auf einen Vergleich einer Leistung eines Testauflösers mit vorbestimmten Leistungskriterien schafft, wobei das System umfaßt:

a) Empfangsmittel, die elektronisch Informationen empfan gen, die sich auf ein erstes Testbewertungsgültig keitsniveau von einem ersten Auflöser und ein vorbe stimmtes Gültigkeitsniveau beziehen;
b) Vergleichsmittel, die elektronisch das erste Gültig keitsniveau und das vorbestimmte Gültigkeitsniveau vergleichen; und
c) Rückkopplungsmittel, die elektronisch über eine Dis krepanz, die auf vordefinierte Kriterien gestützt ist, zwischen dem ersten Gültigkeitsniveau und dem vorbestimmten Gültigkeitsniveau berichten.

17. System nach Anspruch 16, worin das Empfangsmittel Mittel umfaßt, die eine Testbe wertung für einen Qualitätsposten vom ersten Auflöser und eine bekannte Bewertung für den Qualitätsposten emp fangen.

18. System nach Anspruch 16, worin das Rückkopplungsmittel Mittel umfaßt, die elektro nisch dem ersten Testauflöser über die Diskrepanz berich ten.

19. System nach Anspruch 16, worin das Rückkopplungsmittel Mittel umfaßt, die elektro nisch einem Systemmanager über die Diskrepanz berichten.

20. System, das elektronisch Leistungsrückkopplung gestützt auf einen Vergleich einer Leistung eines Testauflösers mit vorbestimmten Leistungskriterien schafft, wobei das System umfaßt:

a) Empfangsmittel, die elektronisch Informationen empfan gen, die sich auf ein erstes Zuverlässigkeitsniveau von einem ersten Auflöser und ein vorbestimmtes Zuver lässigkeitsniveau beziehen;
b) Vergleichsmittel, die elektronisch das erste Zuverläs sigkeitsniveau und das vorbestimmte Zuverlässigkeits niveau vergleichen; und
c) Rückkopplungsmittel, die elektronisch über eine Dis krepanz, die auf vordefinierte Kriterien gestützt ist, zwischen dem ersten Zuverlässigkeitsniveau und dem vorbestimmten Zuverlässigkeitsniveau berichten.

21. System nach Anspruch 20, worin das Empfangsmittel Mittel umfaßt, die während ei ner ersten Zeitperiode eine erste Bewertung vom ersten Auflöser für einen Testposten empfangen und während ei ner zweiten Zeitperiode eine zweite Bewertung vom ersten Auflöser für den Testposten empfangen.

22. System nach Anspruch 20, worin das Rückkopplungsmittel Mittel umfaßt, die elektro nisch dem ersten Testauflöser über die Diskrepanz berich ten.

23. System nach Anspruch 20, worin das Rückkopplungsmittel Mittel umfaßt, die elektro nisch einem Systemmanager über die Diskrepanz berichten.

24. System, das elektronisch Leistungsrückkopplung gestützt auf einen Vergleich einer Leistung eines Testauflösers mit vorbestimmten Leistungskriterien schafft, wobei das System umfaßt:

a) Empfangsmittel, die elektronisch Informationen empfan gen, die sich auf ein erstes Geschwindigkeitsniveau von einem ersten Auflöser und ein vorbestimmtes Ge schwindigkeitsniveau beziehen;
b) Vergleichsmittel, die elektronisch das erste Geschwin digkeitsniveau und das vorbestimmte Geschwindigkeits niveau vergleichen; und
c) Rückkopplungsmittel, die elektronisch über eine Dis krepanz, die auf vordefinierte Kriterien gestützt ist, zwischen dem ersten Geschwindigkeitsniveau und dem vorbestimmten Geschwindigkeitsniveau berichten.

25. System nach Anspruch 24, worin das Empfangsmittel Mittel umfaßt, die wenigstens eine der folgenden empfangen: eine erste Bewertungsrate für den ersten Auflöser, eine Durchschnittsbewertungs rate von einer ausgewählten Gruppe von Auflösern und ei ne zweite Bewertungsrate von einem zweiten Auflöser.

26. System nach Anspruch 24, worin das Rückkopplungsmittel Mittel umfaßt, die elektro nisch dem ersten Testauflöser über die Diskrepanz be richten.

27. System nach Anspruch 24, worin das Rückkopplungsmittel Mittel umfaßt, die elektro nisch einem Systemmanager über die Diskrepanz berichten.

28. System zur Erhöhung von Testauflösereffizienz, indem die Testauflöserleistung überwacht und den Testauflösern Un terbrechungszeiten empfohlen werden, wobei das System um faßt:

a) Empfangsmittel, die elektronisch zu <vorbestimmten ver gangen Zeitintervallen erste Leistungsniveaus von ei nem Testauflöser und ein zweites vorbestimmtes Lei stungsniveau empfangen;
b) Vergleichsmittel, die elektronisch das zweite vorbe stimmte Leistungsniveau und das erste Leistungsniveau vergleichen; und
c) Empfehlungsmittel, die elektronisch eine Diskrepanz, die auf vordefinierte Kriterien gestützt ist, zwi schen dem zweiten vorbestimmten Leistungsniveau und dem ersten Leistungsniveau wie durch die Vergleichs mittel angezeigt nachweisen und dem Testauflöser sig nalisieren, eine Testbewertung für eine Unterbre chungszeit anzuhalten.

29. System nach Anspruch 28, worin das Empfangsmittel Mittel umfaßt, die elektronisch erste Gültigkeitsniveaus vom Testauflöser und ein zwei tes vorbestimmtes Gültigkeitsniveau empfangen.

30. System nach Anspruch 28, worin das Empfangsmittel Mittel umfaßt, die elektronisch erste Zuverlässigkeitsniveaus vom Testauflöser und ein zweites vorbestimmtes Zuverlässigkeitsniveau empfangen.

31. System nach Anspruch 28, worin das Empfangsmittel Mittel umfaßt, die elektronisch erste Geschwindigkeitsniveaus vom Testauflöser und ein zweites vorbestimmtes Geschwindigkeitsniveau empfangen.

32. System nach Anspruch 28, worin das Empfehlungsmittel ferner Zerstreuungsmittel um faßt, die elektronisch eine Diskrepanz, die auf vor definierte Kriterien gestützt ist, zwischen der zweiten Bewertungsrate und den ersten Bewertungsraten wie durch die Vergleichsmittel angezeigt nachweisen und den Test auflöser mit Zerstreuungsaktivitäten versehen.

33. System nach Anspruch 28, worin das Empfehlungsmittel ferner auflöserausgewählte Zerstreuungsmittel umfaßt, die dem Testauflöser ermögli chen, Zerstreuungsaktivitäten auszuwählen, wenn das Emp fehlungsmittel dem Testauflöser für die Unterbrechung ein Zeichen gegeben hat.

34. System zur Erhöhung von Testauflösereffizienz, indem ei ne Testauflöserleistung überwacht wird und den Testauflö sern Unterbrechungszeiten empfohlen werden, wobei das Sy stem umfaßt:

a) Empfangsmittel, die elektronisch zu vorbestimmten ver gangenen Zeitintervallen erste Testbewertungsraten von einem Testauflöser und eine zweite vorliegende Be wertungsrate vom Testauflöser empfangen;
b) Vergleichsmittel, die elektronisch die zweite Bewer tungsrate und die ersten Bewertungsraten vergleichen; und
c) Empfehlungsmittel, die elektronisch eine Diskrepanz, die auf vordefinierte Kriterien gestützt ist, zwi schen der zweiten Bewertungsrate und den ersten Bewer tungsraten wie durch die Vergleichsmittel angezeigt nachweisen und dem Testauflöser signalisieren, eine Testbewertung für eine Unterbrechungszeit anzuhalten.

35. System nach Anspruch 34, worin das Empfehlungsmittel ferner Zerstreuungsmittel um faßt, die elektronisch eine Diskrepanz, die auf vordefi nierte Kriterien gestützt ist, zwischen der zweiten Bewertungsrate und den ersten Bewertungsraten wie durch die Vergleichsmittel angezeigt nachweisen und den Test auflöser mit Zerstreuungsaktivitäten versehen.

36. System nach Anspruch 34, worin das Empfehlungsmittel ferner auflöserausgewählte Zerstreuungsmittel umfaßt, die dem Testauflöser ermögli chen, Zerstreuungsaktivitäten auszuwählen, wenn das Emp fehlungsmittel dem Testauflöser für die Unterbrechung ein Zeichen gegeben hat.

37. System zur Verhinderung von Voreingenommenheit bei der Bewertung von Antworten zu Tests, an denen Personen in unterschiedlichen besonderen Klassifikationen teilneh men, wobei das System umfaßt:

a) Empfangsmittel, die elektronisch eine Vielzahl von Antworten zu Testfragen empfangen, wobei die Testant worten jeweils einem Test entsprechen, an dem eine Person von einer besonderen definierbaren Klassifika tion teilnimmt, und eine elektronische Darstellung we nigstens eines Teils eines oder mehrerer Testantwort bögen umfassen;
b) Klassifikationsmittel, die eine besondere Klassifika tion von jedem der Beantworter oder einer Gruppe der Beantworter empfangen und elektronisch jeder der be sonderen Klassifikationen die Testantworten für den entsprechenden Beantworter oder Gruppe zuordnen; und
c) Leitungsmittel, die elektronisch einen Testauflöser für jede der Antworten gestützt auf die besondere Klassifikation des entsprechenden Beantworters oder Gruppe auswählen und die Antworten zum ausgewählten Testauflöser übertragen.

38. System nach Anspruch 37, worin:

a) das Klassifikationsmittel Mittel umfaßt, die eine Ras senklassifikation empfangen, die eine Rasse von jedem der Testauflöser identifiziert; und
b) das Leitungsmittel Mittel umfaßt, die elektronisch je de der Testantworten zu einem Testauflöser übertra gen, der eine gleiche, unterschiedliche oder bevor zugt vermischte Rassenklassifikation wie die Rassen klassifikation des entsprechenden Beantworters oder Gruppe aufweist.

39. System nach Anspruch 37, worin:

a) das Klassifikationsmittel Mittel umfaßt, die eine geo graphische Klassifikation empfangen, die einen Ort von jedem der Testauflöser identifiziert; und
b) das Leitungsmittel Mittel umfaßt, die elektronisch je de der Antworten zu einem Testauflöser übertragen, der eine gleiche, unterschiedliche oder bevorzugt ver mischte geographische Klassifikation wie die geogra phische Klassifikation des entsprechenden Beantwor ters oder Gruppe aufweist.

40. System, das elektronisch und dynamisch Bewertungsregeln an Testauflöser liefert, um die Testauflöser beim Be werten von Testposten, auf welche sich die Bewer tungsregeln beziehen, zu unterstützen, wobei das System umfaßt:

a) Empfangsmittel, die elektronisch eine Vielzahl von Antworten für Testfragen empfangen, wobei die Antwor ten jeweils eine elektronische Darstellung wenigstens eines Teils eines Testantwortbogens umfassen;
b) Speichermittel, die elektronisch eine Vielzahl von Be wertungsregeln speichern, wobei sich jede der Bewer tungsregeln auf eine Prozedur zur Bewertung wenig stens einer besonderen der Testfragen bezieht;
c) Darstellungsmittel, die selektiv die Testantworten ei nem Testauflöser präsentieren; und
d) Regelmittel, die selektiv dem Testauflöser die Bewer tungsregeln präsentieren, die sich auf die Testfrage entsprechend der dem Testauflöser präsentierten Ant wort beziehen.