DE112015001306T5

DE112015001306T5 - Automatische Bewerbungsgespräch-Frageempfehlung und Bewerbungsgesprächs-Frageanalyse

Info

Publication number: DE112015001306T5
Application number: DE112015001306.7T
Authority: DE
Inventors: Loren Larsen; Benjamin Taylor
Original assignee: HIREVUE Inc
Current assignee: HIREVUE Inc
Priority date: 2014-03-17
Filing date: 2015-03-16
Publication date: 2016-12-29
Also published as: US9378486B2; GB201616884D0; AU2017258946A1; US10242345B2; WO2015142746A1; GB2539142A; US20150262130A1; AU2015231614A1; US20190034881A1

Abstract

Es werden Verfahren und Systeme für die Bewerbungsgespräch-Frageempfehlung und für die Bewerbungsgespräch-Aufforderungsempfehlung und für die Bewerbungsgesprächs-Frageanalyse und für die Bewerbungsgesprächs-Aufforderungsanalyse beschrieben, um die Qualität und Effizienz nachfolgender Bewertungskampagnen durch Kombinieren darin beschriebener Datensätze zu verbessern. In einem Verfahren wählt eine Verarbeitungslogik aus einem ersten Datensatz einer ersten Kandidatenbewertungskampagne eine erste Aufforderung und aus einem zweiten Datensatz einer zweiten Kandidatenbewertungskampagne eine zweite Aufforderung aus. Die Verarbeitungslogik bestimmt, ob ein Ähnlichkeitsgrad zwischen der ersten Aufforderung und der zweiten Aufforderung einen Schwellenwert übersteigt, und kombiniert auf der Grundlage der Bestimmung Daten aus dem ersten Datensatz mit Daten aus dem zweiten Datensatz, um einen kombinierten Datensatz zu erzeugen, der der ersten Aufforderung und der zweiten Aufforderung zugeordnet wird.

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der US-Anmeldung Nr. 14/535.205, eingereicht am 6. November 2014, mit dem Titel ”Automatic Interview Question Recommendation and Analysis”, die die Priorität der vorläufigen US-Anmeldung Nr. 61/954.385, eingereicht am 17. März 2014, mit dem Titel ”Automatic Interview Question Recommendation and Analysis”, beansprucht, wobei ihre gesamten Inhalte hier durch Literaturhinweis eingefügt sind.
HINTERGRUND
Das Finden und Einstellen von Mitarbeitern ist eine Aufgabe, die die meisten modernen Unternehmen betrifft. Für einen Arbeitgeber ist es wichtig, Arbeitnehmer zu finden, die zu freien Stellen ”passen”. Kriterien, um zu einer freien Stelle zu passen, können Fertigkeiten enthalten, die zum Ausführen von Funktionen am Arbeitsplatz notwendig sind. Außerdem können Arbeitgeber potentielle Arbeitnehmer auf ihre geistige und emotionale Stabilität, auf ihre Fähigkeit, gut mit anderen zu arbeiten, auf ihre Fähigkeit, Führungspositionen zu übernehmen, auf ihren Ehrgeiz, auf Detailgenauigkeit, auf die Problemlösung, auf die Persönlichkeit usw. bewerten wollen.
Allerdings können die Prozesse, die dem Finden von Mitarbeitern zugeordnet sind, für einen Arbeitgeber teuer und zeitaufwändig sein. Solche Prozesse können das Bewerten von Lebensläufen und Bewerbungsschreiben, telephonische Bewerbungsgespräche mit Kandidaten, persönliche Bewerbungsgespräche mit Kandidaten, Arzneimitteltests, Fertigkeitstests, das Versenden von Ablehnungsschreiben, die Angebotsverhandlung, das Training neuer Arbeitnehmer usw. enthalten. Ein einzelner Arbeitnehmerkandidat kann hinsichtlich der Mannstunden, die zum Bewerten und Interagieren mit dem Kandidaten notwendig sind, bevor der Kandidat eingestellt wird, sehr kostspielig sein.
Um einige dieser Aktivitäten zu automatisieren, können Computer und Computersysteme verwendet werden. Zum Beispiel besitzen viele Unternehmen derzeit Online-Rekrutierungshilfsmittel, die Stellenausschreibungen, das Einreichen von Lebensläufen, vorläufige Bewertungen usw. ermöglichen. Außerdem enthalten einige Computersysteme Funktionalität, um zu ermöglichen, dass Kandidaten an ”virtuellen” Onlinebewerbungsgesprächen teilnehmen.
Die Aufgabe von Bewerbungsgesprächsführern und Kandidatenprüfern ist es zu bestimmen, ob Kandidaten die Fertigkeiten und die Qualifikationen besitzen, die für einen bestimmten Arbeitsplatz erforderlich sind. In diesem Prozess vergleichen sie die Qualifikationen von Kandidaten und stellen sie gegenüber – wobei sie häufig Kandidatenantworten auf bestimmte Fragen oder Aufgaben prüfen und vergleichen. Obwohl Computerhilfsmittel die Sammlung von Bewerbungsgesprächsantworten automatisiert haben, wird für die Bewertung der zahlreichen Antworten, die für eine einzelne freie Stelle in großen Mengen von Bewerbungen eingereicht werden können, immer noch viel Aufwand aufgewendet.
Der hier beanspruchte Gegenstand ist nicht auf Ausführungsformen beschränkt, die irgendwelche bestimmten Nachteile lösen oder die nur in Umgebungen wie den oben Beschriebenen arbeiten. Vielmehr wird dieser Hintergrund nur gegeben, um einen beispielhaften technologischen Bereich darzustellen, in dem einige hier beschriebene Ausführungsformen verwirklicht werden können.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Offenbarung ist beispielhaft und nicht als Beschränkung in den Figuren der beigefügten Zeichnungen dargestellt, in denen gleiche Bezugszeichen ähnliche Elemente bezeichnen. Es wird angemerkt, dass sich verschiedene Bezugnahmen auf ”eine” oder ”die eine” Ausführungsform in dieser Offenbarung nicht notwendig auf dieselbe Ausführungsform beziehen und dass diese Bezugnahmen wenigstens eine bedeuten.
1 ist ein Blockschaltplan einer beispielhaften Netzarchitektur, in der Ausführungsformen eines Bewertungskampagnenhilfsmittels arbeiten können.
2 ist ein Blockschaltplan eines Bewertungskampagnenhilfsmittels in Übereinstimmung mit einer Ausführungsform.
3 ist eine beispielhafte graphische Nutzerschnittstelle zum Betrachten digitaler Bewerbungsgespräche in Übereinstimmung mit einer Ausführungsform, die eine erste Kampagne zeigt.
4 ist eine andere beispielhafte graphische Nutzerschnittstelle zum Betrachten digitaler Bewerbungsgespräche in Übereinstimmung mit einer Ausführungsform, die eine zweite Kampagne zeigt.
5 ist eine graphische Darstellung von Ähnlichkeiten eindeutiger Aufforderungen in einer nicht organisierten Anordnung in Übereinstimmung mit einer Ausführungsform.
6 ist eine graphische Darstellung von Ähnlichkeiten eindeutiger Aufforderungen in einer geordneten Anordnung in Übereinstimmung mit einer Ausführungsform.
7 ist eine andere graphische Darstellung von Ähnlichkeiten eindeutiger Aufforderungen in einer geordneten Anordnung mit einem Schwellenwert in Übereinstimmung mit einer Ausführungsform.
8 stellt mehrere Cluster von Aufforderungen, die in einer graphischen Darstellung von Ähnlichkeiten in Übereinstimmung mit einer Ausführungsform identifiziert sind, dar.
9 ist ein Ablaufplan eines Verfahrens zum Werten von Clustern von Aufforderungen in einer Ausführungsform.
10 ist eine graphische Darstellung der Maßgeblichkeit jedes der kombinierten Mengen von Aufforderungen in Übereinstimmung mit einer Ausführungsform.
11 ist ein Ablaufplan eines Verfahrens zum Gruppieren von Bewertungsdaten in Übereinstimmung mit einer Ausführungsform.
12 ist ein Ablaufplan eines Verfahrens zum Erzeugen von Aufforderungsvorlagen in Übereinstimmung mit einer Ausführungsform.
13 ist eine graphische Darstellung einer Maschine in einer beispielhaften Form eines Computersystems für Kampagnenbewertungen in Übereinstimmung mit einer Ausführungsform.
Einige Aspekte dieser Figuren können besser verstanden werden mit Bezug auf die folgende ausführliche Beschreibung.
AUSFÜHRLICHE BESCHREIBUNG
Mit der Fähigkeit, für Stellen national und sogar international unter Verwendung des Internet zu rekrutieren, kann es teuer und zeitaufwändig sein, die Anzahl qualifizierter Kandidaten, die sich für einen gegebenen Arbeitsplatz bewerben, zu bewerten. Für stärker technische Stellen werden Experten auf dem Gebiet für die Bewertung und Selektion der Kandidaten verwendet, anstatt sich auf normale Arbeitsplatzpflichten zu konzentrieren. Mit der Annahme digitaler Videobewerbungsgespräche wird die zum Bewerten von Kandidaten notwendige Zeit verringert, wobei aber das Problem, dass zu viele Kandidaten zu filtern sind, bestehen bleibt.
Digitale Bewerbungsgespräche oder andere digitale Bewertungen können das Aufzeichnen und Bewerten von Antworten von Bewerbern auf eine Reihe von Aufforderungen oder Fragen enthalten. Beispiele solcher digitalen Bewertungen können eine Taktik für die Investitionsfinanzierung oder für Fördermittel, ein Zulassungsgespräch, eine Tätigkeitsbeurteilung und andere Darstellungen oder Interaktionen, die die Einschätzung und den Vergleich lohnen, enthalten. Obwohl diese Offenbarung mehrere Beispiele enthält, die auf digitale Bewertungen gerichtet sind, die zum Ausfüllen von Arbeitsplatzstellen durchgeführt werden, können die Prinzipien und Merkmale gleichfalls auch auf diese anderen Kontexte angewendet werden. Die Reihe von Aufforderungen können aus einer durch eine digitale Bewertungsplattform bereitgestellten Liste ausgewählt werden oder können durch ein Unternehmen oder durch eine andere Organisation, die die Bewertungskampagne, einen Prozess zur digitalen Bewertung zur Auswahl eines oder mehrerer Kandidaten aus einem größeren Pool, ausführt, in eine digitale Bewertungsplattform manuell eingegeben werden. Da ein Unternehmen andere Aufforderungen für seine Kampagne als ein anderes auswählt, können diese Aufforderungen von Kampagne zu Kampagne verschieden sein.
Die Antworten der Kandidaten auf diese Aufforderungen können zusammen mit anderen Informationen (wie etwa Schriftproben, Codeproben, Lebensläufe, curricula vitae und/andere Portfoliogegenstände), die durch den Kandidaten bereitgestellt werden, als digitale Daten erfasst werden und später durch einen Bewertenden geprüft und gewertet werden. Der Bewertende kann eine Bewertungsentscheidung über die Einstellung, Investierung, Zulassung usw. in Bezug auf den Kandidaten, der bewertet wird, treffen und diese Entscheidung als ein Bewertungsergebnis in die digitale Bewertungsplattform eingeben. Die einer Bewertungskampagne zugeordneten Daten können digitale Antwortdaten, Wertungsdaten, Ergebnisdaten und andere Daten enthalten. In einigen Fällen können Erfolgsdaten ebenfalls enthalten sein. Die Erfolgsdaten können Daten enthalten, die Leistungen eines Kandidaten vor der Bewertung oder nach der Bewertung beschreiben. Zum Beispiel können die Erfolgsdaten Arbeitsbeurteilungsdaten enthalten, die gesammelt wurden, lange nachdem eine Bewertungsentscheidung getroffen worden ist.
Die einer Bewertungskampagne zugeordneten Daten können zur Verbesserung nachfolgender Bewertungskampagnen verwendet werden. Wenn die Daten zur Verbesserung anderer Bewertungskampagnen verwendet werden, kann ein größerer, robusterer Datensatz genauere Informationen als ein kleinerer Datensatz bereitstellen. Durch Kombinieren des Datensatzes einer Kampagne mit dem Datensatz einer anderen Kampagne kann ein größerer Datensatz erzeugt werden. Dieser größere Datensatz kann verwendet werden, um genauere Modelle zur Verwendung bei der Bewertung größerer Anzahlen von Kandidaten zu erzeugen. Zum Beispiel kann die Verwendung des größeren Datensatzes genauere Informationen darüber bereitstellen, wie gut eine bestimmte Aufforderung oder eine Wertung einer Antwort auf eine bestimmte Aufforderung mit einer Entscheidung zur Einstellung eines Kandidaten in einer bestimmten Kampagne korreliert ist. Allerdings kann der kombinierte Datensatz, obwohl er größer ist, zu stark verrauscht sein, um zusätzliche Einsicht zu erzeugen, falls die Kampagnen und die in diesen Kampagnen verwendeten Aufforderungen nicht ausreichend verwandt sind. In solchen Situationen kann der kombinierte Datensatz weniger nützlich als die getrennten Datensätze sein.
Es sind hier Verfahren und Systeme für die Empfehlung und Analyse von Bewerbungsgesprächsfragen oder Bewerbungsgesprächsaufforderungen zur Verbesserung der Qualität und Effizienz nachfolgender Bewertungskampagnen durch Kombinieren von Datensätzen beschrieben. In der folgenden Beschreibung sind zahlreiche Einzelheiten, in einer Ausführungsform ein Bewertungskampagnenmerkmal, das Kampagnendaten managt und analysiert, dargelegt. Das Bewertungskampagnenhilfsmittel identifiziert aus den Datensätzen verschiedener Bewertungskampagnen Aufforderungen und bestimmt einen Ähnlichkeitsgrad zwischen diesen Aufforderungen. Wenn Aufforderungen mit mehr als einem Schwellengrad an Ähnlichkeit ermittelt werden, können Daten von jeder der verschiedenen Bewertungskampagnen kombiniert werden, um einen größeren, robusteren Datensatz bereitzustellen. Wie es hier verwendet ist, kann eine Bewertungskampagne ein Einstellungsprozess für eine bestimmte Arbeitsstelle, ein Zulassungsgesprächsprozess, eine Investitionstaktik oder ein anderer Prozess sein, in dem mehrere Kandidaten als Teil des Auswahlprozesses bewertet werden sollen. Das Bewertungskampagnenhilfsmittel empfängt mehrere Aufforderungen, die in einer ersten Bewertungskampagne verwendet werden, und mehrere Aufforderungen, die bei der Bewertung von Kandidaten in einer zweiten Kampagne verwendet werden. Jede durch eine digitale Bewertungsplattform unterstützte Bewertungskampagne kann Wertungsdaten, Ergebnisdaten und/oder Erfolgsdaten enthalten. Durch Kombinieren der Datensätze der ersten und der zweiten Bewertungskampagne kann ein robusterer Datensatz erzeugt werden, aus dem zusätzliche Einsichten erhalten werden können.
Falls sowohl ein erstes Softwareunternehmen als auch ein zweites Softwareunternehmen Bewertungskampagnen für Entwicklerstellen durchführen, kann das Kombinieren der Datensätze von diesen Bewertungskampagnen z. B. zusätzliche Einsichten bieten, dass die Datensätze eines der Softwareunternehmen zu klein oder zu verrauscht sind, um statistisch gültige Vorhersagen bereitzustellen. Falls dagegen ein Unternehmen eine Bewertungskampagne für eine Entwicklerstelle und ein anderes Unternehmen (oder dasselbe Unternehmen) eine Bewertungskampagne für eine Vertriebsstelle durchführt, kann das Kombinieren von Bewertungswertungen, Ergebnisdaten und anderen Daten keine nutzbaren Informationen bereitstellen, die verwendet werden können, um das Ergebnis eines Kandidaten, der bewertet wird, vorherzusagen. Es können Bemühungen unternommen werden, um sicherzustellen, dass Daten von nicht verwandten Stellen nicht kombiniert werden. Die Aufforderungen, die in Kampagnen verwendet werden, um vergleichbare Stellen zu besetzen, können einige ähnliche Aufforderungen enthalten. Dadurch, dass die ähnlichen Aufforderungen identifiziert werden, können Daten, die diesen ähnlichen Aufforderungen zugeordnet sind, wie etwa Wertungsdaten, Bewertungsergebnisdaten und andere Daten für die größte Wirkung kombiniert und zusammen verwendet werden. Diese kombinierten Datensätze können verwendet werden, um die nachfolgende Anpassung und Verbesserung von Kampagnen zu ermöglichen, indem größere statistische Einsichten bereitgestellt werden. Aufforderungen, die in der Kampagne für die Entwicklerstelle übergeben werden, und andere Aufforderungen, die in der Kampagne für die Vertriebsstelle übergeben werden, können sich sehr wenig überschneiden, so dass das Kombinieren von Daten von jeder der Kampagnen nicht viele nutzbare Informationen bieten kann. Ausführungsformen des Bewertungskampagnenhilfsmittels können ebenfalls den kombinierten Datensatz verwenden, um Aufforderungsempfehlungen für künftige Kampagnen bereitzustellen, die maßgeblichere und/oder besser vorhersagende Aufforderungen enthalten.
In einigen Fällen sind gut bekannte Strukturen und Vorrichtungen in dieser Beschreibung in Blockschaltplanform anstatt detailliert gezeigt, um die Verdeckung der Ausführungsformen der vorliegenden Erfindung zu vermeiden. Allerdings ist für den Durchschnittsfachmann auf dem Gebiet unter Nutzung dieser Offenbarung offensichtlich, dass Ausführungsformen der vorliegenden Erfindung ohne diese spezifischen Einzelheiten verwirklicht werden können.
Die hier beschriebenen Ausführungsformen können verwendet werden, um wenigstens zwei identifizierte Probleme der Kandidatenauswahl, d. h. große Kandidatenpools und die Selektionsgenauigkeit, zu behandeln. Die hier beschriebenen Ausführungsformen bieten Lösungen für diese Probleme, indem sie robustere Datensätze bereitstellen. Ein kleineres Unternehmen, das für eine bestimmte Stelle Bewerbungsgespräche mit einer kleineren Anzahl von Personen durchführt, kann Daten nutzen können, die von der Kampagne eines größeren Unternehmens, das eine größere Anzahl von Kandidaten für eine ähnliche Stelle bewertet, abgeleitet sind. Außerdem kann die Verwendung der kombinierten Datensätze ermöglichen, dass die digitale Bewertungsplattform maßgeblichere Aufforderungen als Vorlagen bereitstellt, wenn ein Unternehmen eine neue Kampagne in der digitalen Bewertungsplattform aufbaut.
1 ist ein Blockschaltplan einer Netzarchitektur 100, in der Ausführungsformen eines Bewertungskampagnenhilfsmittels 110 arbeiten können. Die Netzarchitektur 100 kann mehrere Client-Computersysteme 102 enthalten, die über ein Netz 106 (z. B. ein öffentliches Netz wie etwa das Internet, ein privates Netz wie etwa ein lokales Netz (LAN) oder eine Kombination davon) mit einem Server-Computersystem 104 gekoppelt sind. Das Netz 106 kann das Internet und Netzverbindungen mit dem Internet enthalten. Alternativ können sich der Server 104 und die Clients 102 in einem gemeinsamen LAN, in einem Personal Area Network (PAN), in einem Campus Area Network (CAN), in einem Metropolitan Area Network (WAN), in einem Weitverkehrsnetz (WAN), in einem drahtlosen lokalen Netz, in einem Zellennetz, in einem virtuellen lokalen Netz oder dergleichen befinden. Das Server-Computersystem 104 (hier auch als Server 104 bezeichnet) kann eine oder mehrere Maschinen (z. B. ein oder mehrere Server-Computersysteme, Router, Gateways), die Verarbeitungs- und Speicherfähigkeiten besitzen, um die hier beschriebene Funktionalität bereitzustellen, enthalten.
Das Server-Computersystem 104 kann ein Bewertungskampagnenhilfsmittel 110 ausführen. Das Bewertungskampagnenhilfsmittel 110 kann verschiedene wie hier beschriebene Funktionen ausführen und kann eine Aufforderungsanalyseeinrichtung 112, um Aufforderungen von mehreren durch eine digitale Bewertungsplattform 101 gehosteten Kampagnen zu analysieren, und eine Aufforderungsempfehlungsmaschine 114, um Aufforderungen in nachfolgend erzeugten Bewertungskampagnen zu empfehlen, enthalten. Die Merkmale des Bewertungskampagnenhilfsmittels 110, das die Aufforderungsanalyseeinrichtung 112 und die Aufforderungsempfehlungsmaschine 114 enthält, sind hier ausführlicher beschrieben. Das Bewertungskampagnenhilfsmittel 110 kann als Teil der digitalen Bewertungsplattform 101 wie etwa der von der HireVue, Inc., entwickelten digitalen Bewerbungsgesprächsplattform implementiert werden oder kann in einer anderen digitalen Bewertungsplattform wie etwa einer Investitionsbewertungsplattform, einer Zulassungsbewertungsplattform oder dergleichen implementiert werden.
Das Bewertungskampagnenhilfsmittel 110 kann als ein selbstständiges System, das über eine Schnittstelle mit der digitalen Bewertungsplattform 101 verbunden ist, oder als andere Systeme implementiert werden. Es soll angemerkt werden, dass das Server-Computersystem 104 in dieser Ausführungsform das Bewertungskampagnenhilfsmittel 110 implementiert, dass aber ein oder mehrere der Clients 102 ebenfalls Client-Module des Bewertungskampagnenhilfsmittels 110 enthalten können, die mit der Funktionalität des Bewertungskampagnenhilfsmittels 110, wie sie in dem Server-Computersystem 104 gezeigt ist, zusammenarbeiten können oder unabhängig von ihm sein können.
Die Client-Computersysteme 102 (hier auch als ”Clients 102” oder ”Client 102” bezeichnet) können jeweils eine Client-Workstation, ein Server, ein Computer, eine tragbare elektronische Vorrichtung, ein Unterhaltungssystem, das zum Kommunizieren über ein Netz konfiguriert ist, wie etwa eine Set-Top-Box, ein Digitalempfänger, ein Digitalfernsehgerät, ein Mobiltelephon, ein Smartphone, ein Tablet oder andere elektronische Vorrichtungen sein. Tragbare elektronische Vorrichtungen können z. B. Zellentelephone, tragbare Spielesysteme, am Körper tragbare Computervorrichtungen oder dergleichen enthalten, sind darauf aber nicht beschränkt. Der Client 102 kann über eine Firewall, einen Router oder andere Paketvermittlungsvorrichtungen Zugang zum Internet haben. Die Clients 102 können sich über eine oder mehrere Zwischenvorrichtungen wie etwa Router, Gateways oder andere Vorrichtungen mit dem Server 104 verbinden. Die Clients 102 sind unterschiedlich mit verschiedener Funktionalität konfiguriert und können einen Browser 120 und eine oder mehrere Anwendungen 122 enthalten. Die Clients 102 können ein Mikrofon und eine Videokamera, um Antworten als digitale Daten aufzuzeichnen, enthalten. Zum Beispiel können die Clients 102 Videoantworten und/oder einen Videodatenstrom aufzeichnen und speichern oder die aufgezeichneten Antworten zur Erfassung und Speicherung an den Server 104 heraufladen. In einer Ausführungsform greifen die Clients 102 über den Browser 120 auf die digitale Bewertungsplattform 101 zu, um Antworten aufzuzeichnen. Einige aufgezeichnete Antworten können Audiosignale, Videosignale, Code oder Text, andere Arbeitsproben und/oder Kombinationen davon enthalten. In solchen Ausführungsformen ist die digitale Bewertungsplattform 101 eine webgestützte Anwendung oder ein Cloud-Computersystem, das über den Browser 120 Nutzerschnittstellen für den Client 102 bietet.
Ähnlich kann eine der Anwendungen 122 verwendet werden, um auf die digitale Bewertungsplattform 101 zuzugreifen. Zum Beispiel kann eine Mobilanwendung (hier als ”App” bezeichnet) verwendet werden, um auf eine oder mehrere Nutzerschnittstellen der digitalen Bewertungsplattform 101 zuzugreifen. Die digitale Bewertungsplattform 101 kann ein oder mehrere Softwareprodukte sein, die den digitalen Bewertungsprozess ermöglichen. Zum Beispiel wird der Client 102 in einigen Fällen durch einen Kandidaten (oder das Bewerbungsgespräch Durchführenden) während eines digitalen Bewerbungsgesprächs verwendet. Die digitale Bewertungsplattform 101 kann digitale Antwortdaten 132 von dem Kandidaten erfassen und die Daten in einer Datenablage 130 speichern. Die digitalen Antwortdaten 132 können durch den Kandidaten heraufgeladene Daten, während des Bewerbungsgesprächs erfasste Audiosignale, während des Bewerbungsgespräches erfasste Videosignale, durch den Kandidaten vor oder nach dem Bewerbungsgespräch eingereichte Daten oder dergleichen enthalten. Wie hier dargestellt ist, enthalten die digitalen Antwortdaten 132 wenigstens aufgezeichnete Antworten in Form von während des Bewerbungsgesprächs erfassten Videosignalen.
Die Clients 102 können ebenfalls durch einen Bewertungskampagnenmanager verwendet werden, um eine oder mehrere Bewertungskampagnen zu erzeugen und zu managen und um Kandidaten und ihre zugeordneten Antwortdaten zu prüfen, zu selektieren und auszuwählen. Zum Beispiel kann der Bewertungskampagnenmanager ein Mitglied einer Personalabteilung eines Unternehmens sein, das über die digitale Bewertungsplattform 101 eine oder mehrere freie Stellen zu besetzen hat. Als ein anderes Beispiel kann der Bewertungskampagnenmanager ein Investor für Risikokapital oder privates Beteiligungskapital sein, der über die digitale Bewertungsplattform 101 Investitionstaktiken empfängt. Der Kampagnenmanager kann wie oben beschrieben über den Browser 120 oder die Anwendung 122 auf die digitale Bewertungsplattform 101 zugreifen. In einigen Ausführungsformen kann die Anwendung 122 wenigstens einige der Merkmale bereitstellen, die hier im Zusammenhang mit der digitalen Bewertungsplattform 101 beschrieben sind. Zum Beispiel kann die Anwendung 122 das Bewertungskampagnenhilfsmittel 110 bereitstellen, wenn ein Kampagnenmanager den Client 102 verwendet. Die durch die digitale Bewertungsplattform 101 für den Kampagnenmanager bereitgestellten Nutzerschnittstellen unterscheiden sich von den für die Kandidaten bereitgestellten Nutzerschnittstellen. Die für den Kampagnenmanager bereitgestellten Nutzerschnittstellen können ermöglichen, dass eine oder mehrere Aufforderungen ausgewählt und/oder eingegeben werden, um für Kandidaten in dem Bewertungsprozess angeboten zu werden. Außerdem können die Nutzerschnittstellen ermöglichen, dass der Kampagnenmanager oder andere, die mit dem Kampagnenmanager arbeiten, auf die digitalen Antwortdaten 132 zugreifen, um die Kandidaten zu prüfen und auszuwählen.
Die Clients 102 können ebenfalls durch andere Prüfer oder Bewertende verwendet werden, die nicht zum Erzeugen und Managen von Bewertungskampagnen berechtigt sind, die aber, indem sie auf ihre zugeordneten Antwortdaten zugreifen, prüfen, selektieren und auswählen können. Die Bewertenden können Wertungen der Antworten bereitstellen und können außerdem für ranghöhere Bewertende oder für den Kampagnenmanager Bewertungsentscheidungen oder Bewertungsempfehlungen bereitstellen.
Wie in 1 dargestellt ist, kann die Kandidatenablage 130 ein oder mehrere Datenkataloge in einer oder in mehreren Speichervorrichtungen repräsentieren. Die Datenablage 130 kann eine Datenbank oder irgendeine andere organisierte Zusammenstellung von Daten sein. Die Datenablage 130 kann die digitalen Antwortdaten 132 sowie Daten für mehrere Kampagnen speichern. Wie in 1 gezeigt ist, enthält die Datenablage 130 Daten von einer ersten Kampagne (hier als Daten 134 der ersten Kampagne bezeichnet) und Daten von einer zweiten Kampagne (hier als Daten 136 der zweiten Kampagne bezeichnet). Die Kampagnendaten können Aufforderungen, die in jeder der Kampagnen verwendet werden, Beschreibungen der Stelle oder Chance, die der Kampagne zugeordnet ist, Einstellungen der digitalen Bewertungsplattform 101, die auf jede Kampagne angewendet werden sollen, usw. enthalten. Außerdem kann die Datenablage 130 Wertungsdaten 138, Ergebnisdaten 140 und Erfolgsdaten 142 enthalten. Die Wertungsdaten 138 und die Ergebnisdaten 140 können nach der Kampagne organisiert sein, so dass die Wertungsdaten für eine erste Kampagne getrennt von den Wertungsdaten für eine zweite Kampagne identifiziert werden können und getrennt auf sie zugegriffen werden kann. Außerdem können in den Wertungsdaten 138 (oder in den Ergebnisdaten 140) kombinierte Datensätze enthalten sein, so dass Wertungsdaten (oder Ergebnisdaten) für die erste und die zweite Kampagne zusammen als ein kombinierter Datensatz bereitgestellt werden. Die Erfolgsdaten 142 können Informationen enthalten, die von Kandidaten vor, während und/oder nach dem Bewertungsprozess erhalten werden. Diese Informationen können Informationen über akademische Leistungen wie etwa Notendurchschnitt, Testergebnisse, bisher eingeworbene Geldmittel, Arbeitsbeurteilungsinformationen usw. enthalten.
Auf die verschiedenen Arten von Daten in der Datenablage 130 kann auf eine Anzahl verschiedener Arten zugegriffen werden. Zum Beispiel können die Daten durch die digitale Bewertungsplattform 101 nach Kampagne, nach Kandidaten, nach der Organisation, die eine Kampagne finanziert, gruppiert und dargestellt werden. Außerdem können den Daten Beschränkungen auferlegt werden, so dass ein Unternehmen auf Daten, die Kampagnen eines anderen Unternehmens zugeordnet sind, nicht zugreifen kann.
In der gezeigten Ausführungsform kann das Server-Computersystem 104 die digitale Bewertungsplattform 101 ausführen, die das Bewertungskampagnenhilfsmittel 110 enthält, um das Analysieren von Aufforderungen von mehreren Kampagnen und das Empfehlen von Aufforderungen für neue Kampagnen zu ermöglichen. Das Bewertungskampagnenhilfsmittel 110, das in Verbindung mit der digitalen Bewertungsplattform 101 ausgeführt wird, kann die Kombination von Datensätzen von mehreren Kampagnen ermöglichen, um robustere Datensätze bereitzustellen. Wenn in einigen Ausführungsformen Datensätze von mehreren Kampagnen kombiniert werden, können die Datensätze gefiltert oder ”bereinigt” werden, um bestimmte Informationen wie etwa Informationen, die einen individuellen Kandidaten identifizieren können oder die einen individuellen Kampagnenmanager identifizieren können usw., zu entfernen.
Der Server 104 kann Web-Server-Funktionalität enthalten, die die Kommunikation zwischen den Clients 102 und der digitalen Bewertungsplattform 101 ermöglicht, um als Teil einer Bewertungskampagne oder Prüfung digitale Bewerbungsgespräche durchzuführen, andauernde Bewertungskampagnen zu managen und neue Kampagnen zu erzeugen. Alternativ kann die Web-Server-Funktionalität auf einer anderen Maschine als der Maschine, auf der das Bewertungskampagnenhilfsmittel 110 abläuft, implementiert werden. Außerdem soll angemerkt werden, dass die Funktionalität der digitalen Bewertungsplattform 101 zum Aufzeichnen der digitalen Antwortdaten 132 in einem oder in mehreren Servern 104 implementiert werden kann. In anderen Ausführungsformen kann die Netzarchitektur 100 andere Vorrichtungen wie etwa Verzeichnis-Server, Website-Server, Statistik-Server, Vorrichtungen eines Netzinfrastrukturbetreibers (z. B. eines ISP) oder dergleichen enthalten. Wie der Durchschnittsfachmann auf dem Gebiet unter Nutzung dieser Offenbarung würdigen wird, sind alternativ andere Konfigurationen möglich.
2 ist ein Blockschaltplan, der zusätzliche Einzelheiten des Bewertungskampagnenhilfsmittels 110 aus 1 in Übereinstimmung mit einer Ausführungsform bietet. Das Bewertungskampagnenhilfsmittel 110 kann als Verarbeitungslogik implementiert sein, die Hardware (Schaltungsanordnung, dedizierte Logik usw.), Software (wie sie etwa in einem Universalcomputersystem oder in einer dedizierten Maschine abläuft), Firmware (eingebettete Software) oder irgendeine Kombination davon umfasst. In der gezeigten Ausführungsform enthält das Bewertungskampagnenhilfsmittel 110 ein Systemidentifizierungsmodul 202 zum maschinellen Lernen und zum Aufbauen prädiktiver Modelle, die Aufforderungsanalyseeinrichtung 112, die Aufforderungsempfehlungsmaschine 114, ein Kommunikationsmodul 204, eine graphische Nutzerschnittstellenmaschine (GUI-Maschine) 206 und eine Sammelmaschine 208. Die Komponenten des Bewertungskampagnenhilfsmittels 110 können Module repräsentieren, die in Übereinstimmung mit einigen Ausführungsformen zu weiteren Modulen miteinander kombiniert oder voneinander getrennt werden können.
Wie in 2 dargestellt ist, kann das Systemidentifizierungsmodul 202 Bewertungsdaten einschließlich Aufforderungen mit zugeordneten Wertungen und Bewertungsergebnissen empfangen, um zu modellieren, wie eine Aufforderung mit dem Ergebnis einer Bewertung zusammenhängt. Zum Beispiel kann eine bestimmte Aufforderung in einer Kampagne am engsten mit den Bewertungsentscheidungen (z. B., wem die Stelle angeboten wird und wem nicht) korreliert sein. Ein größerer Datensatz, wie er etwa durch Kombinieren mehrerer Datensätze erhalten werden kann, kann ermöglichen, dass das Systemidentifizierungsmodul 202 bessere Modelle zur Verwendung bei der Bewertung von Kandidaten bereitstellt. Das Kommunikationsmodul 204 des Bewertungskampagnenhilfsmittels 110 kann ermöglichen, dass das Hilfsmittel 110 mit der Datenablage 130 kommuniziert, um zu ermöglichen, dass die Sammelmaschine 208 wahlweise in der Datenablage 130 gespeicherte Kampagnendaten ausliest. Ferner kann das Kommunikationsmodul 204 die Kommunikation mit dem Server 104, mit anderen Servern und/oder mit den Clients 102 ermöglichen. Wie in 2 gezeigt ist, enthält die Datenablage 130 Daten 134 der ersten Kampagne und Daten 136 der zweiten Kampagne. Es sind einige der in den Daten der ersten und der zweiten Kampagne enthaltenen Daten gezeigt. Die Daten 134 der ersten Kampagne enthalten mehrere Aufforderungen, die als Aufforderungen 210A, 210B und 210C gezeigt sind. Ähnlich enthalten die Daten 136 der zweiten Kampagne Aufforderungen 212A, 212B und 212C. Diese Aufforderungen können zur Analyse durch die Sammelmaschine 208 gesammelt werden. In einigen Ausführungsformen enthalten die Daten der ersten und der zweiten Kampagne mehr Aufforderungen, als in 2 gezeigt sind.
In 3 bzw. 4 sind Ausführungsformen graphischer Nutzerschnittstellen dargestellt, die durch die GUI-Maschine 206 für Kampagnen, die den Daten 134 der ersten Kampagne und den Daten 136 der zweiten Kampagne zugeordnet sind, bereitgestellt werden können. Die 3 und 4 stellen eine beispielhafte Nutzerschnittselle 300 dar, die durch die digitale Bewertungsplattform 101 bereitgestellt wird, um aufgezeichnete Antworten und andere in einer Kampagne erhaltene Informationen zu betrachten und um Wertungs- und Ergebnisdaten als Teil der Bewertungskampagne bereitzustellen. Die Nutzerschnittstelle 300 kann eine Bewertungsansicht 302 einer digitalen Bewertungsplattform 101 sein. Die Bewertungsansicht 302 enthält Kandidateninformationen 304, ein Aufforderungselement 306, ein Antwortnavigationselement 308, ein Medienfeld 310 und eine Liste von Kandidaten 312, die als Teil einer Bewertungskampagne bewertet worden sind oder noch zu bewerten sind. Außerdem enthält die Bewertungsansicht 302 der Nutzerschnittstelle 300 ein Kampagneninformationselement 314, das Informationen hinsichtlich der Kampagne anzeigt und das ermöglicht, dass der Kampagnenmanager unter Kampagnen, die gemanagt werden, auswählt. Das Kampagneninformationselement 314 kann Informationen hinsichtlich eines Geldgebers der Kampagne und Informationen hinsichtlich der Stelle, die durch die Kampagne besetzt werden soll, enthalten.
In 3 zeigt die Bewertungsansicht 302 Informationen an, die der ersten Kampagne zugeordnet sind. Diese erste Kampagne ist eine Kampagne, die vom ”Unternehmen A” für eine Vertriebsstelle gemanagt wird. Wie in 2 gezeigt ist, enthält die erste Kampagne Daten, die in der Datenablage 130 gespeichert sind, wie etwa Aufforderungen 210A, 210B und 210C. In der Bewertungsansicht 302 aus 3 wird die Aufforderung 210A in dem Aufforderungselement 306 angezeigt. Das Medienfeld 310 kann eine aufgezeichnete Videoantwort des Kandidaten ”Ben Thomas” auf die in dem Aufforderungselement 306 gezeigte Aufforderung 210A anzeigen. In 4 zeigt die Bewertungsansicht 302 Informationen an, die der zweiten Kampagne zugeordnet sind. Die zweite Kampagne ist eine Kampagne für das ”Unternehmen B” für eine als ”Kundenkontakte” identifizierte Stelle. Das Aufforderungselement 306 zeigt die Aufforderung 212C von den Daten 136 der zweiten Kampagne an und das Medienfeld 310 zeigt eine aufgezeichnete Videoantwort eines Kandidaten ”Loren Lars”, wie sie in den Kandidateninformationen 304 identifiziert sind, an.
Zurückkehrend zu 2 kann das Bewertungskampagnenhilfsmittel 110 unter Verwendung des Kommunikationsmoduls 204 auf die Daten 134 der ersten Kampagne und auf die Daten 136 der zweiten Kampagne zugreifen. Die Aufforderungsanalyseeinrichtung 112 kann die Aufforderungen 210A–C und 212A–C empfangen und sie vergleichen, um zu bestimmen, wie ähnlich oder unähnlich die Aufforderungen zueinander sind. In einigen Ausführungsformen kann die Aufforderungsanalyseeinrichtung 112 jede der Aufforderungen mit jeder anderen Aufforderung vergleichen, während die Aufforderungsanalyseeinrichtung 112 in einigen anderen Ausführungsformen jede Aufforderung von einer Kampagne mit allen Aufforderungen der anderen Kampagne vergleichen kann. Wie in 3 gezeigt ist, lautet die Aufforderung 210A von den Daten 134 der ersten Kampagne: ”Tell us why you are interested in working for Company A.” [”Sagen Sie uns, weshalb Sie daran interessiert sind, für das Unternehmen A zu arbeiten.”] Wie in 4 gezeigt ist, lautet außerdem die Aufforderung 212C von den Daten 136 der zweiten Kampagne: ”Please tell us why you are interested in Company B.” [”Bitte sagen Sie uns, weshalb Sie an dem Unternehmen B interessiert sind.”] Die Datenablage 130 kann für jede dieser Aufforderungen viele aufgezeichnete Antworten enthalten und kann außerdem Wertungsdaten und andere Bewertungsdaten enthalten, die den Aufforderungen zugeordnet sind. Dadurch, dass die in der Datenablage 130 verfügbaren Daten, die der Aufforderung 210A zugeordnet sind, mit in der Datenablage 130 verfügbaren Daten, die der Aufforderung 212C zugeordnet sind, kombiniert werden, kann ein größerer, robusterer Datensatz erzeugt werden.
Die Aufforderungsanalyseeinrichtung 112 kann bestimmen, ob die Aufforderungen 210A und 212C ausreichend verwandt sind, um die Kombination zugeordneter Daten zu rechtfertigen. In einigen Ausführungsformen bestimmt oder berechnet die Aufforderungsanalyseeinrichtung 212 die Anzahl von Bearbeitungen, die an der Aufforderung 210A vorgenommen werden müssten, um die Aufforderung 210A in die Aufforderung 212C umzuwandeln. Zur leichteren Erläuterung sind die Aufforderungen 210A und 212C im Folgenden erneut enthalten:
Tell us why you are interested in working for Company A.
(Aufforderung 210A)
Please tell us why you are interested in Company B.
(Aufforderung 212C).
Wie oben gezeigt ist, könnte das Ändern der Aufforderung 210A in die Aufforderung 212C durch Hinzufügen von ”Please” zum Anfang der Aufforderung 210A, durch Entfernen von ”working for” und durch Ersetzen von Company B für Company A erfolgen. Somit wären drei Bearbeitungen erforderlich, um die Aufforderung 210A in die Aufforderung 212C umzuwandeln. Diese Anzahl von Bearbeitungen kann hier als eine Entfernung bezeichnet werden, die als die Anzahl von Bearbeitungen verstanden werden kann, die erforderlich sind, um die erste Aufforderung so zu ändern, dass sie gleich der zweiten Aufforderung wird. In diesem Beispiel weisen die Aufforderung 210A und die Aufforderung 212C eine Entfernung von drei auf. Die Entfernung kann eine Levenshtein-Entfernung sein, in der jede Hinzufügung, Wegnahme oder Ersetzung gezählt wird, um den Ähnlichkeitsgrad oder Unähnlichkeit zwischen zwei Aufforderungen zu bestimmen. In einigen Ausführungsformen kann die Entfernung auf der Wortebene berechnet werden, so dass die Hinzufügung, die Wegnahme oder die Ersetzung eines Worts eine Bearbeitung ist. In anderen Ausführungsformen können Entfernungen auf der Zeichenebene verwendet werden. In solchen Ausführungsformen können die Hinzufügung, die Wegnahme oder die Ersetzung eines Zeichens als eine Bearbeitung gezählt werden. Änderungen der Art und Weise, wie die Anzahl der Bearbeitungen, die zwei Aufforderungen trennen, gezählt werden, liegen im Schutzumfang dieser Offenbarung. In einigen Ausführungsformen kann die Interpunktion beim Vergleich zweier Aufforderungen ignoriert werden, so dass eine Änderung eines Punkts in ein Fragezeichen bei der Bestimmung der Ähnlichkeit oder Entfernung nicht gezählt wird. Außerdem kann der Name des Unternehmens, das die Kampagne durchführt, aus der Analyse ausgeschlossen werden. Falls das Unternehmen A z. B. ”Big Co.” heißen würde und das Unternehmen B ”Little Co.” heißen würde, braucht die Ersetzung von ”Little Co” für ”Big Co” bei der Bestimmung des Ähnlichkeitsgrads oder der Entfernung zwischen den Aufforderungen 210A und 212C durch die Aufforderungsanalyseeinrichtung 112 nicht gezählt zu werden.
Um die Bestimmung der Ähnlichkeit zwischen zwei Aufforderungen zu ermöglichen, kann die Aufforderungsanalyseeinrichtung 112 mit einer oder mit mehreren Nachschlagetabellen kommunizieren, die lokal verfügbar sind oder die in der Datenablage 130 verfügbar sind. Solche Nachschlagetabellen können eine Synonymnachschlagetabelle enthalten, um zu ermöglichen, dass die Aufforderungsanalyseeinrichtung 112 Synonyme identifiziert, die in zwei Aufforderungen, die verglichen werden, vorhanden sind. Falls (wie durch die Synonymnachschlagtabelle bestimmt wird) ein Wort in einer ersten Aufforderung als ein Synonym eines Worts in einer zweiten Aufforderung enthalten ist, kann die Ersetzung bei der Bestimmung der Ähnlichkeit oder Entfernung zwischen den zwei Aufforderungen nicht gezählt werden. Um den Speicherplatz der Synonymtabelle zu minimieren, kann die Synonymtabelle in einigen Ausführungsformen als eine dünn besetzte binäre Matrix im Speicher dargestellt sein. Jede Zeile und jede Spalte kann ein eindeutiges Wort oder Tupel (z. B. eine Gruppe von Wörtern) repräsentieren. Die Zeichenfolgenabbildung kann in einer getrennten Abbildungstabelle gespeichert werden.
In einigen Ausführungsformen kann die Ersetzung eines Synonyms als ein Bruchteil einer Bearbeitung angesehen werden. Ähnlich kann die Änderung eines Worts in ein anderes Wort, das denselben Wortstamm nutzt (z. B. ”motivate” und ”motivation” oder ”motivating”), nicht als eine Bearbeitung gezählt werden oder als ein Bruchteil einer Bearbeitung gezählt werden. Zum Beispiel kann die Änderung von ”motivate” in ”motivating” als eine halbe Bearbeitung gezählt werden. In solchen Fällen kann der gemeinsame Wortstamm als eine angepasste Menge aufeinander folgender Zeichen ”motivat.” identifiziert werden. In einigen Ausführungsformen können Wörter, die mehr als einen Prozentsatz von Zeichen (z. B. 50%) gemeinsam haben, nicht als eine Bearbeitung gezählt werden oder als ein Bruchteil einer Bearbeitung gezählt werden. In solchen Ausführungsformen kann der gemeinsame Wortstamm nur verwendet werden, falls er mehr als eine Schwellenanzahl von Zeichen, z. B. fünf Zeichen, enthält. In einigen Ausführungsformen ist eine Nachschlagetabelle verwandter Wörter vorgesehen, so dass ein Nachschlagen nach ”motivate” angibt, dass ”motivating” keine Standardbearbeitung ist, aber nicht zählen kann oder einen Bruchzählwert besitzen kann. Außerdem kann die Interpunktion verworfen werden, bevor die Ähnlichkeit zweiter Aufforderungen bestimmt wird, oder kann sie während der Bestimmung ignoriert werden.
Die obige Erläuterung beschreibt die Bestimmung des Ähnlichkeitsgrads zwischen zwei Aufforderungen. Solche Bestimmungen können auf Gruppen angewendet werden, indem der Vergleich zwischen Paarungen von Aufforderungen der Gruppe ausgeführt wird und die Anzahl der Bearbeitungen gezählt wird. Um die Entfernung zwischen Paarungen von Aufforderungen besser zu vergleichen, können die Entfernungen normiert werden. Zum Beispiel kann die Entfernung zwischen einem ersten Paar von Aufforderungen durch eine mittlere Zeichenlänge oder Wortlänge der zwei Aufforderungen normiert werden. Es kann eine Ähnlichkeitsmatrix (auch als eine Entfernungsmatrix bezeichnet) erzeugt werden, die Vergleiche jeder der Aufforderungen einer ersten Kampagne mit jeder der Aufforderungen der zweiten Kampagne oder Vergleiche jeder der Aufforderungen in einer kombinierten Menge von Aufforderungen mit jeder der anderen Aufforderungen in der kombinierten Menge besitzt. Um eine Analyse der Entfernungsmatrix zu ermöglichen, kann jede Entfernung durch die größte Entfernung normiert werden.
Die 5–8 stellen eine Reihe graphischer Darstellungen dar, die in einem Prozess des Identifizierens von Clustern verwandter Aufforderungen erzeugt werden können, so dass Kampagnendaten, die diesen Clustern zugeordnet sind, kombiniert werden können, um eine zusätzliche Analyse zu ermöglichen und Aufforderungsempfehlungen zu verbessern. Die in 5–8 gezeigten Informationen können durch die Aufforderungsanalyseeinrichtung 112 des Bewertungskampagnenhilfsmittels 110 aus 1 und 2 erzeugt werden, um zu ermöglichen, dass die Aufforderungsempfehlungsmaschine 114 Aufforderungen, die über einen gesamten Beschäftigungssektor am besten vorhersagen, identifiziert und empfiehlt.
Die folgenden Ausführungsformen beschreiben anhand von 5–8 Operationen, um zu identifizieren, welche Datensätze für die Analyse kombiniert werden können. Zum Beispiel identifizieren die in 5–8 dargestellten graphischen Darstellungen, welche Fragen miteinander in Clustern gruppiert werden können und daraufhin auf ihre Maßgeblichkeit analysiert werden können.
5 ist eine graphische Darstellung 500 von Ähnlichkeiten einer Menge eindeutiger Aufforderungen in einer nicht organisierten Anordnung in Übereinstimmung mit einer Ausführungsform. Die Menge ist eine kombinierte Menge, so dass sie Aufforderungen von einer ersten Kampagne und von einer zweiten Kampagne enthält. Wie in 5 dargestellt ist, repräsentiert die graphische Darstellung 500 eine normierte Ähnlichkeitsmatrix, die aus den Vergleichen von über 500 eindeutigen Aufforderungen, wie sie etwa durch die Aufforderungsanalyseeinrichtung 112 aus 2 ausgeführt werden können, erzeugt wird. Wie in 5 zu sehen ist, identifiziert eine Diagonale 502 Werte in der Matrix, in denen eine Aufforderung mit sich selbst verglichen wird, so dass null Bearbeitungen notwendig wären, um die Aufforderung zu ändern. Wie in der graphischen Darstellung gezeigt ist, gibt ein Wert von 0 an, dass das Aufforderungspaar gleich ist (d. h., dass eine Aufforderung mit sich selbst verglichen wird, so dass die Entfernung zwischen dem ”Paar” null ist), und gibt ein Wert von 1 an, wann die Aufforderungen keine Wörter gemeinsam haben.
6 ist eine graphische Darstellung 600 der Ähnlichkeiten der Menge eindeutiger Aufforderungen, die in der graphischen Darstellung 500 gezeigt sind, nachdem eine Clustergruppierungsoperation ausgeführt worden ist. Zum Beispiel können die in der graphischen Darstellung 500 gezeigten Informationen über einen Selbstorganisationsabbildungsalgorithmus (SOM-Algorithmus) übergeben werden, um, wie in der graphischen Darstellung 600 gezeigt ist, die Clustergröße zu maximieren. Der SOM-Algorithmus kann die Zeilen und Spalten umordnen, um Cluster ähnlicher Daten zu erzeugen. Die in der graphischen Darstellung 600 gezeigten Cluster können verwendet werden, um verwandte Aufforderungscluster zu identifizieren. Zum Beispiel können die folgenden Aufforderungen in einem Cluster zu finden sein:
What led you to apply for this position?
[Was hat dazu geführt, dass Sie sich auf diese Stelle beworben haben?]
What attracted you to apply for this specific position?
[Was hat Sie angezogen, sich auf diese spezifische Stelle zu bewerben?]
What is the reason you applied for this opportunity?
[Was ist der Grund, dass Sie sich für diese Chance beworben haben?]
Tell us why you applied for this position.
[Sagen Sie uns, weshalb Sie sich für diese Stelle beworben haben.]
Die Entfernungsmatrix kann angeben, dass diese Aufforderungen durch Gruppieren der Aufforderungen miteinander in einem Cluster verwandter Aufforderungen verwandt sind, der, wie in der graphischen Darstellung 600 zu sehen ist, ein lokales Minimum der Entfernungen besitzt. Die graphische Darstellung 600 enthält einen beispielhaften Cluster 602 und andere Cluster. Da bestimmt werden kann, dass die Ähnlichkeit dieser Aufforderungen hoch ist, kann gefolgert werden, dass die Aufforderungen ähnliche Bedeutungen besitzen. Da dieser Cluster von Aufforderungen eine ähnliche Bedeutung besitzt, können Antworten von Kandidaten auf irgendeine dieser Aufforderungen dieselben Probleme behandeln. Dementsprechend können die diesen Aufforderungen zugeordneten Daten, einschließlich Wertungsdaten usw., für die Analyse kombiniert werden. Obwohl jede der Aufforderungen eine getrennte Bewertungskampagne sein kann, können die Wertungsdaten und die Bewertungsergebnisdaten in einem kombinierten Datensatz zur Analyse der Aufforderungen kombiniert werden. Diese Analyse kann eine Analyse der Maßgeblichkeit der Aufforderung unter Verwendung von während des Bewertungsprozesses erhaltenen Wertungs- und Bewertungsergebnisdaten enthalten. Unter Verwendung von Erfolgsdaten, die nach dem Bewertungsprozess erhalten werden, kann durch das Bewertungskampagnenhilfsmittel 110 eine Verwandtschaft der Wertung der Antwort mit der Leistung am Arbeitsplatz bestimmt werden. Auf diese Verwandtschaft kann auch als die ”Maßgeblichkeit” einer Aufforderung Bezug genommen werden. Dies kann ermöglichen, dass die Kampagnenmanager verwandten Aufforderungen in künftigen Kampagnen eine besser geeignete Gewichtung zuordnen und die maßgeblicheren Aufforderungen auswählen.
7 ist eine graphische Darstellung 700 von Ähnlichkeiten eindeutiger Fragen in einer geordneten Anordnung mit einem angewendeten Schwellenwert in Übereinstimmung mit einer Ausführungsform. Auf die Daten, wie sie in der graphischen Darstellung 600 dargestellt sind, können Schwellenwertverfahren angewendet werden, um Cluster verwandter Aufforderungen zu isolieren. Zum Beispiel können alle Cluster mit mehr als zwei Kampagnen verwendet werden oder können irgendwelche Cluster mit mittleren Entfernungsergebnissen unter einem Schwellenwert wie etwa 60% identifiziert werden. In einigen Ausführungsformen kann jeder Cluster verglichen werden, um zu bestimmen, welcher Cluster die stärkste Metrik besitzt. Wenn die Cluster isoliert werden, kann jeder Cluster analysiert werden, um relative Eigenschaften der Wichtigkeit zu bestimmen. Solche Eigenschaften können Maßgeblichkeit, Vorhersagequalitäten, Kompetenz in Bezug auf Qualitäten usw. enthalten. In der graphischen Darstellung 700 ist ein Schwellenwert angewendet, um Paarungen mit einer normierten Entfernung von mehr als 60% zu ignorieren und dadurch nur die Paarungen darzustellen, die ähnlicher als der Schwellenwert von 60% sind. Danach kann eine Schwellenclustergröße angewendet werden, um die isolierten Cluster oder verwandten Aufforderungen weiter zu identifizieren.
8 stellt in einer graphischen Darstellung von Ähnlichkeiten in Übereinstimmung mit einer Ausführungsform identifizierte beispielhafte Cluster 800A, 800B, 800C, 800D, 800E, 800F, 800G, 800H und 800I dar. Die Cluster 800A–I weisen verschiedene Größen auf, die angeben, dass jeder Cluster eine unterschiedliche verwandte Aufforderung enthalten kann.
9 ist ein Ablaufplan, der ein Verfahren 900 zum Identifizieren und Klassifizieren von Clustern von Aufforderungen in einer digitalen Bewertungsplattform wie der digitalen Bewertungsplattform 101 aus 1 darstellt. Ausführungsformen des Verfahrens 900 können durch eine Verarbeitungslogik ausgeführt werden, die Hardware (z. B. eine Schaltungsanordnung, eine dedizierte Logik, eine programmierbare Logik, Mikrocode usw.), Software (z. B. Anwendungen, die in einer Verarbeitungsvorrichtung ablaufen, um eine Hardwaresimulation auszuführen) oder eine Kombination davon umfasst.
Zur Einfachheit der Erläuterung können das Verfahren 900 und andere Verfahren dieser Offenbarung als eine Reihe von Tätigkeiten oder Operationen gezeigt und beschrieben sein. Allerdings können Operationen in Übereinstimmung mit dieser Offenbarung in verschiedenen Reihenfolgen und/oder gleichzeitig und mit anderen Tätigkeiten, die hier nicht dargestellt und beschrieben sind, stattfinden. Darüber hinaus können nicht alle dargestellten Tätigkeiten erforderlich sein, um die Verfahren in Übereinstimmung mit dem offenbarten Gegenstand zu implementieren. Außerdem wird der Fachmann auf dem Gebiet verstehen und würdigen, dass die Verfahren alternativ als eine Reihe untereinander zusammenhängender Zustände über ein Zustandsdiagramm oder Ereignisse dargestellt werden könnten. Außerdem sollte gewürdigt werden, dass die in dieser Beschreibung offenbarten Verfahren in einem nichttemporären konkreten computerlesbaren Medium gespeichert sein können, um den Transport und die Übertragung dieser Verfahren auf Computervorrichtungen zu ermöglichen.
Ausführungsformen des Verfahrens 900 können im Block 902 beginnen, in dem die Verarbeitungslogik verwandte Stellen von mehreren Kandidatenbewertungskampagnen gruppiert. Zum Beispiel kann die Verarbeitungslogik aus Stellentiteln und/oder aus Stellenbeschreibungen in den Daten 134 der ersten Kampagne und in den Daten 136 der zweiten Kampagne bestimmen, dass die Stellen, die durch die erste und durch die zweite Kampagne besetzt werden sollen, verwandt sind. Zum Beispiel können Kampagnen für ”Vertrieb” und ”Kundenkontakte” auf der Grundlage dieser Stellentitel oder auf der Grundlage der Beschreibungen der Stellen miteinander gruppiert werden. Auf diese Weise kann bestimmt werden, dass die Stellen in einem Stellensektor liegen. Der Stellensektor kann ein Vertriebssektor oder ein technischer Sektor oder ein Buchhaltungssektor oder ein juristischer Sektor oder ein anderer Stellen- oder Beschäftigungssektor sein.
Im Block 904 sammelt die Verarbeitungslogik Aufforderungen, die den gruppierten Stellen zugeordnet sind. Zum Beispiel kann das Bewertungskampagnenhilfsmittel 110 die Aufforderungen 210A–C und die Aufforderungen 212A–C zu einer kombinierten Menge von Aufforderungen sammeln. In einigen Ausführungsformen können Aufforderungen von mehr als zwei Bewertungskampagnen gesammelt werden, nachdem bestimmt worden ist, dass die mehr als zwei Bewertungskampagnen in einem gemeinsamen Stellensektor liegen, und daraufhin gruppiert werden. Im Block 906 identifiziert die Verarbeitungslogik in den gesammelten Aufforderungen einen Aufforderungscluster. Wie in 5–8 dargestellt und oben und hier an anderer Stelle beschrieben ist, kann die kombinierte Menge von Aufforderungen gesammelt werden und daraufhin von der Aufforderungsanalyseeinrichtung 112 analysiert werden, um einen oder mehrere Cluster verwandter Aufforderungen zu identifizieren. Durch die Verarbeitungslogik kann im Block 908 eine Korrelation zwischen dem identifizierten Cluster bestimmt werden.
Zum Beispiel kann für Aufforderungen, die den Aufforderungscluster bilden, eine statistische Beziehung zwischen Wertungen geprüfter aufgezeichneter Antworten von Kandidaten gebildet werden und können die Bewertungsergebnisse der Kandidaten identifiziert werden. In einigen Ausführungsformen kann der Erfolg von Kandidaten in einem Erfolgsindex mit den Antworten dieser Kandidaten auf Aufforderungen und mit dem identifizierten Cluster von Aufforderungen korreliert werden. Im Block 910 verknüpft die Verarbeitungslogik den identifizierten Aufforderungscluster unter mehreren Aufforderungsclustern in der Reihenfolge der Korrelation mit dem Index. Auf diese Weise kann die Korrelation einer Aufforderung mit Bewertungsergebnissen (oder mit der Leistung am Arbeitsplatz) bestimmt werden. Dadurch, dass die ausgeprägteren Aufforderungscluster identifiziert werden, können neue Bewertungskampagnen erzeugt werden, die effektiver sind und zu verbesserten Bewertungsentscheidungen führen. In einigen Ausführungsformen kann zuerst die Wichtigkeit oder Maßgeblichkeit einzelner Aufforderungen bestimmt werden. Danach können diese Maßgeblichkeitsdaten verwendet werden, um durch Ausführung einer mathematischen Mittelung jeder der in dem identifizierten Cluster enthaltenen Aufforderungen eine mittlere Maßgeblichkeit des identifizierten Clusters zu bestimmen.
Im Block 912 kann die Aufforderungsempfehlungsmaschine 114 des Bewertungskampagnenhilfsmittels 110 (wie sie in 1 und 2 zu sehen ist) eine oder mehrere empfohlene Aufforderungen als eine empfohlene Aufforderung in einer durch die GUI-Maschine 206 bereitgestellten Nutzerschnittstelle für die Erzeugung von Bewertungskampagnen anzeigen, nachdem die maßgeblicheren Aufforderungen identifiziert worden sind, wenn ein Kampagnenmanager die digitale Bewertungsplattform 101 verwendet, um eine neue Kampagne zu erzeugen.
10 ist eine graphische Darstellung 1000, die die Maßgeblichkeitswertung einer kombinierten Menge von Aufforderungen, die aus mehreren Bewertungskampagnen erhalten werden, darstellt. Wie in der graphischen Darstellung 1000 gezeigt ist, ist die Maßgeblichkeitswertung oder Maßgeblichkeitsklassifizierung für jede der mehreren Aufforderungen, die nach der Aufforderungskennnummer angeordnet sind, in der Weise normiert, dass die maßgeblichste Aufforderung einen Maßgeblichkeitswert gleich eins hat. Der dargestellte Datensatz und die graphische Darstellung 1000 können verwendet werden, um für den Aufforderungscluster einen Maßgeblichkeitswert zu berechnen, nachdem der Aufforderungscluster identifiziert worden ist. In einigen Ausführungsformen kann die Aufforderungsempfehlungsmaschine 114 die in der graphischen Darstellung 1000 dargestellten Informationen verwenden, um unter Verwendung der digitalen Bewertungsplattform 101 eine oder mehrere der maßgeblichsten Aufforderungen für die Empfehlung zu identifizieren und einem Kampagnenmanager anzuzeigen. Zum Beispiel kann die Aufforderungsempfehlungsmaschine 114 die vier Aufforderungen (oder irgendeine andere Anzahl von Aufforderungen) mit dem höchsten Maßgeblichkeitswert empfehlen. Die Erzeugung der graphischen Darstellung 1000 ist im Folgenden ausführlicher beschrieben.
Es wird angemerkt, dass die graphische Darstellung 1000 die Verteilung dessen zeigt, wie die Maßgeblichkeit zwischen den verschiedenen Fragen/Aufforderungen variiert. In verschiedenen Ausführungsformen können Uls verwendet werden, um auf der Grundlage der verarbeiteten Daten verschiedene Fragen zu empfehlen. Zum Beispiel könnte die Aufforderungsempfehlungsmaschine 114 Aufforderungen nach ihrer Maßgeblichkeit sortieren und einem Kampagnenmanager eine Liste der nützlichsten Aufforderungen zeigen, um geeignete Aufforderungen für eine Kampagne auszuwählen. Wie unter Nutzung der Offenbarung gewürdigt werden wird, kann der Datensatz alternativ von einem Kampagnenmanager verwendet werden, um Aufforderungen auf andere Weise auszuwählen.
11 ist ein Ablaufplan eines Verfahrens 1100 zum Gruppieren von Bewertungsdaten in einer digitalen Bewertungsplattform wie der digitalen Bewertungsplattform 101 aus 1 in Übereinstimmung mit einer Ausführungsform. Das Verfahren 1100 kann durch eine Verarbeitungslogik wie etwa die oben in Verbindung mit dem Verfahren 900 aus 9 beschriebene ausgeführt werden. Ausführungsformen des Verfahrens 1100 können im Block 1102 beginnen, in dem die Verarbeitungslogik eine erste Aufforderung von einer ersten Kandidatenbewertungskampagne auswählt. Die erste Kandidatenbewertungskampagne enthält einen ersten Datensatz. Der erste Datensatz enthält die erste Aufforderung und kann zusätzliche Aufforderungen, Wertungsdaten, Bewertungsergebnisdaten, Erfolgsdaten, Darstellungseinstellungen usw. enthalten. Im Block 1104 wählt die Verarbeitungslogik eine zweite Aufforderung aus einer zweiten Kandidatenbewertungskampagne aus. Auf die erste und auf die zweite Aufforderung kann in einer Datenbank eines Kandidatenbewertungssystems (wie der digitalen Bewertungsplattform 101 aus 1), die durch eine Verarbeitungsvorrichtung ausgeführt wird, zugegriffen werden. Die zweite Kandidatenbewertungskampagne enthält wie die erste Kandidatenbewertungskampagne einen zweiten Datensatz.
Im Block 1106 bestimmt die Verarbeitungslogik einen Ähnlichkeitsgrad zwischen der ersten Aufforderung und der zweiten Aufforderung. Wie in 1 und 2 zu sehen ist und wie hier beschrieben ist, kann dieser durch die Aufforderungsanalyseeinrichtung 112 des Bewertungskampagnenhilfsmittels 110 bestimmt werden. Die Verarbeitungslogik kann eine Anzahl von Bearbeitungen oder Änderungen, die notwendig sind, um die erste Aufforderung in die zweite Aufforderung umzuwandeln, und/oder eine Anzahl von Bearbeitungen, die notwendig sind, um die zweite Aufforderung in die erste Aufforderung umzuwandeln, berechnen. Auf diese Anzahl von Bearbeitungen wird auch als eine Entfernung Bezug genommen, wobei sie eine Levenshtein-Entfernung mit hier beschriebenen Änderungen und Varianten sein kann.
Im Block 1108 kann die Verarbeitungslogik Daten aus dem ersten Datensatz mit Daten aus dem zweiten Datensatz kombinieren, um einen kombinierten Datensatz zu erzeugen, der sowohl der ersten Aufforderung als auch der zweiten Aufforderung zugeordnet ist. Die kombinierten Daten können Wertungsdaten, Bewertungsergebnisdaten, Erfolgsdaten und andere den beiden Aufforderungen zugeordnete Daten enthalten. Ferner enthält der kombinierte Datensatz sowohl die erste als auch die zweite Aufforderung und kann er zusätzliche der ersten und der zweiten Kandidatenbewertungskampagne zugeordnete Aufforderungen enthalten. Dadurch, dass der erste Datensatz mit dem zweiten Datensatz kombiniert wird, können größere robustere kombinierte Daten gebildet werden. Die Zuverlässigkeit statistisch hergeleiteter Informationen, die aus dem kombinierten Datensatz erhalten werden, kann höher sein als die für den ersten Datensatz oder für den zweiten Datensatz einzeln. Zum Beispiel kann die Maßgeblichkeit eines verwandten Clusters von Aufforderungen mit höherer Genauigkeit bestimmt werden. Zweckmäßigkeitshalber kann der Maßgeblichkeitswert für den Cluster für jede der Aufforderungen in dem Cluster als gültig angesehen werden. Alternativ kann eine weitere Analyse eine maßgeblichste Aufforderung eines identifizierten Clusters bestimmen.
In einigen Ausführungsformen des Verfahrens 1100 vergleicht die Verarbeitungslogik den bestimmten Ähnlichkeitsgrad mit einem Schwellenähnlichkeitsgrad und kombiniert sie die Daten aus dem ersten Datensatz mit Daten aus dem zweiten Datensatz, um den kombinierten Datensatz zu erzeugen, falls der bestimmte Ähnlichkeitsgrad höher als der Schwellenähnlichkeitsgrad ist. Zusätzlich kann die Verarbeitungslogik bestimmen, dass die erste Kandidatenbewertungskampagne und die zweite Kandidatenbewertungskampagne solche für Stellen in demselben Stellensektor sind. Dies kann erfolgen, da die in einer Kampagne in einem Stellensektor wie etwa dem Vertrieb verwendeten Aufforderungen von den für eine Kampagne in einem anderen Stellensektor wie etwa dem technischen verwendeten Aufforderungen erheblich verschieden sein können. Wenn die Stellen erheblich verschieden sind, kann das Kombinieren von Daten von den nicht verwandten Kampagnen nicht dieselben Vorteile wie das Kombinieren von Daten von verwandten Kampagnen bieten. Der Stellensektor kann ein Vertriebssektor oder ein technischer Sektor oder ein Buchhaltungssektor oder ein juristischer Sektor oder ein anderer Stellen- oder Beschäftigungssektor sein.
In einigen Ausführungsformen des Verfahrens 1100 fügt die Verarbeitungslogik außerdem die erste Aufforderung oder die zweite Aufforderung zu einem Aufforderungscluster hinzu, der verwandte Aufforderungen enthält, wie sie durch ihren Ähnlichkeitsgrad bestimmt sind. Daraufhin kann die Verarbeitungslogik eine der Aufforderungen als eine Aufforderungsvorlage identifizieren und die Aufforderungsvorlage einem Bewertungsentwickler für eine neue Kandidatenbewertungskampagne empfehlen.
Als ein Beispiel sind in einem identifizierten Cluster verwandter Aufforderungen die folgenden Aufforderungen vorhanden

1. Tell us why you are interested in work for ********. [1. Sagen Sie uns, weshalb Sie an Arbeit für ******** interessiert sind.]
2. Why are you interested in working for ********? [2. Weshalb sind Sie daran interessiert, für ******** zu arbeiten?]
3. So why are you interested in our company? [3. Weshalb sind Sie also an unserem Unternehmen interessiert?]
4. Please tell us why you are interested in ********. [4. Bitte sagen Sie uns, weshalb Sie an ******** interessiert sind.]
5. Why do you want to work for ********? [5. Weshalb möchten Sie für ******** arbeiten?]

Wie oben gezeigt ist, repräsentiert ”********” eine Variable, die in die Aufforderungen anstelle eines Unternehmensnamens eingefügt wird, oder andere Identifizierungsinformationen durch das Bewertungskampagnenhilfsmittel 110, um die Analyse- und/oder Vorlagenerzeugung zu ermöglichen. Das Bewertungskampagnenhilfsmittel 110 oder die Verarbeitungslogik des Verfahrens 1100 kann die Entfernungen zwischen jeder dieser Aufforderungen zu jeder der anderen Aufforderungen in dem Cluster berechnen. Diejenige Aufforderung, die die kleinste mittlere Entfernung zu den anderen Aufforderungen besitzt, kann als die Aufforderungsvorlage ausgewählt werden. Daraufhin kann die Aufforderungsvorlage einem Kampagnenmanager empfohlen werden, wenn er eine neue Kandidatenbewertungskampagne erzeugt.
In einigen Ausführungsformen kann die Auswahl der Aufforderungsvorlage dadurch ausgeführt werden, dass die Verarbeitungslogik die Wörter identifiziert, die für ein gewünschtes Ziel am stärksten vorhersagend sind. Die Wörter einer Aufforderung können unter Verwendung eines Trainingsalgorithmus, wie er etwa durch das Systemidentifizierungsmodul 202 aus 2 bereitgestellt werden kann, einzeln gewichtet werden. Zum Beispiel kann von dem Systemidentifizierungsmodul 202 ein naiver Bayes-Systemidentifizierungsalgorithmus oder irgendein anderer Systemidentifizierungsalgorithmus verwendet werden, um eine Wortgewichtung auf ein Ergebnis abzubilden. Dies kann ermöglichen, dass der Kampagnenmanager auf der Grundlage einer gewünschten Metrik wie etwa eines Erfolgsindex Aufforderungsvorlagen mit einer optimalen Formulierung aufbaut, um effektiver zwischen Kandidaten zu unterscheiden. Beispielhafte Wortgewichtungen sind wie im Folgenden zu sehen enthalten.
In dem oben gezeigten Beispiel sind die Wortgewichtungen durch die Häufigkeit jedes Worts in einer spezifischen Menge von Aufforderungen oder in einer Datenbank, die alle von einer digitalen Bewertungsplattform verwendeten Aufforderungen enthält, gegeben. Um die Aufforderungen zu vergleichen, werden die Wortgewichtungen einer Aufforderung summiert und wird die Summe daraufhin über die Anzahl der Wörter in der Aufforderung gemittelt. Dies kann von langen Aufforderungen abhalten. Die Aufforderung mit der höchsten mittleren Wortgewichtung ist die Aufforderung 2 mit einem mittleren Ergebnis von 0,8814 pro Wort. Die Aufforderung mit der niedrigsten mittleren Wortgewichtung ist die Aufforderung 5, die ein mittleres Ergebnis von 0,4857 pro Wort besitzt. Um unter Verwendung von Ergebnisdaten und/oder eines Trainingsalgorithmus wie etwa des naiven Bayes komplexere Wortgewichtungsschätzwerte bereitzustellen, können verschiedene Verfahren verwendet werden. Anstatt die Häufigkeit jedes Worts in der Menge von Aufforderungen zu verwenden, kann z. B. die Häufigkeit jedes Worts in einer begrenzten Teilmenge von Aufforderungen wie etwa einer Teilmenge von Aufforderungen, von denen bestimmt wird, dass sie effektiver beim Bewerten von Kandidaten als andere Teilmengen von Aufforderungen sind, verwendet werden. Auf diese Weise kann in dem identifizierten Aufforderungscluster eine maßgeblichste Aufforderung bestimmt werden. Diese Aufforderung kann einem Kampagnenmanager während der Erzeugung einer Bewertungskampagne in dem zugeordneten Sektor unter Verwendung der digitalen Bewertungsplattform 101 durch die Aufforderungsempfehlungsmaschine 114 bereitgestellt werden.
12 ist ein Ablaufplan eines Verfahrens 1200 zum Erzeugen von Aufforderungsvorlagen in Übereinstimmung mit einer Ausführungsform. Das Verfahren 1200 kann durch eine Verarbeitungslogik wie die hier beschriebene wie etwa die oben in Verbindung mit 9 und 11 beschriebene ausgeführt werden. Ausführungsformen des Verfahrens 1200 können im Block 1202 beginnen, in dem die Verarbeitungslogik einem Stellensektor in einem Bewertungssystem zugeordnete Aufforderungen ausliest. Zum Beispiel kann das Bewertungskampagnenhilfsmittel 110 aus 1 und 2 bestimmen, dass die Daten 134 der ersten Kampagne und die Daten 136 der zweiten Kampagne, die in der Datenablage 130 gespeichert sind, in verwandten Stellensektoren oder in demselben Stellensektor sind. Dies kann dadurch erfolgen, dass die Namen der Stellen analysiert werden, für die jede Kampagne erzeugt wurde. In einigen Ausführungsformen können beim Identifizieren verwandter Beschäftigungssektoren ebenfalls Beschreibungen der Stellen identifiziert werden. Zusätzlich zu Wertungsdaten und Bewertungsergebnisdaten kann das Bewertungskampagnenhilfsmittel 110 Aufforderungen von den Daten 134 der ersten Kampagne, von den Daten 136 der zweiten Kampagne und/oder von den Daten anderer Kampagnen (falls bestimmt wird, dass sie in dem Stellensektor sind oder mit ihm verwandt sind), die in der Datenablage 130 gespeichert sind, sammeln. In einigen Ausführungsformen können zusätzliche Daten aus einer Menge von Erfolgsdaten enthalten sein.
Im Block 1204 identifiziert die Verarbeitungslogik innerhalb der gesammelten Aufforderungen einen verwandten Cluster von Aufforderungen. Der verwandte Cluster kann durch einen Grad von Ähnlichkeit oder durch eine Entfernung zwischen jeder der Aufforderungen in dem verwandten Cluster charakterisiert sein. Zum Beispiel kann die Entfernung zwischen jeder der Aufforderungen in dem verwandten Cluster niedriger als eine Schwellenentfernung sein. Dies kann so erfolgen, wie es hier in Verbindung mit 5–8 und in Verbindung mit dem Verfahren 900 aus 9 und in anderen Abschnitten der Offenbarung beschrieben ist.
Im Block 1206 erzeugt die Verarbeitungslogik aus dem verwandten Cluster von Aufforderungen eine Aufforderungsvorlage. In einigen Ausführungsformen kann die Aufforderungsvorlage eine oder mehrere Variablen enthalten, die die Anpassung der Aufforderungsvorlage durch einen Kampagnenmanager ermöglichen. Zum Beispiel kann der Kampagnenmanager zur Verwendung anstelle einer Variablen in der erzeugten Aufforderungsvorlage einen Namen der finanzierenden Organisation auswählen. Die Aufforderungsempfehlungsmaschine 114 des Bewertungskampagnenhilfsmittels 110 kann die Aufforderungsvorlage dadurch erzeugen, dass sie unter dem verwandten Cluster von Aufforderungen eine ähnlichste Aufforderung bestimmt. Die ähnlichste Aufforderung kann die Aufforderung mit der niedrigsten mittleren Entfernung zu allen anderen Aufforderungen in dem verwandten Cluster sein.
In einigen Ausführungsformen kann die Aufforderungsempfehlungsmaschine 114 jedem der Wörter in jeder der Aufforderungen Gewichtungen zuweisen und durch Summieren der Gewichtungen und Dividieren durch die Anzahl der Wörter in der Aufforderung die Aufforderung mit der höchsten mittleren Wortgewichtung auswählen. Um die Gewichtung eines Worts auf eine Bewertungswertung, auf ein Bewertungsergebnis oder Bewertungsresultat oder auf einen Erfolgsindex abzubilden, kann die Gewichtung eines Worts ebenfalls unter Verwendung eines Trainingsalgorithmus wie etwa eines naiven Bayes-Algorithmus bestimmt werden. Die Aufforderungsvorlage kann die Aufforderung mit der höchsten mittleren Wortmaßgeblichkeit sein. In einigen Ausführungsformen kann die Maßgeblichkeit oder Verwandtschaft einer Aufforderung mit einem Erfolgsindex auf der Ebene der Aufforderung bestimmt werden. Diejenige Aufforderung (als Ganzes anstatt Wort für Wort genommen), die die Maßgeblichste des verwandten Clusters ist, kann als die Aufforderungsvorlage verwendet werden und einem Kampagnenmanager während der Bildung einer neuen Bewertungskampagne bereitgestellt werden.
Die Aufforderungsvorlage wird Kampagnenmanagern beim Bilden neuer Bewertungskampagnen bereitgestellt, um ihnen beim Aufnehmen nützlicher Aufforderungen zu helfen. Die Wichtigkeit oder Nützlichkeit einer bestimmten Aufforderung kann von dem Stellensektor abhängen. Allgemein kann die Aufforderung als eine Aufforderungsvorlage zur Empfehlung für Kampagnenmanager bereitgestellt werden, falls die Aufforderung bei der Bestimmung, welche Kandidaten in einer Bewertungskampagne ausgewählt werden, und bei der Auswahl hochwertiger Kandidaten, wie durch die nachfolgende Leistung an dem Arbeitsplatz oder in dem Programm bestimmt wird, maßgeblich ist.
Um eine Beziehung oder Korrelation zwischen einer Aufforderung und dem Erfolg von Kandidaten zu bestimmen, nachdem sie ausgewählt worden sind, muss ein Historiendatensatz im Zeitverlauf gesammelt werden. Der Historiendatensatz kann Informationen von Leistungsbewertungen und/oder von anderen Metriken enthalten und kann verwendet werden, um einen Erfolgsindex zu erzeugen. Der Erfolgsindex kann den Erfolg am Arbeitsplatz wie etwa Vertriebsziele oder andere Erfolgsziele, den Anerkennungsprüfungserfolg, Arbeitsfortschrittsraten, die Aufgabeneffizienz, die Verwirklichung usw. enthalten. Einige Beispiele für den Anerkennungsprüfungserfolg können enthalten, ob ein Kandidat eine Anerkennungsprüfung wie etwa eine Anwaltsprüfung, eine Börsenmaklerprüfung, eine CPA-Prüfung, Gremien usw. bestanden hat oder nicht bestanden hat. Bei der Erzeugung eines Erfolgsindex können viele andere Faktoren verwendet werden. Die Wahrscheinlichkeit einer Trennung durch Kündigung eines ausgewählten Kandidaten kann wie eine nachfolgende akademische Leistung ebenfalls enthalten sein. Zum Beispiel kann beim Erzeugen eines Erfolgsindexwerts für einen ausgewählten Kandidaten ein Notendurchschnitt (GPA) verwendet werden. Akademische Testergebnisse können ebenfalls enthalten sein und zu dem Historiendatensatz, nachdem er von dem ausgewählten Kandidaten empfangen wurde, hinzugefügt werden. Einige beispielhafte Testergebnisse können Ergebnisse für den MCAT, PCAT, DAT, GMAT, LSAT, GRE usw. enthalten. Ein Schätzwert der Wahrscheinlichkeit des Abschlusses eines akademischen Programms kann ein Faktor in einem Erfolgsindex sein.
In einigen Ausführungsformen kann der Betrag der Geldbewilligung, die von einem ausgewählten Kandidaten empfangen wurde, und/oder eine Anzahl empfangener Zuwendungen in den zum Erzeugen eines Erfolgsindex verwendeten Erfolgsdaten enthalten sein. Ähnlich können Abhandlungen oder andere akademische, wissenschaftliche oder berufliche Schriftstücke und/oder Darstellungen bei der Erzeugung eines Erfolgsindex enthalten sein. In einigen Ausführungsformen kann ein kumulativer Zitierungsfaktor vorgesehen sein. Zum Beispiel kann ein Zitierungsfaktor über die Qualität oder den Ruf der Veröffentlichung, in der die Abhandlung oder das Schriftstück erscheint, oder über das Forum, in dem eine Darstellung gegeben wird, bestimmt werden. Die Summe der Zitierungsfaktoren kann eine hohe Leistung und/oder ein berufliches Engagement des ausgewählten Kandidaten angeben.
Im Allgemeinen kann bei der Beurteilung der Maßgeblichkeit und/oder der Vorhersagekraft von Aufforderungen, die in der Bewertungskampagne, in der der Kandidat ausgewählt wurde, verwendet wurden, irgendeine Leistungsmetrik, die verwendet werden kann, um einen ausgewählten Kandidaten in Bezug auf die Arbeitsleistung oder die Leistung in einem akademischen Programm usw. zu beurteilen, verwendet werden. Diese Informationen können als Erfolgsdaten in einer Datenbank bereitgestellt werden und können für das Bewertungskampagnenhilfsmittel 110 der digitalen Bewertungsplattform 101 aus 1 zugänglich gemacht werden. In einigen Ausführungsformen, wie etwa, wo die digitale Bewertungsplattform 101 eine Komponente oder ein Dienst eines Personalleitungsmanagementsystems ist, können diese Erfolgsdaten standardmäßig in der Datenablage 130 gespeichert sein. In anderen Ausführungsformen können die Erfolgsdaten als Ausgangsdaten gespeichert werden, während in anderen Ausführungsformen der Erfolgsindex berechnet und daraufhin in der Datenablage 130 gespeichert werden kann.
Bei Verwendung der Historiendaten nach der Entscheidung, um einen Erfolgsindex zu bilden, und beim Verwenden der Historiendaten einschließlich Wertungen und Bewertungsergebnissen von mehreren Bewertungskampagnen können Aufforderungsvorlagen ausgewählt werden, die eine effizientere Beurteilung von Kandidaten und eine verbesserte Qualität in dem Auswahlprozess ermöglichen. Durch Gruppieren von Daten von mehreren Kampagnen können Daten von einer großen Anzahl von Bewertungen kombiniert werden. Zum Beispiel können die kombinierten Historiendaten Daten von Tausenden von Kandidaten bis Hunderttausenden von Kandidaten enthalten.
Durch die Anwendung der Stellensektorgruppierung in Clustern und durch Techniken der Verarbeitung natürlicher Sprache können viele Aufforderungen aus mehreren dünn besetzten Datensätzen gesammelt werden, um verwandte Aufforderungscluster zu identifizieren. Diese Aufforderungscluster können beurteilt werden, um die nützlichste Aufforderung unter den Cluster zu identifizieren. Es kann eine der Aufforderungen ausgewählt werden, um eine Aufforderungsvorlage bereitzustellen, oder es kann ein Verbund der Aufforderungen verwendet werden, um die Aufforderungsvorlage bereitzustellen. Die Aufforderungsvorlage kann dann einem Kampagnenmanager beim Erzeugen einer neuen Bewertungskampagne innerhalb des Stellenclusters bereitgestellt werden.
Um die Maßgeblichkeit einer gegebenen Aufforderung oder eines Clusters von Aufforderungen zu bestimmen, können viele verschiedene Verfahren verwendet werden. In einigen Ausführungsformen kann ein allgemeines vorhersagendes Modell zur Bestimmung der Maßgeblichkeit einer Aufforderung durch die wie im Folgenden gezeigte Gleichung (1) ausgedrückt werden: y = F(r) (1) In Gleichung (1) kann F eine Funktion (z. B. eine lineare Funktion, eine nichtlineare Funktion, einen angepassten Algorithmus usw.) repräsentieren, ist y ein Bewertungsergebnis für einen Kandidaten und ist r ein Vektor der Wertungen, die durch eine oder mehrere Prüfungen zugewiesen worden sind, wobei r eine Länge im Bereich von 1 bis n besitzt, wobei n die Gesamtanzahl von Aufforderungen in der Bewertung ist. Die Funktion F kann eine dynamische Vektorlänge behandeln, so dass eine Bewertungsergebnisvorhersage berechnet werden kann, während durch einen Bewertenden zusätzliche Wertungen eingegeben werden. Unter der Voraussetzung einer ausreichenden Menge von Daten y und r kann die Funktion F so modelliert werden, dass sie die Vorhersage eines y aus einem gegebenen r ermöglicht. Das Vorhersagemodell kann durch das Bewertungskampagnenhilfsmittel 110 oder durch andere Komponenten der digitalen Bewertungsplattform 101 bereitgestellt werden.
Der normierte Wert des Ergebnisses oder der Wertung kann nach der Normierung wie in der im Folgenden gezeigten Gleichung (2) zwischen 0 und 1 berichtet werden: Wertung = Wertung/Klassierungsskale, (2) wobei die Klassierungsskale das maximal verfügbare Ergebnis repräsentiert. Zum Beispiel ist die Klassierungsskale 5, wo eine Beurteilungs- oder Bewertungsskale von 1–5 verwendet wird. Falls ein Kandidat auf einer Klassierungsskale von 5 eine Wertung von 3 empfängt, wäre die normierte Wertung 0,6.
Um die Maßgeblichkeit einer Frage zu bestimmen, kann eine Wertungsmatrix R zusammengesetzt werden, wobei jede Zeile der Matrix einen Wertungsvektor r von der Bewertung eines Kandidaten enthält. Zum Beispiel kann eine solche Wertungsmatrix R wie in der folgenden Gleichung (3) gezeigt sein:
Jede Spalte von R kann einer anderen Aufforderung entsprechen, die innerhalb eines Stellensektors, der analysiert wird, verwendet wird. Wenn eine gegebene Aufforderung, die analysiert wird, in einer bestimmten Bewertungskampagne nicht verwendet wurde, kann eine Zeile, die einem Kandidaten entspricht, der in dieser bestimmten Kampagne bewertet wurde, für diese gegebene Aufforderung in dem Wertungsvektor r einen Wert von null als die Wertung verwenden. Die Wertungsmatrix R kann eine dünn besetzte Matrix sein.
Um ein Maß für die Maßgeblichkeit zu bestimmen, kann die Wertungsmatrix R in zwei Abschnitte, einen mit hohen Wertungen und einen anderen mit niedrigen Wertungen, zerlegt werden. Um die Wertungen von R in die zwei Matrizen zu sortieren, kann ein Schwellenwert verwendet werden. Wie im Folgenden gezeigt ist, können z. B. Wertungen unter einem Schwellenwert von 0,5 in der niedrigen Matrix angeordnet werden, während Wertungen gleich oder größer 0,5 in einer hohen Matrix angeordnet werden können. Wie im Folgenden gezeigt ist, kann von den von null verschiedenen Wertungen in der Matrix der unteren Wertungen zusätzlich ein Wert von 1 subtrahiert werden, um eine Matrixkomponente R_pos positiver Wertungen und eine Matrixkomponente R_neg negativer Wertungen zu erzeugen.
was vereinfacht werden kann zu:
Wenn die geteilte Wertungsmatrix R_split wie in Gleichung (5) gezeigt formuliert wird, kann ein Systemidentifizierungsalgorithmus wie etwa Stützvektormaschinen, Entscheidungsbäume, symbolische Regressionen unter Verwendung genetischer Programmierung, neuronale Netze oder ein anderer angewendet werden. Zum Beispiel kann ein Algorithmus nicht negativer kleinster Quadrate mit Nebenbedingungen verwendet werden, um einen Vektor entsprechender Gewichtungen β zu erzeugen, wo jede Frage eine Gewichtung für negative Klassierung und positive Klassierung besitzt.
Um die Verwendung der Wertungsmatrix R_split weiter darzustellen, kann eine beispielhafte Bewertungsergebnismatrix vorgesehen sein. In dieser Bewertungsergebnismatrix wird eine einzelne Metrik verwendet: die Bewertungsentscheidung von Kandidaten. Zum Beispiel können Kandidaten in einer Bewertungskampagne Kategorieentscheidungsergebnisse ”ja”, ”nein” und ”vielleicht” empfangen, die wie in Gleichung (6) gezeigt auf eine zahlenmäßige Darstellung abgebildet werden können:
In anderen Ausführungsformen können anstelle der Bewertungsergebnismatrix andere Metriken einschließlich mehrerer Metriken verwendet werden. Zum Beispiel kann ein Erfolgsindex verwendet werden. Außerdem kann die numerische Abbildung eine andere Abbildung sein, die eine andere Gewichtung zwischen Ergebnissen oder anderen Metriken bereitstellt. Unter Verwendung der Datensätze R_split und Y kann ein prädiktives Modell zum Vorhersagen des Bewertungsergebnisses y bei gegebener Eingangswertungsmatrix R konstruiert werden. Um den Frageneinfluss oder die Fragenmaßgeblichkeit vorherzusagen, können viele verschiedene Typen von Vorhersagemodelloptionen einschließlich Regression, neuronaler Netze, Stützvektormaschinen, Entscheidungszüge, Markov-Modell-Varianten und andere verwendet werden.
Als ein Beispiel kann eine Identifizierung eines Systems positiver kleinster Quadrate mit Nebenbedingungen verwendet werden, um ein Modell in Übereinstimmung mit Gleichung (7) wie folgt gezeigt zu erhalten: β = Isqnonneg(R, Y) (7) wobei β durch Auflösen des linearen Systems, in diesem Fall eines Algorithmus nicht negativer kleinster Quadrate, nach dem kleinsten Rest, bei dem alle Werte von β positiv bleiben, definiert wird. Wenn nach β aufgelöst wird, können negative Klassifizierungswerte β mit den positiven Klassifizierungswerten β kombiniert werden, um die Aufforderungsmaßgeblichkeit zu bestimmen. Von diesen β-Werten können mehrere Maßgeblichkeitsmetriken verfügbar sein. Zum Beispiel kann die Maßgeblichkeit wie im Folgenden in Gleichung (8) gezeigt definiert sein.
In Gleichung (8) repräsentiert β(1:n) alle Koeffizienten der negativen Wertungen und repräsentiert β(n + 1:end) alle Koeffizienten für positive Wertungen. Die Werte in jedem β sind als durch das Entscheidungsergebnis, dem sie zugeordnet sind, normiert gezeigt. Die negativen Werte von β sind durch 1 normiert, da ”nein” auf 1 abgebildet wurde, während die positiven Werte von β durch 3 normiert sind, da ”ja” auf 3 abgebildet ist. Beispielhafte Ergebnisse dieses Prozesses der Beurteilung der Maßgeblichkeit einer Aufforderung sind hier in der oben beschriebenen graphischen Darstellung 1000 aus 10 dargestellt.
13 stellt eine schematische Darstellung einer Maschine in der beispielhaften Form eines Computersystems für Kampagnenbewertungen in Übereinstimmung mit einer Ausführungsform dar. Innerhalb des Computersystems 1300 gibt es einen Satz von Anweisungen, um zu veranlassen, dass die Maschine eine oder mehrere der hier diskutierten Methodiken ausführt. In alternativen Ausführungsformen kann die Maschine in einem LAN, in einem Intranet, in einem Extranet oder in dem Internet mit anderen Maschinen verbunden (z. B. vernetzt) sein. Die Maschine kann in der Kapazität eines Servers oder einer Client-Maschine in einer Client-Server-Netzumgebung oder als eine Peer-Maschine in einer Peer-zu-Peer-Netzumgebung (oder verteilten Netzumgebung) arbeiten. Die Maschine kann ein PC, ein Tablet-PC, eine Set-Top-Box (STB), ein Personal Data Assistant (PDA), ein Zellentelephon, ein Web-Gerät, ein Server, ein Netz-Router, ein Switch oder eine Bridge oder irgendeine Maschine, die einen Satz von Anweisungen (sequentiell oder auf andere Weise), die Maßnahmen spezifizieren, die durch diese Maschine ergriffen werden sollen, ausführen kann, sein. Obwohl nur eine einzelne Maschine dargestellt ist, soll der Begriff ”Maschine” ferner irgendeine Sammlung von Maschinen, die einzeln oder zusammen einen Satz (oder mehrere Sätze) von Anweisungen ausführen, um eine oder mehrere der hier diskutierten Methodiken zur Bewertungsbeurteilung einschließlich der Bewertungsergebnisvorhersage, der Identifizierung von Aufforderungsclustern und der Erzeugung von Aufforderungsvorlagen zur Ausführung und Bewertung digitaler Bewerbungsgespräche und einer anderen Bewertung oder Bewertungen wie etwa der Verfahren 900, 1100 und 1200 in dieser Reihenfolge aus 9, 11 und 12 auszuführen, enthalten. In einer Ausführungsform repräsentiert das Computersystem 1300 verschiedene Komponenten, die in dem wie oben beschriebenen Server-Computersystem 104 implementiert sein können. Alternativ kann das Server-Computersystem 104 mehr oder weniger Komponenten enthalten, als in dem Computersystem 1300 dargestellt sind. Das Computersystem 1300 kann die wie in 3 und 4 gezeigte Nutzerschnittstelle 300 bereitstellen.
Das beispielhafte Computersystem 1300 enthält eine Verarbeitungsvorrichtung 1302, einen Hauptspeicher 1304 (z. B. einen Nur-Lese-Speicher (ROM), einen Flash-Speicher, einen dynamischen Schreib-Lese-Speicher (DRAM) wie etwa einen synchronen DRAM (SDRAM) usw.), einen statischen Speicher 1306 (z. B. einen Flash-Speicher, einen statischen Schreib-Lese-Speicher (SRAM) usw.) und eine Datenablagevorrichtung 1316, von denen jedes über einen Bus 1330 mit jedem anderen kommuniziert.
Die Verarbeitungsvorrichtung 1302 repräsentiert eine oder mehrere Universalverarbeitungsvorrichtungen wie etwa einen Mikroprozessor, eine Zentraleinheit oder dergleichen. Insbesondere kann die Verarbeitungsvorrichtung 1302 ein Computermikroprozessor mit komplexem Anweisungssatz (CISC-Mikroprozessor), ein Computermikroprozessor mit reduziertem Anweisungssatz (RISC-Mikroprozessor), ein Mikroprozessor mit sehr langem Anweisungswort (VLIW-Mikroprozessor) oder ein Prozessor, der andere Anweisungssätze implementiert, oder Prozessoren, die eine Kombinationen von Anweisungssätzen implementieren, sein. Außerdem kann die Verarbeitungsvorrichtung 1302 eine oder mehrere Spezialverarbeitungsvorrichtungen wie etwa eine anwendungsspezifische integrierte Schaltung (ASIC), eine frei programmierbare logische Anordnung (FPGA), ein digitaler Signalprozessor (DSP), ein Netzprozessor oder dergleichen sein. Die Verarbeitungsvorrichtung 1302 ist dafür konfiguriert, die Verarbeitungslogik (z. B. das Bewertungskampagnenhilfsmittel 1326) zur Ausführung der hier diskutierten Operationen und Schritte auszuführen.
Ferner kann das Computersystem 1300 eine Netzschnittstellenvorrichtung 1322 enthalten. Außerdem kann das Computersystem 1300 eine Videoanzeigeeinheit 1310 (z. B. eine Flüssigkristallanzeige (LCD) oder eine Katodenstrahlenröhre (CRT)), eine alphanumerische Eingabevorrichtung 1312 (z. B. eine Tastatur), eine Cursorsteuervorrichtung 1314 (z. B. eine Maus) und eine Signalerzeugungsvorrichtung 1320 (z. B. einen Lautsprecher) enthalten.
Die Datenablagevorrichtung 1316 kann ein computerlesbares Ablagemedium 1324 enthalten, auf dem ein oder mehrere Sätze von Anweisungen (z. B. das Bewertungskampagnenhilfsmittel 1326), die eine oder mehrere der hier beschriebenen Methodiken oder Funktionen verkörpern, gespeichert sind. Das Bewertungskampagnenhilfsmittel 1326 kann außerdem vollständig oder wenigstens teilweise während seiner Ausführung durch das Computersystem 1300 innerhalb des Hauptspeichers 1304 und/oder innerhalb der Verarbeitungsvorrichtung 1302 liegen, wobei der Hauptspeicher 1304 und die Verarbeitungsvorrichtung 1302 außerdem computerlesbare Speichermedien bilden. Ferner kann das Bewertungskampagnenhilfsmittel 1326 über die Netzschnittstellenvorrichtung 1322 über ein Netz weiter gesendet oder empfangen werden.
Obwohl das computerlesbare Ablagemedium 1324 in einer beispielhaften Ausführungsform als ein einzelnes Medium gezeigt ist, ist der Begriff ”computerlesbares Ablagemedium” so zu verstehen, dass er ein einzelnes Medium oder mehrere Medien (z. B. eine zentralisierte oder verteilte Datenbank und/oder zugeordnete Caches und Server), die den einen oder die mehreren Sätze von Anweisungen speichern, enthält. Der Begriff ”computerlesbares Ablagemedium” soll außerdem irgendein Medium enthalten, das einen Satz von Anweisungen zur Ausführung durch die Maschine speichern kann und das veranlassen kann, dass die Maschine irgendeine oder irgendwelche mehreren der Methodiken der vorliegenden Ausführungsformen ausführt. Dementsprechend soll der Begriff ”computerlesbares Ablagemedium” Festkörperspeicher, optische Medien, magnetische Medien oder andere Typen von Medien zum Speichern der Anweisungen, darauf aber nicht beschränkt, enthalten. Der Begriff ”computerlesbares Übertragungsmedium” ist so zu verstehen, dass er irgendein Medium enthält, das einen Satz von Anweisungen zur Ausführung durch die Maschine, um zu veranlassen, dass die Maschine irgendeine oder irgendwelche mehreren der Methodiken der vorliegenden Ausführungsformen ausführt, übertragen kann.
Das Bewertungskampagnenhilfsmittel, die Komponenten und andere Merkmale der digitalen Bewertungsplattform 101 aus 1, die hier beschrieben sind, können als diskrete Hardwarekomponenten oder in die Funktionalität von Hardwarekomponenten wie etwa ASICs, FPGAs, DSPs oder ähnlichen Vorrichtungen integriert implementiert sein. Das Bewertungskampagnenmodul 1322 kann wie hier beschriebene Operationen der Bewertungsbeurteilung implementieren. Außerdem kann das Bewertungskampagnenmodul 1332 als Firmware oder als funktionale Schaltungsanordnung innerhalb von Hardwarevorrichtungen implementiert sein. Ferner kann das Bewertungskampagnenmodul 1332 in irgendeiner Kombination aus Hardwarevorrichtungen und Softwarekomponenten implementiert sein.
Einige Abschnitte der ausführlichen Beschreibung, die folgen, sind hinsichtlich Algorithmen und symbolischer Darstellungen von Operationen an Datenbits innerhalb eines Computerspeichers dargestellt. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die vom Fachmann auf dem Gebiet der Datenverarbeitung verwendet werden, um das Wesen seiner Arbeit einem anderen Fachmann auf dem Gebiet am effizientesten zu vermitteln. Ein Algorithmus wird hier und allgemein als eine selbstkonsistente Folge von Schritten, die zu einem gewünschten Ergebnis führen, verstanden. Die Schritte sind jene, die physikalische Manipulationen physikalischer Größen erfordern. Üblicherweise, aber nicht notwendig, nehmen diese Größen die Form elektrischer oder magnetischer Signale an, die gespeichert, übertragen, kombiniert, verglichen und auf andere Weise manipuliert werden können. Hauptsächlich aus Gründen der üblichen Verwendung hat es sich gelegentlich als zweckmäßig erwiesen, auf diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Terme, Zahlen oder dergleichen Bezug zu nehmen.
Allerdings ist zu beachten, dass alle diese und ähnliche Begriffe bestimmten physikalischen Größen zuzuordnen sind und lediglich zweckmäßige Bezeichnungen sind, die auf diese Größen angewendet sind. Sofern nicht spezifisch etwas anderes ausgesagt ist, wie aus der folgenden Beschreibung hervorgeht, wird gewürdigt werden, dass sich Diskussionen, die Begriffe wie etwa ”empfangen”, ”erzeugen”, ”analysieren”, ”erfassen”, ”ausführen”, ”definieren”, ”spezifizieren”, ”auswählen”, ”wiederherstellen”, ”verarbeiten”, ”bereitstellen”, ”durch Computer berechnen”, ”berechnen”, ”bestimmen”, ”anzeigen” oder dergleichen nutzen, überall in der Beschreibung auf die Aktionen und Prozesse eines Computersystems oder ähnlicher elektronischer Computersysteme beziehen, die Daten, die als physikalische (z. B. elektronische) Größen innerhalb der Register und Speicher des Computersystems dargestellt sind, in andere Daten, die ähnlich als physikalische Größen innerhalb der Computersystemspeicher oder Computersystemregister oder anderer solcher Informationsablage-, Informationsübertragungs- oder Informationsanzeigevorrichtungen dargestellt sind, manipulieren und transformieren.
Außerdem beziehen sich Ausführungsformen der vorliegenden Erfindung auf eine Vorrichtung zum Ausführen der Operationen darin. Diese Vorrichtung kann speziell für die spezifizierten Zwecke konstruiert sein oder kann ein Universalcomputersystem umfassen, das spezifisch durch ein in dem Computersystem gespeichertes Computerprogramm programmiert ist. Ein solches Computerprogramm kann in einem computerlesbaren Ablagemedium wie etwa, aber nicht beschränkt auf, irgendeinem Typ einer Platte einschließlich optischer Platten, CD-ROMs und magnetooptischer Platten, Nur-Lese-Speicher (ROMs), Schreib-Lese-Speicher (RAMs), EPROMs, EEPROMs, magnetischer oder optischer Karten oder irgendeines Medientyps, der zum Speichern elektronischer Anweisungen geeignet ist, gespeichert sein.
Die vorstehende Beschreibung ist zu Erläuterungszwecken mit Bezug auf spezifische Ausführungsformen beschrieben worden. Allerdings sollen die obigen veranschaulichenden Diskussionen nicht erschöpfend sein oder die Erfindung auf die genauen offenbarten Formen beschränken. Im Licht der obigen Lehren sind viele Änderungen und Varianten möglich. Die Ausführungsformen wurden gewählt und beschrieben, um die Prinzipien der Erfindung und ihre praktischen Anwendungen am besten zu erläutern, um dadurch zu ermöglichen, dass ein anderer Fachmann auf dem Gebiet die Erfindung und verschiedene Ausführungsformen mit verschiedenen Änderungen, wie sie für die bestimmte betrachtete Verwendung geeignet sind, nutzt.

Claims

Verfahren, das umfasst: Auswählen einer ersten Aufforderung aus einer ersten Kandidatenbewertungskampagne, wobei die erste Kandidatenbewertungskampagne einen ersten Datensatz umfasst; Auswählen einer zweiten Aufforderung aus einer zweiten Kandidatenbewertungskampagne, wobei auf die erste Aufforderung und auf die zweite Aufforderung in einer Datenbank eines Kandidatenbewertungssystems, das durch eine Verarbeitungsvorrichtung ausgeführt wird, zugegriffen werden kann, wobei die zweite Kandidatenbewertungskampagne einen zweiten Datensatz umfasst; Bestimmen, ob ein Ähnlichkeitsgrad zwischen der ersten Aufforderung und der zweiten Aufforderung einen Schwellenwert übersteigt, durch die Verarbeitungsvorrichtung; und Kombinieren von Daten aus dem ersten Datensatz mit Daten aus dem zweiten Datensatz, um einen kombinierten Datensatz zu erzeugen, der der ersten Aufforderung und der zweiten Aufforderung zugeordnet ist auf der Grundlage der Bestimmung.
Verfahren nach Anspruch 1, wobei das Kombinieren von Daten aus dem ersten Datensatz mit Daten aus dem zweiten Datensatz zum Erzeugen des kombinierten Datensatzes durchgeführt wird, wenn ein Ähnlichkeitsgrad höher als der Schwellenwert der Ähnlichkeit ist.
Verfahren nach Anspruch 1, das ferner das Bestimmen, dass die erste Kandidatenbewertungskampagne und die zweite Kandidatenbewertungskampagne für Stellen in einem Stellensektor sind.
Verfahren nach Anspruch 3, wobei der Stellensektor ein Vertriebssektor oder ein technischer Sektor oder ein Buchhaltungssektor oder ein juristischer Sektor oder ein anderer Stellensektor ist.
Verfahren nach Anspruch 1, wobei das Bestimmen des Grades der Ähnlichkeit aufweist das Bestimmen einer Entfenung zwischen der ersten Aufforderung und der zweiten Aufforderung, wobei die Entfernung zwischen der ersten Aufforderung und der zweiten Aufforderung eine Anzahl von Edits ist, die erforderlich ist, um die erste Aufforderung so zu modifizieren, dass sie identisch ist mit der zweiten Aufforderung.
Verfahren nach Anspruch 1, das ferner umfasst: Analysieren des kombinierten Datensatzes zum Beurteilen einer Korrelation zwischen der ersten Aufforderung und einem Bewertungsergebnis und einer Korrelation zwischen der zweiten Aufforderung und dem Bewertungsergebnis; Klassifizieren der ersten Aufforderung und der zweiten Aufforderung in Übereinstimmung mit den ersten Korrelationen; und Empfehlen der ersten Aufforderung einem Kampagnenmanager während der Erzeugung einer neuen Kandidatenbewertungskampagne wenn die erste Aufforderung höher als die zweite Aufforderung klassifiziert wird.
Verfahren nach Anspruch 2, wobei der Schwellwert des Ähnlichkeitsgrads ein Verhältnis ist, das ermittelt wird durch eine Entfernung zwischen der ersten Aufforderung und der zweiten Aufforderung geteilt durch eine mittlere Länge der ersten Aufforderung und der zweiten Aufforderung.
Verfahren nach Anspruch 1, wobei das Ermitteln der Entfernung zwischen der ersten und zweiten Aufforderung umfasst das Zählen einer Anzahl wortbasierter Bearbeitungen, um die erste Aufforderung in die zweite Aufforderung umzuwandeln.
Verfahren nach Anspruch 1, das ferner umfasst: Addieren von zumindest einem der ersten und der zweiten Aufforderung zu einem Aufforderungscluster, der eine Mehrzahl von Aufforderungen umfasst; Identifizieren einer der Aufforderungen als Aufforderungsvorlage; Empfehlen der Aufforderungsvorlage einem Bewertungsentwickler für eine dritte Kandidatenbewertungskampagne.
Computersystem, das umfasst: eine Datenablagevorrichtung; und eine Verarbeitungsvorrichtung, die mit der Datenablagevorrichtung gekoppelt ist, um eine Bewertungsplattform auszuführen zum: Auswählen einer ersten Aufforderung aus einer ersten Kandidatenbewertungskampagne, wobei die erste Kandidatenbewertungskampagne einen ersten Datensatz umfasst; Auswählen einer zweiten Aufforderung aus einer zweiten Kandidatenbewertungskampagne, wobei auf die erste Aufforderung und auf die zweite Aufforderung in einer Datenbank eines Kandidatenevaluierungssystems, das durch eine Verarbeitungsvorrichtung ausgeführt wird, zugegriffen werden kann, wobei die zweite Kandidatenbewertungskampagne einen zweiten Datensatz umfasst; Ermitteln eines Ähnlichkeitsgrads zwischen der ersten Aufforderung und der zweiten Aufforderung; und Kombinieren von Daten aus dem ersten Datensatz mit Daten aus dem zweiten Datensatz, um einen kombinierten Datensatz zu erzeugen, der der ersten Aufforderung und der zweiten Aufforderung zugeordnet ist.
System nach Anspruch 10, wobei das Kombinieren von Daten aus dem ersten Datensatz mit Daten aus dem zweiten Datensatz zum Erzeugen eines kombinierten Datensatzes durchgeführt wird durch die Evaluationsplattform wenn der Grad an Ähnlichkeit größer ist als der Schwellwert des Grades an Ähnlichkeit.
System nach Anspruch 11, wobei der Schwellwert des Ähnlichkeitsgrads ein Verhältnis ist, das durch die Anzahl der Bearbeitungen zwischen der ersten Aufforderung und der zweiten Aufforderung, dividiert durch eine mittlere Länge der ersten Aufforderung und der zweiten Aufforderung, bestimmt wird.
System nach Anspruch 10, wobei die Bewertungsplattform bestimmen soll, dass die erste Kandidatenbewertungskampagne und die zweite Kandidatenbewertungskampagne für eine einer oder mehrere Stellen in dem Stellensektor sind.
System nach Anspruch 10, wobei das Bestimmen des Grades der Ähnlichkeit aufweist das Bestimmen einer Entfenung zwischen der ersten Aufforderung und der zweiten Aufforderung, wobei die Entfernung zwischen der ersten Aufforderung und der zweiten Aufforderung eine Anzahl von Edits ist, die erforderlich ist, um die erste Aufforderung so zu modifizieren, dass sie identisch ist mit der zweiten Aufforderung.
System nach Anspruch 10, wobei die Verarbeitungsvorrichtung ferner dazu dient, die Bewertungsplattform auszuführen zum: Analysieren des kombinierten Datensatzes zum Beurteilen einer Korrelation zwischen der ersten Aufforderung und einem Bewertungsergebnis und einer Korrelation zwischen der zweiten Aufforderung und dem Bewertungsergebnis; Klassifizieren der ersten Aufforderung und der zweiten Aufforderung in Übereinstimmung mit den Korrelationen; und Empfehlen der ersten Aufforderung einem Kampagnenmanager während der Erzeugung einer neuen Kandidatenbewertungskampagne wenn eine erste Aufforderung höher als die zweite Aufforderung klassifiziert wird.
System nach Anspruch 14, wobei das Bestimmen der Anzahl der Bearbeitungen das Zählen einer Anzahl wortbasierter Bearbeitungen, um die erste Aufforderung in die zweite Aufforderung umzuwandeln, umfasst.
System nach Anspruch 10, wobei die Bewertungsplattform ferner dient zum: Hinzufügen der ersten Aufforderung und/oder der zweiten Aufforderung zu einem Aufforderungscluster, der mehrere Aufforderungen umfasst; identifizieren einer der mehreren Aufforderungen als eine Aufforderungsvorlage; und Empfehlen der Aufforderungsvorlage einem Bewertungsentwickler für eine dritte Kandidatenbewertungskampagne.
Verfahren zum Erzeugen einer Aufforderungsvorlage in einem Bewertungssystem, wobei das Verfahren umfasst: Auslesen mehrerer Aufforderungen, die einem Stellensektor in dem Bewertungssystem zugeordnet sind; Identifizieren eines verwandten Clusters von Aufforderungen innerhalb der mehreren Aufforderungen durch die Verarbeitungsvorrichtung, wobei der verwandte Cluster durch eine Entfernung zwischen jeder der Aufforderungen in dem verwandten Cluster charakterisiert ist, wobei die Entfernung eine Anzahl von erforderlichen Bearbeitungen, um eine erste Aufforderung in dem verwandten Cluster so zu ändern, dass sie gleich einer zweiten Aufforderung in dem verwandten Cluster wird, ist; und Erzeugen einer Aufforderungsvorlage aus dem verwandten Cluster.
Verfahren nach Anspruch 18, wobei das Erzeugen der Aufforderungsvorlage aus dem verwandten Cluster von Aufforderungen ferner umfasst: Bestimmen einer ersten mittleren Entfernung einer ersten Aufforderung des verwandten Clusters zu jeder der anderen Aufforderungen des verwandten Clusters; Bestimmen einer zweiten mittleren Entfernung einer zweiten Aufforderung des verwandten Clusters zu jeder der anderen Aufforderungen des verwandten Clusters; und Auswählen der ersten Aufforderung als die Aufforderungsvorlage wenn die erste mittlere Entfernung kleiner als die zweite mittlere Entfernung ist.
Verfahren nach Anspruch 18, das ferner umfasst: Analysieren eines kombinierten Datensatzes, der den mehreren Aufforderungen zugeordnet ist, um eine Korrelation zwischen jeder der Aufforderungen und einem Bewertungsergebnis zu beurteilen; und Klassifizieren der Aufforderungen in Übereinstimmung mit denr Korrelationen; und wobei das Erzeugen der Aufforderungsvorlage das Erzeugen der Aufforderungsvorlage auf der Grundlage einer am höchsten klassifizierten Aufforderung der mehreren Aufforderungen umfasst.