Personalauswahl: Anbietercheck mit eigener Studie

Mit einer kompakten und aussagekräftigen Studie könnt ihr selbst die für Euch passenden Tool-Anbieter checken.

Ein paar Bewerber:innen braucht Ihr schon

Eine gute Studie ist keine Rocket Science. Aber für eine kompakte Studie zum Checken von Tools braucht Ihr schon ein paar Bewerberinnen und Bewerber, die auch wirklich vergleichbar sind. So um die zwanzig sollten es schon mindestens sein, für die Ihr auch das Erfolgskriterium erfassen könnt.

Heute beschreibe ich, wie Ihr die Studie so gestaltet, dokumentiert und auswertet, dass Ihr wirklich etwas davon habt und das richtige (für die eigne Organisation und Aufgabenstellung) passende Instrument identifizieren könnt.

Es ist ein bisschen wie in der Eignungsdiagnostik bei Bewerberinnen und Bewerbern. Schreibt erst einmal auf, was Eure Anforderungen an ein Instrument sind.

Definiert ein paar grundlegende Eckpunkte. Das sind dann später Eure Beurteilungskriterien. Zentral dabei sollte immer die prognostische Validität sein. Also die Kennzahl dafür, wie gut ein von Euch überprüftes Verfahren die Leistung von Bewerberinnen und Bewerbern auf der Stelle voraussagt, die Ihr besetzen wollt.

Diese Kennzahl sollte bei vergleichbarer Praktikabilität ausschlaggebend sein. Wenn Ihr einmal selbst rechnet, wie viel Eure Organisation gewinnt, wenn alle ausgewählten neuen Mitarbeiterinnen und Mitarbeiter nur im Durchschnitt 5% besser arbeiten als bei einer Auswahl ohne ein valides Verfahren, dann seht Ihr schnell, dass der Preis eines Verfahrens nicht wirklich wichtig ist. Das rechnet sich ganz schnell.

Redet mit Euren Anbietern, sie werden schon keine Mondpreise haben.

Studiendesign für ein Kriterium mit zwei Ausprägungen

Ihr erfasst Merkmale mit einem Verfahren, um damit etwas vorherzusagen wollen. Das was Ihr direkt erfasst, nennt man „Prädiktor“, das was ihr vorhersagen wollt, nennt man „Kriterium“. Definiert klar vorher, was das Kriterium ist.

Wenn Ihr das richtig macht, habt Ihr eine kompakte Studie und könnt Euren passenden Tool-Anbieter checken oder sogar mehrere vergleichen.

Ein Kriterium kann das entscheidende Interview sein, das nach der Vorauswahl durchgeführt wird. Wenn z. B. die Interviewer die Entscheider sind und wenig Zeit haben, also in Zukunft weniger Interviews machen möchten, dann kann das Sinn machen diese Interviewergebnisse als Vorhersagekriterien zu erheben. So eine Studie ist auch sehr schnell zu realisieren. Ihr könnt in dem Fall Prädiktor und Kriterium fast direkt hintereinander erheben.

Etwas länger dauert es, Kriterien wie eine bestandene Probezeit zu erfassen. Oder auch eine erfolgreich absolvierte Ausbildung, die z. B. Quereinsteiger:innen bei einer Stelle machen, für die Eure Organisation einen Fachkräftemangel hat. In diesen Fällen könnt ihr nur Menschen miteinander vergleichen, die Ihr auch einstellt, bzw. ausbildet und Ihr müsst eine Weile Geduld haben, bis Ihr das Kriterium erfassen könnt.

Solch eine Aufgabe „schaffen“ oder „nicht schaffen“ ist als Kriterium am einfachsten. Da gibt es nur null und eins, „geschafft“ oder nicht „geschafft“. Wenn das als Unterscheidung reicht, dann könnt ihr die Prognose auch genauso unterteilen. Auf Basis der Ergebnisse des angebotenen Verfahrens vorhersagen, ob eine Kandidat:in das Kriterium schaffen wird oder nicht.

Die Ergebnisse könnt Ihr dann in eine Vierfeldertafel eintragen:

Leistung +

Leistung –

Vorhersage +

Richtig +

(h11)

Falsch +

(h12)

Vorhersage –

Falsch –

(h21)

Richtig –

(h22)

Immer die Prognosen in den entsprechenden Feldern eintragen. Es gibt Prognosen, die Erfolg (h11) oder Misserfolg (h22) richtig vorhergesagt haben. Und Prognosen, die Erfolg (h21) und Misserfolg ( h12) jeweils nicht vorhergesagt haben.

Mit dieser Formel könnt Ihr aus solch einer Vierfeldertafel den Korrelationskoeffizienten Phi ausrechen:

Phi ist der Korrelationskoeffizient, mit dem man den Zusammenhang zwischen zwei Variablen in einer Vierfeldertafel errechnen ann

Die Formel für Phi

Die einzelnen Felder aus der Vierfeldertafel findet Ihr über dem Strich wieder. Die richtigen werden miteinander multipliziert und dann wird von diesem Ergebnis das Produkt der beiden falschen Voraussagen abgezogen.

Das Ergebnis davon wird geteilt durch die Wurzel, die aus dem Produkt der Multiplikation aller Spalten- und Zeilensummen der viele Felder miteinander gezogen wird.

Das sieht jetzt ein bisschen kompliziert aus, deshalb haben wir eine Excel-Tabelle vorbereitet, mit der Ihr das direkt ausrechnen könnt. Die Exceltabelle findet Ihr im Bereich der Studiendownloads gemeinsam mit diesem Text.

Wenn Ihr zuerst die Ergebnisse der Vorhersage Eures Verfahrens eintragt und dann, nachdem Ihr das Kriterium erhoben habt (Interviewergebnis, Abschluss der Ausbildung oder Probezeitergebnis) hinzufügt, ist Phi der Wert für die prädiktive Validität des Verfahrens, das Ihr getestet habt.

Dabei ist ganz wichtig dass Ihr folgendes beachtet: Eine Korrelation ist erst einmal nur eine statistische Aussage zur Höhe eines Zusammenhangs. Die Aussage zur Kausalität, dass also das Verfahren die Leistung vorhersagt, erschließt sich nur indirekt durch die zeitliche Abfolge der Messungen und durch die inhaltliche Begründung, die es dafür gibt. Das ist immer wichtig zu beachten, wenn von Korrelationskoeffizienten als Prädiktoren gesprochen wird.

Anhand der so errechneten, oder statistisch präziser ausgedrückt, „geschätzten“ Korrelationskoeffizienten könnt Ihr verschiedene Verfahren miteinander vergleichen.

Studiendesign für Variablen, die mehrere Werte haben

Wenn Prädiktoren und Kriterien nicht dichotom sind, also nicht nur zwei Ausprägungen haben, wie eben „geschafft“ und „nicht geschafft“, dann müsst Ihr aufpassen. Meist haben einfache Noten oder Bewertungen von Interviewer:innen oder Vorgesetzten bzw. der HR Abteilung nicht die richtige Qualität, dass Ihr einfach eine Korrelation mit der Funktion in Excel rechnen könnt.

Nach den Regeln der Statistik müssten die Abstände zwischen allen Noten immer genau gleich sein und genau so auch die Abstände zwischen allen Stufen der Bewertungen immer genau gleich sein. Der Abstand zwischen einer „Eins“ und einer „Zwei“ muss also genau halb wo groß sein, wie der Abstand zwischen einer „Vier“ und einer „Sechs“. Das wäre die Voraussetzung, um die sogenannte Pearson Korrelation zu rechnen.

Wenn Ihr Euch noch an Eure Schulzeit erinnert, dann wisst Ihr, dass der Abstand von einer beliebigen „Eins“ zu einer „Zwei“ nie genau gleich war wie zwischen anderen zwei benachbarten Noten. Ja meist waren noch nicht einmal die „Fünfer“ von zwei unterschiedlichen Personen (egal ob Lehrer oder Schüler) genau gleich.

Daher muss man die Noten oder Bewertungen anders betrachten. Wenn man man auf beiden Seiten, einmal bei der Leistung im Verfahren (dem Prädiktor) und zweitens bei der Leistung im Kriterium jeweils alle Personen, die zu bewerten waren der Reihe nach ordnet dann bekommt man neue Werte die mit eins starten und so weit aufsteigen, wie es Personen gibt. Jeder Person wird also keine einzelne Note oder Bewertung sondern ein Rang zugeordnet. Die am besten bewertete Person bekommt Rang 1, die zweitbeste Rang 2, etc.

Für zwei solche Rangreihen kann man dann den Korrelationskoeffizienten Rho nach Spearman ausrechnen. Die Formel ist die gleiche wie die in Excel als „Korr“ hinterlegte. Auch dazu haben wir eine vorbereitete Excel Tabelle beigefügt, damit Ihr das ganz leicht umsetzen könnt.

Auch mit dieser Tabelle könnt Ihr mehrere Verfahren miteinander über die Korrelationskoeffizienten vergleichen.

Und wie Schmidt et al festgestellt haben: Intelligenztests liegen meist schon bei .5. Und die sind überall einsetzbar. Es gibt also keinen Grund, sich mit niedrigeren Werten zufrieden zu geben.

Viel Spass und Erfolg bei Eurer ersten eigenen Validitätsuntersuchung!

Wenn ihr dazu Fragen habt, dann zögert bitte nicht. Nutzt gern die Kommentare unter dem Beitrag oder kontaktiert uns über Twitter oder LinkedIn oder über das Kontaktformular.

Wollt Ihr mit einer kompakten Studie die passenden Tool-Anbieter checken?

Wir helfen gern!

Anmerkungen der Publisher dieser Seite:

Praktische Lösungen zum Recruiting und zur Eignungsdiagnostik finden Sie hier:

Laufend weitere Vertiefungen und Themen rund um Personalentscheidungen und die dazu gehörenden Eignungsbeurteilungen hier auf eignungsdiagnostik.info.

Wir möchten, dass Sie als Unternehmerin oder Unternehmer bzw. als Führungskraft, die Möglichkeit haben, ihren Erfolg durch noch bessere Personalentscheidungen weiter zu steigern. Dafür haben wir unsere in vielfältigen, auch internationalen Einsätzen gewonnene langjährige Erfahrung und nützliche Erkenntnisse aus der Wissenschaft in die Konstruktion unser Online Assessment Systems einfließen lassen: