Wie Sie kognitive Leistungstests verantwortungsvoll nutzen und für alle Beteiligten fair gestalten

Viele Unternehmen setzen kognitive Tests ein, um Lern- und Problemlösefähigkeit zu messen. Doch oft bleiben Fragen offen: Wie valide und gerecht sind diese Verfahren? Und wie lässt sich der Einsatz so gestalten, dass Vielfalt gefördert und nicht gebremst wird? Dieser Artikel hilft Ihnen, Mythen zu entkräften und ein zeitgemäßes Auswahldesign aufzubauen.

Kernbotschaft: Kognitive Tests sind wertvolle Bausteine – ihre Wirkung entfalten sie erst in durchdachten Kompositen, die Validität und Fairness gleichermaßen berücksichtigen.

Hintergrund und Bedeutung

Kognitive Leistungstests, häufig unter dem Label General Mental Ability (GMA) zusammengefasst, werden seit Jahrzehnten diskutiert. Meta-Analysen belegen, dass sie verlässliche Prädiktoren für berufliche Leistung und Lernfähigkeit sind ¹ ². Mit steigender Jobkomplexität wächst der Zusammenhang zwischen GMA und Erfolg. Gleichzeitig haben neuere Re-Analysen und Übersichtsstudien gezeigt, dass frühere Validitätsschätzungen teils überhöht waren und andere Prädiktoren wie strukturierte Interviews oder Integritätsmaße stärker ins Gewicht fallen können (Sackett et al., 2022, 2023; Berry et al., 2024)³. Entscheidend ist daher das Gesamtdesign des Auswahlprozesses.

Fairness spielt dabei eine zentrale Rolle. Untersuchungen zeigen, dass GMA-Tests durchschnittlich größere Subgruppen-Unterschiede aufweisen als andere Methoden ⁵. Situational Judgment Tests (SJTs) und strukturierte Interviews führen im Durchschnitt zu kleineren Differenzen ⁷ ⁸. Allerdings hängt die Größe der Unterschiede stark vom Design ab: Je stärker ein SJT kognitiv gesättigt ist, desto größer werden die Unterschiede ⁸. Eine integrative Betrachtung von Validität und Diversity zeigt, dass Adverse Impact nicht zwangsläufig ein Nebenprodukt von GMA ist. Durch die Kombination mit geeigneten Verfahren lässt sich die Gesamtvalidität erhalten und gleichzeitig das Risiko für unfaire Effekte reduzieren³ ⁶.

Auch die Digitalisierung bringt neue Herausforderungen. Unproctored Internet Testing (UIT) birgt Risiken wie Identitätsbetrug, unerlaubte Hilfe oder Datenmissbrauch. Die Society for Industrial and Organizational Psychology und die Association of Test Publishers geben klare Empfehlungen: Identitätsprüfung vor dem Test, Proctoring-Optionen und Nachverifikation der Ergebnisse sind wichtige Bausteine ¹¹ ¹². Zudem sollten adaptive Testmethoden genutzt werden, um Testlänge zu reduzieren und trotzdem präzise Messergebnisse zu erhalten ¹⁴.

Was es in der Praxis heißt

Um kognitive Tests verantwortlich einzusetzen, ist ein wohlüberlegtes Kompositdesign sinnvoll. Ein Beispiel:

1. Anforderungsanalyse als Ausgangspunkt: Definieren Sie klar, welche Kompetenzen für die Stelle erforderlich sind. Für eine strategische Position könnten Lernfähigkeit, Problemlösestärke und Kommunikationsgeschick zentral sein.

2. GMA-Test (50 %): Ein kurzer, adaptiver Test misst die allgemeine kognitive Leistungsfähigkeit. Durch Computer-adaptive Elemente wird die Testzeit reduziert, ohne die Aussagekraft zu verlieren.

3. Strukturiertes Interview (30 %): Mit standardisierten Fragen und Bewertungsankern erfasst das Interview soziale und fachliche Kompetenzen. Die Gewichtung relativiert etwaige Subgruppen-Unterschiede des GMA-Tests.

4. Situational Judgment Test (20 %): Ein SJT stellt realistische Szenarien dar und fragt nach der besten Reaktion. Er ergänzt kognitive Aspekte um soziale Urteilsfähigkeit und verringert Adverse Impact.

5. Entscheidungslogik: Erstellen Sie ein Scoring-System, das die drei Verfahren kombiniert. Statt einer starren Mindestpunktzahl kann ein hoher Interviewscore einen niedrigeren GMA-Wert teilweise ausgleichen. So bleibt die Gesamtvalidität erhalten und die Auswahl wird fairer.

Beim digitalen Testen gelten besondere Sicherheitsanforderungen. Drei Maßnahmen sind essenziell:

• Identitätsprüfung: Bitten Sie Bewerbende, vorab ihre Identität zu verifizieren. Dies kann über Video-Ident oder die Prüfung offizieller Dokumente geschehen.

• Proctoring-Option: Bieten Sie die Möglichkeit einer beaufsichtigten Testung an. Bei unbeaufsichtigten Tests sollten zufällige Itemauswahlen und Zeitlimits den Einsatz unzulässiger Hilfen erschweren.

• Nachgelagerte Verifikation: Überprüfen Sie auffällige Ergebnisse im weiteren Prozess, etwa durch ein kurzes, betreutes Nachtesten im Interview oder durch das Einholen von Referenzen.

Zwei Textbausteine unterstützen die Kommunikation gegenüber Bewerbenden:

• Transparente Information vor dem Test: „Wir möchten Sie so gut wie möglich kennenlernen. Deshalb setzen wir einen kurzen, adaptiven Test zur allgemeinen Problemlösungsfähigkeit ein. Der Test dauert etwa 20 Minuten und ist speziell für diese Stelle entwickelt. Das Ergebnis fließt als einer von mehreren Bausteinen in die Entscheidung ein.“

• Retest-Regel: „Sollten Sie den Test später erneut absolvieren wollen, ist das nach einer Wartefrist von sechs Monaten möglich. Wir nutzen dann eine Parallelform. Wiederholte Testungen können die Ergebnisse leicht verändern; daher berücksichtigen wir den Mittelwert.“

Beispiel/Minicase

Ein mittelständisches Unternehmen sucht eine Führungskraft für die Produktionssteuerung. Früher wurde nur ein GMA-Test eingesetzt. Die Trefferquote war hoch, aber die Vielfalt im Team nahm ab. Nach einer Analyse der Jobanforderungen führte das Unternehmen ein Komposit ein: ein kurzer GMA-Test, ein strukturiertes Interview und ein SJT zur Teamsteuerung. Zusätzlich wurde die Möglichkeit eines betreuten Nachtests eingeführt. In der zweiten Runde fiel auf, dass eine Kandidatin im GMA-Test schlechter abgeschnitten hatte, im Interview aber überzeugte. Der SJT zeigte, dass sie komplexe Teamsituationen sehr gut löste. Sie wurde eingestellt und übertraf die Erwartungen. Durch die Kombination der Verfahren wurden sowohl Validität als auch Diversity verbessert.

Häufige Fehler – und bessere Optionen

• Monokultureller Einsatz von GMA: Nur auf den Test zu vertrauen kann zu einseitigen Entscheidungen führen. Stattdessen so: Kombinieren Sie GMA mit Interviews, SJTs oder Integritätsmaßen.

• Unklare Kommunikation: Bewerbende wissen oft nicht, warum sie getestet werden. Besser: Erklären Sie Zweck, Dauer und Gewichtung klar und einfach.

• Keine Sicherheitsmaßnahmen beim Online-Testen: Dies lädt zu Betrug ein. Alternative: Identitätsprüfung, adaptive Items und bei Bedarf beaufsichtigte Tests.

• Ignorieren von Übungseffekten: Wiederholungen verändern Ergebnisse. Besser: Definieren Sie Wartefristen und nutzen Sie Parallelformen.

• Mangelnde Anforderungsanalyse: Tests werden eingesetzt, ohne die Stelle zu analysieren. Stattdessen: Starten Sie mit einer sorgfältigen Bedarfsanalyse, um die richtigen Kompetenzen zu messen.

Die Kernaussagen im Überblick

• GMA-Tests sind starke Prädiktoren, entfalten aber erst in Kombination mit anderen Verfahren ihr volles Potenzial.

• Fairness erfordert ein ausgewogenes Design, Transparenz und Sicherheitsmaßnahmen.

• Ein strukturierter, kommunikativer Prozess steigert sowohl Validität als auch Candidate Experience.

Fazit und Ausblick

Kognitive Tests können ein Gewinn sein, wenn Sie sie verantwortungsvoll einsetzen. Welche Erfahrungen haben Sie mit verschiedenen Auswahlinstrumenten gemacht? Teilen Sie Ihre Fragen und Ideen – gemeinsam gestalten wir eine faire und valide Personalauswahl.

Literatur

¹ Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274.
² Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96(1), 72–98.
³ Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(9), 1485–1513; Sackett, P. R., Shewach, O. R., & Keiser, H. N. (2023). Perspectives on the Use of Cognitive Ability Tests in Employment Selection. Journal of Intelligence, 11(3), 56; Berry, C. M., Lievens, F., Zhang, C., & Sackett, P. R. (2024). Insights from an updated personnel selection meta-analytic matrix: Revisiting GMA tests’ role in the validity–diversity trade-off. Journal of Applied Psychology, 109(10), 1611–1634.
⁴ Salgado, J. F. (2019). Meta-analysis of the validity of general mental ability for five performance criteria: Hunter and Hunter (1984) revisited. Frontiers in Psychology, 10, 2227.
⁵ Roth, P. L., Bevier, C. A., Bobko, P., Switzer, F. S., & Tyler, P. (2001). Ethnic group differences in cognitive ability in employment and educational settings: A meta-analysis. Personnel Psychology, 54(2), 297–330.
⁶ Ployhart, R. E., & Holtz, B. C. (2008). The diversity–validity dilemma: Strategies for reducing subgroup differences and adverse impact in selection. Personnel Psychology, 61(1), 153–172.
⁷ McDaniel, M. A., Hartman, N. S., Whetzel, D. L., & Grubb, W. L. (2007). Situational judgment tests, response instructions, and validity: A meta-analysis. Personnel Psychology, 60(1), 63–91.
⁸ Whetzel, D. L., McDaniel, M. A., & Nguyen, N. T. (2008). Subgroup differences in situational judgment test performance: A meta-analysis. Human Performance, 21(3), 291–309.
⁹ Levashina, J., Hartwell, C. J., Morgeson, F. P., & Campion, M. A. (2014). The structured employment interview: Narrative and quantitative review of the research literature. Personnel Psychology, 67(1), 241–293.
¹⁰ Society for Industrial and Organizational Psychology. (2018). Principles for the validation and use of personnel selection procedures (5th ed.). SIOP/APA.
¹¹ Tippins, N. T., Beaty, J., Drasgow, F., Gibson, W. M., Pearlman, K., Segall, D. O., & Shepherd, W. (2006). Unproctored internet testing in employment settings. Personnel Psychology, 59(1), 189–225.
¹² Association of Test Publishers & International Test Commission. (2024). Guidelines for Technology-Based Assessment. International Test Commission.
¹³ Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Moriarty Gerrard, M. O. (2007). Retesting in selection: A meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373–385.
¹⁴ van der Linden, W. J., & Glas, C. A. W. (Eds.). (2000). Computerized adaptive testing: Theory and practice. Springer.