Tablet-PCs im Assessment Center

Tablet-PCs im Assessment Center Auswirkungen eines unmittelbaren automatisierten Feedbacks zum Bewertungsverhalten auf Beobachter Stephan Holtmeier 1,2, Friederike Grüterich 2, Anika Biedermann 2, Ann-Kathrin Kittel 2 1 kibit GmbH 2 kölner institut für managementberatung Vortrag auf der 6. Tagung der Fachgruppe Arbeits- und Organisationspsychologie der Deutschen Gesellschaft für Psychologie vom 9. bis 11. September 2009 in Wien Tablet PCs im Assessment Center KI.PAT-Technologie !  Handschriftlich: „digitale Tinte“ !  Bewertungen auf BARS !  plus: drag & drop – Texte !  plus: copy, cut & paste !  plus: zentrale DB / WLAN Beobachterfeedback in Echtzeit 1.  Organisatorische Vorteile (papierfrei, Automatismen, ...) 2.  Flexibilitätszugewinn Stephan Holtmeier, Stand Mai 2006 (modulare ACs, Remote AC, ...) Holtmeier 3.  Qualitätssteigerung !? 04.10.2009 Seite 2 Abbildung 1: beobachten Abbildung 2: bewerten 3 Studien !  Studie 1: Voruntersuchung (Harks, 2005) Vergleich von Pen & Paper vs. KI.PAT (Tablet PC) !  Studie 2: Beurteilungsqualität im AC (Grüterich, 2006) EG: automatisiertes BEO-Feedback (Basis: Experten) KG: kein Feedback !  Studie 3: Beurteilungsqualität im AC (Biedermann & Kittel, 2008) EG: automatisiertes BEO-Feedback (Basis: andere VPN der EG) Stephan Holtmeier, Stand Mai 2006 KG: kognitive Aufgabe Holtmeier 04.10.2009 Seite 4 Ergebnisse Studie 1: Pen & Paper vs. KI.PAT (N = 40) Beobachtung/Bewertung zweier Videosequenzen !  Interrater-Korrelation keine sign. Unterschiede (Tablet: r = .31 und Pen & Paper: r = .28) !  Zeit, die für die Beobachtung genutzt wird Pen & Paper-Gruppe verwendet sign. mehr Zeit für Beobachtungen !  Akzeptanz / Usability: keine sign. Unterschiede KI.PAT Pen & Paper Die Handhabung der Beurteilungssystematik war für mich einfach. 5,33 > 4,89 Die Aufgabe hat mir Spaß gemacht. 5,14 < 5,42 Das Mitschreiben von Stärken/Schwächen [...] fiel mir leicht. 4,00 < 4,16 Stephan Holtmeier, Stand Mai 2006 Das Mitschreiben [...] hielt mich von weiteren Beobachtungen ab. 2,57 > 3,36 Die Beurteilungssystematik war übersichtlich aufgebaut. 5,38 > 5,05 Holtmeier Die diagnostische Methodik würde ich weiter empfehlen. 4,38 < 4,55 04.10.2009 Seite 5 Skala: 1 (trifft nicht zu) – 6 (trifft voll zu) Versuchsaufbau von Studie 2 (vereinfacht) N = 71, quasiexperimentelles 2x3 Design !  Videos von 4 Kandidaten in 3 unterschiedlichen Situationen: - Rollenspiel (R) - Gruppendiskussion (G) - Präsentation (P) !  5 Bewertungsdimensionen !  EG: automatisiertes BEO-Feedback (Basis: Experten, als BEO-Team getarnt) KG: kein Feedback !  Bewertungen nach jeder Situation (12x); BEO-Feedback pro Block (3x) Stephan Holtmeier, Stand Mai 2006 Holtmeier 04.10.2009 Seite 6 Feedbackintervention für Studie 2 (insg. 5 Grafiken) EG: mit Beobachterfeedback, KG: kein Feedback !  Beispiel 1: Häufigkeitsverteilung der Bewertungen je Skalenkategorie im Vergleich zu den mittleren Experten- urteilen (" Elevation) !  Beispiel 2: Abweichungen zur Expertenbewertung auf Dimensionsebene. Über alle Kandidaten Stephan Holtmeier, Stand Mai 2006 und alle Situationen. (" Stereotype Akkuratheit) Holtmeier 04.10.2009 Seite 7 Ergebnisse Studie 2 (Seite 1 von 3) Anpassung der Bewertungen an die Referenz in der EG Stephan Holtmeier, Stand Mai 2006 Assessoren passen Ihre Bewertungen als Folge eines Feedbacks an. Holtmeier 04.10.2009 " Signifikante Annäherung hinsichtlich aller Maße. Seite 8 4 Akkuratheitskomponenten nach Cronbach (1955) !  Elevation (E) erlaubt Aussagen darüber, ob ein Beurteiler im Durchschnitt über alle zu beurteilenden Personen und Dimensionen hinweg angemessen, milder oder strenger urteilt als die anderen Urteiler. !  Differentielle Elevation (DE) gibt das Ausmaß an, in dem ein Urteiler im Hinblick auf eine einzelne zu beurteilende Personen angemessen, zu mildoder zu streng urteilt. !  Stereotype Akkuratheit (SA) erfasst wie genau Dimensionen beurteilt werden. Stephan Holtmeier, Stand Mai 2006 Holtmeier 04.10.2009 !  Differentielle Akkuratheit (DA) Seite 9 Ergebnisse Studie 2 (Seite 2 von 3) Akkuratheit und Beobachterübereinstimmung sign. Ver- nicht sign. besserung sign. Ver- besserung Stephan Holtmeier, Stand Mai 2006 sign. Ver- besserung Holtmeier 04.10.2009 Seite 10 Ergebnisse Studie 2 (Seite 3 von 3) Weitere Variablen: Motivation, Beurteilungssicherheit Diff. zu t3 signifikant sign. Zu- nahme Motivation in der KG ist höher; aber: in beiden Stephan Holtmeier, Stand Mai 2006 Gruppen >6 auf 7er-Skala; Regressionsanalyse: Motivation ist Prädiktor für Akkuratheit. Holtmeier 04.10.2009 Seite 11 Versuchsaufbau von Studie 3 (vereinfacht) N = 78, quasiexperimentelles 2x2x4 Design !  Versuchsdesign ähnlich zu Studie 2. ABER: !  Feedback wurde auf zwei Grafiken reduziert. !  KG bearbeitet kognitive Aufgabe. !  Als Referenzgruppe für die Feedbackintervention wurden tatsächlich die jeweils anderen Versuchspersonen (= BEO-Team) herangezogen. Stephan Holtmeier, Stand Mai 2006 Holtmeier 04.10.2009 Seite 12 Feedbackintervention für Studie 3 (insg.