“우리의 선발 도구는 여전히 유용하다. 다만 예측변인과 준거의 관계는 지금까지 알려진 것보다 상당히 낮다.” 미네소타대학교 폴 새킷(Paul R. Sackett) 교수 연구팀이 2022년 Journal of Applied Psychology에 발표한 논문의 결론입니다. 이 논문은 지난 20여 년간 채용 실무의 기준선 역할을 해온 슈미트와 헌터(Schmidt & Hunter, 1998)의 타당도 표를 정면으로 다시 계산했고, 그 결과 인지능력검사(GMA)의 예측 타당도는 .51에서 .31로 떨어졌으며 구조화 면접(.42)이 1위로 올라섰습니다. 미국 산업조직심리학회(SIOP) 회보 TIP의 소개에 따르면, 새킷 본인은 이 연구를 두고 “내 경력에서 가장 중요한 논문”이자 학계에 대한 “방향 수정(course correction)”이라고 표현했습니다. 이번 글에서는 무엇이 잘못됐고, 순위표가 어떻게 바뀌었으며, 진단·채용 실무는 무엇을 다시 설계해야 하는지를 짚어봅니다.

반세기 동안 인용된 표 하나

인사 선발을 공부한 사람이라면 한 번쯤 본 표가 있습니다. 슈미트와 헌터가 1998년에 정리한 ‘선발 도구별 예측 타당도’ 표입니다. 이 표에 따르면 워크샘플 테스트가 .54, 인지능력검사와 구조화 면접이 나란히 .51, 직무지식검사가 .48이었습니다. 여기서 말하는 타당도는 도구 점수와 이후 직무성과 사이의 상관계수이고, 1에 가까울수록 예측이 정확하다는 뜻입니다.

이 표는 단순한 학술 자료가 아니었습니다. 인지능력검사가 사실상 최상위 예측변인이라는 결론은 ‘똑똑한 사람을 뽑는 것이 가장 확실한 채용 전략’이라는 실무 상식으로 굳어졌고, 수많은 적성검사와 인적성 시험의 존재 이유가 됐습니다. 국내 대기업 공채의 필기 전형, 글로벌 컨설팅펌의 수리·논리 테스트, 온라인 스크리닝 도구가 모두 같은 근거 위에 서 있었습니다. 동시에 이 결론은 오랫동안 HR을 괴롭혀온 딜레마의 출발점이기도 했습니다. 인지능력검사는 인종·집단 간 점수 차이가 가장 큰 도구에 속하기 때문입니다. 예측력을 최대화하면 다양성이 무너지고, 다양성을 지키려면 예측력을 포기해야 한다는 이른바 타당도–다양성 트레이드오프가 여기서 생깁니다.

그런데 2022년, 그 표의 숫자 자체가 부풀려져 있었다는 지적이 나왔습니다. 그것도 인지능력검사 옹호론을 반박해온 진영이 아니라, 같은 방법론을 쓰고 가르쳐온 연구자들 스스로의 입에서였습니다.

범위 제한 보정, 어디서 어긋났나

문제의 핵심은 범위 제한(range restriction) 보정이라는 통계 절차입니다. 개념 자체는 상식적입니다. 어떤 회사가 인적성 검사 상위 20%만 뽑았다면, 입사자들의 검사 점수는 좁은 구간에 몰려 있습니다. 이렇게 좁아진 집단 안에서 계산한 상관계수는 실제보다 작게 나오므로, 지원자 전체 집단에 적용할 값으로 되돌리려면 위쪽으로 보정을 해야 합니다.

새킷 연구팀이 지적한 것은 보정을 한다는 사실이 아니라 보정의 크기를 정하는 방식이었습니다. 메타분석은 수십, 수백 개 연구를 합치는데 각 연구가 얼마나 범위 제한을 겪었는지는 대부분 보고되지 않습니다. 그래서 연구자들은 정보가 있는 소수의 연구에서 보정계수를 뽑아 ‘인위값 분포(artifact distribution)’를 만들고, 그것을 전체에 일괄 적용해 왔습니다.

여기서 두 종류의 연구가 뒤섞였습니다. 예측타당도 연구는 지원자에게 검사를 실시하고 그 점수로 선발한 뒤 나중에 성과를 측정합니다. 범위 제한이 실제로 크게 일어납니다. 반면 동시타당도 연구는 이미 근무 중인 재직자에게 검사를 실시하고 그 시점의 성과와 비교합니다. 검사 점수가 선발에 쓰인 적이 없으니 그 검사로 인한 범위 제한은 거의 없습니다. 그런데 기존 메타분석들은 예측 연구에서 구한 큰 보정계수를 동시 연구에까지 그대로 적용했습니다. 겪지도 않은 손실을 되돌려준 셈입니다.

구체적인 사례가 면접입니다. 슈미트와 헌터가 인용한 맥다니엘 외(McDaniel et al., 1994)의 면접 메타분석은 245개 연구 중 14개에서만 범위 제한 추정치를 얻어 평균값(U=1.47)을 만들고, 그것을 예측·동시 연구 구분 없이 전부에 적용했습니다. 그 결과 구조화 면접의 관측 상관 .28은 준거 신뢰도 보정으로 .37이 되고, 범위 제한 보정으로 다시 .51까지 올라갑니다. 마지막 한 단계가 값을 38% 끌어올린 것입니다. 새킷 팀은 이 마지막 보정의 근거가 부실하다고 보아 .37을 채택했고, 이후 허프컷 외(Huffcutt et al., 2014)의 자료를 함께 재계산해 최종적으로 .42라는 값을 얻었습니다.

우리 자신도 이 접근들을 잘못 사용했고, 과거 연구에서 인용했으며, 학생들에게 가르쳤음을 인정한다.
— Sackett, Zhang, Berry & Lievens (2022), Journal of Applied Psychology

학계에서 자기 진영의 표준 절차를 이렇게 명시적으로 철회하는 문장은 흔치 않습니다. 이 한 문장이 논문의 성격을 말해줍니다. 특정 도구를 공격하는 논문이 아니라, 계산 규칙을 고치자는 논문이라는 것입니다.

뒤집힌 순위표

재계산 결과는 이렇습니다. 괄호 안이 1998년 값입니다.

• 구조화 면접 .42 (.51) — 1위
• 직무지식검사 .40 (.48)
• 경험적 바이오데이터 .38 (.35) — 오히려 상승
• 워크샘플 테스트 .33 (.54) — 가장 큰 하락
• 인지능력검사 .31 (.51)
• 정직성 검사 .31 (.41)
• 어세스먼트 센터 .29 (.37)
• 상황판단검사(SJT) .26 — 지식형·행동경향형 모두
• 성실성(일반) .19 (.31)
• 비구조화 면접 .19 (.38)
• 직무경험 연수 .07 (.18)

가장 눈에 띄는 것은 순위 자체보다 하락폭의 비대칭입니다. 논문 초록의 표현대로 대부분의 도구는 여전히 상위권에 남았지만 평균값이 .10~.20씩 내려갔습니다. 그런데 그 폭이 도구마다 달라서, 결과적으로 서열이 뒤바뀌었습니다. 워크샘플은 무려 .21이 빠지며 1위에서 4위로 내려갔고, 인지능력검사는 .20이 빠져 5위권으로 밀렸습니다. 반면 구조화 면접은 .09만 내려가 상대적으로 손실이 적었고, 경험적 바이오데이터는 유일하게 값이 올라갔습니다.

왜 이런 차이가 생길까요? 보정의 과잉이 클수록 하락폭도 크기 때문입니다. 인지능력검사는 실제로 선발에 널리 쓰였기 때문에 ‘범위 제한이 크다’는 전제가 자연스러웠고, 그만큼 큰 보정이 관행적으로 적용돼 왔습니다. 반대로 구조화 면접이나 바이오데이터는 애초에 보정이 덜 개입했거나, 최근 메타분석의 자료 품질이 좋았습니다. 즉 이번 재계산은 ‘어떤 도구가 더 좋으냐’를 다시 물은 것이 아니라, 어떤 도구의 성적표에 통계적 거품이 더 많이 끼어 있었느냐를 물은 것입니다.

비구조화 면접의 .38→.19는 실무적으로 특히 중요한 숫자입니다. 구조화 면접(.42)과의 격차가 .13에서 .23으로 두 배 가까이 벌어졌기 때문입니다. 같은 ‘면접’이라는 이름을 달고 있어도, 질문을 미리 설계하고 평가 기준을 문서화했는지 여부가 예측력의 절반 이상을 좌우한다는 뜻입니다. 도구를 바꾸는 것보다 지금 하고 있는 면접을 구조화하는 편이 비용 대비 효과가 훨씬 크다는 결론이 여기서 나옵니다.

성격검사가 던지는 다른 질문

성격 영역에서는 순위보다 흥미로운 패턴이 나타났습니다. 성실성을 일반적으로 측정한 검사는 .19에 그쳤지만, 맥락화(contextualized)된 성실성 측정은 .25였습니다. 맥락화란 문항을 “나는 꼼꼼한 편이다” 대신 “나는 직장에서 꼼꼼하게 일한다”처럼 특정 상황에 묶어 묻는 방식입니다. 문항 표현을 바꾸는 것만으로 예측력이 3할 이상 올라간 셈입니다. 정서적 안정성(.23), 외향성(.21), 우호성(.19)에서도 맥락화 버전이 일반 버전을 앞섰습니다.

이 결과는 성격 진단을 운영하는 조직에 구체적인 시사점을 줍니다. 시중 검사를 그대로 가져다 쓰면서 ‘성격검사는 예측력이 약하다’고 결론 내리기 전에, 문항이 우리 회사의 업무 맥락을 담고 있는지를 먼저 확인해야 한다는 것입니다. 같은 5요인 모델을 재더라도 측정 방식에 따라 결과가 달라집니다.

또 하나 눈에 띄는 것은 흥미(interests)입니다. 1998년 .10으로 사실상 무시되던 이 변인은 재추정에서 .24로 올라 성실성 일반 측정을 앞섰습니다. 사람이 무엇을 잘하느냐만큼 무엇에 끌리느냐도 성과를 설명한다는 뜻입니다. 직무 적합도를 볼 때 역량 프로파일만 보고 흥미·가치 영역을 부수적으로 취급해온 관행을 다시 볼 필요가 있습니다.

반대 방향의 숫자도 있습니다. 직무경험 연수는 .18에서 .07로 떨어졌습니다. 경력 ‘햇수’는 성과를 거의 예측하지 못한다는 뜻입니다. 이력서의 연차 필터링이나 ‘동종업계 5년 이상’ 같은 요건이 실제로는 예측력이 아니라 편의를 위한 장치였을 가능성을 시사합니다. 경험 자체가 무의미한 것이 아니라, 햇수라는 대리지표가 경험의 질을 담아내지 못하는 것입니다.

인지능력검사를 빼면 무슨 일이 생기나

순위가 바뀌면 시스템 설계도 바뀝니다. 베리·리븐스·장·새킷(Berry, Lievens, Zhang & Sackett)은 2024년 Journal of Applied Psychology에 후속 연구를 실어 이 질문을 직접 다뤘습니다. 바이오데이터, 인지능력검사, 성실성 검사, 구조화 면접, 정직성 검사, SJT 등 여섯 가지 도구를 조합해 ‘예측력 최대화’와 ‘불리효과 최소화’ 사이의 최적 조합을 계산한 것입니다.

결과는 이렇습니다. 옛 타당도 값으로 계산하면 여섯 도구 조합의 최대 타당도는 .66이었고, 여기서 인지능력검사의 가중치를 0으로 내리면 타당도가 .46까지 급락했습니다. 인지능력검사를 빼는 대가가 컸던 것이죠. 그런데 새 타당도 값으로 다시 계산하면, 최대 타당도는 .61이고 인지능력검사를 빼도 .56에 그칩니다. 반면 흑인–백인 합격률 비율로 측정한 불리효과 지표는 .42에서 .67로 크게 개선됐습니다.

인지능력검사를 제외하는 것은 대체로 타당도에 거의 영향을 주지 않으면서 불리효과는 상당히 줄인다. 통념과 달리 인지능력검사는 타당도–다양성 트레이드오프의 핵심 동인이 아니다.
— Berry, Lievens, Zhang & Sackett (2024), Journal of Applied Psychology

다만 이 연구는 트레이드오프가 사라졌다고 말하지 않습니다. 법적 기준선으로 통용되는 불리효과 비율 .80을 넘기려면 타당도가 .48까지 더 내려가야 했습니다. 즉 대가는 여전히 존재하되, 그 대가를 인지능력검사 하나에 물을 수 없게 됐다는 것이 결론입니다. 논쟁의 무대가 ‘적성검사를 쓸 것인가 말 것인가’에서 ‘나머지 도구들을 어떻게 조합할 것인가’로 옮겨간 셈입니다.

또 하나 실무적으로 중요한 발견은 조합의 힘입니다. 개별 도구의 타당도가 .30~.40대로 내려앉았어도, 서로 다른 것을 재는 도구를 묶으면 조합 타당도는 .60대에 이릅니다. 실제로 구조화 면접을 조합에서 빼자 곡선 전체에서 타당도가 크게 떨어졌습니다. 도구 하나의 숫자가 낮아졌다는 이유로 진단 체계를 축소하는 것은 정반대 처방인 셈입니다.

평균값 하나에 속지 않으려면

새킷 팀이 반복해서 강조하는 것이 평균이 아니라 분포를 보라는 조언입니다. 구조화 면접의 타당도 .42에는 표준편차 .19가 따라붙고, 80% 신용구간은 .18에서 .66까지 벌어집니다. 어떤 조직에서는 대단히 강력한 도구이고, 어떤 조직에서는 거의 쓸모가 없다는 뜻입니다. 평균만 보고 ‘구조화 면접이 1위니 도입하자’고 결정하면, 자기 조직이 구간의 어느 쪽에 놓일지에 대해서는 아무 정보도 없이 움직이는 것입니다.

반대 사례도 있습니다. 맥락화된 성실성 측정은 타당도 .25에 표준편차가 .00입니다. 값 자체는 구조화 면접보다 낮지만, 어디에 적용해도 비슷한 결과가 나온다는 뜻입니다. 예측력은 중간이되 예측이 안정적인 도구와, 평균은 높지만 편차가 큰 도구 중 무엇을 고를지는 조직의 상황에 달려 있습니다. 면접관 훈련에 투자할 여력이 없는 조직이라면, 상한이 낮아도 바닥이 단단한 도구가 합리적인 선택일 수 있습니다.

이 관점은 진단 결과를 해석할 때도 유효합니다. 어떤 진단 도구의 ‘타당도가 얼마다’라는 문장은 그 도구가 언제나 그만큼 맞힌다는 뜻이 아닙니다. 직무, 준거 측정 방식, 실행 품질에 따라 실제 값은 크게 흔들립니다. 그래서 외부 메타분석 수치는 출발점일 뿐이고, 결국은 자사 데이터로 검증해야 합니다. 입사 1년 차 성과평가와 선발 단계 점수를 연결해보는 단순한 분석만으로도, 우리 조직에서 어떤 도구가 실제로 작동하는지 확인할 수 있습니다.

논쟁은 아직 끝나지 않았다

이 연구가 학계의 최종 결론인 것은 아닙니다. 오, 르, 로스(Oh, Le & Roth)는 2023년 같은 학술지에 반론을 실어, 동시타당도 연구에 범위 제한 보정을 하지 말자는 새킷 팀의 권고가 지나치다고 지적했습니다. 재직자 집단도 이전 채용·승진·이직 과정을 거치며 이미 걸러진 집단이므로, 보정을 아예 하지 않으면 이번에는 반대로 타당도를 과소추정하게 된다는 것이 요지입니다.

새킷 팀은 같은 해 재반론에서, 자신들이 보정 자체를 반대하는 것이 아니며 보정에 필요한 정보가 있을 때는 보정해야 한다는 입장을 재확인했습니다. 쟁점은 정보가 없을 때 무엇을 기본값으로 삼을 것이냐입니다. 없는 정보를 가정으로 메워 높은 값을 내놓을 것인가, 아니면 보수적으로 낮은 값을 보고할 것인가.

실무자 입장에서 이 논쟁의 교훈은 명확합니다. 선발 도구의 타당도 수치는 자연 상수가 아니라 추정치이며, 어떤 가정 위에서 계산됐는지에 따라 달라집니다. 진단 도구 벤더가 제시하는 타당도 자료를 받아들 때 값의 크기만 볼 것이 아니라, 어떤 표본에서 어떤 보정을 거쳐 나온 수치인지를 묻는 습관이 필요합니다. 좋은 벤더라면 그 질문에 답할 수 있습니다.

HR 담당자를 위한 시사점

• 면접을 바꾸는 것이 가장 큰 레버리지다 — 구조화 면접(.42)과 비구조화 면접(.19)의 격차는 새 추정치에서 두 배 가까이 벌어졌습니다. 새 도구를 도입하기 전에, 질문 설계와 평가 기준 문서화부터 손대세요.
• 도구를 줄이지 말고 조합하라 — 개별 타당도가 .30~.40대여도 서로 다른 속성을 재는 도구를 묶으면 조합 타당도는 .60대에 이릅니다. 숫자가 낮아졌다는 이유로 진단 단계를 없애는 것은 정반대 처방입니다.
• 성격검사는 ‘맥락화’ 여부를 확인하라 — 일반 성실성 측정 .19 대 맥락화 측정 .25. 문항이 우리 업무 상황을 담고 있는지가 예측력을 좌우합니다.
• 경력 연수 필터를 재검토하라 — 직무경험 연수의 타당도는 .07입니다. ‘동종업계 N년 이상’ 요건이 예측력이 아니라 심사 편의를 위한 장치는 아닌지 점검하세요.
• 평균이 아니라 구간을 보고, 자사 데이터로 확인하라 — 구조화 면접의 80% 신용구간은 .18~.66입니다. 선발 단계 점수와 입사 후 성과를 연결하는 간단한 분석만으로도 우리 조직의 실제 위치를 알 수 있습니다.

참고 자료

• Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range — Sackett, Zhang, Berry & Lievens, Journal of Applied Psychology 107(11), 2040–2068 (2022)
• Revisiting the design of selection systems in light of new findings regarding the validity of widely used predictors — Sackett, Zhang, Berry & Lievens, Industrial and Organizational Psychology 16(3), 283–300 (2023)
• Insights from an updated personnel selection meta-analytic matrix: Revisiting general mental ability tests’ role in the validity–diversity trade-off — Berry, Lievens, Zhang & Sackett, Journal of Applied Psychology 109(10) (2024)
• Is Cognitive Ability the Best Predictor of Job Performance? New Research Says It’s Time to Think Again — O’Shea & Luscombe, SIOP TIP 60(3) (2023)
• Revisiting Sackett et al.’s (2022) Rationale Behind Their Recommendation Against Correcting for Range Restriction in Concurrent Validation Studies — Oh, Le & Roth (2023)