판별타당도는 어떻게 확인할까?｜Fornell-Larcker와 HTMT 차이

구조방정식 모형으로 논문을 쓰다 보면 심사위원에게 이런 지적을 받는 경우가 늘고 있어요. “판별타당도를 HTMT로 검증해서 제시하시기 바랍니다.” 예전에는 Fornell-Larcker 기준만 보고해도 충분했지만, 이제는 HTMT를 함께 요구하는 학술지가 많아졌습니다. 국내 학회나 대학원 심사에서도 비슷한 흐름이에요. 처음 접하면 낯설게 느껴질 수 있지만, 사실 판별타당도 검증은 연구 모형의 신뢰성을 높이는 핵심 절차입니다.

판별타당도란 쉽게 말해 ‘서로 다른 개념이 정말로 다른 개념인지’를 확인하는 작업이에요. 예를 들어 직무소진, 이직의도, 조직몰입은 이론적으로 구별되는 개념이지만, 설문 문항이 이들을 제대로 구분하지 못하면 사실상 같은 걸 중복 측정한 셈이 됩니다. 그러면 아무리 정교한 가설 검증도 통계적 허상에 불과할 수 있어요. 그래서 판별타당도가 확보되지 않으면 구조모형 분석 결과 자체를 신뢰하기 어렵습니다.

오늘은 판별타당도를 확인하는 대표적인 두 가지 방법, Fornell-Larcker 기준과 HTMT(Heterotrait-Monotrait Ratio)의 차이를 실제 예시와 함께 정리해볼게요. 어떤 상황에서 어떤 기준을 적용해야 하는지, 왜 HTMT가 더 권장되는지 차근차근 살펴보면서 연구 설계에 바로 활용할 수 있도록 도와드리겠습니다.

판별타당도란 무엇인가?

판별타당도(discriminant validity)는 측정도구가 서로 다른 잠재변수를 실제로 구별해내는지를 평가하는 개념이에요. 연구 모형에 포함된 구성개념들이 이론적으로는 분명히 다르지만, 응답자들이 문항을 읽을 때 비슷하게 느끼거나 중복된 의미로 받아들이면 두 개념이 통계적으로 분리되지 않을 수 있습니다. 이렇게 되면 ‘판별타당도가 낮다’ 혹은 ‘판별타당도가 확보되지 않았다’고 말해요.

예를 들어 고객만족과 서비스품질이라는 두 잠재변수를 측정한다고 가정해볼게요. 두 개념은 분명히 다르지만, 설문 문항이 “전반적으로 만족한다”와 “서비스 수준이 우수하다”처럼 유사하게 느껴지면 응답 패턴이 거의 같아질 수 있어요. 그러면 두 변수 간 상관계수가 지나치게 높아지고, 사실상 하나의 개념을 두 개로 나눠 측정한 것과 다름없게 됩니다. 이런 문제를 걸러내는 장치가 바로 판별타당도 검증입니다.

전통적으로는 Fornell과 Larcker(1981)가 제안한 기준을 가장 많이 사용해왔어요. 하지만 2015년 Henseler, Ringle, Sarstedt가 HTMT라는 새로운 기준을 제시하면서 상황이 달라졌습니다. Monte Carlo 시뮬레이션 결과, Fornell-Larcker 기준은 판별타당도 위반을 제대로 탐지하지 못하는 경우가 많았고, HTMT는 95% 이상의 높은 민감도를 보였기 때문이에요. 이제는 대부분의 구조방정식 관련 교재와 학술지 가이드라인에서 HTMT를 기본 검증 방법으로 권장하고 있습니다.

Fornell-Larcker 기준의 이해

Fornell-Larcker 기준은 아주 직관적이에요. 각 구성개념이 설명하는 분산, 즉 평균분산추출(AVE) 값의 제곱근이 해당 구성개념과 다른 모든 구성개념 간의 상관계수보다 커야 한다는 규칙입니다. 수식으로 표현하면 √AVE > 상관계수, 또는 AVE > 상관계수²로 나타낼 수 있어요. 보통 상관행렬표의 대각선에 √AVE 값을 굵게 표시하고, 같은 행과 열에 있는 상관계수들과 비교해서 대각선 값이 모두 크면 판별타당도가 확보된 것으로 판단합니다.

예를 들어 ‘신뢰’의 AVE가 0.64라면 √AVE는 0.80이 되고, ‘만족’의 AVE가 0.58이면 √AVE는 0.76이 됩니다. 두 변수 간 상관계수가 0.55라면 0.80과 0.76 모두 0.55보다 크므로 Fornell-Larcker 기준을 충족하는 거죠. 이렇게 단순히 숫자 크기만 비교하면 되기 때문에 계산이 쉽고, 표 하나로 결과를 깔끔하게 제시할 수 있다는 장점이 있어요.

하지만 이 방법에는 결정적인 한계가 있어요. 통계적 검정 절차가 없고 경험적 규칙에 의존하기 때문에, 실제로는 두 개념이 충분히 구별되지 않는데도 기준을 통과하는 경우가 생깁니다. 특히 구성개념 간 상관이 애매한 수준일 때, Fornell-Larcker만으로는 판별타당도 부족을 놓칠 확률이 높다는 연구 결과가 여러 차례 보고되었어요. 그래서 최근에는 “Fornell-Larcker 기준만 제시하면 심사에서 부족하다”는 피드백을 받는 사례가 늘고 있습니다.

HTMT의 등장 배경과 계산 원리

HTMT는 ‘Heterotrait-Monotrait Ratio of Correlations’의 약자로, 우리말로는 ‘이종특성-동종특성 상관비율’ 정도로 옮길 수 있어요. 이름이 조금 복잡하지만 원리는 간단합니다. 서로 다른 구성개념에 속한 문항들 간의 평균 상관(이종특성)을, 같은 구성개념에 속한 문항들 간의 평균 상관(동종특성)의 기하평균으로 나눈 값이에요. 수식으로는 HTMTij = (r̄_ij) / √(r̄_ii × r̄_jj)로 표현됩니다. 여기서 r̄_ij는 구성개념 i와 j의 문항들 사이 평균 상관, r̄_ii와 r̄_jj는 각각 i 내부, j 내부 문항들 간 평균 상관이에요.

이 값이 1에 가까울수록 두 구성개념이 사실상 구분되지 않는다는 뜻이고, 0에 가까울수록 확실히 구별된다고 해석해요. 일반적으로 HTMT 값이 0.85 미만이면 엄격한 기준에서 판별타당도가 확보된 것으로 보고, 개념적으로 매우 가까운 구성개념들일 때는 0.90 미만을 완화된 기준으로 적용하기도 합니다. 만약 HTMT가 0.90을 넘으면 판별타당도에 문제가 있다고 판단하고, 모형을 수정하거나 문항을 재검토해야 해요.

HTMT의 가장 큰 강점은 부트스트래핑을 통해 신뢰구간을 추정할 수 있다는 점이에요. 예를 들어 HTMT 값이 0.87로 나왔더라도, 95% 신뢰구간의 상한이 1을 포함하지 않으면 통계적으로 판별타당도가 확보된 것으로 해석할 수 있습니다. 이런 통계적 검정이 가능하기 때문에 단순한 경험칙에 머물렀던 Fornell-Larcker보다 훨씬 설득력 있는 증거를 제시할 수 있어요. 실제로 Henseler 등(2015)의 시뮬레이션에서는 HTMT가 판별타당도 위반을 95% 이상 탐지한 반면, Fornell-Larcker는 상당수를 놓친 것으로 나타났습니다.

Fornell-Larcker와 HTMT 비교

두 기준을 표로 정리하면 차이가 더 명확하게 보여요. 아래 표는 실제 논문에서 자주 인용되는 비교 포인트를 요약한 것입니다.

구분	Fornell-Larcker 기준	HTMT
판단 방식	√AVE > 상관계수	이종특성/동종특성 상관비율 < 0.85 또는 0.90
통계적 검정	없음 (경험적 규칙)	부트스트래핑 신뢰구간 검정 가능
민감도	낮음 (위반을 놓칠 가능성 높음)	높음 (시뮬레이션상 95% 이상 탐지력)
계산 복잡도	간단함	약간 복잡하나 소프트웨어가 자동 계산
학계 권고	보조적 확인 수단	현재 표준 평가 방법으로 권장
제시 형태	상관행렬 대각선 강조 표	HTMT 비율 행렬 표

표에서 보듯이 Fornell-Larcker는 여전히 간편하고 직관적이지만, 민감도가 낮아 단독으로 사용하기에는 부족하다는 평가를 받아요. 반면 HTMT는 계산이 조금 더 복잡하지만 SmartPLS, AMOS, R의 semTools 패키지 등 대부분의 통계 도구에서 자동으로 산출해주기 때문에 실무적으로 큰 부담은 없습니다. 그래서 많은 연구자들이 두 가지 결과를 모두 보고하되, 최종 판단은 HTMT에 기대는 방식을 택하고 있어요.

실제 분석에서의 적용 방법

실제로 논문에 판별타당도 결과를 제시할 때는 어떻게 해야 할까요? 먼저 확인적 요인분석(CFA)이나 PLS-SEM 알고리즘을 실행한 뒤, 각 구성개념의 AVE와 상관계수를 정리한 표를 만듭니다. 대각선에는 √AVE를 굵게 표시하고, Fornell-Larcker 기준 충족 여부를 기술해요. 그런 다음 별도의 HTMT 행렬 표를 만들어 모든 구성개념 쌍에 대한 HTMT 값을 제시하고, 기준치(0.85 또는 0.90)와 비교한 결과를 서술합니다. 가능하다면 부트스트래핑을 통해 95% 신뢰구간 상한값도 함께 보고하는 것이 좋습니다.

예를 들어 다섯 개의 잠재변수가 있는 모형이라면, 5×5 HTMT 행렬을 표로 만들고 “모든 HTMT 값이 0.85 미만으로 나타나 판별타당도가 확보되었다” 또는 “A와 B 간 HTMT가 0.88로 0.85를 초과했으나, 95% 신뢰구간 상한이 0.94로 1을 포함하지 않아 판별타당도가 인정된다”와 같이 구체적으로 기술해요. 이렇게 하면 심사위원이 결과를 명확하게 이해할 수 있고, 방법론적 엄격성도 높아집니다.

공식 안내를 보면 SmartPLS에서는 ‘Discriminant Validity’ 메뉴에서 HTMT를 바로 산출할 수 있고, R에서는 ‘semTools’ 패키지의 ‘discriminantValidity’ 함수로 간편하게 확인할 수 있어요. AMOS 사용자라면 별도의 엑셀 계산이나 플러그인을 활용해야 하지만, 최근에는 관련 매크로도 많이 공유되고 있습니다. 어떤 도구를 쓰든 HTMT 결과를 보고하는 것이 이제는 기본 절차가 되었다고 생각하시면 돼요.

판별타당도 검증 체크리스트

논문 제출 전에 아래 항목을 점검해보면 실수를 줄일 수 있어요.

• 모든 구성개념의 AVE가 0.5 이상인가?
• Fornell-Larcker 표에서 대각선 √AVE 값이 같은 행·열의 상관계수보다 모두 큰가?
• HTMT 행렬을 별도로 작성했는가?
• 모든 HTMT 값이 0.85(또는 정당화된 0.90) 미만인가?
• 부트스트래핑을 실시했다면, 각 HTMT에 대한 95% 신뢰구간 상한이 1을 포함하지 않는가?
• 기준치를 벗어난 쌍이 있다면, 그 이유와 대처 방안을 논의했는가?
• 사용한 통계 소프트웨어와 버전, 분석 절차를 명시했는가?

이 체크리스트를 하나씩 확인하면 판별타당도 관련 심사 지적을 상당 부분 예방할 수 있어요. 특히 HTMT 신뢰구간 검정은 아직 국내 논문에서 누락되는 경우가 많으니 꼭 챙기시길 권해드립니다.

자주 묻는 질문 (FAQ)

Q1. Fornell-Larcker 기준만 보고해도 되나요?

예전에는 가능했지만, 이제는 대부분의 학술지와 심사위원이 HTMT를 함께 요구하는 추세예요. Fornell-Larcker만 단독으로 제시하면 방법론이 부실하다는 평가를 받을 수 있으므로, 두 가지를 모두 보고하거나 최소한 HTMT를 주된 기준으로 삼는 것이 안전합니다.

Q2. HTMT 값이 0.85와 0.90 사이면 어떻게 해석하나요?

엄격한 기준(0.85)을 적용하면 판별타당도가 의심스러운 상황이지만, 연구 분야나 구성개념의 특성상 개념적 유사성이 클 경우 0.90을 완화 기준으로 사용할 수 있어요. 다만 이때는 왜 완화 기준을 적용했는지 논문에 논리적인 근거를 반드시 제시해야 합니다.

Q3. HTMT는 어떤 소프트웨어에서 계산할 수 있나요?

SmartPLS 3.0 이상 버전에서는 기본 기능으로 HTMT를 제공하고, R의 semTools 패키지, AMOS용 엑셀 매크로, Python의 semopy 라이브러리 등에서도 계산 가능합니다. 무료 도구로는 JASP나 Jamovi에서도 부분적으로 지원되니 참고하세요.

Q4. HTMT 신뢰구간이 1을 포함하면 무조건 판별타당도가 없는 건가요?

네, 95% 신뢰구간 상한이 1을 포함한다는 것은 두 구성개념이 통계적으로 구별되지 않을 가능성이 높다는 뜻이에요. 이 경우 해당 구성개념 쌍의 문항을 재검토하거나, 모형을 수정하는 것이 바람직합니다.

Q5. AVE가 0.5 미만이면 판별타당도 검증이 의미 없나요?

AVE가 0.5 미만이면 수렴타당도에 문제가 있는 상태이므로, 판별타당도를 논하기 전에 먼저 해당 구성개념의 측정 문항을 개선해야 해요. 수렴타당도가 확보되지 않으면 판별타당도 분석 결과도 신뢰하기 어렵습니다.

Q6. 교차적재량(cross-loadings) 검토는 이제 안 해도 되나요?

Henseler 등(2015)과 Hair 등의 최신 지침에 따르면, 교차적재량 검토는 구시대적 방법으로 간주되고 있어요. HTMT가 더 민감하고 통계적 검정이 가능하기 때문에, 교차적재량 대신 HTMT를 보고하는 것이 현재의 표준입니다.

Q7. 표본 크기가 작을 때 HTMT를 사용해도 될까요?

HTMT 자체는 표본 크기에 민감하지 않지만, 부트스트래핑 신뢰구간의 안정성을 위해 최소 200개 이상의 표본을 권장해요. 표본이 너무 작으면 신뢰구간이 넓어져 1 포함 여부를 판단하기 어려울 수 있습니다.

Q8. 판별타당도가 확보되지 않았을 때 대처 방법은?

가장 먼저 문항 내용을 검토해 중복되거나 모호한 표현이 없는지 확인하고, 필요하다면 탐색적 요인분석을 다시 실시해 문항을 정제하세요. 그래도 해결되지 않으면 문제가 되는 두 구성개념을 하나로 통합하거나, 고차요인 모형을 고려하는 방법도 있습니다.

본 글은 2025년 7월까지 공개된 학술 문헌과 통계 방법론 자료를 바탕으로 작성되었으며, 특정 소프트웨어의 버전이나 기능은 업데이트에 따라 달라질 수 있습니다. 연구 설계나 통계 분석에 관한 최종 판단은 지도교수 또는 해당 분야 전문가와 상의하시길 권해드립니다.