논문을 투고하고 며칠 뒤 받아든 리뷰 결과. “매개효과의 효과크기를 보고하지 않았다”, “부트스트랩 신뢰구간을 제시해야 한다”, “조절효과의 단순 기울기 분석이 누락되었다” 같은 지적이 빼곡하면 한숨부터 나오기 마련이에요. 특히 SSCI 급 저널에서는 이런 통계적 보고의 완성도를 아주 깐깐하게 살핍니다. 분석은 분명히 열심히 했는데, 어떤 지표를 어떻게 표로 정리해야 하는지 몰라서 리젝이나 메이저 리비전을 받는 경우가 정말 많아요.
사실 리뷰어들이 확인하는 핵심 지표는 어느 정도 정해져 있어요. 연구 주제나 모형이 조금씩 달라도, 통계적으로 반드시 보고해야 하는 항목들은 크게 변하지 않습니다. 이 글에서는 SSCI 심사에서 거의 예외 없이 요구되는 7가지 지표를 하나씩 짚어보고, 각 지표를 어떤 소프트웨어로 산출할 수 있는지, 비용은 어느 정도인지, 그리고 결과를 논문에 녹여낼 때 주의할 점까지 구체적으로 다뤄보려고 해요.
분석 도구 선택부터 보고서 작성까지, 예산과 연구 목적에 맞춰 현명하게 판단할 수 있도록 실제 가격 정보와 무료 대안도 함께 정리했으니 끝까지 읽어보시면 분명 도움이 될 거예요.
📌 핵심 요약
- 총 효과·직접 효과·간접 효과의 비표준화 계수와 표준오차를 모두 보고해야 합니다.
- 부트스트랩 신뢰구간은 5,000~10,000회 반복으로 산출하며, 95% CI가 0을 포함하지 않아야 유의한 매개효과로 인정받습니다.
- 효과크기 지표로는 κ², P_M, 완전 표준화 간접효과 등이 요구되며, 단순히 유의성만 제시해서는 부족합니다.
- 모델 적합도는 CFI≥0.95, RMSEA≤0.06, SRMR≤0.08 등을 충족해야 하며, SEM을 사용하지 않더라도 설명력(R²) 변화량은 반드시 보고합니다.
- 조절효과는 상호작용항의 유의성뿐 아니라 단순 기울기 분석과 조건부 효과 표를 함께 제시해야 합니다.
- 소프트웨어 비용은 R, Jamovi, JASP는 무료, Mplus 약 795달러, AMOS 약 1,300달러, STATA 약 1,500달러, SPSS 연간 약 3,000달러 수준입니다.
글 순서
리뷰어가 요구하는 7가지 핵심 지표
SSCI 리뷰어들이 매개효과나 조절효과 분석을 검토할 때 거의 기계적으로 확인하는 지표들이 있어요. 이 항목들이 누락되면 다른 부분이 아무리 훌륭해도 방법론적 엄격성에 의문을 제기하기 쉽습니다. 아래 7가지는 수많은 심사 코멘트와 방법론 문헌에서 반복적으로 등장하는 필수 보고 사항이에요.
첫째, 총 효과와 직접 효과의 추정값입니다. 매개모형을 검증할 때 가장 기본이 되는 출발점이에요. 총 효과(total effect)는 독립변인이 종속변인에 미치는 전체 영향력을 의미하고, 직접 효과(direct effect)는 매개변인을 통제한 후에도 남아 있는 직접적인 영향력을 뜻합니다. 리뷰어는 총 효과가 유의하지 않은데 간접 효과만 유의하다고 주장하는 경우, 혹은 총 효과와 직접 효과의 방향이 크게 다른 경우에 특히 민감하게 반응해요. 비표준화 계수(B)와 표준오차(SE), 그리고 표준화 계수(β)를 함께 제시하는 것이 일반적입니다.
둘째, 간접 효과의 추정값과 부트스트랩 신뢰구간입니다. 매개효과 분석의 심장이라고 할 수 있어요. Baron과 Kenny의 전통적 인과단계 접근법만으로는 간접 효과의 통계적 유의성을 직접 검증할 수 없기 때문에, 현재는 부트스트래핑을 통한 신뢰구간 추정이 표준으로 자리 잡았습니다. 보통 5,000회에서 10,000회의 재표집을 실시하며, 95% 신뢰구간의 하한값과 상한값 사이에 0이 포함되지 않으면 간접 효과가 통계적으로 유의하다고 판단해요. Sobel test의 p값을 보조적으로 제시할 수는 있지만, 부트스트랩 신뢰구간을 대체할 수는 없습니다.
셋째, 매개효과의 효과크기 지표입니다. 간접 효과가 통계적으로 유의하다는 사실만으로는 충분하지 않아요. 그 효과가 실질적으로 어느 정도 크기인지 보여주는 지표가 필요합니다. 가장 널리 쓰이는 것은 Preacher와 Kelley가 제안한 κ²(카파제곱)인데, 이는 간접 효과가 이론적으로 가능한 최대 효과 대비 어느 정도인지를 0에서 1 사이의 값으로 표현해요. 0.01 정도면 작은 효과, 0.09 정도면 중간 효과, 0.25 정도면 큰 효과로 해석하는 것이 일반적입니다. 이 외에도 전체 효과 대비 간접 효과의 비율을 나타내는 P_M(proportion mediated), 혹은 완전 표준화 간접효과(completely standardized indirect effect)도 자주 요구됩니다.
넷째, 모델 적합도 지수입니다. 구조방정식모델(SEM)을 사용했다면 CFI, TLI, RMSEA, SRMR은 거의 필수 보고 사항이에요. 일반적인 기준으로 CFI와 TLI는 0.95 이상, RMSEA는 0.06 이하, SRMR은 0.08 이하일 때 좋은 적합도로 간주합니다. PROCESS 매크로처럼 회귀 기반 접근법을 사용한 경우에도 각 단계별 R² 변화량과 전체 모델의 설명력을 반드시 보고해야 해요. 특히 조절효과가 포함된 모형이라면 상호작용항 투입에 따른 ΔR²와 그 유의성을 명시해야 합니다.
다섯째, 조절효과의 상호작용항과 단순 기울기 분석입니다. 조절효과를 검증할 때는 상호작용항의 회귀계수가 유의한지 확인하는 것에서 그치지 않고, 조절변인의 특정 수준(보통 평균±1SD)에서 독립변인의 효과가 어떻게 달라지는지 단순 기울기(simple slope)를 분석해야 해요. 리뷰어는 이 단순 기울기 값과 유의성 검증 결과를 표로 요구하는 경우가 많고, 상호작용 패턴을 시각적으로 보여주는 그래프도 함께 제출하길 기대합니다.
여섯째, 통계적 검정력과 표본 크기입니다. 매개효과나 조절효과를 안정적으로 검출하려면 충분한 표본이 필요해요. 일반적으로 매개모형은 최소 200~300 사례, 조절효과가 포함된 모형은 상호작용항의 효과크기가 작은 경우 더 큰 표본이 요구됩니다. 사전 검정력 분석(a priori power analysis)을 통해 필요한 최소 표본 크기를 산출하고, 실제 수집된 표본이 이 기준을 충족하는지 보고하는 것이 점점 더 보편화되고 있어요. Monte Carlo 시뮬레이션을 이용한 검정력 분석 결과를 제시하면 리뷰어의 신뢰를 얻는 데 큰 도움이 됩니다.
일곱째, 대체 모형과 민감도 분석입니다. 하나의 모형만 제시하는 것보다, 경쟁 모형이나 대체 모형을 함께 검증하여 결과의 견고성을 입증하면 논문의 설득력이 크게 높아져요. 예를 들어 부분 매개모형과 완전 매개모형을 비교하거나, 매개변인과 종속변인의 위치를 바꾼 대체 모형의 적합도를 확인하는 방식이에요. 또한 인과관계의 방향에 대한 민감도 분석이나, 측정오차를 고려한 잠재변수 모형과 관측변수 모형의 결과를 비교하는 것도 효과적입니다.
| 핵심 지표 | 주요 기준 | 산출 도구 예시 |
|---|---|---|
| 총 효과·직접 효과 | B, SE, β, p값 보고 | PROCESS, lavaan, Mplus |
| 간접 효과·부트스트랩 CI | 5,000~10,000회, 95% CI가 0 미포함 | PROCESS, mediation 패키지, Mplus |
| 효과크기 | κ², P_M, 완전 표준화 간접효과 | MBESS 패키지, PROCESS |
| 모델 적합도 | CFI≥0.95, RMSEA≤0.06, SRMR≤0.08 | lavaan, Mplus, AMOS |
| 단순 기울기 분석 | ±1SD 수준에서 조건부 효과 검증 | PROCESS, interactions 패키지 |
| 검정력·표본 크기 | 사전 검정력≥0.80, N≥200~300 | pwr 패키지, Monte Carlo 시뮬레이션 |
| 대체 모형·민감도 분석 | 경쟁 모형 적합도 비교, 방향성 검토 | lavaan, Mplus |
소프트웨어 선택과 비용 비교
매개효과와 조절효과 분석을 위한 도구는 생각보다 다양해요. 예산, 분석의 복잡성, 그리고 본인의 소프트웨어 숙련도에 따라 최적의 선택이 달라질 수 있습니다. 아래 표는 학술 연구에 널리 사용되는 주요 소프트웨어의 비용과 특징을 정리한 것이에요.
| 소프트웨어 | 예상 비용 (학술용) | 주요 특징 |
|---|---|---|
| R (lavaan, mediation, processR) | 무료 | SEM, 부트스트랩, 효과크기까지 모두 가능. 코드 기반이라 학습 곡선이 있지만 무한한 확장성 제공 |
| Jamovi / JASP | 무료 | GUI 기반으로 초보자도 쉽게 접근. PROCESS 유사 매크로와 SEM 모듈을 무료로 제공 |
| SPSS + PROCESS 매크로 | SPSS 연간 약 3,000달러, PROCESS는 무료 | 국내 대학원에서 가장 익숙한 환경. PROCESS 매크로로 매개·조절 분석에 특화 |
| Mplus | 약 795달러 (단일 사용자) | 복잡한 다층모형, 잠재계층분석, 다중그룹 SEM에 강점. SSCI 논문에서 가장 많이 인용되는 SEM 도구 중 하나 |
| AMOS | 약 1,300달러 | SPSS와 연동되는 그래픽 기반 SEM 도구. 경로 그림을 직접 그리며 모형 설정 가능 |
| STATA | 약 1,500달러 (학술용 전체 기능) | 계량경제학 분야에서 강세. medsem, sem 명령어로 매개·조절 분석 수행 |
비용 측면에서 보면 R과 Jamovi, JASP 같은 오픈소스 도구들이 가장 부담이 적어요. 특히 R의 lavaan 패키지는 구조방정식모델링부터 부트스트랩 신뢰구간, 효과크기 산출까지 거의 모든 기능을 무료로 제공합니다. 다만 코드를 직접 작성해야 하기 때문에 처음에는 진입 장벽을 느낄 수 있어요. 반면 Jamovi나 JASP는 SPSS와 비슷한 GUI 환경에서 클릭 몇 번으로 PROCESS와 유사한 분석을 수행할 수 있어서, 통계 코드에 익숙하지 않은 연구자에게 아주 좋은 대안이 됩니다.
SPSS는 국내 대학원 연구실에서 가장 흔하게 사용되지만, 라이선스 비용이 연간 약 3,000달러로 상당히 높은 편이에요. 다만 학교에서 사이트 라이선스를 제공하는 경우가 많아 개인 부담은 없을 수 있습니다. PROCESS 매크로는 Andrew Hayes가 무료로 배포하며, SPSS에 설치하면 매개·조절·조절된 매개효과까지 손쉽게 분석할 수 있어요. Mplus는 약 795달러의 학술용 라이선스로 구매할 수 있고, 복잡한 다층 모형이나 종단 데이터 분석에 특히 강점이 있어요. SSCI 논문에서 Mplus를 사용한 분석 결과는 리뷰어들에게 상당한 신뢰를 받는 편입니다.
예산이 넉넉하지 않다면 R이나 Jamovi로 시작해서, 분석이 복잡해지거나 리뷰어가 특정 소프트웨어의 출력을 요구할 때 Mplus나 AMOS를 추가로 고려하는 전략이 현실적이에요. 어떤 도구를 선택하든, 분석 코드나 설정을 투명하게 보고하여 재현 가능성을 확보하는 것이 더 중요합니다.
분석 전 반드시 확인할 사전 점검 체크리스트
리뷰어가 주목하는 통계적 유의성과 신뢰구간이 표시된 논문의 한 부분입니다.
본격적인 매개효과·조절효과 분석에 들어가기 전에 데이터와 연구 설계 측면에서 미리 확인해야 할 사항들이 있어요. 이 체크리스트를 하나씩 통과하지 않으면, 나중에 리뷰어로부터 치명적인 방법론적 지적을 받을 수 있습니다.
- 표본 크기가 충분한가? 매개효과 검증에는 최소 200~300 사례가 권장되며, 조절효과가 포함되거나 효과크기가 작을 것으로 예상된다면 더 많은 표본이 필요해요. 사전 검정력 분석을 통해 적절한 표본 크기를 산출했는지 확인하세요.
- 측정도구의 신뢰도와 타당도가 확보되었는가? Cronbach’s α가 0.70 이상인지, 확인적 요인분석에서 요인부하량과 적합도가 양호한지 점검해야 합니다. 잠재변수를 사용하는 SEM의 경우 측정모형의 적합도가 확보되지 않으면 구조모형 검증 결과도 신뢰하기 어려워요.
- 변수 간 선형성과 정규성이 충족되는가? 회귀 기반 접근법에서는 독립변인과 종속변인 간 선형 관계를 가정해요. 산점도와 잔차 플롯을 통해 선형성을 확인하고, 왜도와 첨도가 심각하게 벗어난 경우 로버스트 추정법이나 부트스트래핑을 고려해야 합니다.
- 다중공선성 문제는 없는가? VIF가 5를 초과하는 변수가 있다면 다중공선성을 의심해야 해요. 특히 상호작용항을 생성할 때는 평균중심화(mean centering)를 적용하여 다중공선성을 완화하는 것이 일반적입니다.
- 결측치 처리는 적절한가? 결측치가 5% 이상이라면 완전제거법(listwise deletion)보다 다중대체법(multiple imputation)이나 완전정보최대우도법(FIML)을 적용하는 것이 바람직해요. 결측 패턴이 무작위인지도 사전에 검토해야 합니다.
- 매개변인과 종속변인의 시간적 선행성이 확보되었는가? 횡단 데이터로 매개효과를 검증할 때 리뷰어가 가장 자주 제기하는 문제가 인과관계의 방향성이에요. 가능하다면 종단 데이터를 사용하거나, 최소한 이론적 근거와 대체 모형 검증을 통해 방향성에 대한 논리를 보강해야 합니다.
- 조절변인의 수준 설정이 적절한가? 연속형 조절변인의 경우 평균±1SD 지점에서 단순 기울기를 분석하는 것이 관례지만, 조절변인의 분포가 심하게 치우쳐 있다면 백분위수를 기준으로 삼는 것이 더 적절할 수 있어요.
분석 결과 보고서 작성 시 주의사항
통계 분석을 완벽하게 수행했더라도, 결과를 논문에 어떻게 기술하느냐에 따라 리뷰어의 평가가 크게 달라질 수 있어요. 실제로 리뷰 과정에서 자주 지적되는 보고 방식의 문제점과 그 해결 방안을 정리해 보았습니다.
⚠️ 보고서 작성 시 주요 주의사항
- 표준화 계수와 비표준화 계수를 혼동하지 마세요. 두 가지를 모두 보고하되, 어떤 계수를 본문에 사용했는지 명확히 구분해야 합니다. 일반적으로 비표준화 계수(B)는 원래 측정 단위를 유지하므로 해석이 직관적이고, 표준화 계수(β)는 변수 간 상대적 영향력을 비교할 때 유용해요.
- 부트스트랩 신뢰구간을 보고할 때는 반복 횟수와 신뢰수준을 반드시 명시하세요. “5,000회 부트스트랩 재표집을 실시하여 95% 편의교정 신뢰구간을 산출하였다”와 같은 문장이 메서드 섹션에 포함되어야 합니다.
- 효과크기 지표는 단순히 수치만 나열하지 말고 해석 기준과 함께 제시하세요. 예를 들어 “κ²=0.12로 중간 정도의 매개효과가 확인되었다(Preacher & Kelley, 2011의 기준에 따름)”처럼 독자가 수치의 의미를 바로 이해할 수 있도록 도와주어야 해요.
- 조절효과 그래프는 오차 막대나 신뢰대를 포함하여 그리세요. 단순히 회귀선만 표시한 그래프는 조건별 차이가 통계적으로 유의한지 판단할 정보를 제공하지 못합니다.
- 모델 적합도 지수는 한두 개만 선별적으로 보고하지 말고, CFI, TLI, RMSEA, SRMR을 모두 제시하세요. 각 지수는 모델의 서로 다른 측면을 평가하므로, 특정 지수만 양호하고 다른 지수는 기준을 충족하지 못한다면 그 이유를 논의해야 합니다.
- 인과관계를 과도하게 단정하는 표현은 피하세요. “A가 B를 통해 C에 영향을 미친다”보다는 “A가 B를 경유하여 C에 간접적인 영향이 확인되었으며, 이는 이론적 모형과 일관된다” 정도의 조심스러운 표현이 적절합니다. 횡단 데이터라면 더욱 신중해야 해요.
자주 묻는 질문 (FAQ)
Q1. PROCESS 매크로와 SEM 중 어떤 방법을 선택해야 하나요?
두 접근법은 각각 장단점이 있어요. PROCESS는 회귀 기반으로 직관적이고 사용이 간편하며, 조절된 매개효과나 다중 매개효과 같은 복잡한 모형도 비교적 쉽게 검증할 수 있습니다. 반면 SEM은 측정오차를 통제할 수 있고, 잠재변수를 사용하여 구성개념을 더 정확하게 측정할 수 있다는 결정적인 장점이 있어요. 측정도구의 신뢰도가 높고 단일 지표로 변수를 측정했다면 PROCESS도 충분히 훌륭한 선택이에요. 하지만 여러 문항으로 구성된 척도를 사용했거나 측정오차를 통제해야 하는 상황이라면 SEM이 더 적합합니다. 최근에는 두 방법을 함께 사용하여 결과의 강건성을 입증하는 전략도 자주 활용됩니다.
Q2. 부트스트랩 반복 횟수는 몇 번이 적절한가요?
일반적으로 5,000회면 안정적인 신뢰구간 추정에 충분하다고 알려져 있어요. 하지만 표본 크기가 작거나, 결과가 경계선상에 있을 때(예: 신뢰구간 하한이 0에 매우 근접한 경우)는 10,000회로 늘려서 더 정밀한 추정을 하는 것이 좋습니다. Andrew Hayes의 공식 가이드라인에서도 최소 5,000회, 가능하면 10,000회를 권장하고 있어요. 반복 횟수를 늘린다고 분석 결과가 극적으로 달라지는 경우는 드물지만, 리뷰어에게 더 엄격한 분석을 수행했다는 신뢰를 줄 수 있습니다.
Q3. 매개효과가 유의한데 총 효과가 유의하지 않아도 괜찮은가요?
이런 상황은 생각보다 자주 발생하며, 방법론적으로도 충분히 가능한 결과예요. 총 효과는 직접 효과와 간접 효과의 합인데, 직접 효과와 간접 효과의 방향이 반대라면 서로 상쇄되어 총 효과가 유의하지 않게 나타날 수 있습니다. 이런 경우를 ‘불일치 매개(inconsistent mediation)’ 또는 ‘억제 효과(suppression effect)’라고 불러요. 리뷰어에게 이 현상을 설명할 때는 직접 효과와 간접 효과의 부호가 왜 반대 방향으로 나타났는지 이론적 해석을 제시하는 것이 중요합니다.
Q4. 조절효과 그래프는 어떻게 그리는 것이 가장 좋은가요?
조절변인의 평균±1SD 지점에서 독립변인과 종속변인의 관계를 나타내는 두 개(또는 세 개)의 회귀선을 그리는 것이 표준이에요. 이때 x축에는 독립변인, y축에는 종속변인을 배치하고, 각 회귀선 주위에 95% 신뢰대를 함께 표시하면 조건별 차이의 유의성을 시각적으로도 전달할 수 있습니다. Johnson-Neyman 테크닉을 적용하면 조절변인의 어느 구간에서 독립변인의 효과가 유의해지거나 유의하지 않게 되는지까지 보여줄 수 있어서 리뷰어에게 깊은 인상을 줄 수 있어요.
Q5. 표본 크기가 200 미만인데 매개효과 분석이 가능할까요?
가능은 하지만 검정력이 낮아서 실제로 존재하는 매개효과를 놓칠 확률이 높아져요. 표본이 작을 때는 부트스트랩 신뢰구간이 불안정해질 수 있으므로, 반복 횟수를 10,000회 이상으로 늘리고 편의교정 부트스트랩(bias-corrected bootstrap)보다는 백분위수 부트스트랩(percentile bootstrap)을 사용하는 것이 더 보수적인 선택이에요. 또한 효과크기 지표를 함께 보고하여, 유의성에만 의존하지 않도록 하는 것이 중요합니다. 가능하다면 사전 검정력 분석 결과를 바탕으로 표본이 부족하다는 한계를 솔직하게 논의하는 편이 오히려 리뷰어의 신뢰를 얻는 길이에요.
Q6. 다중 매개모형에서 개별 간접 효과와 전체 간접 효과를 어떻게 보고해야 하나요?
각 매개변인을 통한 개별 간접 효과(specific indirect effect)와 이들을 모두 합한 전체 간접 효과(total indirect effect)를 모두 보고해야 해요. 개별 간접 효과 각각에 대해 부트스트랩 신뢰구간을 제시하고, 두 간접 효과의 크기를 비교하는 대비 검증(contrast test) 결과도 함께 보고하면 더 완성도 높은 분석이 됩니다. PROCESS에서는 이러한 대비 검증 결과를 자동으로 출력해 주므로 적극 활용하시길 권해요.
Q7. 정규성 가정이 위배될 때는 어떻게 대처해야 하나요?
부트스트래핑은 정규성 가정에서 자유로운 방법이기 때문에, 부트스트랩 신뢰구간을 사용하는 것만으로도 상당 부분 문제가 해결돼요. 그래도 잔차의 분포가 극단적으로 치우쳐 있다면, 변수 변환(로그 변환, 제곱근 변환 등)을 고려하거나 로버스트 표준오차를 사용하는 방법이 있어요. Mplus에서는 MLR 추정법을, R의 lavaan에서는 ‘estimator=”MLR”‘ 옵션을 지정하면 정규성 위반에 강건한 추정이 가능합니다.
Q8. 리뷰어가 ‘common method bias’를 지적하면 어떻게 대응해야 하나요?
동일한 응답자에게서 독립변인, 매개변인, 종속변인을 모두 자기보고식으로 측정했을 때 자주 제기되는 문제예요. 사전에 Harman의 단일요인 검증을 실시하여 첫 번째 요인이 전체 분산의 50% 미만을 설명하는지 확인하고, 단일요인 모형과 다요인 모형의 적합도를 비교한 결과를 제시하면 좋습니다. 더 엄격한 방법으로는 측정 시점을 분리하거나, 마커 변인(marker variable)을 사용한 통계적 통제 방법을 적용할 수 있어요.
본 글에서 언급된 소프트웨어 가격은 2025년 상반기 기준 학술용 라이선스 정보를 바탕으로 작성되었으며, 구매 시기와 지역, 프로모션에 따라 실제 비용이 달라질 수 있습니다. 또한 통계적 기준(예: CFI≥0.95, RMSEA≤0.06 등)은 일반적으로 통용되는 권장 사항이며, 연구 분야와 저널의 성격에 따라 다소 완화되거나 더 엄격하게 적용될 수 있어요. 분석 방법의 선택과 결과 해석에 관한 최종 판단은 지도교수님 또는 해당 분야 방법론 전문가와의 상의를 권장합니다.
