측정의 신뢰도와 타당도

1. 측정의 신뢰도와 타당도
1) 측정의 신뢰도
● 개념
- 신뢰도: 측정 도구가 측정하고자 하는 현상을 일관되게 측정하는 능력
- 측정 도구의 신뢰도: 측정 도구를 동일한 응답자들에게 반복해서 적용했을 때 일관된 결과가 나오는 정도
● 측정 방법
- 조사자(관찰자, 평가자) 간 신뢰도: 조사자가 여러 명인 경우에 평가
- 재조사법(검사-재검사법): 동일한 측정도구를 동일한 사람이 일정한 시간을 두고 두 번 조사하여 그 결과를 평가, 검사효과 발생
- 대안법(유사양식법, 평행양식법): 유사한 형태의 2개의 측정 도구를 사용하여 평가, 유사한 2개의 척도를 만드는 것이 현실적으로 어려움
- 반분법: 측정도구의 질문들을 무작위로 반씩 나누고 나누어진 두 부분에 대해 응답결과의 상관관계를 확인하는 방법(전후법, 기우법, 단순무작위법)
- 크론바 알파: 내적 일관성 신뢰도에 속함, 모든 반분 계수의 평균(혹은 중앙값)을 계산하여 단일한 신뢰도 계수 산출

2) 측정의 타당도
● 개념
- 타당도: 측정 도구의 정확성, 측정하고자 하는 개념을 얼마나 정확하게 측정하였는가를 말함
- 측정 도구의 타당도: 측정도구가 측정하고자 하는 바를 얼마나 정확하게 측정하고자 하는 가와 관련이 있음
● 측정 방법
- 내용타당도: 측정 도구의 항목들이 조사자가 측정하고자 하는 내용을 포함하고 있느냐 하는 것을 논리적으로 검토하는 것
- 기준 관련 타당도
∞동시타당도: 작성한 측정 도구를 이미 존재하고 있는 신뢰할 만한 다른 측정 도구와 비교하는 방법
∞예측적 타당도: 해당 척도와 논리적으로 관련된 미래의 사건이 외부의 기준으로 이용
- 구성타당도(개념구성타당도, 구성체타당도, 개념타당도)
∞수렴타당도: 동일한 개념이나 이론적으로 연관성이 높을 것으로 예상되는 개념들을 측정할 때는 서로 다른 측정도구를 활용하고 측정결과 간의 상관관계가 높을 경우 수렴타당도가 높음
∞판별타당도: A와 B라는 측정 도구가 서로 다른 개념을 측정하는 도구라면, 동일한 대상을 측정했을 때 얻은 측정값들 간의 상관관계가 낮아야함
∞이해타당도: 측정 도구가 특정 구성개념을 이론적 구성도에 따라 체계적·논리적·포괄적으로 이해하고 있는 정도
● 신뢰도와 타당도의 관계
- 타당도가 높은 측정은 항상 신뢰도가 높음
- 신뢰도가 높다고해서 반드시 타당도가 높은 것은 아님
- 신뢰도는 타당도를 높이기 위한 필요조건
● 측정오류
∞체계적 오류
- 오류 패턴과 경향이 있음 → 타당도에 문제를 일으킴
- 인구학적 혹은 사회경제적 특성으로 인한 오류, 개인적 성향으로 인한 오류, 편향에 따른 오류(고정반응에 의한 편향, 사회적 적절성의 편향, 문화적 차이에 의한 편향)
∞비체계적 오류
- 일정한 패턴 없이 나타나는 오류 → 신뢰도에 문제를 일으킴
- 측정자, 측정대상자, 측정상황, 측정 도구로 인한 오류