청소년 상담사2급- 타당도, 신뢰도, 문항 난이도

1. 타당도의 종류

1) 내용타당도

2) 준거타당도

3) 구인타당도

4) 처치타당도

2. 요인분석의 개념

요인분석(Factor Analysis)은 많은 변수들의 상호 관련성을 소수의 요인(factor)으로 추출하여 전체변수들의 공통요인을 찾아내 각 변수가 받는 영향의 정도와 그 집단의 특성을 규명하는 통계분석방법이다. 즉, 실제결과를 초래하게 되는 요인을 찾아냄으로써 목표로 하는 명제를 설명하는 다변량 통계분석방법이다.

3. 요인분석의 목적

구조방정식모델을 분석하기 이전에 측정모델의 타당성을 분석하기 위해서 요인분석을 실시하게 되며, 이러한 요인분석에는 크게 ① 탐색적 요인분석과 ② 확인적 요인분석이 있다.

4. 연구의 타당도

1) 표본의 대표성을 확신할 수 없는 경우 외적 타당도는 낮아진다.

2) 내적 타당도는 연구결과에서 나타나는 변화가 독립변인에 의한 영향만을 반영하고 있는가에 관한 것이다.

3) 무선배치는 무작위할당으로서 실험설계에서 주로 활용되므로 내적 타당도를 높이고 무선표집은 무작위표본추출로서, 이는 표본의 대표성을 높이므로 외적 타당도를 높일 수 있다.

4) 반작용 효과(reactivity effects)란 연구대상자가 자신이 측정되거나 관찰되고 있다는 것을 의식하고 행동하는 것을 의미 하므로 반작용 효과는 내적 타당도와 외적 타당도 모두에 심각한 위협이 된다.

5. 타당도와 신뢰도와의 관계

1) 신뢰도가 검사점수의 안정성에 관한 것인 반면, 타당도는 외적 준거와 관련된 것이다.

2) 검사의 타당도 검증에서 중요한 일은 알맞고 신뢰할 수 있는 준거를 설정하는 것이다.

3) 어떤 검사의 신뢰도가 높다고 하여 타당도도 높은 것은 아니다.

4) 즉, 신뢰할 수 있는 검사는 이론적으로 타당하나 실제적으로 타당하지 않을 수 있다.

5) 타당도가 높은 검사는 신뢰할 수 있는데 이는 준거와의 상관(타당도)은 그 검사 신뢰도의 신뢰도 계수에 의해 제한되기 때문이다.

6) 신뢰도가 낮으면 타당도는 이에 비례해서 낮아진다.

7) 역으로 표현해서 신뢰도 없이 타당도가 높은 평가도구는 존재할 수 없다.

8) 이는 한 검사의 타당도는 그 검사의 신뢰도에 의해서 제한된다는 것을 의미한다.

 

"무선배치는 무작위할당으로서 실험설계에서 주로 활용되므로 내적 타당도를 높이고 무선표집은 무작위표본추출로서, 이는 표본의 대표성을 높이므로 외적 타당도를 높일 수 있다. 그리고 실험적 배치에 관한 반작용효과(Reactive Effect of Experimental Arrangement)는 실험적 처리를 하고 있다는 것을 실험대상자가 알고 있음으로 인하여 실험적 처리의 효과에 영향을 미칠 수 있다는 것으로서 내적 타당도와 외적 타당도 모두에 위협적인 요인이 된다."

6. 문항 난이도

1) 난이도는 정답률이기 때문에 난이도 지수가 높을수록 그 문항은 쉽다는 의미이다.

2) 문항난이도 계산 공식은(정답자 수 ÷ 전체 사례 수) × 100이 된다.

3) 즉, 문항난이도(item difficulty)는 각 문항에 정확하게 답한 학생들의 비율을 조사함으로써 결정될 수있다.

4) 만약 한 학급 40명 중 32명이 특정한 문항을 정확하게 답했다면 문항난이도는 0.80이 될 것이다.

5) 문항 난이도는 특정 문항을 맞춘 사람들의 비율로서 0.00에서 1.00의 값을 가지며 문항의 난이도는 신뢰도에 영향을 미치는데 어려울수록 신뢰도는 유사하게 나올 가능성이 낮아 신뢰도가 낮아진다.

7. 문항 변별도

1) 한 검사에서 각 문항이 수검자의 능력 수준을 변별할 수 있는 정도를 나타내는 지수로, 즉 문항변별 도란 학생의 능력을 어느 정도 변별해 내느냐의 정도를 말한다.

2) 예를 들어 변별력이 있는 문항은 능력이 높은 수검자가 답을 맞히는 확률이 능력이 낮은 수검자가 답을 맞히는 확률보다 높은 문항이다.

3) 문항변별지수는 －1.0에서 ＋1.0 사이의 값을 갖는다.

4) 이 값이 ＋1.0에 가까울수록 변별력이 높은 문항이고, 0에 가까울수록 변별력이 떨어지는 문항이다.

8. 문항의 유용도

1) 문항유용도(실용도)란 가급적 최소의 노력, 최소의 시간, 최소의 경비로 유용하게 이용할 수 있어야 하는 것을 말한다.

2) 즉, 실용도는 한 마디로 쉽게 사용할 수 있는 정도를 의미한다.

3) 유용도의 사례로는 검사 문제가 적절할 것, 실시하기 용이할 것, 검사･채점이 객관적이고 용이할 것, 검사의 비교가 가능할 것, 경제적일 것 등을 들 수 있다.

 

참고문헌: 나눔북 청소년상담사2급 이론서 및 기출문제집