실험설계

 

상담이론아동권리협약로저스실험설계 성격이론집단상담약물남용전국심리학과영화와심리학임상심리학자료실
홈
가족 소개
프로필
사은회
건강한삶
명심보감
공부방
난초
추천 사이트

 

5장 조사연구에서 실험과 준실험설계

* 요인들을 위태롭게 하는 내적 타당성이란

- 어떤 실험에서도 실험의 결과 해석에 없어서 안될 최소한의 조건이다.

- 그 실험의 처치가 특정실험에서 어떤 차이를 실제로 만들어 냈느냐를 따지는 타당성.

외적 타당성 - 일반화의 가능성 (generalizability)을 문제 삼는 타당성이다. 실험의 처치효과가 어떤 모집단에, 어떤 처치 요인에 또한 어떤 측정요인에 일반화 할 수 있는가를 문제삼는 타당성이다.

내적 타당도

(1) 역사(history) (2) 성숙 (3) 검사 (4) 도구사용 (5) 통계적 회귀 (6) 피험자의 선정 (7)실험적 도태 (8) 선정 - 성숙 상호작용 (9) 검사 실시의 반동적 영향 또는 상호작용적 영향 (10)피험자 선정으로 인한 편할과 실험 변인과의 상호작용효과 (11) 실험배치의 반동효과 (12) 중다 처치 간섭 -

중다 처치 즉 여러 가지 실험 변인의 조작을 같은 피험자에게 적용시켰을 때 일어날지 모르는 요인. X는 그 집단을 어떤 실험변인이나 사건에 노출시킨 것. 실험처치의 영향을 측정한다는 것을 전제. O는 어떤 관찰이나 측정의 과정을 의미. Xs Os - 같은특정인을 지칭하는 것

♠ 3개의 pre-experimental design

선형 실험설계 사전실험설계

1. 1회적 사례연구

단 하나의 집단을 단 한 번만 연구해서 어떤작용이나 처치가 변화를 가져왔을거라고 가정하는 형식의 설계.

X O

이와 같은 연구들은 거의 과학적인 가치 없을 정도로 통제란 일도 가해지지않은 연구다. 이 설계는 여기서는 최소 참조점으로 제시하는 것이다. 어떤 과학적 증거나 또는 어떤 지식 진단의 과정에 있어서도 기본적인 것은 "비교"와 "차이의 기록"과 "대비"라는 과정이다. 어떤 절대적인 지식이 나타나건 어떤 단 하나의 고립된 대상에 관한 본질적 지식이라는 분석에 있어서는 가공적이 될 수 밖에 없다. 과학적 증거를 입수한다는 것은 최소한 한가지의 비교라도 있어야 한다. 비교가 양쪽에 다같은 정도의 주의와 정밀성을 가지고 해야 한다.

2. 한집단 사전 사후 검사 설계

교육 연구에서 광법위하게 사용 설계1보다는 낫다. 이설계가 내적타당성을 위협하는 가외변인들이 뒤섞인 "나쁜 예"로 소개 됐다. 이 가외 변인들은 X가 그런 차이를 만들었을거라는 가설에 대립해서 O1-O2간의 차이를 설명대로 그럴듯한 가설을 제공해준다.

O1 X O2

(사전) (사후검사)

이들 통제되지 않는 대립가설의 첫째는 "역사"이다. 검사의 실시에 관계가 있는 변인 도구사용 도구변설. 통계적 회귀란변인간의 차이를 설명해준지 모를 측정도구상의 자동적 변화(autonomous change)에 관계된다. - 검사 재검사의 효과. 회귀현상은 주로 측정의 오차에서 오는 것이고 이측정의 오차는 전후검사간의 완전한 상관관계가 없다는데 기인.

3. 평면군 비교

세번째 선형실험설계로써 타당성을 깨뜨리는 요인을 밝혀내는 설계는 평면군 비교라는 것이다. 이것은 x의 효과를 확실히 확인해내기 위한 목적으로 x를 경험한 집단과 x를 경험하지 못한 집단을 비교하는 설계다. 이설계의 가장 큰 문제는 (설계 4와 비교해서)① X가 없었다고 하면 과연 두집단이 등질적이라는 것을 보장할 길이 없다는 점遁이다. 그러니까 O1, O2의 두집단이 확율화(randoneze)가 되어 있지 않다는 점이다. 그러므로 여기서 문제가 되는 타당화 요인은 "선정"이다. ② 가외변인으로서 "실험적 도태" 또는 두집단 간의 피험자의 탈락의 수가 서로 다른데서 오는 O1-O2의 차이의 문제

표1.설계1 ∼ 6까지의 비타당성의 출처

설 계

타당성의 출처

내적타당성

외적 타당성

역사

성숙

테스트

도구사용

회귀

선정

도태

상호작용

테스트와 X의상호작용

선정과 X의 상호작용

반동적 배치

중다X의 간섭

선형실험설계

Ⅰ 1회적 사례연구

X O

-

-




-

-



-



Ⅱ일군전후검사설계

X O X

-

-

-

-

?

+

+

-

-

-

?


Ⅲ평면군 비교설계

X O

O

+

?

+

+

+

-

-

-


-



진형실험설계

Ⅳ사전검사 비교군설계

R O X O

R O O

+

+

+

+

+

+

+

+

-

?

?


Ⅴ솔로몬4군설계

R O X O

R O O

R X O

R O

+

+

+

+

+

+

+

+

+

?

?


사전검사통제군 설계

R X O

R O

+

+

+

+

+

+

+

+

+

?

?


 

※-는 분명한 단점, +는 통제되어 있다는 것을 말한다. ?는 주의를 기울여야 하는 요인, 공란은 관계없음을 말한다.

♠ 진형 실험 설계

4. 사전사후 검사 통계군 설계

통제군 설계방법 - 확률화(randomization)

- 등질성을 확신하지 못한태 현존하는 집단을 그대로 비교군으로 사용하는 경우

이 설계는 일곱 개의 대립가설들을 보다 통제할 수 있는 장점.

학습연구에 있어서는 전통적으로 Test의 연습효과라는 것 때문에 제일 먼저 통제군의 필요를 인식하게 된 분야. "성숙"은 교육 실험에서는 특히 버판의 초점. 아동 발달의 분야에 있어서는 유전 - 환경 논쟁에서 이요인이 크게 문제가 되고 있다.

외적 타당도를 위협하는 요인들

(1) 역사 : 둁1-2 의 차이를 만들어 냈을 일반적 역사적 사건이O3-O4의 차이도 만들어낼 것이라는 이유로 통제를 받게 된다. 설계4에서는 실험과 통제의 기간을 두 집단에서 같도록 연구를 진행시킬 필요가 있다. 이를 위한 최선의 방법으로는 확률화(무선화)가 좋을 것이다.

(2) 성숙과 검사 : 이 문제는 통제군과 실험군에서 똑같은 정도로 나타난다는 점에서 통제 되어 있다.

(3) 도구 사용 : 이 문제는 실험 기간동안의 역사를 통제하기 위한 조건을 충족시켜 준다는 점에서 쉽게 통제 될 수 있는 요인이다.

(4) 회귀 : 통계적 회귀는 평균치의 차이를 문제 삼는 한에 잇어슨遁 그 집단이; 사전검사 점수에 있어서 아무리 극단적인 집단이라 할지라도 통제되고 있다는 것

(5) 선정 : 무선시에 동질성이 확률화(무선화)로 확보된 정더에 따라 결과의 차이를 설명해주는 요인으로써 위력이 없어지고 만다.

(6) 도태 : 피험자의 탈락, 행방이 불분명해진 사례, 부분적자료 만이 제공된 사례등은 다루기 어려운 골치꺼리, 실험이 수일, 수주일, 때로는 수개월 계속될때는 신중을 기해야 함.

(7) 테스트와 X의상호작용 : 이설계에는 이 요인이 통제되기 어려운 점이다. 사전검사가 X에 미치는 영향은 특히 태도 변화의 연구 같은데에서는 크게 문제가 되는 것이, 연구자의 면접이나 테스트 자체가 태도나 감수성을 높여주는 결과를 주는 경우가 많다.

(8) 선정과 X의 상호작용 : 설계4에서는 실험군과 통제군간의 차이를 설명할때는 실험군과 통제군을 공동으로 선정할때의 모집단의 독특한 성격 때문에 오는 수가 있응 가능성은 그대로 남는다. - 즉 비록 임의 추출을 했다하더라도 모집단 자체가 X에 보다 깊은 영향으 줄 가능성을 말하는 것이다.

(9) 반동적 배치 : 비대표성의 출처는 실험베치(실험실)가 인공적인 점과 피험자자신이 실험에 참여하고 있다는 자각의 문제이다.

*실험집단과 통제 집단을 달리 취급함으로써 생기는 문제에는 신경을 써야 할 것 같다.

1. 검사실시의 반동적 효과로 인하여 외적 타당도가 위협받는다.

2. 피험자 선발과 실험처치간의 상호작용에 따른 문제가 있을수 있다.

3. 피험자가 자신이 실험의 대상이라는 사실을 알게 됨으로써 평소와 다른 태도를 갖게 되어 실험에 영향을 줄수 있다.

4. 기타의 변인들이 실험의 처치와 상호작용하에 실험에 영향을 줄수도 있다.

*절차

1. 가능한 한 무선적 방법으로 피험자를 표집

2. 피험자들을 실험집단과 통제집단에 무선적으로 배치

3. 실험집단과 통제집단에 각각 사전검사(O1, O3)를 실시한다.

4. 실험집단에 실험처치 X를 가하고, 통제집단에는 실험처치를 주지 않는다. 이 밖의 모든 조건에서는 두 집단이 같도록 조건을 통제한다.

5. 실험처치를 끝마친 다음 실험집단과 통제집단에 각각 사후검사(O2, O4)를 실시한다.

6. 알맞은 통계적 방법을 이용하여 두집단을 비교하면서 실험처치의 효과를 평가

5. 솔로몬 4집단 설계

이설계는 처음으로 외적 타당성을 분명히 고려해서 만들어진 설계

R O1 X O2

R O3 O4

R X O5

R O6

이것은 설계4의 O1-O4의 항을 병용하면서, 실험 및 통계군에게 사전 검사를 하지 않는 설계를 병합한 형태로 되어있다. 테스트의 영향도 알수 있고 테스트와 X와의 상호작용 영향도 결정할수 있도록 만들어짐. 이렇게 해서 일반화 가능성이 높아질 뿐 아니라, 그 위에 X의 영향도 다른 네가지의 방법으로 검증될수 있도록 되어 있다.

설계5에서의 통계적 검증

O1-O6을 동시에 할수 있는 어떤 한가지 방식만이 있는 것이 아니고 또한 이설계의 비대칭성 때문에 변량분석도 할수 없다. 사전검사를 무시하고, 사후검사만 가지고 2X2형의 변량분석의 형식으로 할수는 있다.

 


비X

X

사전검사

O4

O2

무사전검사

O6

O5

 

세로로 평균치를 내서의 X의 주효과를 측정하고 가로로 평균치를 내서 사전검사 유무의 주효과를 측정하며 네칸막이 속의 평균치에서 검사와 X의 상호작용효과를 냄다. 만일 사전검사의 주효과와 상호작용효과가 무시할수 있는 것이라면 O4 대 O2의 공변량분석을 하는 것이 좋겠다. 단, 사전검사잠수가 공변한다고 하는 것은 전제하고서

6. 사후검사 통제집단설계

사전검사를 할 수 없는 경우에 일정한 유의도 한계내에서는 사전검사 없이 무선화로 충분遁한 것이다.

R X O1

R O2

이 설계는 솔로몬 4집단 설계의 마지막 두집단과 같은 설覗에 속한다. 주 효과로써의 테스트와 상호작용효과를 통제해준다. 그러나 설계와는 달리 그들을 측정하지는 않는다. 검사를 여러번 하게 되는 그런 연구에서는 선행변인들에 관한 정보를 우리가 가지고 있다고하면 그 정보로서 연구계획을 세우는데 있어서나 집단간의 등질화를 위해서도 유용하게 활용할수 있다. 또 그변인들은 공변인으로서 연구결과 분석에 고려할 수가 없다. 사전검사를 할수 없거나 검사하기가 불편하거나 반동현상이 일어날 것 같을 경우에는 여러 가지 문제가 생긴다.

설계6의 통계적 검증

가장 간단한 것으로는 t검증이 있다. 설계6은 t검증이 잘 적용될수 있는 유일한 설계이다. 그러나 공변량분석과 '교재낸용변인'의 화획짓기, 전학년의 점수, 검사점수, 부모의직업등급벼로 재분류 처리하는 방법이 가능해주다. 사전검사를 했을 경우와 같은 유의도 검증의 능률을 향상시킬수가 있다.

요인설계

위의 세가지 기본설계의 개념적 기초위에서 특히 설계4와 6에서 다른 X들과 다른 집단을 첨가함으로써 조더 복삽한 요인설계를 만들 수 있다. 설계4에서 6까지의 것을 변형한 형식으로 1차 변량 분석에서 수준은 X1, X2, xs 등 여기에 짝으로서 x0(비x)그룹. 여기에서는 X0를 통제군으로 간주하면 설계 4와 6이 여기에 해당된다. 여러 가지 변형에 따라 구획법, 이분설계법, 그레코-라틴 방형설계, 분할 반불설계 또는 반복형태 등으로 나눔.

상호작용설계

2a는 A와 B의 유의한 주효과. 상호 작용은 없다. 그외는 모두 A,B의 주효과 외에 상호 작용이 있다. 2b는 가장 상호작용 효과가 크다. 2e 아주 극단적인 상호작용인데 A나 B의 어느한쪽도 뚜렷한 주효과는 볼 수 없다.

교차분류

A와 B의 모든 수준이 서로 교차하는 분류 준거에 의하고 있다. 이것을 교차 분류 설계라한다.

- 다른 변형 설계 -

1. 시간연장 효과의 검증 - 위의 요인 설계중 사후 검사를 즉시 하지 않고 장기간 후에 검증 할 때에는 그 효과가 단순히 양적차이 일뿐 아니라 질적인 변화를 가져올 것이라는 것을 전제 한 것이다.

2. 다른 Xs에의 일반화 X의 변이도

과학의 목표는 다른 모집단이나 다른 시간에의 일반화뿐아니라, 동일하지 않는 다른 종류의 처치제시에의 일반화도 포함하는 것이다.

3. 다른 X3에의 일반화 : X의 洗鍊과 신기한 통제군 방법 어떤 실험의 실제X는 몇 개의 변인의 복합체일 경우가 많다. 한변 강력하고 분명한 효과가 발견이 되면 X를 더욱 세련케하는 실험을 실험으로 계속하게 된다. 이와같은 세련은 X를 좀 더 명백히 정의하거나 표현하는 방법 또는 신기한 통제군을 사용하는 경우

4. 다른 Os에의 일반화

어떤 X가 여러 가지 복합적 변인이듯이 O란것도 그속에 잡다한 것이 끼여 들어가 있는 측정 관찰의 결과 일수가 있다. 어떤 O도 그것이 단하나의 준거의 증거를 가진 것이 아니고 복합체일 때 다른 잠재적인 OS 에 일반화를 하려 할 때 문제에 부딪치게 된다. O를 관계도 없는 "순수한" 변인으로 분산해 낸다는 것도 불필요 하고 또 불가능하지도 모른다. 그래서 중다효과르 얻어내는 것이 좋다. 이 경우 O가 하나가 아니라 여러개가 되는 것이다.

- 준실험설계 -

실험자극에 대해 임의라 하는 능력 같은 것을 통제하지는 못하지만 활용할 수 있는 실험설계를 말한다.

설계7 : 시간계열 실험

어떤집단에 대해서나 개인에 대해서 조기적으로 측정해가는 일과 이 측정의 시간 계열속에 실험적 변화를 도입하는 일이 특징. 시간계열 중에서 기록된 측정치가 불연속적으로 표시.

O1 O2 O3 O4 × O5 O6 O7 O8

시간계열설계의 통계적 검증

8. 동일시간 표본설계

실험변이느이 효과를 비교하기 위해서 그 기저선으로서 등질의 표본 피험자를 사용하는 형태.

X1O XO X1O XOO

이 설계는 실험변인을 반복제시하는 시간계열실험의 한 형식

(통계적 검증)

시간을 중심으로 일반화 할 경우와 대상자를 중심으로 일반화 하는 경우를 생각할 수 있다.





















표2 준실험설계7에서 12까지의 비타당성의 출처

 

설 계

비타당성의 출처

내적타당성

외적 타당성

역사

성숙

테스트

도구사용

회귀

선정

도태

상호작용

테스트와 X의상호작용

선정과 X의 상호작용

반동적 배치

중다X의 간섭

준실험설계

7. 시간설계

OOOOXOOOO

-

+

+

?

+

+

+

+

-

?

?


8. 동형시간표본설계

X1O X0O X1O X0O 등

+

+

+

+

+

+

+

+

-

?

-

-

9. 동형재료표본설계

MaX1O MbX0O

MeX1O MdX0O 등

+

+

+

+

+

+

+

+

-

?

?

-

10. 비동형통제군 설계

O X O

O O

+

+

+

+

?

+

+

-

-

?

?


11. 평균설계

X1O X2O X3O X4O

X2O X4O X1O X3O

X3O X1O X4O X2O

X4O X3O X2O X1O

+

+

+

+

+

+

+

?

?

?

?

-

12. 별거표본전후검사설계

R O (X)

R X O

-

-

+

?

+

+

-

-

+

+

+


12a. R O (X)

R X O

R O (X)

R X O

+

-

+

?

+

+

-

+

+

+

+


12b. R O1 (X)

R O2 (X)

R X O3

-

+

+

?

+

+

-

?

+

+

+


12c. R O1 X O2

R X O3

-

-

+

?

+

+

+

-

+

+

+


 




9. 동형자료 설계

동형시간표본 설계와 깊이 관련이 있으며 서로 비교를 실험변인으로 사용한 재료를 등질화하는 것을 말한다.

기간상의 등질화

한집단 반복 X설계에 있어 실험변인의 성질이 효과가 지속적일 때 때와 다른 처치와 재료를 반복하는 것은 동일 하지 않는 내용에 적용해야할 경우에는 언제든지 필요하게 된다.

MaX1o MbXoO McX1O MdXoO 등등

(M은 재료즉, material을 표시함)

어떠한 특수한 재료

한사람 또는 한 집단 재료표본 A(o) XoO

재료표본 B(o) X1O

두가지 실험처리 간의 변환의 차이가 통제군을 사용하지 않아도 집단의견의 보고의 영향을 잡단 일치도를 명백히 실험적으로 증명해준다.

설계10. 비동형 통제군 설계

X를 어떤 한집단 또는 다른집단에 배졍할 때 임의적인 방법을 쓰며 이것은 실험자의 자의에 의해 정해진다.

①전후 검사 통제군 설계인 설계 4와 혼동하지 말 것.

설계4는 실험의 대상자가 공통의 모집단에서 임으로 실험군과 통제군에 배정되어지는 형식을 취하게 되어있다.

②설계10은 설계 4, 5, 6 등을 사용할 수 없는 많은 경우에도 쓸모가 있더葡고 인정되고 있는 설계

11. 평균설계

모든 피험자를 일단 모든 처치에 참여 시킴으로써 실험적 통제를 달성함과 동시에 정밀도를 높이려는 방법

회전 설계, 평균설계, 교차설계, 전환설계라고 부른다.

라틴 방형배치는 이 평균 방법을 쓴다.

- 네가지의 실험치치를 아주 제한된 방뻐으로 네 개의 자연 집단이나 네 사람의 개인에게 차례차례로 임의화해나가는 것

1회 2회 4회 4회

집단A X1O X2O X3O X4O

집단B X2O X4O X1O X3O

집단C X3O X1O X4O X2O

집단D X4O X3O X2O X1O

이검사는 사후검사만 포함 - 사전검사가 부적당하거나 성계 10둁을 적용할수 없을 경우에

설계요소 :

1. 집단 2. 시간 3. Xs-실험적 쁁리

이긱요소들은 다른 두가지 요소와 직교 관계에 있다. 즉각 처치가 행렬에 한번씩만 나타나게 됨

X1 X2 X3 X4

집단A t1O t2O t3O t4O

집단Bt3O t1O t4O t2O

집단Ct3O t4O t1O t3O

집단Dt4O t3O t2O t1O

(X는 시간상의 차례)

설계12별거 표본 전후 검사 설계

임의 배정 방법을 써서 테스트(O)를 "언제하고""누구에게하느냐"를 충분히 실험적으로 통제하는 것과 같은 효과를 낼수 있다.

R O (X)

R X O

행은 임의적으로 등질적인 하위 집단을 표시

(X) X:는 이 연구와는 관계없는 X의 제시를 표시 그중 한 표본은 X이전에 테스트한다.

X는 X다음에 올것과 등질적인 X이여야 한다.

설계 13. 별거표본 전후 검사 통제군 설계

설계12는 집단 전체에 제시되어야 하는데 사용

X를 제시하지 않고 보류해 들수 있는 비교집단 (등질적이 아니어도 됨)

R O (X)

R X O

R O

R O

1. 재검사를 받지 않는다.

2. 테스트와 X의 상호작용효과를 배제할수 있는 점만 다르다.

설계14 중가 시간 설계

유사한 "통제" 상태의 시간 계열의 자료를 모으게 된다.

OOOO X OOOO

OOOO OOOO

반복 측정의 가능성은 중다시간 계열설계로 하여금 특히 학교에蓡의 연구에 아주 적절한 설계라고 할수 있다.

표3 준실험설계 13-16까지의 비타당성의 출처

 

설 계

비타당성의 출처

내적타당성

외적 타당성

역사

성숙

테스트

도구사용

회귀

선정

도태

상호작용

테스트와 X의상호작용

선정과 X의 상호작용

반동적 배치

중다X의 간섭

준실험설계

13.별거표본전후검사통제군설계

R O (X) O

R X O

R O (X)

R O

+

+

+

+

+

+

+

-

+

+

+


13a.

R O (X)

R` R X O

R O (X) O

X O

R O (X) O

R X O

R O

R` R O

R O

R O

R O

R O

+

+

+

+

+

+

+

+

+

+

+


14. 중다시간설계

OOOXOOO

OOO OOO

+

+

+

+

+

+

+

+

-

-

?


15.기관주기설계

Class A X O1

Class B1 RO2 XO3

Class B2 R XO4

Class C O5X

*모집단통제 Class B O6

*모집단통제 Class C O7

O2<O1

O5<O4

+

-

+

+

?

-

?


+

?

+


O2<O3

-

-

-

?

?

+

+


-

?

+


O2<O4

-

-

+

?

?

+

?


+

?

?


O5=O7

O2y=O20


+






-





16. 회귀불연속성

+

+

+

?

+

+

?

+

+

-

+

+

 






설계 15 반복 주기 설계 : 주기

현장 연구 할때 쓰이는 연구

비 타당성의 소스가 되풀이 나타나는 것을 통제하기 위해 특별한 조치를 취해야 할 경우에 적용된다.

X의 퉢과가 일의 적으로 될 수 있는 중요한 특색

class A X O1

class B O2 X O3

종단적 방법과 횡단적 방법들을 다 포함 한다.

O1-O2, O2-O3의 비교를 여러 가지 각도에서 검토할수 있다.

class A X O1

class B1 RO2 X o3

class B2 R X O4

class c O5 X

성계 16 회귀 불연속성 분석

사전 사후 설계에서 발전됨

한 가설이 검증되어질 모든 가능한 증거 그중에서도 심기한 증거들을 찾고 특히 인과 관계에관련된 가설일떼에는 모든 가능한 의미를 탐구하는 데 유용하다.

그림 4

집단

집단






상관설계(correlational design)와 사전-사후설계(expost facto design)

앞에서 아홉가지의 준설계들을 검토했는데, 이 준설계들은 X를 실험자가 조작할 수 있는 정도에 따라 그 "준"성이 결정되게 되어있다. 즉 설계7에서 설계 14까지 그 "준성"이 높아지고 있다. 이 "준성"이 약할수록 그 설계는 진형설계에 가까워지는 것이다. X를 어느정도 통제할 수 있느냐에 따라 진형설계에 가까운 정도가 가려지는 것이다. 여기서는 통제되지 않는 X를 실험적인 타입으로 자료를 분석하는 방법에 대해서 소개하기로 한다.

상관 및 인과관계(correlation and causation)

설계3이 아주 약한 형식의 상관적 설계에 속한다. 즉 단지 두 개의 자연적 단위(즉 X의 유무에서만 차이가 있는 것이 아니고, 여러 가지 다른 속성에서도 차이가 있는)를 비교하는데 불과한 설계이다. 위에서 말한 바와 같이 여러 가지 다른 속성이란 것 중에서도 OS의 차이를 가져 올 수 있는 것도 있을 것이다. 이것으로도 X가 어떤 효과를 가져왔다는 가설에 대립되는 그럴듯한 대립가설을 만들어 낼 수가 있다. 두가지의 자연대상간의 차이란 우리가 해석할 수 없는 것들이란 법칙을 우리는 일반적으로 받아 드리고 있는 터이다. 그러면 이와같은 여러 가지의 독립적인 X의 예와 비X의 예를 비교한다고 생각해보자. 그리고 그것들이 O에 서로 다른 영향을 주고 있다고 생각하자. 이 X의 자연적인 사건이 서로 다른 속성에 서로 다른 모양으로 나타나는 한, 이등 다른 속성들로는 대립가설로 내세우기는 좀 자신이 안서는 이야기다. 이럴때에 아주 인상적인 성질은 띈 상관관계를 따질 수가 있다. 즉 애연과 폐암과의 관계와 같은 상관관계를 따지면 좋다. 실험을 통해서 알아 낼 수 있는 인과관계에 유사한 인과관계의 증거를 가진 자료는 어떻게 평가할 수 있을까?

우선 좀 긍정적인 입장에서 검토해보면, 그런 자료는 인과가설에 유관하다고 말할 수가 있을 것이다. 만일 영상관이 나왔다면 가설의 신뢰성은 줄어든다. 만일 높은 상관이 나왔다면, 가설의 신뢰성은 미확증의 확률(즉 그결과는 우연히 생긴 일이라는 가설)에 견디어 낼 수가 있다는 점에서 강화되어진다. 다른 말로 하면, 상관관계가 반드시 인과관계를 말하지는 않지만, 실험에서처럼 평균간의 차이를 만들어주는 그런 식의 인과법칙에서는 상관적인 개념이 내포되어있는 것이다. X가 O를 증가시키는 어떤 실험에서도 X의 유무와 사후검사점수나 소득점수간의 정적인 양분상관(biserial correlation)을 찾아볼 수 있을 것이다. 그런 상관이 발견되지 않는다면 여러 가지의 단순하고, 일반적이고, 인과적인 가설 즉 X의 주효과에 대한 가설을 결국 배제하게 된다. 이런 의미에거 비교적 수고가 덜 드는 상관적방법으로 가설의 예비조사를 할 수 있고, 여기에서 살아 남은 가설은 수고가 좀더 드는 실험에 호소할 수가 있는 것이다.

회고적 사전검사(retrospective pretest)

전시의 군대 환경속에서는 같은 계급과 같은 병과에 속하는 군인들을 여러 그룹으로 배치하는 것이 좀 무질서하게 이루어지는 경우가 있는데 그런 군인들의 특권이나 취미나 능력 등을 무시하고 배정하는 일이 많다. 미국의 예를 들면 백인군인을 흑백 혼합부대에 배치하는 경우와 백인만의 부대에 배치하는 경우에 그 백인들의 태도를 비교해 보는 것은 인과적 관점에서 퍽 흥미있는 일이 될 것이다. 우리는 그와 같은 경우에도 우리의 호기심을 외면해서는 안된다. 이때에 그럴듯한 대립가설을 배제하기 위한 보충자료를 찾아내야 하며 물론 여기에 끼여들 비 타당성의 근거에 대하여도 경계를 해야 한다. 이 경우 사전 면접"(posttest interview)", 흑인 (흑인 혼합부대내의 흑인을 말한다)에 대한 현재의 태도에 관한 정보를 포함해야 할 것은 무론이고 현재의 부대에 배치되기전의 흑인에 대해 자졌던 태도도 회상시켜서 물어보아야 한다. 이 "회고적 사전검사"에 의하면 두 그룹간에 태도의 차가 없는 것으로 나타났으니, 각기 부대에 배정되기 전에도 흑인에 대한 태도에 차가 없었음을 보여 주었다. 이런 방식의 설계를 회고적 사전 검사형 설계라고 한다.

배심연구(panel syudies)

가장 간단한 조사방법이란 어떤 일정기간에 단 한 번의 관찰을 하는 경우 될 것이다. 이 연구로는 피험자에게 자기 자신을 X에 노출(X의 경험)된 적이 있느냐 없느냐의 두가지 결절중의 하나로 반응하도록 하는 방쇼螢이다. 이 조사에서 나타난 노출(경험)과 사후검사간의 상관관계에는 공통된 원인 편향(여기에서는 X를 받는 사람의 결정요인이 X없이도역시 O에 높은 점수를 보일 가능성)가 들어갈 가능성이 있을뿐더러, X에 대한 기억상의 왜곡이 또한 원인을 허구적으로 나타내게 하는 구실을 한다. 한 예를 들면, 광고예산을 정상화 해주는 연구로써 "당신은 그 프로그램을 시청했습니까?"라는 항목과 "당신은 그 물건을 샀읍니까?"라는 항목간의 상관관계를 산출할 경우와 같이 어떤 인과 추리를 계속 지지해줄 연구를 했다면, 이 정도의 증거는 광고의 효과퍽 주잘하기에는 아주 미약한 것에 불과하다. 이 연구속에 내적 타당성을 위협하는 새로운 요소가 끼여있다. 즉, X에 대한 노출여부를 잘못 분류했다는 점이다.

조사형 연구(survey)방법논에서는 같은 사람에 대한 반복적인 면접을 하는 그런 배심방법을 도입하면 상당한 소득이 있다. 최적의 상태로는 이 배심연구가 어떤 같은 변화의 동인(agent)에의 노출(에커데 영화니 카운슬러의와의 접촉과 같은)이 2회에 걸친 면접이나 질문지 사이에 주어지는 경우에서는 설계X에서 보는 바와 같은 자연적 X의 약한 설명을 카바해 줄수 있는 자료를 얻을수 있을 것이다. 이것을 그림으로 표시하면

⁸ O ⁹⁸X O⁹

------------?---------

₈ O ₉₈ O₉

이런 형식이 되지만, 이것으로는 누가 통제군이고 누가 실험군인지가 분명치 못하기 때문에 받아드리기 어려운 설계다. 따라서 이것을 고치면아래와 하는 것이 좋다.

⁸O ⁹⁸X ⁹⁸O ⁹

----------?-------

₈O ₉₈ ₉ ₈O ₉

라자스펠드의 16간표(Lazarsfeld sixteenfold table)

또 하나 다른 정교한 배심자료(panel data)의 준실험적 용법이 있는데 라지시펠드가 두 변인간에 존재하는 인과 관계의 강도는 그 방향까지 제시해 주는 지수로 처음으로 시도한 것이다. 이 분석 방법은 지금 주로"인과관계의방향"을 추리하는데 보다는 일반적으로 여러 가지 태도의 상대적 강도와 깊이를 추리해 내는데 사용되고 있다.

예를 들어보자. 어떤 일정한 기회에 100명의 교사의 행동을 "따뜻한"교사와 "냉정한"교사로 분류하고 그들의 학생의 행동을 "반응적""비반응적"으로 분류했다고 하자. 이렇게 해 놓으면 우리는 이사이에서 정상관관계를 발견하게 된다. 즉 따뜻한 교사는 반응적 학급을 갖게 된다는 것이다. 그러면 일건 질문을 던질수 있을 것이다. 즉 "과연 교사의 따뜻함이 학생들의 반응성을 만들어 주는 것일까?"그렇지 않으면 반응성이 있는 학급이 교사에게 따뜻함을 만들어주는 것일까?" 그러면 배심연구에서는 같은 교사와 같은 학생들을 대상으로 같은 변인이 두 번째 기회(관찰의)에 미치는 영향을 재 검토함으로써 이 문제를 연구 하려 할 것이다. (그러니까 두 개의 변인에 대한 두가지 수준의 측정으로 각기 기회(관찰의 기회)마다 네가지 반응형태를 만들어 줄 껏이다. 그렇지 않으면 두 번에 걸친 4X4가지의 가능한 반응형태가 있으니까 16가지가 된다. 즉 이를 도식화 하면 다음과 같다.

<제1회>

 

학생의 반응

교사의태도


냉정함

따뜻함

반응적

20

30

비반응적

30

20

 

<2회>

 

학생의 반응

교사의태도


냉정함

따뜻함

반응적

10

40

비반응적

40

10

 


<교사의 따뜻함이 학생의 반응을 유발>

 

학생의 반응

교사의태도


냉정함

따뜻함

반응적

10

30

비반응적

30

10

 

<학생의 반응 냉 교사의 따뜻함을 유발>

 

학생의 반응

교사의태도


냉정함

따뜻함

반응적

10

⑩→

30

비반응적

30

←⑩

10

 

학생의 반응

교사의태도


냉정함

따뜻함

반응적

20

30

비반응적

30

20

 


사전- 사후 분석(ex post facto analysis)

이 사전사후 실험(ex post facto experiment)이란 설계3과 같은 사테에서 사전X(pre-X)의 속성을 균형잡게하는 과정을 통해서 사전X를 등질화하려는 시도로 진형실험을 방불케하는 것을 말한다.

이 설계의 예로는 X는 고등학교의 교육(고등학교의 졸업생), Os는 10년후의 사회에서의 성공도와 사회에의 적응 - 이 정보들은 면접을 통해서 엄수한다. 이 경우의 집단의 등질화는 고등학교의 성적 기타 기록을 중심으로 한다. (이 사전X의 사실들은 물론 사전X면접을 통해서 확인 한다. 처음에는 이 자료들이 고등학교를 졸업할수 있다는 것은 졸업하지 못한 사람들 보다는 데 성공적일 분 아니라 학교때의 성적도 좋고, 부모의 직업적 배경도 좋고, 나이는 다른 학생들보다 어리고, 좋은 이웃을 가지고 있다는 것을 보여 주었다고 하자. 그러면 이들 선행사들이 고등학교의 졸업 여부와 훗일의 성공 여부를 결정 했을 것이라고 보는 것이다. 그 위에 또한 과연학교를 wpeog로 다니고 안다니고가이와 같은 배경적인 요인으로 인해서 남보다 먼저 앞서가는 일을 더욱 촉진해 주는데 영향을 주는 것일까? 그러니까 가정 배경 때문에 남보다 좀 앞서가는 것에 첨가해서 학교를 다니고 안다니고가 훗일의 성공에 박차를 가하는 영향을 주개되는 것일까 하는 문제이다.

이문제에 대한 해결책으로는 이들 배경요인에서 서로 필적하나 학교의 졸업여부에서 서로 갈라지는 하위집단을 찾아내서 이들의 성적, 성공도를 검토하고 비교하는 일이다. 그러니까 서로 맞먹는 요인들(그러니까 위에서 든 집단간의 배경적인 요인)을 하나씩 하나씩 첨가해 가면서 X와 비X(학교졸업여부)집단간의 사후검사의 차이가 반대로 줄어들게 될 것이다. 그러나 이제 모든 필적요인들을 다 맞추어도그래도 유의한 차가 나타나는 수가 있을 것이다. 즉 모든 조건이 다 같다해도 그래도 교육의 영향(X)은 남아 있다는 결론을 얻을지 모른다. 한 예를 들면, 체핀(Chapin)의 연구 에서는 처음에 2,127명의 모집단에서 모든 기록의 밑에서 쓸만한 사례를 1,194명을 골랐는데 이들중 필적요인(matching factor)들을 고려해서 추리니까 46명밖에 남지 않았다. 23명의 졸업자와 23명의 비졸업자로 처음에 면접해서 얻었던 대상자의 4%에 불과하다. 그러나 이 4%의 사례는 필적 요인을 고려하지 않는 1,194명 보다 훨씬 가치가 있는 집단이다. 이들 23명대 23명의 성공도와 적응을 측정한다면 이것은 마치 X, 비X에 의한 처치의 차이를 측정하는 실험설계를 방불케하는 설계가 될 수 있다. 그러니까 필적 요인을 고려한다는 것은 사후에 임의 추출을 하는 걱과 같은 효과를 노리는 것이다.

결론 논의

이제까지 연구에서 많이 이용하는 실험방안을 준실험설계와 진실험설계로 구분하여 설계하였다. 각 실험설계마다 장단점이 있고 실험결과의 타당성을 위협하는 요인도 각기 다르다. 앞장의 표1.2,3은 본장에서 소개한 10가지 실험설계의 타당성을 저해하는 요인들을 정리한 것이다. 이 표에서 해당요인의 칸에 있는 뺄셈기호(-)는 분명한 약점을, 덧셈기호(+)는 통제 될 수 있음을, 의문부호(?)는 문제가 될 수도 있으므로 주의 해야 함을, 그리고 공란은 관계 없음을 각각 의미한다. 이 표를 보면 각 설계에서 어떤 요인이 타당성을 위협하는가, 통제할수 있는 요인은 무엇이며 또 통제할수 없는 요인은 무엇인지를 일목요연하게 파악할수 있을 것이다.

좋은 실험설계란 다른 조건이 모두 같다면 실험의 타당성이 높은 것이 더 좋은 설계라고 본다. 그런데 실험설계에 어떤 저형이 있는 것은 아니다. 그러므로 연구자는 대개 자기가 계획한 연구의 목적과 문제의 성격에 알맞도록 실험설계를 새로 개발하여 쓰거나 기존의 설계중에서 적합한 것을 골라서 이용한다. 연구자가 노력해야 할 것은 현실적 여건이 허용하는 범위내에서 실험의 타당성을 극대화 시키는 일이다.

[][가족 소개][프로필][사은회][건강한삶][명심보감][공부방][난초][추천 사이트]

Copyright(c) 1996-2000 바람의소리 All rights reserved
c1163@chollian.net