Journal Archive

목표 기반 시나리오 학습(이하 GBS)은 역동적 기억이론(Kim, 2006; Park, 2007; Hwang, 2008; Kim, 2008; Park, 2015; Park, 2018)과 사례기반추론(Lee, 2007; Park, 2007; Hwang, 2008; Park, 2015; Park, 2018)을 이론적 배경으로 둔다. 교육의 목적은 학습자들의 기억을 변화시키는 것인데 지식이 기능으로부터 분리되는 오늘날의 교육에 대한 접근에 비판적 견해를 갖는다. 학습자들의 특성은 직접 수행한 동적인 영역에서의 행동을 기억한다. 그 기억은 역동적이며 목표 지향적이다. 그러므로, 절차적 지식에 초점을 두고(Park, 2007) 긍정적인 경험을 할 수 있도록 실제 사례를 기반으로 프로그램을 설계할 필요가 있다. GBS는 상호작용을 하는 가운데 행동을 기억하도록 하는데 그 핵심을 두고 있다. 그러므로 상호작용이 활발하게 일어날 수 있는 환경을 만들고 다양한 매체에서의 즉각적인 참고 자료와의 접속을 촉진시켜야 한다(Schank, 1994).

Schank(1999)는 GBS의 필수적인 구성 요소를 7가지로 정리하고 있다. 동기를 유발시키는 도전적인 학습 목표를 정하고 학습 목표를 달성하기 위한 미션 및 과제를 계획한다. 충분한 학습 경험을 제공할 수 있는 커버스토리를 만들고, 실제 세계를 경험할 수 있는 역할을 부여하며 어떻게 시나리오를 운용할지를 설계한다. 그리고, 다양한 매체를 학습 자원으로 활용할 수 있도록 설계하며 인지적, 정서적 지지를 위한 피드백 시스템을 구축해야 한다(Poornima and Padmanabhan, 2009).

여러 선행 연구들을 종합하여 GBS의 설계 모형을 분석한 Park(2018)은 GBS의 구성 내용을 목표분석 및 설정, 커버스토리 설정, 학습자원 및 학습 환경 개발, 미션 개발, 시나리오 운영 설계로 정리하였다.

GBS에 있어서 주목할 만한 특징은 실패 경험 기회를 제공하는 것이다(Schank, 1992; Naidu, 2003; Eduweb, 2004; Park, 2007). 실제 세계 경험에 있어서 실패 또는 실수의 상황들은 벌어지기 마련이다. 틀린 것을 바로 잡아 개념을 강화시키는 것이 중요하다. 이때에 실제(real) 지식을 습득한다는 것이다. 그러므로, 실패를 통해 학습할 기회를 제공하며 적시에 피드백을 제공해야 한다(Naidu, 2003).

GBS는 1990년대 초 앤더슨 컨설팅 회사가 GBS를 기반으로 한 직원 교육 프로그램을 성공적으로 설계하여 실행하면서부터 시작되었다(Poornima and Padmanabhan, 2009). GBS는 학교교육보다는 기업교육에서 더 많이 활용되고 있다고 보고되고 있지만 실증적인 연구는 부족한 실정이다.

GBS에 대한 전반적인 국내 연구동향을 살펴보면 다음과 같다. RISS를 통해 ‘목표기반시나리오’, ‘GBS’에 대해 검색한 결과(2018.12.30 검색 기준), 교수-학습 모형으로서의 GBS를 다룬 학위 논문과 국내 학술지 논문은(중복 제외) 42편이었다.

저자 당 논문 평균 편수는 1.4편으로 최대 5편인 저자 1명, 3편이 저자가 2명이다. 국내 연도별 동향은 [Fig. 1]과 같다. 2007년을 정점으로 활발하게 연구되었지만 최근에는 관련 연구가 주춤한 상태임을 나타내고 있다. 하지만 최근 해외에서 보고되어지는 사례들에서 해외 기업교육에 적극적으로 적용되던 GBS가 학교 교육 현장에 적용되어져 긍정적인 평가를 얻고 있는 것을 알 수 있다. 특히, 웹 기반 교수-학습 모형으로 활용되고 있으며(Poornima and Padmanabhan, 2009; Beriswill, 2015) 가상현실(Virtual World Role Plays)에 까지 적용되기 시작되었다(Bonk and Khoo, 2014).

[Fig. 1] 
Annual Research Trends

연구 방법별로 보면 개발 연구(64%)에 치중되어 있었다. 시스템 개발, 교수모형 개발, 프로그램 개발 등 개발에 초점을 두고 양적 평가와 질적 평가, 전문가 집단 평가가 이루어지기도 하였다. 그 다음으로는 양적 연구가 28.6%로 프로그램 설계와 함께 GBS를 적용한 효과에 대한 보고에 초점을 두고 있다.

목표기반시나리오를 기반으로 한 프로그램 개발 선행 연구들을 살펴보면 내용 영역에서는 역사, 수학, 컴퓨터, 환경교육, 주식, 건강교육, 정보통신기술교육, 정보통신기술윤리교육, 미술 등 다양한 영역에서 적용한 것을 볼 수 있었다. 프로그램 대상 또한 다양하다. 초등학생 대상이 12건으로 가장 많았고 기업, 대학생(전문대, 사이버대 제외), 고등학생 순이었다. 컴퓨터 활용 웹 기반 학습 환경에서의 GBS 교수-학습 모형 적용에 대한 연구가 69%로 면대면 학습 환경 보다 월등히 많은 것으로 나타났다.

GBS 프로그램 개발 선행 연구들에서 Schank(2001)의 7가지 필수적인 구성 요소들을 설계 과정에 적용한 몇 가지 사례를 정리한 내용은 <Table 1>과 같다. GBS는 학습 동기를 유발시킬만한 스토리 속에서 주어지거나 선택한 역할을 통해 미션을 수행함으로서 자연스럽게 학습 목표를 달성하도록 설계되어야 한다.

Hyun and Heo(2019)의 연구에서는 스마트 기기를 활용한 학습에 GBS를 적용한 컨텐츠를 개발하였다. 직업 세계의 실제 교육을 경험하는데 적합한 학습 방법으로 실패 경험을 제공하여 학습에 흥미를 주며 몰입할 수 있도록 하는 사례이다.

메타분석은 체계적 리뷰의 한 부분으로 기존의 선행 연구들을 종합 분석하는 방법이다. 실증적으로 수행된 선행 연구들로부터 도출된 결과들을 체계적이면서 계량적인 방법으로 분석하여 프로그램(개입)의 객관적이고 일반적인 효과를 평가하는 근거를 제공한다(Hwang, 2016).

다중 결과를 분석하고 평가하는 메타분석의 가치는 모수를 더 정확하게 추정하고자 하는데 있다. 결과에 영향을 줄만한 요인을 분석하고 오류와 왜곡을 최소화 하는데 초점을 둔다.

종합한 전체 평균효과크기가 산출되며 각 개별 연구의 효과크기 및 통계적 유의성과 가중치가 제시된다. 효과크기(effect size)는 “프로그램의 효과크기 또는 변수 간 관계의 크기를 표현한 값”으로 메타 분석의 분석 단위가 된다.

효과 크기는 두 비교 집단 간의 평균 차이를 검증하는 Cohen's d의 bias를 보완한 Hedges’g를 통해 검증한다(Hwang, 2016). Cohen’s d 효과크기는 표본이 작을 경우 효과크기를 과대 추정하는 경향이 있어 정확한 모집단의 표준편차를 추정하기 어렵다(Hedges and Olkin, 1985; Park and Woo, 2017). 따라서 효과크기를 Hedges’g로 교정하여 산출한다.

효과크기가 0.40보다 작으면 작은 효과크기로, 0.40~0.80은 중간 효과크기, 0.80,보다 크면 큰 효과크기로 해석할 수 있다(Cohen, 1988; Park and Woo, 2017). 효과크기는 95% 신뢰구간으로도 해석할 수 있다. 이는 정밀성(precision)을 나타내기도 한다. 신뢰구간이 0보다 큰 구간을 포함하면 유의미한 효과를 나타낸다고 해석할 수 있고 반대로 0보다 작은 구간을 포함하면 유의미하지 않은 효과를 나타낸다고 해석할 수 있다(Borenstein et al., 2009; Park and Woo, 2017). 또한, 제시되는 상한선과 하한선의 신뢰구간이 좁을수록 추정된 효과 크기가 정밀하다고 본다(Hwang, 2016).

본 연구의 분석 자료로 선정된 논문들은 각각의 연구자들에 의해 독립적으로 이루어진 연구이다. 연구대상, 교과영역, 학교 급별 등이 제각각 다르므로 모집단의 효과크기가 서로 다르다고 가정할 수 있다. 그러므로 평균 효과크기는 랜덤효과모형을 사용하여 분석하기로 한다. 이는 반드시 동질성 검사의 결과에 따르기 보다는(Han et al., 2014) 연구자가 연구물에 대해 검토하여 파악하고 판단해야 한다는 Hwang(2016)의 연구 견해에 따른다.

메타분석은 전체 효과크기만을 도출하는데 그 목표를 두고 있지 않다. 효과크기의 양상(Pattern of effects sizes)를 이해하는 것이 중요하다. 연구 간 서로 다른 결과들을 종합하고 분석해야 한다. 개별 연구로부터 도출된 서로 다른 효과크기 차이(이질성, heterogeneity)의 분포가 얼마나 일관되지 않은지를 측정하여 그 패턴을 파악한다. 전체 관찰 분산에 대한 실제분산의 비율(I²)로 이질성을 판단할 수 있다. I² > 50%, 동질성 검증의 p-value < 0.10 인 경우 효과크기의 이질성은 상당하다고 해석한다(Higgins and Green, 2011).

출판되는 연구들을 보면 대체적으로 통계적으로 유의미한 연구 결과물들이 선별적으로 보고되어지는 경향이 있다. 표본 크기가 작을 경우 효과크기가 과장될 가능성이 높다. 이런 출간 오류로 인해 연구 결과를 대표하지 못할 수 있다. 그러므로 오류에 대한 근거를 확인하고 미치는 영향을 살펴야 한다. 그러므로 출간오류분석을 시행할 필요가 있다.

본 연구에서는 출간오류분석으로 효과크기의 대칭성에 대한 통계적 검증과정을 거치도록 한다(Egger et al., 2001; Park and Woo, 2017). 출간오류 분석하는 방법은 두 가지로 먼저, funnel plot을 통해 시각적 분석이 가능하다. 효과크기의 분포가 비대칭인 경우 출간오류 가능성이 크다. 둘째, R 프로그램에서 ‘metabias’ 명령어를 통해 통계적 분석도 가능하다. 여기서 제시하는 t값과 P-value 값으로 판단하며 효과크기와 표준오차와의 관계를 회귀식으로 설명하고 있다. 회귀식 초기값의 p-value 값으로 출간오류에 대한 통계적 분석이 가능하다(Sterne et al., 2008).

통합적인 분석이 되기 위해서 기존의 선행 연구 결과들을 체계적으로 수집해야 한다. 메타분석을 위한 자료 선정에 있어서 다음과 같은 자료 선정 기준을 정하였다.

먼저, RISS를 통해 국내 학술지 및 국내 학위논문을 대상으로 ‘GBS’, ‘Goal-Based-Scenarios’, ‘문제기반시나리오’로 검색하였다. 데이터베이스 검색을 통해 발견된 자료에서 교수-학습 모형의 GBS가 아닌 연구와 중복 연구를 제외한 연구는 42편이었다. 그 가운데에서 정량적인 연구로 실험 집단과 비교 집단으로 나누어 설계 되어 있으며 평균값과 표준편차 등의 효과크기를 산출할 수 있는 자료를 제시하고 있는 논문들을 메타분석 대상 논문으로 선정하였다. 단일 집단의 사전-사후 검증한 사례는 제외하고 실험 집단과 통제 집단을 나누어 설계된 실험 설계 및 준실험 설계에 해당하는 연구들을 조사한 결과, 7개의 논문이 이에 해당되었다. 선정된 7개의 논문에서 34개의 하위 변인들의 효과크기를 도출할 수 있었다.

선정된 자료의 특징을 살펴보면 7편 모두 학위 논문으로 박사 학위논문 2편, 석사학위 논문 5편이다. 본 메타분석 기준에 해당하는 실험설계, 준실험설계 연구가 학위논문밖에 없었다. 프로그램 학습자 대상으로는 대학생 3편, 초등학생 3편, 전문계 고등학생이 1편이다. 학습 내용에 해당하는 교과목으로 교육공학 2편, 사회과 2편 그 외 컴퓨터 교과, 수학, 간호보건교육이 있다. 7편 가운데 6편이 웹 기반을 포함한 컴퓨터 활용 환경에서의 GBS 교수-학습 모형을 적용한 것으로 나타났다. <Tabel 2>은 선정된 자료에서 다루고 있는 변인들을 정리하였다.

본 연구의 연구 절차는 다음과 같다. 선정된 연구주제에 따라 데이터베이스(RISS)를 통해 검색된 문헌들을 바탕으로 선행연구가 이루어졌으며 선행연구들의 연구 동향을 살펴보고(체계적 리뷰) 선행연구들을 바탕으로 메타분석 자료들을 선별하였다. 선정된 자료에서 코딩 목록(저자, 연도, 출판유형, 교과영역, 대상, 종속변인 등)에 해당하는 데이터를 추출하여 코딩하였다. 코딩된 데이터를 가지고 R 프로그램을 활용하여 프로그램의 전체효과크기를 보았다. 또한, 변인 영역을 정의적 영역과 인지적 영역으로 분류하여 효과크기를 계산하였다. 웹 기반의 학습 환경과 면대면 학습 환경을 구분하여 효과크기를 살펴보았다. 효과크기와 함께 동질성 검증 및 이질성 판단을 하였으며 출판 편향 오류 검증도 이루어졌다.

본 연구는 R 3.5.2 프로그램을 활용하여 분석하였다. R 프로그램 패키지는 ‘meta’ 와 ‘metafor’ 를 활용하였다.

효과크기는 Cohen(1988)이 제시한 기준으로 해석하고 효과크기 뿐 아니라 이질성 판단과 출간오류분석을 통해 연구 결과의 양상을 종합적으로 판단하고자 하였다.

본 연구에서는 GBS를 적용한 프로그램의 전체 효과크기 뿐 아니라 종속변인을 인지적 영역과 정의적 영역으로 분류하여 효과크기를 계산하였다. 선행 연구들의 종속변인들을 보면 학습의 효과를 보는 변인들로서 크게 인지적 효과와 정의적 효과로 나눌 수 있다(Son and Ha, 2008). 인지적 영역에는 학습 성취도, 문제해결력, 이해력, 적용력, 과제 수행 능력 등이 포함될 수 있으며 본 연구에서는 이해, 원리 적용, 도해력 등을 포함시켰다. 정의적 영역에서는 학습 태도, 자아개념, 학습 동기 등이 포함된다. 본 연구에서는 몰입, 자아개념으로 우월감, 자신감, 흥미, 주의집중, 관련성, 자신감, 만족감, 학습 지속동기, 교과에 대한 태도, 학습습관 등을 포함시켰으며 자기주도 학습 능력도 포함시켰다.

표본 크기가 작은 연구들이 미치는 영향을 검증하는 출간오류에 대한 분석은 funnel plot에 의한 시각적 분석과 Egger's regression test의 통계적 분석 두 가지 방법으로 판단할 수 있다.

먼저, 시각적 분석이 가능한 funnel plot을 보면 [Fig. 3]과 같다.

[Fig. 3] 
funnel plot

시각적 분석만을 통해서도 표본 크기가 작은 연구들로 인해 오류가 있음을 알 수 있다. 그래프 하단에 폭넓게 분포되어 있는 것을 볼 수 있다. 이는 표본크기가 작은 연구들로 비대칭의 모습을 보이며 출간오류가 있음을 나타낸다.

출판 편향에 대한 통계적 분석을 실시한 결과는 [Fig. 4]와 같다. t=3.999 , df=32, ρ=0.0003512로 bias의 p-value 값이 통계적으로 유의하였다. 이는 효과크기와 표준오차의 관계가 통계적으로 유의미한 관계라는 것이다. 그러므로 표본 크기가 작은 연구들로 인해 효과크기가 과장되어 출판되었을 가능성이 있는 것으로 볼 수 있다.

[Fig. 4] 
Results of Publication Bias presented in R