The Korean Society Fishries And Sciences Education
[ Article ]
The Journal of the Korean Society for Fisheries and Marine Sciences Education - Vol. 31, No. 3, pp.693-702
ISSN: 1229-8999 (Print) 2288-2049 (Online)
Print publication date 30 Jun 2019
Received 14 Mar 2019 Revised 17 Apr 2019 Accepted 23 Apr 2019
DOI: https://doi.org/10.13000/JFMSE.2019.6.31.3.693

목표기반시나리오를 활용한 교수-학습 전략의 효과성 검증을 위한 메타 분석

현순안 ; 허균
부경대학교(학생)
부경대학교(교수)
Meta-Analysis on the Effectiveness Research of Teaching-Learning Strategy using Goal-Based Scenarios
Soon-An HYUN ; Gyun HEO
Pukyong National University(student)
Pukyong National University(professor)

Correspondence to: 051-629-5970, gyunheo@pknu.ac.kr

Abstract

The purpose of this study is to carry out a meta - analysis on the effectiveness of GBS on the domestic papers which have been studied and reported empirically on the educational program applying the GBS as the teaching - learning design model. The effect size according to the control variable as well as the total effect are examined. Variables for the control effect are categorized into cognitive domain and affective domain, and the online and offline domains are separated.

The selected data are the education program applying the GBS teaching - learning design strategy and the seven research papers corresponding to experimental design and quasi - experimental design designed by dividing experiment group and control group. There, we derived the effect sizes of 34 sub-variables. he effectiveness of this study was verified. In addition, the effect size heterogeneity of the selected data and the bias of publication bias were analyzed. This study was analyzed using R 3.5.2 program.

Keywords:

Meta-Analysis, Goal-based scenarios, Effectiveness research, Web-based instruction

Ⅰ. 서 론

교육 현장에서는 지식 축적의 단순한 전달 방식에서 벗어나기 위한 노력을 기울이고 있다. 학습자 중심의 학습 환경을 조성하고 교수-학습 설계 전략을 다양한 시각에서 시도하고 있다. 학습자에게 추상적으로 개념과 원리를 가르치기 보다는 실제적인 과제를 제시하거나 찾아내도록 촉진한다. 문제를 해결하는 과정에서 맥락을 학습하고 학습 과정에서 기능을 획득할 수 있도록 하는 교수-학습 모형들을 적용하고 있다.

이런 교수-학습 모형들 중 하나가 목표기반시나리오(Goal-based scenarios, 이하 GBS)이다. GBS는 학습자들이 해결해야 할 과제를 수행 목표로 설정하고 시나리오 형태로 제공한다. 그 시나리오 속에서 설정된 역할을 통해 과제를 해결해 가는 교수-학습 전략이다. 사례를 기반으로 상호작용 속에서 ‘Learning-by-doing’이 되도록 한다(Schank, 2001).

이런 GBS 교수-학습 전략은 학교 교육보다는 기업 교육에 많이 적용되고 있지만 효과성에 대한 연구 보고는 활발하지 못한 실정이다. 교육 현장에서의 활발한 적용을 위해 지금까지 보고된 GBS에 대한 선행 연구들을 종합적으로 분석하여 살펴 볼 필요가 있다. 이에 “동일한 주제에 대한 다양한 연구를 체계적이고 계량적으로 분석”(Hwang, 2011)하는 메타분석을 수행하고자 한다. 이는 GBS 교수-학습 전략을 교육 현장에 적용하는데 필요한 시사점을 제공할 수 있을 것으로 기대한다.

본 연구는 메타분석을 통해 전체 프로그램의 효과 크기를 검증 뿐 아니라 변인을 크게 정의적 영역과 인지적 영역으로 구분하여 효과성을 알아보고자 한다. 이는 선행 연구들에서 프로그램에 대한 효과 검증으로 실시된 변인들을 정의적 영역과 인지적 영역으로 크게 구분하고 있기 때문이다.

또한, 선행연구를 살펴보면 GBS 교수-학습모형을 적용한 사례에서 웹 기반으로 한 사례가 적지 않았다. 정보통신의 발달은 교육 현장에서도 컴퓨터 활용을 활발하게 촉진시켜 블랜디드 러닝, 온, 오프라인을 모두 활용 수업 뿐 아니라 가상현실을 적용한 목표기반시나리오 교수-학습모형의 연구 사례들까지 보고되어 있다. 이에 따라 웹 기반 환경과 일반 환경을 구분하여 효과 크기를 알아봄으로써 교육 장면에서 효과적으로 활용되고 있는지 알아보고 효과적인 적용 가능성을 탐색하고자 한다.

본 연구의 목적은 교수-학습설계모형으로 GBS 즉 목표기반시나리오를 적용한 교육 프로그램을 실증적으로 연구하여 보고한 국내 논문을 대상으로 GBS 효과성에 대한 메타분석을 실시하는 것이다. 전체 효과크기 뿐 아니라 변인을 인지적, 정의적 영역으로 나누어 효과크기를 알아보고 컴퓨터를 활용한 온라인 학습 환경과 오프라인 환경을 구분하여 학습 환경에 따른 효과 크기도 알아보고자 한다.

본 연구의 연구문제는 다음과 같다.

첫째, 목표기반시나리오 활용한 학습이 학습 효과에 미치는 전체 효과크기는 어떠한가?

둘째, 목표기반시나리오를 활용한 학습에 있어서 인지적 영역과 정의적 영역에 대한 학습의 효과 크기는 어떠한가?

셋째, 목표기반시나리오를 활용한 학습에 있어서 컴퓨터 활용 웹기반 환경과 면대면 학습 환경에 대한 학습의 효과크기는 어떠한가?


Ⅱ. 이론적 배경

1. 목표기반시나리오(GBS)

목표 기반 시나리오 학습(이하 GBS)은 역동적 기억이론(Kim, 2006; Park, 2007; Hwang, 2008; Kim, 2008; Park, 2015; Park, 2018)과 사례기반추론(Lee, 2007; Park, 2007; Hwang, 2008; Park, 2015; Park, 2018)을 이론적 배경으로 둔다. 교육의 목적은 학습자들의 기억을 변화시키는 것인데 지식이 기능으로부터 분리되는 오늘날의 교육에 대한 접근에 비판적 견해를 갖는다. 학습자들의 특성은 직접 수행한 동적인 영역에서의 행동을 기억한다. 그 기억은 역동적이며 목표 지향적이다. 그러므로, 절차적 지식에 초점을 두고(Park, 2007) 긍정적인 경험을 할 수 있도록 실제 사례를 기반으로 프로그램을 설계할 필요가 있다. GBS는 상호작용을 하는 가운데 행동을 기억하도록 하는데 그 핵심을 두고 있다. 그러므로 상호작용이 활발하게 일어날 수 있는 환경을 만들고 다양한 매체에서의 즉각적인 참고 자료와의 접속을 촉진시켜야 한다(Schank, 1994).

Schank(1999)는 GBS의 필수적인 구성 요소를 7가지로 정리하고 있다. 동기를 유발시키는 도전적인 학습 목표를 정하고 학습 목표를 달성하기 위한 미션 및 과제를 계획한다. 충분한 학습 경험을 제공할 수 있는 커버스토리를 만들고, 실제 세계를 경험할 수 있는 역할을 부여하며 어떻게 시나리오를 운용할지를 설계한다. 그리고, 다양한 매체를 학습 자원으로 활용할 수 있도록 설계하며 인지적, 정서적 지지를 위한 피드백 시스템을 구축해야 한다(Poornima and Padmanabhan, 2009).

여러 선행 연구들을 종합하여 GBS의 설계 모형을 분석한 Park(2018)은 GBS의 구성 내용을 목표분석 및 설정, 커버스토리 설정, 학습자원 및 학습 환경 개발, 미션 개발, 시나리오 운영 설계로 정리하였다.

GBS에 있어서 주목할 만한 특징은 실패 경험 기회를 제공하는 것이다(Schank, 1992; Naidu, 2003; Eduweb, 2004; Park, 2007). 실제 세계 경험에 있어서 실패 또는 실수의 상황들은 벌어지기 마련이다. 틀린 것을 바로 잡아 개념을 강화시키는 것이 중요하다. 이때에 실제(real) 지식을 습득한다는 것이다. 그러므로, 실패를 통해 학습할 기회를 제공하며 적시에 피드백을 제공해야 한다(Naidu, 2003).

2. 목표기반시나리오에 대한 선행연구의 체계적 리뷰

GBS는 1990년대 초 앤더슨 컨설팅 회사가 GBS를 기반으로 한 직원 교육 프로그램을 성공적으로 설계하여 실행하면서부터 시작되었다(Poornima and Padmanabhan, 2009). GBS는 학교교육보다는 기업교육에서 더 많이 활용되고 있다고 보고되고 있지만 실증적인 연구는 부족한 실정이다.

GBS에 대한 전반적인 국내 연구동향을 살펴보면 다음과 같다. RISS를 통해 ‘목표기반시나리오’, ‘GBS’에 대해 검색한 결과(2018.12.30 검색 기준), 교수-학습 모형으로서의 GBS를 다룬 학위 논문과 국내 학술지 논문은(중복 제외) 42편이었다.

저자 당 논문 평균 편수는 1.4편으로 최대 5편인 저자 1명, 3편이 저자가 2명이다. 국내 연도별 동향은 [Fig. 1]과 같다. 2007년을 정점으로 활발하게 연구되었지만 최근에는 관련 연구가 주춤한 상태임을 나타내고 있다. 하지만 최근 해외에서 보고되어지는 사례들에서 해외 기업교육에 적극적으로 적용되던 GBS가 학교 교육 현장에 적용되어져 긍정적인 평가를 얻고 있는 것을 알 수 있다. 특히, 웹 기반 교수-학습 모형으로 활용되고 있으며(Poornima and Padmanabhan, 2009; Beriswill, 2015) 가상현실(Virtual World Role Plays)에 까지 적용되기 시작되었다(Bonk and Khoo, 2014).

[Fig. 1]

Annual Research Trends

연구 방법별로 보면 개발 연구(64%)에 치중되어 있었다. 시스템 개발, 교수모형 개발, 프로그램 개발 등 개발에 초점을 두고 양적 평가와 질적 평가, 전문가 집단 평가가 이루어지기도 하였다. 그 다음으로는 양적 연구가 28.6%로 프로그램 설계와 함께 GBS를 적용한 효과에 대한 보고에 초점을 두고 있다.

목표기반시나리오를 기반으로 한 프로그램 개발 선행 연구들을 살펴보면 내용 영역에서는 역사, 수학, 컴퓨터, 환경교육, 주식, 건강교육, 정보통신기술교육, 정보통신기술윤리교육, 미술 등 다양한 영역에서 적용한 것을 볼 수 있었다. 프로그램 대상 또한 다양하다. 초등학생 대상이 12건으로 가장 많았고 기업, 대학생(전문대, 사이버대 제외), 고등학생 순이었다. 컴퓨터 활용 웹 기반 학습 환경에서의 GBS 교수-학습 모형 적용에 대한 연구가 69%로 면대면 학습 환경 보다 월등히 많은 것으로 나타났다.

GBS 프로그램 개발 선행 연구들에서 Schank(2001)의 7가지 필수적인 구성 요소들을 설계 과정에 적용한 몇 가지 사례를 정리한 내용은 <Table 1>과 같다. GBS는 학습 동기를 유발시킬만한 스토리 속에서 주어지거나 선택한 역할을 통해 미션을 수행함으로서 자연스럽게 학습 목표를 달성하도록 설계되어야 한다.

Case Analysis of GBS Program

Hyun and Heo(2019)의 연구에서는 스마트 기기를 활용한 학습에 GBS를 적용한 컨텐츠를 개발하였다. 직업 세계의 실제 교육을 경험하는데 적합한 학습 방법으로 실패 경험을 제공하여 학습에 흥미를 주며 몰입할 수 있도록 하는 사례이다.


Ⅲ. 연구 방법

1. 메타 분석

메타분석은 체계적 리뷰의 한 부분으로 기존의 선행 연구들을 종합 분석하는 방법이다. 실증적으로 수행된 선행 연구들로부터 도출된 결과들을 체계적이면서 계량적인 방법으로 분석하여 프로그램(개입)의 객관적이고 일반적인 효과를 평가하는 근거를 제공한다(Hwang, 2016).

다중 결과를 분석하고 평가하는 메타분석의 가치는 모수를 더 정확하게 추정하고자 하는데 있다. 결과에 영향을 줄만한 요인을 분석하고 오류와 왜곡을 최소화 하는데 초점을 둔다.

종합한 전체 평균효과크기가 산출되며 각 개별 연구의 효과크기 및 통계적 유의성과 가중치가 제시된다. 효과크기(effect size)는 “프로그램의 효과크기 또는 변수 간 관계의 크기를 표현한 값”으로 메타 분석의 분석 단위가 된다.

효과 크기는 두 비교 집단 간의 평균 차이를 검증하는 Cohen's d의 bias를 보완한 Hedges’g를 통해 검증한다(Hwang, 2016). Cohen’s d 효과크기는 표본이 작을 경우 효과크기를 과대 추정하는 경향이 있어 정확한 모집단의 표준편차를 추정하기 어렵다(Hedges and Olkin, 1985; Park and Woo, 2017). 따라서 효과크기를 Hedges’g로 교정하여 산출한다.

효과크기가 0.40보다 작으면 작은 효과크기로, 0.40~0.80은 중간 효과크기, 0.80,보다 크면 큰 효과크기로 해석할 수 있다(Cohen, 1988; Park and Woo, 2017). 효과크기는 95% 신뢰구간으로도 해석할 수 있다. 이는 정밀성(precision)을 나타내기도 한다. 신뢰구간이 0보다 큰 구간을 포함하면 유의미한 효과를 나타낸다고 해석할 수 있고 반대로 0보다 작은 구간을 포함하면 유의미하지 않은 효과를 나타낸다고 해석할 수 있다(Borenstein et al., 2009; Park and Woo, 2017). 또한, 제시되는 상한선과 하한선의 신뢰구간이 좁을수록 추정된 효과 크기가 정밀하다고 본다(Hwang, 2016).

본 연구의 분석 자료로 선정된 논문들은 각각의 연구자들에 의해 독립적으로 이루어진 연구이다. 연구대상, 교과영역, 학교 급별 등이 제각각 다르므로 모집단의 효과크기가 서로 다르다고 가정할 수 있다. 그러므로 평균 효과크기는 랜덤효과모형을 사용하여 분석하기로 한다. 이는 반드시 동질성 검사의 결과에 따르기 보다는(Han et al., 2014) 연구자가 연구물에 대해 검토하여 파악하고 판단해야 한다는 Hwang(2016)의 연구 견해에 따른다.

메타분석은 전체 효과크기만을 도출하는데 그 목표를 두고 있지 않다. 효과크기의 양상(Pattern of effects sizes)를 이해하는 것이 중요하다. 연구 간 서로 다른 결과들을 종합하고 분석해야 한다. 개별 연구로부터 도출된 서로 다른 효과크기 차이(이질성, heterogeneity)의 분포가 얼마나 일관되지 않은지를 측정하여 그 패턴을 파악한다. 전체 관찰 분산에 대한 실제분산의 비율(I2)로 이질성을 판단할 수 있다. I2 > 50%, 동질성 검증의 p-value < 0.10 인 경우 효과크기의 이질성은 상당하다고 해석한다(Higgins and Green, 2011).

출판되는 연구들을 보면 대체적으로 통계적으로 유의미한 연구 결과물들이 선별적으로 보고되어지는 경향이 있다. 표본 크기가 작을 경우 효과크기가 과장될 가능성이 높다. 이런 출간 오류로 인해 연구 결과를 대표하지 못할 수 있다. 그러므로 오류에 대한 근거를 확인하고 미치는 영향을 살펴야 한다. 그러므로 출간오류분석을 시행할 필요가 있다.

본 연구에서는 출간오류분석으로 효과크기의 대칭성에 대한 통계적 검증과정을 거치도록 한다(Egger et al., 2001; Park and Woo, 2017). 출간오류 분석하는 방법은 두 가지로 먼저, funnel plot을 통해 시각적 분석이 가능하다. 효과크기의 분포가 비대칭인 경우 출간오류 가능성이 크다. 둘째, R 프로그램에서 ‘metabias’ 명령어를 통해 통계적 분석도 가능하다. 여기서 제시하는 t값과 P-value 값으로 판단하며 효과크기와 표준오차와의 관계를 회귀식으로 설명하고 있다. 회귀식 초기값의 p-value 값으로 출간오류에 대한 통계적 분석이 가능하다(Sterne et al., 2008).

2. 자료 선정

통합적인 분석이 되기 위해서 기존의 선행 연구 결과들을 체계적으로 수집해야 한다. 메타분석을 위한 자료 선정에 있어서 다음과 같은 자료 선정 기준을 정하였다.

먼저, RISS를 통해 국내 학술지 및 국내 학위논문을 대상으로 ‘GBS’, ‘Goal-Based-Scenarios’, ‘문제기반시나리오’로 검색하였다. 데이터베이스 검색을 통해 발견된 자료에서 교수-학습 모형의 GBS가 아닌 연구와 중복 연구를 제외한 연구는 42편이었다. 그 가운데에서 정량적인 연구로 실험 집단과 비교 집단으로 나누어 설계 되어 있으며 평균값과 표준편차 등의 효과크기를 산출할 수 있는 자료를 제시하고 있는 논문들을 메타분석 대상 논문으로 선정하였다. 단일 집단의 사전-사후 검증한 사례는 제외하고 실험 집단과 통제 집단을 나누어 설계된 실험 설계 및 준실험 설계에 해당하는 연구들을 조사한 결과, 7개의 논문이 이에 해당되었다. 선정된 7개의 논문에서 34개의 하위 변인들의 효과크기를 도출할 수 있었다.

선정된 자료의 특징을 살펴보면 7편 모두 학위 논문으로 박사 학위논문 2편, 석사학위 논문 5편이다. 본 메타분석 기준에 해당하는 실험설계, 준실험설계 연구가 학위논문밖에 없었다. 프로그램 학습자 대상으로는 대학생 3편, 초등학생 3편, 전문계 고등학생이 1편이다. 학습 내용에 해당하는 교과목으로 교육공학 2편, 사회과 2편 그 외 컴퓨터 교과, 수학, 간호보건교육이 있다. 7편 가운데 6편이 웹 기반을 포함한 컴퓨터 활용 환경에서의 GBS 교수-학습 모형을 적용한 것으로 나타났다. <Tabel 2>은 선정된 자료에서 다루고 있는 변인들을 정리하였다.

Variables of selected data.

3. 연구 절차

본 연구의 연구 절차는 다음과 같다. 선정된 연구주제에 따라 데이터베이스(RISS)를 통해 검색된 문헌들을 바탕으로 선행연구가 이루어졌으며 선행연구들의 연구 동향을 살펴보고(체계적 리뷰) 선행연구들을 바탕으로 메타분석 자료들을 선별하였다. 선정된 자료에서 코딩 목록(저자, 연도, 출판유형, 교과영역, 대상, 종속변인 등)에 해당하는 데이터를 추출하여 코딩하였다. 코딩된 데이터를 가지고 R 프로그램을 활용하여 프로그램의 전체효과크기를 보았다. 또한, 변인 영역을 정의적 영역과 인지적 영역으로 분류하여 효과크기를 계산하였다. 웹 기반의 학습 환경과 면대면 학습 환경을 구분하여 효과크기를 살펴보았다. 효과크기와 함께 동질성 검증 및 이질성 판단을 하였으며 출판 편향 오류 검증도 이루어졌다.

4. 분석 방법

본 연구는 R 3.5.2 프로그램을 활용하여 분석하였다. R 프로그램 패키지는 ‘meta’ 와 ‘metafor’ 를 활용하였다.

효과크기는 Cohen(1988)이 제시한 기준으로 해석하고 효과크기 뿐 아니라 이질성 판단과 출간오류분석을 통해 연구 결과의 양상을 종합적으로 판단하고자 하였다.

본 연구에서는 GBS를 적용한 프로그램의 전체 효과크기 뿐 아니라 종속변인을 인지적 영역과 정의적 영역으로 분류하여 효과크기를 계산하였다. 선행 연구들의 종속변인들을 보면 학습의 효과를 보는 변인들로서 크게 인지적 효과와 정의적 효과로 나눌 수 있다(Son and Ha, 2008). 인지적 영역에는 학습 성취도, 문제해결력, 이해력, 적용력, 과제 수행 능력 등이 포함될 수 있으며 본 연구에서는 이해, 원리 적용, 도해력 등을 포함시켰다. 정의적 영역에서는 학습 태도, 자아개념, 학습 동기 등이 포함된다. 본 연구에서는 몰입, 자아개념으로 우월감, 자신감, 흥미, 주의집중, 관련성, 자신감, 만족감, 학습 지속동기, 교과에 대한 태도, 학습습관 등을 포함시켰으며 자기주도 학습 능력도 포함시켰다.


Ⅳ. 연구 결과

1. 효과크기 검증 및 이질성 판단

가. GBS의 평균 효과크기와 이질성 판단

본 연구에서 분석한 GBS를 활용한 교수-학습 관련 논문 7편에서 총 34개의 효과크기 사례수를 추출하였다. 이를 바탕으로 GBS 활용한 교수-학습의 평균 효과크기를 랜덤효과모형으로 산출한 결과는 <Table 3> 과 같다.

Total Average Effect Size of GBS

<Table 3>에서 제시한 바와 같이 GBS를 활용한 교수-학습 프로그램의 전체 평균 효과크기는 1.13으로 Cohen(1982)이 제시한 효과크기 해석 기준에 의하면 매우 큰 효과크기라 할 수 있다. 유의도 ρ< .05이면서 신뢰구간이 0을 포함하고 있지 않기 때문에 큰 효과크기를 나타내고 있다고 할 수 있다. GBS를 활용하지 않는 교수-학습 집단에 비해 학습 효과가 있다는 것을 알 수 있다.

하지만 I2값이 판단 기준인 50%를 훨씬 상회하고 ρ 값 또한 0.1 보다 작으므로 사례들의 효과크기가 동질하지 못할 뿐 아니라 이질성에 있어서 상당히 높은 것으로 나타났다.

나. 인지적, 정의적 영역별 효과크기

종속변인들을 학습 효과에 대한 인지적, 정의적 영역으로 구분하여 메타 ANOVA 분석을 시행하였다.

GBS를 활용한 교수-학습에서 인지적 학습 효과와 정의적 학습 효과의 평균 효과크기를 알아보았다. 그 결과는 <Table 4> 과 같다.

Effect Size by Variable

<Table 4>에서와 같이 인지적 효과크기는 0.72, 정의적 효과크기는 1.57 이다. 또한 ρ<0.01 이면서 신뢰구간 또한 0을 포함하고 있지 않고 있어서 인지적 효과는 중간 효과크기를 나타내고 있으며 정의적 효과는 큰 효과크기를 나타내고 있다고 할 수 있다. 이는 통계적으로 유의미한 차이를 보인다고 할 수 있다. 하지만 정의적 효과의 경우 신뢰 구간이 인지적 효과보다 넓은 것을 감안하면 효과크기의 정밀도 부분에서는 떨어진다고 할 수 있다. 또한 인지적, 정의적 효과 모두 이질성이 매우 상당한 것으로 나타나고 있다(I2 > 50%).

다. 학습 환경에 따른 효과크기

GBS를 활용한 교수-학습에서 학습 환경의 차이에 따른 효과크기를 분석하였다. [Fig. 2]는 컴퓨터를 활용한 웹 기반 학습 환경과 면대면 학습 환경으로 구분하여 분석한 결과이다. [Fig. 2]는 각 사례별 효과크기를 모두 나타내고 있으며 웹 기반 학습 환경(상단)와 면대면 학습 환경(하단)으로 나누어 효과크기를 제시하고 있다.

[Fig. 2]

Individual Effect Size and Forest Plot for Effectiveness by Leaning Environment

웹기반 학습 환경의 효과크기는 0.52로 중간 크기의 효과를 나타내고 있으며 면대면 학습 환경은 2.32로 매우 큰 효과크기를 나타내고 있다. 웹기반 학습 환경은 ρ= 0.05 이면 신뢰구간이 0.38~0.67 으로 나타났으며 면대면 학습 환경의 경우 ρ<0.01 이면서 신뢰구간이 1.56~3.09로 나타났다. 면대면 학습 환경의 경우 지나치게 큰 효과크기와 넓은 신뢰구간은 효과크기의 정밀도가 떨어지고 결과보고가 과장되었음을 추정할 수 있겠다.

무엇보다도 주목할 결과는 면대면 학습 환경의 I2=95%에 비해 웹기반 학습 환경의 I2 값이 36%로 효과크기의 이질성이 크지 않은 것으로 나타났다. 이로써 앞서 보였던 전체 효과크기의 이질성의 원인은 학습 환경에 따른 것으로 판단할 수 있겠다.

3. 출판 편향 오류 검증

표본 크기가 작은 연구들이 미치는 영향을 검증하는 출간오류에 대한 분석은 funnel plot에 의한 시각적 분석과 Egger's regression test의 통계적 분석 두 가지 방법으로 판단할 수 있다.

먼저, 시각적 분석이 가능한 funnel plot을 보면 [Fig. 3]과 같다.

[Fig. 3]

funnel plot

시각적 분석만을 통해서도 표본 크기가 작은 연구들로 인해 오류가 있음을 알 수 있다. 그래프 하단에 폭넓게 분포되어 있는 것을 볼 수 있다. 이는 표본크기가 작은 연구들로 비대칭의 모습을 보이며 출간오류가 있음을 나타낸다.

출판 편향에 대한 통계적 분석을 실시한 결과는 [Fig. 4]와 같다. t=3.999 , df=32, ρ=0.0003512로 bias의 p-value 값이 통계적으로 유의하였다. 이는 효과크기와 표준오차의 관계가 통계적으로 유의미한 관계라는 것이다. 그러므로 표본 크기가 작은 연구들로 인해 효과크기가 과장되어 출판되었을 가능성이 있는 것으로 볼 수 있다.

[Fig. 4]

Results of Publication Bias presented in R


Ⅴ. 결 론

본 연구는 GBS 교수-학습을 적용한 교육 프로그램의 효과성을 검증하기 위해 메타분석을 실시하였다. 국내에서 발표된 GBS 활용 프로그램의 효과성을 검증하기 위한 실험 설계 및 준 실험 설계로 보고된 연구 논문을 대상으로 34개의 효과크기를 도출하였다. 이를 전체 효과크기 및 인지적 효과와 정의적 효과를 구분하여 효과크기를 살펴보았으며 학습 환경에 따른 효과크기를 알아보았다.

연구결과물들의 오류를 판단하기 위해 이질성 판단과 출간오류분석도 함께 시행하였다. 이는 메타분석의 목적이 프로그램 개입의 객관적인 효과를 평가하는 것만이 아니라 연구 결과의 양상을 살펴보는데 있기 때문이다.

연구의 결과에서 GBS를 적용한 교수-학습은 큰 효과크기를 보였지만 이질성이 매우 상당한 것으로 나타났다. 인지적 효과 크기는 중간 크기의 효과크기를 보였으며 정의적 효과 크기는 매우 큰 효과크기를 보였다. 인지적, 정의적 효과크기 모두 이질성이 매우 상당했다. 학습 환경별 효과크기에서는 웹기반 학습 환경은 중간 크기의 효과크기를 보였고 면대면 학습 환경의 경우 매우 큰 효과크기를 보였다. 하지만 웹기반 학습 환경의 효과크기에 대한 이질성은 결과에 영향을 줄 정도로 영향력이 있지 않았다. 반면 면대면 학습 환경은 이질성이 매우 높았다.

각 개별 연구결과들의 이질적인 원인은 학습 환경에 있었다. 면대면 학습 환경의 경우 연구 사례 수가 매우 작았다. 표본 크기가 매우 작아 생기는 오류로 인해 정밀도는 떨어지고 이질성이 매우 상당하게 나타났다.

본 연구는 웹 기반 학습 환경에서 GBS 교수-학습이 일관되게 학습 효과를 가져 오고 있다는 결론을 도출하였다. 이는 Beriswill(2015)Bonk and Khoo(2014)의 보고와 같이 GBS 모형의 적용이 주춤했다가 웹 기반 환경에 적용되고 가상현실에까지 적용되는 연구가 증가하는 추세에 근거가 될 수 있다. 면대면 학습 환경보다는 웹 기반 학습 환경에서 GBS 교수-학습이 프로그램 설계가 효과적으로 이루어질 수 있음을 시사한다.

본 연구의 한계점은 메타분석 연구 기준에 맞는 논문이 학위논문에 한정되어 있다는 점과 GBS에 대한 연구보고 사례수가 많지 않다는 것이다. 실증적으로 메타분석에 필요한 자료를 제공하는 연구 보고가 많지 않았고 전체적으로 다른 구성주의 관점의 교수-학습 전략에 비해 GBS에 대한 선행연구가 많지 않았다. GBS에 대한 활발한 연구가 이루어져서 더 많은 표본을 확보하여 메타분석이 이루어진다면 더 신뢰할 수 있는 결과물을 얻을 수 있을 것이라 기대한다.

References

  • Bonk, CJ, and Khoo, E, (2014), Adding some tech-variety: 100+ Activities for Motivation and Retaining Learners Online, Indiana, Open World Books, http://tec-variety.com.
  • Beriswill, JE, (2015), Design Process of a Goal Based Scenario on compution Fundamentals, TechTrends, 59(6), p15-20. [https://doi.org/10.1007/s11528-015-0899-x]
  • Borrenstein, M, Hedges, LV, Higgins, PT, and Rothstein, HR, (2009), Introduction to meta-analysis, Chichester, UK.
  • Cho, YS, (2006), Design and Implementation of an RPG Edugame, using Goal-based Scenarios Theory-A study intended for the underachieving children in learning basic elementary school math -, Master Thesis, Gyeongin national University of Education.
  • Cohen, (1988), Statistical Power Analysis for the Behavioral Sciences, (2nd ed.), Hillsdale, new jersey, lawrence Erlbaum Associates. [https://doi.org/10.4324/9780203771587]
  • Egger, M, Davey, Smith G, and Altman, DG, (2001), Systematic Reviews in Health Care: Meta-analysis in context, BMJ Books.
  • Eduweb, (2004), Design a satellite simulation(Kiosk), http://www.eduweb.com/portfolio/designsatellite/.
  • Han, SJ, Kim, HS, and Heo, G, (2014), A Meta-Analysis on the Effectiveness of Smart-Learning, JFM SE, 26(1), p148-155. [https://doi.org/10.13000/JFMSE.2014.26.1.148]
  • Hedges, L, and Olkin, I, (1985), Statistical methods for meta-analysis, San Diego, CA, Academic Press.
  • Higgins, J, and Green, S, (2011), Cochrane handbook for Systematic Reviews of Intervations version 5.1.0, The Cochrane Collaboration, Retrieved from www.chochrane-handbook.org.
  • Higgins, J, and Green, S, (2016), Cochrane handbook for systematic reviews of inter ventions version 5.1.0, The Cochrane Collaboration, Retrieved March 5, 2016, from http://handbook.cochrane.org.
  • Hwang, JI, (2008), Development and Application of Web-based GBS program- Focused on social studies for 6th graders-, Seogang University, The Graduate school of education, Master Thesis.
  • Hwang, SD, (2011), Meta-Analysis, Seoul, Hakjisa.
  • Hwang, SD, (2016), Meta-Analysis Using R, Seoul, Hakjisa.
  • Hyun, SA, and Heo, G, (2019), A Case Study of content Development on Interactive Goal-Based Scenarios for Smart Education In Fisheries and marine Education, JFMSE, 31(1), p110-110. [https://doi.org/10.13000/JFMSE2019.2.31.1.100]
  • Kim, JH, (2006), (The) effects of interactive storytelling on flow and learning achievement : focusing on web-based learning environments using the GBS model, Hanyang University, Doctoral thesis.
  • Kim, JH, (2008), (The) Effect of web courseware using the GBS Model on academic achievement and learning attitude.-, orea National University of Education, The Graduate school of education, Master Thesis.
  • Lee, JE, (2007), The) effect of types of case In case-based E-Learning environment, Chungang University, Master Thesis.
  • Lee, MS, (2010), A Study on Developing 'Stock Investment' Instructional Module Utilizing GBS(Goal-Based Scenario), The Journal of Business Education, 24(4), p55-74.
  • Naidu, S, (2003), Designing instruction for e-learning environments, In Handbook of distnace education M. G. Moore Eds., and B. G. Anderson, Londo, UK, Lawrence Erlbaum, p349-365.
  • Park, EH, (2018), The Development of Education Program of Learning Mentoring Techniques for College Students Using GBS, Pusan National University, Doctoral thesis.
  • Park, HJ, (2007), The Effect of Scenario Operation Activity on Learning Motivation in GBS Web-Based Learning Environment, Hanyang University, Master Thesis.
  • Park, JY, and Woo, AJ, (2017), A meta-analysis on the learning effects in problem based learning(PBL), Journal of Learner-Centered Curriculum and Instruction, 17(11), p69-93. [https://doi.org/10.22251/jlcci.2017.17.11.69]
  • Park, MA, (2015), The Development and Effectiveness of a Health Education Learning Model using Goal Based Scenario, Kyungpook National University, Doctoral thesis.
  • Poornima and Padmanabhan, (2009), Goal-based Scenarios: An Approach to Online Instruction and Training, Technical Comunication, 56(2), p13-136.
  • Schank, RC, (1992), Goal-based scenarios, Technical report 36, http://cogprins.org/624/0/V11ANSEK.html. [https://doi.org/10.1017/cbo9780511527920.015]
  • Schank, RC, (1994), Goal-Based Scenarios and Business Training: A conversation with Roger C.
  • Schank, RC, (1999), Dynamic Memory Revisited: 14.Goal-Based Scenarios, Cambridge University Press, p255-269.
  • Schank, RC, (2001), Designing world class e-learning: How IBM, GE, Harvard Business, School, and Columbia University are succeeding at e-learning, Mcgraw-Hill Companies, Inc.
  • Shin, IS, (2014), The Effect of Goal-based Scenarios Using Virtual Reality on Graphicacy and Interests of the Students, Korea National University of Education, The Graduate school of education, Master Thesis.
  • Son, M, and Ha, JM, (2008), A Meta-Analysis on the Effects of Problem-Based Learning, The Journal of Educational Information and Media, 14(3), p225-251.
  • Sterne, J, Egger, M, and Mohr, (2008), Cochrane Handbook for Systematic Reviews of Interventions: Cochrane Book Series: Addressing Reporting Biases. [https://doi.org/10.1002/9780470712184.ch10]

[Fig. 1]

[Fig. 1]
Annual Research Trends

[Fig. 2]

[Fig. 2]
Individual Effect Size and Forest Plot for Effectiveness by Leaning Environment

[Fig. 3]

[Fig. 3]
funnel plot

[Fig. 4]

[Fig. 4]
Results of Publication Bias presented in R

<Table 1>

Case Analysis of GBS Program

Lee(2010) Park(2015) Park(2018)
Subjects commercial edu. Health –edu. Learning-Mentoring
Learning – Goals Learn how to invest in stocks cardiopulmonary resuscitation can be performed Train the role of a learning mentor.
Missions Investing in stocks cardiopulmonary resuscitation Setting Mid- and Short-Term Targets
Roles Students a health teacher or
a student
a troubled mentee
Leaning - process Task Guidance
Mission
Cover Story
Portfolio
Goals
Mission
Cover story & Role
Scenario & resource
Feedback
Problem diagnosis
Goal setting action planning strategy evaluation

<Table 2>

Variables of selected data.

Author Variables
Kim(2006) Flow, Academic Achievement (Understanding, Applying Principle)
Cho(2006) Academic achievement, Self - concept (superiority, confidence),Learning attitude (interest, achievement motivation)
Park(2007) Learning motivation (attention, relevance, confidence, satisfaction) Sustainable M.
Kim(2008) Academic achievement, Learning attitude
Hwang(2008) Academic achievement
Shin(2014) Demonstration, Interest (Attention, Relevance, Confidence, Satisfaction)
Park(2015) Problem Solving Ability, Self- Directed Learning, Academic Achievement

<Table 3>

Total Average Effect Size of GBS

N Hedges' g 95% CI I2(%) ρ
34 1.13 0.81~1.45 92% <0.01

<Table 4>

Effect Size by Variable

Hedges' g 95% CI I²(%) ρ
cognitive 0.72 0.43~1.10 79% <0.01
affective 1.57 0.98~2.15 95% <0.01