목표기반시나리오를 활용한 교수-학습 전략의 효과성 검증을 위한 메타 분석

Ⅰ. 서 론

교육 현장에서는 지식 축적의 단순한 전달 방식에서 벗어나기 위한 노력을 기울이고 있다. 학습자 중심의 학습 환경을 조성하고 교수-학습 설계 전략을 다양한 시각에서 시도하고 있다. 학습자에게 추상적으로 개념과 원리를 가르치기 보다는 실제적인 과제를 제시하거나 찾아내도록 촉진한다. 문제를 해결하는 과정에서 맥락을 학습하고 학습 과정에서 기능을 획득할 수 있도록 하는 교수-학습 모형들을 적용하고 있다.

이런 교수-학습 모형들 중 하나가 목표기반시나리오(Goal-based scenarios, 이하 GBS)이다. GBS는 학습자들이 해결해야 할 과제를 수행 목표로 설정하고 시나리오 형태로 제공한다. 그 시나리오 속에서 설정된 역할을 통해 과제를 해결해 가는 교수-학습 전략이다. 사례를 기반으로 상호작용 속에서 ‘Learning-by-doing’이 되도록 한다(Schank, 2001).

이런 GBS 교수-학습 전략은 학교 교육보다는 기업 교육에 많이 적용되고 있지만 효과성에 대한 연구 보고는 활발하지 못한 실정이다. 교육 현장에서의 활발한 적용을 위해 지금까지 보고된 GBS에 대한 선행 연구들을 종합적으로 분석하여 살펴 볼 필요가 있다. 이에 “동일한 주제에 대한 다양한 연구를 체계적이고 계량적으로 분석”(Hwang, 2011)하는 메타분석을 수행하고자 한다. 이는 GBS 교수-학습 전략을 교육 현장에 적용하는데 필요한 시사점을 제공할 수 있을 것으로 기대한다.

본 연구는 메타분석을 통해 전체 프로그램의 효과 크기를 검증 뿐 아니라 변인을 크게 정의적 영역과 인지적 영역으로 구분하여 효과성을 알아보고자 한다. 이는 선행 연구들에서 프로그램에 대한 효과 검증으로 실시된 변인들을 정의적 영역과 인지적 영역으로 크게 구분하고 있기 때문이다.

또한, 선행연구를 살펴보면 GBS 교수-학습모형을 적용한 사례에서 웹 기반으로 한 사례가 적지 않았다. 정보통신의 발달은 교육 현장에서도 컴퓨터 활용을 활발하게 촉진시켜 블랜디드 러닝, 온, 오프라인을 모두 활용 수업 뿐 아니라 가상현실을 적용한 목표기반시나리오 교수-학습모형의 연구 사례들까지 보고되어 있다. 이에 따라 웹 기반 환경과 일반 환경을 구분하여 효과 크기를 알아봄으로써 교육 장면에서 효과적으로 활용되고 있는지 알아보고 효과적인 적용 가능성을 탐색하고자 한다.

본 연구의 목적은 교수-학습설계모형으로 GBS 즉 목표기반시나리오를 적용한 교육 프로그램을 실증적으로 연구하여 보고한 국내 논문을 대상으로 GBS 효과성에 대한 메타분석을 실시하는 것이다. 전체 효과크기 뿐 아니라 변인을 인지적, 정의적 영역으로 나누어 효과크기를 알아보고 컴퓨터를 활용한 온라인 학습 환경과 오프라인 환경을 구분하여 학습 환경에 따른 효과 크기도 알아보고자 한다.

본 연구의 연구문제는 다음과 같다.

첫째, 목표기반시나리오 활용한 학습이 학습 효과에 미치는 전체 효과크기는 어떠한가?

둘째, 목표기반시나리오를 활용한 학습에 있어서 인지적 영역과 정의적 영역에 대한 학습의 효과 크기는 어떠한가?

셋째, 목표기반시나리오를 활용한 학습에 있어서 컴퓨터 활용 웹기반 환경과 면대면 학습 환경에 대한 학습의 효과크기는 어떠한가?

Ⅱ. 이론적 배경

2. 목표기반시나리오에 대한 선행연구의 체계적 리뷰

GBS는 1990년대 초 앤더슨 컨설팅 회사가 GBS를 기반으로 한 직원 교육 프로그램을 성공적으로 설계하여 실행하면서부터 시작되었다(Poornima and Padmanabhan, 2009). GBS는 학교교육보다는 기업교육에서 더 많이 활용되고 있다고 보고되고 있지만 실증적인 연구는 부족한 실정이다.

GBS에 대한 전반적인 국내 연구동향을 살펴보면 다음과 같다. RISS를 통해 ‘목표기반시나리오’, ‘GBS’에 대해 검색한 결과(2018.12.30 검색 기준), 교수-학습 모형으로서의 GBS를 다룬 학위 논문과 국내 학술지 논문은(중복 제외) 42편이었다.

저자 당 논문 평균 편수는 1.4편으로 최대 5편인 저자 1명, 3편이 저자가 2명이다. 국내 연도별 동향은 [Fig. 1]과 같다. 2007년을 정점으로 활발하게 연구되었지만 최근에는 관련 연구가 주춤한 상태임을 나타내고 있다. 하지만 최근 해외에서 보고되어지는 사례들에서 해외 기업교육에 적극적으로 적용되던 GBS가 학교 교육 현장에 적용되어져 긍정적인 평가를 얻고 있는 것을 알 수 있다. 특히, 웹 기반 교수-학습 모형으로 활용되고 있으며(Poornima and Padmanabhan, 2009; Beriswill, 2015) 가상현실(Virtual World Role Plays)에 까지 적용되기 시작되었다(Bonk and Khoo, 2014).

[Fig. 1]

Annual Research Trends

연구 방법별로 보면 개발 연구(64%)에 치중되어 있었다. 시스템 개발, 교수모형 개발, 프로그램 개발 등 개발에 초점을 두고 양적 평가와 질적 평가, 전문가 집단 평가가 이루어지기도 하였다. 그 다음으로는 양적 연구가 28.6%로 프로그램 설계와 함께 GBS를 적용한 효과에 대한 보고에 초점을 두고 있다.

목표기반시나리오를 기반으로 한 프로그램 개발 선행 연구들을 살펴보면 내용 영역에서는 역사, 수학, 컴퓨터, 환경교육, 주식, 건강교육, 정보통신기술교육, 정보통신기술윤리교육, 미술 등 다양한 영역에서 적용한 것을 볼 수 있었다. 프로그램 대상 또한 다양하다. 초등학생 대상이 12건으로 가장 많았고 기업, 대학생(전문대, 사이버대 제외), 고등학생 순이었다. 컴퓨터 활용 웹 기반 학습 환경에서의 GBS 교수-학습 모형 적용에 대한 연구가 69%로 면대면 학습 환경 보다 월등히 많은 것으로 나타났다.

GBS 프로그램 개발 선행 연구들에서 Schank(2001)의 7가지 필수적인 구성 요소들을 설계 과정에 적용한 몇 가지 사례를 정리한 내용은 <Table 1>과 같다. GBS는 학습 동기를 유발시킬만한 스토리 속에서 주어지거나 선택한 역할을 통해 미션을 수행함으로서 자연스럽게 학습 목표를 달성하도록 설계되어야 한다.

<Table 1>

Case Analysis of GBS Program

Hyun and Heo(2019)의 연구에서는 스마트 기기를 활용한 학습에 GBS를 적용한 컨텐츠를 개발하였다. 직업 세계의 실제 교육을 경험하는데 적합한 학습 방법으로 실패 경험을 제공하여 학습에 흥미를 주며 몰입할 수 있도록 하는 사례이다.

Ⅲ. 연구 방법

2. 자료 선정

통합적인 분석이 되기 위해서 기존의 선행 연구 결과들을 체계적으로 수집해야 한다. 메타분석을 위한 자료 선정에 있어서 다음과 같은 자료 선정 기준을 정하였다.

먼저, RISS를 통해 국내 학술지 및 국내 학위논문을 대상으로 ‘GBS’, ‘Goal-Based-Scenarios’, ‘문제기반시나리오’로 검색하였다. 데이터베이스 검색을 통해 발견된 자료에서 교수-학습 모형의 GBS가 아닌 연구와 중복 연구를 제외한 연구는 42편이었다. 그 가운데에서 정량적인 연구로 실험 집단과 비교 집단으로 나누어 설계 되어 있으며 평균값과 표준편차 등의 효과크기를 산출할 수 있는 자료를 제시하고 있는 논문들을 메타분석 대상 논문으로 선정하였다. 단일 집단의 사전-사후 검증한 사례는 제외하고 실험 집단과 통제 집단을 나누어 설계된 실험 설계 및 준실험 설계에 해당하는 연구들을 조사한 결과, 7개의 논문이 이에 해당되었다. 선정된 7개의 논문에서 34개의 하위 변인들의 효과크기를 도출할 수 있었다.

선정된 자료의 특징을 살펴보면 7편 모두 학위 논문으로 박사 학위논문 2편, 석사학위 논문 5편이다. 본 메타분석 기준에 해당하는 실험설계, 준실험설계 연구가 학위논문밖에 없었다. 프로그램 학습자 대상으로는 대학생 3편, 초등학생 3편, 전문계 고등학생이 1편이다. 학습 내용에 해당하는 교과목으로 교육공학 2편, 사회과 2편 그 외 컴퓨터 교과, 수학, 간호보건교육이 있다. 7편 가운데 6편이 웹 기반을 포함한 컴퓨터 활용 환경에서의 GBS 교수-학습 모형을 적용한 것으로 나타났다. <Tabel 2>은 선정된 자료에서 다루고 있는 변인들을 정리하였다.

<Table 2>

Variables of selected data.

Ⅳ. 연구 결과

1. 효과크기 검증 및 이질성 판단

가. GBS의 평균 효과크기와 이질성 판단

본 연구에서 분석한 GBS를 활용한 교수-학습 관련 논문 7편에서 총 34개의 효과크기 사례수를 추출하였다. 이를 바탕으로 GBS 활용한 교수-학습의 평균 효과크기를 랜덤효과모형으로 산출한 결과는 <Table 3> 과 같다.

<Table 3>

Total Average Effect Size of GBS

<Table 3>에서 제시한 바와 같이 GBS를 활용한 교수-학습 프로그램의 전체 평균 효과크기는 1.13으로 Cohen(1982)이 제시한 효과크기 해석 기준에 의하면 매우 큰 효과크기라 할 수 있다. 유의도 ρ< .05이면서 신뢰구간이 0을 포함하고 있지 않기 때문에 큰 효과크기를 나타내고 있다고 할 수 있다. GBS를 활용하지 않는 교수-학습 집단에 비해 학습 효과가 있다는 것을 알 수 있다.

하지만 I²값이 판단 기준인 50%를 훨씬 상회하고 ρ 값 또한 0.1 보다 작으므로 사례들의 효과크기가 동질하지 못할 뿐 아니라 이질성에 있어서 상당히 높은 것으로 나타났다.

나. 인지적, 정의적 영역별 효과크기

종속변인들을 학습 효과에 대한 인지적, 정의적 영역으로 구분하여 메타 ANOVA 분석을 시행하였다.

GBS를 활용한 교수-학습에서 인지적 학습 효과와 정의적 학습 효과의 평균 효과크기를 알아보았다. 그 결과는 <Table 4> 과 같다.

<Table 4>

Effect Size by Variable

<Table 4>에서와 같이 인지적 효과크기는 0.72, 정의적 효과크기는 1.57 이다. 또한 ρ<0.01 이면서 신뢰구간 또한 0을 포함하고 있지 않고 있어서 인지적 효과는 중간 효과크기를 나타내고 있으며 정의적 효과는 큰 효과크기를 나타내고 있다고 할 수 있다. 이는 통계적으로 유의미한 차이를 보인다고 할 수 있다. 하지만 정의적 효과의 경우 신뢰 구간이 인지적 효과보다 넓은 것을 감안하면 효과크기의 정밀도 부분에서는 떨어진다고 할 수 있다. 또한 인지적, 정의적 효과 모두 이질성이 매우 상당한 것으로 나타나고 있다(I² > 50%).

다. 학습 환경에 따른 효과크기

GBS를 활용한 교수-학습에서 학습 환경의 차이에 따른 효과크기를 분석하였다. [Fig. 2]는 컴퓨터를 활용한 웹 기반 학습 환경과 면대면 학습 환경으로 구분하여 분석한 결과이다. [Fig. 2]는 각 사례별 효과크기를 모두 나타내고 있으며 웹 기반 학습 환경(상단)와 면대면 학습 환경(하단)으로 나누어 효과크기를 제시하고 있다.

[Fig. 2]

Individual Effect Size and Forest Plot for Effectiveness by Leaning Environment

웹기반 학습 환경의 효과크기는 0.52로 중간 크기의 효과를 나타내고 있으며 면대면 학습 환경은 2.32로 매우 큰 효과크기를 나타내고 있다. 웹기반 학습 환경은 ρ= 0.05 이면 신뢰구간이 0.38~0.67 으로 나타났으며 면대면 학습 환경의 경우 ρ<0.01 이면서 신뢰구간이 1.56~3.09로 나타났다. 면대면 학습 환경의 경우 지나치게 큰 효과크기와 넓은 신뢰구간은 효과크기의 정밀도가 떨어지고 결과보고가 과장되었음을 추정할 수 있겠다.

무엇보다도 주목할 결과는 면대면 학습 환경의 I²=95%에 비해 웹기반 학습 환경의 I² 값이 36%로 효과크기의 이질성이 크지 않은 것으로 나타났다. 이로써 앞서 보였던 전체 효과크기의 이질성의 원인은 학습 환경에 따른 것으로 판단할 수 있겠다.

3. 출판 편향 오류 검증

표본 크기가 작은 연구들이 미치는 영향을 검증하는 출간오류에 대한 분석은 funnel plot에 의한 시각적 분석과 Egger's regression test의 통계적 분석 두 가지 방법으로 판단할 수 있다.

먼저, 시각적 분석이 가능한 funnel plot을 보면 [Fig. 3]과 같다.

[Fig. 3]

funnel plot

시각적 분석만을 통해서도 표본 크기가 작은 연구들로 인해 오류가 있음을 알 수 있다. 그래프 하단에 폭넓게 분포되어 있는 것을 볼 수 있다. 이는 표본크기가 작은 연구들로 비대칭의 모습을 보이며 출간오류가 있음을 나타낸다.

출판 편향에 대한 통계적 분석을 실시한 결과는 [Fig. 4]와 같다. t=3.999 , df=32, ρ=0.0003512로 bias의 p-value 값이 통계적으로 유의하였다. 이는 효과크기와 표준오차의 관계가 통계적으로 유의미한 관계라는 것이다. 그러므로 표본 크기가 작은 연구들로 인해 효과크기가 과장되어 출판되었을 가능성이 있는 것으로 볼 수 있다.

[Fig. 4]

Results of Publication Bias presented in R

Ⅴ. 결 론

본 연구는 GBS 교수-학습을 적용한 교육 프로그램의 효과성을 검증하기 위해 메타분석을 실시하였다. 국내에서 발표된 GBS 활용 프로그램의 효과성을 검증하기 위한 실험 설계 및 준 실험 설계로 보고된 연구 논문을 대상으로 34개의 효과크기를 도출하였다. 이를 전체 효과크기 및 인지적 효과와 정의적 효과를 구분하여 효과크기를 살펴보았으며 학습 환경에 따른 효과크기를 알아보았다.

연구결과물들의 오류를 판단하기 위해 이질성 판단과 출간오류분석도 함께 시행하였다. 이는 메타분석의 목적이 프로그램 개입의 객관적인 효과를 평가하는 것만이 아니라 연구 결과의 양상을 살펴보는데 있기 때문이다.

연구의 결과에서 GBS를 적용한 교수-학습은 큰 효과크기를 보였지만 이질성이 매우 상당한 것으로 나타났다. 인지적 효과 크기는 중간 크기의 효과크기를 보였으며 정의적 효과 크기는 매우 큰 효과크기를 보였다. 인지적, 정의적 효과크기 모두 이질성이 매우 상당했다. 학습 환경별 효과크기에서는 웹기반 학습 환경은 중간 크기의 효과크기를 보였고 면대면 학습 환경의 경우 매우 큰 효과크기를 보였다. 하지만 웹기반 학습 환경의 효과크기에 대한 이질성은 결과에 영향을 줄 정도로 영향력이 있지 않았다. 반면 면대면 학습 환경은 이질성이 매우 높았다.

각 개별 연구결과들의 이질적인 원인은 학습 환경에 있었다. 면대면 학습 환경의 경우 연구 사례 수가 매우 작았다. 표본 크기가 매우 작아 생기는 오류로 인해 정밀도는 떨어지고 이질성이 매우 상당하게 나타났다.

본 연구는 웹 기반 학습 환경에서 GBS 교수-학습이 일관되게 학습 효과를 가져 오고 있다는 결론을 도출하였다. 이는 Beriswill(2015)과 Bonk and Khoo(2014)의 보고와 같이 GBS 모형의 적용이 주춤했다가 웹 기반 환경에 적용되고 가상현실에까지 적용되는 연구가 증가하는 추세에 근거가 될 수 있다. 면대면 학습 환경보다는 웹 기반 학습 환경에서 GBS 교수-학습이 프로그램 설계가 효과적으로 이루어질 수 있음을 시사한다.

본 연구의 한계점은 메타분석 연구 기준에 맞는 논문이 학위논문에 한정되어 있다는 점과 GBS에 대한 연구보고 사례수가 많지 않다는 것이다. 실증적으로 메타분석에 필요한 자료를 제공하는 연구 보고가 많지 않았고 전체적으로 다른 구성주의 관점의 교수-학습 전략에 비해 GBS에 대한 선행연구가 많지 않았다. GBS에 대한 활발한 연구가 이루어져서 더 많은 표본을 확보하여 메타분석이 이루어진다면 더 신뢰할 수 있는 결과물을 얻을 수 있을 것이라 기대한다.

References

• Bonk, CJ, and Khoo, E, (2014), Adding some tech-variety: 100+ Activities for Motivation and Retaining Learners Online, Indiana, Open World Books, http://tec-variety.com.
• Beriswill, JE, (2015), Design Process of a Goal Based Scenario on compution Fundamentals, TechTrends, 59(6), p15-20. [https://doi.org/10.1007/s11528-015-0899-x]
• Borrenstein, M, Hedges, LV, Higgins, PT, and Rothstein, HR, (2009), Introduction to meta-analysis, Chichester, UK.
• Cho, YS, (2006), Design and Implementation of an RPG Edugame, using Goal-based Scenarios Theory-A study intended for the underachieving children in learning basic elementary school math -, Master Thesis, Gyeongin national University of Education.
• Cohen, (1988), Statistical Power Analysis for the Behavioral Sciences, (2nd ed.), Hillsdale, new jersey, lawrence Erlbaum Associates. [https://doi.org/10.4324/9780203771587]
• Egger, M, Davey, Smith G, and Altman, DG, (2001), Systematic Reviews in Health Care: Meta-analysis in context, BMJ Books.
• Eduweb, (2004), Design a satellite simulation(Kiosk), http://www.eduweb.com/portfolio/designsatellite/.
• Han, SJ, Kim, HS, and Heo, G, (2014), A Meta-Analysis on the Effectiveness of Smart-Learning, JFM SE, 26(1), p148-155. [https://doi.org/10.13000/JFMSE.2014.26.1.148]
• Hedges, L, and Olkin, I, (1985), Statistical methods for meta-analysis, San Diego, CA, Academic Press.
• Higgins, J, and Green, S, (2011), Cochrane handbook for Systematic Reviews of Intervations version 5.1.0, The Cochrane Collaboration, Retrieved from www.chochrane-handbook.org.
• Higgins, J, and Green, S, (2016), Cochrane handbook for systematic reviews of inter ventions version 5.1.0, The Cochrane Collaboration, Retrieved March 5, 2016, from http://handbook.cochrane.org.
• Hwang, JI, (2008), Development and Application of Web-based GBS program- Focused on social studies for 6th graders-, Seogang University, The Graduate school of education, Master Thesis.
• Hwang, SD, (2011), Meta-Analysis, Seoul, Hakjisa.
• Hwang, SD, (2016), Meta-Analysis Using R, Seoul, Hakjisa.
• Hyun, SA, and Heo, G, (2019), A Case Study of content Development on Interactive Goal-Based Scenarios for Smart Education In Fisheries and marine Education, JFMSE, 31(1), p110-110. [https://doi.org/10.13000/JFMSE2019.2.31.1.100]
• Kim, JH, (2006), (The) effects of interactive storytelling on flow and learning achievement : focusing on web-based learning environments using the GBS model, Hanyang University, Doctoral thesis.
• Kim, JH, (2008), (The) Effect of web courseware using the GBS Model on academic achievement and learning attitude.-, orea National University of Education, The Graduate school of education, Master Thesis.
• Lee, JE, (2007), The) effect of types of case In case-based E-Learning environment, Chungang University, Master Thesis.
• Lee, MS, (2010), A Study on Developing 'Stock Investment' Instructional Module Utilizing GBS(Goal-Based Scenario), The Journal of Business Education, 24(4), p55-74.
• Naidu, S, (2003), Designing instruction for e-learning environments, In Handbook of distnace education M. G. Moore Eds., and B. G. Anderson, Londo, UK, Lawrence Erlbaum, p349-365.
• Park, EH, (2018), The Development of Education Program of Learning Mentoring Techniques for College Students Using GBS, Pusan National University, Doctoral thesis.
• Park, HJ, (2007), The Effect of Scenario Operation Activity on Learning Motivation in GBS Web-Based Learning Environment, Hanyang University, Master Thesis.
• Park, JY, and Woo, AJ, (2017), A meta-analysis on the learning effects in problem based learning(PBL), Journal of Learner-Centered Curriculum and Instruction, 17(11), p69-93. [https://doi.org/10.22251/jlcci.2017.17.11.69]
• Park, MA, (2015), The Development and Effectiveness of a Health Education Learning Model using Goal Based Scenario, Kyungpook National University, Doctoral thesis.
• Poornima and Padmanabhan, (2009), Goal-based Scenarios: An Approach to Online Instruction and Training, Technical Comunication, 56(2), p13-136.
• Schank, RC, (1992), Goal-based scenarios, Technical report 36, http://cogprins.org/624/0/V11ANSEK.html. [https://doi.org/10.1017/cbo9780511527920.015]
• Schank, RC, (1994), Goal-Based Scenarios and Business Training: A conversation with Roger C.
• Schank, RC, (1999), Dynamic Memory Revisited: 14.Goal-Based Scenarios, Cambridge University Press, p255-269.
• Schank, RC, (2001), Designing world class e-learning: How IBM, GE, Harvard Business, School, and Columbia University are succeeding at e-learning, Mcgraw-Hill Companies, Inc.
• Shin, IS, (2014), The Effect of Goal-based Scenarios Using Virtual Reality on Graphicacy and Interests of the Students, Korea National University of Education, The Graduate school of education, Master Thesis.
• Son, M, and Ha, JM, (2008), A Meta-Analysis on the Effects of Problem-Based Learning, The Journal of Educational Information and Media, 14(3), p225-251.
• Sterne, J, Egger, M, and Mohr, (2008), Cochrane Handbook for Systematic Reviews of Interventions: Cochrane Book Series: Addressing Reporting Biases. [https://doi.org/10.1002/9780470712184.ch10]