일반교육과 수해양 교과교육에서 스마트교육미디어 효과성 연구

Ⅰ. 서 론

최근 다양한 영역에서 스마트 교육이 등장하고 있다. 이러한 배경에는 스마트폰과 같이 손안의 컴퓨터와 같은 역할을 하는 매체의 발달 때문일 것이다. 교육 영역에서는 1990년대 시작된 교육용 PC보급 사업에서 최근에는 스마트교육을 강조하는 시대가 되었다(Han, Sang-Jun, Kim, Hwa-Sung, Heo, Gyun, 2014; Kim, Hyang-Hwa, Oh, Dong-In, Heo, Gyun, 2014). 스마트폰과 같은 새로운 기기들의 등장은 새로운 매체의 교육적 활용을 위한 다양한 노력들로 이어져 왔다(Heo, Gyun, Lee, Gyu-Min, 2009; Gu, Jung-Mo, 2013; Kang, In-Ae, Jin, Sun-Mi, Bae, Hee-Eun, 2016). 첨단 기술의 발달은 우리의 교수-학습 환경을 변화시키고 있으며, 학습과 교육의 역할 변화도 요구하고 있다(Shin, Yeong-Hee, Kim, Du-Guy, Heo, Gyun, 2013; Kim, Hyeon-Jin, Heo, Hee-Ok, Kim, Eun-Young, 2013).

하지만, 교육 환경 변화에 첨단 매체를 적용하기에 앞서 스마트교육 미디어의 효과성에 대해 탐색이 필요하다. 역사적으로 두 번에 걸친 매체 효과성 논쟁(Rha, Ilju, 1995)에서 새로운 매체의 등장이 교육의 효과성을 보장하는 것은 아니었기 때문이다. 이에 체계적 접근 방법으로 스마트교육미디어의 효과성을 탐색하고 확인하는 방안이 필요하다. 또 일반교육 뿐 아니라 전문교과와 같은 특수 영역의 스마트교육 미디어 효과성 탐색도 필요하다. 기존의 스마트교육과 관련된 연구들에서는 일반교육이나 일반 교과교육에 적용한 접근이 주로 이뤄지고 있었다. 예를 들면, 초·중등학생을 대상으로 한 연구(Kim, Dae-Young, Lee, Soo-Young, 2016; Kim, Ji-Hoon, Hong, Seung-Ho, 2015; Yun, Hee-Geon, Choi, Sun-Young, 2015)나 국어, 영어, 과학 등과 같은 일반 교과 교육을 대상으로 한 연구들(Kim, Dae-Young, Lee, Soo-Young, 2016; Yun, Jeong-Hyun, Kang, Suk-Jin, Noh, Tae-Hee, 2016; Kim, Ji-Hoon, Hong, Seung-Ho, 2015; Kim, Hun-Hee, Jung, Dae-Bum, 2015; Yun, Hee-Geon, Choi, Sun-Young, 2015; Bae, Ji-Hye, 2014; Leem, Jung-Hoon, Kim, Sang-Hong, 2013)을 들 수 있다.

전문교과영역은 교수설계, 교수자료개발, 스마트교육 등의 주제에서 상대적으로 소홀이 다뤄져 왔다. 이러한 배경에는 학습자가 많지 않고 전문적 지식에 다양한 교수설계나 스마트 교육 등의 지식을 융합하는 시도가 많지 않았기 때문이다. 특히 수해양 교과교육 영역은 다양한 전공 영역이 융합적이고 복합적으로 구성되어 있어 다양한 전공에서 스마트교육을 활용한 연구들은 찾아보기 힘든 실정이다.

이에 본 연구에서는 스마트교육미디어의 효과성을 일반교육과 수해양 교과교육 영역에서 탐색해 보고자 하였다. 이를 실행하기 위해 메타분석을 실시하였다. 이를 위한 구체적인 연구문제는 다음과 같다.

첫째, 전체 스마트교육미디어의 효과성은 어떠한가?

둘째, 교과 영역별 스마트교육미디어의 효과성은 어떠한가?

셋째, 세부 변인별 스마트교육미디어의 효과성은 어떠한가?

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

일반교육과 수해양 교과교육에서 스마트교육 효과 탐색을 위해 연구방법으로 메타분석을 실시하였다. 메타분석 과정은 연구대상선정, 데이터해석, 출판편의 및 보정, 안정계수검사 등을 통해 이뤄진다. 본 장에서는 연구대상 논문의 선정과정, 신뢰도와 타당도 확보를 위한 출판편의 보정 및 안정계수검사 등을 정리하였다. 분석을 위한 소프트웨어는 CMA, Excel 등을 활용하였다.

3. 안정성 계수 검사

본 연구의 신뢰성을 확인하는 방안으로 안정성 계수(fail-safe N) 검증을 실시하였다. 안정성 계수는 분석대상에서 나타는 유의미한 결과를 번복시키기 위해 필요한 미발표된 논문의 개수를 말한다(Rosenthal, 1979). 검사결과 <Table 1>과 같이 전체효과가 유의하지 않게(p>alpha)되려면 25,884개의 추가 연구가 필요하다. 따라서 본 연구에서 나타난 효과크기는 안정된 결과라고 할 수 있다.

<Table 1>

Classic fail-safe N

Ⅳ. 연구 결과

1. 스마트 교육의 전체 효과크기

스마트 교육의 전체 효과크기는 .768로 전통적학습에 비해 효과가 비교적 큰 것으로 나타났다. Table 2는 이러한 결과를 나타낸다. 표에 따르면, 스마트교육의 평균효과 크기에 대한 동질성 검정결과 Q값은 1,207.143이며 통계적으로 유의하였다. 효과크기도 Cohen(1988)이 제안한 해석기준중 .40 - .80의 중간크기에 해당된다. 각각의 연구물들은 이질하기 때문에 무선모형(Random Effect Model)을 적용하였다.

<Table 2>

Total effect size of Smart-Learning

비중복 백분위(U₃)는 61.50%로 나타났다. 비중복 백분위는 정규분포에서 나타난 평균 효과크기의 실질적 효과 정도에 대한 정보를 제공해 준다. [Fig. 1]에서 스마트러닝의 전체효과는 일반교육에 대비해서 11.50% 만큼 효과가 있었다는 것을 알 수 있다. 실제효과크기 분산비율(I²)은 90.902로 Higgins, Thompson, Deeks & Altman(2003)의 해석기준에서 이질성이 높은 것으로 나타났다.

[Fig. 1]

Smart-Learning Average effect size

2. 교과 영역별 스마트교육 효과

스마트교육의 교과 영역별 효과크기와 집단 간 차이를 확인하였다. 이를 위해 먼저, 일반교육과 수해양교과교육의 하위 집단으로 구분하여 살펴보았다. 총 112편 중 일반교육은 109편, 수해양 교과교육은 4편이 있었다. 일반교육와 수해양교과교육의 스마트교육 효과크기를 산출한 결과는 <Table 3>과 같다.

<Table 3>

Effect size of General & Marine Fisheries education

일반교육 집단에서는 108개의 논문에서 효과크기가 .759로 중간크기로 나타났다. 수해양 교과교육 집단서는 1.005로 큰 효과크기를 나타내었다. 하지만 두 집단 간 차이를 살펴 본 혼합효과분석(Mixed effect analysis) 결과 통계적으로 유의한 차이가 없는 것으로 나타났다.

다음으로, 전체 논문에서 각 교과영역별로 구분해서 효과크기와 각 교과영역 집단별 차이를 확인하였다. 그 결과는 <Table 4>와 같다. 연구 수가 가장 많은 영역은 기타를 제외하고 과학, 영어, 수학, 국어, 사회, 전산, 수해양 순이다. 효과크기는 사회, 전산, 수해양, 과학, 국어 교과영역에서 큰 효과크기를 나타내고 있다. 영어, 수학, 기타 영역은 중간크기의 효과크기를 나타내었다. 혼합효과분석(Mixed effect analysis)을 통한 교과영역별 집단 간 차이는 없는 것으로 나타났다. 이를 통해 스마트교육은 교과 영역과 관계없이 일정 정도 효과크기가 나타나는 것을 알 수 있다.

<Table 4>

Effect size of subject domain

3. 조절변인 분석

스마트교육의 효과크기가 다르게 나타나는 원인에 대해 조절변수를 투입하여 확인하였다. 조절 변수로는 연구대상자, 논문 출판 유형, 실험집단 인원수가 설정되었다.

1) 대상자

스마트교육의 효과크기가 이질적인 것으로 나타나 다양한 하위집단에 따라 평균 효과크기에 유의한 차이가 있는지 알아보고자 하였다. 이를 위해 조절변인으로 대상자를 설정하였다. 대상자는 초등학생 이하, 중학생, 고등학생, 대학생 및 성인의 네 집단으로 구분하였다. <Table 5>는 대상자 조절변인에 따른 스마트교육의 효과를 나타낸다.

<Table 5>

Effect Size of subjects

하위집단 분석결과 고등학생이 스마트교육 효과크기가 가장 높은 것으로 나타났으며, 다음으로 대학생 및 성인, 초등학생 이하, 중학생 순으로 나타났다. 혼합효과분석을 통한 교과영역별 집단 간 차이가 유의하게 있는 것으로 나타났다. 사후검증 결과 중학생과 고등학생이 유의한 차이가 있는 것으로 나타났으며(Z=3.236), 초등학생이하와 고등학생도 유의한 차이가 있는 것으로 나타났다(Z=2.801). 연구결과에서 대상자 조절변인으로부터 고등학생에게 스마트교육 효과가 가장 높은 것을 확인할 수 있다.

2) 논문 출판 유형

논문 출판 유형을 조절변인으로 설정하였다. 총 112개의 연구 중 학위논문은 90개, 학술지는 22개의 연구가 있다. 이 중 스마트 교육 효과에 논문 출판 유형에 따라 스마트교육의 효과 차이가 있는지 살펴보았다. <Table 6>는 그 결과를 나타낸다.

<Table 6>

Effect size of publication type

논문 출판 유형 중 학위논문은 .842의 높은 효과크기를 나타내었다. 반면 학술지는 .481의 중간정도의 효과크기를 나타내었다. 혼합효과분석을 통한 학위논문과 학술지는 유의한 집단 간 차이가 있는 것으로 나타났다. 스마트 교육에 대해 학위논문이 학술지보다 높은 효과크기를 보고하고 있다.

3) 실험집단 인원수

논문의 실험에 적용되는 인원수를 조절변인으로 설정하였다. 효과크기 계산 때 가중치가 적용되어 계산되지만 실험집단 인원수는 스마트교육미디어 효과의 일반화에 중요한 영향을 미칠 것으로 기대된다. 이에 연속변인의 특성을 고려하여 메타회귀분석으로 분석하였다.

분석결과, Q=7.01(df=1, p<.01)로 유의한 것으로 나타났다. 실험집단 인원수의 회귀계수는 -.0021 (z=-2.65, p<.01)로 부적으로 유의한 모형으로 나타났다. 메타분석에서는 실험집단의 인원수가 적을수록 스마트교육미디어효과가 높게 보고되는 경향이 있는 것으로 해석할 수 있다. 메타회귀분석 결과의 시각화는 [Fig. 2]와 같다.

[Fig. 2]

Regression Plot

Ⅴ. 결론 및 제언

다양한 영역에서 등장하고 있는 스마트교육과 스마트교육의 효과성 탐색을 위해 메타분석을 실시하였다. 탐색 결과 다음과 같은 결론을 도출할 수 있다.

첫째, 메타분석을 통한 스마트교육미디어의 교육적 효과는 비교적 높게 나타났다. 연구 결과에 따르면 평균효과는 .768 이며, 코헨의 효과크기에서 중간크기에 해당되었다.

둘째, 교과 영역과 관계없이 스마트교육미디어 효과를 보고하고 있었다. 연구결과를 통해 스마트교육미디어와 관련된 연구 수는 과학, 영어, 수학, 국어, 사회, 전산, 수해양 등의 순으로 나타났다. 그리고 효과크기는 사회, 전산, 수해양, 과학, 국어 교과영역에서 큰 효과크기를 나타내고 있었으며 영어, 수학, 기타 영역은 중간크기의 효과크기를 나타내었다. 하지만 교과영역별 집단 간 차이는 통계적으로 유의하지 않는 것으로 나타났다. 이는 교과 영역에 관계없이 스마트교육미디어 효과가 유의하게 나타남을 의미한다.

셋째, 대상자, 논문유형, 실험대상 사례수에 따라 스마트교육미디어의 효과성은 다양하게 나타났다. 먼저, 대상자에 있어서는 고등학생이 가장 높은 스마트교육미디어 효과를 나타내었다. 다음으로는 성인, 대학생, 초등학생 등이 비슷한 효과 크기를 나타내었다. 다음으로 논문 출판 유형에 따라 유의한 효과가 보고되었다. 학위논문이 높은 효과를 보고하고 있었으며, 학술지는 비교적 낮은 효과를 보고하고 있었다. 이러한 결과는 비출판물로 취급되는 학위논문은 보통 낮은 효과를 보고하는 것으로 알려져 있다. 하지만, 국내는 학위논문 데이터베이스 구축으로 손쉽게 학위논문에 접근할 수 있어 이러한 현상이 나타난 것으로 생각된다. 또, 실험집단의 인원수가 적을수록 스마트교육미디어효과가 높게 보고되는 경향이 있었다.

본 연구는 메타연구 수행 과정에서 다음과 같은 한계점이 있었다. 먼저, 다양한 실험형태를 포함으로 나타날 수 있는 문제점을 고려하지 않았다. 분석 도구의 발달로 다양한 실험형태를 표준화된 평균효과크기로 변환이 가능했기 때문이다. 다음으로, 수해양교과교육 영역은 기관, 냉동, 식품, 양식, 어업 등의 다양한 교육과정이 포함된다. 하지만 연구검색 과정에서 연구대상으로 포함될 수 있는 논문은 소수에 불과하였다. 이에 연구결과 해석에서 이러한 점을 고려할 필요가 있다.

후속연구를 통하여 스마트교육미디어가 인지적 영역과 정의적 영역에서 어떠한 효과크기가 있는지 탐색해 볼 필요가 있다.

Acknowledgments

※ 이 논문 또는 저서는 2015년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2015S1A5A2A03049621).

References

• Bae, Ji-Hye, (2014), Effectiveness of Learning Flow and Academic Achievement on Learning Activities with Real-Time Feedback utilizing a Smart Clicker App in Higher Education, Journal of the Korea Academia-Industrial Cooperation Society, 15(9), p5543-5552. [https://doi.org/10.5762/kais.2014.15.9.5543]
• Cha, Seung-Bong, (2008), A Meta-analysis on the effectiveness of e-Learning, Konkuk University, Master's Thesis.
• Choi, Mi-Sook, Kang, Byung-Ho, (2014), Research on Acceptance Possibility Recognition of Infants and Guardians under Smart Media Education Environments, Journal of the Korea Entertainment Industry Association, 8(3), p335-345. [https://doi.org/10.21184/jkeia.2014.09.8.3.335]
• Cohen, J., (1988), Statistical power analysis for the behavioral sciences, Hillsdale, NJ, Lawrence Erlbaum Associates.
• Gu, Jung-Mo, (2013), The effects of peer tutoring on students’ achievement and learning satisfaction in liberal computer class in univ, JFMSE, 25(4), p757-765. [https://doi.org/10.13000/jfmse.2013.25.4.757]
• Han, Sang-Jun, Kim, Hwa-Sung, Heo, Gyun, (2014), A Meta-Analysis on the Effectiveness of Smart-Learning, JFMSE, 26(1), p148-155.
• Heo, Gyun, Lee, Gyu-Min, (2009), A case study of teachers’ usability test on the using educational website, JFMSE, 21(1), p161-172.
• Higgins, J. P., Tompson, S. G., Deeks, J. J., & Altman, D. G., (2003), A Meta-Analysis on the Effectiveness of Smart-Learning, BMJ, 327(1), p557-560.
• Hwang, Sung-Dong, (2014), Meta-analysis, Hakjisa.
• Kang, In-Ae, Jin, Sun-Mi, Bae, Hee-Eun, (2016), Defining The Characteristics of LMS for Smart Learning Drawn, The Journal of Educational Information and Media, 22(2), p195-222.
• Kim, Dae-Young, Lee, Soo-Young, (2016), A Study on the Effect of the Usage of Smart Education - Tools on Attention and Study Achievement of Learners. - Application Cases of Korean Language Courses in Elementary School, The Journal of Korea Elementary Education, 27(2), p141-159.
• Kim, Hyeon-Jin, Heo, Hee-Ok, Kim, Eun-Young, (2013), A Case Study on Development of Competency-Based Curriculum : Focusing on Teacher Training Program for SMART Education, Korean Journal of Teacher Education, 29(3), p279-299.
• Kim, Hun-Hee, Jung, Dae-Bum, (2015), College Students’ Learning Satisfaction and Academic Achievement of Learning Nursing English Based on Smart Education, Journal Of The Korea Contents Association, 15(9), p621-630. [https://doi.org/10.5392/jkca.2015.15.09.621]
• Kim, Hyang-Hwa, Oh, Dong-In, Heo, Gyun, (2014), A study on the research trends of smart learning, JFMSE, 26(1), p157-166.
• Kim, Ji-Eun, Gu, Byung-Doo, (2001), The effect of students traits related variables on academic achievement through meta-analysis, Folktale and Translation, 2, p271-299.
• Lim, Cheol-Il, Han, Hyeong-Jong, Hong, Young-Il, Lee, Sun-Yeon, Lee, Eun-Young, (2016), A model of educational program for improving competency of pre-service teacher to implement and integrate smart education in classroom, The Journal of Educational Information and Media, 22(2), p351-380.
• Leem, Jung-Hoon, Kim, Sang-Hong, (2013), Effects of individual learning and collaborative learning on academic achievement, self-directed learning skills and social efficacy in smart learning, The Journal of Educational Information and Media, 19(1), p1-24.
• Ministry of Education, Science, & Technology, (2011), Road to powerful nation for human resource development: Action strategies of smart education, Ministry of Education, Science, & Technology.
• Oh, Seong-Sam, (2002), Meta-analysis: theory and practice, Konkuk University Press.
• Rosenthal, R., (1979), The File drawer problem and tolerance for null results, Psychological Bulletin, 86, p638-641. [https://doi.org/10.1037/0033-2909.86.3.638]
• Shin, Yeong-Hee, Kim, Du-Guy, Heo, Gyun, (2013), A study on the difference between excellent teachers and general teachers through flanders’ language interaction system, JFMSE, 25(3), p616-624. [https://doi.org/10.13000/jfmse.2013.25.3.587]
• Yun, Jeong-Hyun, Kang, Suk-Jin, Noh, Tae-Hee, (2016), The Effects of Small Group Learning Using Smart Devices in Science Classes, Journal of the Korean Association for Science Education, 36(4), p519-526. [https://doi.org/10.14697/jkase.2016.36.4.0519]
• Yun, Hee-Geon, Choi, Sun-Young, (2015), Development and application of the Smart Learning Teaching-Learning Program in Elementary Science Class-Focused on the unit of Solar System and Star, Journal of Science Education, 39(3), p321-332.
• Noh, Kyoo-Sung, Ju, Seong-Hwan, Jung, Jin-Taek, (2011), An Exploratory Study on Concept and Realization Conditions of Smart Learning, Journal Of Digital Convergence, 9(2), p79-88.
• Rho, Min-Jeong, Yoo, Jin-Eun, (2016), The 50 reporting requirements for educational meta-analytic research, Journal of Educational Evaluation, 28(3), p853-878.
• Tschong, Young-Kun, (2015), Homo digitalis und der Smart-education-Plan in Korea, Theory and Practice of Education 2015, 20(3), p145-165.