The Korean Society Fishries And Sciences Education

Journal Archive

THE JOURNAL OF FISHERIES AND MARINE SCIENCES EDUCATION - Vol. 29 , No. 1

[ Article ]
The Journal of the Korean Society for Fisheries and Marine Sciences Education - Vol. 29, No. 1, pp. 128-136
Abbreviation: J Kor Soc Fish Mar Edu.
ISSN: 1225-4886 (Print) 2288-338X (Online)
Print publication date 28 Feb 2017
Received 10 Nov 2016 Revised 28 Nov 2016 Accepted 08 Dec 2016
DOI: https://doi.org/10.13000/JFMSE.2017.29.1.128

일반교육과 수해양 교과교육에서 스마트교육미디어 효과성 연구
허균 ; 구정모 ; 한상준*
†*부경대학교
가야대학교

A Meta-Analysis on the Effectiveness of Smart-Learning in the field of General Education and Fisheries & Marine Education
Gyun HEO ; Jung-Mo GU ; Sang-Jun HAN*
†*Pukyong National University
Kaya University
Correspondence to : 051-629-5970, gyunheo@pknu.ac.kr

Funding Information ▼

Abstract

The purpose of this research is to analyze the effects of smart learning in both general education and fisheries & marine education through meta-analysis. To find the effects size, we had collected 112 studies from graduation theses and journal articles.

Followings are the results of the research: (a) Smart learning turns out to be more statistically effective comparing to traditional education. The total effect size of smart learning is .768 and the value of U3 is 61.50%. (b) There is no significant difference between general education and fisheries & marine education in the view of effect size. (c) There is a significant difference in subjects, type of publication, and size of members in experimental group. High school student group has the most effect size of smart learning.


Keywords: Smart learning, Meta analysis, Effectiveness

Ⅰ. 서 론

최근 다양한 영역에서 스마트 교육이 등장하고 있다. 이러한 배경에는 스마트폰과 같이 손안의 컴퓨터와 같은 역할을 하는 매체의 발달 때문일 것이다. 교육 영역에서는 1990년대 시작된 교육용 PC보급 사업에서 최근에는 스마트교육을 강조하는 시대가 되었다(Han, Sang-Jun, Kim, Hwa-Sung, Heo, Gyun, 2014; Kim, Hyang-Hwa, Oh, Dong-In, Heo, Gyun, 2014). 스마트폰과 같은 새로운 기기들의 등장은 새로운 매체의 교육적 활용을 위한 다양한 노력들로 이어져 왔다(Heo, Gyun, Lee, Gyu-Min, 2009; Gu, Jung-Mo, 2013; Kang, In-Ae, Jin, Sun-Mi, Bae, Hee-Eun, 2016). 첨단 기술의 발달은 우리의 교수-학습 환경을 변화시키고 있으며, 학습과 교육의 역할 변화도 요구하고 있다(Shin, Yeong-Hee, Kim, Du-Guy, Heo, Gyun, 2013; Kim, Hyeon-Jin, Heo, Hee-Ok, Kim, Eun-Young, 2013).

하지만, 교육 환경 변화에 첨단 매체를 적용하기에 앞서 스마트교육 미디어의 효과성에 대해 탐색이 필요하다. 역사적으로 두 번에 걸친 매체 효과성 논쟁(Rha, Ilju, 1995)에서 새로운 매체의 등장이 교육의 효과성을 보장하는 것은 아니었기 때문이다. 이에 체계적 접근 방법으로 스마트교육미디어의 효과성을 탐색하고 확인하는 방안이 필요하다. 또 일반교육 뿐 아니라 전문교과와 같은 특수 영역의 스마트교육 미디어 효과성 탐색도 필요하다. 기존의 스마트교육과 관련된 연구들에서는 일반교육이나 일반 교과교육에 적용한 접근이 주로 이뤄지고 있었다. 예를 들면, 초·중등학생을 대상으로 한 연구(Kim, Dae-Young, Lee, Soo-Young, 2016; Kim, Ji-Hoon, Hong, Seung-Ho, 2015; Yun, Hee-Geon, Choi, Sun-Young, 2015)나 국어, 영어, 과학 등과 같은 일반 교과 교육을 대상으로 한 연구들(Kim, Dae-Young, Lee, Soo-Young, 2016; Yun, Jeong-Hyun, Kang, Suk-Jin, Noh, Tae-Hee, 2016; Kim, Ji-Hoon, Hong, Seung-Ho, 2015; Kim, Hun-Hee, Jung, Dae-Bum, 2015; Yun, Hee-Geon, Choi, Sun-Young, 2015; Bae, Ji-Hye, 2014; Leem, Jung-Hoon, Kim, Sang-Hong, 2013)을 들 수 있다.

전문교과영역은 교수설계, 교수자료개발, 스마트교육 등의 주제에서 상대적으로 소홀이 다뤄져 왔다. 이러한 배경에는 학습자가 많지 않고 전문적 지식에 다양한 교수설계나 스마트 교육 등의 지식을 융합하는 시도가 많지 않았기 때문이다. 특히 수해양 교과교육 영역은 다양한 전공 영역이 융합적이고 복합적으로 구성되어 있어 다양한 전공에서 스마트교육을 활용한 연구들은 찾아보기 힘든 실정이다.

이에 본 연구에서는 스마트교육미디어의 효과성을 일반교육과 수해양 교과교육 영역에서 탐색해 보고자 하였다. 이를 실행하기 위해 메타분석을 실시하였다. 이를 위한 구체적인 연구문제는 다음과 같다.

첫째, 전체 스마트교육미디어의 효과성은 어떠한가?

둘째, 교과 영역별 스마트교육미디어의 효과성은 어떠한가?

셋째, 세부 변인별 스마트교육미디어의 효과성은 어떠한가?


Ⅱ. 이론적 배경
1.스마트교육미디어

스마트교육미디어는 스마트기기를 활용한 교육으로 개념화할 수 있다. 유사 용어로는 스마트교육, 스마트러닝, 스마트미디어교육 등을 들 수 있다. 선행연구에 따르면 스마트교육미디어는 스마트 기기를 활용한 자기주도적 개별화가 가능한 교육시스템이라고 개념화(Choi, Mi-Sook & Kang, Byung-Ho, 2014)하고 있다. 학생들은 정형화된 교과지식을 재구성할 수 있고 언제 어디서나 학습할 수 있는 교육시스템으로 보고 있다. 다른 연구에서는 정보통신기술 및 네트워크를 효과적으로 활용하여 전통적 교육방식에서 벗어난 새로운 교수학습방법을 실현하는 것으로 개념화(Lim, Cheol-Il, Han, Hyeong-Jong, Hong, Young-Il, Lee, Sun-Yeon, Lee, Eun-Young, 2016)하였다. Leem, Jung-Hoon과 Sung, Eun-Mo(2015)는 스마트 기술 기반의 스마트 기기를 교수학습에 활용하는 수업 방식이나 학습체제로 정의하였으며, Kang, In-Ae 등의 연구자들(2016)은 지능형 맞춤학습체제로 학습자의 역량 강화를 위해 교육환경, 내용, 방법 등의 교육체제를 혁신하는 것이라고 개념화하고 있다.

종합적으로 정리하면, 스마트교육미디어는 교육을 직접 또는 간접적인 목적으로 데스크톱 컴퓨터, 노트북 등 기존 정보통신 기기 뿐만 아니라 스마트폰, 태블릿 PC, PDA폰 등과 같이 휴대성이 좋은 모바일 기기를 웹이나 앱 또는 기타 형태로 네트워크 또는 오프라인 상에서 제공하는 교수 학습 콘텐츠, 교수 학습 서비스, 교수 학습 모형, 교수 학습 프로그램, 교수 학습 체제 등으로 재 개념화 할 수 있다.

본 연구에서는 교육미디어의 스마트한 활용에 초점을 두어 ‘스마트교육미디어’라는 용어를 사용하였다.

2.스마트교육미디어 효과성

스마트교육미디어의 효과성과 관련된 기존연구들(Kim, Dae-Young, Lee, Soo-Young, 2016; Yun, Jeong-Hyun, Kang, Suk-Jin, Noh, Tae-Hee, 2016; Kim, Ji-Hoon, Hong, Seung-Ho, 2015; Kim, Hun-Hee, Jung, Dae-Bum, 2015; Yun, Hee-Geon, Choi, Sun-Young, 2015; Bae, Ji-Hye, 2014; Leem, Jung-Hoon, Kim, Sang-Hong, 2013)은 학업성취도 관점의 효과성을 결과로 제시하고 있었다.

이들 연구들은 대상교과, 연구대상, 학업성취도 효과성, 연구기간 등으로 구분할 수 있다. 대상교과에는 국어, 과학, 컴퓨터, 영어 등 이었다. 연구대상은 초등학생, 고등학생, 대학생 이었다. 기간은 3주에서 9주에 이르기까지 다양하였다. 학업성취도 효과성은 연구에 따라 일관되지 않게 나타났다.

학업성취도외에 효과성 변인으로 학습태도, 학습만족도(Bean & Bradley, 1986; Joo, Young-ju & Yoon, Hee-Sook, 2006) 등을 활용하기도 했다.

3.메타분석

메타분석은 여러 분석들을 통합하는 분석의 분석이라고 할 수 있다. Hwang, Sung-dong(2014)은 ‘동일 주제의 다양한 연구 결과의 체계적 및 계량적 분석 방법(research synthesis)’이라고 개념화하고 있다. 메타분석을 통해 연구들 간의 서로 다른 결과나 서로 반대되는 결과 등을 종합할 수 있다.

메타분석은 각 개별 연구들이 갖는 결과를 ‘효과크기(Effect Size)’로 나타내고, 여러 연구들의 결과를 종합적인 효과크기로 통합하여 나타낼 수 있다. 효과크기는 계량적 결과를 제시하고, 이 결과는 설정된 기준에 따라 반복적 분석이 가능하여 객관성을 갖는다.

Hwang, Sung-Dong(2014)은 전통적 연구결과와 대비해 메타분석의 특징을 체계적 표본추출이 가능하며, 계량적 분석결과를 제시할 수 있고, 절차와 과정이 명확하며 객관성이 있다고 정리하였다. Oh, Seong-Sam(2002)은 메타분석의 단점으로 연구결과를 지나치게 단순화했다는 점을 지적하였다. 아울러 연구문제 자체가 가지는 한계점을 해결하기 어렵다고 지적하였다.


Ⅲ. 연구 방법

일반교육과 수해양 교과교육에서 스마트교육 효과 탐색을 위해 연구방법으로 메타분석을 실시하였다. 메타분석 과정은 연구대상선정, 데이터해석, 출판편의 및 보정, 안정계수검사 등을 통해 이뤄진다. 본 장에서는 연구대상 논문의 선정과정, 신뢰도와 타당도 확보를 위한 출판편의 보정 및 안정계수검사 등을 정리하였다. 분석을 위한 소프트웨어는 CMA, Excel 등을 활용하였다.

1. 연구대상 논문의 선정

국내 스마트교육이 나타난 2009년 이후 국내에서 발표된 관련 분야 석·박사 학위논문, 학술지 게재논문을 대상으로 수집하였다. 자료를 수집하기 위하여, 2016년 2월 한국교육학술정보원학술연구정보서비스(KERIS, http://www.riss.kr), 한국학술정보원(http://kiss.kstudy.com), 누리미디어 DB- PIA(http://www.dbpia.co.kr), 학술교육원 등의 온라인 검색 DB(DataBase)를 활용하여 분석대상 논문을 검색하였다.

논문 목록을 추출하기 위해 사용한 주요 검색어는 ‘스마트교육’, ‘스마트학습’, ‘스마트러닝’ 등의 검색어를 입력하였다. 그 결과 2016년 2월 기준으로 스마트교육관련 논문은 총 3,645편(학술지 1,914편, 학위논문 1,731편)이 검색되었다. 검색된 논문은 자료선정 기준에 따라 논문의 제목과 국문초록을 토대로 주제와 관련 없는 연구물 2,586편의 논문을 추출하였다. 1차 논문 분석을 통해 1,059편의 논문들 중 자료 선정 기준을 만족시키는 논문을 추출하기 위해 2차 논문 분석을 실시하였다. 실험연구 다른 연구와 중복된 연구, 자료가 부적절한 논문을 제외하여 총 117편의 논문을 추출하였다. 또 극단치나 이상치를 제외한 최종 선정 논문은 총 112편으로 학위논문 84편, 학술지논문 28편이었다.

2. 효과크기 분석과 해석

다양한 연구들에서 나타나는 스마트교육의 효과는 효과크기로 변환되어 분석될 수 있다. 이때 효과크기 분석을 위해 Cohen(1988)이 제안한 효과크기인 d값을 사용한다. <Formula 1>은 효과크기 값을 구하는 공식이다(Cohen, 1988; Oh, Seong-Sam, 2002; Hwang, Sung-Dong, 2014).

d=X¯e-X¯cSpooledSpooled=ne-1se2+nc-1sc2ne+nc-2d:effect sizene:sample size in experimental groupse:standard deviation of experimental groupnc:sample size of control groupsc:standard deviation of control group<Formula 1> 

일반적으로 사례수가 작을 때 효과크기가 커지는 코헨의 효과크기 값의 문제점을 해결한 Hedeges의 g값을 활용하기도 한다. <Formula 2>는 헤디스의 g값을 구하는 공식이다(Oh, Seong-Sam, 2002; Hwang, Sung-Dong, 2014).

g=d×JJ=1-34df-1g:Hedeges' effect sized:Cohen's effect sizedf:degree of freedomJ:correction factor<Formula 2> 

효과크기의 해석은 Cohen(1988)이 제시한 표준화 평균차이 지수를 활용한다. 이에 따르면, .2이하는 작은 효과크기, .5 정도는 중간 효과크기, .8이상은 큰 효과크기로 해석할 수 있다(Cohen, 1988).

3. 안정성 계수 검사

본 연구의 신뢰성을 확인하는 방안으로 안정성 계수(fail-safe N) 검증을 실시하였다. 안정성 계수는 분석대상에서 나타는 유의미한 결과를 번복시키기 위해 필요한 미발표된 논문의 개수를 말한다(Rosenthal, 1979). 검사결과 <Table 1>과 같이 전체효과가 유의하지 않게(p>alpha)되려면 25,884개의 추가 연구가 필요하다. 따라서 본 연구에서 나타난 효과크기는 안정된 결과라고 할 수 있다.

<Table 1> 
Classic fail-safe N
Z-value for observer studies 29.86
P-value for observer studies .000
Alpha .050
Tails 2.00
Z for alpha 1.960
Number of observed studies 112
Number of missing studies that would bring p-value to>alpha 25,884


Ⅳ. 연구 결과
1. 스마트 교육의 전체 효과크기

스마트 교육의 전체 효과크기는 .768로 전통적학습에 비해 효과가 비교적 큰 것으로 나타났다. Table 2는 이러한 결과를 나타낸다. 표에 따르면, 스마트교육의 평균효과 크기에 대한 동질성 검정결과 Q값은 1,207.143이며 통계적으로 유의하였다. 효과크기도 Cohen(1988)이 제안한 해석기준중 .40 - .80의 중간크기에 해당된다. 각각의 연구물들은 이질하기 때문에 무선모형(Random Effect Model)을 적용하였다.

<Table 2> 
Total effect size of Smart-Learning
Homogeneity Tests k ES (g) 95% CI I2 U3
Q p
1220.073 .000 112 .768 .637~.899 90.902 61.50

비중복 백분위(U3)는 61.50%로 나타났다. 비중복 백분위는 정규분포에서 나타난 평균 효과크기의 실질적 효과 정도에 대한 정보를 제공해 준다. [Fig. 1]에서 스마트러닝의 전체효과는 일반교육에 대비해서 11.50% 만큼 효과가 있었다는 것을 알 수 있다. 실제효과크기 분산비율(I2)은 90.902로 Higgins, Thompson, Deeks & Altman(2003)의 해석기준에서 이질성이 높은 것으로 나타났다.


[Fig. 1] 
Smart-Learning Average effect size

2. 교과 영역별 스마트교육 효과

스마트교육의 교과 영역별 효과크기와 집단 간 차이를 확인하였다. 이를 위해 먼저, 일반교육과 수해양교과교육의 하위 집단으로 구분하여 살펴보았다. 총 112편 중 일반교육은 109편, 수해양 교과교육은 4편이 있었다. 일반교육와 수해양교과교육의 스마트교육 효과크기를 산출한 결과는 <Table 3>과 같다.

<Table 3> 
Effect size of General & Marine Fisheries education
Group k ES (g) 95% CI Q df p
General Education 108 .759 .643~.923 .472 1 .492
Fisheries & Marine Education 4 1.005 .708~1.264

일반교육 집단에서는 108개의 논문에서 효과크기가 .759로 중간크기로 나타났다. 수해양 교과교육 집단서는 1.005로 큰 효과크기를 나타내었다. 하지만 두 집단 간 차이를 살펴 본 혼합효과분석(Mixed effect analysis) 결과 통계적으로 유의한 차이가 없는 것으로 나타났다.

다음으로, 전체 논문에서 각 교과영역별로 구분해서 효과크기와 각 교과영역 집단별 차이를 확인하였다. 그 결과는 <Table 4>와 같다. 연구 수가 가장 많은 영역은 기타를 제외하고 과학, 영어, 수학, 국어, 사회, 전산, 수해양 순이다. 효과크기는 사회, 전산, 수해양, 과학, 국어 교과영역에서 큰 효과크기를 나타내고 있다. 영어, 수학, 기타 영역은 중간크기의 효과크기를 나타내었다. 혼합효과분석(Mixed effect analysis)을 통한 교과영역별 집단 간 차이는 없는 것으로 나타났다. 이를 통해 스마트교육은 교과 영역과 관계없이 일정 정도 효과크기가 나타나는 것을 알 수 있다.

<Table 4> 
Effect size of subject domain
Group k ES (g) 95% CI Q df p
Korean 5 .855 .204~1.507 7.145 7 .414
English 22 .612 .317~.912
Math 13 .623 .227~1.019
Social 5 1.150 .524~1.776
Science 26 .951 .682~1.220
Fisheries&Marine 4 1.005 .314~1.696
Computer 5 1.047 .423~1.671
etc. 32 .637 .394~.880

3. 조절변인 분석

스마트교육의 효과크기가 다르게 나타나는 원인에 대해 조절변수를 투입하여 확인하였다. 조절 변수로는 연구대상자, 논문 출판 유형, 실험집단 인원수가 설정되었다.

1) 대상자

스마트교육의 효과크기가 이질적인 것으로 나타나 다양한 하위집단에 따라 평균 효과크기에 유의한 차이가 있는지 알아보고자 하였다. 이를 위해 조절변인으로 대상자를 설정하였다. 대상자는 초등학생 이하, 중학생, 고등학생, 대학생 및 성인의 네 집단으로 구분하였다. <Table 5>는 대상자 조절변인에 따른 스마트교육의 효과를 나타낸다.

<Table 5> 
Effect Size of subjects
Goup k ES (g) 95% CI Q df p
Under the Elementary School 50 .714 .512~.917 11.072 3 .011
Middle School 25 .543 .256~.831
High School 15 1.324 .949~1.700
University&Adult 22 .796 .490~1.102

하위집단 분석결과 고등학생이 스마트교육 효과크기가 가장 높은 것으로 나타났으며, 다음으로 대학생 및 성인, 초등학생 이하, 중학생 순으로 나타났다. 혼합효과분석을 통한 교과영역별 집단 간 차이가 유의하게 있는 것으로 나타났다. 사후검증 결과 중학생과 고등학생이 유의한 차이가 있는 것으로 나타났으며(Z=3.236), 초등학생이하와 고등학생도 유의한 차이가 있는 것으로 나타났다(Z=2.801). 연구결과에서 대상자 조절변인으로부터 고등학생에게 스마트교육 효과가 가장 높은 것을 확인할 수 있다.

2) 논문 출판 유형

논문 출판 유형을 조절변인으로 설정하였다. 총 112개의 연구 중 학위논문은 90개, 학술지는 22개의 연구가 있다. 이 중 스마트 교육 효과에 논문 출판 유형에 따라 스마트교육의 효과 차이가 있는지 살펴보았다. <Table 6>는 그 결과를 나타낸다.

<Table 6> 
Effect size of publication type
Group k ES (g) 95% CI Q df p
Thesis 90 .842 .693~.991 4.504 1 .034
Journal 22 .481 .183~.779

논문 출판 유형 중 학위논문은 .842의 높은 효과크기를 나타내었다. 반면 학술지는 .481의 중간정도의 효과크기를 나타내었다. 혼합효과분석을 통한 학위논문과 학술지는 유의한 집단 간 차이가 있는 것으로 나타났다. 스마트 교육에 대해 학위논문이 학술지보다 높은 효과크기를 보고하고 있다.

3) 실험집단 인원수

논문의 실험에 적용되는 인원수를 조절변인으로 설정하였다. 효과크기 계산 때 가중치가 적용되어 계산되지만 실험집단 인원수는 스마트교육미디어 효과의 일반화에 중요한 영향을 미칠 것으로 기대된다. 이에 연속변인의 특성을 고려하여 메타회귀분석으로 분석하였다.

분석결과, Q=7.01(df=1, p<.01)로 유의한 것으로 나타났다. 실험집단 인원수의 회귀계수는 -.0021 (z=-2.65, p<.01)로 부적으로 유의한 모형으로 나타났다. 메타분석에서는 실험집단의 인원수가 적을수록 스마트교육미디어효과가 높게 보고되는 경향이 있는 것으로 해석할 수 있다. 메타회귀분석 결과의 시각화는 [Fig. 2]와 같다.


[Fig. 2] 
Regression Plot


Ⅴ. 결론 및 제언

다양한 영역에서 등장하고 있는 스마트교육과 스마트교육의 효과성 탐색을 위해 메타분석을 실시하였다. 탐색 결과 다음과 같은 결론을 도출할 수 있다.

첫째, 메타분석을 통한 스마트교육미디어의 교육적 효과는 비교적 높게 나타났다. 연구 결과에 따르면 평균효과는 .768 이며, 코헨의 효과크기에서 중간크기에 해당되었다.

둘째, 교과 영역과 관계없이 스마트교육미디어 효과를 보고하고 있었다. 연구결과를 통해 스마트교육미디어와 관련된 연구 수는 과학, 영어, 수학, 국어, 사회, 전산, 수해양 등의 순으로 나타났다. 그리고 효과크기는 사회, 전산, 수해양, 과학, 국어 교과영역에서 큰 효과크기를 나타내고 있었으며 영어, 수학, 기타 영역은 중간크기의 효과크기를 나타내었다. 하지만 교과영역별 집단 간 차이는 통계적으로 유의하지 않는 것으로 나타났다. 이는 교과 영역에 관계없이 스마트교육미디어 효과가 유의하게 나타남을 의미한다.

셋째, 대상자, 논문유형, 실험대상 사례수에 따라 스마트교육미디어의 효과성은 다양하게 나타났다. 먼저, 대상자에 있어서는 고등학생이 가장 높은 스마트교육미디어 효과를 나타내었다. 다음으로는 성인, 대학생, 초등학생 등이 비슷한 효과 크기를 나타내었다. 다음으로 논문 출판 유형에 따라 유의한 효과가 보고되었다. 학위논문이 높은 효과를 보고하고 있었으며, 학술지는 비교적 낮은 효과를 보고하고 있었다. 이러한 결과는 비출판물로 취급되는 학위논문은 보통 낮은 효과를 보고하는 것으로 알려져 있다. 하지만, 국내는 학위논문 데이터베이스 구축으로 손쉽게 학위논문에 접근할 수 있어 이러한 현상이 나타난 것으로 생각된다. 또, 실험집단의 인원수가 적을수록 스마트교육미디어효과가 높게 보고되는 경향이 있었다.

본 연구는 메타연구 수행 과정에서 다음과 같은 한계점이 있었다. 먼저, 다양한 실험형태를 포함으로 나타날 수 있는 문제점을 고려하지 않았다. 분석 도구의 발달로 다양한 실험형태를 표준화된 평균효과크기로 변환이 가능했기 때문이다. 다음으로, 수해양교과교육 영역은 기관, 냉동, 식품, 양식, 어업 등의 다양한 교육과정이 포함된다. 하지만 연구검색 과정에서 연구대상으로 포함될 수 있는 논문은 소수에 불과하였다. 이에 연구결과 해석에서 이러한 점을 고려할 필요가 있다.

후속연구를 통하여 스마트교육미디어가 인지적 영역과 정의적 영역에서 어떠한 효과크기가 있는지 탐색해 볼 필요가 있다.


Acknowledgments

※ 이 논문 또는 저서는 2015년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2015S1A5A2A03049621).


References
1. Bae, Ji-Hye, (2014), Effectiveness of Learning Flow and Academic Achievement on Learning Activities with Real-Time Feedback utilizing a Smart Clicker App in Higher Education, Journal of the Korea Academia-Industrial Cooperation Society, 15(9), p5543-5552.
2. Cha, Seung-Bong, (2008), A Meta-analysis on the effectiveness of e-Learning, Konkuk University, Master's Thesis.
3. Choi, Mi-Sook, Kang, Byung-Ho, (2014), Research on Acceptance Possibility Recognition of Infants and Guardians under Smart Media Education Environments, Journal of the Korea Entertainment Industry Association, 8(3), p335-345.
4. Cohen, J., (1988), Statistical power analysis for the behavioral sciences, Hillsdale, NJ, Lawrence Erlbaum Associates.
5. Gu, Jung-Mo, (2013), The effects of peer tutoring on students’ achievement and learning satisfaction in liberal computer class in univ, JFMSE, 25(4), p757-765.
6. Han, Sang-Jun, Kim, Hwa-Sung, Heo, Gyun, (2014), A Meta-Analysis on the Effectiveness of Smart-Learning, JFMSE, 26(1), p148-155.
7. Heo, Gyun, Lee, Gyu-Min, (2009), A case study of teachers’ usability test on the using educational website, JFMSE, 21(1), p161-172.
8. Higgins, J. P., Tompson, S. G., Deeks, J. J., & Altman, D. G., (2003), A Meta-Analysis on the Effectiveness of Smart-Learning, BMJ, 327(1), p557-560.
9. Hwang, Sung-Dong, (2014), Meta-analysis, Hakjisa.
10. Kang, In-Ae, Jin, Sun-Mi, Bae, Hee-Eun, (2016), Defining The Characteristics of LMS for Smart Learning Drawn, The Journal of Educational Information and Media, 22(2), p195-222.
11. Kim, Dae-Young, Lee, Soo-Young, (2016), A Study on the Effect of the Usage of Smart Education - Tools on Attention and Study Achievement of Learners. - Application Cases of Korean Language Courses in Elementary School, The Journal of Korea Elementary Education, 27(2), p141-159.
12. Kim, Hyeon-Jin, Heo, Hee-Ok, Kim, Eun-Young, (2013), A Case Study on Development of Competency-Based Curriculum : Focusing on Teacher Training Program for SMART Education, Korean Journal of Teacher Education, 29(3), p279-299.
13. Kim, Hun-Hee, Jung, Dae-Bum, (2015), College Students’ Learning Satisfaction and Academic Achievement of Learning Nursing English Based on Smart Education, Journal Of The Korea Contents Association, 15(9), p621-630.
14. Kim, Hyang-Hwa, Oh, Dong-In, Heo, Gyun, (2014), A study on the research trends of smart learning, JFMSE, 26(1), p157-166.
15. Kim, Ji-Eun, Gu, Byung-Doo, (2001), The effect of students traits related variables on academic achievement through meta-analysis, Folktale and Translation, 2, p271-299.
16. Lim, Cheol-Il, Han, Hyeong-Jong, Hong, Young-Il, Lee, Sun-Yeon, Lee, Eun-Young, (2016), A model of educational program for improving competency of pre-service teacher to implement and integrate smart education in classroom, The Journal of Educational Information and Media, 22(2), p351-380.
17. Leem, Jung-Hoon, Kim, Sang-Hong, (2013), Effects of individual learning and collaborative learning on academic achievement, self-directed learning skills and social efficacy in smart learning, The Journal of Educational Information and Media, 19(1), p1-24.
18. Ministry of Education, Science, & Technology, (2011), Road to powerful nation for human resource development: Action strategies of smart education, Ministry of Education, Science, & Technology.
19. Oh, Seong-Sam, (2002), Meta-analysis: theory and practice, Konkuk University Press.
20. Rosenthal, R., (1979), The File drawer problem and tolerance for null results, Psychological Bulletin, 86, p638-641.
21. Shin, Yeong-Hee, Kim, Du-Guy, Heo, Gyun, (2013), A study on the difference between excellent teachers and general teachers through flanders’ language interaction system, JFMSE, 25(3), p616-624.
22. Yun, Jeong-Hyun, Kang, Suk-Jin, Noh, Tae-Hee, (2016), The Effects of Small Group Learning Using Smart Devices in Science Classes, Journal of the Korean Association for Science Education, 36(4), p519-526.
23. Yun, Hee-Geon, Choi, Sun-Young, (2015), Development and application of the Smart Learning Teaching-Learning Program in Elementary Science Class-Focused on the unit of Solar System and Star, Journal of Science Education, 39(3), p321-332.
24. Noh, Kyoo-Sung, Ju, Seong-Hwan, Jung, Jin-Taek, (2011), An Exploratory Study on Concept and Realization Conditions of Smart Learning, Journal Of Digital Convergence, 9(2), p79-88.
25. Rho, Min-Jeong, Yoo, Jin-Eun, (2016), The 50 reporting requirements for educational meta-analytic research, Journal of Educational Evaluation, 28(3), p853-878.
26. Tschong, Young-Kun, (2015), Homo digitalis und der Smart-education-Plan in Korea, Theory and Practice of Education 2015, 20(3), p145-165.