Journal Archive

평가기반 학습 시스템이란 컨텐츠의 내용과 독립적으로 학습 문항 등을 구성하여 문항풀이와 동시에 학습을 하는 체제를 말한다. Heo(2015)는 컴퓨터 평가기반 학습시스템을 [Fig 1]과 같은 맥락으로 제안하였다. 평가를 통한 학습자의 분류 보다는 학습과 학습에 대한 도전을 강조하여 기존의 컴퓨터 기반학습과 달리 다양한 문제풀이를 통해 학습을 하게 된다(Heo, 2015).

[Fig. 1] 
Context of Evaluation Based Learning(Heo, 2015 재인용)

평가기반 학습시스템은 컴퓨터 기반 학습(Computer Based Learning)과 컴퓨터 기반 평가(Computer Adaptive Testing) 및 문항반응이론(Item Response Theory) 등의 다양한 연구들에 기반하고 있다. 이들의 이론적 배경을 정리해 보면 다음과 같다.

먼저, 컴퓨터 기반 학습은 컴퓨터의 특성을 활용하여 다양한 형태의 교육 프로그램을 컴퓨터 기반으로 학습하게 만든 시스템이다. 컴퓨터 기반 학습에 대한 개념은 CAI (Computer Assisted Instruction), CBE(Computer Based Education), WBI(Web Based Instruction), eLearning, Smart Learning(Heo, 2015; Rha, Jeong, 2000) 등의 다양한 개념으로 확장되어 발전해 오고 있다.

다음으로, 컴퓨터기반 평가(Computer Adaptive Testing)란 검사이론과 컴퓨터 공학을 활용하여 피험자의 수준에 적절한 형태의 검사를 개별적으로 실시하여 짧은 시간에 적은 문항으로 피험자의 능력 측정하려는 검사 기법이다(Kim, Son, Jeong, 2002). 이와는 반대로, 종이기반 평가방식(Paper-Based Test)은 문제나 검사의 길이가 고정적이고 비교적으로 많은 문항을 포함하고 있고 제작은 쉬운 반면 결과처리에 많은 노력이 필요한 것으로 알려져 있다(Kim, Son, Jeong, 2002).

끝으로, 문항반응이론(Item Response Theory)은 검사 문항들의 총합에 관심을 갖는 고전적 검사이론과 달리 한 피험자가 각각의 문항에 응답한 반응에 대해 관심을 갖고 문항난이도, 문항변별도, 문항추측도 등을 활용하여 학습자의 능력을 추정하는 이론이다(Backer, Kim, 2004). 문항반응이론 등을 활용하여 SPRT(Sequential Probability Ratio Test), EXSPRT(Expert Sequential Probability Ratio Test) 등이 제안되고 있으며(Baker, Kim, 2004; Kim, Son, Jeong, 2002; Frick, Welch, 1993), 컴퓨터 기반 평가 학습시스템은 SRT 알고리즘을 활용하여 문항 응답마다 사후 확률비를 계산하여 합격과 불합격을 판단하는데 적용되고 있다(Heo, 2015).

수해양 교육 영역 및 컨텐츠에 대한 연구는 많이 부족한 실정이다. 수해양 교육 영역이란 수산과 해양 분야의 전문적 교육 영역이다(Heo, Gu & Han, 2017). 대학 수준에서는 수해양 산업분야의 전문 인력을 양성하는 수해양산업교육과를 예를 들면 어업, 기관 및 항해, 냉동, 양식, 식품 등의 전공 영역이 운영되고 있다(Department of Fisheries Education, 2017). 고등학교에서는 수산 및 해운 계열의 교육과정을 운영하고 있다(Ministry of Education Science and Technology, 2011; Heo, Gu & Han, 2017). 수산 및 해운에 관한 전문교과는 이론교과, 기초기술교과, 심화기술교과로 이뤄져 있다(Kim & Kim, 2004). 이들 중 수해양 교육 영역에서의 이론 교과는 수산일반, 해양일반, 해사일반, 수산경영일반, 냉동일반 등을 들 수 있다(Kim & Kim, 2004).

본 연구를 위한 절차는 [Fig. 2]와 같이 이론탐색, 모듈설계, 프로그램 개발도구 선정, 모듈별 프로그램 개발 및 수정 과정으로 이뤄졌다.

[Fig. 2] 
Research Process

먼저, 이론탐색 단계에서는 기존의 연구들을 바탕으로 관련된 이론을 탐색해 보고 정리해 보았다. 그리고 선행 연구들과 최신 동향에 나타난 문제점을 파악하고 이를 보완하고자 하였다.

둘째, 모듈설계 단계에서는 프로그램으로 구현될 수 있는 모듈을 구분하고 주요 기능들을 설계하였다. 모듈은 수해양 컨텐츠 학습모듈, 문제풀이 학습모듈, 도전형 문제풀이 학습모듈로 구성하였다. 수해양 컨텐츠 학습모듈은 동영상 기반의 학습모듈로 설계되었다. 이러한 배경에는 선행연구로 이뤄진 Heo(2015)의 연구에서는 기존에 제작되어진 OER 교육용 컨텐츠(MOOC, OCW 등)들을 활용하는 것으로 가정하고 설계하였다. 하지만 수해양 교육영역의 OER 교육용 컨텐츠는 상대적으로 많이 부족한 실정이다. 따라서, 수해양 교육 관련 교과서를 바탕으로 컨텐츠를 개발한 사례들(Kwak & Heo, 2018; So & Heo, 2018; Hyun & Heo, 2018a; Hyun & Heo, 2018b)을 바탕으로 내용을 설명하는 영상 컨텐츠를 개발하여 본 프로그램에서 활용하였다.

셋째, 개발도구 선정 단계이다. 이 단계에서는 다양한 스마트 매체를 고려하여 App Inventor, Android Studio나 크로스플랫폼 개발도구 등이 고려 대상이 되었다. 하지만, 컨텐츠 학습모듈에서 동영상들의 용량이 크고 내용이 많아 처리하기 힘든 점을 고려하여 데스크탑 환경에서 개발 및 수정이 비교적 용이한 Visual Basic을 선정하였다.

넷째, 개발 단계에서는 설정되어진 개발도구를 활용하여 프로그램을 통한 주요 학습모듈 기능들을 구현하였다. 구체적으로 평가기반 학습시스템의 기본적인 구성은 Heo(2015)에서 제안한 컴퓨터 기반 평가학습의 기본 프레임을 활용하고 응용 발전시켜 적용하였다.

본 연구에 사용된 개발도구는 Visual Basic과 Storyline을 활용하였다.

먼저, 프로그래밍 도구로서는 Visual Basic을 활용하였다. 이 프로그램은 C#이나 자바 등과 같이 객체지향프로그래밍이 가능하고 플랫폼 확장 기능도 가지고 있다(Halvorson, 2013; Heo, 2015).

다음으로, Storyline은 컨텐츠 구성과정이나 캐릭터, 디자인 등에서 필요할 때 도구로 활용하였다.

수해양 교육 평가기반 학습시스템 설계를 위해 동영상 기반 컨텐츠 학습모듈, 문제풀이 기반 학습모듈, 도전형 문제풀이 학습모듈(퀴즈합격도전)의 세 가지의 독립적인 학습모듈을 설계하였다. [Fig. 3]은 수해양교육 평가기반 학습시스템의 전반적인 흐름을 시각화하여 플로우 차트 형식으로 나타냈다. 이를 구체적으로 나타내면 다음과 같다.

[Fig. 3] 
System Flow Chart

첫째, 동영상 기반 컨텐츠 학습 모듈이다. 수해양 교육 영역에서는 기존에 제작되고 공개된 교육컨텐츠가 많지 않아 동영상 형태로 다양한 주제의 교육컨텐츠들을 구성하고 선택할 수 있게 설계하였다. 구체적으로 교육 컨텐츠 영상들은 수해양계열에서 배우는 ‘해양의 이해’라는 고등학교 교재를 중심으로 20강에 해당되는 mp4 형태의 동영상들이 제작되었다. 동영상을 바탕으로 해당영역에서 문제들도 함께 제작되었다. mp4형태로 되어 있는 동영상은 스마트폰이나 스마트기기, 컴퓨터 등의 다양한 기기를 활용하여 학습할 수 있는 기초적 학습자료가 될 수 있을 것으로 생각된다. 또, 추가로 동영상 등의 교육컨텐츠를 확보하거나 개발할 경우 간단한 프로그램 수정을 통해 컨텐츠들이 추가될 수 있다. [Fig. 3]에서는 프로그램 시작 후 ‘수해양 컨텐츠 내용선택(Select Contents)’를 통해 수해양 교육 영역의 다양한 자료들을 선택할 수 있고, ‘컨텐츠 학습(Contents Learning)’을 통해 동영상 기반의 학습을 할 수 있다. 내용을 순차적으로 학습하거나 모르는 부분을 찾아서 필요한 부분만 학습할 경우 유용할 수 있을 것이다.

둘째, 문제풀이 기반의 학습 설계 모듈이다. 이 모듈에서는 학습자가 문제를 풀다가 모르거나 부족한 부분을 영상 학습을 확인한 후 다시 문제를 풀어보는 학습방식을 말한다. [Fig. 3]에서는 ‘문제풀이 학습(Problem Solving Learning)’이라고 하였다. 선행연구(Heo, 2015)를 통해 문제풀이 기반 학습전략의 아이디어가 [Fig. 1]과 같이 이미 소개되었다. 선행연구에서는 MOOC, OCW 등과 같은 이미 구축되어진 컨텐츠를 바탕으로 문제만 제작하여 설계되었다면, 본 연구에서는 동영상을 자체 구축한 후 문제풀이를 통해 학습할 수 있게 설계하였다.

문제풀이 기반 학습모듈의 설계는 [Fig. 4]와 같이 ‘학습형(Learning Style)’과 ‘평가형(Evaluation Style)’의 두 가지의 형태(Style)로 구분하였다. 학습형은 스키너의 즉시 반응의 원리나 피드백의 원리(Rha & Jeong, 1994, 2000; Heo, 2016)를 적용하여 한 문제를 푼 후 바로 결과를 확인할 수 있게 하였다. 틀린 경우 학습내용을 찾아보고 다시 문제를 풀 수 있게 설계하였다. 선행연구(Heo, 2015)에서는 힌트를 볼 수 있게 설계한 반면 본 연구에서는 동영상 기반 컨텐츠 학습모듈을 활용하여 부족한 부분을 재학습하거나 자료들을 탐색할 수 있게 설계하였다. 다음으로, 평가형은 학습자가 선택한 영역의 문제를 한 번에 풀고 결과를 확인하는 방식으로 설계하였다. 두 형태 모두 문제풀기 학습을 마치면 자신의 성취 결과를 시각화하여 그래프, 비율, 채점결과 등으로 확인할 수 있게 설계하였다.

[Fig. 4] 
Flow Chart of Questions Solving Learning

셋째, 실전문제를 통해 자신의 실력을 알아볼 수 있는 도전형 문제풀이 학습모듈이다. 프로그램에서는 ‘퀴즈합격도전(Quiz Pass Challenge)’으로 이름 붙였다. 정보처리이론을 활용한 학습전략 중 ‘리허설(rehearsal)’은 실전 연습을 통해 부족한 부분을 확인하고 장기기억의 내용들을 쉽게 인출할 수 있게 한다(Rha & Jeong, 2000). 퀴즈합격도전은 리허설 학습 전략처럼 기억하고 있는 내용을 실제 문제를 풀어봄으로써 확인하고 정보를 이끌어 낼 수 있게 설계하였다. 특히, 일반적인 문제풀이의 경우 합격판단을 위해 문제를 처음부터 끝까지 많은 시간을 들여서 풀어야만 성적 확인이 가능하다. 선행연구(Heo, 2015)에서는 이러한 문제점을 해결하기 위해 베이지안 알고리즘을 기반으로 비교적 적은 문항과 짧은 시간 내에 학습 내용을 충분히 습득하고 있는지 판단하는 모듈을 개발하였다. 본 연구에서도 이 알고리즘을 활용하여 합격을 확인할 수 있게 모듈을 설계하였다. 수해양 교육 컨텐츠가 20강의 영역에 걸쳐 설계되어 있어 문제의 범위에 있어서도 특정 영역(Domain)이나 전체 범위에서 임의로(Random) 추출되는 문제를 선택할 수 있게 모듈을 설계하였다.

수해양 교육 영역 평가기반 학습시스템 설계를 위해 동영상 기반 컨텐츠 학습모듈, 문제풀이 기반 학습모듈, 도전형 문제풀이 모듈(퀴즈합격도전)의 세 가지의 학습모듈을 제안하였다. 이 설계 모듈의 내용을 바탕으로 프로그래밍을 통해 기능을 개발하고 구현하였다.

1) 로고 및 메인 화면 개발

[Fig. 5]는 시작 로고 화면과 다음으로 나타나는 프로그램의 주요 메인화면을 나타낸다. 주요 메인화면에는 의 수해양 교육 컨텐츠 내용 선택 영역과 의 주요 프로그램 메뉴로 구성되어있다.

[Fig. 5] 
Logo and Main Screen

2) 동영상 기반 컨텐츠 학습모듈 개발

동영상 기반 컨텐츠 학습모듈은 [Fig.5] 의 ‘컨텐츠 학습’ 버튼을 선택함으로써 기능이 활성화 된다. 수해양 교과 교육 컨텐츠는 MOOC나 OCW 등의 열린 교육자료가 현저히 부족하여 ‘해양의 이해’와 관련된 고등학교 교재를 중심으로 20강에 해당되는 mp4화일로 구성하였다. [Fig 6]에서 과 같이 선택된 수해양 컨텐츠는 의 화면과 같이 학습할 수 있다. 동영상 화면은 전체화면으로 확장하여 학습할 수도 있다.

[Fig. 6] 
Contents Learning Screen

3) 문제풀이 기반 학습모듈 개발

문제풀이 기반 학습모듈은 [Fig.5] 의 ‘문제풀기 학습’ 버턴을 선택함으로써 기능이 활성화 된다. 문제풀이 기반 학습모듈에서는 문제를 푸는 과정에서 학습한 내용을 복습하거나 틀린 내용들을 확인할 수 있는 [Fig. 4]의 설계안을 기능 구현을 통해 개발하였다. 구체적으로 개발 화면을 살펴보면 다음과 같다.

먼저, 영역 선택에 따른 문제가 제시되기 전 문제풀기 학습의 형태를 물어본다. 학습자의 목적에 따라 학습형과 평가형을 선택할 수 있다. [Fig 7]은 학습형과 평가형에 대한 선택과 이에 대한 간단한 안내 화면이 제시되어 있다.

[Fig. 7] 
Learning Type Selection Screen

‘학습형’은 각 문제를 푼 후 정확히 학습하는 것이 목적이다. 따라서 각 문항에 대한 피드백이 있으며 특히 틀린 문항에 대해 다양한 학습 통로(Learning Path)를 제공한다. 반면 ‘평가형’은 전체 문항을 푼 후 전체적인 피드백을 받게 된다.

[Fig. 8]은 학습형 문제풀이 모듈의 주요화면을 나타낸다. 그림에서 “fb” 부분은 학습자의 응답에 ‘즉시 반응의 원리’에 따라 피드백을 주게 된다. 정답을 반응했을 경우 긍정적인 피드백을 나타내어 준다. 반면, 오답을 했을 경우 교정할 수 있는 메뉴들이 제시된다. 메뉴들에는 학습내용탐색(Explore Contents), 설명영상탐색(Explore Mp4 Contents), 다시풀기(Retry Question), 다음문제(Next Question)로 구성되어 있다.

[Fig. 8] 
Learning Style Development Screen

[Fig. 8]의 아랫 부분 화면에서는 학습내용탐색, 설명영상탐색, 다시풀기, 다음문제 등의 메뉴를 선택했을 때 나타나는 화면을 종합적으로 재구성하여 나타내었다.

[Fig. 9]는 평가형 문제풀이 모듈의 주요화면을 나타낸다. 학습형에서 충분히 학습 한 후 평가형을 통해 연습의 기회를 갖는 것이 목적이다. 학습형과 평가형 모두 ‘답안제출’ 버튼을 누르면 이제까지 응답한 내용에 대한 분석결과(Analysis of the result)를 보여준다. 문항에 대한 정답과 이를 파이차트를 활용하여 결과가 보이게 개발하였다.

[Fig. 9] 
Evaluation Style Development Screen

4) 도전형 문제풀이 학습모듈 개발

도전형 문제풀이 학습모듈은 문제 풀이를 통해 자신의 실력을 체크해 볼 수 있는 도전형 실전 문제풀이 학습이다. 프로그램 메뉴에서 ‘퀴즈합격도전(Quiz Pass Challenge)’을 클릭하였을 일련의 문제가 제시된다. 일반적인 문제풀이는 전체 문제를 다 푼 후 결과를 알 수 있으나, 본 연구에서는 선행연구에서 활용한 베이지안 알고리즘을 기반으로 SPRT(Sequential Probability Ratio Test) 알고리즘을 활용(Heo, 2015; Kim et al., 2002; Frick & Welch, 1993)하여 최소의 문제 풀이로 통과 여부를 판단할 수 있게 하였다.

[Fig. 10]은 실전 문제풀이 학습모듈의 주요화면을 나타낸다. 문제의 형태(Type)에서 ‘영역형’이나 ‘종합형’을 선택할 수 있다. 영역형은 20강의 강의 영역에서 문제가 출제되며, 종합형은 전체 문제 중 랜덤하게 문제가 출제된다. 영역형을 선택한 경우(Domain Quiz)의 다이얼로그 박스를 나타난다.

[Fig. 10] 
Quiz Pass Challenge Screen

문제 제시는 앞에서 나온 형태와 유사하며 정답을 선택하면 맞는지 틀렸는지 그리고 누적해서 어떠한지에 대한 정보를 나타내는 피드백이 [Fig. 10]의 과 같이 나타난다. [Fig. 10]의 의 화면은 퀴즈 문제에 합격했을 경우의 피드백을 나타내며, [Fig. 10]의 은 그렇지 못했을 경우 피드백 화면을 나타낸다. 결과보기를 클릭할 경우 이제까지 푼 문제들에 대한 결과를 [Fig. 9]의 분석결과(Analysis of the result)와 유사한 화면이 나타날 것이다.