시험성찰도구의 메타인지능력 증진 효과 탐색
Abstract
The purpose of this study is to explore the effects of metacognitive skills through a tool that encourages reflective activities related to exam situations. To achieve this objective, undergraduate students enrolled in general education courses at C University were allocated into experimental and control groups. The experimental group was exposed to the exam wrappers, and both groups underwent metacognitive learning ability tests before and after the exam. Additionally, a satisfaction survey was conducted with the experimental group. Through a combination of quantitative and qualitative analyses, the study verified the effectiveness of using the exam wrappers in enhancing students' metacognitive skills. The analyzed cases demonstrate that students utilize the exam wrappers to self-assess and make efforts to adjust their study habits and goals. Based on these research findings, implications, limitations, and suggestions for future research are presented.
Keywords:
Exam wrappers, Metacognitive skills, Knowledge of metacognition, Regulation of metacognitionⅠ. 서 론
개인이 학습을 해 나가는 과정에서 ‘반성적 성찰’이 중요하다는 것은 교육 현장에서 지속적으로 강조되어 온 사실이다. 반성적 성찰은 학생들이 자신의 학습상황을 지속적으로 모니터링하고 평가하도록 자극한다(El Bojairami and Driscoll, 2019). 이를 통해 학생들은 학습 상황에서 자신에게 어떤 점이 부족한지 파악할 수 있으며, 최상의 결과를 얻기 위해 적합한 학습 방법론을 어떻게 적용해야 하는지 지속적으로 탐색하게 된다.
하지만 바쁘게 돌아가는 교육 현장에서 학생들이 반성적 성찰을 경험하는 것은 매우 어려운 일이다. 과거로부터 현재까지 한국 교육의 핵심 화두는 ‘시험’이다. 학생들은 유치원 입학부터 초등학교, 중학교, 고등학교, 대학교를 졸업할 때까지 수없이 많은 시험을 보게 되며, 시험을 준비하는 것이 곧 ‘교육’인 동시에 가장 공평하고 합리적인 일이라고 믿어왔다(Lee, 2017). 그러나 대부분의 학생들은 시험을 ‘넘어야 하는 산’, 즉 스트레스의 원인으로 인식하고 있기 때문에 시험을 준비할 때는 쫓기듯 바쁜 마음으로, 시험이 끝난 뒤에는 해방감과 허탈감으로 인해 학습에 대한 반성적 성찰이 일어나기 어려운 것이 현실이다.
지금까지 시험은 일반적으로 교육현장에서 학습자의 학습 수준을 진단하고 평가하기 위한 도구로 활용되어 왔다. 그러나 시험은 단순히 학생의 학습수준을 평가하기 위해서만 실시하는 것이 아니라 학습을 촉진하는 효과적인 성찰 도구로 활용될 수 있다. 이는 Abbott(1909)의 연구로 시험 효과가 밝혀진 이래 약 100여년에 걸쳐 축적되어 온 경험적 연구의 결과로 뒷받침 할 수 있다. 또한 이는 과거에 비해 오늘날 시험에 대한 관점이 ‘학습에 대한 평가(assessment of learning)’에서 ‘학습을 위한 평가(assessment for learning)’로 변해 가는 것과 그 맥락을 함께 한다(Chi, 2010). 즉, 학습자가 시험을 통해 학습한 내용을 성찰하게 하는 것은 이들이 자신의 전반적인 학습 상황에 대해 인지하고 보다 발전적인 방향으로 나아갈 수 있도록 돕는다.
이러한 맥락에서 Achacoso(2004)가 시험 후 성찰하는 질문의 중요성에 대한 연구를 수행했으며, 이후 Lovett(2013)가 처음으로 ‘Exam Wrappers’라는 개념을 도출했다. 그는 Exam Wrappers를 교수자의 피드백을 바탕으로 학생들이 학습내용을 복습하고, 미래의 학습에 대해 적절히 변화시킬 수 있도록 자극하는 일련의 활동인 ‘시험성찰도구’로 정의하였다. 이 도구는 학생들에게 시험상황과 관련하여 이들이 적용한 학습 전략을 검토하도록 하는 짧은 반성적 쓰기 활동으로 구성되어 있다고 할 수 있다.
Lovett(2013)에 따르면 이 도구는 학생들이 3가지 주요 요소들을 성찰하도록 해야 하는데, 이는 ‘시험을 준비하는 데 활용되는 학습전략’, ‘시험 오류의 유형’, 그리고 가장 중요한 요소인 ‘더 증진된 시험을 준비하기 위한 학습 습관의 변화 및 개선’이라 할 수 있다. 교수자는 내용에 학생들의 ‘시험 전후 지식에 대한 인식’, ‘시험 전에 얼마나 충실하게 준비했는지’, ‘시험 준비에 소요된 시간’과 같은 추가적인 질문을 포함할 수도 있다(Achacoso 2004; Thompson 2012; Lovett 2013). Lovett(2013)는 이러한 주요 요소를 바탕으로 시험을 준비하는 학생을 위해 ‘학생들이 시험을 어떻게 준비하는가’, ‘학생들은 어떤 종류의 실수를 하는가’, ‘이들이 추후 시험 성적을 향상시키기 위해 차별화 할 수 있는 것은 무엇일까?’ 와 같은 주요 질문을 도출하였다. 즉, Exam Wrappers는 교수자가 시험전략에 대한 문항을 제시하고, 학생들이 이를 활용하는 자료라 할 수 있다(Turns, Sattler, Yasuhara, Borgford-Parnell and Atman, 2014).
학생들은 이러한 질문이 담긴 시험성찰도구를 통해 시험을 치른 후 자신의 답안을 검토하고, 어떤 문제를 맞히고 틀렸는지에 대한 자기평가를 할 수 있다(El Bojairami and Driscoll, 2019). 이 과정은 학생들이 자신의 강점과 약점을 파악하는 데 도움이 된다. 또한 학습전략에 대한 성찰을 통해, 어떤 전략이 효과적이었는지, 또는 어떤 부분에서 개선이 필요한지를 고려하게 한다. 이를 통해 학생들은 미래의 학습을 개선하기 위해 적절한 방향을 설정할 수 있다. 또한 시험을 치른 후 다시 목표를 설정하고, 이를 달성하기 위한 계획을 세우며 학습 동기를 증진시킬 수 있다.
교수자의 입장에서는 학생들이 작성한 시험성찰 내용을 검토함으로써 피드백을 제공할 수 있고, 학생들이 더 나은 방향으로 나아갈 수 있도록 도움을 줄 수 있다. 이러한 과정이 반복되면 학생들은 시험을 통해 자신의 학습 전략과 태도에 대해 더 잘 이해할 수 있게 되고, 미래의 학습 경험을 개선하도록 노력할 수 있다.
다양한 연구를 통해, 시험성찰도구를 활용하는 것이 학생들의 학습 성과, 인지 능력 및 학습 행동을 증진하고 평가하는 데 탁월한 방법임이 검증되었다(Gezer-Templton, Mayhew, Korte, and Schmidt, 2017; El Bojairami and Driscoll, 2019). Chew(2016) 등은 수업에서 수행한 시험성찰활동으로부터 얻은 양적·질적 결과가 교수학습 경험을 개선하고 향상시키는 등 교수와 학생 모두에게 도움이 됨을 주장하였다. Lovett(2013)의 연구에서 수행된 강의평가 결과, 학생들은 시험성찰도구가 유익하다는 의견을 보였으며, 가치 있게 느끼는 것으로 나타났다.
Lovett(2013)는 생물학, 물리학, 화학, 미적분학과 같은 다양한 수업에서 시험성찰도구를 활용하여 그 효과를 밝혔으며, 그의 연구를 비롯하여 여러 선행 연구를 통해 시험성찰도구의 활용이 학생들의 메타인지능력 향상에 효과가 있음이 검증되었다(Ahuja, A., Datta, Song, and Harrington, 2022; Gezer-Templton, Mayhew, Korte, and Schmidt, 2017; Pate, Lafitte, Ramachandran and Caldwell, 2019; Schuler and Chung, 2019; Sethares and Asselin, 2022; Soicher and Gurung, 2017; Williams, 2021).
Pintrich(2002)는 메타인지능력을 자신의 인지에 대한 인식과 지식뿐만 아니라 일반적인 인지에 대한 지식으로 정의하였다. 높은 메타인지능력은 학생들의 학습전략 향상과 긍정적인 상관관계가 있기 때문에, 교수자는 학생들이 메타인지능력을 개발하는 데 도움이 되는 전략을 실행할 수 있도록 고려해야 한다(Ambrose et al, 2010). 특히 고등학교에서 대학으로의 학문적 전환은 학생들에게 비판적이고 고차원적 사고력과 강력한 학습 전략을 개발하도록 하는 복잡성을 가중시킨다(El Bojairami and Driscoll, 2019). Krathwohl(2002)이 제안한 바와 같이, 사고 기술은 사실적 지식에서 개념적 지식, 절차적 지식, 그리고 메타인지 지식으로 발달한다. 따라서 메타인지 능력 향상 기술, 즉 학습 행동에 대한 자기 평가와 자기 통제를 습득하는 것은 학생들의 학습에 장기적이고 긍정적인 영향을 미칠 수 있으며, 특히 대학의 학습에 적응하는 데 어려움을 겪는 학생에게 많은 도움을 줄 수 있다(El Bojairami and Driscoll, 2019).
지금까지 대학생과 메타인지능력 관련 주된 연구들은 자기주도학습능력, 문제해결능력, 자아개념, 학습동기, 자기효능감, 학습환경(Chae, 2015; Kim, 2023; Lee, Jeong, and Jang, 2017; Oh and Yu, 2023; Song, 2015) 등과 같은 내·외적인 요인들과의 영향력을 검증하는 데 초점을 맞추어 진행되어 왔기 때문에 시험성찰도구의 활용성에 대한 효과 검증이 요구된다고 할 수 있다.
그러나 국내에서는 아직 시험성찰도구로써 ‘Exam Wrappers’에 대한 번안 연구가 이루어지지 않아 이 도구가 한국 대학생의 메타인지능력 증진에 효과가 있는지 여부를 확인하기 어렵다.
학습자에게 시험을 통해 학습한 내용을 성찰하게 하는 것은 학습자가 자신의 전반적인 학습 상황에 대해 인지하고 보다 발전적인 방향으로 나아갈 수 있도록 돕는다. 따라서 시험성찰 행위를 통해 상위인지능력인 메타인지능력의 향상 정도에 대해 탐색하는 것은 매우 의미 있는 일이라 사료된다. 이에 본 연구에서는 국외에서 활발히 활용되고 있는 시험성찰도구를 번안하고 이를 수업 현장에 적용함으로써 학습자의 메타인지능력의 증진에 어떤 효과를 가져 오는지 탐색해 보고자 하였다.
본 연구에서 활용한 시험성찰도구를 통해 학습자의 메타인지능력 증진 효과를 검증함으로써 다양한 학문 영역 및 유형별 수업 환경에서 활용할 수 있을 것이라 기대한다. 시험성찰도구는 학습자의 학업성찰 뿐만 아니라 교수자의 효과적인 교수학습설계에도 도움을 줄 수 있을 것이다.
Ⅱ. 연구 방법
1. 연구 대상
본 연구의 대상은 C대학의 교양 수업을 수강 중인 대학생 1~3학년이다. 연구자는 A분반 45명과 B분반 43명 학생 중 실험집단 45명과 통제집단 43명에 무선 할당(randomized allocation)하였다. 연구에 참여하는 학생들에게는 연구의 목적과 연구 기간, 연구 진행과 관련한 주요사항, 활용범위, 비밀 유지 등에 대하여 정확히 안내하였으며, 연구 참여 과정에서 상황의 변화를 겪거나 불편한 감정을 느끼게 된다면 언제든지 참여를 철회할 수 있음을 미리 안내하였다. 이후 효과 검증 단계에서 실험집단 중 중간에 참여하지 않거나 사후검사를 실시하지 않은 학생 5명을 제외한 40명과 통제집단 중 사후검사에 참여하지 않은 3명을 제외한 40명, 총 80명의 응답 자료를 활용하였다. 실험집단과 통제집단 간 인구통계학적 정보를 바탕으로 집단동질성을 검증한 결과, 두 집단의 인구통계학적 구성에는 차이가 나타나지 않는 것으로 확인되었다.
2. 연구 도구
시험성찰도구는 1~2페이지 정도에 해당하는 주관식 문제로 구성되어 있기 때문에 학생들이 작성하고 교수자가 평가하는 데 많은 시간이 소요되지 않는다(Gezer-Templton, Mayhew, Korte, and Schmidt, 2017). 또한 학기 중 몇 차례만 진행하기 때문에 어떤 수업이든지 부담 없이 적용이 가능하다(El Bojairami and Driscoll, 2019). 즉, 시험성찰도구는 학습에 긍정적인 영향을 미칠 뿐 아니라 시행하기 쉽다는 장점이 있다. 시험성찰도구는 시험 전 후에 학생들의 성찰이 이루어지도록 활용할 수 있으나, 시험 중 단계를 포함하여 활용할 수도 있다. 본 연구에서는 시험 중 자기 성찰 단계를 포함하여 진행하였다.
도구가 만들어진 집단과 활용 집단이 다르기 때문에 새로운 문화에서 타문화권 도구를 활용하기 위해서는 번안 절차가 필요하다(Hinkle, 1994). 이를 위해 Lovett(2013)가 강조한 3가지 주요 시험성찰 요소를 바탕으로, Heller(2020)가 시험 전, 중, 후의 형태로 개발한 3단계 Exam wrappers를 번역하고, 역번역 및 이중언어자의 검토를 통해 기존 언어와의 개념적 동등성을 확보하고자 하였다. 번안된 시험성찰도구는 도구개발 경험이 있는 대학 교수 1인 및 교육학 박사 3인에게 내용타당도에 대한 검증을 받았다.
Lynn(1986)은 전문가가 3~5명이면 CVI값이 1.00 이상이어야 문항의 내용타당도가 만족된다고 하였다. 번안된 시험성찰도구의 I-CVI(item-level content validity)값은 1.00 이상으로 나타나 문항 수준 내용타당도가 검증되었다.
시험 전 성찰 질문은 총 4개로, ‘해당 과목 교수계획표의 평가 요소 중 가장 중요하게 초점을 맞추어 고려해야 할 사항은 무엇인가?’, ‘그것을 달성하기 위해 가장 필요한 것은 무엇인가?’, ‘해당 과목과 연관된 사전 지식은 어느 정도의 수준이라 생각하는가?’, ‘해당 과목의 시험공부를 할 때 얼마나 많은 시간이 소요될 것으로 예상하는가?’ 와 같은 내용으로 구성된 질문에 응답하도록 하였다.
시험 중 성찰 질문은 총 3개로, ‘시험공부에 얼마나 많은 시간을 들였는가?’, ‘어느 정도 수준의 성적 결과를 기대하고 있는가?’, ‘응답한 성적을 기대하는 이유는 무엇인가?’와 같은 내용으로 구성된 질문에 응답하도록 하였다.
시험 후 성찰질문은 총 6개로, 기억력 증진전략, 집중력 증진전략, 강의내용 필기, 소그룹 학습 활동 등의 학습전략에 대해 순위를 매기며, 각 전략을 사용하는 데 소요된 시간을 기입하도록 하였다. 또한 ‘시험에 대해 어느 정도 수준의 성적 결과를 기대하였는가?’, ‘응답한 성적을 기대한 이유는 무엇인가?’와 같은 질문에 재응답하도록 하였으며, ‘시험 성적 결과에 만족하는가?’, ‘이번에 치른 시험 준비 과정에서 가장 아쉬웠던 점은 무엇인가?’, ‘다음 시험을 준비할 때 이번에 치른 시험과 다르게 개선하여 준비하고 싶은 사항은 무엇인가?’와 같은 내용으로 구성된 질문에 응답하도록 하였다.
메타인지 능력을 측정하기 위해 서울대학교 인지학습연구회에서 Shin and Choi(2005)가 성인용 메타인지 검사 MAI(Metacognitive Awareness Inventory)를 바탕으로 개발한 검사를 활용하였다. 이 검사는 일반영역(Jr. MAI)과 특수영역(Jr. MARSI)으로 구분되며 각각 30문항으로 구성되어 있으나, 본 연구에서는 일반적인 학습상황에서 메타인지 능력을 평가할 수 있는 검사도구인 Jr. MAI를 활용하였다. Jr. MAI는 인지지식을 측정하는 15문항과 인지조절을 측정하는 15문항으로 구성되어 있으며, 하위요인은 메타인지적 지식과 메타인지적 조절으로 구분할 수 있다. 메타인지적 지식(knowledge of metacognition)은 학습자가 자신에게 가장 적합한 학습전략과 다양한 인지전략을 아는 지의 여부를 측정하며, 메타인지적 조절(regulation of metacognition)은 실제로 학습전략을 계획, 실행하고 그 효과성을 점검하는 능력을 포함한다. 측정기준은 ‘전혀 그렇지 않다’ 1점에서 ‘항상 그렇다’ 의 Likert 5점 척도로 측정하였으며 점수가 높을수록 메타인지 능력이 높은 수준임을 의미한다. Shin and Choi(2005)의 연구에서 전체 Cronbach’s α는 .92로 나타났으며, 본 연구에서는 .87~.93(전체 .94)로 신뢰도 계수가 높게 나타났다.
본 연구의 만족도 검사는 Astin(1993)이 제시한 교육만족도에 포함되어야 하는 주요요인과 Tak(2023)의 연구에서 활용한 학습자 만족도 검사 문항을 수정·보완하여 사용하였다. 시험성찰도구 활용에 대한 전반적 만족도, 도구의 활용방식, 다양한 수업에의 적용 가능성, 담당 교수의 피드백 제공, 다른 친구에게 추천 여부 등 총 10개의 문항으로 구성하였으며 5점 척도로 측정하였다. 또한 본 만족도 검사를 실시할 때 시험성찰도구에 대한 의견을 묻는 3개의 개방형 질문을 포함하였다. 질문 내용은 시험성찰도구가 가장 도움이 되었던 점, 시험 전, 중, 후 실시한 시험성찰활동 중 가장 도움이 되었던 시기와 그 이유, 시험성찰도구의 개선점 및 요구사항에 대한 주제로 구성되었다.
3. 연구절차
본 연구는 2021년 9월 1일에서 12월 20일까지 수행되었다. 수업 오리엔테이션 시간에 연구 참여자를 대상으로 연구 참여 동의서를 받았으며, 시험성찰도구의 활용에 대해 설명하였다.
실험집단을 대상으로 중간고사와 기말고사 3주 전에 시험 전 성찰질문에 오프라인 질문지에 응답하도록 하였으며, 시험 중 성찰내용은 시험 당일 시험지 마지막 장에 응답하도록 하였다. 시험 후 성찰도구는 시험 종료 후 성적이 확정된 뒤 온라인으로 실시하여 응답하도록 하였다. 응답한 성찰내용에 대해서는 개별 학생이 처한 문제 상황에 따라 교수자의 즉각적인 피드백을 제공하고자 하였다. 피드백은 대면으로 진행하거나 LMS 온라인 쪽지 기능을 활용하여 진행하였다.
시험성찰도구의 효과 검증을 위해 실험집단과 통제집단 사전과 사후 메타인지 학습능력 검사를 온라인(Naver office)으로 실시하였다. 또한 실험집단만을 대상으로 사전성찰도구 활용에 대한 만족도 조사를 실시하였으며, 연구에 성실히 참여한 학생 6명을 대상으로 녹음 및 참여 동의를 얻어 초점집단면접을 실시하였다. 초점집단면접은 6명에서 10명 정도로 구성하는 것이 적절하다(Yoon, 2013). 면접은 약 2시간 진행되었으며, 토론형 테이블이 있는 상담실에서 연구자가 진행하였다. 연구자는 집단 내에서 자율적인 토론이 이루어지도록 하기 위해 개입을 최소한으로 하였으며, 연구 참여자가 연구 주제와 관련하여 경험한 내용을 이해하기 위해 반구조화형식의 질문지를 활용하여 참여자의 관점에서 생각하고 질문하고자 하였다. 면담과정에서 이루어진 모든 내용은 녹음하였으며, 면담 종료 후 연구자가 녹음한 내용을 반복해서 들으며 전사 작업을 하였다. 자료에 대한 자의적 해석을 방지하기 위해 모호한 내용에 대해서는 연구 참여자와의 통화 및 LMS 쪽지기능을 활용하여 재확인하였다.
시험성찰도구 활용의 효과를 검증하고 실험집단과 통제집단 간의 사전 동질성을 확인하기 위해 SPSS Statistics 28을 활용하여 t-test를 실시하였고, 연구문제를 검증하기 위해 사전검사 점수를 공변인으로 하고 두 집단 간의 사후검사 점수의 차이를 보는 공변량분석(ANCOVA)을 실시하였다. 또한 시험성찰도구 활용의 만족도 검사에 대한 기술통계 분석 및 개방형 설문의 답변을 내용분석하였다.
초점집단면접은 학생들이 시험성찰도구의 활용과 관련하여 경험한 사실과 인식 정도를 탐색하고자 실시한 것으로, 본 연구의 목적이 개인의 구체적인 경험을 있는 그대로 파악하고자 하는 Colaizzi(1978)의 현상학적 연구방법을 적용하는 것이 적합하다고 판단하였다.
Colaizzi(1978)가 제시한 분석방법 및 절차를 살펴보면, 우선 녹음한 내용을 반복하여 들으며 연구 참여자들의 이야기를 가공하지 않고 기술한다. 다음으로 기술한 내용을 읽으며 의미를 도출(formulated meaning)하였으며, 추출한 내용 중 공통 사항을 발견하여 연구 참여자들의 언어로 소주제화 하였다. 소주제화한 내용을 공통 차원에서 범주화하여 주제결집(theme cluster) 작업을 하였고, 최종적으로 경험의 본질적 구조를 구조화하여 카테고리(category) 구성 및 최종 기술(exhaustive description)하였다. 연구의 타당성을 확보하기 위해 질적연구 경험이 풍부한 박사학위 소지자 3인에게 분석 결과에 대해 논의하였다.
Ⅲ. 연구 결과
1. 집단 간 사전 동질성 검증
메타인지적 지식 요인과 메타인지적 조절 요인, 메타인지 학습능력 전체에 대한 실험집단과 통제집단의 기술통계치는 <Table 1>과 같다. 먼저 프로그램 실시 전, 실헙집단과 통제집단 간에 메타인지 학습능력 수준에 차이가 있는지 independent sample t-test를 이용하여 동질성 검증을 실시하였다. 그 결과, 메타인지적 지식 요인(t=-.335, p>.05)과 메타인지적 조절 요인(t=1.465, p>.05), 메타인지 학습능력 전체(t=.837, p>.05) 점수에서 두 집단 간 통계적으로 유의미한 차이가 없는 것으로 나타났다(<Table 2> 참조).
2. 시험성찰도구의 효과성 검증
시험성찰도구의 메타인지 학습능력 증진효과를 검증하기 위해 Analysis of Covariance(ANCOVA)를 실시하였다. 통제변수의 영향력을 통제하고, 집단의 순수한 주 효과를 파악하기 위해 사전검사를 공변인으로 설정하여 분석하였다. 집단 간 메타인지 학습능력 수준을 분석한 결과, 프로그램 실시에 따른 메타인지적 지식(F=30.306, p<.001), 메타인지적 조절(F=13.982, p<.001), 메타인지 학습능력 전체(F=21.146, p<.001)는 실험집단이 통제집단 보다 평균값이 높은 것으로 나타났고, 통계적으로 유의한 차이를 보여 효과성이 검증되었다(<Table 3>참조).
3. 시험성찰도구 활용에 대한 만족도 분석
만족도 10개 문항에 대한 기술통계 분석 결과를 살펴보면 다음과 같다(<Table 4> 참조). 시험성찰도구를 활용한 학생들은 문항 각각에 대해 만족 수준이 전반적으로 높은 것으로 나타났다. 특히 7번 ‘담당 교수는 논리적이고 체계적으로 시험성찰 내용에 대한 피드백을 제공하였다’ 문항의 평균이 4.85점으로 가장 높게 나타났다.
시험성찰도구의 활용을 통해 가장 도움을 많이 받은 측면과 그 이유에 대한 개방형 질문의 내용분석한 결과, 시험성찰도구의 질문을 통해 자신의 학습전략 및 학습습관에 대해 이해할 수 있게 되어 좋았다는 의견이 나타났다.
“시험성찰도구의 질문이 간단해 보였지만, 실제로 이 질문에 응답하기 위해 많은 고민을 해야 한다는 것을 알게 되었다. 성찰도구를 통해 시험에 대해 한 번 더 생각하고, 나의 부족한 학습전략에 대해 알게 되어 좋았다.”(참여자 3)
“나의 학습습관에 대해 성찰해 볼 수 있어 유익했다. 앞으로 학습내용을 더 깊이 이해하고 내가 가지고 있는 문제를 해결하기 위해 목표를 명확히 설정하고 다양한 전략을 적용할 계획이다.”(참여자 1)
시험 전, 중, 후에 실시한 시험성찰 활동 중 가장 도움이 되었던 시기와 그 이유에 대한 개방형 질문의 내용분석 결과, 시험 후에 실시한 성찰 활동이 가장 도움이 되었다는 의견이 가장 높게 나타났으며(n=27), 다음으로 시험 전 성찰 활동 순으로 나타났다(n=13). 시험 중 성찰 활동에 응답한 학생은 없는 것으로 나타났다.
“시험 전에는 조금 막연하던 나의 공부방식이 시험 후에 모두 명확하게 드러나는 듯한 기분이 들었다. 시험 결과를 성찰하여 다음번에는 같은 실수를 하지 않게 될 것 같다”(참여자 5)
“시험 전 나의 공부 시간에 대해 생각해보고 성찰한 점이 실질적인 공부 시간을 확보하는 데 도움이 많이 되었다.”(참여자 10)
시험성찰도구의 개선점 및 제안사항에 대한 개방형 질문의 내용분석 결과, 특별히 개선할 점이 없다는 내용이 과반수 나타났으나 문항 수가 많지 않았음에도 시험 당일 시험문제 이외의 다른 질문에 응답하려니 생각보다 집중이 잘 되지 않았다는 의견과, 다른 학생들과 시험성찰 내용을 교류하기를 원한다는 내용이 나타났다.
“성찰 질문이 많지는 않았지만, 시험 당일에는 시험 문제에 응답하는 시간이 많이 소요되어 시험 자체에 대해 생각하는 것은 조금 버거운 느낌이 들었다.”(참여자 10)
“다른 학생들의 시험성찰 내용을 서로 공유한다면, 다음 시험을 준비할 때 더 많은 도움을 얻을 수 있을 것 같다.”(참여자 16)
4. 초점집단면접 분석 결과
시험성찰도구 활용경험 및 인식에 대해 질적으로 분석한 결과, 총 2개의 본질적 주제와 7개의 주제 묶음이 도출되었다. 영역별로 드러난 주제를 살펴보면 다음과 같다.
첫 번째 본질적 주제인 ‘자기주도학습의 촉진 기능’에 대해 ‘구체적인 학습목표 설정’, ‘시간 활용에 대한 계획 수립’, ‘평가요소별 학습전략 수립’, ‘학습몰입 증진’과 같은 4개의 주제 묶음을 도출하였다.
우선 학생들은 시험성찰도구의 활용을 통해 학습목표 설정의 중요성을 깨닫게 되었고, 목표를 설정하는 방법에 대해 성찰하게 된 것으로 나타났다. 아울러 시험성찰도구의 질문이 학습목표를 설정하여 실천하도록 하는 동기로 작용할 수 있다는 점을 확인할 수 있었다.
“시험성찰도구를 통해 시험에 대한 자극을 많이 받게 되었고, 과제의 특성과 시험 유형에 따라 세부적인 학습목표를 다르게 설정해야 한다는 것을 알게 되었다.”(참여자 4)
“시험성찰도구를 통해 실제로 지킬 수 있는 목표를 구체적으로 설정하는 것이 중요함을 깨닫게 되었고, 학습목표를 설정한 뒤 달성하고자 노력했던 내 모습이 좋았다.”(참여자 2)
또한 시험성찰도구를 통해 우선순위 설정의 중요성에 대해 깨닫게 되었다는 의견이 나타났으며, 학생들은 과제의 난이도와 중요성에 따라 시간 투자에 대한 고민이 필요하다는 것을 성찰할 수 있었다.
“가장 도움이 된 점은 공부의 우선순위를 정하게 된 점이다. 예전에는 그냥 손에 잡히는 대로 공부를 했는데, 나에게 더 어렵게 느껴지고 중요하다고 생각되는 과제에 더 많은 시간을 투자해야 한다는 것을 깨닫게 되었다.”(참여자 1)
성찰활동 중 교수계획표의 평가요소를 다시 살펴보며 관리요소들을 발견하고, 학습전략을 수립하게 된 계기를 얻게 된 점도 도출되었다.
“시험 전 교수계획표를 살펴보면서 평가요소에 대해 각성하게 된 점이 도움이 많이 되었다. 각 평가요소 별로 어떤 학습전략을 세워야 할지 고민을 하게 되는 시간이었다.”(참여자 5)
또한 시험 중, 시험 후 성찰활동에 성적에 대한 기대수준에 대해 중복하여 생각해 보도록 한 점이 학생들의 학습몰입에 긍정적으로 자극을 준 것을 확인할 수 있었다.
“처음에는 시험성찰도구를 활용하는 것이 어색했지만, ‘성적에 대한 기대수준’과 그 이유에 대해 생각하면서 각성이 되었고, 공부를 할 때 좀 더 몰입이 되는 것을 느낄 수 있었다.” (참여자 3)
두 번째 본질적 주제인 ‘시험에 대한 인식 전환’에 대해서는 ‘시험의 긍정적 측면 발견’, ‘자신감과 책임감 증진’, ‘학습습관의 중요성 성찰’ 3개의 주제 묶음을 도출하였다.
우선 시험에 대해 부정적인 감정을 느끼던 학생들이 시험성찰도구를 통해 시험의 의미에 대해 진지하게 성찰함으로써 시험 자체에 대한 인식이 긍정적으로 변화된 것을 확인할 수 있었다.
“시험 전, 중, 후에 답을 쓰기 위해 처음으로 시험 그 자체에 대해 생각해 보게 되었다. 시험이 없다면 학습에 대한 동기부여가 되지 않을 것 같고 성취감도 느낄 수 없을 것이다. 시험이라는 것이 꼭 부정적인 것만은 아니라는 생각이 들게 되었다.”(참여자 6)
또한 시험성찰도구를 활용함으로써 시험을 치르는 것에 대한 학생들의 자신감이 높아졌음을 확인할 수 있었고, 시험 결과에 대한 책임 또한 스스로가 감당해야 한다고 생각하는 것으로 나타났다.
“시험은 늘 긴장과 스트레스를 유발하지만, 충실하게 준비하니 시험에 대한 자신감이 높아지는 것을 느낄 수 있었다. 열심히 준비했으니 결과가 원하는 만큼 나오지 않더라도 후회가 없을 것 같고, 결과에 대해 받아들일 수 있을 것 같다.”(참여자 2)
아울러, 시험성찰도구는 학생들이 자신의 학습습관을 되돌아보도록 하는 기능을 한 것을 확인할 수 있었다. 학생들은 자신의 전반적인 생활패턴 및 학습습관을 유지하는 것의 중요성을 인식하게 되었고, 생활 전반에 대한 조절이 필요함을 깨닫게 되었다.
“시험을 잘 치르기 위해서는 평소 생활리듬과 학습습관을 잘 유지하는 것이 중요하다는 것을 느끼게 되었다. 수면 시간과 컨디션 관리에 좀 더 신경을 써야겠다는 생각을 하게 되었다.” (참여자 4)
Ⅳ. 결 론
본 연구는 대학생을 대상으로 시험성찰도구를 활용하도록 하여 학업상황에서 메타인지능력 증진에 효과가 나타나는지 검증하고자 하였다. 연구 결과에 대한 논의는 다음과 같다.
첫째, 시험성찰도구를 활용한 학생들의 메타인지능력 전체 및 하위영역인 메타인지적 지식과 조절의 영역에서 실험집단이 통제집단에 비하여 향상된 것으로 나타났다. 이는 시험성찰도구의 활용 목표가 학습자의 메타인지적 지식과 메타인지적 조절(전략)을 종합적으로 증진하는 것에 있기 때문에 목표를 달성했다는 점에서 의의가 있다고 할 수 있다. 이는 시험성찰도구가 학습자의 메타인지능력 증진에 효과가 있다고 밝힌 여러 선행연구 결과를 뒷받침한다(Ahuja, A., Datta, Song, and Harrington, 2022; Gezer-Templton, Mayhew, Korte, and Schmidt, 2017; Pate, Lafitte, Ramachandran and Caldwell, 2019; Schuler and Chung, 2019; Sethares and Asselin, 2022; Soicher and Gurung, 2017; Williams, 2021).
구체적으로 메타인지적 지식 측면에서는, 학생들이 시험성찰도구를 통해 학습상황에서의 자기 자신에 대한 이해 및 해야 할 공부에 대한 이해도가 증진된 것으로 파악할 수 있다(Schraw, 1998). 시험성찰도구에 제시된 질문은 해당 과목과 연관된 사전 지식에 대한 인지, 평가요소에 대한 인지 등 공부해야 할 영역 및 개선 영역에 대한 분명한 이해가 선행되어야 응답할 수 있는 내용으로 구성되어 있다. 이를 통해 학생들이 자신이 공부를 할 때 관련 내용을 이해했는지 분명하게 아는 능력인 메타인지적 지식이 증진된 것으로 사료된다.
메타인지적 조절 측면에서는, 학생들이 계획하고(planning), 점검하고(monitoring), 평가하는(evaluating) 세 가지 기술을 포함한다(Jacobs and Paris, 1987). 본 연구에서 활용한 시험성찰도구의 성찰질문에는 기억력 증진전략, 집중력 증진전략, 강의내용 필기, 소그룹 학습 활동 등의 학습전략에 순위를 매기며, 각 전략을 사용하는 데 소요된 시간을 기입하도록 하는 내용이 구성되어 있다. 이러한 활동은 학생들의 전반적인 메타인지 전략(metacognitive strategies)을 증진시킬 수 있는 것으로 판단된다.
대부분의 학생들이 시험과 관련하여 ‘획득한 점수’에만 초점을 맞추는 것은 충분히 이해할 수 있는 일이지만, 이는 시험이라는 평가가 제공할 수 있는 여러 학습 기회를 놓치게 만들 수 있다(Ambrose et al, 2010). 이러한 측면에서 시험성찰도구는 학생 스스로 학습전략을 모니터링 함으로써 자신의 강점과 약점을 파악하고 개선방안을 도출하도록 하여 긍정적인 학습자로 발전하게 할 수 있다. 즉, 시험성찰도구는 학생들이 학습과정에 대한 인식을 통해 자신의 실수에 대한 성숙한 성찰 활동을 이끌어내며, 학생들의 학습에 잠재적인 영향을 미칠 수 있는 유용성을 가지고 있다고 볼 수 있다(EL Bojairami and Driscoll, 2019; Lovett, 2013).
무엇보다 시험성찰도구의 활용을 통해 메타인지능력이 향상되었다는 점은 학생들의 메타인지 능력이 연습과 훈련을 통해 변화되고 향상될 수 있는 능력임을 검증했다는 점에서 의의를 찾을 수 있다(Delclos and Harrington, 1991). 훈련을 통해 지적능력의 한계나 사전지식의 부족을 극복할 수 있다는 것은 시험성찰도구가 다양한 학습자에게 도움이 될 수 있다는 것을 의미한다. 특히 시험성찰도구의 활용은 학업에 어려움을 겪고 있는 학생들에게 자신만의 효율적인 학습전략을 탐색할 수 있게 하며, 메타인지 학습능력의 증진을 통해 학업상황에 보다 잘 적응하도록 도움을 제공할 수 있을 것으로 사료된다.
둘째, 학생들은 시험성찰도구의 활용에 대해 전반적으로 긍정적인 시각을 가지고 있는 것을 확인할 수 있었다. 특히 학생들은 담당 교수가 논리적이고 체계적으로 시험성찰 내용에 대한 피드백을 제공하였다는 의견에 가장 높은 만족도를 보였는데, 이는 시험성찰도구를 활용함에 있어 교수자의 피드백이 중요함을 시사한다. EL Bojairami and Driscoll(2019)의 연구 또한 시험성찰도구를 활용함에 있어 교수자의 역할이 중요함을 강조하였다. 우선 시험성찰도구의 활용하는 것이 학습을 하는 데 중요하다는 사실에 대해 학습자가 인지하도록 하는 시간이 필요하며, 학생의 성찰활동에 대한 더 자세한 피드백과 명확한 평가가 제시되어야 한다고 하였다. 이들의 연구에서는 학생들이 자신의 학습목표와 잠재적인 실수, 비효과적인 학습전략을 인식할 때 메타인지 능력이 더 강력하게 증진될 수 있음을 보여주었다. 따라서 교수자는 학생들의 시험성찰 활동에 대한 동기 부여 및 성찰 내용에 대한 명확한 피드백과 가이드를 제공해 주어야 할 것이다.
학생들이 응답한 개방형 질문에 대한 내용 중 시험 전, 중, 후에 실시한 성찰활동 중 가장 도움이 되었던 시기로는 시험 후 성찰활동이 높게 나타났으나, 시험 중 성찰활동에 대해서는 다소 부정적인 의견이 도출되었다. 이러한 응답 결과는 학생들의 부담감이 작용한 것으로 판단된다.
시험 후에는 시험과 관련한 모든 활동들이 끝나기 때문에 학생들이 시험성찰도구의 활용에 대해 큰 부담을 느끼지 않으며, 공부하는 과정에서 다소 막연했던 학습 활동의 결과를 뚜렷하게 확인하게 된다. 즉, 교수자의 피드백과 성적 등을 통해 가시적으로 확인할 수 있는 결과가 학생들의 성찰활동을 촉진할 수 있는 것이다. 하지만 시험 중에는 간단한 문항이라 하더라도 시험 문제 외의 추가적 질문에 신경을 쓰고 응답하는 것에 부담을 느낄 수 있으며, 이에 따라 성찰활동에 대한 집중력이 낮아질 수 있을 것이다. 따라서 추후 시험성찰 활동을 실시할 때는 시험 전과 후에 시간을 더 할애할 수 있도록 계획할 필요가 있으며, 시험 중에 실시한다면 성찰 내용을 선택형 문항 형태로 개발하거나 온라인 QR코드를 활용하는 등 학생들의 부담감이 낮아질 수 있는 방법을 고려해야 할 것이다.
추가적으로 개방형 질문을 통해 도출된 내용 중 여러 학생들과 시험성찰 내용을 교류하기를 원한다는 의견이 나타나, 추후 시험성찰도구를 활용하는 과정에 그룹 활동 및 그룹 코칭(피드백) 활동을 구성하는 것이 필요하다고 사료된다.
초점집단면접을 통해 시험성찰도구 활용경험 및 인식에 대해 질적으로 분석한 결과, 시험성찰도구는 학생들의 학습목표 설정, 시간활용에 대한 계획 수립, 평가요소별 학습전략 수립, 학습몰입 증진과 같은 자기주도학습의 촉진 기능을 한 것을 확인할 수 있었다. 또한 시험에 대해 부정적으로 반응하던 학생들이 도구의 활용을 통해 시험의 긍정적인 면을 발견하고, 자신의 시험 관리에 대한 자신감과 책임감이 증진된 것을 확인할 수 있었으며, 학습습관의 중요성을 성찰하는 모습을 보였다. 이러한 결과는 시험성찰도구의 활용이 학생들의 학습 전반에 긍정적으로 작용할 수 있음을 보여주는 것이라 판단한다.
이상의 내용을 종합하여 볼 때, 본 연구는 국외 대학의 교육 현장에서 활발하고 활용되고 있는 시험성찰도구를 국내 대학생에게 적용하여 자기조절학습의 핵심 요소인 메타인지 능력의 효과를 검증했다는 점에서 의의가 있다고 할 수 있을 것이다. 비록 한 학기라는 짧은 기간이지만 시험성찰도구의 반복적 활용은 이후 다른 학습 상황에 전이됨으로써 학생들의 학업 성취를 높이는 데 기여할 것이다. 또한 교수자의 수업설계 시 평가계획을 구체적으로 수립할 수 있도록 긍정적인 영향을 미칠 수 있을 것이라 기대한다.
본 연구의 제한점과 추후 연구를 위한 제언은 다음과 같다.
첫째, 본 연구는 일반 대학생을 대상으로 진행하였기 때문에 추후 다양한 학습자를 대상으로 적용해 봄으로써 시험성찰도구의 효과를 검증할 필요가 있다. 초등학생, 중등학생 등 다양한 학습자 수준에 맞는 시험성찰문항을 개발하여 메타인지능력 및 다양한 변인 간의 효과를 검증한다면 시험성찰도구의 활용도가 증진될 것이다.
둘째, 연구절차에 있어 사전, 사후평가 외 추후평가가 이루어지지 않아 중장기적인 효과를 검증하지 못한 점이다. 후속 연구에서는 추후평가를 함께 설계하여 효과를 검증할 필요가 있다. 이를 통해 시험성찰도구의 활용으로 메타인지 능력 외 추후 실제 학업성취도의 변화나 학업지속 여부, 실제 학업 수행 행동 등의 실제적 효과를 확인할 수 있을 것이다.
셋째, 본 연구에서 활용한 시험성찰도구는 전반적인 시험 과정에서 성찰활동을 할 수 있도록 일반적인 문항 형태로 개발되었으나, 추후 학문영역 및 과목별 특성에 따른 맞춤형 시험성찰도구를 개발하여 그 효과를 검증해 볼 필요가 있을 것이다.
Acknowledgments
이 논문은 2021년 부산가톨릭대학교 교내연구비에 의하여 연구되었음
References
- Abbott EE(1909). On the analysis of the factor of recall in the learning process. The Psychological Review: Monograph Supplements, 11(1): 159~77.
- Achacoso MV(2004). Post-test analysis: a tool for developing students’ metacognitive awareness and self-regulation. New Direct Teach Learning 100, 115~119. [https://doi.org/10.1002/tl.179]
- Ahuja A, Datta V, Song W and Harrington B(2022). Virtual Exam Wrappers: A Pilot Study for Online Replication. In Proceedings of the 54th ACM Technical Symposium on Computer Science Education 2, 1424~1424.
- Ambrose SA, Bridges MW, DiPietro M, Lovett MC, and Norman MK(2010). How do students become self-directed learners? In: How learning works: Seven research-based principles for smart teaching. San Francisco: Jossey-Bass. 188~216.
- Astin A(1993). What matters in college? San Franscisco: Jossey-Bass Publication.
- Chae MO(2015). Effects of a Simulation-based Program on Self-Directed Learning Ability, Metacognition and Clinical Competence in a Nursing Student. Journal of the Korea Academia-Industrial cooperation Society 16(10), 6832~6838.
- Chew KJ, Sheppard S, Chen HL, Rieken B and Turpin A(2016). Improving students’ learning in statics skills: Using homework and exam wrappers to strengthen self-regulated learning. In 2016 ASEE Annual Conference & Exposition.
- Chi EL(2010). Developing and validating the scale of teachers' feedback practice for formative assessment : Application of the Rasch model. Journal of Educational Evaluation 23(1), 79~100.
- Colaizzi PF(1978). Psychological research as the phenomenologist Sees it. In R. S. Valle, an d M. King(eds.), Existential-phenomenological Alternativesfor Psychology, New York: Oxford University Press.
- Delclos VR and Harrington C(1991). Effects of strategy monitoring and proactive instruction on children's problem-solving performance. Journal of educational psychology 83(1), 35~42. [https://doi.org/10.1037/0022-0663.83.1.35]
- El Bojairami I and Driscoll M(2019). Exam-Wrappers As a Tool To Enhance Students’ Metacognitive Skills in Machine Element Design Class. Proceedings of the Canadian Engineering Education Association(CEEA), April 2020, 0~8. [https://doi.org/10.24908/pceea.vi0.13815]
- Gezer-Templeton PG, Mayhew EJ, Korte DS and Schmidt SJ(2017). Use of exam wrappers to enhance students’ metacognitive skills in a large introductory food science and human nutrition course. Journal of Food Science Education, 16(1), 28~36. [https://doi.org/10.1111/1541-4329.12103]
- Heller J(2020, May 28). Exam Wrappers(with a Twist): 3Steps to Assess Study Habits. https://faculty-club.com/assessment/jutta-heller/
- Hinkle JS(1994). Assessment in action. practitioners and cross-cultural assessment: a practical guide to information and training., Measurement and evaluation in counseling and development 27, 103~115.
- Jacobs JE and Paris SG(1987). Children's metacognition about reading: Issues in definition, measurement, and instruction. Educational psychologist 22, 255~278.
- Kim YA(2023). The Effects of Writing a Self-Reflection Journals Using Padlet on Meta-cognition, Academic Self-efficacy, and Problem Solving Ability of Nursing Students. The Journal of Next-generation Convergence Technology Association 7(2), 220~230.
- Krathwohl DR(2002). A revision of Bloom's taxonomy: An overview. Theory into practice 41(4), 212~218.
- Lee HJ(2017). Exams in South Korea. Dasan4.0.
- Lee SH, Jeong GY, and Jang YW(2017). The Effect of Cosmetology Student’s Metacognition on Career Exploration Activity through Self-directed Learning Ability. The Journal of Business Education 31(3), 57~81. [https://doi.org/10.34274/krabe.2017.31.3.003]
- Lovett MC(2013). Make exams worth more than the grade: Using exam wrappers to promote metacognition. In Using reflection and metacognition to improve student learning(pp. 18~52). Routledge.
- Oh EY and Yu JH(2023). Effects of Problem-based Learning on the Metacognition, Problem Solving, Professional Self-concept and Self-Directed Learning of Nursing Students. Journal of Industrial Convergence 21(9), 89~102. [https://doi.org/10.22678/JIC.2023.21.9.089]
- Lynn MR(1986). Determination and quantification of content validity. Nursing research 35(6), 382~386.
- Pate A, Lafitte EM, Ramachandran S and Caldwell, DJ(2019). The use of exam wrappers to promote metacognition. Currents in Pharmacy Teaching and learning 11(5), 492~498.
- Pintrich PR(2002). The role of metacognitive knowledge in learning, teaching, and assessing. Theory into practice 41(4), 219~225.
- Schuler MS and Chung J(2019). Exam wrapper use and metacognition in a fundamentals course: Perceptions and reality. Journal of Nursing Education 58(7), 417~421. [https://doi.org/10.3928/01484834-20190614-06]
- Schraw G(1998). Promoting general metacognitive awareness. Instructional science 26, 113~125.
- Sethares KA and Asselin ME(2022). Use of Exam Wrapper Metacognitive Strategy to Promote Student Self-assessment of Learning: An Integrative Review. Nurse educator 47(1), 37~41.
- Shin JH and Choi HS(2005). Comparisons of Metacognition Tests in Psychometric Characteristics: Self-report versus Task-performance Tests. The Corean Journal of Educational Psychology, 19(3), 615~631.
- Soicher RN and Gurung RA(2017). Do exam wrappers increase metacognition and performance? A single course intervention. Psychology Learning & Teaching 16(1), 64~73.
- Song KE(2015). A Study of the Meta-cognition Scale Development for Korean College Students in an L2 English Learning Environment and its Validity. The Journal of Learner-Centered Curriculum and Instruction 15(4), 129~158.
- Tak HY(2023). The effect of learning management system(LMS) Quality on learner satisfaction in university distace education. Culture & Convergence 45(9), 1291~1300. [https://doi.org/10.33645/cnc.2023.09.45.09.1291]
- Thompson DR(2012). Promoting metacognitive skills in intermediate Spanish: report of a classroom research project. Foreign Lang Ann 45(3), 447~462.
- Turns JA, Sattler B, Yasuhara K, Borgford-Parnell, J L and Atman CJ(2014). Integrating reflection into engineering education. In 2014 ASEE Annual Conference & Exposition 24~776.
- Williams CA(2021). Exam wrappers: It is time to adopt a nursing student metacognitive tool for exam review. Nursing Education Perspectives 42(1), 51~52. [https://doi.org/10.1097/01.NEP.0000000000000551]
- Yoon TL(2013). Qualitative Research Methodology. Arche.