플립드 러닝을 적용한 임상수행능력평가 프로그램 개발
Abstract
The purpose of this study was to develop CPX using flipped learning and perform a preliminary evaluation of CPX using flipped learning. The CPX using flipped learning was included watching videos of core basic nursing skills and mental training at pre-class, self-directed practice, peer-evaluation after demonstration, OSCE, CPX and debriefing at in-class. Expert content validity was high as CVI 3.74. As the results of preliminary evaluation using one group pre-post test design with 118 nursing students, the scores of achievements of learning outcome(t=-4.16, p<.001) and critical thinking competence(t=-3.21, p=.002) increased significantly after CPX using flipped learning. In nursing practice education, CPX using flipped learning can be one of effective self-directed learning strategies and needs to be offered to improve quality of nursing education.
Keywords:
Clinical performance examination(CPX), Critical thinking, Learning outcome, Nursing student, Flipped learningⅠ. 서 론
1. 연구의 필요성
신규간호사의 실제 실무역량과 임상현장에서 요구되는 간호실무 능력에 상당한 차이를 나타내기 때문에 의료기관에서는 많은 시간과 비용을 부담하면서 신규간호사의 임상수행능력 향상을 위한 교육프로그램을 자체 개발하여 시행하고 있다(Jang & Kwag, 2013). 한국간호교육평가원에서는 2주기 간호학과 인증평가에서 졸업 시에 도달해야 할 12개 학습성과를 제시하고 있으므로(Korean accreditation board of nursing education, 2014) 교수자는 학습성과에 대한 관심을 가지고 있어야 한다. 이러한 시대적 요구에 따라 간호교육계는 임상현장에서 다양한 건강문제를 해결할 수 있는 임상수행능력과 양질의 간호를 수행할 수 있는 역량을 갖춘 간호사를 양성하기 위한 방안을 광범위하게 모색하고 있다(Jang & Kwag, 2013).
간호학 임상수행능력은 임상실무에 필요한 비판적 사고, 전문직 기술 및 의사소통기술을 포함하는 통합적인 영역으로서(Kim et al., 2008), 궁극적으로 간호학 학습성과 성취와 깊은 관련이 있다. 임상실습교육은 간호학의 지식, 기술, 태도와 관련된 실무능력을 갖추기 위한 필수적인 교과과정으로서, 한국간호교육평가원에서는 임상실습을 22-24학점, 1,000시간 이상 이수할 것을 요구하고 있다(Jang & Kwag, 2013). 하지만 현실적으로 환자권리나 안전보호 등으로 인해 간호대학생들은 임상현장에서 직접간호 수행을 충분히 경험하지 못하고 있다(Yoon, Kim & Choi, 2013). 실습장소 부족, 현장실습지도자 부족, 실습 학생 수 제한, 환자의 질적 간호요구 상승, 간호사고 위험 증가, 전자의무기록 접근 불가 등으로 인해 간호대학생들은 임상실습의 70% 이상을 활력징후 측정이나 간호사 업무 관찰 등 비침습적 간호행위 위주로 실습하고 있는 실정이다(Hur et al., 2013).
우리나라 간호교육계는 2000년 이후부터 객관적 구조화 임상시험(objective structured clinical examination: OSCE) 및 임상수행능력평가(clinical performance examination: CPX)를 적용한 실습교육을 시도하고 있다(Kim & Park, 2011; Park, Choi & Jang, 2015; Yoon, Kim & Choi, 2013). 또한 대상자의 실제적인 안전과 안위를 보장하면서 학생들에게 대상자의 요구를 파악하고 문제를 해결하는 실제와 유사한 모의상황을 제공하는 e-learning을 활용한 웹기반 실습교육(So et al., 2008)이나 시뮬레이션(Cho, 2016; Oh & Jeon, 2014) 등 여러 가지 실습교육 교수학습 전략을 시도하고 있다.
이 중 임상수행능력평가는 환자가 특징적으로 호소하는 문제 중심으로 구성된 시나리오를 이용하여 임상상황에서 지식과 판단 및 기술을 가지고 능숙하게 발휘할 수 있는 능력을 평가하는 것으로(Barrett & Myrick, 1998) 비판적 사고와 더불어 술기 습득과 통합적인 간호학 학습성과를 성취하는데 도움이 되는 실습교육 방법이라 볼 수 있다. 특별한 시설이나 고충실도(high-fidelity) 시뮬레이터 설비가 없더라도 기술, 태도 및 비판적 사고를 통한 문제해결력을 향상시킬 수 있는 방법이 될 수 있다. 여러 연구에서 임상수행능력평가는 간호기술 수행능력, 문제해결능력, 비판적 사고능력, 핵심기본간호술 자신감, 간호과정 적용능력 및 학습만족도를 향상시키는 것으로 나타났다(Kim & Park, 2011; Kim et al., 2008; Park, Choi & Jang, 2015).
간호대학생의 자기주도성은 자신의 실습요구를 명확히 하고 목적을 세워서 실습활동을 능동적으로 수행하고 스스로 학습성취 결과를 평가하는 능력으로(Levett-Jones, 2005), 실습교육에서 임상수행능력을 강화시키는 요인이며 학생들이 임상현장에 적응하기 위해서도 반드시 필요한 요소이다(Park, Park & Park, 2015). 하지만 지식전달 위주로 교수자 중심의 간호교육을 지속한다면 간호대학생이 임상현장에서 능동적으로 간호업무를 수행하는데 어려움이 있을 것이다(Cho, 2016). 따라서 다양한 사례와 응급상황을 접하게 되는 실습교육에서 간호대학생이 자기주도성을 가지고 실습을 수행한다면 임상수행능력이 향상될 것이다(Park & Han, 2015). 자기주도적 능동학습방법으로는 문제중심학습(problem-based learning: PBL), 팀 기반학습(team-based learning: TBL), 액션러닝(action learning), 플립드 러닝(flipped learning) 등이 알려져 있다(Choi & Park, 2014; Choi et al., 2015; Kim & Park, 2016; Son & Song, 2012).
이 중 플립드 러닝은 전통적인 학습방법에서 탈피하여 수업에서 배우게 될 주요 내용을 수업 전에 온라인으로 미리 학습하도록 하고, 이로 인해 확보된 수업시간에 교수자-학생 또는 학생-학생 간의 질의응답, 토론, 실습을 통해 심화학습을 하도록 하여 학생들의 자기주도학습 능력과 협업 능력을 향상시키는 학습방법이다(Choi et al., 2015). 간호교육에서도 교수자 중심의 교육에서 교수자-학습자의 상호작용과 학습자의 자기주도성을 향상시킬 수 있는 교육방법으로의 전환이 필요하다. 외국에서는 간호학(Della Ratta, 2015; Missildine et al., 2013), 의학(Young et al., 2014), 기초통계학 수업(Strayer, 2012), 대학생 대상의 기초엑셀 강좌(Davies, Dean & Ball, 2013) 등에서 플립드 러닝에 대한 연구가 시도되었다. 이러한 선행연구들은 주로 학습자의 성취도와 만족도, 태도의 변화 등을 종속변수로 확인하였으며, 미국의 간호대학생에게 팀 기반학습을 접목하여 플립드 러닝을 적용한 Della Ratta(2015)의 연구에서는 학생들의 팀워크가 좋아지고 성적은 향상되었으나 수업에 대한 만족도는 낮은 것으로 나타났다. 또한 Missildine et al.(2013)의 연구에서 강의식 수업을 제공한 그룹, 강의식 수업에 강의를 캡쳐한 영상을 제공한 그룹과 플립드 러닝을 적용한 그룹을 비교했을 때, 시험성적은 플립드 러닝을 적용한 그룹이 다른 두 그룹보다 더 높았으나 수업 만족도는 세 그룹 중에서 가장 낮은 것으로 보고하였다.
기존의 국내들은 주로 초등학생이나 중학생을 대상으로 수학과 사회 수업에 플립드 러닝을 적용하여 학업성취도와 학업동기를 연구하였고(Jeong, 2014; Lee, Kang & Kim, 2015), 대학에서는 전공교과목(Kim, Chun & Choi, 2014; Lee & Hwang, 2016)과 교양교과목(Kim & Kim, 2014)에 플립드 러닝을 적용한 연구들이 시도되었다. 특히 국내 의약학계이나 간호학에서는 플립드 러닝을 적용한 연구를 찾아보기 힘든 상황이며, 최근 간호대학생을 대상으로 간호학 이론 교과목 중 여성건강간호학에 플립드 러닝을 적용한 Lee & Hwang(2016)의 연구에서 학습동기와 만족도가 향상된 것으로 나타났다. 따라서 이론과 실습교육을 제공하는 간호교육에서 학습성과를 높이기 위해서는 플립드 러닝과 같은 학습자 중심의 학습방법을 적용하는 연구가 이론 교과목과 실습 교과목에서 지속적으로 이루어져야 할 것이다.
선행연구의 임상수행능력평가에서는 수업 시간에 간호술기 동영상을 보도록 하였기 때문에(Park, Choi & Jang, 2015) 수업 시간이 효율적으로 운영되기 어렵고 학생들의 자기주도학습을 이끌어내기 어려운 점이 있었다. 따라서 간호교육계도 자기주도적 간호실습교육을 수행하기 위해 플립드 러닝을 적용한 학습자 중심의 다양한 임상수행능력평가 모형을 개발하고 적용할 필요가 있다(Kan, Shin & Kwon, 2016).
이에 본 연구에서는 임상실습 전에 실시하는 교내 실습교육인 임상수행능력평가에 플립드 러닝을 적용한 프로그램을 개발하여 전문가 타당도와 예비평가를 실시하고자 한다. 이를 통하여 향후 학습자 중심의 자기주도학습을 통해서 효과적이고 체계적인 간호학 실습교육 방안 모색에 기여할 수 있을 것으로 생각한다.
2. 연구목적
본 연구는 플립드 러닝을 적용한 임상수행능력평가를 개발하고, 학습성과와 비판적 사고능력 중심으로 예비평가를 시행하는데 그 목적이 있다. 구체적인 목적은 다음과 같다.
첫째, 플립드 러닝을 적용한 임상수행능력평가를 개발하고 전문가 내용타당도를 검증한다.
둘째, 플립드 러닝을 적용한 임상수행능력평가를 적용하여 학습성과 성취도와 비판적 사고능력에 영향을 미치는지 예비평가를 실시한다.
3. 용어정의
수업 전에 동영상으로 학습자료를 제공하여 학생들이 미리 자기주도적 학습을 하도록 하고, 수업시간에는 교수자-학생 또는 학생-학생 간 상호작용 혹은 적용 실습 등을 통해 심화학습하도록 하여(Choi et al., 2015) 임상상황에서 지식, 판단, 태도 및 기술을 유능하게 발휘하는 능력을 평가하는 것이다(Barrett & Myrick, 1998). 본 연구에서는 사전학습으로 핵심기본간호술 동영상과 멘탈트레이닝 동영상을 시청한 후, 임상상황 시나리오를 이용한 간호과정 자율학습을 하도록 하였다. 실제 수업에서는 사전학습한 내용을 바탕으로 간호술기 자율실습을 하면서 동료평가를 하도록 하였다. 다음으로 핵심기본간호술 실기시험, 선행지식 구두시험, 간호상황 응대 구두시험, 실제 임상상황 문제 중심으로 구성된 시나리오를 이용한 간호과정을 적용하는 필기시험과 디브리핑을 포함하는 실습 능력평가를 의미한다.
간호학 학습성과는 간호교육 프로그램을 이수하는 과정에서 학생이 갖추어야 할 능력과 자질을 의미하며(Korean accreditation board of nursing education, 2014), 본 연구에서는 한국간호교육평가원에서 제시한 12개의 간호학 학습성과를 근거로 하여 Bae & Park(2013)이 개발한 간호학 학습성과 측정도구 64항목을 사용하였다. 본 연구에서는 간호학 학습성과 64항목을 자신이 어느 정도 이루었는지에 대해 ‘매우 낮다’, ‘낮다’, ‘보통’, ‘높다’, ‘매우 높다’의 5점 척도로 측정한 총점을 의미한다.
주어진 상황에서 정보를 적용, 분석, 종합, 추론하며, 의사결정 시 효과적으로 판단할 수 있고 자기 의견을 논리적으로 제시할 수 있는 능력을 의미한다(Kwon et al., 2006). 본 연구에서는 Park, Choi & Jang(2015)이 수정·보완한 비판적 사고능력 측정도구로 측정한 점수를 의미한다.
Ⅱ. 연구 방법
1. 연구설계
본 연구는 플립드 러닝을 적용한 임상수행능력평가 프로그램을 개발하고 간호대학생에게 예비평가로 적용한 단일군 사전-사후설계이다.
2. 연구대상 및 윤리적 고려
본 연구의 대상은 D시 A대학교 간호학과 4학년 재학생 146명 중에서 연구동의서에 서면 동의한 130명을 연구대상자로 편의표집 하였다. 자료수집 전에 서면으로 연구대상자에게 연구의 목적과 방법에 대해 설명하였다. 또한 대상자의 권리를 보호하기 위해서 수집한 자료는 연구목적으로만 사용하며, 무기명 처리하여 대상자의 비밀이 보장되고 설문지의 응답은 임상수행능력평가 성적과는 무관하며, 본인이 응답하기를 원하지 않는 경우 참여하지 않아도 된다는 사실을 대상자에게 설명하였다. 특히 연구대상자가 간호대학생으로 피교육생에 해당하기 때문에 사전과 사후 조사에서 연구 보조원이 설문지를 배부하고, 연구대상자가 작성한 설문지를 자율적으로 제출할 수 있도록 강의실에 수거함을 배치하였다.
G-Power program 3.1.5를 이용하여 단일군 전후비교를 위한 t-test의 유의수준 .05, 검정력 .80, 효과크기 .30으로 산출한 결과 최소 표본크기는 90명이었으며, 탈락율 30%를 계산하여 필요한 대상자 수가 117명이었으므로 표본수는 적절하였다. 실제 본 프로그램은 실습 교과목의 일부로 A대학교 간호학과 4학년 재학생 전체가 이수해야 하는 과정이기 때문에 연구 참여에 동의한 130명의 응답자 중 10.0% 이상 응답을 누락한 12명을 제외하였고, 프로그램을 진행하는 과정에서 탈락자가 없어서 최종 118명을 연구대상자로 하였다.
3. 연구도구
한국간호교육평가원에서 제시한 12개의 간호학 학습성과를 기본틀로 하여 Bae & Park(2013)이 개발한 도구를 사용하였다. 학습성과1 5문항, 학습성과2 21문항, 학습성과3 4문항, 학습성과4 4문항, 학습성과5 4문항, 학습성과6 8문항, 학습성과7 2문항, 학습성과8 2문항, 학습성과9 1문항, 학습성과10 5문항, 학습성과11 4문항, 학습성과12 4문항, 총 64문항으로 구성되어 있다. 총 64항목에 대해 자신이 어느 정도 이루었는지를 ‘매우 낮다’에서 ‘매우 높다’까지 5점 척도로 측정한 점수를 의미하며 점수가 높을수록 성취도가 높은 것을 의미한다. Bae & Park(2013)의 연구에서 도구의 신뢰도 Cronbach's α=.92이었고, 본 연구에서는 사전 설문지 신뢰도 Cronbach's α=.98, 사후 설문지 신뢰도 Cronbach's α=.98이었다.
Kim(2012)이 개발한 간호핵심역량 평가도구 74문항 중 비판적 사고능력 영역 4문항과 관련 문헌고찰을 통하여 Park, Choi & Jang(2015)이 수정·보완한 도구를 사용하였다. 간호문제 파악, 자료 분류, 간호진단, 관련요인 찾기, 추가자료 확인, 우선순위 결정, 문제해결 계획, 기대되는 결과 확인, 평가, 재계획 등 총 12문항으로 구성된 4점 Likert척도이다. 각 문항은 ‘못 한다’ 1점에서 ‘매우 잘 한다’ 4점으로 점수화하여 최하 1점에서 최고 4점까지이며 점수가 높을수록 비판적 사고능력이 높음을 의미한다. Park, Choi & Jang(2015)의 연구에서 신뢰도 Cronbach α=.86이었고, 본 연구에서는 신뢰도 Cronbach α=.92이었다.
4. 자료수집방법
플립드 러닝을 적용한 임상수행능력평가에 사용할 모듈을 2014년 4월부터 6월 사이에 개발하였으며, 실험처치와 자료수집은 6월 30일부터 7월 25일 사이에 실시하였다. 오리엔테이션을 실시하면서 본 연구의 목적, 자료수집방법을 설명하고 참여자가 자필로 참여동의서를 작성하도록 하였다.
플립드 러닝을 적용한 임상수행능력평가 프로그램은 오리엔테이션 단계, 수업 전 단계, 수업시간으로 진행하였다. 오리엔테이션 단계에서는 핵심기본간호술 동영상 시청방법, 멘탈 트레이닝 방법, 핵심기본간호술 자율실습 시 자가 및 동료평가 방법, 고난도 핵심 기본간호술 실습 일정, 핵심기본간호술 수행평가 방법과 디브리핑 등에 대해 약 1시간 동안 정보를 제공하였다. 수업시간 단계 1주일 전에 온라인강좌를 개설하여 학생들이 자기주도적으로 학습할 수 있는 기회를 제공하였다. 또한 오리엔테이션을 실시하고 1주일 후에 수업시간 단계에서는 1-4일 동안 4인 1조로 구성되어 1명의 학생이 2시간 30분 동안 9개의 고난도 핵심 기본 간호술을 실습하고, 동료평가와 디브리핑을 실시하였다. 5-6일차에는 학생 1인이 모듈 20개 중에서 10개를 무작위로 뽑도록 하여 임상수행능력평가 시험을 약 2시간 30분 동안 실시하였고, 매 모듈마다 5분씩 약 50분 동안 디브리핑을 실시한 후 사후조사를 진행하였다.
사전조사로 대상자 일반적 특성, 간호학 학습성과 성취도와 비판적 사고능력에 대한 자가보고식 설문지를 배부하였으며, 대상자가 수거함에 설문지를 자율적으로 넣도록 하였다. 사후조사는 플립드 러닝을 적용한 임상수행능력평가를 마치고 통합 디브리핑이 끝난 후 강의실에서 대상자에게 사후 간호학 학습성과와 비판적 사고능력에 대한 자가보고식 설문지를 배부하여 작성한 다음 사전조사와 동일한 방법으로 수거함에 자율적으로 넣도록 하였다.
5. 연구진행절차
기존에 실시하던 4학년 통합간호 임상실습 전 임상수행능력평가는 20개 핵심기본간호술과 해당 술기를 포함하는 20개 임상상황 시나리오를 모두 다루어야 하였으므로, 교실에서 20개 핵심기본간호술 동영상을 시청하는 시간이 길어서 학생들이 집중하지 못하는 경우가 발생하였으며, 실습실에서 20개의 핵심기본간호술을 모두 시범보이고 20개의 임상상황 CPX 필기시험을 치는데 시간이 너무 많이 소요되는 문제가 발생하였다.
이에 대학의 임상간호교육위원회에서는 임상수행능력평가에 플립드 러닝을 적용하여 기존 교실내 수업 내용의 일부를 수업 전 온라인강좌와 자기주도적 학습으로 대체하고, 교실과 실습실에서 행하는 임상수행능력평가는 설문조사에서 학생들이 시범이 필요하다고 응답한 9개 핵심기본간호술에 대해 시범을 보이고, 자율실습 시 동료평가
평가 등을 실시함으로써 보다 효율적인 개선안을 마련하였다. 개선된 플립드 러닝을 적용한 임상수행능력평가는 수업 전 온라인강좌를 개설하여 20개 핵심기본간호술과 멘탈트레이닝 동영상을 탑재하고, 20개 임상상황 시나리오를 제공하여 자기주도적으로 사전학습을 하도록 하였다. 수업시간에는 학생들에게 시범이 필요한 간호술이 무엇인지 확인하는 설문조사를 거쳐 선정된 9개 핵심기본간호술 시범을 보이고, 자율실습과 동료평가를 실시하였으며, 다음으로 핵심기본간호술 OSCE와 새로 개발된 임상상황 CPX 평가를 실시한 후 디브리핑을 하도록 하였다. 평가 배점기준은 동영상 수강 기록지 4%, 멘탈트레이닝을 통한 자율실습 기록지 4%, 동료평가 4%, 핵심기본간호술 OSCE(지식, 태도, 의사소통, 시간 포함) 70%, 임상상황 간호과정 평가 18%로 하였으며, 각 영역별로 구체적인 채점기준을 제시하였다. 핵심기본간호술 실기시험 평가도구는 한국간호교육평가원에서 제시한 내용을 따랐으며, 디브리핑은 서술, 분석, 적용에 각 2-4개의 질문으로 구성하였다.
기존 전통적인 임상수행능력평가와 플립드 러닝을 적용한 임상수행능력평가의 수업 전과 수업시간 내 학습 내용의 비교는 [Fig. 1]과 같다. 즉 전통적 방법에서 수업시간 내에 이루어지던 핵심기본간호술 동영상 시청, 임상상황 시나리오 팀 토론, 핵심기본간호술 시범과 자율실습, 핵심기본간호술 OSCE를 포함한 CPX 평가와 디브리핑 중에서 전반부에 이루어지던 핵심기본간호술 동영상 시청과 임상상황 시나리오 학습을 수업 전 온라인강좌로 이동하여 미리 자기주도적 학습을 하고 수업에 들어오도록 개선하였다. 핵심기본간호술 동영상 시청과 임상상황 시나리오 학습을 수업시간 내에서 수업 전 온라인강좌로 이동한 것 이외에도, 멘탈트레이닝 실시, 시범실습 술기를 20개에서 9개 고난도 술기로 축소, 자율실습 시 동료평가 적용, CPX 시험에서 자율학습한 20개 임상상황이 아닌 새로운 임상상황 문제 출제 등의 개선이 이루어졌다.
이렇게 마련된 플립드 러닝을 적용한 임상수행능력평가 프로그램 초안을 교육경력 10년 이상인 간호학 교수 7명에게 전문가 내용타당도(content validity index: CVI)를 받은 결과, 전체 항목의 CVI는 3.74점이었다. 이 중 낮은 항목은 ‘수업시간 내에 20개 핵심기본간호술 중 학생 설문조사를 거쳐 9개 고난도 핵심기본간호술을 선정하여 시범을 보인다’로 CVI는 3.14점이었다. 그러나 전체 항목이 CVI 3 이상으로 그대로 사용하기로 하였다.
ㆍ평가자 훈련
평가자는 임상경력 2년 이상, 석사학위 이상인 임상실습 담당교수 10인과 임상경력 2년 이상의 실습조교 8명으로 선정하였다. 평가자들 간의 평가 일치도를 높이기 위하여 모듈 개발교수가 평가 전에 1시간 동안 평가방법과 평가기준 및 주의사항에 대해서 모듈 평가자들에게 교육하였다.
ㆍ표준화환자 훈련
표준화환자로 지원한 대학생 4명을 대상으로 수술전간호, 수술후간호, 산소포화도/심전도모니터 및 비강캐뉼라 산소요법 모듈 개발 교수가 모듈별 간호상황 내용과 응대법에 대한 자료를 제공하고 실제 환자처럼 연기하도록 2시간 정도 교육을 실시하였다.
ㆍ플립드 러닝을 적용한 임상수행능력평가 진행 절차
수강생 전체를 대상으로 오리엔테이션을 실시한 후, 수업 전 과정으로 온라인강좌를 1주간 개설하여 20개 핵심기본간호술과 멘탈트레이닝 동영상을 탑재하여 자기주도적으로 시청하고, 핵심기본간호술 동영상 시청 기록지와 멘탈트레이닝 기록지를 작성하여 과제란에 업로드하도록 하였다. 핵심기본간호술을 머릿속에 그리면서 손을 움직여서 해보는 멘탈트레이닝 실습을 2회 이상 실시하고 소감을 작성하도록 하였다. 또한 온라인 학습자료실에 과거력과 현재 상태가 포함된 간호상황 시나리오와 카덱스, 검사결과지 등 참고자료를 포함한 20개 임상상황 시나리오를 탑재하였다. 학생들에게 제시된 모든 자료를 보고 비판적 사고를 거쳐 주관적·객관적 자료 분류, 관련요인 파악, 더 필요한 사정, 실제적·잠재적 간호진단, 기대하는 결과, 간호계획 및 평가계획을 세우도록 하여 자기주도적으로 문제해결능력을 향상시키도록 하였다.
수업시간 1일-4일차에는 매일 5개씩 핵심기본간호술 스테이션을 개설하여 그 중 고난도 술기 2-3개를 시범보인 후에 학생들이 자율실습과 동료평가를 하도록 하였다. 학생들은 4인 1조로 구성되어 1명의 학생이 핵심기본간호술을 수행하면 나머지 3명의 학생들이 교수자가 사용하는 평가지와 동일한 평가지를 이용하여 동료평가를 실시하고 디브리핑을 하였다. 항상 교수자가 대기하고 있어서 궁금한 점이나 어려운 점을 질문하도록 하였으며, 학생 1인당 자율실습과 동료평가에 걸린 시간은 800분 이상이었다.
수업시간 5-6일차에는 매일 10개씩 핵심기본간호술 스테이션을 개설하여 학생 1인당 모듈 20개 중에서 10개를 무작위로 뽑도록 하여 임상수행능력평가 시험을 실시하였다. 학생은 임상상황 시나리오에서 필요한 핵심기본간호술을 실습모형이나 표준화환자에게 수행하고 평가자는 실기시험을 채점하였으며, 이때 관련 선행지식과 간호상황 응대 구두시험도 동시에 실시하였다. 4개의 스테이션에서는 표준화환자가 훈련받은 대로 환자 역할을 하고 나머지 스테이션에서는 필요 시 평가자가 환자 역할을 하면서 학생이 적절하게 응대하는지를 평가하였다. 매 스테이션이 끝나면 5분 정도 개인별 디브리핑을 실시하였다. 실기와 구두시험이 다 끝난 후, 새로운 임상상황 시나리오를 받아서 비판적 사고를 거쳐 간호과정을 적용하는 필기시험을 30분간 실시하고, 마지막으로 전체 과정에 대한 통합 디브리핑을 1시간 정도 실시하였다.
6. 자료분석방법
수집된 자료는 SPSS WIN 18.0 프로그램을 이용하여 분석하였다. 대상자의 특성은 실수와 백분율을 이용하여 분석하였다. 사전 종속변수에 대한 정규성 검증을 실시하고 사전-사후 종속변수의 변화는 independent t-test를 실시하였다. 도구의 신뢰도 검증을 위해서 Cronbach's α를 분석하였으며, 개발된 플립드 러닝 임상수행능력평가 내용의 전문가 타당도는 CVI를 계산하였다.
Ⅲ. 연구 결과
1. 대상자의 일반적 특성
대상자의 일반적 특성을 살펴보면, 연령은 평균 22.0세였고, 성별은 여학생이 110명 (93.2%)을 차지하였다. 종교는 무교가 75명 (63.6%)으로 많았고, 결혼 상태는 미혼이 115명 (97.5%)으로 많았으며, 학과선택 동기는 주변의 권유 및 성적 등과 같은 외적 요인이 43명 (36.4%), 간호사에 대한 호감과 같은 내적 요인이 40명 (33.9%), 취업을 고려해서가 35명 (29.7%)으로 나타났다. 직전학기 학업성적은 평점 3.5 이상이 64명 (54.2%), 평점 3.5점 이하는 54명 (45.8%)으로 나타났다. 전공만족도는 평균 6.53점 (10점 만점)으로 나타났다(<Table 1> 참조).
2. 간호학 학습성과 성취도와 비판적 사고능력의 변화
임상수행능력평가 전과 후의 간호학 학습성과 성취도를 분석한 결과, 임상수행능력평가 전 간호학 학습성과 성취도는 3.67점에서 임상수행능력평가 후에 3.90점으로 0.23점 증가하여 유의하게 향상되었다(t=4.16, p<.001). 간435호학 학습성과 하위항목별 성취도를 살펴보면, 12개 하위항목 중에서 핵심기본간호술 수행, 보건의료인 협동, 비판적 사고, 간호 전문직 표준 이해, 법적∙윤리적 기준 이해, 간호리더십의 원리 비교 분석, 간호팀 내 리더십 발휘, 간호연구 수행능력, 보건의료정책 변화 인지 등 9개 하위항목의 성취도는 임상수행능력평가 전에 비해 후에 유의하게 향상되었다. 하지만 통합적 실무적용, 치료적 의사소통술, 보건의료팀 내 업무조정 항목의 3개 항목은 전∙후에 유의한 변화가 없었다. 임상수행능력평가 전과 후의 비판적 사고능력 변화는 임상수행능력평가 전 2.83점(4점 만점)에서 후에 3.00점으로 0.17점 증가하여 유의하게 향상되었다(t=3.12, p=.002, <Table 2> 참조).
Ⅳ. 논 의
본 연구에서는 플립드 러닝을 적용한 임상수행능력평가를 개발하여 간호학 학습성과 성취도와 비판적 사고능력을 중심으로 예비평가를 실시함으로써 간호실습교육에서 플립드 러닝의 적용 가능성을 탐색하기 위해 시도되었다.
본 연구에서 개발한 플립드 러닝을 적용한 임상수행능력평가는 기존의 전통적 임상수행능력평가에서 수업시간 내에 이루어지던 핵심기본간호술 동영상 시청과 임상상황 시나리오 학습을 수업 전 온라인강좌로 개설하여 미리 자기주도적 학습을 하고 수업에 들어오도록 하였다. 학생들에게 온라인강좌를 통해 자신의 학습 속도에 맞추어 반복적으로 동영상을 시청하고, 임상상황 시나리오를 보면서 참고자료를 활용하여 자기주도적으로 비판적 사고를 연습해보는 기회를 제공하여 학습의 효율을 향상시킬 수 있다(Choi et al., 2015).
기존의 임상실습 전 전통적 임상수행능력평가를 개선하기 위하여 플립드 러닝을 적용한 것 이외에 멘탈트레이닝 실시, 시범실습 술기 축소, 자율실습 시 동료평가 적용, 새로운 임상상황 CPX 문제 출제 등의 개선이 이루어졌다. 멘탈트레이닝은 주로 스포츠 선수들이 자기의 연습하는 모습을 머릿속에 그리면서 동작을 익히고, 실제로 시합하는 모습을 떠올리면서 그 상황을 극복하는 훈련을 하는 것인데(Kim & Kim, 1998), 의학에서는 외과의들이 수술방법을 머릿속에 그리면서 손으로 연습해보는 사례가 있으며(Immenroth et al., 2007), 간호학실습에서도 가정에서 간호술기 동영상을 보고난 후 동작을 머릿속에 떠올리면서 손으로 연습하는데 활용할 수 있다. 이러한 멘탈트레이닝은 학습자의 자신감은 증가시키고, 인지불안이나 신체불안은 감소시키므로(Kim & Kim, 1998), 핵심기본간호술 실습에 적용하게 되면 시간과 공간의 제약 없이 반복적인 멘탈트레이닝을 통해서 간호대학생의 자신감을 향상시키고 실습 관련 불안을 감소시킬 수 있을 것이다. 또한 매번 실습 시마다 의료용품을 사용하지 않아도 되기 때문에 경제적인 측면에서 도움이 될 수 있다.
시범은 학생들의 설문조사를 거쳐 선정된 고난도 술기 9개만 시범을 보이는 것으로 개선하였다. 이를 통해 학생들의 학습에 대한 집중력을 높일 수 있었고, 저난도 술기를 시범 보이는데 소요되는 시간을 절약할 수 있었다. 또한 기존 평가에서는 자율학습한 임상상황을 이용하여 간호과정 CPX 시험을 보았는데, 새로운 임상상황 시나리오를 개발하여 최종적으로 비판적 사고 필기시험을 실시하는 것으로 개선하였다. 학생들이 임상상황에 따른 간호과정 적용을 암기하여 시험 칠 우려를 없애고, 다양한 임상상황에서 문제를 체계적으로 분석하고 논리적인 방식으로 해결할 수 있는 비판적 사고능력을 평가할 수 있는 방법(Kim et al., 2011)을 제시하였다는 점에서 의의가 있다.
기존 개방실습과정에서 1명의 학생이 실습하는 동안 다른 학생들은 건성으로 시간을 때우는 경향이 있어서 이를 1명의 학생이 실습을 할 때 나머지 3명의 학생이 교수자가 사용하는 것과 동일한 평가도구를 이용하여 동료평가를 하는 것으로 개선하였다. 동료평가를 통하여 학생들은 어떤 부분이 틀리기 쉬운지를 확인하고, 다른 학생의 실습 내용을 평가하면서 더 배울 수 있도록 하였다. 동료평가는 동료학습자들이 서로를 평가하면서 학습방법으로(Harris, 2011), 학생들이 가지고 있는 지식을 바탕으로 동료 학습자의 학습내용을 평가함으로써 본인 스스로를 재점검하고, 반복학습의 효과를 가진다(Song & Lim, 2016). 특히 동료평가에서는 교수자에게 피드백을 받을 때 수동적으로 받아들이는 것과는 다르게 상호평가와 피드백을 하는 과정에서 비판적으로 자신을 재평가하여 자신의 문제를 개선하고자 행동을 수정함으로써 자기주도적으로 학습증진을 증진시킬 수 있다(Kaufman & Schunn, 2011; Liu & Carless, 2006; Wahawisan et al., 2016). 동료평가를 위해서는 객관적으로 동료를 평가할 수 있도록 구체적인 평가항목 및 프로토콜을 마련하여야 할 것이다. 추후 학습자의 핵심기본간호술 역량을 평가할 때 교수평가 외에 동료평가나 자가평가 등 다양한 평가방법을 시행하여 평가자에 따른 평가 결과의 차이가 있는지 검증하는 연구가 필요하다고 본다.
본 연구의 진행은 프로그램 설계 과정에서 학생들의 의견을 수렴하여 핵심기본간호술과 관련된 동영상 강좌의 분량을 결정함으로써 기존에 간호학의 이론 교과목에 플립드 적용 개발한 Lee & Hwang(2016)와 다르게 학생들이 학습량에 대해 부담을 줄이고 학습에 집중할 수 있도록 하였다. 또한 온라인 강좌로 핵심기본간호술 동영상을 시청하거나 멘탈트레이닝을 실시한 후에 기록지를 작성하여 자신이 학습한 내용을 충분히 숙지할 할 수 있는 기회를 제공하였다. 이를 통해 간호대학생의 간호학 학습성과 성취도 총점이 유의하게 향상되었다. 세부적으로 보면, 12개 학습성과 중 핵심기본간호술 적용, 비판적 사고에 기반한 간호과정 적용, 간호 전문직 표준 이해, 간호실무에 윤리적 법적 표준 제공, 간호리더십의 원리 비교분석, 리더십 역량, 간호연구 수행, 국내외 보건정책 인식 등 9개 학습성과가 향상된 것으로 나타났다. 이는 사례기반 시뮬레이션을 적용한 후 핵심기본간호술 적용과 비판적 사고에 근거한 간호과정 적용이 유의하게 향상되었다는 Oh & Jeon(2014)의 연구결과, 시뮬레이션 교육 후 실험군에서 지식과 비판적 사고력이 향상된 것으로 나타난 Cho(2016)의 연구결과, 정맥주사간호를 위한 사례중심 임상수행능력평가를 실시한 후 문제해결능력, 간호술기 수행능력이 향상되었다고 보고한 Kim & Park(2011)의 연구결과, 4개의 응급상황관리 시나리오를 이용하여 시뮬레이션 프로그램을 적용한 한 실험군에서 문제해결능력과 비판적 사고는 유의하게 향상되었다고 보고한 Hur et al.(2013)의 연구결과와 유사하였다. 본 연구에서는 학생들이 스스로 학습의 속도와 양을 조절하고 동료평가를 수행하는 자기주도적 학습기회를 체계적으로 제공하였기 때문에 학습성과 성취도가 향상된 것으로 생각된다.
그러나 간호학 학습성과 하위항목 중에서 교양지식과 전공지식의 통합적 실무 적용, 치료적 의사소통술, 보건의료팀 내 업무조정 항목은 플립드 러닝 임상수행능력평가 후에 성취도에 유의한 변화가 없는 것으로 나타났다. ‘다양한 교양지식과 전공지식에 근거한 간호술의 통합적 적용’이라는 학습성과는 간호대학생들의 인식수준이 가장 낮은 간호학 학습성과이고(Bae & Park, 2013), 매우 광범위하고 추상적인 의미를 가지고 있으므로 임상수행능력평가 후에도 바로 눈에 띄는 변화를 가져오기는 어려울 것으로 보인다. 또한 치료적 의사소통술 학습성과가 임상수행능력평가 후에 향상되지 않은 것으로 나타났다. 이는 시뮬레이션교육 프로그램을 적용한 Park, Park & Park(2015)의 연구나 액션러닝을 적용한 Kim & Park(2016)의 연구에서 실험군의 의사소통능력이 대조군보다 향상된 것과는 차이가 있었다. 이러한 결과는 본 연구에서 연습이나 동료평가 시에는 표준화 환자를 활용하지 않고 실제 임상수행능력평가에 표준화 환자를 투입하여 일부 학생들이 익숙하지 않아서 당황하였기 때문인 것으로 보인다. 따라서 시뮬레이션이나 표준화 환자를 활용한 교내 실습교육을 확대하여 간호대학생의 현실충격을 줄이며(Kim & Park, 2011), 임상상황을 실제적으로 이해하고 대상자에게 도움이 되는 의사소통 능력을 갖추도록 할 필요가 있다(Park, Choi & Jang, 2015). 또한 Kim(2015)의 연구에서 간호대상학생의 임상적응능력은 자신이 수행한 간호행위에 대한 긍정적 피드백 여부에 따라 영향을 받는다고 하였으므로 학생들의 실무역량을 강화하기 위해서는 대인관계와 의사소통 능력을 향상을 향상시킬 수 있는 임상기반의 다양한 CPX 모듈을 개발해야 할 것이다.
간호대학생은‘보건의료팀 내 업무조정’을 성취도와 중요도가 높은 학습성과로 인식하고 있는데(Bae & Park, 2013), 본 연구에서는 임상수행능력 평가 후에‘업무조정’학습성과 성취도는 유의한 변화가 없는 것으로 나타났다. 이는 본 연구에서 제공한 임상상황 시나리오에 보건의료팀 내 업무조정 관련 상황이 포함되지 않았기 때문인 것으로 보인다. 앞으로 보건의료팀 내 업무조정 및 문제해결 과정을 반영한 시나리오를 개발하여 간호학생들이 임상현장에서 업무조정능력을 향상시킬 수 있도록 해야 할 것이다.
간호대학생의 비판적 사고능력 점수는 플립드 러닝 임상수행능력평가 후에 4점 만점에 3.00점으로 전 2.83점보다 0.17점 증가하여 유의하게 향상되었다. 이는 임상수행능력평가를 실시한 연구(Park, Choi & Jang, 2015), 시뮬레이션 교육을 적용한 연구(Hur et al., 2013), 팀 기반학습을 적용한 Choi & Park(2014)의 연구, 액션러닝을 적용한 Kim & Park(2016)의 연구에서 비판적 사고능력이 향상된 연구결과와 유사하였다. 하지만 2학년 간호대학생을 대상으로 만성폐쇄성 폐질환 환자 시나리오 1개를 적용한 후 비판적 사고능력에 유의한 차이가 없는 것으로 나타난 Yang(2008)의 연구와는 다른 결과를 나타내었다. Yang(2008)의 연구에서는 시나리오를 1개만 적용하였으므로 비판적 사고능력 향상에 도움 정도가 적었을 것으로 보인다. 본 연구에서는 수업 전 자기주도학습에서 카덱스, 의사처방, 검사결과지, 영상의학 결과지 등 참고자료를 첨부한 20개의 임상상황 시나리오를 제시하여 학생들이 간호과정을 체계적으로 적용하는 자율학습을 하도록 하였다. 이 과정을 통해 문제 상황을 반복적으로 경험하고 간호지식과 임상수행능력을 통합할 수 있는 기회를 제공하였으므로 비판적 사고능력이 향상되었을 것으로 생각한다.
본 연구와 동일한 비판적 사고능력 측정도구를 사용한 Park, Choi & Jang(2015)의 연구에서 3학년 학생들의 비판적 사고능력은 임상수행능력평가 실시 전 2.34점에서 실시 후 2.53점으로 유의하게 증가하였는데, 본 연구에서는 Park, Choi & Jang(2015)의 연구에서 3학년이던 학생들이 1년 후 4학년이 되어서 측정한 결과, 플립드 러닝 임상수행능력평가에 들어가기 전에 이미 비판적 사고능력이 2.83점으로 3학년 때보다 향상된 것을 볼 수 있다. 이는 사례연구, 문제중심학습(problem-based learning), 임상수행능력평가 등을 통하여 간호대학생의 비판적 사고능력이 학년이 올라가면서 향상됨을 의미한다.
본 연구는 수업 만족도나 학업 성적, 태도를 종속변수로 측정한 기존 연구들(Della Ratta, 2015; Lee & Hwang, 2016; Missildine, Fountain, Summers & Gosselin, 2013)과 다르게 실습 교과목에 플립드 러닝을 적용하여 간호대학생이 졸업시점까지 달성해야 하는 학습성과와 비판적 사고능력을 측정함으로 일정수준 이상의 성취수준을 유지하는데 도움이 될 것이다. 또한 간호학 실습 교과목에 자기주도적 능동학습방법으로서 플립드 러닝을 적용하고 그 가능성을 확인한 것에 연구의 의의가 있다.
본 연구의 제한점으로는 외생변수를 조절하지 못한 단일군 사전 사후 설계라는 점에서 연구결과를 일반화하는데 어려움이 있다. 또한 종속변수에 자기주도성이나 자기효능감을 포함하는 반복 연구가 필요하다고 본다.
Ⅴ. 결론 및 제언
본 연구는 플립드 러닝을 적용한 임상수행능력평가를 개발하고, 간호대학생의 학습성과 성취도와 비판적 사고능력에 영향을 미치는지 예비평가를 실시하기 위한 단일군 전후설계의 유사실험연구이다. 플립드 러닝을 적용한 임상수행능력평가는 수업 전 온라인강좌를 개설하여 자기주도적으로 사전학습하도록 하고, 수업시간에는 자율실습과 동료평가, 핵심기본간호술 OSCE와 CPX 평가를 실시하도록 하였다. 그 결과 플립드 러닝을 적용한 임상수행능력평가 실시 후 간호학 학습성과와 비판적 사고능력이 통계적으로 유의하게 향상되었다. 본 연구의 간호학적 의의는 간호실습교육에 플립드 러닝을 적용하여 임상수행능력평가 프로그램을 개발하고 전문가 검증과 학생들에게 예비평가를 실시함으로써 플립드 러닝 기반의 실습교육을 활성화하는데 기초자료를 제시하였다는 것이다. 이를 통하여 향후 학습자 중심의 자기주도학습을 통해서 효과적이고 체계적인 간호학 실습교육 방안 모색에 기여할 수 있을 것으로 생각한다.
이상의 연구결과를 토대로 플립드 러닝을 적용한 임상수행능력평가를 효율적인 교내 임상실습 방안으로 제시하는 바이다. 본 연구는 단일군 사전 사후 설계로 일반화하는데 제한점이 있으므로 향후 연구대상자를 확대하여 대조군을 둔 전후설계로 하여 후속연구가 이루어져야 할 것이다. 또한 임상현장의 상황을 바탕으로 플립드 러닝을 적용한 다양한 임상수행능력평가 모형을 개발하고, 임상수행능력평가를 위한 표준평가 지침을 마련하며 표준화 환자 훈련에 대한 지속적인 방안모색이 필요할 것으로 생각한다.
References
- Bae, Su-Hyun, & Park, Jeong-Sook, (2013), The recognition of achievement and importance of nursing program outcome among nursing students, Journal of Korean Academic Society Nursing Education, 19(1), p203-214. [https://doi.org/10.5977/jkasne.2013.19.2.203]
- Barrett, C., & Myrick, F., (1998), Job satisfaction in preceptorship and its effect on the clinical performance of the preceptee, Journal of Advanced Nursing, 27(2), p364-371. [https://doi.org/10.1046/j.1365-2648.1998.00511.x]
- Cho, Gyoo-Yeong, (2016), Effects of a Simulationbased education on Cardiopulmonary Emergency Care Knowledge, Critical Thinking and Problem solving ability in Nursing Students, Journal of Fishries and Marine Sciences Education, 28(2), p439-449. [https://doi.org/10.13000/jfmse.2016.28.2.439]
- Choi, Hee-Seung, Kim, Jeong-Eun, Bang, Kyung-Sook, Park, Yeon-Hwan, Lee, Nam-Ju, & Kim, Chan-Hee, (2015), Applying the flipped learning model to an english-medium nursing course, Journal of Korean Academy of Nursing, 45(6), p939-948. [https://doi.org/10.4040/jkan.2015.45.6.939]
- Choi, Kyung-Ok, & Park, Young-Mi, (2014), The effects of team-based learning on problem solving ability, critical thinking disposition and self-directed learning in undergraduate nursing students, Journal of East-West Nursing Research, 20(2), p154-159. [https://doi.org/10.14370/jewnr.2014.20.2.154]
- Della Ratta, C. B., (2015), Flipping the classroom with team-based learning in undergraduate nursing education, Nurse Educator, 40(2), p71-75.
- Davies, R. S., Dean, D. L., & Ball, N., (2013), Flipping the classroom and instructional technology integration in a college-level information systems spreadsheet course, Educational Technology Research and Development, 61(4), p563-580. [https://doi.org/10.1007/s11423-013-9305-6]
- Harris, J. R., (2011), Peer assessment in large undergraduate classes: an evaluation of a procedure for marking laboratory reports and a review of related practices, Advances in Physiology Education, 35(2), p178-187. [https://doi.org/10.1152/advan.00115.2010]
- Hur, Hea-Kung, Park, So-Mi, Shin, Yoon-Hee, Lim, Young-Mi, Kim, Gi-Yon, Kim, Ki-Kyong, Choi, Hang-Ok, & Choi, Ji-Hea, (2013), Development and applicability evaluation of an emergent care management simulation practicum for nursing students, Journal of Korean Academic Society of Nursing Education, 19(2), p228-240. [https://doi.org/10.5977/jkasne.2013.19.2.228]
- Immenroth, M., Bürger, T., Brenner, J., Nagelschmidt, M., Eberspächer, H., & Troidl, H., (2007), Mental training in surgical education: a randomized controlled trial, Annals of Surgery, 245(3), p385-391.
- Jang, Hee-Jung, & Kwag, Youn-Kyoung, (2013), Affecting factors on clinical competence of nursing students, Journal of The Korea Academia-Industrial Cooperation Society, 14(9), p4380-4387. [https://doi.org/10.5762/kais.2013.14.9.4380]
- Jeong, M., (2014), The Effect of Flipped Classroom on Elementary Learner's Mathematics Academic Achievement and Attitude, Graduate School of Korean National University of Education Master's thesis.
- Kan, Jin-Sook, Shin, Mee-Sook, & Kwon, Myung-Soon, (2016), The effects of project-based flipped learning model on self-directed learning ability, self-leadership and learning competency, Journal of Fishries and Marine Sciences Education, 28(5), p1478-1491. [https://doi.org/10.13000/jfmse.2016.28.5.1478]
- Kaufman, J. H., & Schunn, C. D., (2011), Students’ perceptions about peer assessment for writing: their origin and impact on revision work, Instructional Science, 39(3), p387-406. [https://doi.org/10.1007/s11251-010-9133-6]
- Korean Accreditation Board of Nursing Education, (2014), Specify the colleges four-year term of study screening, Retrieved July 20, 2016, from http://www.kabon.or.kr/HyAdmin/upload/goodFile/120130201102332.pdf.
- Kim, Baek-Hee, & Kim, Byoung-Hong, (2014), Korean language culture and discussion class-‘Role-exchange discussion class based on flipped learning, Korean Language Research, 37(1), p141-166.
- Kim, In-Sook, Jang, Youn-Kyoung, Park, Su-Ho, & Song, So-Hyeon, (2011), Critical thinking disposition, stress of clinical practice and clinical competence of nursing students, Journal of Korean Academic Society of Nursing Education, 17(3), p337-345. [https://doi.org/10.5977/jkasne.2011.17.3.337]
- Kim, Jeong-Soo, (2015), Student nurses’ experiences in nursing practice of surgical ward, Journal of Fishries and Marine Sciences Education, 27(5), p1221-1228. [https://doi.org/10.13000/jfmse.2015.27.5.1221]
- Kim, Nam-Ik, Chun, Bo-Ae, & Choi, Jeong-Im, (2014), A case study of flipped learning at college: focused on effects of motivation and self-efficacy, Journal of Educational Technology, 30(3), p467-492. [https://doi.org/10.17232/kset.30.3.467]
- Kim, Seung-Chul, & Kim, Jong-Koo, (1998), The effect of mental training on swimmers’ competitiveness, Korean Journal of Physical Education, 37(3), p114-127.
- Kim, So-Myeong, & Park, Sang-Youn, (2016), The effects of lessons using action learning on nursing students, Journal of Korean Academic Society of Nursing Education, 22(1), p42-50. [https://doi.org/10.5977/jkasne.2016.22.1.42]
- Kim, Sung Hae, (2012), Development and Validation of A Tool for Evaluating Competencies for Nursing Cancer Patients under Chemotherapy, Graduate School of Kyung Hee University Master's thesis.
- Kim, Yun-Hee, Kang, Seo-Young, Kim, Mi-Won, Jang, Keum-Seong, & Choi, Ja-Yun, (2008), Usefulness of clinical performance examination for graduation certification of nursing students, Journal of Korean Nursing Administration Academic Society, 14(3), p344-351.
- Kim, Young-Il, & Park, Jeong-Sook, (2011), Effects of an intravenous injection case-based clinical performance examination on problem solving skill, nursing process application, nursing skill and learning satisfaction, Journal of Korean Academic Society Nursing Education, 17(1), p25-35. [https://doi.org/10.5977/jkasne.2011.17.1.025]
- Kwon, In-Soo, Lee, Ga-Eon, Kim, Gyung-Duck, Kim, Young-Hee, Park, Kyung-Min, Park, Hyun-Sook, Sohn, Sue-Kyung, Lee, Woo-Sook, Jang, Keum-Seong, & Chung, Bok-Ya, (2006), Development of a critical thinking disposition scale for nursing students, Journal of Korean Academy of Nursing, 36(6), p950-958. [https://doi.org/10.4040/jkan.2006.36.6.950]
- Lee, Byeong-ju, & Hwang, Seon-Young, (2016), Class experience of the students on pregnancy, delivery and puerperium nursing course through flipped learning: mixed method research, Korean Journal of Women Health Nursing, 22(4), p221-232. [https://doi.org/10.4069/kjwhn.2016.22.4.221]
- Lee, Hee-Suk, Kang, Shin-Cheon, & Kim, Chang-Suk, (2015), A study on the effect of flipped learning on learning motivation and academic achievemen, The Journal of Korean Association of Computer Education, 18(2), p47-57.
- Levett-Jones, T. L., (2005), Self-directed learning: implications and limitations for undergraduate nursing education, Nurse Education Today, 25(5), p363-368. [https://doi.org/10.1016/j.nedt.2005.03.003]
- Missildine, K., Fountain, R., Summers, L., & Gosselin, K., (2013), Flipping the classroom to improve student performance and satisfaction, Journal of Nursing Education, 52(10), p597-599. [https://doi.org/10.3928/01484834-20130919-03]
- Oh, Hye-Kyung, & Jeon, Eun-Young, (2014), Effects of simulation based training using a post-operating rehabilitation case on learning outcomes, Korea Academic Society of Rehabilitation Nursing, 17(2), p90-96. [https://doi.org/10.7587/kjrehn.2014.90]
- Park, Hyeon-Sook, & Han, Ji-Young, (2015), Self-leadership, critical thinking disposition, satisfaction of clinical practice and clinical practice competency of nursing students, Journal of the Korean Data & Information Science Society, 26(3), p695-706. [https://doi.org/10.7465/jkdi.2015.26.3.695]
- Park, Jeong-Sook, Choi, Mi-Jung, & Jang, Soon-Yang, (2015), Effects of preclinical clinical performance examination on nursing students' confidence in nursing skills and critical thinking Competence, Journal of Korean Academic Society Nursing Education, 21(1), p75-85.
- Park, Young-Rye, Park, Sung-Hee, & Park, Min-Jeong, (2015), Effects of simulation education program on clinical practicum in nursing students, Journal of the Korean Data Analysis Society, 17(3), p1711-1724.
- So, Hyang-Sook, Bae, Yeong-Suk, Kim, Young-Ock, Kim, Su-Mi, Kang, Hee-Young, Choi, Ja-Yun, Yang, Jin-Ju, Kim, Nam-Young, Ko, Eun, & Hwang, Seon-Young, (2008), Development of web-based multimedia contents for the critical care practice of nursing students through inter-college collaboration, The Journal of Korean Academic Society of Adult Nursing, 20(5), p778-790.
- Son, Young-Ju, & Song, Young-A, (2012), Effects of stimulation and problem-based learning courses on student critical thinking, problem solving abilities and learning, Journal of Korean Academic Society Nursing Education, 18(1), p43-52. [https://doi.org/10.5977/jkasne.2012.18.1.043]
- Song, Hyo-Suk, & Lim, So-Hee, (2016), A study on multiple sources evaluation for practical education in the core basic nursing skills in nursing students, Journal of Korean Academic Society Nursing Education, 22(1), p5-13. [https://doi.org/10.5977/jkasne.2016.22.1.5]
- Strayer, J. F., (2012), How learning in an inverted classroom influences cooperation, innovation and task orientation, Learning Environments Research, 15(2), p171-193. [https://doi.org/10.1007/s10984-012-9108-4]
- Wahawisan, J., Salazar, M., Walters, R., Alkhateeb, F. M., & Attarabeen, O., (2016), Reliability assessment of a peer evaluation instrument in a team-based learning course, Pharmacy Practice(Granada), 14(1), p1-6. [https://doi.org/10.18549/pharmpract.2016.01.676]
- Yang, Jin-Ju, (2008), Development and evaluation of a simulation-based education course for nursing students, Journal of Korean Academy of Adult Nursing, 20(4), p548-560.
- Yoon, Jin, Kim, Keum-Ja, & Choi, Mi-Suk, (2013), The effects of OSCE application before clinical practice for nursing students, Journal of Korean Academic Society Nursing Education, 19(2), p273-284. [https://doi.org/10.5977/jkasne.2013.19.2.273]
- Young, T. P., Bailey, C. J., Guptill, M., Thorp, A. W., & Thomas, T. L., (2014), The flipped classroom: a modality for mixed asynchronous and synchronous learning in a residency program, Western Journal of Emergency Medicine, 15(7), p938-944. [https://doi.org/10.5811/westjem.2014.10.23515]