The Korean Society Fishries And Sciences Education

[ Article ]

The Journal of the Korean Society for Fisheries and Marine Sciences Education - Vol. 36, No. 4, pp.735-746

ISSN: 1229-8999 (Print) 2288-2049 (Online)

Print publication date 31 Aug 2024

Received 10 Jun 2024 Revised 02 Jul 2024 Accepted 08 Jul 2024

DOI: https://doi.org/10.13000/JFMSE.2024.8.36.4.735

캡스톤 디자인 교과의 수행평가 영역에 대한 분석

양황규^†

†동서대학교(교수)

Analysis on Performance Assessment Areas of the Capstone Design Course

Hwang-Kyu YANG^†

†Dongseo University(professor)

Correspondence to: ^†051-320-1725, hkyang88@dongseo.ac.kr

Abstract

This study aimed to explore the factors that learner performance assessment areas of the capstone design course. For the purposes of this study, based on results from literature review, this study clarifies a theoretical ground for learner performance assessment areas of the capstone design course. Initial items to measure this concept were verified by content analysis and then finalized. After a pilot test done with 262 university students, gathered data were analyzed by item selection and exploratory factor analysis to verify their validity. Next, the main test implemented with 438 university students was analyzed with exploratory factor analysis using the method for rotation based on principle component analysis and varimax for validating the final items to measure the factors that learner performance assessment areas of the capstone design course. The results of this study are as follows: First, the scale for the factors that learner performance assessment areas of the capstone design course consists of 43 items to measure the following four factors: assignment completion and assetization, collaborative problem solving, manage assignment performance and discovery and research. Second, Criterion-related validity were performed at last to check this scale’s theoretical construct. The conclusions of this study are as follows. This study concluded that the constructs for the psychological factors that learner performance assessment areas of the capstone design courses could be generalized and applicable to other samples.

Keywords:

Capstone design, Performance assessment, Engineering, University

I. 서 론

공학분야 캡스톤 디자인 교육은 많은 예산과 인력 투입에 비하여 교육적 실효가 낮다는 비평이 있다(Eom et al., 2022; Huh and Lee, 2021;Kim and Lee, 2017). 그 이유는 공학분야 캡스톤 디자인 교육의 성과가 최종결과물(특허 등)중심으로 양적인 성과 위주로 편향되어 있으며, 캡스톤 디자인 교과의 교수학습활동으로서 수행과제에 대한 평가가 도외시 되어왔기 때문이다(Kim, 2021; Lee and Ahn, 2021; Lee et al., 2020; Lee, 2019).

수행평가란 학습자의 지식 및 기능을 근간으로 실제 수행을 통해 학습자의 학업성취도를 평가하는 것이다(Lee and Noh, 2020). 이는 실질적인 교수학습과정의 성과를 정량 및 정성적으로 가늠할 수 있는 매우 중요한 요소이다(Lee et al., 2010; Lee, 2022). 국내외적으로 학습자 중심의 수준별 맞춤형 교육이 강조됨에 따라 캡스톤 디자인 교과에 대한 시사점이 증대되고 있으며, 교수자의 수행평가 전문성 향상을 위한 대안이 요구되고 있다(Nam, 2020). 물론 캡스톤 디자인 교과의 수행평가를 위하여 루브릭 혹은 포트폴리오와 같은 정성적 평가방법이 활용되고 있다. 하지만 실행에 있어 시간 소비가 크고 교수자의 업무부담을 가중시켜 수행평가를 기피하는 현실이다(Cavanagh et al., 2020; Kim, 2021; Lee and Noh, 2020).

비공학분야 캡스톤 디자인 교과와는 달리 공학분야 캡스톤 디자인 교과의 과제는 산업체가 의뢰한 프로젝트를 교수자가 코디네이터로 역할하면서 학습자들의 팀빌딩을 통해 창의적 결과물을 도출하도록 한다(Bhavnani and Aldridge, 2000; You et al., 2021). 그러므로 캡스톤 디자인 교과의 프로젝트를 해결하는 수행평가는 최종 결과물에 대한 평가만큼 중요한 교육적 시사점을 지니고 있다(Han, 2016). 공학분야 캡스톤 디자인 교과의 프로젝트는 투입-과정-산출의 3단계로 진행된다(Huh and Lee, 2021). 투입단계는 주로 팀별 과제발굴 및 과제해결을 위한 탐색이 이루어진다. 과정단계는 학습자 개개인의 역할수행과 팀단위의 수행관리에 의한 프로젝트가 진행된다. 산출단계는 과제를 완성하고 성과물 발표를 준비하며 자산화를 고려한다(Yang and Park, 2020). 여기서 과정단계가 매우 중요한데, 팀 단위로 프로젝트를 해결하는 과정에서 학습자 개개인의 학습태도가 크게 반영되지만 이에 대한 수행평가가 고루 이루어지지 못하였다(Chung et al., 2020).

공학분야 캡스톤 디자인 교육의 반성적 성찰을 강조하는 연구들(Litzinger et al., 2015; Nam, 2020)을 살펴보면, 캡스톤 디자인 교과의 단계별 진행에 따라 수행평가가 이루어져야 할 것을 더욱 강조한다.

그간 공학분야 캡스톤 디자인 교과의 수행평가는 팀 위주의 평가, 결과물 중심의 평가가 이루어졌다(Lee, 2022). 따라서 학습자 개인의 노력과 수행 정도에 대한 변별력이 낮아서 캡스톤 디자인 교과의 수행에 대한 부담감 또는 불만 요소로 작용해왔다.(Chung et al., 2020; Lee, 2019). 공학분야 캡스톤 디자인 교과의 교육성과를 제대로 파악하기 위하여서는 프로젝트 수행과정에서 드러나는 개인 학습자의 활동을 포함하여 전반적인 프로젝트 과정에 대한 수행평가가 이루어질 필요가 있다(Chung et al., 2020).

이에 본 연구는 공학분야 캡스톤 디자인 교과에서 학습자의 수행평가를 정량 및 정성적으로 평가할 수 있는 체제를 구축하기 위한 기초연구로써 공학분야 캡스톤 디자인 교과의 투입-과정-산출 단계에 따른 학습자의 수행평가 영역을 분석하고 그 시사점을 탐색하고자 한다. 이상과 같은 목적을 위하여 본 연구에서 설정한 연구문제는 다음과 같다. 첫째, 캡스톤 디자인 교과에서 학습자의 수행평가 영역에는 어떤 것들이 있는가? 둘째, 캡스톤 디자인 교과에서 학습자의 수행평가 영역들은 신뢰할만하고 타당한가? 이다.

Ⅱ. 이론적 배경

1. 캡스톤 디자인 교과의 수행평가 영역

공학분야 캡스톤 디자인 교과는 산업체의 요구에 따라 문제를 해결하기 위하여 전공 지식을 적극적으로 활용하는 학습활동이다(Han, 2016). 특히 캡스톤 디자인 교과는 산업체와 협업해야 하는 특징이 있어, 수업에서 다루는 과제의 실제성이 매우 높다. 그리고 교수학습과정에서 팀단위로 구체적인 산출물을 생성해내어야 하는데, 이때 학습자 개개인의 능동적인 학습태도가 반영되어야 한다. 개별 학습자는 팀단위로 역할수행을 하면서 역동적인 아이디어를 발상 및 제안하고, 협의를 통해 지식을 교류하며, 완성도가 높은 지식을 구성해 나가는 주체이기 때문이다(Huh and Lee, 2021; Yang and Park, 2020). 이로 인해 캡스톤 디자인 교과에 참여하는 학습자는 단순히 교과 이수를 넘어 자기주도적 문제해결력, 프로젝트 관리능력, 사회적 역량, 의사소통능력, 고차원적 사고력 등 다양한 역량을 함양할 수 있게 된다(Chung et al., 2020; Kim, 2011).

그간 공학분야 캡스톤 디자인 교과의 수행평가를 위해 활용한 도구는 루브릭, 포트폴리오, 자기평가 및 동료평가 등이다. 여기서 루브릭을 제외한 포트폴리오, 자기평가 및 동료평가는 수행평가에 있어 참조체제로 활용될 뿐이다(Chung et al., 2020). 공학분야 캡스톤 디자인 교과의 프로젝트 단계에 해당하는 학습자의 역량을 객관적으로 측정하는 수행평가 체계는 찾아보기 어렵다.

비공학분야 캡스톤 디자인 교과의 단계별 수행평가 체제를 시사하는 연구들을 찾아보면, Kim(2011)은 캡스톤 디자인 교과에서 학습자의 수행과제 역량을 측정하기 위하여 프로젝트학습의 핵심 단계와 활동을 12가지 수행평가 절차로 제안하였다. 여기에 과제 질 관리, 자료수집 및 정리, 팀모임 준비, 정보탐색, 아이디어 발상, 지식표현, 자기주도성, 과제지향성, 갈등 조정, 의사소통, 공유와 협력이 포함되어 있다. 그러나 Kim(2011)이 제안한 수행평가 절차는 학습자의 학습지향성에 대하여 제시하고 있다. 프로젝트 과정에 따른 개별 학습자의 수행평가 영역으로는 충분히 설명되지 않는 것 같다.

한편, Park et al.(2008)은 캡스톤 디자인 교과의 핵심학습활동 프로세스를 9가지 절차로 제안하였다. 여기에 팀빌딩, 산학통합하기, 과제분석하기, 과제 명료화하기, 과제 해결방안 찾기, 해결방안 우선순위 도출하기, 해결방법 설계 및 제작하기, 결과물 전사 발표하기, 종합 성찰하기가 포함되어 있다. Park et al.(2008)은 Kim(2011)의 관점에 비하여 더 구체적으로 캡스톤 디자인 교과에서 과제수행을 위한 단계를 제시하고 있으나 각 단계별 학습자에게 요구되는 역량은 제시하지 못하고 있다.

반면 Chung et al.(2020)은 프로젝트 기반 학습평가의 관점에서 학습자의 수행평가 역량을 9가지로 제안하였다. 여기에 창의적 문제해결, 비판적 사고력, 정보 문해력, 정량적 문해력, 조사 및 분석, 프로젝트 운영, 협업, 발표 및 보고서 작성이 포함되어있다. Chung et al.(2020)도 역시 캡스톤 디자인 교과의 과정적인 요소와 개별 학습자의 수행과제 역량을 혼합하여 제시하고 있다.

이에 본 연구는 캡스톤 디자인 교과의 교수학습과정에 따라 학습자의 수행평가 영역을 분석하는데 주안점을 두고, 캡스톤 디자인 교과의 단계별 학습자의 수행과제 역량을 측정할 수 있는 수행평가 영역을 <Table 1>과 같이 개념화하였다. 이를 위하여 먼저, Kim(2011)과 Park et al.(2008)이 제안한 캡스톤 디자인 교과의 단계별 절차에서 공통적인 요소를 추출하여 4가지 단계적 요소로 범주화하였다. 다음으로, 4가지 범주화된 단계적 요소에 해당되는 학습자의 수행평가 역량을 Chung et al.(2020)의 수행평가 역량모델에서 제시하는 학습자 역량의 행동지표로 설정하였다. 그 구체적인 내용을 제시하면 다음과 같다.

Extracting and conceptualizing common elements of learner performance assessment domains in capstone design courses through literature review

첫째, 수행관리이다. 이는 팀별 활동을 위하여 관련된 제반 준비와 참여, 일정, 자료 등을 수행 목표와 부합되게 체계적으로 관리하는 것을 말한다. 여기에 과제의 질 관리, 자료수집 및 정리, 팀 일정 관리, 자료 관리, 팀 모임 준비 역량 등의 하위요소가 포함되어 있다(Kim, 2011; Park et al., 2008).

둘째, 아이디어 발상 및 지식의 나눔이다. 이는 핵심자료를 수집하고 과제를 정확하게 이해하여, 다양한 아이디어를 발상하고, 탐구한 지식을 조직화 및 시각화 도구를 활용하여 과제수행의 목표를 명료화하는 것을 말한다. 여기에 정보탐색, 아이디어 발상, 지식표현 역량 등의 하위요소가 포함되어 있다(Park et al., 2008).

셋째, 과제해결 도출을 위한 지식의 구성이다. 이는 과제해결을 위하여 팀을 구성하고 있는 개별 학습자들간 지식과 정보를 교류하며 문제해결에 도달하기 위한 새로운 지식을 구성하는 것을 말한다. 여기에 과제수행 방향을 제시, 개별 혹은 팀단위로 집요하게 탐구하고 문제점을 점검 및 보완하는 등의 하위요소가 포함되어 있다(Kim, 2011).

넷째, 협력적인 과제완결이다. 이는 팀원들과 합의를 통해 갈등을 최소화하고, 자신의 의견을 설득적으로 소통하며, 자료나 비전을 적극적으로 공유함으로써 지속적으로 상호보완하여 과제를 완결하는 것을 말한다. 여기에 갈등 조정, 공유와 협력, 보고서 작성 및 자산화 검토 등의 하위요소가 포함되어 있다(Chung et al., 2020; Park et al., 2008).

2. 수행평가 영역의 측정문항 개발과 타당도 검증

본 연구는 캡스톤 디자인 교과의 진행에 따라 학습자의 수행평가 영역을 측정하기 위하여 Kim(2011), Park et al.(2008)의 분류체계에 근거하여 4개 영역(수행관리, 아이디어 발상 및 지식의 나눔, 과제해결 도출을 위한 지식의 구성, 협력적인 과제완료)으로 범주화하고, Chung et al.(2020)의 수행평가 역량모델에 근거하여 4개 범주화된 단계에 따라 개별 학습자의 세부역량을 측정할 문항을 행동지표에 근거하여 추출하였다(<Table 2>참조).

The item content validity of the learner's performance task competency

첫째, 수행관리를 측정하기 위하여 과제의 질 관리(고성취 목표 설정, 논리적 구조 점검, 프로젝트 프로세스 점검, 피드백 반영), 자료수집 및 정리(수집된 자료의 정확도를 점검, 자료를 체계적으로 관리), 팀모임 준비(각자 수행역할 파악 후 수행) 등의 하위요소에 따라 14문항으로 구성하였다(Kim, 2011; Park et al., 2008). 둘째, 아이디어 발상 및 지식의 나눔을 측정하기 위하여 정보탐색(핵심자료 추출, 수집된 정보의 가치를 평가), 아이디어 발상(다양한 방식으로 아이디어 발상, 아이디어를 비판적으로 분석, 창의적으로 재구성), 지식 표현(정보를 체계적으로 조직, 정보를 시각적으로 표상, 지식을 명확하게 표현) 등의 하위요소에 따라 14문항으로 구성하였다(Park et al., 2008). 셋째, 과제해결을 위한 지식의 구성을 측정하기 위하여 정보교류(개별 학습자들간 지식과 정보를 교류, 과제수행방향 제시), 문제해결에 도달하기 위한 새로운 지식을 구성(과제해결을 위한 집요한 탐구, 문제점을 점검하고 보완) 등의 하위요소에 따라 12문항으로 구성하였다(Kim, 2011). 넷째, 협력적 과제완료를 측정하기 위하여 갈등조정(역할분담에 의한 갈등 조정, 토의 상황에서 갈등 조정), 공유와 협력(산출 결과물에 대한 팀원간 합의 도출, 보고서 작성 및 자산화 검토) 등의 하위요소에 따라 12문항으로 구성하였다(Chung et al., 2020; Park et al., 2008).

이상으로 캡스톤 디자인 교과에서 학습자의 수행과제 역량을 측정하는 초기문항에 대하여 문항내용 타당도 검증을 하였다. 전집문항의 내용타당도 검증 및 적절한 문항을 선별하고 수정하기 위하여 전문가 7인(공학분야 교수 2명, 교육공학분야 교수 1명, 캡스톤 디자인 교과의 우수 창작물 도출 학생 2명, 캡스톤 디자인 교과에 참여한 산업체 전문가 2명)을 통해 캡스톤 디자인 교과에서 학습자의 수행과제 역량에 해당되는 문항의 동의성 여부 및 내용 적합성을 평정하였다. 각 문항에 대한 평정은 2점 척도(예, 아니오)로 구성하였으며, 문장이 어색하거나 하위영역별 내용과 관계가 없는 문항들은 삭제하거나 수정하였고, 전문가의 의견에 따라 추가해야 할 문항은 새롭게 추가하였다. 예를 들면, 캡스톤 디자인 교과에서 학습자의 수행과제 역량으로 내용이 명료하지 못하고 오해할 소지가 있는 문항은 삭제 및 수정하였다. 그리고 캡스톤 디자인 교과에서 학습자의 수행과제 역량의 특징이 명확하게 드러나는 문항은 새롭게 추가하였다. 전문가에 의한 내용타당도 평정결과, 초기문항에서 타당도가 낮은 2문항은 삭제하고 5문항은 수정하여 전체 50문항으로 구성하였다.

Ⅲ. 연구 방법

1. 연구 절차 및 대상

본 연구는 캡스톤 디자인 교과에서 학습자의 수행평가 영역에 대한 분석을 하였다.

이를 위하여 첫째, 문헌연구를 중심으로 공학분야 캡스톤 디자인 교과에서 교수학습과정별 학습자의 수행과제 역량을 추출하기 위하여 초기문항을 제작하고(52문항), 전문가 협의회를 구성하여 문항내용타당도를 검증하였다(50문항).

둘째, 캡스톤 디자인 교과에서 학습자의 수행과제 역량을 추출하기 위해 정비된 초기문항이 경험적으로 타당한가를 알아보기 위하여 대학생(2학년부터 4학년까지)을 대상으로 262명에게 예비조사를 실시하였다. 예비조사 기간은 2023년 12월 한달 동안 구글 설문지로 응답하도록 하였다(응답방식은 5점 리커트 척도). 자료수집 후 문항선별 과정을 통해 1차 문항을 선정하였으며, 주성분 분석(사각회전)을 통해 구성요인을 확인하여 2차 문항을 선정하였다(47문항).

셋째, 예비검사에서 최종적으로 선정된 문항으로 P시에 소재한 대학생 438명을 대상으로 본검사를 2024년 4월 한 달 동안 자료를 수집하였다(응답방식은 5점 리커트 척도). 수집된 자료는 주성분 분석(사각회전)을 통하여 캡스톤 디자인 교과에서 수행평가 요소를 최종적으로 추출하였는데(43문항), 4개의 요인으로 나타났다.

넷째, 이상과 같은 일련의 절차에 따라 확인된 캡스톤 디자인 교과의 수행평가 영역에 대한 준거관련 타당도를 알아보았다.

2. 측정 도구

본 연구는 캡스톤 디자인 교과에서 학습자의 수행평가 영역에 대한 준거관련 타당도를 알아보고자 Yang and Park(2023)이 개발한 비대면수업에서 ‘재미 요소’를 측정하는 도구를 사용하였는데, ‘재미 요소’ 척도는 비대면 수업에서의 몰입과 학생 참여도를 확인할 수 있는 척도이다. 그러나 캡스톤 디자인 교과는 대면수업으로 진행하는 상황이므로 일부 문항을 대면수업 상황으로 수정 후 사용하였다. ‘재미 요소’ 척도는 상황적 재미 11문항, 인지적 재미 11문항, 관계적 재미 11문항, 전체 33문항으로 구성되었다. 문항반응형식은 5점 Likert척도로서 점수가 높을수록 수업에서 ‘재미’가 높은 수준임을 의미한다. 본 연구에서 나타난 ‘재미’의 전체 신뢰도 Cronbach α값은 .977이고, 상황적 재미는 .930, 인지적 재미는 .942, 관계적 재미는 .958로 각각 나타났다.

3. 자료 분석

본 연구의 목적을 위하여 수집된 자료에 대하여 다음과 같은 자료분석을 하였다.

첫째, 예비검사에서 수집된 자료는 문항선별을 위하여 문항양호도 분석을 하였고, 캡스톤 디자인 교과에서 학습자의 수행평가 영역을 측정하는 문항의 요인구조가 어떠한지 알아보기 위하여 탐색적 요인분석을 하였다. 요인분석에 적합한 자료인지를 검증하기 위하여 KMO (Kaiser-Meyer-Olkin)와 Bartlett의 검증값을 구하였고, 주성분 분석과 사각회전을 통해 요인구조 행렬을 구한 후 문항을 조정하고 각 요인에 대하여 해석하였다. 그리고 본 검사에서 수집된 자료는 예비검사와 동일한 절차에 따라 문항양호도 분석 및 확인적 요인분석을 하였다. 요인분석에 적합한 자료인지를 검증하기 위하여 KMO와 Bartlett의 검증값을 구하였고, 주성분 분석과 사각회전을 통해 요인구조 행렬을 구한 후 문항을 조정하고 각 요인에 대하여 해석하였다.

둘째, 본 검사에서 도출된 캡스톤 디자인 교과의 학습자 수행평가 영역에 대한 준거관련 타당도를 검증하기 위하여 비대면수업에서 ‘재미’ 요소를 측정하는 척도의 하위요인들간 상관관계분석을 하였다.

Ⅳ. 연구 결과

1. 수행평가 영역의 문항선별 및 요인분석

가. 예비검사의 문항선별 및 요인분석

50개 문항으로 구성된 예비검사 척도의 문항양호도를 분석하기 위해 각 문항의 평균 점수, 문항-총점 간 상관, 이론을 고려한 문항 내용의 적절성이 문항을 판단하는 1차 기준이 되었다.

먼저 문항의 양호도에서 볼 때 문항 평균이 4.5이상이거나 1.5이하인 문항들은 반응이 편포되어 있어 변별력이 떨어지는 문항이라고 판단하였는데, 평균이 4.5이상이거나 1.5이하인 문항은 없었다. 다음으로 문항-총점 간 상관이 .30미만의 문항은 다른 문항들과 동일한 심리적 속성을 측정하지 못하며, .80이상인 문항은 지나치게 높은 상관을 보이고 있어 다른 문항들과 변별력이 떨어지는 것으로 보았는데, p4, p5, p23문항이 .80이상 문항으로 나타나 삭제하였다(47문항).

문항선별과정을 통해 여과된 문항의 요인구조를 알아보기 위하여 KMO 수치와 Bartlett의 구형성 검증치를 확인하였다. 분석결과, KMO값은 .975로 나타났으며, Bartlett의 검증값은 χ²==16535.394(p<.001)로 나타나 요인분석이 적합한 자료로 확인되었다.

이에 요인의 수를 결정하기 위하여 고유치 1.0이상(Kaiser 준거), Cattell의 스크리 검증, 요인의 해석 가능성 등의 기준을 적용하였다. 고유치 1.0이상의 요인이 4개 추출되었는데, 스크리 검사결과 요인 5부터 기울기가 거의 비슷하게 나타나서 구성요인의 수를 4개와 5개로 하는 경우를 각각 검토해보았다. 그 결과, 각 요인에 속하는 문항들은 별 차이를 보이지 않았으며, 요인을 4개로 할 경우 고유치 1.0이하의 요인이 분류되었다. 따라서 적합한 요인의 수를 4개로 결정한 후 기초 요인구조의 회전방법을 결정하기 위하여 요인 간 상관을 살펴보았으며, 요인 간 상관을 고려하여 주성분분석에 의한 사각회전을 하였다. 사각회전 후 산출된 최종 요인구조에서 측정하고자 하였던 요인과는 다른 요인으로 분류된 문항, 요인부하량이 .30 미만인 문항, 다른 요인에 대한 부하량이 지나치게 높은 문항들을 검토하였다. 이상의 과정을 거쳐 캡스톤 디자인 교과의 수행평가 영역(설명변량=67.679%)의 요인1은 12문항, 요인2는 12문항, 요인3은 12문항, 요인4는 11문항으로 구성되어 총 47문항이 선별되었다. 이렇게 선정된 최종 문항의 내적 일관성 신뢰도에서는 .943으로 높게 나타났다.

나. 본검사의 문항선별 및 요인분석

캡스톤 디자인 교과에서 학습자의 수행평가 영역을 측정하는 문항(47문항)의 양호도를 알아보기 위하여 평균과 표준편차 분석, 문항-총점간 상관, 이론을 고려한 문항내용의 적절성을 분석하였다. 그 결과, 문항 평균 4.50이상이거나 1.50이하의 편포된 문항은 없었고, 문항-총점간 상관이 .30미만의 문항도 없었다.

KMO & Bartlett’s test

47개의 문항양호도 분석 후 확인적 요인분석을 실시하였다. 수집한 자료가 요인분석에 적합한지를 알아보기 위해 KMO 수치와 Bartlett의 구형성 검증치를 확인하였다. 분석결과, KMO값은 .979로 나타났으며, Bartlett의 검증값은 χ2값이 22491.304(p<.001)로 나타나 요인분석이 적합한 자료로 확인되었다. 다만, 4개 요인에 .30 이상의 문항은 삭제하였다(p26, p27, p29, p37).

캡스톤 디자인 교과에서 학습자의 수행평가 영역에 대한 요인구조행렬과 4개 요인이 설명하는 변량은 <Table 4>에 제시하였다. <Table 4>에 의하면, 전체 설명 변량은 67.165%이며, 요인1은 22.052%, 요인2는 21.200%, 요인3은 13.711%, 요인4는 10.201%를 설명하는 것으로 나타났다.

Structure coefficient matrix and credibility of final standard of learner performance assessment areas of the capstone design course

요인1은 12문항(p44, p43, p41, p40, p21, p45, p20, p39, p46, p25, p36, p13)으로 구성되었으며, 수집된 정보의 핵심을 파악하여 설명이 가능, 수집한 자료의 프로젝트 활용성을 점검, 프로젝트 주제 및 결과에 대한 전문가의 피드백을 반영, 프로젝트 주제별로 자료의 중요도·관련도·활용도를 고려하여 관리, 수집된 정보나 아이디어를 분류하고 조직화, 수집된 자료 혹은 도출된 아이디어의 가치를 평가하는 내용이 포함되어 있다. 그러므로 요인1을 ‘과제완성 및 자산화’로 명명하였다.

요인2는 11문항(p47, p34, p33, p50, p31, p38, p49, p35, p30, p48, p10)으로 구성되었으며, 팀원들간 강점을 중심으로 역할분담하여 역할갈등 최소화, 작은 의견이 무시되지 않도록 최대한 수용, 대치되는 논쟁보다 해결안 도출을 위한 갈등을 조정, 실수하는 팀원에 대해 적극적으로 협력하여 보완, 팀원들과 팀의 비전 및 자료를 적극적으로 공유, 수행할 역할을 파악하여 능동적으로 참여하는 내용이 포함되어 있다. 그러므로 요인2를 ‘협력적 과제해결’이라고 명명하였다.

요인3은 10문항(p10, p9, p11, p15, p14, p2, p1, p12, p28, p42)으로 구성되었으며, 프로젝트 결과물이 목표에 부합되도록 논리적으로 점검, 프로젝트의 전반적인 절차에 대하여 질적인 관리, 팀 모임의 효율적 진행을 위해 수행사항을 계획, 수업의 학습목표를 중심으로 프로젝트의 진도를 점검, 팀의 일정이 적절하게 계획되었는지에 따라 진행하는 내용이 포함되어 있다. 그러므로 요인3을 ‘과제수행 관리’라고 명명하였다.

요인4는 10문항(p7, p8, p6, p17, p16, p22, p3, p18, p24, p19)으로 구성되었으며, 탐구주제에 대해 계속 생각하고 팀원들간 지속적으로 소통, 탐구내용에 대해 발생가능한 문제점을 사전에 점검하고 보완, 도출된 아이디어를 비판적으로 사고하여 수정 및 보완, 탐구정신으로 프로젝트 수행을 위하여 전심전력하는 내용이 포함되어 있다. 그러므로 요인4를 ‘과제발굴 및 연구’라고 명명하였다.

본 검사의 요인분석 후 선정된 문항들이 대체로 양호하여 캡스톤 디자인 교과에서 수행평가의 역량은 43문항으로 구성하였다. 최종적으로 선정된 캡스톤 디자인 교과에서 학습자의 수행평가 영역의 신뢰도는 전체 .952로 나타나 척도가 양호한 것으로 분석되었다. 요인분석을 통해 얻어진 각 요인별 신뢰도를 살펴보면, 요인1(과제완성 및 자산화)은 .949, 요인2(협력적 과제해결)는 .938, 요인3(과제수행 관리)은 .927, 요인4(과제발굴 및 연구)는 .938로 나타나 모든 요인에서 양호한 값을 보였다.

2. 수행평가 영역에 대한 타당화

캡스톤 디자인 교과에서 학습자의 수행평가 영역의 타당도를 확보하기 위해, 기존에 타당도가 확인된 관련 척도로 준거관련타당도 검증을 실시하였다. 이를 위해 사용한 척도는 비대면수업에서의 재미 요소를 측정하는 척도이다. 재미 요소 척도는 비대면 수업 상황에서 교과를 중심으로 교수자와 학습자간, 동료 학습자간 지식의 나눔과 교류를 통해 느껴지는 상황적 재미, 인지적 재미, 관계적 재미를 측정할 수 있다. 이런 관점에서 캡스톤 디자인 교과에서 프로젝트를 수행할 때 재미를 느낀다면 과제몰입도가 더욱 촉진될 수 있음을 시사받을 수 있다. 그러므로 캡스톤 디자인 교과에서 수행평가 영역들과 비대면수업에서 ‘재미 요소’의 하위요인들간 상관관계분석을 실시하였다. 그 결과, 캡스톤 디자인 교과에서 수행평가 역량과 비대면수업에서 재미 요소의 하위요인간 상관은 .518~.862의 범위로 높게 나타났다(<Table 5> 참조). 이러한 결과는 공인타당도, 즉 준거관련 타당도가 확보되었다고 할 수 있다.

Correlation between factors of the fun factor in blended learning and the performance assessment of the capstone design courses

Ⅴ. 결 론

본 연구는 캡스톤 디자인 교과의 학습자 수행평가 영역을 분석하고자 하였다. 이에 본 연구에서 얻어진 결과를 기초로 논의와 결론을 제시하면 다음과 같다. 캡스톤 디자인 교과에서 학습자의 수행평가 영역은 4개 요인으로 나타났다(43문항). 요인분석을 통해 얻어진 각 요인별 신뢰도를 살펴보면, 요인1(과제완성 자산화)은 .949, 요인2(협력적 과제해결)는 .938, 요인3(과제수행 관리)은 .927, 요인4(과제발굴 및 연구)는 .938로 나타나 모든 요인에서 양호한 값을 보였고, 비대면수업의 재미 요소와의 상관관계를 통해 준거관련타당도가 있음을 확인하였다.

첫째, 과제완성 및 자산화는 과제해결을 위하여 수집된 자료 혹은 아이디어를 분류하고 조직화하며 수집된 자료 혹은 도출된 아이디어를 평가하는 내용이다. 그리고 프로젝트 주제 및 결과에 대한 전문가의 피드백을 반영하여 완성도가 결과물을 산출하는 단계라고 제안한 Park et al.(2008)의 관점을 지지하는 것이다. 또한 캡스톤 디자인 교과의 산출단계에 과제를 완성하고 자산화를 강조한 Huh and Lee(2021)의 관점을 지지한다고 볼 수 있다.

둘째, 협력적 과제해결은 팀빌딩 후 학습자 개개인의 역할을 분담하며 합리적 의사소통에 의하여 팀의 목표 달성에 집중해야 함을 강조하는 Chung et al.(2020)의 관점과 You et al.(2021)의 관점을 지지하는 것이다. 캡스톤 디자인 교과의 특징상 산업체와 교수자, 그리고 학습자간 협업에 의하여 과제를 수행해야 함을 강조하는 Yang and Park(2020)의 연구결과를 지지하는 것이다.

셋째, 과제수행 관리는 캡스톤 디자인 교과의 과정 그 자체에 요구되는 학습자의 역량이라고 할 수 있는데, 과제의 질을 관리하고 자료수집과 프로젝트 해결에 활용도가 높은 정보로 가공하며 팀모임을 계획하고 준비하는 단계를 제시한 Kim(2011)의 관점, Park et al.(2008)의 관점을 지지하는 것이다. 이는 캡스톤 디자인 교과의 투입-과정-산출 단계 중 과정단계(You et al., 2021)에 해당되는 것으로써 학습자의 수행평가를 진단할 수 있는 중요한 요소로 볼 수 있다.

넷째, 과제발굴 및 연구는 캡스톤 디자인 교과의 투입단계에 해당된다는 Huh and Lee(2021)의 관점을 지지하는 것이다. 이 단계는 탐구주제에 대해 계속 생각하고 팀원들간 지속적으로 소통하며 탐구내용에 대해 발생가능한 문제점을 사전에 점검하고 보완하는 등 팀 단위로 과제문제를 해결하기 위한 주제를 탐색하고 과제목표를 설정하는 초기단계라고 볼 수 있다. 학습자 개개인의 주도성과 탐구정신이 요구된다는 Kim(2011)의 관점을 지지하는 것이다.

본 연구의 결과로 확인된 캡스톤 디자인 교과에서 학습자의 4가지 수행평가 요소(과제완성 및 자산화, 협력적 과제해결, 과제수행 관리, 과제발굴 및 연구)는 Kim(2011)이 제안한 프로젝트학습의 핵심단계와 부분적으로 일치하고 있다. 또한 Park et al.,(2008)이 제안한 캡스톤 디자인 핵심학습활동 프로세스와도 부분적으로 지지하는 것이다. 게다가 Chung et al.(2020)이 제안한 프로젝트 기반의 학습자의 9가지 평가 역량과도 부분적으로 일치하고 있다. 이는 본 연구에서 확인한 캡스톤 디자인 교과에서 학습자의 수행평가 영역을 교육분야에서 적용해 볼 수 있음을 시사하고 있다. 다만, 과제수행관리(요인3)로 묶은 3개의 문항이 과제완성 및 자산화(요인1)의 요인부하량이 더 높게 나타났으나 통계적 관점보다는 이론적 관점에 근거하여 과제수행관리(요인3)로 분류하였다. 그러므로 본 연구에서 나타난 4가지 수행평가 영역에 대한 추후 연구가 더 필요하다고 생각한다.

이상의 논의 및 결론을 토대로 본 연구의 제한점과 제언을 하면 다음과 같다. 첫째, 국내외 캡스톤 디자인 수행평가의 영역을 경험적으로 확인한 본 연구는 향후 캡스톤 디자인 교과에서 교수자의 수행평가 전문성 확보 및 공학분야의 수행평가 전문성 향상에 기여할 수 있을 것이다. 둘째, 본 연구의 결과는 캡스톤 디자인 교과가 효과적으로 이루어질 수 있는 수업설계 및 실행 방향을 제시할 수 있을 것이다. 즉 실질적인 교육성과를 검증하여 캡스톤 디자인 교과의 질을 제고함으로써 공학분야 창의인재 양성에 기여할 수 있을 것이다. 셋째, 본 연구의 결과는 국내외 캡스톤 디자인 교수학습활동의 객관적인 교육성과 지표를 제공함으로써 과학적 절차로서 사고교육의 성과를 기대할 수 있고 교육적 성과를 검토할 수 있을 것이다.

Acknowledgments

This work was supported by Dongseo University, “Dongseo Frontier Project” Research Fund of 2023

References

Bhavnani S H and Aldridge MD(2000). Team work across disciplinary Borders: A bridge between college and the work place. Journal of Engineering Education, 89(1), 13~16. [https://doi.org/10.1002/j.2168-9830.2000.tb00487]
Cavanagh T, Chen B, Lahcen R and Paradiso,J(2020). Constructing a Design Framework and Pedagogical Approach for Adaptive Learning in HigherEducation: A Practitioner's Perspective. International Review of Researchin Open and Distributed Learning, 21(1), 173~197. [https://doi.org/10.19173/irrodl.v21i1.4557]
Chung YS, Son NY and You JW(2020). Development of project performance evaluation framework in project-based learning at universities: Design-based research. Journal of Educational Evaluation, 33(2), 455~486. [https://doi.org/10.31158/JEEV.2020.33.2.455]
Eom WY, Kim JH and Kim HK(2022). A Study on Faculty’s Perception and Educational Needs for Capstone Design Course. Journal of Engineering Education Recearch, 25(2), 3~12. [https://doi.org/10.18108/jeer.2022.25.2.3]
Han SH(2016). A Fundamental Study on Development of a Capstone Design Instructional Method : Based on ISO 10015. Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology (AJMAHS), 6(12), 133~141. [https://doi.org/10.35873/ajmahs.2016.6.12.012]
Huh MS and Lee JM(2021). Effects of Capstone Design Education in Korea: A meta-analysis. The Journal of the Korea Contents Association, 21(4), 331~346 [https://doi.org/10.5392/JKCA.2021.21.04.331]
Kim HK(2011). Developmental study of a Design Model of Learning Support System based on Performance-Competency. Seoul National University Graduate Doctoral Thesis. [https://doi.org/10.23170/snu.000000029155.11032.0000472]
Kim IS(2021). A Study on the Educational Needs of University Professors for Learner-Centered Faculty Support. Journal of Teaching & Learning Research, 14(2), 97~117. [https://doi.org/10.23122/kactl.2021.14.2.004]
Kim NY and Lee SY(2017). An Examination of the Mediation Effect of Self-Regulated Learning Strategy on Learning Outcome in Engineering Capstone Design Course. Journal of Engineering Education Recearch, 20(5), 34~42. [https://doi.org/10.18108/jeer.2017.20.5.34]
Lee HW, Kim SH, Park K and Kim JY(2010). A Study on the Assessment of Program Outcomes Based on Capstone Design Course. Journal of Engineering Education Recearch, 13(6), 1~9. [https://doi.org/10.18108/jeer.2010.13.6.143]
Lee JW and Noh JH(2020). Revisited: Formative Assessment, Performance Assessment, and Process-Focused Assessment. East Asian Mathematical Journal, 36(4), 515~535. [https://doi.org/10.7858/EAMJ.2020.034]
Lee JW(2019). Development and Application of the Program to Improve Pre-Service Chemistry Teachers’ Performance Assessment Professionalism. Seoul National University Graduate Doctoral Thesis.
Lee MH and Ahn SH(2021). Exploring Strategies to Encourage Online Learner to Participate in Performance-based curriculum. Journal of fisheries and marine sciences education, 33(1), 59~71. [https://doi.org/10.13000/JFMSE.2021.2.33.1.59]
Lee OJ, Lee SW, Hong EH and Kim HG.(2020). The Effects of University Students Perception of Capstone Design Teaching Method on Learning Performance: Focusing on the Mediating Effect of Instruction Preference. Journal of Learner-centered Curriculum and Instruction, 20(15), 1001~1015. [https://doi.org/10.22251/jlcci.2020.20.15.1001]
Lee YH(2022). Case Analysis of the Operation Status and Assignment Performance for the Students’ Assessment in Online Classes of the University. The Journal of Learner-Centered Curriculum and Instruction, 22(20), 393~411. [https://doi.org/10.22251/jlcci.2022.22.20.393]
Litzinger T, Zappe S, Hunter S and Mena I(2015). Increasing Integration of the Creative Process across Engineering Curricula. International Journal of Engineering Education, 31(1), 335~342.
Nam JY(2020). A Case Study on the Creative Convergence Project Based on Design Thinking. The Journal of Learner-Centered Curriculum and Instruction, 20(5), 289~303. [https://doi.org/10.22251/jlcci.2020.20.5.289]
Park SH, Jung JY and Rhu YH.(2008). Development of Instructional Activity Support Model for Capstone Design to Creative Engineering Education. Jounal of Fisheries and Marine Sciences Education, 20(2), 184~200.
Yang HK and Park SM(2020). A Study on the Operation of ISO-based Capstone Design Classes. Journal of fisheries and marine sciences education, 32(5), 1251~1262. [https://doi.org/10.13000/JFMSE.2020.10.32.5.1251]
Yang HK and Park SM(2023). Study on the Development and Validation of Scale to Measure the ‘fun’ factor in Non-face-to-face Classes. Journal of fisheries and marine sciences education, 35(2), 365~376. [https://doi.org/10.13000/JFMSE.2023.4.35.2.365]
Yu C, Oh YM and Choi DO(2021). Study on Influencing Factors of Learning Performance in Capstone Design Class: Focusing on Team Size and Faculty Resource. Journal of Corporate Education and Talent Research, 23(4), 35~53. [https://doi.org/10.46260/KSLP.23.4.2]

Steps	Prior research	Extract common performance assessment elements from prior research
Input	Assignment quality management, Collecting and organizing data, Preparing for a team meeting	Team building, Analyzing the task, Clarifying tasks	Creative problem solving, Critical thinking, information literacy, Quantitative literacy, Research and analysis, Project management, Collaboration, Presentation and report writing	Performance management	Performance management is the systematic management of preparations, participation, schedules, materials, etc. for team-specific activities in line with performance goals.
Process	Finding information, Ideation, Representing knowledge, Self-direction, Task orientation	Finding solutions to challenges, Prioritizing solutions, Designing and creating solutions	Ideation and knowledge sharing	Ideation and knowledge sharing is to collect key data and understand the task accurately, come up with various ideas, organize the explored knowledge, and use visualization tools to clarify the goal of the task performance.
Organizing knowledge to solve problems	Organizing knowledge to solve a task is the exchange of knowledge and information among individual learners who form a team to solve a task and construct new knowledge to reach a solution to the problem.
Output	Conflict resolution, Communication, Sharing and collaboration	Transcribe your findings, Prepare a presentation, Reflect	Collaboratively complete tasks	Collaborative task completion involves reaching consensus with team members to minimize conflict, communicate their ideas persuasively, and actively share resources and visions to continually complement each other to complete the task.

Components of Learner Performance Assessment Competency Behavioral Indicators	Initial items	Deleted items	Modified items	Final items
Performance management	Assignment quality management	Set high performance goals. Check the logical structure. Incorporate feedback.	14	1	2	12
Collecting and organizing data	Check the accuracy of the data collected. Manage data in an organized manner.
Preparing for a team meeting	Plan actions to keep the team on track. Identify and fulfill each person's role.
Ideation and knowledge sharing	Finding information	Extract key data. Evaluate the value of the information collected.	14		1	14
Ideation	Generate ideas in a variety of ways. Critically analyze ideas.
Representing knowledge	Organize information in a systematic way. Represent information visually.
Organizing knowledge to solve problems	Providing direction for task performance	Provide clear directions for task performance. Actively offer input.	12	1	1	12
Problem identification	Continuously explore to solve problems. Check for problems and fix them.
Collaborative problem solving	Conflict resolution	Reconcile conflicts over role assignments. Manage conflict in discussion situations.	12		1	12
Sharing and collaboration	Agree on deliverables with team members. Actively share team vision and materials.
Create and assetize reports	Prepare presentations and reports on task completion. Considers and drives assetization of final deliverables.
Total	52	2	5	50

KMO(Kaiser-Meyer-Olkin)	.979
Bartlett’s test	χ²	22491.304
df	1225
p value	.000

<Table 4>