교육 프로그램의 질적 평가 방안 탐색
Abstract
The purpose of this study is to explore the possibility of qualitative evaluation and applicable models in the evaluation area of educational program. To this end, the concept and characteristics of qualitative evaluation are examined, and grounded theory is selected as a suitable methodology for evaluation, and its characteristics and procedures are described.
Because qualitative evaluation focuses on the spontaneous practice elements of the site, it can supplement the quantitative evaluation of the variables set in advance. The researcher presented the theory of qualification as a methodology for qualitative evaluation, aiming to extract the theory explaining the phenomenon among the qualitative methodologies.
Keywords:
Qualitative evaluation, Grounded theory, Educational programsⅠ. 서 론
기존의 교육 프로그램 평가는 해당 프로그램의 개발 단계에서 설정한 목표가 제대로 성취되었는가를 측정하는 데에 주안점을 두고 이루어졌다. 다시 말해 프로그램이 효과적으로 성과를 도출하였는지를 측정하고 평가하는 것이다. 이를 위해서 주로 활용된 방법은 평가자가 확인코자 하는 변인을 설정하여 변인 간의 관계를 통계적 방법으로 확인하여 얼마나 의미 있는 성과가 도출되었는지를 파악하는 것이다.
그러나 교육 프로그램 실천 현장에서 위와 같은 방식의 평가 전략은 일정 부분 한계점을 가지고 있다. 프로그램 평가에 관련된 기존의 연구들은 평가의 필요성과 타당성, 효용성, 그리고 평정질문 문항 개발 등의 문제에 집중하여 프로그램 실천 현장에서 일어날 수 있는 다양한 활동들을 설명하지 못하고 있다(Lee, 2006). 단순한 인과관계에 기초한 변인을 측정하는 것은 자연 발생적인 현장의 실천 요소들과 괴리될 수 있으며, 그 때문에 이러한 방식으로 산출된 연구 결과물은 실천 현장의 일상에서 발생하는 현실적 면모를 드러내는데 한계를 지니고 있기 때문이다(Go, 2009).
Patton(2002)은 통계적 수치를 해석하기 위해서는 해석의 비판적 맥락으로 기능할 수 있는 인간적 요소들에 대한 이해가 선행되어야 한다고 주장한 바 있다. 질적 평가와 양적 평가가 상호보완적으로 결합된 평가는 통계적으로 신뢰할 수 있는 수치를 확보할 수 있을 뿐만 아니라, 프로그램의 효과와 학습 자체에 대한 포괄적인 이해를 위한 “깊이”를 제공해 줄 수 있다(Department for International Development, 2008).
이러한 질적 평가를 위해서는 질적 연구 방법론을 활용할 수 있으며, 구체적 방법으로는 질적 연구의 여러 전통 가운데 사례연구가 일반적으로 사용되고 있다(Stake, 1995). 그러나 연구자는 근거이론이 교육 프로그램 평가에 적합함을 주장코자 한다. 근거이론은 여타의 질적 연구 전통에 비해 엄밀한 절차를 가지고 있으며, 이론의 발견을 목적으로 하기 때문이다(Kim, 2013).
따라서 본 논문을 통해 연구자는 계량화된 자료를 활용하여 이루어지는 양적 평가와 상호보완적으로 사용될 수 있는 질적 평가의 방안을 근거이론을 중심으로 탐색할 것이다.
본 연구를 위한 구체적인 연구문제는 다음과 같다.
첫째, 질적 평가의 특징과 가능성을 탐색한다.
둘째, 질적 평가의 구체적 방법론으로 활용 가능한 근거이론의 개념과 특징 및 구체적 실행 절차를 탐색한다.
Ⅱ. 질적 평가의 특징과 가능성
1. 질적 평가의 특징
질적 평가와 유사한 의미로 사용되고 있는 용어로 ‘정성적 평가’가 있다. Lee(2013)는 ‘정성적 평가’에 대한 사전적 정의, 평가 매뉴얼이나 실무 지침서 등을 참조하여 그것이 질적 연구방법론을 활용한 평가 방식으로써의 ‘질적 평가’를 의미한다고 밝혔다. 따라서 본 논문에서는 ‘정성적 평가’와 같은 의미의 용어로 ‘질적 평가’를 사용할 것이다.
질적 평가의 기반이 되는 질적 연구는 양적 연구에 대비하여 다음과 같은 특징을 갖는다(Stainback & Stainback, 1984). 첫째, “목적” 면에서 양적 연구는 인과관계, 일반적 법칙 등을 탐색하는 것이 목적인데 반해 질적 연구는 인간행동의 이면에 있는 관념, 느낌, 동기, 신념 등을 보다 심층적으로 이해하는 것이 목적이다. 둘째, “실재” 면에서 양적 연구는 고정되고 검증 가능한 하나의 객관적 실재가 존재한다고 가정하는 반면, 질적 연구는 실재를 사회적으로 구성되어지는 것으로 가정한다. 셋째, “관점” 면에서 양적 연구자들은 외부자의 관점을 취하는 반면 질적 연구자들은 내부자의 관점을 강조한다(참여와 관찰 강조). 넷째, “가치” 면에서 양적 연구는 가치중립성을 유지하기 위해 연구과정에서 주관적 요소를 배제할 것을 요구받는 반면, 질적 연구는 연구과정에서 연구자의 가치관이 개입되는 것을 필연적 현상으로 받아들인다. 다섯째, “초점” 면에서 양적 연구는 특정 연구변인에 관한 자료를 수집하기 위해 표준화된 검사 도구, 질문지, 미리 설계된 관찰 도구 등을 사용하는 반면, 질적 연구는 총체적 관점을 얻기 위해 광범위한 자료를 무엇이든지 연구한다. 여섯째, “방향” 면에서 양적 연구는 미리 설정된 가설을 검증하기 위해 변인과 절차를 엄격히 통제하는 조직화된 연구 방향이 전제되어있는 반면, 질적 연구는 융통성 있고 탐색적이며 발견 지향적이다. 일곱째, “자료” 면에서 양적 연구는 인간의 감정과 분리된 객관적 자료를 수집하고 분석하는 반면, 질적 연구는 인간의 마음에 존재하며 언어로 표현되는 주관적 자료를 수집하고 분석한다. 여덟째, “도구” 면에서 양적 연구는 연구대상으로부터 동일한 자료를 동시에 수집할 수 있는 지필식 검사와 사전에 만들어진 관찰기록, 질문지, 평정척도 등을 도구로 사용하는 반면, 질적 연구에서 자료를 수집하는 가장 중요한 도구는 연구자 자신이다. 아홉째, “조건” 면에서 양적 연구는 연구변인 이외의 변인이 연구에 영향 미칠 가능성을 차단하기 위해 통제된 조건 하에서 자료를 수집하지만 질적 연구 자료는 자연적 방법으로 수집되어 연구 자료에 영향을 미치는 변인들이 제약 없이 계속적으로 작용할 수 있다. 마지막, “결과” 면에서 양적 연구는 신뢰성 있는 자료, 다시 말해 반복 가능한 경성적 자료를 강조하는 반면 질적 연구는 연구 대상에 대한 총체적이고 완전한 모습을 심층적으로 이해할 수 있는 타당성을 강조한다.
한편 평가는 연구방법론에 의지하고 있기에, 질적 평가 역시 이러한 질적 연구의 특성을 가지고 있다. Lee는 질적 평가의 특징을 “다양한 질적 자료의 활용”, “평가자의 전문성에 근거한 평가”, “총합적(holistic) 평가”, “평가 대상의 맥락 중시” 네 가지로 요약하였다(Lee, 2013, pp.82-83).
질적 평가의 네 가지 특성은 앞서 기술된 질적 연구의 특성과 상통한다. 다만 질적 평가는 연구와 구별되는 평가만의 고유한 영역에서 차이점을 갖는다. 연구와 구별되는 평가의 대표적 특성은, 평가는 실용적 목적 달성을 위해 수행되며, 상황적 특성(시간과 장소)과 밀접히 관련된다는 것이다(Rho, 2004). Shaw(1999)는 평가와 연구의 차이를 더욱 상세히 기술하였는데, 그 내용은 아래 <Table 1>과 같다.
The difference between evaluation and research
2. 질적 평가의 가능성
교육 프로그램 평가에서 중요한 하나의 국면은 과정에 대한 평가이다. 과정 평가는 해당 프로그램이 어떠한 효과를 산출하였는지 보다 그 프로그램이 진행되며 발생한 일에 관심을 두고 어떻게 그런 일이 일어났는지에 주목하는 태도를 전제하고 있다. 때문에 과정 평가는 교수자와 학습자 간에, 혹은 프로그램 운영자와 참여자 간에 발생하는 상호작용의 특징이 무엇인지에 초점을 맞춘다(Patton, 2002).
이러한 과정 중심의 평가를 수행하기 위해서는 프로그램이 진행되고 있는 현장의 맥락을 이해하는 것이 필수적이다. 평가자가 프로그램 현장을 체험하고 현장에서 자료를 수집하는 과정이 필요한 것이다.
현장 중심의 귀납적 연구체계를 가진 질적 방법론은 과정을 연구하고 프로그램을 평가하는데 유용하게 쓰일 수 있다. “과정에 대한 경험은 사람에 따라서 각각 다르기 때문에 그들의 경험을 그들의 언어로 수집할 필요가 있다. 특히 과정은 유동적이고 역동적이기 때문에 한 시점에서 단순한 평가도구로 개괄할 수 없다. 참여자의 인식이야말로 과정에 있어서 가장 주요하게 고려해야 할 요인이다.”(Patton, p. 159)
Go(2009)는 프로그램의 성과가 아닌 과정, 곧 수행에 대한 상세한 정보를 얻는 것이 해당 프로그램의 실천과 개선에 유의미한 방향을 제시해줄 수 있다고 주장했다. 그에 따르면 “사람들은 가시적인 성과에서 정보를 얻는 것이 아니라 오히려 그 안에서 수행된 내용에서 보다 풍부하고 유용한 정보를 얻는 경우”가 더 많기에 양적 방법으로는 합산된 평균 점수만 알 수 있을 뿐 독특한 개별 사례는 알 수 없다(p. 41).
하지만 질적 방법으로 확보한 개별 사례에 대한 풍부한 지식은 프로그램 개발 당시에 설정한 목표와 계획대로 운영되지 않는 프로그램을 평가하고 개선하는데 도움이 된다. 인위적으로 변인을 통제하고 외부자의 관점으로 평가를 할 때는 프로그램의 불확실성이 평가 자체를 어렵게 만들 수 있다. 반면 프로그램이 수행되는 생활 공간과 시간 속에서 내부자의 관점으로 평가할 때에는 현장에서 드러나는 프로그램의 장단점을 자연스럽게 파악하고 평가할 수 있다.
Ⅲ. 질적 평가 방법론으로서의 근거이론
1. 근거이론의 개념과 특징
근거이론은 현장에서 수집된 자료에 기초해 현상을 설명할 수 있는 이론을 추출하는 것을 목적으로 한 질적 연구 방법이다. 근거이론은 질환 경험, 돌봄 등의 현상에 초점을 두고 사회과학 분야인 교육, 간호, 경영, 가족연구, 노인학, 사회사업, 여성과 성 연구, 문화연구와 다른 영역에서 확장되어 온 방법론이다(Kim, 2013). 근거이론의 개념 및 특성은 아래 <Table 2>와 같다.
Concepts and characteristics of grounded theory
근거이론은 현장에서 수집된 자료를 분석하여 이론을 도출하는 귀납적 구조를 가지고 있다. 그러나 귀납적 구조는 근거이론만의 고유한 구조라 할 수 없는 질적 연구 방법론 일반의 특징이다. Charmaz(2010)는 여타 질적 연구 방법론과 근거이론을 아래 <Table 3>과 같이 비교하였다.
Comparison of inductive qualitative model and grounded theory
기존의 질적 프로그램 평가는 주로 사례연구 방법론에 따라 이루어진데 반해(Stake, 1995; Go, 2009), 연구자는 이와 같은 특징을 지닌 근거이론을 프로그램 평가를 위한 질적 방법론으로 제시한다(사례연구와 근거이론의 특성 비교는 <Table 4>와 같다). 그 이유는 근거이론이 여타의 질적 연구 방법론인 문화기술지, 현상학, 생애사, 내러티브 연구 등에서 탐색하기 어려운 인간 행위 및 사회현상의 의미를 심층적으로 탐색할 수 있는 이론을 추출할 수 있는 방법론으로써 “현상에 대한 확인과 기술뿐 아니라 주요 속성, 핵심적인 사회/심리학적인 과정과 변화의 궤도 내에서의 상호작용을 가능하게 하기 때문”이다(Kim, 2013, pp. 346-347).
Comparison of case study and grounded Theory
2. 근거이론의 절차1)
근거이론은 연구자 자신이 연구하려는 상황에 들어가서 참여자들의 문화와 행위패턴에 익숙해지고 그들의 입장에서 참여자의 경험을 탐구하는 것이 중요하다. 따라서 평가자는 가장 먼저 평가 대상으로 선정된 교육 프로그램에 관련된 문헌을 연구하고 참가자 특성을 파악해야 한다.
근거이론을 활용한 교육 프로그램 평가는 프로그램 운영자와 참여자로부터 프로그램에 대한 심층자료를 수집할 목적으로 심층면담과 참여자의 강의계획서, 수업교재, 강의평가 등을 사용하여 포괄적인 자료를 확보한다. 면담은 참여자의 권리를 보호하기 위하여 익명을 사용하며, 연구의 목적과 연구과정에 대한 정보를 미리 제공한다.
인터뷰 진행은 연구자 및 연구보조원이 수행하며, 인터뷰 시간은 평균 1시간에서 1시간 30분 정도로, 연구 참여자별로 2회 이상의 인터뷰를 한다. 이때 인터뷰 질문은 Seidman(2006)이 구조화시킨 세 단계를 차용할 수 있다. 제1단계에서는 연구 참여자의 개인사에 대해 개관하며, 제2단계에서는 연구참여자의 교육 프로그램 활동의 구체적인 경험을 묻는다. 마지막으로 제3단계에서는 해당 교육 프로그램 참여가 연구 참여자의 입장에서 갖는 의미와 이후의 개선 방향에 대해 묻는다.
인터뷰 내용은 스마트폰의 녹음기능을 사용하여 기록하고, 각 인터뷰가 끝나자마자 바로 참여자의 감정변화와 목소리 톤의 변화 등의 비언어적 의사소통 내용과 연구자의 면접 시의 생각 등을 메모로 기록한다.
인터뷰한 내용은 연구 참여자의 동의를 얻어 모두 녹음하며, 녹취된 내용은 참여자가 표현한 그대로 전사한다. 전사가 1차 완료된 후 연구자가 인터뷰 녹음내용을 다시 들으면서 전사내용을 검토하는 과정을 거친다.
비교분석을 위해 1차 인터뷰가 끝난 뒤 녹음된 내용을 기록하여 개방코딩을 한다. 개방코딩을 하면서 연구자가 받은 첫인상 및 생각에 대해서 메모하고, 다음 인터뷰 및 관찰을 위해 찾아야 할 것, 물어보아야 할 것과 표본추출 할 것에 대한 의견을 기록한다. 2차 인터뷰에서는 1차 인터뷰에서 물어보지 못했던 내용과 1차 인터뷰 후 확실치 않고 궁금하게 생각되었던 내용을 추가로 질문한다.
인터뷰는 참여자로부터 새로운 내용이 더 이상 나오지 않고, 연구 참여자의 진술을 지속적으로 비교분석하여 포화에 이를 때까지 진행한다. 자료를 수집하면서 비교분석을 함께 실시하는데, 자료수집과 분석에서 떠오른 생각들과 개념들을 계속해서 메모하면서 진행하며, 분석을 통해 이론을 정형화하기 위한 작업을 진행한다.
자료 분석은 자료수집과 동시에 진행한다. 즉 관찰, 자료의 수집, 자료의 조직 및 자료로부터의 이론 형성이 동시에 이루어지도록 연구가 진행되는 동안 자료들을 다른 자료들과 끊임없이 비교 분석하는 과정을 거치며 각 단계를 순환적으로 반복한다.
각 분석단계를 보면 다음과 같다. 1단계에서는 개방코딩의 과정으로 근거자료를 통해 현상에 이름을 붙이고 개념을 도출하고 범주화하는 단계이다. 자료를 한 줄 한 줄 읽어가면서 자료에서의 표면적 의미와 내면적의미를 파악하고 다른 자료와의 유사성과 차이점을 비교하면서 개념을 추출하였으며, 개념을 추출한 뒤 유사한 개념끼리 묶는 범주화 작업을 한다.
2단계는 축코딩의 단계로 각 범주들 간의 관계를 좀 더 포괄적으로 설명하기 위해 인과적 조건, 현상, 맥락적 조건, 중재적 조건, 작용/상호작용 전략, 결과를 근거이론의 틀에 맞추어 분석하면서 각 범주를 연결하고, 각 범주를 속성 및 차원의 수준으로 계속 발전시키며, 범주의 관련성을 패러다임 모형으로 파악한다.
3단계는 선택코딩의 단계로 모든 범주들 간의 관계를 통합적으로 설명할 수 있는 핵심범주를 선택하고 핵심범주를 중심으로 모든 범주를 정교화하여 이야기 윤곽을 만든다. 그리고 핵심범주를 중심으로 인과적 조건(casual condition), 맥락적 조건(contextual conditions) 및 중재적 조건(intervening condition)을 형성하는 각 범주의 속성과 차원의 영역에 따라 있을 수 있는 모든 가설적 상관관계를 정형화한다. 또 근거이론을 구축하기 위해 가설적 관계 진술문을 근거자료와 지속적으로 비교해보면서 각 범주 간에 반복적으로 나타나는 관계를 정형화하여 유형 분석을 한다.
Ⅳ. 결론 및 논의
1. 결론
Bae(2008)는 평가자 역할상의 전환이 여섯 개 국면에서 진행 중이라고 주장했다: 첫째, “측정 방법을 중시하는 평가로부터 평가자의 판단을 중시하는 평가로의 전환”; 둘째, “결과 중심의 단순한 준거만을 중시하는 평가로부터 과정과 복합적인 준거를 중시하는 평가로의 전환”; 셋째, “단순한 방법과 근거에 의존하던 것으로부터 다양한 방법과 복수의 근거 활용으로의 전환”; 넷째, “분류 및 통제 목적의 평가활용으로부터 개선 및 자율 능력(권한 부여)함양 목적의 활용으로의 전환”; 다섯째, “합리주의적, 과학주의적, 행동주의적 논리를 중시하던 평가로부터 통합적, 구성주의적, 포스트모더니즘적 논리를 중시하는 평가로의 전환”; 여섯째, “방법주도평가로부터 논리주도평가로의 전환”이다(pp. 48-54).
그가 주장하는 바에 따르자면 객관적이고 엄격한 방식으로 설정된 준거에 따라 명확하게 평가를 진행하고, 평가의 결과물로 기관, 개인, 그리고 프로그램을 분류하고 통제하는 일에 종사하던 평가자의 역할에 큰 변화가 생기고 있는 중이라고 말할 수 있는 것이다.
또한 Lee(2013)는 프로그램 평가의 전통적 목적을 두 가지로 정리하였다. 첫 번째는 프로그램의 실시와 폐지 등에 관련된 의사 결정을 하기 위한 정보를 얻는 것이며, 두 번째는 책무성을 확보하는 것이다. 그리고 전통적 목적과 대비되는 대안적(alternative) 목적으로 다음 네 가지가 있다고 주장하였다: 프로그램의 이해 및 향상; 지식의 발전; 대리적 경험의 제공; 민주적 과정과 사상의 강화” 네 가지로 정리하였다. 그는 우리나라의 프로그램 평가가 전통적 목적, 특별히 책무성를 강조하는 풍토 속에서 질적 평가보다 양적 평가를 중시하는 분위기가 정착되었다고 주장하였으며, 이는 평가 결과의 타당성을 위협할 수 있다고 밝혔다. 따라서 전통적 평가 목적을 넘어서는 변화를 모색할 필요가 있다.
연구자는 이러한 변화에 능동적으로 대처하기 위한 하나의 방안으로 교육 프로그램의 질적 평가 가능성과 방법론을 탐색하였다. 먼저 몇 개의 변인으로 환원되는 것이 불가능한 교육 프로그램 실행 현장의 복잡성을 제대로 평가하기 위해서는 질적 연구방법론에 기초한 질적 평가가 필요하다는 점을 주장하기 위해, 질적 평가의 특징과 가능성에 대해 논의하였다. 이어서 교육 프로그램을 질적으로 평가하기 위한 구체적 방법론으로, 통상적으로 평가에 주로 사용되던 사례연구 방법론이 아닌 근거이론을 방법론으로 제시하고 그것의 시행절차를 기술하였다.
2. 논의
근거이론을 포함한 질적 연구는 신뢰성의 문제에 관한 질문에 언제나 노출되어 있다. 질적 연구의 신뢰성을 높이기 위한 방안 가운데 대표적인 것으로 현장에서 나타나는 현상들을 확인하기 위해 다양한 참여자들, 다양한 출처의 자료, 다양한 연구방법을 활용하는 삼각측정법(triangulation)이 있다. 삼각측정법은 타당성과 신뢰도를 높이기 위해 연구의 관점이나 시간, 공간과 상황 등을 달리하며 자료와 자료의 해석을 재검토하는 기법인데, Mathison(1998)은 삼각측정법을 다음 세 가지로 설명한다.
첫째는 “자료 삼각측정법(data triangulation)”이다. 자료 삼각측정법은 단순히 몇 가지의 자료의 원천들을 이용하여 자료의 신뢰성을 검증하는 것이다. 연구 참여자의 수를 늘리는 것도 여기에 해당될 수 있다. 뿐만 아니라 다양한 시간과 공간의 원천을 연구 자료에 포함할 수 있다. 하나의 프로그램의 효과를 평가하기 위해, 각기 다른 시간대에 프로그램 참석자를 관찰하는 것, 그리고 강연장과 휴게실 등의 다른 장소에서 관찰하는 것 등을 예로 들 수 있다.
둘째는 “조사자 삼각측정법(investigator triangulation)”이다. 조사자 삼각측정법이란 다수의 조사자를 연구 과정에 개입시킴으로써 연구의 신뢰성을 높이고자 하는 것이다. 질적 연구/평가의 가장 큰 문제로 지적되는 것이 연구자/평가자 한 사람의 주관성에 따라 연구/평가 내용이 전혀 다른 방향으로 전개될 수 있다는 점이다. 조사자 삼각측정법은 지나친 주관성을 배제하는 기법으로 기능할 수 있다. 다만, 연구 과정에 개입할 수 있는 조사자의 기준과 조사자 개개인이 담당해야 하는 역할이 분명하게 설정되어 있지 않을 때는 또 다른 문제가 발생할 수도 있다.
셋째는 “방법적 삼각측정법(methodological triangulation)”이다. 방법적 삼각측정법은 다중의 연구방법을 활용하여 현상을 검토하는 방법으로써, 삼각측정법 중 가장 많이 이용된다.
근거이론은 특정 상황을 설명할 수 있는 이론이 부재할 경우, 해당 상황을 설명하기 위한 이론을 추출하는 것을 목적으로 수행하는 질적 연구 방법론이다. 근거이론을 활용한 교육 프로그램 평가는 추상적 선언에 그치기 쉬운 질적 평가의 실현 가능성을 높일 수 있는 방안이다.
첫 번째 이유는 근거이론 방법론 자체가 여타의 질적 연구 방법론에 비교하여 구조화된 절차를 가지고 있기 때문이다. 질적 연구 방법론은 연구 과정 전반에서 연구자의 직관에 크게 의지하는 경향이 있다. 때문에 양적 평가의 관점에서 보았을 때 질적 평가는 타당도에 대한 의심을 끊임없이 받을 수밖에 없었다. 근거이론의 체계화된 연구 절차는 질적 평가를 위한 방법론으로 활용되기 위한 기본적 조건이 된다.
두 번째로 근거이론은 이론의 산출을 목적으로 하고 있기 때문에 교육 프로그램 평가에 적합하다. 여타 질적 연구 방법론의 경우, 일반화를 목표로 하기보다 연구 대상/사례에 대한 심층 기술을 목적으로 한다. 반면 이론의 산출을 목적으로 하는 근거이론은 비록 양적 연구 방법론 수준의 일반화를 기대할 수는 없으나, 다양한 사례를 분석하고 평가하는 준거를 설정하는데 유용하게 활용될 수 있다.
마지막으로 근거이론의 자료 분석 방법은 기존에 광범위하게 사용 중인 CIPP 평가 모형과 상호 보완적으로 활용될 수 있다. 근거이론은 흩어져 있던 자료를 축 코딩(Axial coding) 단계에서 조건(condition)2), 작용/상호작용(action/interaction), 결과(consequences)로 재조합한다. 이와 같은 근거이론의 자료 분석 방식은, 상황평가(context evaluation), 투입평가(input evaluation), 과정평가(process evaluation), 산출평가(product evaluation)를 골자로 하여 의사결정에 필요한 정보를 제공하는데 특화된 CIPP 모형의 각 요소를 확장, 혹은 심화시키는데 활용될 수 있는 가능성을 담지하고 있다.
Acknowledgments
※ 이 논문은 부경대학교 자율 창의 학술연구비(2016년)에 의하여 연구되었음.
Notes
References
- Bae, Ho-Soon, (2008), Educational Program Evaluation Theory, Seoul, Wonmisa.
- Charmaz, K., (2010), Grounded Theory: Objective and Constructivist Methods, In W. Luttrell (Ed.), Qualitative Educational Research: Reading in reflective methodology and transformative practice, p183-207, London, Routledge.
- Department for International Development, (2008), (Draft) Policy statements on Impact evaluation: September version, Department for International Development.
- Garbarino, Sabine, & Jeremy, Holland, (2009), Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results, Issues Paper, Governance and Social Development Resource Centre.
- Go, Mi-Young, (2009), Qualitative case studies, Seoul, Chungmoksa.
- Gwak, Young-Soon, (2009), Qualitative studies: Philosophy, Art and Education, Pazoo, Education Science.
- Hong, Young-Ki, (2011), Grounded Theoric Approach in Curriculum Design and Reconstruction, Journal of Curriculum Integration, 5(2), p1-18.
- Kim, Young-Chun, (2013), Qualitative research methodology(II): Methods, Pazoo, Academy Press.
- Lee, Eun-hwa, (2006), A Study on Developing a Conceptual Model of Course Evaluation in University, Journal of Fishries and Marice Sciences Education, 18(3), p314-328.
- Lee, Suk-Min, (2012), A study on evaluation theory and model based on philosophical paradigm, Korean Journal of Policy Analysis and Evaluation, 22(1), p59-89.
- Lee, Won-Suk, (2013), Qualitative inquiry and program evaluation, Journal of Educational Development, 29(1), p79-92.
-
Mathison, S., (1988), Why triangulate?, Educational research, 17(2), p13-17.
[https://doi.org/10.3102/0013189x017002013]
- Patton, M. Q., (2002), Qualitative Research and Evaluation Methods, (3rd ed.), Thousand Oaks, Sage Publication.
- Rho, Hwa-Joon, (2004), Policy Evaluation, Seoul, Bubmoon.
- Seidman, I., (2006), Interviewing as qualitative research, NY, Teachers College Press.
- Shaw, Ian, (1998), Qualitative Evaluation, London, Sage Publications.
- Stainback, W., and S. Stainback, (1984), A Rationale for the Merger of Special and Regular Education, Exceptional Children, 51, p102-111.
- Stake, R. E., (1995), The art of case study research, Thousand Oaks, CA, Sage.
- Strauss, A., & Corbin, J., (1998), Basics of qualitative research: Techniques and procedures for developing grounded theory, (2nd ed.), Thousand Oaks, CA, Sage.
- Zukoski, Ann, & Luluquisen, Mia, (2002), Participatory Evaluation: What is it? Why Do it? What are the Challenges?, Policy & Practice, 5, p1-6.