The Korean Society Fishries And Sciences Education
[ Article ]
The Journal of the Korean Society for Fisheries and Marine Sciences Education - Vol. 34, No. 6, pp.1126-1139
ISSN: 1229-8999 (Print) 2288-2049 (Online)
Print publication date 31 Dec 2022
Received 15 Nov 2022 Revised 14 Dec 2022 Accepted 20 Dec 2022
DOI: https://doi.org/10.13000/JFMSE.2022.12.34.6.1126

문제해결형 개요짜기 모델의 대학 계열별 글쓰기 적용 연구

이소의
경성대학교(교수)
A Study on the Application of Outline-making Learning Model to College Writing Education by Major
So-Eui LEE
Kyungsung University(professor)

Correspondence to: 051-663-5955, monica2455@ks.ac.kr

Abstract

This study was conducted to find out what efficiency of OML applying, a problem-solving outline-making learning model, has on the college writing education currently pursued by universities. Among the college students who participated in the writing-related subjects of K University in Busan, a total of 90 students, 30 each by the classes of science and engineering, humanities and social sciences, and arts and physical education, participated in the study. Writing ability evaluation was performed three times without applying OML before OML education, and three times by applying OML after training. The writing genres used to analyze the effect of OML application were persuasive writing, expository writing, and reports, and each evaluation category was divided into five categories: grammar, content, expression, format and context. The application of OML showed a positive effect of increasing writing completeness in all three major fields in this study. Among the three major fields, the effect of OML was the highest in science and engineering field, followed by humanities and social sciences, and arts and physical education field. The results of the study were expected to be used as effective data for writing education in universities.

Keywords:

Problem-solving outline-making learning model, OML, Writing education, Major field

Ⅰ. 서 론

일상에서 대부분 말로 이루어졌던 소통이 코로나19 발생 이후 메일, 메신저, 문자 등 활자를 이용한 커뮤니케이션으로 변화되면서 글쓰기의 중요성은 더욱 강조되고 있다. 글로 일하는 경우가 자연스럽게 증가하여, 글쓰기가 과거에는 실력이었던 것이, 현재 비대면 시대의 직장인들에게는 취업부터 업무 현장까지 생존의 필수 조건이 되었다. 대학생은 졸업 후 바로 현장 업무와 직결된다는 점에서 글쓰기 교육이 더욱 필요하다. 이에 대부분 대학에서는 글쓰기 교과목을 교양 필수로 지정하고 있다. 글쓰기 능력은 대학생 시기에 갖추어야 할 기본 소양임을 증명하고 있다. 글쓰기 관련 논문도 매년 평균 200편 이상 발간되고 있어 다양한 글쓰기 교육 연구가 이루어지고 있다(Kim, 2021). 그러나 대학 글쓰기 교육의 필요성과 다양한 연구 개발에도 불구하고 실효성을 가져오지 못하는 문제점 중에는 일회적인 글쓰기 교육에서 벗어나 지속적인 교육으로 이어져야 한다는 것과 학생의 전공별로 세분화한 교육에 대한 요구가 가장 두드러졌다(Ahn, 2012; Lee, 2018b; Lee and Ka, 2020; Won, 2009). 이런 문제점을 해결하기 위해 2000년대 중후반부터 우리나라 대학에서는 전공과 연계하여 계열별 특성을 반영한 글쓰기 교육이 대두되었다. 해외에서는 미국의 하버드대학, 캘리포니아 공과대학, 스탠퍼드 대학, 시카고 대학에서 글쓰기 평가를 통한 수준별 글쓰기 교육을 전공 연계 글쓰기(WAC, writing across the curriculum) 프로그램을 통하여 이루어지고 있다. 영국에서는 전 교과를 글쓰기와 연계하여 각각 전공에 맞게 세분화하여 이루어지고 있어 글쓰기 교과가 따로 없을 정도로 시작과 끝이 글쓰기로 귀결된다(Kim, 2021). 이처럼 국내외를 막론하고 세분화한 전공 연계 글쓰기에 대한 필요성에 공감하여 계열별 특성을 반영한 글쓰기를 목표로 대학마다 교재 개발 및 다양한 교수 방법 연구를 꾀하고 있다.

글쓰기의 주체인 대학생들이 글쓰기 교육에 지속적인 참여와 자기주도적인 글쓰기 능력향상으로 이어지지 않는 문제점으로는 글쓰기 시작의 막막함과 글쓰기 과정 중에 방향성 상실에 대한 어려움이 큰 비중을 차지했다(Ahn, 2012; Ji et al., 2013). 즉, 글쓰기 단계를 기본적으로‘계획하기→집필하기→수정하기’의 3단계로 나누었을 때 ‘계획하기’ 단계부터 어려움을 겪고 있는 것으로 보인다. 이를 해결할 방법으로 체계적인 글쓰기 단계와 관련하여 가장 기본이 되는 개요작성 연구들이 진행되었다(Lee, 2018a; Lee, 2018b; Kim, 2016a; Kim, 2016b; Park, 2019). 현재 대학 글쓰기 교육에서 개요작성 항목은 거의 모든 대학 교재에서 필수적으로 다루고 있으며 교수자 역시 그 중요성을 인식하고 있다(Lee, 2018a). 그러나 그 중요성에 비해 실제 글쓰기 적용에 어려움이 나타나고 있고 연구 성과 역시 턱없이 부족하다(Kim, 2016b). 교재에서 제시되고 있는 개요작성의 구체적인 형식이나 내용에 대한 효과 검정이나 문제점을 개선하기 위한 연구가 제대로 이루어져 있지 않다(Lee, 2018b). 이에 긴 설명보다는 가능한 짧고 간결한 논리가 강조되는 현실에서 복잡하게 구성된 기존의 개요작성법의 문제점을 해결하기 위해 문제해결형 개요짜기 모델(Outline-making Learning, OML)이 개발되었다(Lee, 2018b). 이 모델은 장르별 글쓰기에 적용하여 다양한 장르에서 글쓰기 완성도를 높이는 긍정적인 효과를 나타내었다(Lee, 2021). 그러나 OML 모델의 효과성을 검증하였던 선행된 연구에서는 계열 특성을 고려한 연구는 없었다. 또한 계열별 전공 연계 글쓰기 교육의 필요성에 따른 계열별 글쓰기 연구도 대체로 한 계열을 대상으로 특정 장르 글쓰기에만 국한되어 있다(Lee and Ka, 2020; Won, 2009).

따라서 이 연구는 이공계열, 인문사회계열, 예체능계열 학생들을 대상으로 각기 다른 전공을 선택한 학생들의 글쓰기 교육에 문제해결형 개요짜기 모델(OML)을 활용하여 계열별 글쓰기 교육 효과를 비교함으로써 실질적인 글쓰기 활성화 방안으로서 실효성을 알아보고자 하였다. 또한 설문조사를 통해 글쓰기 능력 향상도에 대한 학습자 스스로의 평가와 OML 글쓰기 교육의 만족도를 알아보고자 하였다. 이러한 연구 결과는 대학 글쓰기 교육에서의 자발적 참여에 의한 지속적인 글쓰기 향상 방안 연구와 계열별 글쓰기를 위한 기초 자료로 활용될 수 있을 것이다. 구체적인 연구문제는 다음과 같다.

첫째, OML기반의 대학 글쓰기 수업이 각기 전공이 다른 계열별 학생들의 글쓰기 능력 향상에 미치는 효과는 어떠한가?

둘째, OML기반의 대학 글쓰기 수업이 참여한 계열별 학생들의 스스로 느끼는 글쓰기 능력에 미치는 효과는 어떠한가와 OML 적용 수업에 대한 의견은?


Ⅱ. 이론적 배경

문제해결형 개요짜기 모델(OML)은 대학생 글쓰기 교육에 효과적으로 활용하기 위해 개발된 본론 개요짜기 모델이다. 이 모델은 PBL (Problem-based Learning)의 단계적 접근법에 착안하였다. 완성된 글의 형태가 되는 과정에서 나타내고자 하는 의미를 명확화하고 글쓰기에 일관성을 유지하고자 PBL의 문제해결 단계를 재구성하여 본론 쓰기에 집중한 개요짜기 모델이다. OML은 PBL의 특성 중은 ‘질문하기를 통한 문제해결 단계’를 활용하였다. 당면한 과제 혹은 문제를 주도적, 논리적으로 해결하기 위해 학습자 스스로 계속된 질문을 던지며, 이를 통해 문제의 발견부터 해결까지 주제를 잃지 않고 이어갈 수 있다는 것이다. 초기 PBL의 문제해결 단계는 Barrows and Myers (1993)Duffy and Cunningham (1996)가 제시했던 ‘문제제시→문제확인→개별학습, 자료탐색→문제 재확인, 문제해결안 도출→문제해결안 발표→학습결과 정리 및 평가’의 6단계였다.

OML의 4단계는 [Fig. 1]과 같이 글쓰기 과제를 인식하여 세부적으로 나누는 ‘문제의 정의’단계(1단계)⟶세부적으로 나누어진 문제를 해결하기 위한‘문제의 재구성’단계(2단계)⟶재구성된 문제들의 해결방안을 탐색 · 검토 · 선택하여 글의 중심문장, 참주제 선택 단계(3단계)⟶해결 여부 검토 단계(4단계)이다(Lee, 2018b). OML에서는 다시 3단계⟶2단계⟶1단계로 거꾸로 올라가면서 문제해결 여부를 확인하여 핵심적인 중심문장을 최종 검토하고 초고를 작성하게 한다. 유기적인 흐름과 구조를 가진 OML의 각 단계는 전체 글이 만들어지는 과정에 중심이 되는 다리 역할을 하게 된다(Lee, 2018b). 또한 OML은 문학 및 글쓰기 연구에 PBL을 적용하였을 때 나타난 효과적인 부분에 집중하여 설계되었다. PBL은 첫째 학습자가 글을 쓰는 과정이 과제를 인식하고 핵심적인 문제의 정의부터 시작해서 문제를 해결하는 과정이므로 문제해결력을 기를 수 있고(Nam, 2013; Shin, 2014), 둘째, 과정 중심 글쓰기가 가능하여 글쓰기 단계별로 스스로 설계해 나갈 수 있어 학습자의 능동적인 동기유발이 가능하며(Hwang, 2017), 셋째, 단계별 글쓰기의 형태이므로 내용과 형식을 확장해 가면서 구성할 수 있다는 장점이 있다(Park, 2016; Lee, 2021). 이와 같은 PBL의 장점을 기반으로 글쓰기 계획하기 단계에 적합한 본문 개요짜기 모형으로 재구성한 것이 OML이다.

[Fig. 1]

The 4 steps of Outline-making Learning, OML model.

문제해결형 개요짜기인 OML의 특징과 장점을 요약하면 다음과 같다. 첫째, 글의 처음과 결말을 이어주는 본론의 중심문장과 세부 항목들을 설계하면서 글의 중심이 되는 본론 개요짜기를 구성할 수 있게 설계되었다. 글을 완성해 가는 과정에 체계적인 구성을 학습자 스스로 질문을 통하여 문제를 해결하는 개요짜기 방법이다. 둘째, 학습자가 전달하고자 하는 핵심 메시지를 명확하게 구조화시켜 집필하고자 하는 의도를 잘 드러낼 수 있다. 셋째, 본론 개요짜기를 체계화시켜서 서론과 결론을 유연하게 연결해 주는 중추적인 역할을 하여 일관성 있는 글쓰기가 가능하게 하였다. 넷째, 글쓰기 단계를 단순화시켜 학습자가 더 쉽게 전달하고자 하는 메시지의 방향성을 유지하면서 글쓰기를 할 수 있다. 다섯째, 학습자가 자신의 논리와 주장을 신속하고 간결하게 표현할 수 있도록 하였다. 여섯째, 자기 주도적 문제해결력이 부족한 이 시대의 대학생들이 자신의 사고체계와 표현 방법을 배양할 수 있다는 점이다(Lee, 2018b; Lee, 2021). 선행연구들을 종합하여볼 때 OML은 글쓰기 능력 향상에 효과적인 것으로 나타났다.

이 연구는 문제해결형 개요짜기 모델(OML)을 다양한 계열의 대학생을 대상으로 글쓰기 교육에 적용 가능성을 검증하고자 한다. 이러한 연구는 향후 OML이 대부분 교양과정에서 이루어지는 일회적인 글쓰기에서 확장되어 전공 연계 글쓰기로 나아가 범교과적 대학 글쓰기 교수법을 개발하는 데 활용될 수 있다는 점에서 의의가 있다.


Ⅲ. 연구 방법

1. 연구 대상

대학생 글쓰기 교육에 있어서 범교과적 글쓰기로서의 OML의 실효성을 검증하기 위해 연구에 참여한 대상은 2020학년도 K 대학교 교양 필수 글쓰기 관련 교과목을 수강한 1학년 학생 중 이공계열, 인문사회계열, 예체능계열의 3개 분반의 총 105명이었다. 선정한 3개 계열은 연구자가 소속되어 있는 대학의 글쓰기 교과목 분반 편성과 관련하여 분류한 기준이다. 첫 번째 분반은 이공계열 학생으로 화학생명 전공과 신소재 공학 전공 학생들이었으며, 두 번째 분반은 인문사회계열 학생으로 중국어학과와 경제 금융학과 학생들이었다. 세 번째, 예체능 계열 분반은 디자인, 스포츠 건강학과 학생들로 구성되었다. 각 분반 정원 35명 중 글쓰기나 설문에 미참여한 인원을 제외하고 분반별로 30명씩 총 90명을 최종 분석 대상으로 하였다. 이 연구는 2020년도 후학기 9월부터 12월까지 4개월에 걸쳐서 실시되었다.

2. 연구 설계

이 연구는 대학 글쓰기 교육에서 OML 적용의 대학 계열별 효과를 분석하기 위해서 Lee(2021)을 근거로 이공계열, 인문사회계열, 예체능계열 학생을 대상으로 교양글쓰기 교과와 연계하여 논증문, 설명문, 감상문 3가지 장르를 대상으로 글쓰기를 실시하고 평가하였다([Fig. 2] 참조). 글의 진술 방법인 서사, 논증, 묘사, 설명을 토대로 큰 범주에서 3개 장르를 선정하였다.

[Fig. 2]

Writing training and evaluation schedule of Outline-making Learning (OML) efficiency according to three major student groups in this study.

한 학기 수업 15주 중 6주에 걸쳐 OML 글쓰기 교육이 이루어졌다. 1주차는 2시간이며 전반기 3주에는 기존 글쓰기 방법으로 장르별 글의 특징과 구성, 내용에 관해 설명 듣고 3가지 장르의 글을 각각 1회씩 써서 제출하였다. 후반기 3주는 OML 교육과정을 거친 후에 각 장르에 OML 개요짜기를 적용하여 글을 써 제출하였다. OML 교육은 장르별로 여러 주제의 예시를 통해 반복 설명하였으며 학생들이 쓴 개요짜기를 피드백하고 질의응답을 병행하여 충분한 이해를 도왔다. 학생들이 OML 실습으로 피드백을 받은 주요 핵심은 ①개요가 전체 글의 뼈대 역할을 하는가, ②주제문이 글의 내용을 대표하고 있는가, ③개요는 주제문과 중심 문단으로 구성되었는가, ④개요의 항목이 체계적으로 기술되었는가의 4가지이다(Ji et al., 2013).

글쓰기와 평가 절차는 ‘글쓰기→자가수정, 수정본 제출→제출본 점검→최종본 제출→교수자 평가’ 순으로 진행하였다. 학생들에게 제시된 글쓰기 주제는 K대학의 글쓰기 교과서를 참고하였다. 논증적 글쓰기인 논증문의 주제는 OML 교육 전 ‘몸에 좋은 것을 먹을까, 맛있는 것을 먹을까’, 교육 후 ‘길고양이에게 밥을 주어야 할까, 말아야 할까’였다. 자료를 활용한 설명문은 OML 교육 전 ‘대학생활’, 교육 후 ‘가족의 소중함’이었다. 감상문은 영화를 대상으로 하여 OML 교육 전에는 ‘어바웃 타임’, 교육 후에는 ‘인터스텔라’였다.

[Fig. 3]은 이번 연구를 위해서 OML의 단계 적용 방법 교육에 활용된 논증문, 설명문, 감상문 개요의 예시이다. ‘운동을 하자’주제의 논증문 개요짜기 예시, ‘대학생활 연애’란 주제의 설명문 개요짜기 예시, ‘시간 여행자 아내’라는 영화의 감상문 개요짜기 예시 중 하나이다. 예를 들어 ‘대학생활 연애’에 대한 설명문을 쓴다고 가정해보자. 대학생활 연애’를 할 때 고려해야 하는 요소들을 다각적으로 검토하기 위해 ‘대학생활 연애’에서 필요한 조건은? 이라는 세부 영역별 질문들로 나누어 보아야 한다. 학생이 작성한 예시처럼 경제(예산), 시간, 가치관에 대한 부분은 가장 중요한 부분으로 주어진 과제에 대한 문제를 정의하는 활동이다. 다음으로 2단계 문제의 재구성에서는 각 영역을 검증할 수 있는 질문을 던져본다. 목적에 따른 과제를 세부적인 문제로 나눈다.

[Fig. 3]

Outlining examples of Outline-making Learning (OML) model for persuasive writing of ‘Let’s exercise’, expository writing of ‘College romance’ and report writing of a muvie, ‘The time traveler’s wife’.

이런 과정을 통해 ‘아르바이트 또는 더치페이’, ‘시간 관리 스케쥴 표 작성’, ‘자존감을 올려줄 수 있는 책 읽기’ 등의 세부 주제들이 도출된다. 질문들을 통해 도출된 핵심 메시지들은 전체 글의 본론을 구성하는 세부 주제문들이 될 수 있으며 다음 단계인 글 전체 개요짜기 과정으로 자연스럽게 연결할 수 있는 발판이 된다. 이렇게 질문을 세부적으로 쪼개고 대답하는 과정을 통해 글 전체 주제의 일관성을 잃지 않고 하위 주제를 도출할 수 있다.

가. 계열별 OML 적용 효율성 평가

(1) 논증문의 OML 적용 효율성 평가

글의 완성도를 평가하기 위해서 어법, 내용, 표현, 형식, 맥락의 5개 항목으로 세분하여 평가하였다. 논증문에서 어법 항목은 맞춤법, 표준어, 문장오류로 평가하였다. 내용 항목은 주장의 일관성과 근거와의 연관성으로 평가하였다. 표현 항목은 표현의 구체성, 간결성과 일관된 용어의 사용, 우리말 표현의 정도와 글의 흐름이 자연스러운 정도를 평가하였다. 형식 항목은 서론, 본론, 결론의 구성과 소주제 중심의 단락 구분 능력과 논리 순서에 맞는 구성 등을 평가했다. 맥락 항목은 논리적 맥락이 주장에 기반을 두고 폭넓고 깊이 있게 논의되었는가를 평가했다(Ji et al., 2013).

(2) 설명문의 OML 적용 효율성 평가

설명문 글의 완성도 평가를 위해서 논증문 평가에서와 동일하게 5개 항목으로 나누어 평가하였다. 어법 항목 평가는 논증문 평가에서와 동일하다. 맞춤법, 띄어쓰기, 표준어 사용의 정확성, 문장 오류의 유무 정도로 평가하였다. 내용 항목은 글의 주제와 목적의 제시 여부, 설명기법 활용의 정확성을 평가하였다. 표현 항목은 내용의 명료성, 문장의 간결성, 문단 배열을 통한 글의 가독성, 주제에 맞는 구체적 진술 정도를 평가하였다. 형식 항목은 처음, 가운데, 끝의 글의 형식적 짜임새의 유무와 기술 방법의 통일성, 글의 체계성을 평가하였다. 맥락 항목은 정보전달의 필요성 및 목적의 제시, 각 속성 간의 관련성 제시 여부에 있어서 각각 맥락성, 일관성, 연계성을 평가하였다(Seo, 2003; Lee, 2011).

(3) 감상문의 OML 적용 효율성 평가

감상문을 평가하기 위한 지표로서 어법 항목은 풍부한 어휘의 정확한 활용이었다. 내용 항목은 작성된 글의 체계성, 일관성, 해석 제시, 감정 제시, 개인의 감상 평가 제시를 평가하였다(Choe, 2011). 표현 항목은 독자가 정확하고 쉽게 이해할 수 있도록 기술하였는가를 평가하였다. 형식 항목은 글쓰기 형식의 유무와 필자의 자기성찰적 느낌이나 생각의 표현을 평가지표로 하였다(Shin, 2010). 맥락 항목은 표현하고자 하는 내용 흐름의 유연성을 평가하였다.

(4) 글쓰기 향상도 평가

OML 교육에 의한 학생들의 글쓰기 수준 향상도를 알아보기 위해서 3개 장르의 OML 교육 전과 교육 후의 각각의 글쓰기 수준을 평가한 후 아래의 식으로 백분율로 계산하였다.

 %=  -     ×100
나. 대학생 자가 평가 및 의견 개진

OML 적용 글쓰기와 적용 전의 글쓰기 능력에 대한 대학생의 자기 의견을 조사하기 위한 설문은 Lee(2021)을 근거로 객관식 문항은 글쓰기에 있어서 주제에 맞는 문장과 문단 구성, 개요짜기 유무, 서론, 본론, 결론의 구성 능력 등을 묻고, 글쓰기에 있어서 체계성과 일관성을 묻는 문항으로 구성하였다. 문항별 응답 형식은 6점(1: 전혀 그렇지 않다, 6: 매우 그렇다)으로 측정되었으며, 점수가 높을수록 OML 적용 글쓰기 능력 정도가 높은 것으로 해석된다. 주관식 문항은 OML적용 글쓰기 활동이 글쓰기에 대한 생각에 미친 영향과 OML 글쓰기 교육 활동 참여 과정에 대한 소감을 묻는 내용이었다([Fig. 4] 참조).

[Fig. 4]

Questionnaire for the self-evaluation of the students on OML-based writing activity in this study.

4. 통계처리

본 연구의 결과를 검증하기 위한 자료의 통계처리는 SPSS 29.0 프로그램을 이용하여 각 항목의 교육 전과 교육 후의 자료 비교는 t 검정(paired t-test)을 통하여 평균 간의 차이를 검토하였고, 계열 간 결과의 비교를 위해서는 분산분석(one-way ANOVA)과 사후검정(Tukey’s HSD test)을 실시하여 평균간 차이를 검정하였다. 검정은 모두 유의 수준 0.05 하에서 진행하였다.


Ⅲ. 연구 결과 및 논의

1. OML기반의 글쓰기 수업이 계열별 학생들의 글쓰기 능력에 미치는 효과

문제해결형 개요짜기 모델인 OML을 활용한 글쓰기 교육이 각각 다른 계열의 대학생 글쓰기에 미치는 영향을 알기 위해서 이공계열, 인문사회계열, 예체능계열 대학생들을 대상으로 OML 교육 전과 후에 논증문, 설명문, 감상문의 3가지 장르의 글쓰기 수준을 5개 평가 항목으로 세분하여 평가한 결과는 <Table 1>과 같다.

Results of evaluating writing level of the students before and after OML education with paired t-test values

가. 이공계열 글쓰기 능력 향상 효과

이공계열 학생들을 대상으로 한 글쓰기 평가의 경우, 논증문을 대상으로 평가한 결과 평가점수가 교육 전 평균이 9.9이던 것이 OML 교육 후에 OML을 글쓰기에 적용함으로써 12.6으로 높아졌다(p<0.05). 설명문에서도 교육 전 9.5이던 것이 OML 교육과 적용 후에는 12.4로 유의적으로 높아지는 결과가 나타났다(p<0.05). 감상문의 경우도 교육 전 평가 평균이 9.5이던 것이 교육 후 12.7로 높아졌다. 3가지 장르를 통합한 글쓰기 평가는 교육 전 9.6에서 교육 후 12.6으로 전체적인 글쓰기 수준이 높아진 것으로 나타났다(p<0.05). 이러한 결과는 논증문, 설명문, 감상문의 3가지 장르 글에서 문제해결형 개요짜기인 OML의 교육훈련과 글쓰기 적용이 이공계열 대학생의 글쓰기 능력을 향상하는 데 도움이 되었다는 것을 나타낸다.

OML은 글을 써나가는 과정이 학습자 스스로 질문하기를 통해서 중심문장과 세부 항목들을 구성하는 문제해결 과정이기 때문에 이공계 학습자에게 효율적인 글쓰기 방법론이다. 이는 이공계 글의 특성에 맞는 문제의 해결안을 만드는 개요작성을 제안한 Jun(2011)의 연구와 맥락을 같이한다.

또한 이공계 학생들의 진로 및 전공과 연계된 성찰적, 논리적 글쓰기 연구에서 나타난 결과와 이공계열 학생을 위한 인문과 실용적 글쓰기를 함께 논의한 연구 결과와도 넓은 범주에서 일치하고 있다(Nho and Lee, 2019; Kim and Park, 2016). 이 연구에서 이공계 학생들에게 적용한 OML 글쓰기는 설명문, 논증문, 감상문 3가지 글 장르에서 나타난 결과이기 때문에 면밀하게 보자면 타 연구와 차별성은 있다. 연구 결과들을 종합할 때 Kim(2017)의 이공계열 대학생의 글쓰기 교육과 관련한 인식조사에서 문제해결을 위한 의사소통 역량 강화의 중요성에 대한 논의와 OML 적용 글쓰기 교육에서 이공계 학생들에게 나타난 결과를 토대로 OML 적용 글쓰기 교육은 이공계열 학생들에게 효과적인 글쓰기 방안으로 평가된다.

나. 인문사회계열 글쓰기 능력 향상 효과

인문사회계열 학생들을 대상으로 한 글쓰기 평가의 경우, 논증문에서는 평가점수가 교육 전 평균이 10.7이던 것이 OML 교육 후에 OML을 글쓰기에 적용함으로써 13.2로 높아졌다(p<0.05). 설명문에서도 교육 전 10.5이던 것이 OML 교육과 적용 후에 12.8로 유의적으로 높아지는 결과가 나타났다(p<0.05). 감상문도 교육 전 평가 평균이 11.3이던 것이 교육 후 13.2로 높아졌다. 3가지 장르를 통합한 글쓰기 평가에서도 역시 교육 전 10.8에서 교육 후 13.1로 글쓰기 수준이 높아진 것으로 나타났다(p<0.05).

이와 같은 결과는 논증문, 설명문, 감상문 등 글의 장르와 상관없이 OML의 교육훈련과 글쓰기 적용이 인문사회계열 대학생의 글쓰기 능력을 향상시키는 결과를 가져왔다는 것을 나타낸다. Lee and Ka(2020)가 인문사회계열 학생들의 쓰기에 대한 인식조사에서 유기적으로 짜임새 갖춘 글이 중요하다고 한 것처럼, 학습자에게 체계적이고 일관성 있는 글쓰기가 가능하도록 설계된 OML 적용 글쓰기 교육은 인문사회계열 학생에게도 효과 있는 글쓰기 교육 방안으로 생각된다(Lee, 2021).

다. 예체능계열 글쓰기 능력 향상 효과

예체능계열 학생들을 대상으로 실시한 OML 적용 전과 후에 글쓰기 평가를 실시한 결과는 다음과 같다. 논증문을 대상으로 평가한 결과는 교육 전 평균이 9.6이던 것이 OML 교육 후에 OML을 글쓰기에 적용함으로써 11.2로 높아졌다(p<0.05). 설명문에서도 교육 전 9.5이던 것이 OML 교육 후에는 11.2로 유의적으로 높아지는 결과가 나타났다(p<0.05). 그러나 감상문의 경우는 교육 전 10.7, 교육 후 11.3으로 통계학적으로 유의한 차이를 보이지 않았다. 3가지 장르를 통합한 글쓰기 평가에서는 교육 전 9.9에서 교육 후 11.2로 글쓰기 수준이 높아진 것으로 나타났다(p<0.05).

예체능계에서는 논증문, 설명문, 감상문 등 전체 글 장르에서 OML 적용 효과가 나타났던 이공계열과 인문사회계열의 결과와는 다소 차이가 있었고, 이러한 결과는 계열 간 학생들의 특성 차이가 영향을 미친 것으로 생각된다. 예체능 계열은 전공의 특성상 작품이나 실기를 통하여 표현하는 것이 익숙하며, 전공과 쓰기에 대한 연계성 인식 등 개인차가 있다(Yang, 2016). 이러한 점을 고려한다면 OML 적용 글쓰기 교육이 더욱 필요해 보인다. 특히나 작품에 대한 정보가 중심인 설명적 글이나 감상과 이해를 전달하는 감상문 등의 글에 OML 적용 글쓰기를 활용한다면 쓰기 능력향상을 기대할 수 있을 것이다.

라. 계열별 글쓰기 능력 향상 효과 비교

계열간 OML 적용에 의한 글쓰기 능력 향상 효과를 비교한 결과 <Table 2>와 같이 교육 전후 학생들의 글쓰기 수준이 이공계열, 인문사회계열, 예체능계열에서 OML 교육 전 각각 9.6, 10.8, 7.4이던 것이 OML 교육과 적용 후 12.6, 13.1, 11.2로 높아져서, 교육 전과 후 모두 인문사회계열 학생들이 글쓰기 수준이 가장 높고, 다음으로 이공계열, 예체능계열 순으로 통계학적 유의한 차이가 나타났다(p<0.05). 이러한 결과는 인문사회계열은 타 계열에 비해 글쓰기에 대한 선호도와 경험이 많아 글쓰기가 능숙하다는 일반적인 특성이 결과에 반영된 것으로 보인다.

Comparison of the writing level of the different major students before and after OML education

OML 교육과 적용의 효과를 분석하기 위해서 계열별 글 수준 향상률을 백분율로 나타낸 것이 <Table 3>이다. 이공계열 학생들의 논증문 쓰기는 43.4%, 설명문은 35.0%, 감상문은 45.4%를 나타내었고 전체 평균 41.2%였다. 인문사회계열에서는 논증문에서 29.7%, 설명문 25.1%, 감상문 23.1%, 전체 평균 26.0%로 나타났다. 예체능계열에서는 논증문 20.2%, 설명문 24.6%, 감상문 12.7%로 전체 평균 19.2%를 보였다. 글쓰기 향상률의 결과 수치상으로는 이공계열이 가장 높고 다음으로 인문사회계열, 예체능계열 순으로 나타났지만 분산분석에서 통계학적인 유의성은 보이지 않았다(p>0.05). 이공계열이 타 계열에 비해 결과 수치상으로는 높게 나타난 것은 Shin(2008)이 지적하였던 것과 같이 문제의 정리와 체계화, 통합, 논리적 맥락을 중시하는 이공계 글쓰기의 특징과 문제해결 과정을 쉽고 간결하게 재구성한 개요짜기 모델인 OML 글쓰기 특징이 맥락을 같이 하는 것으로 생각된다. 통계학적인 유의차를 보이지 않은 이유는 표본 수가 적고 학생들 간의 글쓰기 수준 향상률의 편차가 컸기 때문으로 분석된다. 추후 명확한 분석을 위해 보다 많은 실험군을 대상으로 세부적이고 다양한 추가 연구가 요구된다. 특히 Lee and Ka(2020)의 논의에서와 같이 계열 구분에 있어 더욱 세분화한 전공영역 글쓰기 연구가 필요해 보인다.

Comparison of the improvement rates(%) of writing levels of the students in different majors

이 연구에서 OML 적용의 효과가 대학 계열별 학생들의 글쓰기 수준 향상에 미치는 영향을 3개 장르의 글쓰기를 통해서 종합적으로 비교해 본 결과, OML 교육은 학생들의 글의 완성도에 대한 긍정적 영향으로 다양한 계열 학생들의 장르별 글쓰기에 효과적인 것으로 나타났다. 이번 연구 결과로부터 OML을 적용한 개요짜기의 특징을 잘 활용한다면 범교과적 글쓰기 교육이 가능하리라 기대된다.

2. OML기반의 글쓰기 수업이 글쓰기 능력에 미치는 학생 자가 평가 및 의견 설문 결과

이 연구에서 OML 교육 전후에 글쓰기 능력에 대한 학생들 자가 평가 및 의견 개진을 위해서 8개 객관식 문항과 2개 주관식 문항의 설문지를 활용하여 설문조사를 실시한 결과는 <Table 4>와 같다. 이공계열, 인문사회계열, 예체능계열 대학생을 대상으로 한 설문조사에서 학생 스스로 생각하는 글쓰기 능력이 각각 OML 교육 전에는 3.7, 3.8, 3.3이던 것이 교육 후 4.1, 4.7, 3.5로 나타났다. OML 교육 전후의 점수 차이는 인문사회계열에서 0.9로 가장 컸고, 다음이 이공계 0.4로 OML 교육이 학생 자가 평가에서도 글쓰기 능력향상 효과가 있는 것으로 조사되었다(p<0.05). 그러나 예체능계에서는 0.2로 비교적 낮은 차이를 보이며 통계학적으로 유의차가 없는 것으로 나타났다(p>0.05). 이러한 결과는 Lee(2021)의 연구에서 OML을 활용한 장르별 글쓰기 교육과 실습에서 학생 스스로 글쓰기에 대한 인식과 태도가 긍정적이고 자기주도적으로 변화하였다고 평가한 것과 일맥상통한다.

Self-assessment results of writing skills of three major student groups before and after OML education

교육 후 OML 기반 글쓰기 활동이 글쓰기에 대한 생각이나 태도에 어떤 영향을 미쳤는지와 OML 기반 글쓰기 활동 참여 과정에 대해 자유 의견을 묻는 주관식 설문에서는 아래와 같이 학생들의 답변이 다양하게 개진되었다.

평소 건축을 하거나 조형을 할 때도 뼈대를 세우고 완성품의 대략적인 모양을 구상하듯이 글을 쓸 때도 적절한 도안이 필요하다는 것을 깨달았다. oml 기반 글쓰기는 이러한 내 생각과 정확히 부합하는 기법이었다. 유익한 기법을 알게 되어 글을 쓰는 과정이 쉬워졌고 집필 도중 불필요하게 헤매는 시간이 단축되어 효율적인 시간 운용이 가능해졌다. 앞으로 자소서나 보고서 등을 쓸 때도 oml기법을 유용하게 사용할 것 같다. <학생1>
전공과 관련하여 글쓰기는 매우 중요하다는 것을 알지만 대충 필요한 정보를 인터넷에서 찾아 짜깁기하듯이 글을 썼다. 그러다 보니 솔직히 내 생각을 적어 나간다는 것이 어려웠다. 고등학교 졸업한 이후에 체계적으로 글을 써 보는 기회가 흔치 않았는데 오랜만에 유익한 시간을 통해 이전에 글을 써오던 방식과 생각을 바꾸는 계기가 되었다. 앞으로 막연한 글쓰기로부터 탈출할 수 있을 것 같다. 또 산만한 내 글이 짜임새 있게 탄탄해졌고 깔끔해진 기분이다. <학생2>
글 사이를 연결하는 것이 어려웠는데 개요짜기를 한 후에 글을 쓰니 훨씬 생각 정리가 쉽고 더 글이 잘 써졌다. 그동안 내 글의 문제가 무엇인지 확실히 알 수 있었다. oml 글쓰기 수업에서 글의 핵심이 되는 본론을 만들어 가는 방법이 흥미롭고 재밌었다. 평소에 글쓰기에 어려움이 있었는데 이번 강의를 통해 조금이나마 어려움을 덜 수 있었다. <학생3>
글쓰기에 대해 부정적으로 생각하고 어떻게 써야 할지 막막했다. 지금은 예전보다 훨씬 글을 수월하게 적고 구성할 수 있게 된 것 같다. 무작정 글을 썼던 이전과는 달리 글을 쓰기 전에 핵심적인 주제, 문단의 중심문장 등 어떻게 써 내려갈지 생각하며 구체적으로 설계를 하고 글을 쓸 수 있게 되었다. oml프로세스만 학습하는 교과목이 있었으면 좋겠다. <학생4>

학생들의 설문 문항에 대한 답변 내용을 정리해 보면 첫째, 기존 글쓰기 활동보다 유익한 것 같다. 둘째, 글쓰기를 할 때 생각이 정리되고 체계가 잡혔다. 셋째, 글을 쓸 때 OML을 활용하여 써야겠다. 넷째, 문제해결 프로세스가 글쓰기와 맥락을 같이 한다는 것이 재밌고 글쓰기에 흥미가 생겼다. 다섯째, 기존 글쓰기보다 시간이 짧게 걸렸다 등 긍정적인 의견이 대부분이었다. 이와 같은 결과는 학습자가 자신이 전달하고자 하는 핵심 메시지를 명확하게 구조화할 수 있다는 OML의 특징이 잘 반영되었다는 것을 알 수 있다. 또한 다양한 전공의 학생들이 논리적 사고와 체계적인 개요짜기가 가능하다는 것을 종합적으로 말해 주고 있다.

이상의 연구 결과들을 종합하면 문제해결형 본론 개요짜기인 OML 기반의 글쓰기는 다양한 전공계열 학생들의 글쓰기 능력 향상에 긍정적 효과를 나타내었고, 글쓰기에 대한 학생들의 흥미 유발 효과가 나타났다.


Ⅳ. 결론 및 제언

이 연구는 현재 대학생의 글쓰기 능력의 중요성이 커지고 있는 가운데 글쓰기에서 중요한 부분을 차지하는 개요짜기를 복잡한 기존의 문제점을 개선하고 학습자가 쉽고 효율적으로 활용할 수 있도록 개발된 문제해결형 개요짜기(OML)의 적용 효과를 알아보기 위해 진행되었다. 각기 다른 전공을 선택한 이공계열, 인문사회계열, 예체능계열 대학생들을 대상으로 OML 글쓰기 교육 전과 후의 글쓰기 수준을 비교 분석하였다. 또한 글쓰기 수준의 정확한 평가를 위해서 논증문, 설명문, 감상문의 3가지 장르로 구분하여 글쓰기를 실시하였고, 각각의 평가 범주는 어법, 내용, 표현, 형식, 맥락의 5개 평가 항목으로 나누어 평가하였다. 또 OML적용 글쓰기와 적용 전의 글쓰기 능력에 대한 대학생의 자기 의견을 조사하기 위해서 글쓰기 교육 전과 후에 각각 설문조사를 실시하였다.

계열별 글쓰기 교육에 OML 적용이 대학생 글쓰기 능력에 미친 영향을 검토해 본 결과 3개 계열 모두에서 글쓰기 완성도를 높이는 긍정적 효과를 나타내었다. 대상이 된 3개 계열 중에서는 이공계열에서 효과가 가장 높았고 다음으로 인문사회계열이고, 예체능계열이 가장 낮게 나타났다. 학생들의 사전, 사후 설문지 답변을 통해서도 OML 적용 글쓰기에 대해 3개 계열 모두 긍정적인 반응을 알 수 있었다. OML 적용 글쓰기는 글쓰기 개요짜기를 4단계로 단순화함으로써 다양한 전공의 학습자들이 글쓰기에 대한 접근과 설계를 훨씬 쉽고 흥미를 가질 수 있게 하였으며, 글쓰기 능력 향상 효과가 나타났다. 이런 점에서 다양한 전공을 선택한 대학생을 위한 범교과적 글쓰기 방법으로서 OML의 효용성을 보이며 향후 전공 연계 글쓰기에도 활용될 것으로 기대된다.

끝으로 이 연구의 한계점으로 분석에 활용된 학생 자료의 수적 한계와 학생 각각의 특성 및 대외 변수의 미반영, 예체능 계열에서 학생 간의 결과치 편차로 인한 통계적인 유의성 미확보 등을 들 수 있다. 이러한 문제해결을 위해 금후 보다 많은 자료를 대상으로 한 조사 분석이 필요할 것이다. 따라서 이번 연구 결과를 기초로 현재 대학에서 추진하고 있는 전공 특성을 고려한 글쓰기 교육에 OML의 효율적인 활용을 위해서는 다양한 전공의 학생을 대상으로 세부적인 전공에 대한 이해를 바탕으로, 학생 특성을 고려한 심도 있는 후속 연구가 필요할 것으로 생각된다.

References

  • Ahn SH(2012). A study on freshmen at university’s understanding about paper writing. Korean Association for Literacy 5, 39~66.
  • Barrows HS and Myers AC(1993). Problem-based learning in secondary schools. springfield, Ill. problem-based learning institute, Lanphier high school and southern Illinois medical school.
  • Choe HM(2011). Establishing standards for content-based assessment of Korean writing based on text category, with a focus on expository writing, persuasive writing, and reports. Hansung- eomun 30, 218~252.
  • Choi SM(2011). The setting and using problem of evaluation criteria in the college writing instruction. Research on writing 13, 223~250.
  • Chong HM(2010). A study of conflicts between objectivism and subjectivism in writing assessment. The studies of Korean language and literature 37, 217~249.
  • Duffy TM and Cunningham DJ(1996). Constructivism: implications for the design and delivery of instruction. In handbook of research for educational communications and technology, ed. Jonasson DH, New York: Macmillan.
  • Hwang SK(2017). A study about the education of creative writing utilizing the PBL. Thinking and expression 10(1), 51~80.
  • Ji HB(2013). 'Outlining' Teaching model through Wiring Clinic Case Study of College Students. Korean Journal of General Education 7(2), 449~490.
  • Ji HB, Ahn MA and Kim YC(2013). The reality and the challenges of college writing education seen through the writing clinic program. Korean Journal of general education 7(4), 11~38.
  • Jun EK(2011). A study on the teaching method in engineering writing related with the accreditation board engineering education of Korea-focused on developing a teaching model in the center of the process-combined. The Korean language and literature 51, 145~177.
  • Jun EK and Bae HJ(2020). A study on the development of diagnosis tools analyzing basic writing ability for college freshmen, The case of K-university in gyeongsangbuk-do. The Korean journal of literacy research 11(2), 219~262. [https://doi.org/10.37736/kjlr.2020.04.11.2.08]
  • Kim KH(2017). A study on communication competency analysis and development plan of educational content for engineering undergraduates. The Korea contents association 17(5), 529~539. [https://doi.org/10.5392/JKCA.2017.17.05.529]
  • Kim M(2016a). A study on teaching method of writing based on process by outlining. Gunji humanities 16, 83~104.
  • Kim SR(2016b). The study on creating outline education in the university writing, Based on the case analysis of writing and communication at Hoseo university. The journal of Korean literary creative writing 15(37), 233~267.
  • Kim SR(2021). Current status and challenges of teaching college writings. Korean association for literacy 12(3), 277~298. [https://doi.org/10.37736/KJLR.2021.06.12.3.10]
  • Kim YJ(2013). A study on integrated model of reading and writing, focusing on reading masterpieces and writing. Korean journal of general education 7(3), 461~482.
  • Kim SK and Park HJ(2016). A study on the practical writing through reading classics : the case of specialized class for engineering <Reading classics and writing>. Korean college composition and communication 17(17), 33~70.
  • Lee C(2018a). Study on ‘How to write an outline’ sections in college writing skills textbooks. Soonchunhyang humanities science 37(1), 153~180. [https://doi.org/10.35222/IHSU.2018.37.1.153]
  • Lee EH(2011). A study on the perception of genre in Korean language learners' compositions: focusing on expository writing, persuasive writing. Unpublished master’s thesis, Ewha womans university.
  • Lee HS(2017a). A study on the evaluation of diagnostic evaluation and diagnosis of the assessment foundation for the evaluation of writing basis in university campus. The Korean journal of literacy research 21, 47~67. [https://doi.org/10.37736/kjlr.2017.09.21.47]
  • Lee HY(2013). Current status and future task of college writing education. The society of hansung language and literature 32, 449~467.
  • Lee SE(2018b). The study on outline-making learning model for undergraduate writing education. Soonchunhyang humanities science 37(4), 63~90. [https://doi.org/10.35222/IHSU.2018.37.4.63]
  • Lee SE(2021). A study on application of the outline-making learning to college writing education. Journal of fisheries and marine sciences education 33(3), 806~818. [https://doi.org/10.13000/JFMSE.2021.6.33.3.806]
  • Lee SW(2017b). Freshman writing exam and one-to-one writing mentoring at SNU, learning from new programs. Ratio et Oratio 10(2), 137~161. [https://doi.org/10.19042/kstc.2017.10.2.137]
  • Lee YB(2017c). A study on the inter-subjective assessment linked to college writing instruction. The Korean journal of literacy research 21, 11~46. [https://doi.org/10.37736/kjlr.2017.09.21.11]
  • Lee SK and Ka EA(2020). Analysis of educational needs by major for learner-centered education in college writing. Research on writing, 109~143. [https://doi.org/10.31565/korrow.2020..44.004]
  • Nam JS(2013). Creative class model and its significance in the way of writing statement utilizing PBL. Thinking and expression 6(1), 83~109. [https://doi.org/10.19042/kstc.2013.6.1.83]
  • Nho EJ and Lee SO(2019). Writing method using film text for students in science and engineering-based on the movie "Gattaca". Korean thought and culture 97, 159~189. [https://doi.org/10.31037/KTAC.97.7]
  • Park CH(2019). The methodology of outlining in university academic writing education and proposals for improvement. Korean language and literature in international context 81, 293~319. [https://doi.org/10.31147/IALL.81.11]
  • Park SO(2016). A study on a university writing class design that utilizes problem-based learning (PBL). The journal of language & literature 65, 187~213. [https://doi.org/10.15565/jll.2016.3.65.187]
  • Seo JH(2003). A study on setting criteria for writing evaluation. Unpublished master’s thesis, Korea university.
  • Shin HS(2014). A case study about the education of academic writing utilizing the PBL. Liberal arts education research 8(1), 11~52.
  • Shin JE(2010). A study on the education method for writing Korean sentiments: focusing on the analysis and application of texts. Unpublished master’s thesis, Korea university.
  • Song H(2015). An analysis of basic grammar evaluations for college students’ writing PDF icon. Journal of Korean language education 35, 31~57. [https://doi.org/10.17313/jkorle.2015..35.31]
  • Shin SK(2008). A proposal to design new writing courses for engineering students. Research on writing 7, 35~58.
  • Won M(2009). Why is ‘writing across the curriculum (WAC). Philosophy and reality, 161~175.
  • Yang TY(2016). Teaching-learning model for academic writing based on text analyses of arts and physical education college students. Journal of learner-centered curriculum and instruction 16(7), 541~562.

[Fig. 1]

[Fig. 1]
The 4 steps of Outline-making Learning, OML model.

[Fig. 2]

[Fig. 2]
Writing training and evaluation schedule of Outline-making Learning (OML) efficiency according to three major student groups in this study.

[Fig. 3]

[Fig. 3]
Outlining examples of Outline-making Learning (OML) model for persuasive writing of ‘Let’s exercise’, expository writing of ‘College romance’ and report writing of a muvie, ‘The time traveler’s wife’.

[Fig. 4]

[Fig. 4]
Questionnaire for the self-evaluation of the students on OML-based writing activity in this study.

<Table 1>

Results of evaluating writing level of the students before and after OML education with paired t-test values

Major Writing
Genre
Step Mean SD t(29) p
Science and Engineering Persuasive pre-test 9.9 2.96 -3.4583 0.002
post-test 12.6 2.27
Expository pre-test 9.5 1.31 -5.3063 0.000
post-test 12.4 2.58
Report pre-test 9.5 2.36 -4.8624 0.000
post-test 12.7 2.34
Total pre-test 9.6 1.33 -6.8751 0.000
post-test 12.6 1.61
Humanities and Social sciences Persuasive pre-test 10.7 2.31 -4.2070 0.000
post-test 13.2 2.58
Expository pre-test 10.5 1.96 -3.8104 0.001
post-test 12.8 2.58
Report pre-test 11.3 2.73 -3.5973 0.001
post-test 13.2 2.16
Total pre-test 10.8 1.28 -7.7258 0.000
post-test 13.1 1.66
Art & Physical education Persuasive pre-test 9.6 1.81 -3.4698 0.002
post-test 11.2 1.64
Expository pre-test 9.5 2.05 -3.0894 0.004
post-test 11.2 2.10
Report pre-test 10.7 2.40 -0.8663 0.393
post-test 11.3 3.20
Total pre-test 9.9 1.32 -3.9750 0.000
post-test 11.2 1.41

<Table 2>

Comparison of the writing level of the different major students before and after OML education

Step Major* Mean SD P Tukey test
* S.E.: Science & engineering, H.S.: humanities and social sciences, A.P.: Art and physical education
pre-test S.E. 9.6 1.33 0.002 H.S.
>S.E.
>A.P.
H.S. 10.8 1.28
A.P. 7.4 1.04
post-test S.E. 12.6 1.61 0.000 H.S.
>S.E.
>A.P.
H.S. 13.1 1.66
A.P. 11.2 1.41

<Table 3>

Comparison of the improvement rates(%) of writing levels of the students in different majors

Major* Writing Genre (Mean±SD) p
Persuasive Expository Report Total
* S.E.: Science & engineering, H.S.: humanities and social sciences, A.P.: Art and physical education
S.E. 43.4
±63.09
35.0
±40.98
45.4
±59.66
41.2
±54.58
0.115
H.S. 29.7
±39.71
25.1
±31.47
23.1
±32.55
26.0
±34.59
A.P. 20.2
±26.57
24.6
±39.22
12.7
±49.57
19.2
±38.46

<Table 4>

Self-assessment results of writing skills of three major student groups before and after OML education

Major* Step Mean SD t(29) p
* S.E.: Science & engineering, H.S.: humanities and social sciences, A.P.: Art and physical education
S.E. pre-test 3.7 0.71 -3.0212 0.004
post-test 4.1 0.37
H.S. pre-test 3.8 0.50 -5.6785 0.000
post-test 4.7 0.71
A.P. pre-test 3.3 0.71 -1.1987 0.118
post-test 3.5 0.59