PISA 2012 수학 컴퓨터기반평가에서의 ‘큰 물고기 작은 연못 효과’(BFLPE) 분석

Ⅰ. 서론

Herbett W. Marsh는 1991년에 ‘큰 물고기 작은 연못 효과(Big-Fish-Little-Pond Effect: 이하 BFLPE)’ 이론을 소개하였다. 그에 따르면 학생의 학문적 자아개념은 본인의 학문적 성취뿐만 아니라 자신이 다니고 있는 학교의 동료에 의해서도 영향을 받는데, 이러한 영향은 부적 관계라는 것이다. 즉, 높은 학업 수준을 보이는 학교에 다니는 학생들은 자신의 학교보다 학업 수준이 낮거나 혹은 평균적인 환경에서 교육받는 학생들에 비하여 낮은 학문적 자아개념을 형성한다는 것이다. Kim & Ham(2014)은 PISA 2012의 지필평가(Paper-and-Pencil Assessment) 자료를 활용하여 우리나라 학생들을 대상으로 BFLPE 이론을 확인하였다. 이에 따르면 수학성취도 수준이 낮은 학교의 학생들은 학문적 자아개념이 높은 반면, 수학성취도 수준이 높은 학교의 학생들은 학문적 자아개념이 낮은 것으로 나타났다. 본 연구의 목적은 BFLPE가 지필평가뿐만 아니라 컴퓨터기반평가(Computer-Based Assessment)에서도 존재하는지 확인하고, 나아가 학교의 구조와 조직, 교육 자원, 수업 및 교육과정, 분위기, 정책 등 다양한 학교 특성이 학생의 자아개념에 영향을 미치는지 알아보는데 있다.

Information and Communication Technology(ICT)가 삶의 방식과 사회적 관계의 의미에 변화를 가져오면서 학생들의 역량을 평가하는 교육 분야에서도 새로운 방식의 평가가 확대되고 있다. 일례로 OECD는 PISA(Programme for International Student Assessment)를 통해 OECD 회원국의 만 15세 학생들을 대상으로 수학·읽기·과학 영역의 개념을 이해하고 습득한 지식을 활용하여 실제 생활에서 접할 수 있는 다양한 상황과 맥락에서 문제를 해결하는 능력을 평가한다. 이처럼 PISA에서 컴퓨터기반평가가 도입된 이유는 다음과 같다. 첫째, 컴퓨터기반평가 문항은 지필평가 문항과 비교하여 보다 상호작용적이고, 실제적이며, 참여적인 특성을 갖는다. 또한 끌어다 놓기(drag and drop) 등과 같은 새로운 문항 형태, 큰 자료 또는 정렬 가능한 실세계의 자료, 이해를 돕기 위해 색상과 그래픽, 움직임을 포함할 수 있다. 적절한 정보에 접근하기 위해 회전 가능한 삼차원 물체 등을 포함하는 문제 상황을 제시할 수도 있다. 둘째, 컴퓨터는 집, 학교, 직장에서 여러 종류의 연산을 수행하고, 다양한 수학적 대상을 표현, 시각화, 탐구하고 다루는 데 있어서 핵심적인 도구가 되고 있다. 직장에서 요구되는 수학 소양과 컴퓨터 테크놀로지의 사용은 불가분의 관계에 있다고 볼 수 있다(Cho et al., 2012; OECD, 2014).

PISA 수학평가에서 컴퓨터기반평가의 도입은 문항의 내용 영역과 관련하여 다음과 같은 변화를 가져왔다. ‘변화와 관계’와 관련하여 동적으로 연계된 이미지와 다양한 표현들을 제시하고 함수를 다루는 기회를 제시하며, ‘공간과 모양’과 관련하여 삼차원에서 기하학적 대상 간, 대상 내 관계를 탐구하고, 도형의 동적인 표현을 조작하는 기회를 제공한다. 또한 ‘양’과 관련하여 학생들이 계산 자체에 구애받지 않고 문제의 의미와 풀이 전략에 집중할 수 있도록 하고, 지필평가에서는 다루기 어려운 수치와 통계 계산이 포함된 문제를 풀 수 있게 한다. ‘불확실성과 자료’와 관련해서는 학생들은 큰 자료를 다루고, 연산하고 처리할 수 있게 되었다(Song et al., 2013; Cho et al., 2012; OECD, 2013). 또한 컴퓨터기반평가는 자동화된 채점과 피드백, 검사 시행 비용의 절감, 멀티미디어적 요소의 적용 등 장점이 있다.

그러나 컴퓨터기반평가가 지필평가를 점차 대체하고 있음에도 불구하고 이 두 형식의 검사가 동일한 구인을 측정하고 있는가, 즉, 구인타당도(construct validity)의 이슈는 여전히 남는다. 즉, 컴퓨터기반평가가 지필평가에서는 다루지 않는 학생들의 ICT 소양(ICT skill)과 관련되어 있는지, 정의적 특성의 구인과 역량에 대한 평가 결과가 지필평가 결과와 유사한지 등에 연구자들의 관심이 집중되고 있다. 특히, BFLPE와 같은 정의적 특성이 검사 양식(type of assessment)에 따라 달리 나타날 것인가, 즉 검사 모드에 따른 영향(mode effect)에 대해서 연구자들의 논쟁이 분분하다. 먼저 두 검사 양식 간 비교가능성이 매우 낮다는 주장을 제기하는 학자들은 컴퓨터기반평가가 지필평가와 상이한 능력을 측정한다고 주장한다. 이들은 컴퓨터기반평가의 검사 환경이 지필평가보다 복잡하다는 점에 주목한다. 예컨대, PISA 2012 수학 문항의 경우, 그래픽 도구를 활용하여 검사 매체와 상호작용할 것을 요구하고 있다. 이러한 검사 환경에 익숙하지 않은 피험자들은 과제에 대한 인지적 불확실성(Dijkstra et al., 2008)이 더 크며, 이는 사회적 비교(social comparison)가 더 자주 일어날 수 있는 환경을 제공하기 때문에 BFLPE와 같은 정의적 특성 역시 달리 나타난다는 것이다. 또한 학업 능력뿐 아니라 동료의 ICT 소양이나 접근성이 하나의 비교 준거가 될 수 있다(Chu & Chu, 2010). 최근의 Marsh et al.(2014)의 연구에 따르면 BFLPE는 검사 양식에 크게 영향을 받으며, 수행평가 혹은 표준화검사를 사용하는가에 따라 학생들의 자아개념에 미치는 영향이 상이한 것으로 나타났다. 반면 두 가지 검사 양식에 대해 큰 차이가 없을 것이라는 학자들도 있다. 이들은 학생의 학문적 자아개념은 장기간에 걸쳐 형성된 것이며 이전 성취도에 의해 주로 영향을 받는 개념이기에 검사 양식에 따라 큰 변화가 없다고 주장한다. 즉, 자아개념은 새로운 검사 상황이 제공할 수 있는 단일한 검사 경험보다는 자신의 실제적인 능력과 관련되어 있다는 것이다(Marsh, 1987). 또한 검사 양식에 대한 구인 타당도와 관련된 이전의 연구들은 검사 양식에 따른 영향이 그리 크지 않다고 보고하고 있다. 이 두 검사 간의 결과는 수렴타당도에 대한 정보를 제공하고 있으며, 컴퓨터기반평가를 해결하는데 필요한 ICT 소양이 측정되는 구인 자체를 변화시키지는 못한다는 것이다(Greiff et al., 2014; OECD, 2013). 최근 Scherer & Siddiq(2015)는 노르웨이 학생들을 대상으로 수학 컴퓨터기반평가에서 지필평가와 유사한 BFLPE 현상이 존재하는지 다층구조방정식을 통해 분석하였다. 연구 결과, BFLPE의 효과크기가 컴퓨터기반평가에서 지필평가보다 큰 것으로 나타났으며, ICT 소양은 조절효과가 없는 것으로 나타나는 등 BFLPE를 설명함에 있어 검사 양식에 따른 영향이 그리 큰 영향을 미치지 않는 것으로 결론 내렸다. 컴퓨터기반평가가 활발히 도입되는 현 시점에서 우리나라 학생들을 대상으로 분석했을 때 BFLPE가 지필평가 뿐 아니라 컴퓨터기반평가에서도 존재하는가에 대해 살펴볼 필요성이 제기된다. 본 연구의 구체적인 연구문제는 다음과 같다.

• 첫째, BFLPE가 PISA 2012 수학 컴퓨터기반평가에서도 존재하는가?
• 둘째, PISA 2012 수학 컴퓨터기반평가에서 학생의 자아개념에 영향을 끼치는 학교특성은 무엇인가?

Ⅱ. 연구 방법

1. 연구대상

PISA 모집단은 만 15세 학생들로서, 우리나라는 주로 고등학교 1학년 학생들과 중학교 3학년 학생들이 그 대상이다. 구체적으로 2단계 층화표집 설계에 의해 156개 학교(중학교 16개교, 고등학교 140개교)를 표집한 다음, 5,201명의 학생(중학생 319명, 고등학생 4,882명)을 표집하였다. 표집 학생들에게 지필평가를 실시하였으며, 컴퓨터기반평가는 이 중에서 무선적으로 선정된 2,780명을 대상으로 하였다. 이 때, 읽기, 수학, 문제해결력 중에서 행렬표집 설계에 의해 평가군을 선정하여 실시하기 때문에 교과별 실시 인원은 상이하다. 검사 기간은 2012년 5월 21일부터 6월 2일까지이며, 컴퓨터기반평가 시행에는 문항 풀이 40분에 사전 준비와 설명, 수거 및 정리 시간을 포함하여 총 1시간 30분가량 소요되었다. 수학 컴퓨터기반평가 문항은 4개의 구성형 문항이었고 구성형 문항 중 자동 채점이 가능한 문항을 제외하고 전문가들이 채점하였는데, 이는 온라인 채점 시스템(Online Coding System; OCS)을 통해 이루어졌다. 본 연구에서는 다층분석을 실시하면서 학교당 사례 수가 5명 미만인 경우는 최종 분석대상에서 제외하여 최종 분석대상 학교는 134개교, 분석대상 학생 수는 1,443명으로 나타났다(<Table 1> 참조).

<Table 1>

Sampling and Analysis Target

2. 측정 변인

본 연구에서 학문적 자아개념, 즉, 수학에 대한 자아개념은 자신의 수학적 능력에 대한 믿음 혹은 평가로 ‘나는 수학을 빨리 배운다’, ‘나는 수학에서 좋은 점수를 받는다’ 등 총 5개 문항이며 4점 리커르트 척도로 이루어져 있다. Cronbach’s alpha 계수는 0.882로 양호하였다. 그리고 측정 변인은 선행연구인 Kim & Ham(2014)의 분석틀을 참조하여 학교평균 성취도와 그 외 학교특성 변인으로 구성하였다. 구체적으로 학교유형(사립), 수학교사 1인당 학생 수, 교육 자원(컴퓨터 비율), 수업 및 교육과정(수학 관련 활동, 학생중심 수업활동, 수업 분위기), 학교 풍토(학교풍토 교사 요인, 학부모 상담 참여, 중퇴율, 교사-학생 관계, 학교에 대한 소속감), 학교 자율성 등이다. 측정 변인에 대한 설명 및 기술통계 값은 각각 <Table 2>, <Table 3>과 같다.

<Table 2>

Measurement Variables

<Table 3>

Descriptive Statistics of Variables in Hierarchical Linear Model

Ⅲ. 연구 결과

1. 수학에 대한 자아개념의 학교 분산크기

<Table 4>는 기본모형과 학생 및 학교 수준 변인을 투입한 조건모형의 무선효과를 제시한 것이다. 학생 수준 변인이 포함되지 않은 기본모형에서 추정된 학교 간 분산(τ₀₀)은 0.06으로 나타난 반면, 학생 간 분산은 0.88로 학교 간 분산에 비해 큰 편이었다. 그리고 추정된 학교 간 분산의 비율(Intra Class Correlation: 이하 ICC)은 0.06으로 나타나 전체 분산 중 학교 간 분산이 차지하는 비중이 6% 정도 되는 것으로 나타났다.

한편, 조건모형에서 주요 학생 및 학교특성 변인을 통제하였을 때, 추정된 학교 간 분산의 비율(ICC)은 거의 0%로 나타났는데, 이는 학교수준에서의 무선효과가 없음을 의미한다. 이러한 결과는 지필평가 분석 결과(Kim & Ham, 2014)에서도 유사하였다. 그리고 조건모형에서 투입된 학생 및 학교 특성 변인에 의해 추가로 설명된 분산은 학교 99.75%, 학생 30.68%에 해당하였다.

<Table 4>

Random Effect for students' self-concept for mathematics

2. 수학에 대한 자아개념에 영향을 미치는 학교 특성 변인

최종모형인 조건모형에 대한 분석결과는 <Table 5>에 제시하였으며, 주요 결과를 제시하면 다음과 같다.

<Table 5>

Students' and Schools' characteristic that affects students’ self-concept for mathematics

첫째, 학교의 평균적인 수학성취도 수준은 학생의 수학에 대한 자아개념에 부적 영향을 미치는 것으로 나타났다. 즉, 수학성취도가 높은 학교에 재학하는 학생일수록 수학에 대한 학문적 자아개념이 낮은 것으로 볼 수 있다. 이러한 결과는 컴퓨터기반검사에서도 BFLPE 이론이 유효함을 의미한다.

둘째, 학생의 수학에 대한 자아개념에 영향을 미치는 변인은 학교유형(사립), 컴퓨터 비율, 수업분위기, 학부모 상담 참여, 학교에 대한 소속감인 것으로 나타났다. 즉, 사립학교가 국·공립학교보다 학생들의 수학에 대한 자아개념이 평균적으로 낮았으며, 학생 1인당 컴퓨터 비율이 높을수록 학생들의 자아개념이 낮았다. 또한 학부모의 학생상담 참여 정도가 낮을수록 자아개념이 높은 것으로 나타났다. 여기서 학부모의 학생 상담 참여율은 학교의 사회경제적 지위나 학업성취도 수준에 민감한 변인이라는 점을 감안한다면, 참조집단의 성취도가 높을수록 자아개념이 낮아질 것이라는 BFLPE에 관한 선행연구 결과들을 부분적으로 지지하는 결과라고 볼 수 있다.

한편, 수업분위기와 학교에 대한 소속감은 정적 관련성이 있어 이 값이 커질수록 자아개념이 높아지는 것으로 나타났다. 지필평가 자료에 대한 분석 결과(Kim & Ham, 2014)와 비교하면 사립, 컴퓨터 비율, 학교평균 학업성취도, 학부모 상담참여는 동일하게 정적 관련성이 있었으나, 반면에, 컴퓨터기반평가 자료를 활용한 본 연구에서는 수업분위기와 학교에 대한 소속감이 정적으로 유의한 영향을 미치는 것으로 나타나 다소 상이한 결과를 보였다. 이는 컴퓨터기반평가가 지필평가보다 학교교육에 대한 인식이나 태도와 관련성이 더 높음을 의미하고 있어 컴퓨터기반평가의 측정 구인이 지필평가와 동일한가에 대한 분석이 향후 이루어질 필요가 있다.

Ⅳ. 결론 및 논의

본 연구에서는 컴퓨터기반평가에서 BFLPE가 지필고사와 마찬가지로 존재하는지 확인하는데 주된 목적이 있으며, 더 나아가 학교의 평균적인 수학성취도 뿐 아니라 그 외의 학교 특성이 학생의 수학에 대한 자아개념에 어떠한 영향을 미치는지 확인하고자 하였다. 이를 위하여 학교 특성 변인을 중심으로 2수준 다층모형을 적용하여 분석하였다. 주요 연구 결과를 토대로 몇 가지 제언과 시사점을 정리하면 다음과 같다.

첫째, 컴퓨터기반평가에서 학교평균 수학성취도 수준이 높을수록 학생들의 수학에 대한 자아개념은 낮아지는 것으로 나타났다. 즉, 국내에서도 학생 본인의 학문적 자아개념이 학교 동료들의 능력과는 부적 관계를 맺는다는 BFLPE 이론의 타당성이 검사 양식에 구애됨 없이, 즉 컴퓨터기반평가 또는 지필평가와 무관하게 동일하게 나타났다고 볼 수 있다. 이러한 결과는 학생의 학문적 자아개념은 장기간에 걸쳐 형성된 것이며, 자아개념이라는 정의적 특성은 새로운 검사 상황이 제공할 수 있는 단일한 검사 경험보다는 자신의 실제적인 능력과 더 관련되어 있다는 Marsh(1987)의 주장을 지지한다. 또한 컴퓨터기반평가를 수행하는데 필요한 ICT 소양이 평가를 통해 측정하고자 하는 구인 자체를 변화시키지 못한다는 Greiff et al.(2014)의 주장 역시 설득력이 있다고 볼 수 있다. 그러나 본 연구에서는 직접적으로 ICT 소양이 컴퓨터기반평가에 있어 정의적 특성의 영향에 관련되어 있는가를 분석한 것이 아니므로 향후 추가적인 분석이 이루어질 필요가 있다.

또한 본 연구에서는 학생들의 수학에 대한 자아개념에 영향을 미치는 주요 학교 특성으로 사립 여부, 학생 1인당 컴퓨터 비율, 수업분위기, 학부모 상담참여, 학교에 대한 소속감임을 밝혔다. 학교유형 측면에서 사립학교가 국·공립학교보다 학생들의 수학에 대한 자아개념 등 정의적 성취가 낮은 것으로 확인되었다. 특히, 인지적 측면에서의 학업성취도가 아닌 정의적 성취가 국·공립학교에서 평균적으로 더 높았다는 점에서, 사립학교가 국·공립학교와 비교하여 어떠한 학교풍토를 가지고 있으며, 교사의 수업은 어떤 방식으로 이루어지는지를 살펴볼 필요가 있다. 특히, 사립학교가 국·공립학교보다 경쟁적인 수업 분위기를 가지고 있을 가능성이 높으며, 이러한 영향이 사립학교 학생들의 낮은 학문적 자아개념과 관련되었을 가능성도 있다.

본 연구에서는 학교의 과정적 측면에서 수업요인으로서 교사의 수업분위기가 좋을수록 그리고 학교에 대한 소속감이 높을수록 자아개념이 높은 것으로 나타나 선행연구 결과를 지지하였다. 그러나 학생들의 수학에 대한 자아개념에 부정적인 영향을 미치는 학교 특성 변인도 존재하는 것으로 나타났는데, 컴퓨터 비율, 즉, 학생 1인당 컴퓨터 수와 학부모 상담 참여가 그것이다. 이는 학교의 컴퓨터 인프라 수준이나 학부모 상담 참여가 학교의 경쟁적 분위기와 관련된 환경 요인일 수 있다는 추측이 가능하다. 따라서 향후 학생의 자아개념에 부적 영향을 미칠 수 있는 학교 환경 요인에 대한 추가 탐색이 요청된다.

우리나라 중학생들을 대상으로 BFLPE 이론이 지필평가 뿐 아니라 컴퓨터기반평가에서도 동일하게 나타났다는 본 연구의 결과는 주요 개인 배경이 동일하다고 가정했을 때, 학문적 성취수준이 높은 학교에서 오히려 해당 교과에 대한 학생 개인의 자아개념이 낮을 수 있다는 것을 의미하기 때문에 이것이 교육에 주는 시사점은 매우 크다. BFLPE 이론의 주요한 기저는 개인의 학문적 자아개념의 형성이 참조집단과의 비교를 통해서 이루어진다는 것이므로, 특히, 학교에서 경쟁적인 학습 분위기를 조성하거나 학생들의 능력을 평가할 때 일정 성취 수준의 도달 유무가 아닌 선발, 배치 관점에서의 상대평가 방식이 학생의 학습 태도나 인식에 형성에 미치는 영향을 면밀하게 살펴볼 필요가 있다.

본 연구 결과는 평균 학업성취 수준이 높은 학교에서는 수업 내외의 장면에서 동료와의 협력을 강조하는 공동체 문화를 만들어 가고 핵심역량으로서 공동체역량과 의사소통역량을 중시하는 등 협력학습을 강조할 필요성을 보여주고 있다. 그리고 문제를 협력적으로 해결해 나가는 과정에 중점을 둔 교수·학습 방식을 적용하고, 개개인의 능력이 얼마나 향상되었는지에 초점을 맞춘 성장형 피드백을 제공함으로써, 이러한 현상을 완화시키기 위한 노력을 다각도로 할 필요가 있을 것이다.

Acknowledgments

※ 이 논문은 2016학년도 대구대학교 학술연구비 지원에 의한 논문으로 Redesigning Pedagogy International Conference (2017. 6. 1)에서 발표된 논문을 수정・보완하였음.

References

• Cho, Jimin, Dong, Hyokwan, Ok, Hyounjin, Rim, Haemee, Jung, Hyekyung, Son, Sookyoung, & Bae, Jeseong, (2012), Programme for International Student Assessment (PISA 2012) Main Survey Technical Report, Korean Institute of Curriculum and Evaluation, Research Report.
• Chu, R. J., & Chu, A. Z., (2010), Multi-level analysis of peer support, internet self-efficacy and e-learning outcomes e the contextual effects of collectivism and group potency, Computers & Education, 55, p145-155. [https://doi.org/10.1016/j.compedu.2009.12.011]
• Dijkstra, P., Kuyper, H., van der Weerf, G., Buunk, A. P., & van der Zee, Y. G., (2008), Social comparison in the classroom: a review, Review of Educational Research, 78, p828-879. [https://doi.org/10.3102/0034654308321210]
• Greiff, S., Kretzschmar, A., Müller, J. C., Spinath, B., & Martin, R., (2014), The computer-based assessment of complex problem solving and how it is influenced by students' information and communication technology literacy, Journal of Educational Psychology, Advance online publication. [https://doi.org/10.1037/a0035426]
• Kim, Hyesook, & Ham, Eunhye, (2014), What school characteristics affect Korean students’ non-cognitive outcomes in mathematics?, Journal of Educational Evaluation, 27(5), p1311-1335.
• Marsh, H. W., (1987), The big-fish-little-pond effect on academic self-concept, Journal of Educational Psychology, 79, p280-295. [https://doi.org/10.1037/0022-0663.79.3.280]
• Marsh, H. W., Kuyper, H., Morin, A. J. S., Parker, P. D., & Seaton, M., (2014), Big-fishelittle-pond social comparison and local dominance effects: integrating new statistical models, methodology, design, theory and substantive implications, Learning and Instruction, 33, p50-99. [https://doi.org/10.1016/j.learninstruc.2014.04.002]
• OECD, (2013), PISA 2012 results: What students know and can do (Vol. I), Paris, OECD Publishing.
• OECD, (2014), PISA 2012 results: creative problem solving: students’ skills in tackling real-life problems (Vol. V), Paris, OECD.
• Scherer, R., and Siddiq, F., (2015), The Big-Fish-Little-Pond-Effect revisited: Do different types of assessments matter?, Computers & Education, 80, p198-210. [https://doi.org/10.1016/j.compedu.2014.09.003]
• Song, Mi-Young, Kim, Sung Sook, Ku, Ja-ok, Rim, Haemee, Park, Hye Young, Han, Jung-A, & Son, Sookyoung, (2013), OECD Programme for International Students Assessment: Analysis of PISA 2012 Computer-Based Assessment Result, Korea Institute for Curriculum and Evaluation Research Report.