AHP를 이용한 해양프로그램 교실 평가지표 우선순위 결정 연구

Ⅰ. 서 론

자연에서의 수련활동은 집단 활동을 통해 청소년기의 문화형성, 삶의 재충전, 생태환경교육, 전인교육을 바탕으로 인간성 회복 등의 기능을 수행할 수 있다. 이를 통해 학교 교육의 한계를 넘어서 호연지기의 양성을 위한 중요한 교육 가치적 활동이라 할 수 있다(Koo & Lee, 2009). 더욱이 수련활동 중 해양스포츠 활동은 3면이 바다인 국내의 지리적 환경 특성을 이용하여 향후 세계적인 해양국가로 선도적인 역할을 수행하기 위해서는 미래의 주역인 청소년들에게 적극적인 해양프로그램 교육이 강조되고 있다(Shin & Bae, 2017).

이러한 해양스포츠의 교육적 가치를 인지하여 각 시ㆍ도 교육청에서는 해양수련원을 설립하여 운영하고 있으며, 매년 각 해양수련원 마다 3000~20,000명의 학생들이 해양스포츠 체험교육에 참여하고 있다(Seoul Metropolitan Office of Education, 2015; Shin & Bae, 2017).

이와 같이 해양프로그램에 대한 수요가 급증하고 있지만, 시·도 교육청 산하 해양수련원에서 운영하는 해양프로그램은 체계적인 개발보다 단순 흥미위주의 프로그램 운영하고 있다. 또한 일부 해양프로그램은 교육 용역업체의 대행으로 이루어지고 있으며, 이로 인해 전문 강사보다는 무자격 계약직 강사가 교육을 책임지고 있다. 이는 여전히 안전에 대한 인식의 부재로 인해 많은 학생들이 위험에 노출되고 있는 부분으로 언론보도를 통해 지속적으로 문제점이 지적되고 있다(TJB, 2016.05.31., JTBC, 2016.08.03.).

결과적으로 시·도 교육청에서 운영하는 해양프로그램은 공교육의 중심축으로 역할을 하고 있지만, 해양프로그램 교육 프로그램의 운영에 대한 개선이 없이 고착화 현상으로 인해 안전 및 운영 내실화 강화의 필요성이 제기되고 있다(Shin & Bae, 2017).

따라서 교육청이 운영하는 공교육으로서 해양프로그램의 위상을 강화하기 위한 평가 관리 도입 및 운영이 필요하다. 실제로 교육청은 해양프로그램 운영을 위해 많은 인력과 예산을 투입하고 있지만, 이를 평가하는 평가 관리 및 연구가 부족하다(Seoul Metropolitan Office of Education, 2015). 또한 해양수련원의 해양프로그램 운영상의 프로그램, 강사, 안전 등의 문제점 개선을 위해서는 해양프로그램 운영 요인들을 평가지표에 반영하여 체계적인 관리가 요구된다. 이를 통해 해양프로그램 운영에 따른 교육의 질과 안전에 대한 인식을 강화할 수 있으며, 학생과 학부모들에게 공교육에 대한 신뢰를 할 수 있는 계기를 마련할 수 있다.

따라서 본 연구는 해양수련원의 해양프로그램 운영 요인에 대한 평가지표를 개발하고 이에 대한 우선순위를 결정하여 평가 시스템을 도입하고자 한다. 이를 통해 해양수련원의 해양 프로그램 운영에 대한 내실화를 도모할 수 있으며, 무분별한 프로그램 난립을 방지하고, 운영상의 문제점 환류 등을 통해 해양프로그램 운영성과 제고 및 공교육으로서의 위상을 제고하는데 목적이 있다.

Ⅱ. 연구 방법

1. 문헌연구 및 전문가 회의

문헌연구는 해양스포츠전공 교수 및 박사급 연구원들로 구성하여 전문가 회의를 통해 이루어졌다. 전문가 회의의 목적은 해양프로그램 교실 평가지표를 개발하는 과정에서 관련 문헌 및 2차 자료 분석에서 발생할 수 있는 한계를 보완할 수 있기 때문이다.

문헌연구를 위해 해양프로그램 교실 관련 자료와 해양 및 각종 훈련 교실 관련 사업과 평가에 관한 자료들을 수집하였다. 수집된 자료는 해양프로그램 운영 매뉴얼 및 해양프로그램 성과 보고자료(Chungcheongbuk-do Office of Education, 2016), 전국학교스포츠클럽 운영 매뉴얼(Korea Sports & Olympic Committee, 2014), 생활체육 프로그램 평가지표 개선방안(Korea Council of Sports for All, 2014), 행복 나눔 스포츠교실 평가지표 개발 및 사업 발전방안 연구(Korea Council of Sports for All, 2015) 등 이다. 수집된 자료를 토대로 도출된 평가 항목들은 2명의 스포츠경영전공 교수 및 3명의 체육학 박사들로 구성된 전문가 회의의 단계를 통해 설문 항목들을 다시 그룹화한 후 각 그룹에 세부적인 만족기준을 분류하여 평가기준을 선정하였다.

이를 통해 해양프로그램 교실 평가지표의 방향은 크게 3개로 구분하였다. 첫째, 전문 강사 및 프로그램 운영의 합리성으로 해양프로그램 교실 운영을 위한 전문 강사의 활용 및 체계적이고 다양한 해양프로그램 교실 구성 운영에 대한 합리성을 객관적으로 평가할 수 있는 지표를 선정하였다. 둘째, 강습 장소 및 시설의 적합성으로 해양프로그램의 운영을 위한 강습 장소의 규모 및 부대시설 준비에 대한 적합성을 객관적으로 평가할 수 있는 지표를 선정하였다. 셋째, 해양프로그램 운영에 따른 안전사고 대비의 준비성으로 해양프로그램 운영에 따른 안전사고 대비를 위한 안전장구 점검, 안전매뉴얼 구비, 응급상황 등에 대한 준비성을 객관적으로 평가할 수 있는 지표를 선정하여 <Table 1>과 같이 구성하였다.

<Table 1>

Evaluation standard

2. AHP(Analytic Hierarchy Process) 조사

문헌연구 및 전문가회의를 통해서 설정된 평가지표의 가중치를 결정하기 위하여 다기준 의사결정(MultiCriteria Decision Making: MCDM)분석 기법 중에 합리적 의사결정에 많이 사용되는 AHP를 활용하였다. AHP는 의사결정에 있어서 다양한 기준이 존재하고 다수의 이해관계자가 존재하는 상황에서의 다양한 이해관계자들의 의견을 합리적으로 반영하기 위한 분석방법으로서 다양한 정책결정 방법으로 가장 많이 사용되는 방법 중 하나이다.

1) AHP 표본

설문조사 대상은 해양스포츠 전공 교수 및 박사급 연구원 8명, 해양프로그램 교실 강사 9명, 학부모 9명 등 다수의 이해관계자를 중심으로 구성하여 총 26명의 설문지를 수집하였다.

<Table 2>

AHP Survey subject

일반적으로 통계를 기반 한 연구에서는 정규분포를 유지하기 위해 충분한 표본수집이 필요하다. 하지만 AHP는 표본 수 보다는 충분한 지식과 경험을 가진 전문가의 확보가 더 중요하다(Lee et al., 2015). 따라서 기존의 선행연구의 표본 수 12명(Yom & Park, 2003), 16명((Lee & Kim, 2015) 등을 고려하였을 때 본 연구의 표본 수는 충분하다고 판단된다.

또한 AHP는 설문조사 대상자의 응답에 대한 논리적 일관성이 있는지를 확인하는 것이 중요하다. 따라서 설문조사 응답의 일관성 여부를 확인하기 위해서 일관성지수(CI: Consistency Index)와 일관성비율(CR: Consistency Ratio: CR)을 도출하여 확인할 수 있다. 일관성비율(CR)이 10% 이하인 경우 설문조사 응답이 상당한 일관성을 가지고 있다고 판단할 수 있다(Saaty, 1977). 그러나 CR값이 20% 이내인 경우에도 일정 부분 일관성이 있는 것으로 판단한다. 그 이유는 CR은 행렬의 차원에 따라 그 임계치에 차이가 생기게 되기 때문에 절대적으로 10% 값만을 고집하지 않아도 어느 정도 타당성이 있다고 보는 견해가 있다(Bodin & Gass, 2003; Cook et al., 2007; Jang, 2012; Karapetrovic & Rosenbloom, 1999; Lee & Kim, 2015). 이에 따라 본 연구는 일관성비율의 임계치를 .2로 설정한 후, 모든 설문 응답에 대하여 먼저 CR값 .2 이상의 일관성비율을 확인하였다.

2) 계층구조 설정

AHP를 이용하여 최적의 대안을 구하기 위해서는 먼저 문제를 정확히 정의하고, 문제에 대한 해결을 위해 요인들(의사결정 목표, 평가기준, 대안 등)의 관계를 분석하여 최고 단계의 문제에 대한 목표부터 중간수준의 대분류 항목 선정 을 거쳐 최하위 수준의 소분류 항목들에 대한 비교까지를 포괄하는 계층구조를 구성한다(Lee & Kim, 2015). 계층구조 방법은 [Fig. 1]에서 보여주듯이, 먼저 가장 위층의 문제에 최종목표를 선정하고 그 아래의 대분류 항목과 가장 아래층에 소분류 항목들을 나열한다.

[Fig. 1]

AHP Hierarchy of Evaluation Criteria

3) 중요도 평가

중간 계층에 있는 한 평가항목을 기준으로 하여 하부 계층에 있는 종속 평가항목들이 어느 정도 중요한가를 판단하기 위해 평가항목들 간의 쌍대비교, 즉 해당 종속 평가항목 전부에 대해 1:1 비교를 실시하여 상위 계층에 있는 평가항목에 대한 종속 평가 항목들의 상대적 중요도를 비교행렬로 작성한다(Yoon, 2011). AHP는 평가기준과 등급척도에 대하여 절대평가가 아닌 쌍대비교에 의한 상대평가에 근거하여 중요도를 평가하는데, 대안을 2개씩 짝지어 ‘대안i가 대안j 보다 더 중요하다’ 이면 α_ij=θ 로 두고 $$ \frac{n\left(n-1\right)}{2}$$회를 서로 비교한다(Satty, 1977).

θ는 두 대안의 상대적 중요도로 Satty(1980)에 의해 적절성이 실험적으로 인정된 9점 척도를 이용한다.

<Table 3>과 같이 상대적 중요도는 1부터 9까지의 점수 또는 그 역수로 평가된다. 이렇게 정해진 α_ij (i, j = 1, 2, …, n)을 사용하여 n×n 행렬 A=[α_ij] 을 만드는데 행렬A는 비교행렬이라 표현하며, n×n의 정방행렬로서 α_ij=1이고, $$ a_{ji}=\frac{1}{a_{ij}}$$이다.

<Table 3>

A pairwise comparison of the two criteria A and B

4) 우선순위 추정

$\[ A=\left[a_{ij}\right]=\left[\begin{array}{ccccc}{a}_{11}& a_{12}& a_{13}& \cdots & a_{1n}\\ a_{21}& a_{22}& a_{23}& \cdots & a_{1n}\\ a_{31}& a_{32}& a_{33}& \cdots & a_{1n}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& a_{m3}& \cdots & a_{mn}\end{array}\right]=\left[\begin{array}{ccccc}\frac{w_1}{w_1}& \frac{w_1}{w_2}& \frac{w_1}{w_3}& \cdots & \frac{w_1}{w_n}\\ \frac{w_2}{w_1}& \frac{w_2}{w_2}& \frac{w_2}{w_3}& \cdots & \frac{w_2}{w_n}\\ \frac{w_3}{w_1}& \frac{w_3}{w_2}& \frac{w_3}{w_3}& \cdots & \frac{w_3}{w_n}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ \frac{w_n}{w_1}& \frac{w_n}{w_2}& \frac{w_n}{w_3}& \cdots & \frac{w_m}{w_n}\end{array}\right] \]$

위 행렬에서 보여 주듯이, 쌍대비교 행렬A는 대각을 중심으로 역수의 형태를 가지는 상반행렬(Reciprocal matrix)로서,

$\[ a_{ij}=1/a_{ji}, a_{ii}=1 \]$

계층 안에서 비교대상이 되는 n개 요인의 상대적 중요도를 w_i(i = 1, 2, …, n)라 한다면, 쌍대비교행렬에서의 α_ij는 w_i/w_j(i, j = 1, 2, …, n)로 나타낸다(Satty, 1977).

$\[ a_{ij}=w_i/w_j \left(i, j=\mathrm{1,2},\cdots ,n\right) \]$

Ⅲ. 연구 결과

1. 기초 통계 결과

AHP 설문조사 결과를 바탕으로 기초통계 값을 도출하였다. 기초통계 값은 두개의 비교항목을 ‘똑같이 중요하다’를 척도 1로 하여 이를 중심으로 좌변 항목은 음수 값, 우변 항목은 양수 값으로 코딩하여 결과를 도출하였다. 이는 평가지표 간 상대적 중요도에 대한 기초 통계 값으로 평균(M)과 표준편차(S.D.)를 도출하였으며, <Table 4>와 같이 나타나고 있다.

<Table 4>

AHP Survey Basic Statistics

2. AHP 결과

AHP를 통해 대분류 항목의 평가지표 간 우선순위를 알아보기 위하여 결과에 대한 일관성 지수를 검토한 결과, CI=.002, CR=.003으로 나타나 일관성은 문제가 없는 것으로 확인하였다. AHP 결과 대분류 항목 평가지표의 상대적 가중치는 안전사고대비(.423), 강습 장소 및 시설(.241), 전문 강사 및 프로그램(.336) 순으로 우선순위가 높은 것으로 나타났다.

[Fig. 2]

AHP results of major classification indicators

그리고 대분류 항목인 전문 강사 및 프로그램에 대한 소분류 요인의 우선순위를 결정하였다. 먼저 결과에 대한 일관성 지수를 검토한 결과, CI=.005, CR=.009로 나타나 일관성은 문제가 없는 것으로 확인하였다. 전문 강사 및 프로그램 부분에서 소분류 항목의 상대적 가중치 도출 결과, 강사의 전문성(.434), 수준별 강습(.296), 다양한 강습매체 활용(.270) 순으로 우선순위가 높게 나타났다.

[Fig. 3]

AHP results of Professional Instructors and Programs

두 번째로 강습 장소 및 시설 부분에 대한소분류 요인의 우선순위를 결정하였다. 결과에 대한 일관성 지수를 검토한 결과, CI=.000, CR=.000로 나타나 일관성은 문제가 없는 것으로 확인하였다. 소분류 요인의 상대적 가중치 도출 결과, 해양교육의 적합 및 접근성(.354), 강습장비 준비상태(.341), 부대시설(.305) 순으로 우선순위가 높은 것으로 나타났다.

[Fig. 4]

AHP results of Educational Place and Facilities

세 번째로 안전사고대비 부분에 대한 소분류 요인의 우선순위를 결정하였다. 결과에 대한 일관성 지수를 검토한 결과, CI=.013, CR=.014로 나타나 일관성은 문제가 없는 것으로 확인하였다. 안전사고대비 부분 소분류 요인의 상대적 가중치 도출 결과, 응급상황 준비성(.382), 레저기구 안전상태(.244), 안전매뉴얼 구비(.201), 강습인원 제한(.173) 순으로 우선순위가 높게 나타났다.

[Fig. 5]

AHP results of Preparing for a safety accident

마지막으로 대분류 항목의 가중치를 고려하여 전체 소분류 요인 간의 평가지표에 대한 우선순위를 결정하였다. 그 결과 응급상황 준비성(.161), 강사의 전문성(.146), 레저기구의 안전상태(.103), 수준별 강습(.100), 다양한 강습매체 활용(.091), 해양교육의 적합성 및 접근성과 안전매뉴얼 구비(.085), 강습장비 준비상태(.082), 부대시설(.074), 강습인원 제한(.073) 등의 순으로 우선순위가 높게 나타나고 있다.

Ⅳ. 논 의

본 연구는 시도 교육청이 관리하는 해양프로그램 교실 운영 성과 제고를 위한 평가지표를 개발하고, 이에 대한 상대적 가중치를 선정하였다.

본 연구 결과, 해양프로그램 교실 평가지표 대분류 항목으로 안전사고 대비와 전문 강사 및 프로그램이 상대적으로 높은 가중치를 보이고 있다. 이는 해양프로그램 교실이 바다에서 진행되는 만큼 순간적인 부주의로 인해 치명적인 사고를 입을 수 있는 부담이 작용하여 안전사고와 강사의 전문성을 무엇보다 우선적으로 강조하고 있는 것으로 판단된다.

[Fig. 6]

Overall evaluation index AHP results

그리고 안전사고 대비의 소분류 요인에서 응급상황 준비성, 레저기구 안전상태, 안전매뉴얼 구비 등이 상대적으로 가중치가 높게 나타났다. 이러한 결과는 해양프로그램이 바다에서 진행되기 때문에 순간적인 환경변화에 대한 응급상황에 대처가 가장 중요하게 작용한 것으로 판단된다. 또한 해양프로그램 교실에 참여하는 학생들은 아직 판단력과 자제력이 부족하여 언제든지 사고가 발생할 수 있는 위험에 노출 될 수 있기 때문으로 판단된다.

두 번째로 전문 강사 및 프로그램에서는 강사의 전문성과 수준별 강습이 상대적으로 높은 가중치를 나타냈다. 이는 해양프로그램 교실을 진행하면서 모든 레저기구를 통제 할 수 있는 노련한 강사에 대한 믿음이 중요하게 작용한 것으로 판단된다. 또한 학생들의 수준에 맞는 강습을 통해 하위 수준 참가자를 위한 맞춤형 교육에 대한 기대가 높은 것도 중요하게 작용한 결과라고 판단된다.

마지막으로 강습 장소 및 시설(.219)에서는 해양시설의 적합 및 접근성, 강습 준비상태 등이 상대적으로 가중치가 높게 나타났다. 이와 같은 결과는 강습 시설과 장비의 안전성과 청결 등에 따라 학생들의 수업에 참여도가 높아지기 때문이다. 또한 최근 무허가 해양수련원시설의 난립으로 인해 수업에 적합하지 않은 시설과 무자격 강사 채용으로 인해 수업의 질과 안전에 대한 위험성이 높기 때문으로 판단된다.

Ⅴ. 결론 및 제언

본 연구에서는 해양프로그램 교실과 운영과 관련하여 합리적인 평가지표를 개발하고, 지표의 상대적 가중치를 도출하여, 객관 타당한 평가 시행을 통해 해양프로그램 교실의 운영 성과를 제고하고자 한다. 이를 위해 관련문헌과 전문가 회의를 통해서 평가지표를 개발하였으며, 이를 AHP 기법을 활용하여 객관적인 방법으로 해양프로그램 교실의 평가지표에 대한 상대적 우선순위를 도출하였다.

본 연구의 결과를 토대로 ‘해양프로그램 교실’을 관리하는 각 시도 교육청과 수업을 운영하는 해양수련원에서는 각 평가지표와 그에 따른 우선순위 결과를 고려하여 교실을 운영할 필요가 있다. 또한 해양프로그램 교실 운영을 위해 많은 인력과 예산을 투입하고 있지만, 이를 평가하는 장치나 연구는 부족한 실정이다. 따라서 해양프로그램 교실의 안전에 대한 불안과 운영상의 예산 낭비를 막기 위해서는 지속적인 평가를 통해 해양프로그램 교실의 내실화와 성과에 대한 제고가 필요하다.

AHP는 연구방법에서 의사결정자의 일관성까지 고려하는 의사결정분석방법론이다. 이로 인해 AHP에 의한 연구방법은 마케팅 의사결정, 일반 정책연구 등 여러 학문분야에서 그 나름대로의 역할을 하고 있다. 특히 전문가 조사를 통해 규범적 연구의 근간을 가지는 체육정책학 연구에 있어서 규범적 연구가 가지는 객관화의 문제점을 극복할 수 있는 연구방법론으로서 응용성이 높다고 볼 수 있다. 이처럼 AHP는 다양한 학문분야에 이용되고 있으며, 유용성이 높게 인정되고 있는 방법으로 해양프로그램 뿐 아니라 다양한 프로그램의 평가지표 개발에도 보다 적극적으로 활용될 필요가 있다.

References

• Bodin, L., and Gass, S. I., (2003), On Teaching the Analytic Hierarchy Process, Computers & Operations Research, 30(10), p1487-1497.
• Chungcheongbuk-do Office of Education Office of Education, (2016), Marine Program Operation Manual, Internal data.
• Chungcheongbuk-do Office of Education Office of Education, (2016), Maritime Program Performance Report, Internal data.
• Cook, M., Angus, A., Gottberg, A., Smith, R., and Longhurst, P., (2007), Promoting Sustainable Resource Use through Product Service Systems, CIWM Conference, Waste: A Global Resource, Technical Session 5, Resource Recovery, Paignton, Torbay, UK, June 12~15.
• Jang, Y. L., (2012), Development of Sustainable Eco-tourism Evaluation Models and Indicators : Focusing on the specialist of eco-tourism by AHP analysis, Korean Journal of Tourism Research, 27(2), p455-475.
• JTBC, (2016, Aug, 03), JTBC News, http://news.jtbc.joins.com/article/article.aspx?news_id=NB11284071.
• Karapetrovic, S., and Rosenbloom, E.S., (19999), A Quality Control Approach to Consistency Paradoxes in AHP, European Journal of Operational Research, 119(3), p704-718. [https://doi.org/10.1016/s0377-2217(98)00334-8]
• Kim, N. H., Kwon, S. J., and Cho, M. S., (2005), The Study of Developing Evaluation Standard of Selecting a Tourism Development Project Applying AHP(Analytic Hierarchy Program), Korea Journal of Tourism Research, 29(1), p249-266.
• Koo, B. G., and Lee, C. H., (2009), The Effects of Marine Train Center's Service Quality on Students' Satisfaction and Loyalty, The Journal of Institute of School Health & Physical Education, 16(1), p143-162.
• Korea Council of Sports for All, (2014), Improvement measures of evaluation index for daily sports program, Research Report.
• Korea Council of Sports for All, (2015), Development and Evaluation of Indicators for Happy Sharing Sports Classroom, Research Report.
• Korea Sports & Olympic Committee, (2014), National School Sports Club Operation Manual, Research Report.
• Lee, C. K, and Kim, N. H., (2015), Research Articles : Analysis of Strategic Factors and Priority for Developing Integrated Resort Casino Using AHP, Korea Journal of Tourism Research, 39(2), p11-27.
• Lee, C. K., Kim, N. H., and Ko, S. K., (2015), Analysis of Strategic Factors and Priority for Equestrian Tourism Using AHP, JOURNAL OF TOURISM & LEISURE RESEARCH, 27(6), p317-339.
• Saaty, T. L., (1977), A Scaling Method for Priorities in Hierarchial Structures, Journal of Mathenatical Psychology, 15(1), p234-281. [https://doi.org/10.1016/0022-2496(77)90033-5]
• Saaty, T. L., (1980), The Analytic Hierarchy Process, Mcgraw-Hill, New York, Mcgraw-Hill, The Analytic Hierarchy Process, RWS Publications.
• Seoul Metropolitan Office of Education, (2015), 2014 Marine Program reports operating results.
• Shin, S. H., and Bea, J. S., (2017), A Study on Policy Proposal of Marine Environment Education Program through Research on the Actual Condition, JFMSE, 29(1), p169-179.
• TJB, (2016, May, 31), Today's Main News, http://www.tjb.co.kr/sub0301/bodo/view/id/22189.
• Yom, J. C., and Park, H. N., (2003), The Location Decision of Family Restaurant Using AHP, Journal of Foodservice Management, 6(3), p161-178.
• Yoon, S. K., (2011), An Analysis of the economic efficiency and the obstacles of Renewable Portable Standard(RPS): Based on Solar Energy, Dr. Degree Thesis, Kyungpook University.