델파이를 활용한 항만 시설 운영자의 안전 및 보건관리 평가지표 개발 연구

I. 서 론

최근 항만 산업은 물동량의 급증과 함께 다양한 위험 요소가 증가하고 있다(Jiang et al., 2022). 특히 항만 운영 및 프로세스는 그 중요성과 규모를 넘어서는 다차원적인 위험 요소들을 내포하고 있다. 시스템 고장, 인명피해, 환경과 재산에 대한 위험은 설계 단계에서부터 설치, 운영, 유지 관리에 이르기까지 전 과정에 걸쳐 존재한다(Alyami et al., 2014).

항만 환경의 특수성을 고려할 때, 이는 산업안전 보건 측면에서 특히 주의해야 하는 고위험 작업장으로 분류된다. 그 주된 이유로는 대규모 중량 화물의 취급, 대형 하역 장비의 운용, 그리고 복잡한 물류 네트워크의 상호작용을 들 수 있으며, 이러한 기존 및 외부위험 요소들을 파악하고 관리하는 것이 매우 중요해지고 있다(Alyami et al., 2016). 이에 따라 항만 작업자와 인근 지역사회의 안전을 보장하고, 지속 가능한 항만 운영을 위해 체계적이고 표준화된 안전·보건 평가지표의 개발이 시급한 과제로 떠오르고 있다(Chlomoudis et al., 2011). 더욱이, 중대재해처벌법의 시행과 같은 법적 규제 강화는 항만 시설의 안전관리 수준에 대한 공공의 관심과 요구를 더욱 높이고 있다. 이러한 배경에서, 항만 운영자의 안전관리 활동을 정량적으로 평가하고 개선할 수 있는 평가지표의 필요성이 대두되고 있다.

해외의 항만 시설 안전 관련 선행연구들을 살펴보면, 사회적 요구를 반영하여 다양한 학술적 접근을 시도해왔으며, Lim et al.(2019)의 연구에 의하면 크게 네 가지 주요 연구 영역으로 체계화될 수 있다. 첫째, 환경 연구 분야에서는 항만 운영으로 인한 환경오염 문제와 그 저감 방안에 초점을 맞추고 있다. 둘째, 사회적 측면에서는 항만 근로자의 안전·보건 관리와 인적자원 관리 시스템의 개선에 주목하고 있다. 셋째, 경제적 관점에서는 항만 안전관리 체계의 효율적 운영과 안전 투자의 경제성 분석이 중점적으로 다루어지고 있다. 마지막으로, 항만의 지속가능성 평가 연구에서는 현행 안전관리 체계의 분석, 개선조치의 이행, 실행 메커니즘의 구축, 그리고 평가상의 한계점과 과제를 포괄적으로 검토하고 있다.

이러한 항만 시설의 안전·보건 성과지표 개발 연구를 세부적으로 살펴보면, 크게 위험평가, 운영 안전, 의사결정 시스템, 그리고 지속가능성의 네 가지 측면에서 접근되었다.

위험평가 측면에서, Muhammet(2020)는 퍼지 이론을 활용한 산업 보건 및 안전 위험평가 프레임워크를 제시하였으며, Tam et al.(2021)은 사이버-물리적 공격에 대한 항만 및 선박 운영 안전성 평가를 연구하였다.

운영 안전 측면에서는 Sun et al.(2020)이 항만기업의 안전 의사결정 시스템에 기반한 투자 전략을 제안하였고, Chlomoudis et al.(2011)은 그리스 주요 항구들을 대상으로 한 품질 및 안전 시스템의 실증적 연구를 수행하였다.

지속가능성 측면에서는 Jiang et al.(2022)이 해상 실크로드 항만의 종합적 안전평가 방법론을 개발하였으며, Kwesi-Buor et al.(2019)는 항만 및 해상 물류의 위험 관리를 위한 시나리오 분석 방법을 제시하였다. 특히 A. Kadir et al.(2020)은 말레이시아 주요 항구를 대상으로 화물 보관 및 처리 과정에서의 위험관리 프레임워크를 개발하여 항만의 지속가능성 향상에 이바지하였다.

국내에서는 항만시설의 안전보건 평가지표 개발에 관한 체계적인 학술적 연구가 없는 실정이다. 따라서 본 연구의 이론적 기반을 구축하기 위해 육상산업현장의 관련 연구사례를 분석하였으며, 그 내용은 다음과 같다. 육상 산업현장의 안전관리 평가지표 개발에 관한 연구는 다양한 분야에서 활발히 진행되어 왔다. 대표적인 국내 선행연구들은 다음과 같다.

Lee(2020)은 ISO 45001 안전·보건관리 국제 인증기준의 도입에 따른 국내 사업장의 안전·보건경영시스템 구축 과정에서 발생하는 문제점을 분석하고, 이에 대한 체계적인 활성화 방안을 제시하였다. Deming은 1993년에 Shewhart 사이클을 다시 수정하여 Plan-Do-Check-Aat 사이클 제시하였으며(Moen and Norman, 2009), 이를 기반으로 한 PDCA 사이클은 지속적인 개선과 품질 관리를 위한 체계적인 접근 방식으로 발전하여, 현재는 국제표준화기구(ISO)의 품질경영시스템을 비롯한 다양한 산업 분야의 관리체계에서 핵심적인 방법론으로 자리잡았다(Son et al., 2012).

Lee(2021)는 참여형 스포츠 이벤트 운영에 있어 PDCA 사이클을 적용한 안전관리 평가지표를 개발하였다. Kim(2022)은 건설현장의 안전·보건관리체계 개선을 위해 PDCA 사이클 기반의 안전점검 평가지표를 구축하였다. 또한, Kwak(2023)은 체육시설의 안전경영 평가를 위해 PDCA 사이클을 활용한 종합적인 지표체계를 개발하였다. 이러한 선행연구들을 살펴보면 국내 항만 시설의 안전보건 평가지표 개발의 필요성이 강조되고 있다.

이에 따라 본 연구의 목적은 PDCA 사이클의 기본 프레임워크를 활용하여 대한민국 항만 시설에 대한 안전·보건 평가지표를 개발하는 것이다. 기존 연구의 한계를 보완하고, 항만 작업의 특수성을 반영한 통합적이고 실효성 있는 안전보건 평가지표를 제시하는 것을 목표로 한다.

Ⅱ. 연구 방법

본 연구에서는 수정 델파이 기법을 활용하여 총 2회의 설문 조사를 한다. 1차 설문에서는 구조화된 폐쇄형 설문지를 통해 각 평가지표 항목에 대한 전문가들의 동의 여부를 조사하며, 2차 설문에서는 1차 설문의 결과를 통계적으로 분석한 자료(중앙값, 사분위 수 등)를 제공하여 전문가 패널들이 정성적으로 자신의 의견을 재검토하고 수정할 수 있는 기회를 제공한다. 이러한 반복적인 피드백 과정을 통해 전문가들의 합의된 의견을 도출하고자 한다.

1. 델파이 기법

델파이 기법은 특정 주제에 대한 전문가 집단의 체계적인 합의 도출 과정으로, 연구자와 전문가 그룹 간의 구조화된 상호작용을 통해 진행된다. 이 방법론은 일련의 설문지를 매개로 하여 전문가들의 직관과 경험을 체계적으로 수집하고 분석하는 특징을 가진다. 특히 미래 예측이나 불확실한 문제에 대한 해결방안을 도출하는 데 효과적인 방법으로, 전문가들의 의견을 수렴하고 합의를 형성하는 과정을 통해 신뢰성 있는 결론을 도출할 수 있다는 장점이 있다(Yousuf, 2007).

델파이 기법에서 적용되는 내용타당도 비율(Content Validity Ratio, CVR)은 연구에서 측정하고자 하는 내용이 평가 문항에 적절하게 반영되어 있는지를 정량적으로 나타내는 지표이다.

Lawshe(1975)의 참여하는 전문가 패널의 수에 따라 충족해야 하는 최솟값이 정해져 있으며, 이 기준값 이상의 CVR를 확보한 문항만이 내용타당도를 확보하였다고 했다. 이러한 정량적 접근은 평가지표의 객관성과 신뢰성을 확보하는 데 중요한 역할을 한다. CVR은 전문가 패널의 응답을 기반으로 산출되며, 전체 응답자 중 '타당하다'라고 응답한 비율이 50% 이상일 때 응답한 문항은 CVR이 확보된다고 판단한다.

[Fig. 1]

CVR calculation formula.

일반적으로 델파이 조사에서는 전문가 패널 간의 개인적 의견 차이를 좁히고 패널 간 공유된 합의점에 도달하기 위해 최소 2회 이상의 설문을 한다.

Noh et al.(2018)의 합의도 지표를 살펴보면, 다음의 식과 같다. 1-(Q3-Q1)/중앙값의 공식으로 산출되며 합의도는 제1사분위수(Q1)와 제3사분위수(Q3)가 일치할수록 1의 값을 가지며, 전문가들의 의견 차이가 클수록 그 값이 작아진다. 일반적으로 합의도가 .75 이상일 때 해당 항목에 대한 전문가들의 의견이 긍정적으로 수렴되었다고 판단하며, 1에 가까울수록 해당 문항의 타당성이 높은 것으로 해석된다.

[Fig. 2]

consensus calculation formula.

델파이 기법에서 사용되는 수렴도와 합의도는 전문가들의 의견 일치 정도를 정량적으로 평가하는 핵심적인 통계 지표이다. 수렴도는 (Q₃- Q₁)/2 공식을 통해 산출되며, 여기서 Q₃는 제3사분위수, Q₁은 제1사 분위 수를 의미한다. 수렴도 값은 0에 가까울수록 전문가들의 의견이 특정 지점으로 수렴되고 있음을 나타내며, 이는 해당 평가항목에 대한 전문가들의 판단이 일관성을 가지고 있다는 것을 의미한다(Shin, 2018).

[Fig. 3]

convergence calculation formula.

본 연구에서는 리커트 척도를 활용한 델파이 조사를 하며, 조사 결과의 신뢰성과 타당성을 확보하기 위해 다양한 통계적 검증 방법을 적용한다. 구체적으로, 중위수와 사분위 수를 기반으로 한 CVR, 수렴도, 합의도, 안정도를 산출하여 평가지표의 적절성을 검증한다(Noh et al., 2018).

2. 전문가 패널 구성

델파이 기법의 성공적인 수행을 위해서는 전문가 패널의 선정이 핵심적인 요소로 작용한다(Fink and Kosecoff, 1985). 이는 델파이 연구의 결과가 참여 패널의 전문성과 연구 과정에서의 적극적인 참여도에 직접적인 영향을 받기 때문이다. 전문가 패널 선정 시에는 다음의 세 가지 주요 기준을 고려해야 한다. 첫째, 해당 분야에 대한 전문적 지식과 경험의 보유 여부, 둘째, 연구 참여에 대한 성실성과 지속적인 협조 가능성, 셋째, 각 전문 분야 및 소속 집단에 대한 대표성이다. 특히, 연구 주제에 대한 전문적 견해를 제시할 수 있는 능력을 최우선적인 선정 기준으로 고려해야 한다.

본 연구에서는 델파이 기법의 전문가 패널 선정을 위해 다음과 같은 기준을 적용하였다. 항만시설의 안전보건 평가지표가 비교적 새로운 연구 분야임을 고려하여, 특정 분야에 국한되지 않고 항만 및 해양 분야에서의 폭넓은 실무 경험을 주요 선정 기준으로 설정하였다.

구체적인 선정 기준으로는 항만 운영 감독기관에서 5년 이상의 실무 경력을 보유한 전문가, 관련 분야의 대학교수, 항만운영업체의 항만 관리 담당 업무 5년 이상 근무 경력, 그리고 ISO 심사위원 경력자를 포함하였다. 이러한 기준을 바탕으로 총 12명의 전문가 패널을 구성하였으며, 각 대상자의 사전 동의를 얻어 최종 패널을 확정하였다. 연구의 객관성과 신뢰성 확보를 위해 익명성이 보장된 수정 델파이 방식을 채택하여 설문 조사를 진행하였다.

Anderson(1997)은 델파이 연구방법론에 관한 선행연구들에 따르면, 전문가 패널의 규모가 10~15명 정도라도 연구의 타당성을 확보할 수 있다 하였다.

<Table 1>

Information of expert panel(n=12)

4. 자료 분석

본 연구의 델파이 조사 결과 분석에는 수렴도, 합의도, CVR, 안정도의 네 가지 주요 지표를 활용하였다. 수렴도 값이 0에 가까울수록 해당 문항에 대한 전문가들의 의견이 수렴되고 있음을 의미한다. 합의도는 1에 가까울수록 해당 문항의 내용타당도가 높은 것으로 판단할 수 있다.

내용타당도는 CVR를 통해 분석되는데, 이는 전문가 패널의 수에 따라 정해진 최솟값을 기준으로 평가된다. 각 문항의 CVR 값이 이 최솟값을 초과할 경우, 해당 문항은 내용타당도를 확보한 것으로 간주한다. Lawshe(1975)의 패널 참여자 수에 따른 최솟값은 다음의 <Table 2>와 같다. 본 연구에서는 기준표에 따라 .56 값을 판단 기준으로 설정하였다.

<Table 2>

Demographic characteristics of the respondents

마지막으로 안정도는 변이계수(Coefficient of Variation)를 통해 측정되는데, 이는 표준편차를 산술평균으로 나눈 값으로, .5 이하는 추가 설문이 불필요하며, .5~.8 범위는 비교적 안정적, .8 이상이면 추가 설문이 필요한 것으로 판단한다.

[Fig. 4]

C.V calculation formula.

Noh et al.(2018)의 평가기준에 따라, 본 연구에 모든 평가요소의 기준과 인정 범위는 다음의 표와 같다.

<Table 3>

Delphi factor adoption criteria

이러한 자료 분석을 위해 jamovi와 Microsoft Excel 프로그램을 활용하여 각 평가항목의 평균, 중위값, 제1사분위수, 제3사분위수, CVR, 표준편차 등의 통계값을 산출하고, 이를 바탕으로 결측값을 체계적으로 분석하여 기준값에 타당하지 않은 결과값은 제거하였다.

Ⅲ. 연구 결과

1. 델파이 1차 라운드

본 연구는 P-D-C-A(Plan, Do, Check, Act) 사이클을 기반으로 델파이 1차 라운드의 평가지표를 체계적으로 구성하였다. 평가체계는 다음과 같이 구조화했다.

첫째, ‘계획’ 범주에서는 조직상태, 리더십, 안전정책, 계획의 적정성을 포함하는 4개의 계층2 지표와 14개의 계층3 지표를 도출하였다. 둘째, ‘실행’ 범주에서는 지원 및 훈련, 운용 적정성, 정보 문서화를 포함하는 3개의 계층2 지표와 7개의 계층3 평가지표를 구성하였다. 셋째, ‘검토’ 범주에서는 측정 적정성과 평가 적정성을 다루는 2개의 계층2 지표와 6개의 계층3 평가지표를 설정하였다. 마지막으로, ‘조치’ 범주에서는 검토의 효율성과 지속적 개선의지를 포함하는 2개의 계층2 지표와 5개의 계층3 지표를 구성하며 총 32항목의 평가지표를 개발하였다.

델파이 1차 라운드 분석 결과, 일부 평가지표들이 타당성 기준을 충족하지 못하는 것으로 나타났다. 구체적으로, ‘계획’ 범주의 ‘조직상태’요인 중 ‘명확한 범위 및 접근성’ 항목은 수렴도 .63과 합의도 .69로 기준치에 미달하였다. ‘실행’ 범주에서는 ‘지원 및 훈련’ 요인의 ‘안전·보건 관리계획의 지원 및 전달’ 항목은 수렴도 .63으로 기준치에 미달하였다. 또한, ‘정보 문서화’ 범주의 ‘안전 문서의 주기적 폐기’ 항목은 CVR .17과 합의도 .71로 기준치에 미달했으며, ‘검토’ 범주의 ‘측정 적절성’ 요인 중 ‘사고 기록, 분석 및 공개’ 항목은 CVR .33으로 나타났으며 이는 기준값 .56에 미달하는 것으로 나타났다(<Table 4>).

<Table 4>

Results of Delphi Survey 1st round

2. 델파이 2차 라운드

2차 조사에서는 모든 참여자에게 1차 조사의 통계 결과를 제공하여 자신의 판단을 재검토할 수 있는 기회를 부여하였다. 평가 척도는 1차 조사와 동일하게 5점 리커트 척도를 활용하였다.

평가 기준은 Lawshe(1975)의 연구를 토대로 CVR 최솟값 .56, 수렴도 .5, 합의도 .75, 안정도 .8로 설정하였다. 각 설문 문항에는 1차 델파이 조사에서 도출된 중앙값, 제1사분위수, 제3사분위수를 함께 제시하였다.

델파이 2차 라운드 분석 결과는 본 연구에서 개발된 평가지표의 타당성과 신뢰성을 입증하는 중요한 의미를 지닌다. 특히, 1차 라운드에서 기준치를 충족하지 못했던 평가항목들이 2차 라운드에서 타당성을 확보했다는 점은 주목할 만하다. 구체적으로, ‘계획’ 범주의 ‘명확한 범위 설정 및 접근성’ 항목의 수렴도는 0.63에서 .50으로 .13 개선되었고, 합의도는 .69에서 .75으로 .06 타당성을 확보하였으며, ‘실행’ 범주의 ‘안전·보건 관리계획의 지원 및 전달’ 항목의 수렴도는 .63에서 .50으로 .13 개선되었다.

정보 문서화의 ‘안전 문서의 주기적 폐기’ 항목의 합의도는 .71에서 .75 개선되었으나 CVR는 .50으로 내용타당성이 기준값에 부합하지 않아 제거 대상이다. 또한 ‘검토’ 범주의 ‘사고 기록, 분석 및 공개’ 항목의 CVR는 .33에서 .83으로 향상은 전문가 패널들의 의견이 성공적으로 수렴되었음을 보여준다. 이러한 결과는 제시한 평가지표들이 항만 시설의 안전·보건 관리를 위한 타당성을 확보하였다(<Table 5>).

<Table 5>

Results of Delphi Survey 2nd round

3. 항만 운영자를 위한 안전·보건관리 평가지표 개발

본 연구는 PDCA 사이클을 기반으로 3계층 구조의 평가체계를 구축하였다. ‘안전 문서의 주기적 폐기’ 평가지표의 CVR는 .50으로 타당하지 않아 제거하였다.

최종적으로 계층1에서 4개, 계층2에서 11개, 계층3에서 31개의 평가지표를 최종적으로 도출하였다. 구체적으로 살펴보면 계획 범주에서는 조직상태, 리더십, 안전정책, 계획의 적정성을 포함하는 4개의 계층2 지표와 14개의 계층3 지표를 도출하였고, 실행 범주에서는 지원 및 훈련, 운용 적정성, 정보 문서화를 포함하는 3개의 계층2 지표와 6개의 계층3 평가지표를 구성하였다.

검토 범주에서는 측정 적정성과 평가 적정성을 다루는 2개의 계층2 지표와 6개의 계층3 평가지표를 설정하였으며, 조치 범주에서는 검토의 효율성과 지속적 개선 의지를 포함하는 2개의 계층2 지표와 5개의 계층3 지표를 포함하여 총 31개의 평가지표를 개발하였다.

특히 주목할 만한 점은 2차 델파이 라운드에서 1개의 평가항목을 제외하고 모든 평가항목이 타당성을 확보하였다. 이는 1차 라운드에서 기준치를 충족하지 못했던 항목들이 2차 평가에서는 개선되어 타당성을 확보하였다. 이러한 결과를 통해 개발된 평가지표는 항만 시설을 운영하는 운영자 관점에서 보면 안전·보건 관리를 위한 실질적인 도구가 될 것이다.

또한, 항만 시설의 안전·보건 관리를 보다 효율적이고 체계적으로 수행할 수 있는 실질적인 기반을 마련하였다는 점에서 큰 의의가 있다. 이러한 연구 결과를 바탕으로 <Table 6>과 같이 항만 운영자를 위한 안전·보건 평가지표를 개발하였다.

<Table 6>

Health and safety metrics for port operators

Ⅳ. 결 론

본 연구는 항만 시설의 안전·보건 관리를 위한 체계적인 평가지표를 개발하고자 전문가 패널을 활용한 델파이 연구를 수행하였다. 연구의 방법론적 틀로서 PDCA 사이클을 채택하였으며, 2차에 걸친 전문가 델파이 조사를 통해 평가체계의 타당성과 신뢰성을 검증하였다. 평가체계는 3계층 구조로 설계되었으며, 계층별 평가지표는 엄격한 검증 과정을 거쳐 선정되었다. 특히, ‘정보 문서화’ 영역의 ‘안전 문서의 주기적 폐기’ 항목은 타당성 검증 과정에서 제외되어, 최종적으로 계층1에서 4개, 계층2에서 11개, 계층3에서 31개의 평가지표를 도출하였다.

본 연구는 국내 항만시설의 안전보건 관리를 위한 평가지표를 체계적으로 개발한 첫 번째 연구로서 학술적 의의가 있으며, 향후 실무 현장에서의 적용을 위한 기반을 마련했다는 점에서 실무적 가치를 지닌다.

첫째, 국내 최초로 항만 시설의 안전·보건 평가지표를 체계적으로 개발하였다. 이는 항만 안전관리 연구 분야의 이론적 토대를 마련하였다는 점에서 학술적 의의가 있다. 둘째, PDCA 사이클을 기반으로 한 평가체계는 항만 운영자들이 현장에서 적용할 수 있는 실용적인 도구를 개발하였다. 이는 이론과 실무의 간극을 효과적으로 좁혔다는 점에서 실무적 의의가 있다. 셋째, 전문가 델파이 조사를 통해 도출된 평가지표들은 높은 신뢰성과 타당성을 확보하였다. 이는 향후 항만 안전보건 정책 수립 과정에서 객관적인 근거자료로 활용될 수 있어, 정책적 의의가 있다. 마지막으로, 연구에서 제시한 3계층 구조의 체계적인 평가체계는 항만 시설의 안전·보건 관리를 보다 효율적이고 체계적으로 수행할 수 있는 실질적인 기반을 마련하였다는 점에서 의의가 있다. 이러한 평가체계는 향후 항만 시설의 안전·보건 수준 향상에 이바지할 것으로 기대된다.

본 연구의 주요 한계점과 향후 연구 방향은 다음과 같다. 첫째, 개발된 평가지표는 항만 운영자의 관점에 중점을 두어 개발되었기 때문에, 항만 시설의 다양한 이해관계자들의 관점을 포괄적으로 반영하지 못했다는 한계가 있다. 특히 최근 강조되고 있는 근로자 참여의 중요성을 고려할 때, 근로자 중심의 평가지표 개발이 추가로 필요하다. 둘째, 항만 시설 이용자들의 안전·보건 관련 요구사항과 경험이 평가지표에 충분히 반영되지 않았다. 항만 시설의 안전·보건 관리는 운영자뿐만 아니라 모든 이용자의 안전과 직결되는 문제이므로, 이용자 관점의 평가요소 개발이 요구된다. 셋째, 이해관계자 간의 의사소통 및 협력 체계에 대한 평가요소가 상대적으로 부족하다. 효과적인 안전·보건 관리를 위해서는 운영자, 근로자, 이용자 간의 원활한 의사소통이 필수적이므로, 이에 대한 구체적인 평가지표 개발이 필요하다. 넷째, 문제 파악의 효율성과 평가 결과의 환류 체계에 대한 평가요소가 미흡하다. 지속적인 개선을 위해서는 문제점을 효율적으로 파악하고 평가 결과를 체계적으로 환류하는 과정이 중요하므로, 이에 대한 구체적인 평가지표 개발이 요구된다.

이러한 한계점들을 고려할 때, 향후 연구에서는 운영자, 근로자, 이용자 등 모든 이해관계자의 관점을 포괄하는 종합적인 평가지표 체계를 개발할 필요가 있다. 이를 통해 항만 시설의 안전·보건 관리가 보다 효과적이고 균형 잡힌 방식으로 이루어질 수 있을 것으로 기대한다.

References

• A Kadir Z, Mohammad R, Othman N, Amrin A, Muhtazaruddin MN, Abu-Bakar SH and Muhammad-Sukki F(2020). Risk management framework for handling and storage of cargo at major ports in Malaysia towards port sustainability. Sustainability, 12(2), 516. [https://doi.org/10.3390/su12020516]
• Alyami H, Lee PT, Yang Z, Riahi R, Bonsall S and Wang J(2014). An advanced risk analysis approach for container port safety evaluation. Maritime Policy Manag, 41(7), 634~650. http://ISSN0308-8839 [https://doi.org/10.1080/03088839.2014.960498]
• Alyami H, Yang Z, Riahi R, Bonsall S and Wang J(2016). Advanced uncertainty modelling for container port risk analysis. Accident Analysis & Prevention, 123, 411~421. [https://doi.org/10.1016/j.aap.2016.08.007]
• Anderson, ET(1997). Important distance education practice, A Delphi study of adminstration and coordinators of distance education programs in higher education. Unpublished doctoral dissertation, University of Idaho.
• Chlomoudis CI, Kostagiolas PA and Lampridis CD(2011). Quality and safety systems for the port industry: empirical evidence for the main Greek ports. European transport research review, 3, 85~93. [https://doi.org/10.1007/s12544-010-0043-0]
• Jiang M, Lu J, Qu Z and Yang Z(2022). Safety evaluation of the ports along the maritime silk road. Maritime Policy & Management, 49(6), 797~819. [https://doi.org/10.1080/03088839.2021.1903598]
• Kim JT(2022). Development of safety inspection evaluation indicators based on construction site safety and health management system. Unpublished doctoral dissertation, University of Kyungpook National.
• Kwak BH(2023). A study on the development of indicators for safety management evaluation of sports facilities in Korea. Unpublished doctoral dissertation, Seoul National University of Science and Technology. [https://doi.org/10.7232/iems.2023.22.2.188]
• Kwesi-Buor J, Menachof DA and Talas R(2019). Scenario analysis and disaster preparedness for port and maritime logistics risk management. Accident Analysis & Prevention, 123, 433~447. http://AAP-D-15-00686R3 [https://doi.org/10.1016/j.aap.2016.07.013]
• Lawshe CH(1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563~575. [https://doi.org/10.1111/j.1744-6570.1975.tb01393.x]
• Lee JW(2021). Development of safety management metrics for participatory sports event operators. Unpublished doctoral dissertation, University of Yonsei.
• Lee SB(2020). A study on the activation of safety and health management system implementation according to ISO 45001 international standard. Unpublished doctoral dissertation, University of Myongji.
• Lim S, Pettit S, Abouarghoub W and Beresford A(2019). Port sustainability and performance: A systematic literature review. Transportation Research, 72, 47~64. [https://doi.org/10.1016/j.trd.2019.04.009]
• Moen RD and Norman CL(2009). The History of the PDCA Cycle. Proceedings from the Seventh Asian Network for Quality Congress. Tokyo, Sept, 17, 2009.
• Muhammet Gul(2020). A fuzzy-based occupational health and safety risk assessment framework and a case study in an international port authority. Journal of Marine Engineering & Technology, 19(4), 161~175. [https://doi.org/10.1080/20464177.2019.1670994]
• Noh JW, Lee YJ, Jang SY, Kim MK, Cho KH, Kim JH and Yoo KB(2018). Research on Reimbursement of Therapeutic Medical Device through Delphi Method and Analytic Hierarchy Process. Korea Journal of Hospital Management, 23(4), 15~25.
• Shin JY, Kim JR and Lee JS(2018). Developing occupational therapist competency indicators for work-based interventions. Therapeutic Science for Neurorehabilitation, 7(1), 37~50. [https://doi.org/10.22683/tsnr.2018.7.1.037]
• Son EI, Sung YM and Song MR(2012). Empirical analysis of performance management of new vitality projects applying PDCA cycles. Rural economy, 35(4), 19~39.
• Sun J, Wang H and Chen J(2020). Decision-making of port enterprise safety investment based on system dynamics. Processes, 8(10), 1235~1246. [https://doi.org/10.3390/pr8101235]
• Tam K, Hopcraft R, Moara-Nkwe K, Misas JP, Andrews W, Harish AV and Jones K(2021). Case study of a cyber-physical attack affecting port and ship operational safety. Journal of Transportation Technologies 2022, 12, 1~27. [https://doi.org/10.4236/jtts.2022.121001]
• Yousuf MI(2007). Using experts opinions through Delphi technique. Practical assessment research and evaluation, 12(4), 2~3. http://ISSN1531-7714