AI 기법을 이용한 자율 운항 연구

Ⅰ. 서 론

1994년 일본의 Kai Levander 교수에 의해 연안 선박의 운항에 선원이 없는 개념이 소개된 이후 인공지능과 원격조종을 결합한 무인선박에 대한 연구가 대세를 이루었으나 현재는 2012년 MUNIN 프로젝트를 계기로 세계적으로 자율운항선박의 개발 및 출현에 관심이 고조되고 있다. IMO(International Maritime Organization, 국제해사기구)에서는 자율운항선박을 MASS(Maritime Autonomous Surface Ship)라 하고 총 4단계의 선박의 자율화 단계를 정의하였다. 1단계는 자동화된 프로세서 및 의사결정 시스템이 설치된 선박, 2단계는 선원이 승선하고 원격제어가 가능한 선박, 3단계는 선원이 승선하지 않은 상태에서 원격제어가 가능한 선박, 마지막으로 4단계는 완전한 자율운항선박을 지칭한다(IMO, 2018). 여기서 완전한 자율운항이란 선원이 승선하지 않으면서 원격제어도 없이 운항하는 것을 말한다. 현재 유럽을 중심으로 민간에서 2020년 첫 자율운항 선박의 상업운항을 앞두고 있다. 그 예는 노르웨이의 야라버클랜드호(120TEU)이다. 우리나라의 경우 2018년 현재 자율운항 선박 개발에 대한 예비타당성 조사 중에 있으며 계획에 의하면 2019년부터 6년간 각종 항해, 통신 장비들을 개발완료하고 자율운항선박을 진수할 예정이다. 그리고 그에 대한 일환으로 산업통상자원부에서는 “스마트 자율운항선박 시운전센터 개발 사업”을 공모하였으며 울산시가 최종 선정되었다(Google, 2018a). 하지만 해결해야 하는 상황은 규정, 보험문제, 사이버 보안 등 여러 가지이다(Pӓivi, 2018). 이 연구에서는 운항자의 관점에서 접근하고자 한다. 자율운항선박을 위한 항해, 통신장비가 완성되어야 운항이 가능하므로 이 분야에 대한 내용은 언급을 하지 않도록 하겠다. 선박, 항공기, 자동차 등과 같은 교통수단에서 가장 중요한 부분인 충돌방지를 어떻게 할 것인가에 대한 것이다. 현재 선박들은 COLREG에 의해 피항 동작을 취하고 있다. 기존의 충돌방지연구는 위험영역을 설정한 후 영역 내에 상대선이 진입하면 피항하는 것이 대부분이었다(Wang, 2010; Kim et al., 2017; Fujii and Tanaka, 1971; Coldwell, 1983; Arimura et al., 1988; Kijima and Furukawa, 2003; Kobayashi and Endoh, 1976). 하지만 이는 단순히 충돌을 회피하기 위한 것으로 실제 일반적인 운항자들은 미리 피항 동작을 취하는데 몇 마일 전부터 피항 동작을 취해야 하는지에 대한 연구는 거의 없는 실정이며 정확한 규정은 정량화 된 것이 없다. 그리고 여러 척의 선박이 동시에 조우하는 경우에는 특수 관계로 COLREG가 적용되지 않는다. 특히, 대형선들은 위험 상황이 발생하기 전 즉, COLREG 적용 전 미리 피항 조치한다. 이런 경우 일반적인 운항자는 자신의 경험에 의한 해기 능력으로 피항 조치를 취한다. 미래의 선박인 완전 자율화 단계의 무인화 선박은 선박이 사람인 운항자를 대신하여 생각하고 결정하여 피항 동작을 취해야 한다. 이에 이 연구에서 기계가 학습하여 판단하는 인공지능 기법을 자율운항선박에 적용하는 기초적 연구를 수행하고자 한다. 사용된 AI 기법은 알파고로 유명한 인간 행동심리학에서 영감을 받은 강화학습(Reinforcement Learning)의 Q-Learning으로 최적항로 산정 및 장애물 회피방법을 수행하였다(Google, 2018b; Takayoshi, 2016a). 강화학습은 컴퓨터를 이용하여 현재 상태에서 어떤 행동을 취하는 것이 최적인가를 학습하는 것이다. 이때 하나의 행동을 취할 때마다 보상이 주어지며 이 보상이 최대화하는 방향으로 학습된다.

Ⅱ. 분석 도구

강화학습에 요소는 스스로 학습하는 agent, agent가 행동하는 전체 시스템인 environment, agent의 정적/동적 상태를 나타내는 state와 agent가 학습 후 행동한 것에 대한 평가를 나타내는 reward이며 이 요소에 대한 적절한 설정이 필요하다. AI 기법의 딥러닝을 위해 이 연구에서 사용된 도구는 jupyter program이며 해당 언어는 C++, 루아, python 등 여러 가지 중 jupyter program에서 사용되는 python을 사용하였다(Takayoshi, 2016b). 강화학습에 대한 개요도는 [Fig. 1]과 같다.

[Fig. 1]

Concept of Reinforcement Learning

[Fig. 2]는 jupyter program에 python언어로 만들어진 파일이 저장된 모습이며 [Fig. 3]은 강화학습을 적용한 결과이다.

[Fig. 2]

Main page of Jupyter program

[Fig. 3]

Result of Reinforcement Learning

Ⅲ. 분석 방법

이 연구에서는 AI에 최적화된 python을 사용하였다. AI기법을 이용한 자율운항 방법을 분석하기 위해 실제 운항 상황을 고려하여 자선과 장애물을 설정한다. 자선의 경우 AI를 이용하여 스스로 분석하도록 지정하였으며 장애물의 경우 정지한 장애물은 좌표를 통해 위치를 지정하였다. 그리고 상대선과 같이 움직이는 장애물의 경우 위치를 좌표로 설정한 이후 진행 방향을 좌, 우, 상, 하를 구분하여 설정하였다. 이번 연구는 AI 기법을 통하여 자율운항선박에 이 기법이 적용 가능한지에 대한 기초적 연구로 실제 선박에 바로 적용되는 것은 아님을 밝혀둔다. 단, 운항 전 복잡한 지형지물에 대한 최적 항로 산정 등에는 바로 적용 가능할 것으로 본다. 실제 운항의 경우 선박의 이동속도 및 침로가 다양하게 적용되어야 하므로 추가적인 연구가 필요하다. 즉, 향후에는 전자해도에서 추출한 좌표로 육상 장애물을 지정하고 움직이는 선박의 경우는 AIS(Automatic Identification System, 선박자동식별장치), Radar 데이터 등을 추출하여 적용하는 연구가 필요하다. 이렇게 시나리오가 정리되면 강화학습을 통해 경로를 검색하는 방식을 사용하여 시작지점을 중심으로 무수한 반복을 통하여 목표 지점까지의 경로를 검색한다. 안전한 경로에 가중치(reward)를 부여하는 방식으로 다양한 환경을 등록하고 가중치를 변경하는 방식으로 전체 시스템 동작 방식은 [Fig. 4]와 같다.

[Fig. 4]

Concept of operation

분석방법 중 경로 탐색에 사용되는 요소는 다음과 같다. 해양환경(environment), 도착점까지 운항하는 자선을 나타내는 에이전트(agent), agent의 위치한 노드의 2차원 좌표값인 상태(state)와 보상(reward) 그리고 자선이 어디로 이동할지에 대한 판단하는 정책(policy)이 있다. 이때 행동 가치 함수인 Q-함수를 통하여 action을 행하였을 때 reward를 받고 이에 따라 Q-함수를 갱신한다. 자선이가 목표지점에 도착할 때까지 좌표, 순간 이동시간, 순간 이동속도를 누적하여 전체 경로 및 시간 산출한다. 이때 학습을 통해 (+)값이 가장 커지면 최적의 경로가 된다. 강화학습을 위해서 우선 고정 장애물을 설정하였다. [Fig. 5]에 붉은색으로 표현된 것이며 이는 방파제를 고려한 것이다.

[Fig. 5]

Arrangement of Grid (Fixed Obstacle)

[Fig.6]은 고정 장애물과 이동 장애물을 표현한 것으로 방파제와 하단에 타선을 표현한 것이다.

[Fig. 6]

Arrangement of Grid (Fixed Obstacle & Moving Obstacle)

특히, 이동 장애물의 경우 상, 하, 좌, 우 움직이는 방향에 대한 정보를 설정하여야 한다.

그리고 이 그리드에 python을 이용한 프로그램 코딩을 통해 자선의 출발위치 및 도착지를 지정하며 [Fig. 7]은 정지된 물표, [Fig. 8]은 정지된 물표와 이동 물표를 지정한 것이다.

[Fig. 7]

Arrangement Grid of Fixed Obstacle (Ownship Position and Destination)

[Fig. 8.]

Arrangement Grid of Fixed Obstacle & Moving Obstacle (Ownship Position and Destination)

이렇게 구성된 시나리오를 이용하여 AI 기법은 강화학습을 수행하고 최적 경로를 탐색하였다. 학습의 방법은 하나의 노드를 이동할 때마다 행동에 대한 보상을 통하여 Q-함수를 업데이트하고 변화하는 환경도 보상이라는 입력값으로 반영한다. 무수한 반복을 통하여 최적의 Q-함수를 획득하여 최적의 경로를 산출한다. 단, 학습에 회수에 따라 경로는 다르게 나타나므로 이 연구에서는 최적의 값을 도출하기 위해 회수를 100 ~ 300회로 구분하여 다양하게 학습하였다. 그 결과는 고정 장애물에 대한 결과는 [Fig. 9] ~ [Fig. 10]과 같다. 주목할 만한 내용은 학습 회수가 100인 경우에는 경로를 탐색하지 못하였다.

[Fig. 9]

Result of Fixed Obstacle using Reinforcement Learning (100)

[Fig. 10]

Result of Fixed Obstacle using Reinforcement Learning (200)

[Fig. 12]는 먼저 우리 학회에 발표된 해상교통위험성평가시스템(Kim et al., 2017)을 이용한 결과이다. 자선은 가장 안전한 녹색 부분으로 운항하는 것이 최적이며, 운항자가 주의를 기울인다면 노란색 부분으로 항해하는 것도 가능하다. AI기법의 분석결과인 [Fig. 10] & [Fig. 11]의 결과와 거의 유사함을 알 수 있다. 일반적으로 조류와 파도의 제한사항이 없다면 방파제 사이 중앙으로 운항할 것으로 생각하지만 운항자는 이 코스를 선택할 경우 정선수 방향에 방파제가 있어 위험을 느끼므로 우측 방파제로 접근하여 운항하고 우측 방파제를 지나고 나서 중앙항로로 운항하려는 경향이 있다. 즉, 운항자의 항만 접이안 조종성향과 해상교통위험성평가시스템의 결과그리고 AI기법을 이용한 결과가 유사함을 알 수 있었다.

[Fig. 11]

Result of Fixed Obstacle using Reinforcement Learning (300)

[Fig. 12]

Comparison of Maritime Traffic Risk Assessment System and AI

고정 장애물과 이동 장애물이 동시에 있는 경우에 대한 결과는 [Fig. 13] ~ [Fig. 15]와 같다. 이 경우도 마찬가지로 학습 회수가 100 및 200인 경우에는 경로를 탐색하지 못하였다. 300회인 경우 경로를 탐색하였으나 실선에 탑재될 경우 타선의 속력 및 정확한 침로가 적용되어야 한다. 하지만 이 연구에서는 이 분석결과로 움직이는 이동 장애물에 대한 자선의 피항이 가능함을 알 수 있었다.

[Fig. 13]

Result of Fixed Obstacle & Moving Obstacle using Reinforcement Learning (100)

[Fig. 14]

Result of Fixed Obstacle & Moving Obstacle using Reinforcement Learning (200)

[Fig. 15]

Result of Fixed Obstacle & Moving Obstacle using Reinforcement Learning (300)

Ⅳ. 결 론

근래 선박의 자율화 즉, 자율운항선박에 대한 관심이 고조되고 있으며 실제 자율운항에 필요한 여러 분야의 실험에 성공하였다. 특히, 2020년에는 유럽에서 실제 상선이 상업운항을 실시할 예정이다. 이런 경우 자율운항 선박에는 다양한 최신 기술이 포함되어야 한다.

이 연구에서는 그 중 운항자의 관점에서 가장 중요하게 생각하는 충돌방지분야에 대해 고찰하였다. 충돌방지 기법은 여러 분야에서 선행 연구되었다. 주로 선박의 위험영역을 설정하고 이에 진입하게 되면 회피하는 것이다. 이 연구에서는 현재 활발하게 연구되고 있는 AI기법을 적용하여 고정 장애물과 이동 장애물에 대한 자선에 회피 동작에 대해 실험하였다. 그 결과 고정 및 이동 장애물에 대한 충돌을 발생하지 않았으며 피항 항로도 운항자의 피항 행동 및 해상교통위험성평가시스템의 결과와 거의 유사함을 확인할 수 있었다. 향후 고정 장애물은 전자해도의 데이터를 적용, 이동 장애물은 AIS 및 R/D 데이터를 적용한다며 자율운항 선박의 충돌방지에 도움이 될 것이다. 또한, AI 기법은 자율운항 선박뿐만 아니라 해상교통관제, 스마트항만 등 다양한 해양관련 산업에 적용이 가능할 것이다.

References

• Arimura, N, Yamada, K, Watanabe, K, Shiota, N, and Ohtani, K, (1988), A Study on Man-machine System in Vessel Traffic Flow, Ship's Research, 25(3), ＼Research Report, p55-71, (in Japanese).
• Coldwell, TG, (1983), Marine traffic behaviour in restricted waters, The Journal of Navigation, 36, p431-444. [https://doi.org/10.1017/s0373463300039783]
• Fujii, Y, and Tanaka, K, (1971), Traffic capacity, The Journal of Navigation, 24, p543-552.
• Google, (2018a), http://www.newsis.com/view/id=NISX20180809_0000386931 (accessed 15th Oct. 2018).
• Google, (2018b), https://en.wikipedia.org/wiki/Q-learning (accessed 15th Oct. 2018).
• IMO, (2018), MSC 99, Regulatory Scoping Exercise for The Use of Maritime Autonomous Surface Ships (MASS), Agenda item 5.
• Kim, WO, Kang, SJ, Youn, DG, Bae, JY, and Kim, CJ, (2017), A Study on the Coastal Navigation Safety by Navigational Risk Assessment Model, Journal of Fishier and Marine Educational Research, 29(1), p201-207. [https://doi.org/10.13000/jfmse.2017.29.1.201]
• Kim, WO, Kim, CJ, Youn, DG, and Kim, DH, (2017), Development of Maritime Traffic Risk Assessment System based on ECDIS, Journal of Fishier and Marine Educational Research, 29(6), p1670-1675. [https://doi.org/10.13000/jfmse.2017.29.6.1670]
• Kijima, K, and Furukawa, Y, (2003), Automatic collision avoidance system using the concept of blocking area, Proc. of IFAC Conf. on Manoeuvring and Control of Marine Craft, Girona, Spain, p262-267. [https://doi.org/10.1016/s1474-6670(17)37811-4]
• Kobayashi, H, and Endoh, M, (1976), “Analysis of Collision Avoiding Action of Ship”, Journal of Japanese Navigation Research, No. 55, p101-109, (in Japanese).
• Pӓivi, H, (2018), Advancing Maritime Autonomy/Global Ecosystem Activities, Autonomous Ship TECHNOLOGY Symposium.
• Takayoshi, Y, (2016a), Illustration De Manabu Deep Learning, jpub, p198-199.
• Takayoshi, Y, (2016b), Illustration De Manabu Deep Learning, jpub, p104.
• Wang, N, (2010), An Intelligent Spatial Collision risk Based on the Quaternion Ship Domain, The Journal of Navigation, 63, p733-749. [https://doi.org/10.1017/s0373463310000202]