特開 2023-80054 多重映像ベースの船舶近接周辺状況認識支援システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023080054

(43)【公開日】2023-06-08

(54)【発明の名称】多重映像ベースの船舶近接周辺状況認識支援システム及び方法

(51)【国際特許分類】

   G08G 3/02 20060101AFI20230601BHJP

   G16Y 10/40 20200101ALI20230601BHJP

   G16Y 20/20 20200101ALI20230601BHJP

   G16Y 40/10 20200101ALI20230601BHJP

【ＦＩ】

G08G3/02 A

G16Y10/40

G16Y20/20

G16Y40/10

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022190139

(22)【出願日】2022-11-29

(31)【優先権主張番号】10-2021-0167292

(32)【優先日】2021-11-29

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】518304915

【氏名又は名称】コリア インスティテュート オブ オーシャン サイエンス テクノロジー

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】ナムソン ソン

(72)【発明者】

【氏名】チュンソン ピョ

(72)【発明者】

【氏名】ハンソル パク

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA25

5H181BB04

5H181BB19

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF13

5H181FF14

5H181FF32

5H181LL04

(57)【要約】

【課題】多重映像ベースの船舶近接周辺状況認識支援システム及び方法が開示される。
【解決手段】多重映像ベースの船舶近接周辺状況認識支援システムは、周辺映像及び航法センサーを用いて周辺をモニタリングして周辺物体を探知及び追跡する無人水上艇（ＵＳＶ：Ｕｎｍａｎｎｅｄ Ｓｕｒｆａｃｅ Ｖｅｈｉｃｌｅ）と、周辺物体の探知に応じて無人水上艇の周辺状況認識を支援する遠隔運航管制装置と、を含み、無人水上艇は、映像分析を用いて無人水上艇の周辺の物体を検知するために、無人水上艇の周辺の多重映像を取得する映像取得部と、無人水上艇の現在運航情報及び無人水上艇の周辺の障害物情報をリアルタイムで取得する航法センサー部と、多重映像、現在運航情報及び障害物情報を用いて無人水上艇の周辺をモニタリングし、モニタリングの結果、無人水上艇の周辺に、予め設定された距離以内に近接した物体が探知されると、探知された物体を追跡する探知部と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

多重映像ベースの船舶近接周辺状況認識支援システムであって、
周辺映像及び航法センサーを用いて周辺をモニタリングして周辺物体を探知及び追跡する無人水上艇（ＵＳＶ：Ｕｎｍａｎｎｅｄ Ｓｕｒｆａｃｅ Ｖｅｈｉｃｌｅ）と、
前記周辺物体の探知に応じて前記無人水上艇の周辺状況認識を支援する遠隔運航管制装置と、を含み、
前記無人水上艇は、
映像分析を用いて前記無人水上艇の周辺の物体を検知するために、前記無人水上艇の周辺の多重映像を取得する映像取得部と、
前記無人水上艇の現在運航情報及び前記無人水上艇の周辺の障害物情報をリアルタイムで取得する航法センサー部と、
前記多重映像、前記現在運航情報及び前記障害物情報を用いて前記無人水上艇の周辺をモニタリングし、前記モニタリングの結果、前記無人水上艇の周辺に、予め設定された距離以内に近接した物体が探知されると、前記探知された物体を追跡する探知部と、を含む、多重映像ベースの船舶近接周辺状況認識支援システム。

【請求項2】

前記映像取得部は、
前記無人水上艇の周辺を撮影するように設置される熱画像カメラ、パノラマカメラ及び３６０度カメラを含み、
前記無人水上艇の周辺に対するアラウンドビュー形態の熱画像映像、パノラマ映像及び３６０度映像を含む前記多重映像を取得することを特徴とする、請求項１に記載の多重映像ベースの船舶近接周辺状況認識支援システム。

【請求項3】

前記航法センサー部は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ジャイロセンサー（ｇｙｒｏｓｅｎｓｏｒ）、自動船舶識別装置（ＡＩＳ：Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）及びレーダー（ＲＡＤＡＲ）を含み、
前記ＧＰＳ及び前記ジャイロセンサーは、前記無人水上艇の位置、速度、方位及び姿勢を含む前記現在運航情報を取得し、
自動船舶識別装置（ＡＩＳ）及びレーダー（ＲＡＤＡＲ）は、前記障害物情報を取得することを特徴とする、請求項１に記載の多重映像ベースの船舶近接周辺状況認識支援システム。

【請求項4】

前記遠隔運航管制装置は、
前記多重映像、前記現在運航情報及び前記障害物情報を用いて、前記探知された物体と前記無人水上艇との衝突危険度を推定する推定部と、
前記周辺状況認識を支援するために、前記算出された衝突危険度を前記探知された物体別に電子海道上に前記探知された物体と一緒に表示して出力する状況認識部と、を含むことを特徴とする、請求項１に記載の多重映像ベースの船舶近接周辺状況認識支援システム。

【請求項5】

前記推定部は、前記現在運航情報を用いて、前記無人水上艇の予想経路上に前記探知された物体が位置するか否かを判断し、前記判断の結果、前記探知された物体が前記予想経路上に位置する場合、前記無人水上艇と前記探知された物体との距離に反比例するように前記衝突危険度を算出することを特徴とする、請求項４に記載の多重映像ベースの船舶近接周辺状況認識支援システム。

【請求項6】

前記状況認識部は、前記周辺状況認識を支援するために、前記多重映像をベースとした拡張現実（ＡＲ）又は仮想現実（ＶＲ）に、前記探知された物体に対して前記衝突危険度を表示して出力することを特徴とする、請求項４に記載の多重映像ベースの船舶近接周辺状況認識支援システム。

【請求項7】

無人水上艇及び遠隔運航管制装置を含むシステムで行われる多重映像ベースの船舶近接周辺状況認識支援方法であって、
前記無人水上艇が映像分析を用いて周辺物体を検知するために、周辺の多重映像を取得するステップと、
前記無人水上艇が現在運航情報及び周辺の障害物情報をリアルタイムで取得するステップと、
前記無人水上艇が前記多重映像、前記現在運航情報及び前記障害物情報を用いて周辺をモニタリングし、前記モニタリングの結果、予め設定された距離以内に近接した物体が探知されると、前記探知された物体を追跡するステップと、
前記遠隔運航管制装置が前記物体の探知に応じて前記無人水上艇の周辺状況認識を支援するステップと、を含む、多重映像ベースの船舶近接周辺状況認識支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多重映像ベースの船舶近接周辺状況認識支援システム及び方法に関する。

【背景技術】

【0002】

無人船は、船員なしに、定められた経路を自動的に航海し、必要に応じて、遠隔操縦統制センターで航海及び機関部（例えば、エンジン、方向舵装置）を制御することができる船舶をいう。このために、地上には、無人船を遠隔で操縦するための遠隔操縦統制センターが必要であり、技術的問題及び法的問題などの解決のために、遠隔操縦統制センターでは、有資格者が直接指揮統率を行わなければならない。

【0003】

一方、最近、ＧＰＳ及び各種センサーの発展により、車両が最短距離の経路で自律走行することは難しくない技術であるといえるが、船舶の運航においてはそうではないといえる。船舶は、例えば自動車やオートバイなど、その他の陸上で運行する車両とは異なり、水中で運航する特性のため、慣性力が非常に大きいので、即時に速度や方向を調節することが非常に難しいためである。また、海は、陸地のように定められた道路がなく、天気などの様々な変数の影響を大きく受けるため、予定された経路で運航することは非常に難しいことが現実であり、予想できなかった他の船舶及び岩礁などとの衝突を予防するために、船員が常に前方を注視しなければならない。

【0004】

特に、船舶運航中に大量の雨又は雪が降ったり、高濃度の霧、スモッグ（ｓｍｏｇ）、黄砂又は粒子状物質などが発生したりする場合、可視性（ｖｉｓｉｂｉｌｉｔｙ）が急激に低下して船員が前方を注視しても肉眼で物体を探知し難いため、予想できない他の船舶及び岩礁などと衝突するおそれのある非常に危険な状況に置かれることがあるという問題点がある。つまり、船舶の運航は、衝突回避が核心であるといえるが、船舶の速度や方向を調節するためには船舶の運航経路を予め予測して、前もってステアリングハンドルや変速レバーの操作を行わなければならない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】韓国特許公報第１０－０７３４８１４号（２００７年６月２７日）

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、無人水上艇（ＵＳＶ：Ｕｎｍａｎｎｅｄ Ｓｕｒｆａｃｅ Ｖｅｈｉｃｌｅ）に取り付けられた多重カメラ及び各種航法センサーを用いて無人水上艇の周辺の障害物を探知し、探知された障害物との衝突危険度による遠隔状況認識情報を提供する多重映像ベースの船舶近接周辺状況認識支援システム及び方法を提供するためのものである。

【課題を解決するための手段】

【0007】

本発明の一側面によると、多重映像ベースの船舶近接周辺状況認識支援システムが開示される。

【0008】

本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムは、周辺映像及び航法センサーを用いて周辺をモニタリングして周辺物体を探知及び追跡する無人水上艇（ＵＳＶ：Ｕｎｍａｎｎｅｄ Ｓｕｒｆａｃｅ Ｖｅｈｉｃｌｅ）と、前記周辺物体の探知に応じて前記無人水上艇の周辺状況認識を支援する遠隔運航管制装置と、を含み、前記無人水上艇は、映像分析を用いて前記無人水上艇の周辺の物体を検知するために、前記無人水上艇の周辺の多重映像を取得する映像取得部と、前記無人水上艇の現在運航情報及び前記無人水上艇の周辺の障害物情報をリアルタイムで取得する航法センサー部と、前記多重映像、前記現在運航情報及び前記障害物情報を用いて前記無人水上艇の周辺をモニタリングし、前記モニタリングの結果、前記無人水上艇の周辺に、予め設定された距離以内に近接した物体が探知されると、前記探知された物体を追跡する探知部と、を含む。

【0009】

前記映像取得部は、前記無人水上艇の周辺を撮影するように設置される熱画像カメラ、パノラマカメラ及び３６０度カメラを含み、前記無人水上艇の周辺に対するアラウンドビュー形態の熱画像映像、パノラマ映像及び３６０度映像を含む前記多重映像を取得する。

【0010】

前記航法センサー部は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ジャイロセンサー（ｇｙｒｏｓｅｎｓｏｒ）、自動船舶識別装置（ＡＩＳ：Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）及びレーダー（ＲＡＤＡＲ）を含み、前記ＧＰＳ及び前記ジャイロセンサーは、前記無人水上艇の位置、速度、方位及び姿勢を含む前記現在運航情報を取得し、自動船舶識別装置（ＡＩＳ）及びレーダー（ＲＡＤＡＲ）は、前記障害物情報を取得する。

【0011】

前記遠隔運航管制装置は、前記多重映像、前記現在運航情報及び前記障害物情報を用いて、前記探知された物体と前記無人水上艇との衝突危険度を推定する推定部と、前記周辺状況認識を支援するために、前記算出された衝突危険度を前記探知された物体別に電子海道上に前記探知された物体と一緒に表示して出力する状況認識部と、を含む。

【0012】

前記推定部は、前記現在運航情報を用いて、前記無人水上艇の予想経路上に前記探知された物体が位置するか否かを判断し、前記判断の結果、前記探知された物体が前記予想経路上に位置する場合、前記無人水上艇と前記探知された物体との距離に反比例するように前記衝突危険度を算出する。

【0013】

前記状況認識部は、前記周辺状況認識を支援するために、前記多重映像をベースとした拡張現実（ＡＲ）又は仮想現実（ＶＲ）に、前記探知された物体に対して前記衝突危険度を表示して出力する。

【0014】

本発明の他の側面によると、無人水上艇及び遠隔運航管制装置を含むシステムで行われる多重映像ベースの船舶近接周辺状況認識支援方法が開示される。

【0015】

本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援方法は、前記無人水上艇が映像分析を用いて周辺物体を検知するために、周辺の多重映像を取得するステップと、前記無人水上艇が現在運航情報及び周辺の障害物情報をリアルタイムで取得するステップと、前記無人水上艇が前記多重映像、前記現在運航情報及び前記障害物情報を用いて、周辺をモニタリングし、前記モニタリングの結果、予め設定された距離以内に近接した物体が探知されると、前記探知された物体を追跡するステップと、前記遠隔運航管制装置が前記物体の探知に応じて前記無人水上艇の周辺状況認識を支援するステップと、を含む。

【発明の効果】

【0016】

本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システム及び方法は、無人水上艇（ＵＳＶ：Ｕｎｍａｎｎｅｄ Ｓｕｒｆａｃｅ Ｖｅｈｉｃｌｅ）に取り付けられた多重カメラ及び各種航法センサーを用いて無人水上艇の周辺の障害物を探知し、探知された障害物との衝突危険度による遠隔状況認識情報を提供することにより、無人水上艇の遠隔運航の際に周辺の他船及び障害物との衝突事故を事前に予防することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムが実現できる環境を概略的に例示する図である。

【図2】本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムの構成を概略的に例示する図である。

【図3】本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムの構成を概略的に例示する他の図である。

【図4】本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムを説明するための図である。

【図5】本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムを説明するための他の図である。

【図6】本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムの動作方法を概略的に例示するフローチャートである。

【発明を実施するための形態】

【0018】

本明細書で使用される単数の表現は、文脈上明らかに異なる意味を有しない限り、複数の表現を含む。本明細書において、「構成される」又は「含む」などの用語は、明細書上に記載された複数の構成要素又は複数のステップを必ずしも全て含むものと解釈されてはならず、そのうちの一部の構成要素又は一部のステップは含まれなくてもよく、或いは追加の構成要素又はステップをさらに含むことができるものと解釈されるべきである。また、明細書に記載された「…部」や「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは、ハードウェア又はソフトウェアで実現されるか、或いはハードウェアとソフトウェアとの組み合わせで実現され得る。

【0019】

以下、本発明の様々な実施形態を添付図面に基づいて説明する。

【0020】

図１は、本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムが実現できる環境を概略的に例示する図であり、図２及び図３は、本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムの構成を概略的に例示する図であり、図４及び図５は、本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムを説明するための図である。以下、図１乃至図５を参照して、本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムについて説明する。

【0021】

まず、図１を参照すると、本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムは、無人水上艇（ＵＳＶ：Ｕｎｍａｎｎｅｄ Ｓｕｒｆａｃｅ Ｖｅｈｉｃｌｅ）及び陸上管制センター２００に実現できる。

【0022】

例えば、無人水上艇１００と陸上管制センター２００間の通信は、ＬＴＥ－Ｍａｒｉｔｉｍｅ又は通信衛星などの海洋通信ネットワークを介して行われることができる。

【0023】

図２を参照すると、本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムは、無人水上艇１００、及び陸上管制センター２００に設置される遠隔運航管制装置２１０を含んで構成できる。

【0024】

無人水上艇１００は、周辺画像及び航法センサーを用いて周辺をモニタリングして周辺物体を探知及び追跡する。

【0025】

遠隔運航管制装置２１０は、周辺物体の探知に応じて無人水上艇の周辺状況認識を支援する。

【0026】

まず、無人水上艇１００は、図２に示されているように、通信部１１０、運航制御部１２０、映像取得部１３０、航法センサー部１４０、及び探知部１５０を含んで構成できる。

【0027】

通信部１１０は、他の船舶又は陸上の通信可能な各種装置との通信を行う。例えば、通信部１１０は、ＣＤＭＡ、衛星通信、ＬＴＥ、ＲＦ通信などの様々な通信媒体を含むことができる。

【0028】

特に、通信部１１０は、陸上で船舶の航海を支援する陸上管制センター２００に設置された遠隔運航管制装置２１０との通信を行うことができる。

【0029】

運航制御部１２０は、陸上管制センター２００の遠隔運航管制装置２１０から受信される制御命令及び制御情報に基づいて無人水上艇１００の運航を制御する。

【0030】

つまり、遠隔運航管制装置２１０は、ユーザーから制御命令及び制御情報の入力を受けて無人水上艇１００へ伝送することができる。

【0031】

一方、運航制御部１２０は、自律運航機能を含むことができる。

【0032】

例えば、運航制御部１２０は、目的地情報の入力を受けて目的地までの最適な航海経路を生成し、生成された最適な航海経路に従って無人水上艇１００が航海するように制御することができる。運航制御部１２０は、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアの組み合わせで実現でき、電子海道データベースや、最適な航海経路を算出する経路アルゴリズムなどを含むことができる。

【0033】

また、運航制御部１２０は、無人水上艇１００のエンジン及び操舵機を操縦して無人水上艇１００の速力及び方向を制御することができる。このとき、運航制御部１２０は、周辺状況を監視する後述の映像取得部１３０及び航法センサー部１４０を用いて無人水上艇１００が周辺の船舶や障害物を回避するように無人水上艇１００の速力及び方向を制御することができる。

【0034】

映像取得部１３０は、映像分析を用いて無人水上艇１００の周辺の物体を検知するために、無人水上艇１００の周辺の多重映像を取得する。

【0035】

つまり、映像取得部１３０は、無人水上艇１００の周辺を撮影するように設置される熱画像カメラ、パノラマカメラ及び３６０度カメラを含むことができる。これにより、映像取得部１３０は、無人水上艇１００の周辺に対するアラウンドビュー形態の熱画像映像、パノラマ映像及び３６０度映像を取得することができる。

【0036】

航法センサー部１４０は、無人水上艇１００の現在運航情報及び無人水上艇１００の周辺の障害物情報をリアルタイムで取得する。

【0037】

つまり、航法センサー部１４０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ジャイロセンサー（ｇｙｒｏ ｓｅｎｓｏｒ）、自動船舶識別装置（ＡＩＳ：Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、レーダー（ＲＡＤＡＲ）、ライダー（Ｌｉｄａｒ）などを含むことができる。

【0038】

ここで、ＧＰＳ及びジャイロセンサーは、無人水上艇１００の位置、速度、方位及び姿勢を含む現在運航情報を取得することができる。

【0039】

そして、自動船舶識別装置（ＡＩＳ）、レーダー（ＲＡＤＡＲ）及びライダー（Ｌｉｄａｒ）は、無人水上艇１００の周辺の障害物情報を取得することができる。障害物情報は、無人水上艇１００の周辺に位置する未確認物体（障害物）や無人水上艇１００の周辺で運航している船舶についての情報を含むことができる。

【0040】

つまり、自動船舶識別装置は、無人水上艇１００の周辺船舶の航跡データであるＡＩＳデータを受信して収集する。ここで、ＡＩＳデータは、静的（ｓｔａｔｉｃ）情報とダイナミック（ｄｙｎａｍｉｃ）情報で構成され、静的情報は、船名、船舶の諸元、目的地などを含み、動的情報は、船舶の現在位置及び針路、速度などの運航情報を含む。

【0041】

そして、レーダー及びライダーは、無人水上艇１００の周辺に存在する物体を検知し、検知された物体の位置情報、移動速度、移動方向及び形態情報を取得する。ここでは、物体は、無人水上艇１００の周辺で航海する船舶、氷山、岩礁、浮遊物などを含むことができる。

【0042】

探知部１５０は、映像取得部１３０及び航法センサー部１４０によって取得された無人水上艇１００の周辺の多重映像、現在運航情報及び障害物情報を用いて無人水上艇１００の周辺をモニタリングし、モニタリングの結果、無人水上艇１００の周辺に、予め設定された距離以内に近接した物体が探知されると、探知された物体を追跡する。

【0043】

この時、探知部１５０は、映像取得部１３０及び航法センサー部１４０によって取得された無人水上艇１００の周辺の多重映像、現在運航情報及び障害物情報を遠隔運航管制装置２１０へ伝送することができ、物体が探知されると、探知された物体の情報も遠隔運航管制装置２１０へ伝送することができる。

【0044】

図３を参照すると、遠隔運航管制装置２１０は、通信部２１１、インターフェース部２１２、推定部２１３及び状況認識部２１４を含んで構成できる。

【0045】

通信部２１１は、運航中の各種船舶との通信を行う。例えば、通信部２１１は、ＣＤＭＡ、衛星通信、ＬＴＥ、ＲＦ通信などの多様な通信媒体を含むことができる。

【0046】

特に、通信部２１１は、遠隔操縦者が遠隔運航管制装置２１０を介して操縦しようとする無人水上艇１００との通信を行うことができる。

【0047】

インターフェース部２１２は、遠隔管制センター２００において、遠隔操縦者が、遠隔に位置する無人水上艇１００を操縦するための手段である。

【0048】

例えば、インターフェース部２１２は、ディスプレイ、遠隔操縦機などを含むことができる。ここで、ディスプレイは、映像取得部１３０及び航法センサー部１４０によって取得され、無人水上艇１００から受信される無人水上艇１００の周辺の多重映像、現在運航情報及び障害物情報を出力することができる。そして、遠隔操縦機は、遠隔操縦者が無人水上艇１００を操縦するための装置であって、無人水上艇１００に対する各種制御命令の入力を受けて無人水上艇１００へ伝送することができる。

【0049】

推定部２１３は、無人水上艇１００から受信される無人水上艇１００の周辺の多重映像、現在運航情報及び障害物情報を用いて、探知部１５０によって探知された無人水上艇１００の周辺の物体と無人水上艇１００の衝突危険度を推定する。

【0050】

例えば、推定部２１３は、予め設定されたファジー（Ｆｕｚｚｙ）ベースの船舶衝突リスク推定アルゴリズムを利用して衝突危険度を算出することができる。

【0051】

つまり、推定部２１３は、無人水上艇１００の位置、速度、方位及び姿勢を含む現在運航情報を用いて、無人水上艇定１００の予想経路上に探知された物体が位置するか否かを判断し、判断の結果、探知された物体が予想経路上に位置する場合、無人水上艇１００と探知された物体との距離に反比例するように衝突危険度を算出することができる。

【0052】

そして、推定部２１３は、探知部１５０の探知された物体の追跡結果、探知された物体が船舶のように移動する物体である場合、探知された物体が無人水上艇１００の予想経路を通過する時点を算出し、算出された予想経路通過時点で無人水上艇１００と探知された物体との距離に反比例するように衝突危険度を算出することができる。

【0053】

状況認識部２１４は、遠隔操縦者の無人水上艇１００の周辺状況認識を支援するために、インターフェース部２１２のディスプレイを介して、推定部２１３によって算出された衝突危険度を探知された物体別に電子海道上に物体と一緒に表示して出力する。

【0054】

また、状況認識部２１４は、遠隔操縦者の無人水上艇１００の周辺状況認識を支援するために、無人水上艇１００の周辺の多重映像をベースとした拡張現実（ＡＲ）又は仮想現実（ＶＲ）に、探知された物体に対して算出された衝突危険度を表示して出力することができる。

【0055】

例えば、出力される拡張現実又は仮想現実ベースの周辺状況認識支援画面は、図４及び図５に示されているように、識別性を上げるために、探知された物体が強調表示され、探知された物体のうち近接して衝突危険度が高い物体は、危険を知らせる表示が行われて出力できる。図４は、３６０度映像を用いた拡張現実及び仮想現実ベースの周辺状況認識支援画面を示し、図５は、パノラマ映像を用いた拡張現実ベースの周辺状況認識支援画面を示す。

【0056】

図６は、本発明の実施形態による多重映像ベースの船舶近接周辺状況認識支援システムの動作方法を概略的に例示するフローチャートである。

【0057】

Ｓ６１０段階で、無人水上艇１００は、映像取得部１３０及び航法センサー部１４０を用いて、周辺の多重映像を取得し、無人水上艇１００の現在運航情報及び無人水上艇１００の周辺の障害物情報をリアルタイムで取得し、取得された多重映像、現在運航情報及び障害物情報を遠隔運航管制装置２１０へ伝送する。

【0058】

Ｓ６２０段階で、無人水上艇１００は、周辺の多重映像、現在運航情報及び障害物情報を用いて無人水上艇１００の周辺をモニタリングし、モニタリングの結果、無人水上艇１００の周辺に、予め設定された距離以内に近接した物体が探知されると、探知された物体を追跡する。

【0059】

この時、無人水上艇１００は、物体が探知されると、探知された物体の情報も遠隔運航管制装置２１０へ伝送することができる。

【0060】

Ｓ６３０段階で、遠隔運航管制装置２１０は、無人水上艇１００から受信される無人水上艇１００の周辺の多重映像、現在運航情報及び障害物情報を用いて、探知された無人水上艇１００の周辺の物体と無人水上艇１００との衝突危険度を推定する。

【0061】

Ｓ６４０段階で、遠隔運航管制装置２１０は、遠隔操縦者の無人水上艇１００の周辺状況認識を支援するために、推定された衝突危険度を、探知された物体別に電子海道上に物体と一緒に表示して出力する。

【0062】

また、遠隔運航管制装置２１０は、遠隔操縦者の無人水上艇１００の周辺状況認識を支援するために、無人水上艇１００の周辺の多重映像をベースとした拡張現実（ＡＲ）又は仮想現実（ＶＲ）に、探知された物体に対して算出された衝突危険度を表示して出力することができる。

【0063】

一方、前述した実施形態の構成要素は、プロセス的な観点から容易に把握できる。つまり、それぞれの構成要素は、それぞれのプロセスとして把握できる。また、前述した実施形態のプロセスは、装置の構成要素の観点から容易に把握できる。

【0064】

また、前述した技術的内容は、様々なコンピュータ手段を介して行われ得るプログラム命令形態で実現されてコンピュータ可読媒体に記録できる。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、実施形態のために特に設計及び構成されたものであるか、或いはコンピュータソフトウェア当業者に公知になって使用可能なものであってもよい。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存し実行するように特に構成されたハードウェア装置が含まれる。プログラムム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードを含む。ハードウェア装置は、実施形態の動作を行うために、一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。

【0065】

上述した本発明の実施形態は、例示の目的のために開示されたものであり、本発明についての通常の知識を有する当業者であれば、本発明の思想と範囲内で様々な修正、変更及び付加が可能であり、それらの修正、変更及び付加も下記特許請求の範囲に属すると理解すべきである。

【符号の説明】

【0066】

１００ 無人水上艇（ＵＳＶ：Ｕｎｍａｎｎｅｄ Ｓｕｒｆａｃｅ Ｖｅｈｉｃｌｅ）
１１０ 通信部
１２０ 運航制御部
１３０ 映像取得部
１４０ 航法センサー部
１５０ 探知部
２００ 陸上管制センター
２１０ 遠隔運航管制装置
２１１ 通信部
２１２ インターフェース部
２１３ 推定部
２１４ 状況認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】