特許 6236549 船舶航行支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6236549

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】船舶航行支援装置

(51)【国際特許分類】

   G01S 13/93 20060101AFI20171113BHJP

   G01S 13/86 20060101ALI20171113BHJP

   G08G 3/02 20060101ALI20171113BHJP

【ＦＩ】

   G01S13/93 210

   G01S13/86

   G08G3/02 A

【請求項の数】7

【全頁数】12

(21)【出願番号】特願2016-564643(P2016-564643)

(86)(22)【出願日】2016年6月2日

(86)【国際出願番号】JP2016066426

【審査請求日】2016年10月26日

(73)【特許権者】

【識別番号】000232818

【氏名又は名称】日本郵船株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】特許業務法人筒井国際特許事務所

(72)【発明者】

【氏名】松重 太朗

(72)【発明者】

【氏名】長澤 祐介

【審査官】 ▲高▼場 正光

(56)【参考文献】

【文献】 特開２０１６−０７５６１５（ＪＰ，Ａ）

【文献】 特開２００５−２８９２６４（ＪＰ，Ａ）

【文献】 特開２０１１−０９９８３６（ＪＰ，Ａ）

【文献】 特開２００７−２１８７３８（ＪＰ，Ａ）

【文献】 特開２０１５−２０３６７７（ＪＰ，Ａ）

【文献】 特表２０１４−５２９３２２（ＪＰ，Ａ）

【文献】 国際公開第２００９／０８０９０３（ＷＯ，Ａ１）

【文献】 米国特許第９０３０３５１（ＵＳ，Ｂ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ ７／００ − Ｇ０１Ｓ ７／４２

Ｇ０１Ｓ １３／００ − Ｇ０１Ｓ １３／９５

(57)【特許請求の範囲】

【請求項1】

船舶の周囲に存在する水上物体を検出し、検出した前記水上物体に係る情報をユーザに出力する船舶航行支援装置であって、
前記船舶の周囲の水上を撮影するカメラにより取得された映像データを画像解析し、前記映像における第１の水上物体の存在を検出する画像解析部と、
前記船舶が備えるレーダーにより検出された第２の水上物体に係る情報を含むレーダー情報を前記レーダーから取得するレーダー情報連携部と、
前記画像解析部により取得された前記第１の水上物体に係る位置情報と、前記レーダー情報連携部により取得された前記第２の水上物体に係る位置情報と、をマッチングし、前記第１の水上物体と前記第２の水上物体が対応する場合に、前記映像において前記第１の水上物体に対して第１の所定の表示を付加し、さらに対応する前記第２の水上物体に係る前記レーダー情報の表示を付加する加工処理を行う画像処理部と、
前記画像処理部により加工処理がされた前記映像を出力する入出力部と、を有し、
前記画像処理部は、前記マッチングにおいて、前記第１の水上物体に対応する前記第２の水上物体が存在しない場合に、前記第１の水上物体に係る情報を、前記レーダー情報連携部により前記レーダーに対して出力する、船舶航行支援装置。

【請求項2】

請求項１に記載の船舶航行支援装置において、
前記画像処理部は、前記マッチングにおいて、前記第２の水上物体に対応する前記第１の水上物体が存在しない場合に、前記映像において前記第２の水上物体に係る位置情報に対応する位置に第２の所定の表示を付加し、その後の前記マッチングにおいて、前記第２の水上物体に対応する前記第１の水上物体が検出された場合に、前記映像における前記第２の所定の表示を前記第１の水上物体に対する前記第１の所定の表示に切り替える、船舶航行支援装置。

【請求項3】

請求項１に記載の船舶航行支援装置において、
前記画像処理部は、前記第２の水上物体の種類に応じて、前記第１の所定の表示の種類を切り替える、船舶航行支援装置。

【請求項4】

請求項１に記載の船舶航行支援装置において、
前記レーダー情報連携部は、前記第２の水上物体に係る情報を、前記レーダー以外の他の装置から取得可能な電子海図に係る情報から取得する、船舶航行支援装置。

【請求項5】

請求項１に記載の船舶航行支援装置において、
前記画像処理部は、前記マッチングにおいて前記第１の水上物体と前記第２の水上物体の対応が複数存在する場合に、前記レーダーにおいて前記ユーザから指定された１つ以上の前記第２の水上物体に対応する前記第１の水上物体に対してのみ、前記映像において前記第１の所定の表示を付加する、船舶航行支援装置。

【請求項6】

請求項１に記載の船舶航行支援装置において、
前記画像処理部は、前記マッチングにおいて前記第１の水上物体と前記第２の水上物体の対応が複数存在する場合に、前記入出力部を介して前記ユーザから指定された１つ以上の前記対応に係る前記第１の水上物体に対してのみ、前記映像において前記第１の所定の表示を付加する、船舶航行支援装置。

【請求項7】

請求項１に記載の船舶航行支援装置において、
前記画像処理部は、前記映像において前記第１の水上物体に対して前記第１の所定の表示が付加されている場合に、前記入出力部を介して前記ユーザから指定された場合にのみ、前記第１の水上物体に対応する前記第２の水上物体に係る前記レーダー情報の表示を付加する、船舶航行支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、船舶の航行を支援する技術に関し、特に、周辺の他の船舶等の把握を支援する船舶航行支援装置に適用して有効な技術に関するものである。

【背景技術】

【0002】

海等の水上を航行中の船舶においては、衝突等を回避するために周辺の他の船舶やブイ等の物体（以下ではこれらを「水上物体」と記載する場合がある）を把握・認識することが必要である。一般的な船舶においては、例えば、目視やレーダー等の手段を単独もしくは相互補完的に用いて把握している。近年では、把握した結果をより効果的な形で乗員に提示することを可能とするため、船舶の周辺を撮影したカメラ映像を用いる手法も提案されている。

【0003】

カメラ映像を用いる手法として、例えば、特開２００５−６１８９３号公報（特許文献１）には、船舶航行支援装置において、海上景観撮影装置による景観の画像上に、レーダーによって得られた映像と、船舶自動識別装置（Automatic Identification System：ＡＩＳ）によって得られた画像との少なくとも一方を重ねて表示する旨が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−６１８９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術では、カメラ映像による景観に対してレーダーやＡＩＳ等の装置や機器によって得られた情報を座標変換して重畳させることで、カメラ映像により乗員が把握可能な情報に対する補完を可能としている。

【0006】

一方で、このような手法を取る場合、補完される情報の精度は、座標変換による位置合わせの精度に大きく依存する。水上物体が少ない場合は大きな問題とはならないが、水上物体が多く情報が輻輳する場合には、カメラ映像上の水上物体とレーダー等による情報が正しくマッチしない場合も生じ得る。また、レーダー等からの最新の情報の取得と位置合わせ・カメラ映像への重畳表示の処理を常時継続して行う必要があり、船舶航行支援装置とレーダー等の装置や機器との連携・結合が密となりすぎてしまうとともに、処理負荷も高くなる。

【0007】

これに対し、カメラ映像を単に景観映像として用いるのではなく、レーダー等の装置や機器からの情報を効率的・効果的に用いつつ、カメラ映像から得られる情報と有機的に連携・結合させ、より効果的な情報の提供を行うことが望まれる。その際、従来技術のように、カメラ映像に対してレーダー等の情報による補完を行うだけでなく、逆にカメラ映像から得られた情報をレーダー等に対してフィードバックすることで、レーダー等における情報を補完することも望まれる。

【0008】

そこで本発明の目的は、カメラ映像により得られる情報に対して、レーダー等の装置や機器によって得られる情報を効率的・効果的に連携・結合させる船舶航行支援装置を提供することにある。

【0009】

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0010】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

【0011】

本発明の代表的な実施の形態による船舶航行支援装置は、船舶の周囲に存在する水上物体を検出し、検出した前記水上物体に係る情報をユーザに出力する船舶航行支援装置であって、以下の特徴を有するものである。すなわち、前記船舶の周囲の水上を撮影するカメラにより取得された映像データを画像解析し、前記映像における第１の水上物体の存在を検出する画像解析部と、前記船舶が備えるレーダーにより検出された第２の水上物体に係る情報を含むレーダー情報を前記レーダーから取得するレーダー情報連携部と、を有する。

【0012】

また、前記画像解析部により取得された前記第１の水上物体に係る位置情報と、前記レーダー情報連携部により取得された前記第２の水上物体に係る位置情報と、をマッチングし、前記第１の水上物体と前記第２の水上物体が対応する場合に、前記映像において前記第１の水上物体に対して第１の所定の表示を付加し、さらに対応する前記第２の水上物体に係る前記レーダー情報の表示を付加する加工処理を行う画像処理部と、前記画像処理部により加工処理がされた前記映像を出力する入出力部と、を有する。

【発明の効果】

【0013】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

【0014】

すなわち、本発明の代表的な実施の形態によれば、船舶航行支援装置において、カメラ映像により得られる情報に対して、レーダー等の装置や機器によって得られる情報を効率的・効果的に連携・結合させることが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施の形態である船舶航行支援装置の構成例について概要を示した図である。

【図2】（ａ）、（ｂ）は、本発明の一実施の形態における実装例について概要を示した図である。

【図3】（ａ）、（ｂ）は、本発明の一実施の形態における他の実装例について概要を示した図である。

【図4】本発明の一実施の形態における水上物体の認識結果に対してレーダー情報によって情報を補完する例について概要を示した図である。

【図5】（ａ）〜（ｃ）は、本発明の一実施の形態における水上物体等に対する情報を付加する際のユーザインタフェースの例について概要を示した図である。

【図6】本発明の一実施の形態におけるレーダー情報による補完を制限する場合の例について概要を示した図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。

【0017】

＜装置構成＞
図１は、本発明の一実施の形態である船舶航行支援装置の構成例について概要を示した図である。船舶航行支援装置１は、例えば、図示しない船舶に備えられた情報処理装置であり、ＰＣ（Personal Computer）等の汎用の情報処理装置や、ＣＰＵ（Central Processing Unit）を備えた専用の情報処理装置により構成され、プログラムの実行により後述する各部の機能を実現する。マイコン等を用いてハードウェアとして構成されていてもよい。

【0018】

画像解析部１１は、対象の船舶に備え付けられて周囲の水上を撮影する１つ以上のカメラ２により得られた映像（動画像）を解析して、画像認識技術により船舶等の水上物体を把握・認識する機能を有する。認識した水上物体に係る情報は、例えば、画像認識情報１５として図示しないメモリ等の記録媒体に記録しておいてもよい。

【0019】

カメラ映像における水上物体の把握・認識には、映像データ中において水上物体が表示されていると推測される領域の特定と、その領域の外界における座標の特定とが含まれる。この座標は、例えば、緯度・経度等の絶対座標系であってもよいし、船舶における特定の方向（例えば船首方向）を基準とした相対座標系であってもよい。いずれにしても、後述するレーダー３から得られる情報に係る座標系と変換・マッチングが可能で、位置を対比させることができるものであればよい。

【0020】

映像データにおける座標の把握を可能とするための構成は特に限定されず、例えば、カメラ２を乗員の通常の視野の両端部付近に固定的に配置し、三角測量等の原理に基づいて位置や座標を算出する構成等を適宜とることができる。カメラ２は固定的に設置されたものに限らず、旋回や移動等の動きを含む可動式のものであってもよい。また、水上物体を把握する画像認識技術についても特に限定されず、公知の手法を適宜用いることができる。

【0021】

レーダー情報連携部１２は、対象の船舶に備えられた船舶用のレーダー３から、レーダー情報を取得して、レーダー情報１６としてメモリ等の記録媒体に記録する機能を有する。船舶航行支援装置１側においてレーダー情報１６として新たに追加・変更等された情報をレーダー３へフィードバックする機能を有していてもよい。レーダー３は、レーダー情報の入出力機能を有する、もしくは付加することができるものであれば、一般に利用可能なレーダー装置を船舶航行支援装置１と適宜組み合わせて用いることができる。

【0022】

レーダー情報１６には、例えば、レーダー３によって取得・計算された、他の船舶等についてのベアリング（方位）、距離、進行方向、速度、ＣＰＡ（Closest Point of Approach：最接近距離）、ＴＣＰＡ（Time to the Closest Point of Approach：最接近時間）、ＢＣＲ（Bow Crossing Range：船首横切り距離）、ＢＣＴ（Bow Crossing Time：船首横切り時間）などの一般的な情報が含まれる。ＯＺＴ(Obstacle Zone by Target：他船による行動妨害ゾーン）の情報を含んでいてもよい。

【0023】

レーダー情報１６は、レーダー３において取得される情報に限らず、ＥＣＤＩＳ（Electronic Chart Display and Information System：電子海図表示装置）から得られる周辺の海図情報など、船舶の航行に関して測定・計算等により取得できる外部からの情報を広く含むことができる（このような各種情報を総称して「レーダー情報」というものとする）。レーダー情報１６は、例えば、レーダー情報連携部１２が定期もしくは不定期の所定のタイミングでレーダー３等にリクエストを行って取得してもよいし、レーダー３等から定期的に送信されるものを取得してもよい。

【0024】

画像処理部１３は、カメラ２により得られた映像に対して、画像解析部１１により把握された水上物体の認識が容易となるように枠で囲う等の加工処理を行う機能を有する。本実施の形態では、さらに、レーダー情報連携部１２により取得したレーダー情報１６に基づいて、画像解析による水上物体の把握・認識結果を補完する機能を有する。例えば、画像解析部１１により解析された結果の映像と、レーダー情報１６との間で座標系を変換・マッチングし、把握・認識されている水上物体どうしを関連付ける。

【0025】

これにより、例えば、画像解析部１１による画像解析では把握・認識できなかった水上物体を特定して補完する（もしくは逆にレーダー３では水上物体として把握されていないものを認識してレーダー３にフィードバックする）ことができる。また、画像解析において既に認識済みの水上物体に対して、枠で囲う等により表示上識別可能とするだけでなく、各種のレーダー情報１６を関連付けて表示することで出力情報を補完することも可能である。レーダー情報１６の値に応じて各種の警告や通知等を表示するようにしてもよい。なお、水上物体に対して関連付けて表示する補完情報は、レーダー情報１６として取得した情報に限らず、例えば、船舶航行支援装置１が独自に取得・計算等して得たような情報であってもよい。

【0026】

入出力部１４は、画像解析部１１や画像処理部１３により加工処理等がされたカメラ２の映像を乗員等のユーザに対して出力する機能を有する。警告や通知を音声出力する機能を有していてもよい。また、ユーザからの操作や指示の入力を受け付ける機能も有する。音声により指示を受け付ける機能を有していてもよい。具体的には、例えば、加工処理等がされた映像を表示するディスプレイを備える。当該ディスプレイがタッチパネルにより構成され、ユーザによるタッチ操作を介して各種の入力を受け付ける構成を有していてもよい。また、入力用のボタンやキー等を備えていてもよいし、音声入出力用のスピーカーやマイク等を備えていてもよい。ＬＡＮ（Local Area Network）やＷｉ−Ｆｉ（登録商標）等の船内ネットワークを介して船内の他の場所に所在するユーザのＰＣや携帯端末との間で入出力を行う構成をとることも可能である。

【0027】

＜実装形態＞
図２は、船舶航行支援装置１の実装例について概要を示した図である。図２（ａ）では、船舶に設置されるレーダー３およびＥＣＤＩＳ４のそれぞれの筐体を横方向に並べ、その上部に、船舶航行支援装置１の入出力用として水平方向に細長いディスプレイ１７を配置した場合の例を示している。この場合、各装置の全体としての画面の配置は図２（ｂ）の例に示したような形となる。すなわち、レーダー３におけるレーダー画面３１と、ＥＣＤＩＳ４における海図表示画面４１とが横方向に並び、その上部に船舶航行支援装置１のディスプレイ１７が配置される。これにより、例えば、レーダー３やＥＣＤＩＳ４の出力内容と船舶航行支援装置１の出力内容とを可能な限り一体的に把握して効率的に参照することができる。なお、船舶航行支援装置１のディスプレイ１７の表示内容の詳細については後述する。

【0028】

図３は、船舶航行支援装置１の他の実装例について概要を示した図である。図３（ａ）では、レーダー３の筐体におけるレーダー画面３１の上部に、船舶航行支援装置１の出力内容を表示する表示領域１８を設けた場合の例を示している。すなわち、船舶航行支援装置１の固有のディスプレイ１７を設けるのに代えて、レーダー画面３１を構成する同一のディスプレイ内に表示領域８を設けることで、効率的な参照を実現しつつ、実装コストの低減も可能とするものである。この場合、船舶航行支援装置１の本体は、レーダー３内に一体的に実装してもよい。

【0029】

また、図３（ｂ）では、レーダー３やＥＣＤＩＳ４が設置されている箇所の上部の窓ガラス５に対して、船舶航行支援装置１の出力内容を投射して表示する投射領域１９を設けた場合の例を示している。すなわち、例えば公知の自動車用のヘッドアップディスプレイ等の仕組みを用いて、窓ガラス５を通して視認可能な外部の景観に対して直接的に出力内容を重畳させて表示することで、より直感的な把握を可能とするものである。この場合、カメラ２により取得された映像自体は投射せずに、認識された船舶の枠等の情報やレーダー情報等のみを投射することができる。その前提として、カメラ２により取得される映像が、窓ガラス５を通して視認可能な景観と合致するよう、適切な位置にカメラ２を配置することが必要となる。

【0030】

これに対し、窓ガラス５を単なるスクリーンとして用い、所定の領域にカメラ２の映像も併せて投射するようにしてもよい。この場合は、窓ガラス５を通して視認可能な景観とカメラ２により取得される映像とは必ずしも合致している必要はない。また、図３の例に示すように窓ガラス５全体を投射領域１９としてしまうと、窓ガラス５を通して直接景観を視認する際の視認性が低下することから、投射領域１９をレーダー３やＥＣＤＩＳ４の近傍付近の所定の領域に限定するのが望ましい。

【0031】

＜レーダー情報による画像解析結果の補完＞
図４は、画像解析部１１によるカメラ映像からの水上物体の認識結果に対して、画像処理部１３においてレーダー情報１６によって情報を補完する例について概要を示した図である。図４の例では、船舶航行支援装置１のディスプレイ１７等に表示される画面の遷移例を示している。最上段の画面は、カメラ２により取得された映像をそのまま表示した画面である。この映像に対して画像解析部１１により水上物体の認識を行った結果である画像認識情報１５を用いて、認識された水上物体に対してユーザによる識別を容易とするための枠表示を画像処理部１３により付加した例が上から２段目の画面である。上記の画像解析部１１による把握・認識と、画像処理部１３による枠の描画の処理を継続的に行うことにより、対象の船舶等の移動に対して枠表示を追従させることができる。

【0032】

この例では、画面右端の船舶については枠が付加されておらず、画像解析により船舶等として把握・認識がされなかったことを示している。このような事態は、例えば、船体の色が遠方の背景色と同系統であったり、夜間や霧等の天候の状況によって視界が悪くなっていたり等、水上物体の視認性が悪い場合に生じ得る。逆に、画面左端の枠表示は、実際には船舶等ではない部分を船舶等として誤認識したことを示している。また、画像解析により正しく認識された船舶についても、船舶の移動に追従する形で枠が付加されるのみであり、それ以上の詳細な情報を得ることはできない。

【0033】

ここで、レーダー３による検出結果であるレーダー情報１６をマッチングさせて、画像解析による認識結果を補完した例が上から３段目の画面である。ここでは、レーダー情報１６において検出されている船舶について、レーダー３において割り当てられている船舶番号の情報を付加している。また、レーダー３においてのみ検出される船舶以外の水上物体（図４の例ではブイ（“Ｂｕｏｙ＃１”））やＯＺＴによる避航エリア等の領域（図４の例では“Ｓａｆｅ”）についても、これらを示す表示を付加している。

【0034】

また、画面右端の船舶（船舶番号“０３”）のように、レーダー３においてのみ検出されている船舶については、点線枠等の識別可能な態様で表示し、ユーザによる把握が可能となるようにする。レーダー３においてのみ検出されている水上物体等を表示する際の位置は、レーダー情報１６におけるベアリング等の情報を用いて、カメラ映像における座標系に変換して得る。

【0035】

一方、上記の２段目の画面では表示されていた誤認識による画面左端の枠は、レーダー３において対応する水上物体が検出されていない（レーダー情報１６にマッチする情報がない）ため消去される。このように、レーダー情報１６の内容に基づいて、画像解析の結果による表示内容を補完・補正することができる。なお、レーダー３において対応する水上物体が検出されていない場合、直ちに枠表示を消去するのではなく、例えば、ＥＣＤＩＳ４から海図情報を取得して、レーダー３では検出できなかったブイ等の存在を把握した場合には、その情報に基づいて枠表示の内容を補完する（例えば、ブイである旨を表示する）ようにしてもよい。

【0036】

また、画像解析により認識されたものに対応する水上物体がレーダー３で検出されていない場合でも、誤認識ではない場合もあり得る。したがって、補完・補正の内容として、上記のように自動的に枠表示を消去するのではなく、ユーザによる指定を受け付けるようにしてもよい。この場合、例えば、ユーザにより誤認識である旨が指定・入力された場合は、枠表示を消去するとともに、誤認識ではない旨が指定・入力された場合は、枠表示を維持する。誤認識ではない場合は、さらに、画像解析により認識された船舶等の情報を、逆にレーダー情報１６としてレーダー３にフィードバックし、レーダー３の画面において対象の船舶等を認識可能なように表示する等の相互補完的な処理を行なってもよい。

【0037】

レーダー３においてのみ検出されている船舶（図４の例では船舶番号“０３”）について、その後、カメラ映像に対する画像解析の結果からも認識できるようになった場合に、対応する形式（図４の例では実線枠）に表示を切り替えた例が最下段の画面である。このとき、対象の船舶等についての画像解析による認識結果とレーダー情報１６とを関連付けることで、以降は、レーダー情報１６とのマッチングを都度行う必要はなく、画像解析による認識のみによって、対象の船舶等の相対位置の変化に対して枠等の表示を追従させることができる。

【0038】

なお、上述した一連の画面遷移は、概念的なものであり、ディスプレイ１７等に実際に表示される画面が上述したように遷移することは必要ではない。上述した画面遷移は船舶航行支援装置１の内部におけるデータ上での概念的な遷移であり、実際に表示される画面は当初から例えば図４の最下段に示すような補完後の画面が表示されるようにしてもよい。

【0039】

また、レーダー３においてのみ検出されている船舶等がある場合、すなわち、船舶等が存在するにも関わらずカメラ２により取得された映像に対する画像解析では認識できない場合、自動的にカメラ２の制御やカメラ映像の調整を行うようにしてもよい。例えば、カメラ２が備える公知の画像鮮明化処理（例えば、逆光、夜間、霧に対するもの等）を行い、積極的に画像解析による認識が可能となるよう制御することができる。

【0040】

図５は、画像認識情報１５やレーダー情報１６に基づいて水上物体等に対する情報を付加する際のユーザインタフェースの例について概要を示した図である。図５（ａ）では、画像解析により認識された船舶について、画像認識情報１５もしくは対応するレーダー情報１６に基づいて把握される船舶の種類等の情報に応じて、枠の形状を切り替える場合の例を示している。船舶等の情報に応じて切り替えるのは、枠の形状に限らず、枠の線種、色、太さ等各種のものとすることができる。対象の船舶等と自船との距離に応じて枠の大きさ等を変化させてもよい。また、枠の表示を切り替える対象についても、船舶の種類等に限らず、図４の例で示したように、画像解析およびレーダー３のいずれにより、もしくは双方により認識されているかという認識状況を対象としてもよい。また、対象の船舶と自船の移動状況に基づいて計算される衝突の危険度等を対象としてもよい。

【0041】

また、図５（ａ）では、さらに、対象の船舶の概略の移動方向を矢印の向きで示している。なお、移動速度については、矢印の色や長さ、太さ等の属性によって表現することができる。これらの情報は、例えば、レーダー情報１６から得ることができる。また、画像解析によっても、例えば、対象の船舶の映像中の位置の時間的変化をトラッキングして、移動方向と速度からなるベクトルを算出するような公知の技術を適宜用いて同様の情報を得ることができる。ユーザの指示により矢印の表示／非表示を切り替えられるようにしてもよい。

【0042】

図５（ｂ）では、上述した移動方向と速度のベクトル情報に基づいて、所定時間経過後の対象の船舶のカメラ映像上における予想位置を表示する場合の例を示している。ここでは、１０分後の予想位置を枠線で表示している。自船との距離に応じて枠の大きさ等を変化させて距離感を把握し易いようにすることも可能である。また、移動の予想軌跡を矢印で表示するようにしてもよい。

【0043】

図５（ｃ）では、画面表示がされているディスプレイがタッチパネルで構成されている場合に、ユーザのタッチ操作により対象の船舶等に係るレーダー情報１６等の詳細な情報をポップアップ表示する場合の例を示している。通常時にレーダー情報１６等の詳細な情報を全て画面上に表示すると画面が煩雑となって却って視認性が悪くなる。そこで、通常時は例えば船舶番号や船名、進行方向の矢印等の必要最小限の情報のみ表示しておき、タッチパネル上で対象の船舶等の枠部分をタッチした際にのみ、対象の船舶に係るベアリングや距離、進行方向等の各種のレーダー情報１６を表示するようにする。これにより、視認性を確保しつつ、必要に応じて適宜詳細情報を表示することができる。

【0044】

図６は、レーダー情報１６による補完を制限する場合の例について概要を示した図である。図６の例では、図４の例と同様に、船舶航行支援装置１のディスプレイ１７等に表示される画面の遷移例を示している。最上段の画面は、カメラ２により取得された映像に対して画像解析部１１により認識された船舶に枠を付加し、さらにレーダー情報１６の内容に基づいて補完を行った状態の画面である。この画面では、船舶の数が多く、この全ての船舶に対して枠を付加してレーダー情報１６による補完を行なって船舶番号等を表示すると、図示するように、非常に煩雑で紛らわしい画面となってしまい、却って視認性が阻害される結果となる。同様の視認性の低下は、例えば、夜間で遠方の陸地の灯火が多数視認できるために船舶と紛らわしくなるような場合にも生じ得る。

【0045】

そこで、本実施の形態では、不要な船舶に対する枠表示等を省略し、ユーザが所望する船舶についてのみ枠の付加やレーダー情報１６による補完を行うことで視認性を向上させる。本実施の形態では、そのためにまず、入出力部１４を介したユーザからの指示を受けて、図６の上から２段目の画面に示すように、いったん全ての船舶に対する枠等の表示やレーダー情報１６による補完情報等の表示を消去してリセットする。その後（もしくは事前に）、レーダー３においてユーザが操作を行い、特に把握したい船舶等を指定する。そして、入出力部１４を介したユーザからのレーダー情報１６による補完の指示を受けて、最下段の画面に示すように、レーダー３においてユーザが指定した船舶についてのみ、枠等の表示やレーダー情報１６による補完を行う。これにより、視認性を向上させて効率的な周辺監視が可能となる。

【0046】

なお、上記の例では、ユーザによる把握対象の船舶等の指定をレーダー３側において実施するものとしているが、これに限られない。例えば、図６の最上段の例のような船舶航行支援装置１の画面において、ユーザが把握対象の船舶等をタッチパネルを介して指定し、指定された船舶等のみを残して他の船舶等における補完情報等の表示を消去するようにしてもよい。また、ここで把握対象として指定された船舶等の情報を、逆にレーダー情報１６としてレーダー３にフィードバックし、レーダー３の画面において対象の船舶等を認識可能なように強調表示する等の相互補完的な処理を行なってもよい。

【0047】

以上に説明したように、本発明の一実施の形態である船舶航行支援装置１によれば、カメラ２から得られる映像に基づいて画像解析処理により船舶等の水上物体を把握・認識し、認識された水上物体に対して枠等の表示を行うことで視認性を大きく向上させることができる。そして、これに対してさらに、レーダー３等の外部の装置や機器から得られるレーダー情報１６を座標変換等によりマッチングさせて表示を補完する。これにより、カメラ映像に基づく画像認識情報１５とレーダー情報１６とを有機的に連携・結合させ、効率的・効果的な周辺監視が可能となる。また、カメラ映像に対してレーダー情報１６による補完を行うだけでなく、逆にカメラ映像から画像解析により得られた情報をレーダー３に対してフィードバックすることで、レーダー３における情報を補完することも可能となる。

【0048】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0049】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置や各種の記録媒体に置くことができる。

【産業上の利用可能性】

【0050】

本発明は、船舶の航行を支援する技術に関し、特に、周辺の他の船舶等の把握を支援する船舶航行支援装置に利用可能である。

【符号の説明】

【0051】

１…船舶航行支援装置、２…カメラ、３…レーダー、４…ＥＣＤＩＳ、５…窓ガラス、
１１…画像解析部、１２…レーダー情報連携部、１３…画像処理部、１４…入出力部、１５…画像認識情報、１６…レーダー情報、１７…ディスプレイ、１８…表示領域、１９…投射領域、
３１…レーダー画面、
４１…海図表示画面

【要約】

カメラ映像により得られる情報に対して、レーダー等の装置や機器によって得られる情報を効率的・効果的に連携・結合させる船舶航行支援装置である。船舶の周囲の水上を撮影するカメラにより取得された映像データを画像解析し、映像における第１の水上物体の存在を検出する画像解析部と、レーダーにより検出された第２の水上物体に係る情報を含むレーダー情報をレーダーから取得するレーダー情報連携部とを有する。また、第１の水上物体に係る位置情報と、第２の水上物体に係る位置情報とをマッチングし、対応する場合に、映像において第１の水上物体に対して第１の所定の表示を付加し、さらに対応する第２の水上物体に係るレーダー情報の表示を付加する加工処理を行う画像処理部と有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】