特開 2023-47811 画像処理装置、プログラムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023047811

(43)【公開日】2023-04-06

(54)【発明の名称】画像処理装置、プログラムおよび画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230330BHJP

   G08G 5/04 20060101ALI20230330BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 V

G08G5/04 A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021156938

(22)【出願日】2021-09-27

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】吉川 賢史

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054CE00

5C054FD02

5C054FD03

5C054FE12

5C054HA26

5C054HA30

5H181AA01

5H181AA25

5H181AA26

5H181AA27

5H181CC04

5H181CC14

5H181FF32

(57)【要約】

【課題】ユーザが俯瞰画像における方位を容易に確認することを可能とする。
【解決手段】移動体の周囲の撮像画像を用いて、仮想的な視点角度に対応する俯瞰画像を生成する俯瞰画像生成部と、前記移動体の向き、および前記仮想的な視点角度に基づき、前記俯瞰画像内での方位を示す方位情報を生成し、当該方位情報を前記俯瞰画像に重畳する方位情報生成部と、を備える、画像処理装置。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動体の周囲の撮像画像を用いて、仮想的な視点角度に対応する俯瞰画像を生成する俯瞰画像生成部と、
前記移動体の向き、および前記仮想的な視点角度に基づき、前記俯瞰画像内での方位を示す方位情報を生成し、当該方位情報を前記俯瞰画像に重畳する方位情報生成部と、
を備える、画像処理装置。

【請求項2】

前記俯瞰画像は、前記仮想的な視点角度に対応する姿勢を有する前記移動体のＣＧ画像を含む、前記俯瞰画像を生成する、請求項１に記載の画像処理装置。

【請求項3】

前記方位情報生成部は、前記移動体の向きと所定方位との差分、および、前記視点角度に基づき、前記俯瞰画像内での前記方位として前記所定方位を示す前記方位情報を生成する、請求項１または２に記載の画像処理装置。

【請求項4】

前記視点角度は、仰角および俯角を含み、
前記方位情報生成部は、前記仰角に応じて異なる姿勢で前記方位情報を生成する、請求項１～３のいずれか一項に記載の画像処理装置。

【請求項5】

前記移動体は船舶である、請求項１～４のいずれか一項に記載の画像処理装置。

【請求項6】

前記方位情報生成部は、前記方位情報として、方位計を示す画像である方位計画像を生成する、請求項５に記載の画像処理装置。

【請求項7】

前記方位計画像は、前記船舶を示す表示を含み、当該表示における船首方向は前記俯瞰画像における前記船舶の向きに一致する、請求項６に記載の画像処理装置。

【請求項8】

前記方位情報生成部は、前記俯瞰画像のうちで、海面が映っている部分に前記方位情報を重畳する、請求項５～７のいずれか一項に記載の画像処理装置。

【請求項9】

俯瞰画像生成部は、前記仮想的な視点角度を変更する操作に基づいて、変更後の仮想的な視点角度に対応する俯瞰画像を生成する、請求項１～８のいずれか一項に記載の画像処理装置。

【請求項10】

前記移動体の向きを示す情報が前記移動体から入力される入力部をさらに備える、請求項１～９のいずれか一項に記載の画像処理装置。

【請求項11】

前記方位情報生成部は、前記入力部から前記移動体の向きを示す情報が入力されない場合には、前記方位情報に代えてアラート情報を前記俯瞰画像に重畳する、請求項１０に記載の画像処理装置。

【請求項12】

前記方位情報生成部は、前記俯瞰画像において、前記周囲の撮像画像の死角部分に前記方位情報を重畳する、請求項１～１１のいずれか一項に記載の画像処理装置。

【請求項13】

前記方位情報生成部は、透過性を有する前記方位情報を生成し、前記透過性を有する前記方位情報を前記俯瞰画像に重畳する、請求項１～１２のいずれか一項に記載の画像処理装置。

【請求項14】

コンピュータを、
移動体の周囲の撮像画像を用いて、仮想的な視点角度に対応する俯瞰画像を生成する俯瞰画像生成部と、
前記移動体の向き、および前記仮想的な視点角度に基づき、前記俯瞰画像内での方位を示す方位情報を生成し、当該方位情報を前記俯瞰画像に重畳する方位情報生成部と、
として機能させるための、プログラム。

【請求項15】

移動体の周囲の撮像画像を用いて、仮想的な視点角度に対応する俯瞰画像を生成することと、
前記移動体の向き、および前記仮想的な視点角度に基づき、前記俯瞰画像内での方位を示す方位情報を生成し、当該方位情報を前記俯瞰画像に重畳することと、
を含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、プログラムおよび画像処理方法に関する。

【背景技術】

【0002】

近年、車両の俯瞰画像を生成する技術の研究が進められている。例えば、特許文献１には、車両の前方向を撮像するカメラ、後方向を撮像するカメラ、左方向を撮像するカメラおよび右方向を撮像するカメラを搭載し、各カメラにより得られた画像を繋ぎ合わせて視点変換することにより俯瞰画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－７３１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に開示された技術で生成される俯瞰画像には、俯瞰画像における方位を示す情報が重畳されない。このため、ユーザは、当該俯瞰画像を見ても俯瞰画像における車両の進行方向がいずれの方位に対応しているかを把握することが困難であった。

【0005】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが俯瞰画像における方位を容易に確認することが可能な、新規かつ改良された画像処理装置、プログラムおよび画像処理方法を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある観点によれば、移動体の周囲の撮像画像を用いて、仮想的な視点角度に対応する俯瞰画像を生成する俯瞰画像生成部と、前記移動体の向き、および前記仮想的な視点角度に基づき、前記俯瞰画像内での方位を示す方位情報を生成し、当該方位情報を前記俯瞰画像に重畳する方位情報生成部と、を備える、画像処理装置が提供される。

【0007】

前記俯瞰画像は、前記仮想的な視点角度に対応する姿勢を有する前記移動体のＣＧ画像を含む、前記俯瞰画像を生成してもよい。

【0008】

前記方位情報生成部は、前記移動体の向きと所定方位との差分、および、前記視点角度に基づき、前記俯瞰画像内での前記方位として前記所定方位を示す前記方位情報を生成してもよい。

【0009】

前記視点角度は、仰角および俯角を含み、前記方位情報生成部は、前記仰角に応じて異なる姿勢で前記方位情報を生成してもよい。

【0010】

前記移動体は船舶であってもよい。

【0011】

前記方位情報生成部は、前記方位情報として、方位計を示す画像である方位計画像を生成してもよい。

【0012】

前記方位計画像は、前記船舶の向きを示す表示を含んでもよい。

【0013】

前記方位情報生成部は、前記俯瞰画像のうちで、海面が映っている部分に前記方位情報を重畳してもよい。

【0014】

俯瞰画像生成部は、前記仮想的な視点角度を変更する操作に基づいて、変更後の仮想的な視点角度に対応する俯瞰画像を生成してもよい。

【0015】

前記移動体の向きを示す情報が前記移動体から入力される入力部をさらに備えてもよい。

【0016】

前記方位情報生成部は、前記入力部から前記移動体の向きを示す情報が入力されない場合には、前記方位情報に代えてアラート情報を前記俯瞰画像に重畳してもよい。

【0017】

前記方位情報生成部は、前記俯瞰画像において、前記周囲の撮像画像の死角部分に前記方位情報を重畳してもよい。

【0018】

前記方位情報生成部は、透過性を有する前記方位情報を生成し、前記透過性を有する前記方位情報を前記俯瞰画像に重畳してもよい。

【0019】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、移動体の周囲の撮像画像を用いて、仮想的な視点角度に対応する俯瞰画像を生成する俯瞰画像生成部と、前記移動体の向き、および前記仮想的な視点角度に基づき、前記俯瞰画像内での方位を示す方位情報を生成し、当該方位情報を前記俯瞰画像に重畳する方位情報生成部と、として機能させるための、プログラムが提供される。

【0020】

また、上記課題を解決するために、本発明の別の観点によれば、移動体の周囲の撮像画像を用いて、仮想的な視点角度に対応する俯瞰画像を生成することと、前記移動体の向き、および前記仮想的な視点角度に基づき、前記俯瞰画像内での方位を示す方位情報を生成し、当該方位情報を前記俯瞰画像に重畳することと、を含む、画像処理方法が提供される。

【発明の効果】

【0021】

以上説明した本発明によれば、ユーザが俯瞰画像における方位を容易に確認することが可能である。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態による画像処理システムを示す説明図である。

【図2】本発明の一実施形態による画像処理装置２０の構成を示す説明図である。

【図3】船首方向の方位の具体例を示す説明図である。

【図4】仮想視点の位置の具体例を示す説明図である。

【図5】俯瞰画像における北方位と視線方向の関係の具体例を示す説明図である。

【図6】方位付き俯瞰画像の具体例を示す説明図である。

【図7】本発明の一実施形態による画像処理装置２０の動作を示すフローチャートである。

【図8】変形例による方位計画像５０を示す説明図である。

【図9】視線方向と水平面がなす仰角を示す説明図である。

【図10】画像処理装置２０のハードウェア構成を示したブロック図である。

【発明を実施するための形態】

【0023】

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0024】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じてカメラ１４Ａ、１４Ｂおよび１４Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、カメラ１４Ａ、１４Ｂおよび１４Ｃを特に区別する必要が無い場合には、各カメラを単にカメラ１４と称する。

【0025】

＜画像処理システムの概要＞
本発明の一実施形態は、移動体の俯瞰画像を生成する画像処理システムに関する。以下では、移動体が船舶である例を主に説明する。しかし、移動体は船舶に限定されず、車両、ロボット、ドローンおよび飛行機などの他の移動体にも本発明の一実施形態を適用可能である。

【0026】

図１は、本発明の一実施形態による画像処理システムを示す説明図である。図１に示したように、本発明の一実施形態による画像処理システムは、船舶１０と、複数のカメラ１４と、画像処理装置２０と、操作表示端末３０と、を備える。

【0027】

船舶１０は、水上を走行する移動体である。船舶１０は、商船、作業船、漁船、または艦艇などであってもよい。船舶１０は船舶レーダーを搭載する。船舶レーダーは、船舶１０の向き、すなわち、船首方向の方位を検出し、当該方位を示す情報を画像処理装置２０に出力する。

【0028】

複数のカメラ１４は、船舶１０に設置されている。複数のカメラ１４は、具体的には、船舶１０の前寄りに設置されて船舶１０の前方向を撮像するカメラ１４Ａ、船舶１０の後寄りに設置されて船舶１０の後方向を撮像するカメラ１４Ｂ、船舶１０の走行方向に向かって右寄り設置されて船舶１０の右方向を撮像するカメラ１４Ｃ、船舶１０の走行方向に向かって左寄り設置されて船舶１０の左方向を撮像するカメラ１４Ｄ、を含む。各カメラ１４は、船舶１０の周囲の撮像画像を取得する。なお、各カメラ１４は、魚眼カメラであってもよい。

【0029】

画像処理装置２０は、各カメラ１４により取得された撮像画像を合成して、船舶１０の平面視における周囲３６０度に亘って切れ目のない周囲画像を生成する。さらに、周囲画像に基づいて、俯瞰的かつ仮想的な視点である仮想視点から船舶１０を見た場合に知覚されるだろう風景を示す俯瞰画像を生成する。すなわち、画像処理装置２０は、仮想視点からの視線方向が船舶１０に対して成す角度である仮想的な視点角度に対応する俯瞰画像を生成する。

【0030】

なお、各カメラ１４の画角に船舶１０が含まれない場合には、周囲画像には船舶１０の画像が含まれない。このため、画像処理装置２０は、船舶１０のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像が重畳された俯瞰画像を生成してもよい。

【0031】

操作表示端末３０は、多様な表示画面を表示する表示部としての機能、およびユーザによる操作を検出する操作部としての機能を有する。例えば、操作表示端末３０は、画像処理装置２０により生成された俯瞰画像を表示する。また、操作表示端末３０は、仮想視点を変更する操作を検出する。仮想視点を変更することは、仮想的な視点角度を変更することとも言える。このような仮想視点を変更する操作は、例えば、スワイプにより行われてもよいし、表示画面上または物理的に設けられた視点切替ボタンの選択であってもよいし、設定画面への視点位置の入力であってもよい。操作表示端末３０は、当該操作による変更後の仮想視点の位置を示す仮想視点情報を画像処理装置２０に出力する。

【0032】

このような本発明の一実施形態による画像処理システムにおいては、ユーザは、自由な視点角度に対応する俯瞰画像を確認することで、船舶１０の周囲の状況を容易かつ的確に把握することが可能である。さらに、本発明の一実施形態によれば、俯瞰画像内での方位を示す方位情報を俯瞰画像に重畳することが可能である。かかる構成によれば、ユーザは俯瞰画像における方位も容易に把握することが可能となる。以下、このような機能を実現する画像処理装置２０の構成および動作を順次詳細に説明する。

【0033】

なお、図１においては画像処理装置２０および操作表示端末３０が船舶１０内に位置する例を示したが、画像処理装置２０および操作表示端末３０は船舶１０に遠隔する施設に設けられていてもよい。また、画像処理装置２０は、カメラ１４により取得されるリアルタイムの撮像画像に基づいて俯瞰画像を生成してもよいし、記録された過去の撮像画像に基づいて俯瞰画像を生成してもよい。

【0034】

また、図１においては４台のカメラ１４が船舶１０に設置される例を説明したが、カメラ１４の設置台数は、５台以上であってもよいし、２台または３台であってもよい。さらに、船舶１０にカメラ１４として全方位カメラを設置する場合には、カメラ１４の台数は１台であってもよい。

【0035】

＜画像処理装置の構成＞
図２は、本発明の一実施形態による画像処理装置２０の構成を示す説明図である。図２に示したように、本発明の一実施形態による画像処理装置２０は、撮像画像入力部２２０、画像合成部２２４、端末接続部２２８、俯瞰画像生成部２３２、レーダー情報入力部２３６および方位情報生成部２４０を備える。画像処理装置２０は、電源ケーブルを介して電源に接続されており、画像処理装置２０が有する各構成は電源ケーブルを介して供給される電力に基づいて動作可能である。

【0036】

（撮像画像入力部２２０）
撮像画像入力部２２０は、各カメラ１４が取得した撮像画像が入力される構成である。撮像画像入力部２２０は、例えば、各カメラ１４とＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）ケーブルのような有線ケーブルで接続されてもよいし、各カメラ１４と無線で接続されてもよい。

【0037】

（画像合成部２２４）
画像合成部２２４は、撮像画像入力部２２０に入力された撮像画像を合成することで、船舶１０の平面視における周囲３６０度に亘って切れ目のない周囲画像を生成する。周囲画像は、例えば、船舶１０が中心に位置するお椀型の面形状を有する。

【0038】

（端末接続部２２８）
端末接続部２２８は、操作表示端末３０とのインターフェースである。端末接続部２２８は、例えば、後述する方位情報生成部２４０により生成された方位付き俯瞰画像を操作表示端末３０に送信する。また、端末接続部２２８は、操作表示端末３０から仮想視点情報を受信する。端末接続部２２８は、ＨＤＭＩおよびＵＳＢなどの有線で操作表示端末３０と接続される構成であってもよいし、ＬＴＥまたはＷｉＦｉなどの無線で操作表示端末３０と接続される構成であってもよい。なお、仮想視点情報は、船舶１０の前後方向に沿うＸ軸上での座標値、重力方向に沿うＺ軸方向上での座標値、Ｘ軸およびＺ軸に直交するＹ軸上での座標値を用いて表現されてもよい。

【0039】

（俯瞰画像生成部２３２）
俯瞰画像生成部２３２は、端末接続部２２８により受信された仮想視点情報、および画像合成部２２４により生成された周囲画像に基づき、俯瞰画像を生成する。具体的には、俯瞰画像生成部２３２は、仮想視点情報が示す仮想視点から周囲画像を見た場合に知覚されるだろう風景を示す俯瞰的な周囲画像を生成する。さらに、俯瞰画像生成部２３２は、仮想視点情報が示す仮想視点からの視点角度に対応する姿勢で船舶１０のＣＧ画像を生成し、生成済みの俯瞰的な周囲画像に当該ＣＧ画像を重畳することにより、俯瞰画像を生成する。

【0040】

（レーダー情報入力部２３６）
レーダー情報入力部２３６は、船舶１０に搭載されている船舶レーダーから船舶１０の船首方向の方位を示す情報が入力される構成である。レーダー情報入力部２３６と船舶レーダーは直接接続されてもよいし、船舶１０に搭載される他の構成を介して船舶レーダーからレーダー情報入力部２３６に船首方向の方位を示す情報が入力されてもよい。

【0041】

（方位情報生成部２４０）
方位情報生成部２４０は、レーダー情報入力部２３６に入力された船首方向の方位を示す情報、および端末接続部２２８により操作表示端末３０から受信された仮想視点情報に基づいて、俯瞰画像生成部２３２により生成された俯瞰画像内での方位を示す方位情報を生成する。例えば、方位情報生成部２４０は、船首方向の方位と所定方位との差分、および船首方向の方位と視線方向との差分である視点角度に基づき、俯瞰画像内での上記所定方位を示す方位情報を生成する。以下、図３～図５を参照し、方位情報生成部２４０の機能をより具体的に説明する。なお、以下では所定方位が北方位（Ｎ）である例を説明する。

【0042】

図３は、船首方向の方位の具体例を示す説明図である。図４は、仮想視点の位置の具体例を示す説明図である。船舶１０の船首方向の方位が図３に示した方位である場合、方位情報生成部２４０は、当該船首方向の方位と北方位との差分ｄ１を特定する。また、仮想視点の位置が図４に示した位置である場合、方位情報生成部２４０は、仮想視点からの矢印で示した視線方向と船首方向が成す視点角度ｄ２を特定する。

【0043】

この場合、方位情報生成部２４０は、俯瞰画像生成部２３２により生成された俯瞰画像における北方位が、視線方向に対して、図５に示した「差分ｄ１＋視点角度ｄ２」だけ回転した方位であることを示す方位情報を生成する。そして、方位情報生成部２４０は、当該方位情報を俯瞰画像に重畳して方位付き俯瞰画像を生成する。以下、図６を参照して方位付き俯瞰画像の具体例を説明する。

【0044】

図６は、方位付き俯瞰画像の具体例を示す説明図である。図６に示したように、方位付き俯瞰画像は、俯瞰画像４２および方位計画像５０を含む。俯瞰画像４２は、俯瞰的な周囲画像、およびＣＧ画像で表現された船舶画像４２ａを含む。なお、船舶画像４２ａとしては、ＣＧ画像に代えて、過去またはリアルタイムでの撮像により得られた船舶１０の実際の画像が用いられてもよい。

【0045】

方位計画像５０は、方位情報の一例であり、方位計を示す画像である。方位計においては、俯瞰画像内での北方位および南方位などが俯瞰画像内でのいずれの方向に該当するかが示されている。ユーザは、このような方位計画像５０を見ることで、俯瞰画像における方位を容易に把握することが可能である。

【0046】

＜画像処理装置の動作＞
以上、本発明の一実施形態による画像処理装置２０の構成を説明した。続いて、図７を参照し、本発明の一実施形態による画像処理装置２０の動作を整理する。

【0047】

図７は、本発明の一実施形態による画像処理装置２０の動作を示すフローチャートである。図７に示したように、まず、撮像画像入力部２２０に各カメラ１４から撮像画像が入力され（Ｓ３０４）、レーダー情報入力部２３６にレーダー情報として船首方向の方位を示す情報が入力されると（Ｓ３０８）、画像合成部２２４が撮像画像入力部２２０に入力された撮像画像を合成することで周囲画像を生成する（Ｓ３１２）。

【0048】

そして、俯瞰画像生成部２３２は、操作表示端末３０から入力される仮想視点情報に基づいて仮想視点の位置を確認し（Ｓ３１６）、当該仮想視点の位置および画像合成部２２４により生成された周囲画像に基づき俯瞰画像を生成する（Ｓ３２０）。

【0049】

さらに、方位情報生成部２４０が、レーダー情報入力部２３６に入力された船首方向の方位を示す情報、および端末接続部２２８により操作表示端末３０から受信された仮想視点情報に基づいて、俯瞰画像生成部２３２により生成された俯瞰画像内での方位を示す方位情報を生成し、当該方位情報を俯瞰画像に重畳する（Ｓ３２４）。そして、端末接続部２２８が、方位付き俯瞰画像を操作表示端末３０に出力する（Ｓ３２８）。その後、画像処理装置２０が動作を終了するまで、Ｓ３０４からの処理が繰り返される。

【0050】

＜作用効果＞
以上説明した本発明の一実施形態によれば、多様な作用効果が得られる。例えば、本発明の一実施形態によれば、俯瞰画像内での方位を示す方位情報が俯瞰画像に重畳されるので、ユーザが俯瞰画像における方位を容易に把握することが可能である。

【0051】

また、本発明の一実施形態による俯瞰画像には、例えば船舶１０のＣＧ画像が仮想的な視点角度に対応する姿勢で含まれるので、カメラ１４により船舶１０の撮像画像が得られない場合にもユーザが船舶１０の周囲の状況を船舶１０との位置関係などにおいてより正確に把握することが可能となる。

【0052】

また、本発明の一実施形態は上述したように船舶に適用され得る。車両の俯瞰画像においては車両が走行する道路から俯瞰画像における方位を推測し得るが、船舶が走行する海面には道路が無いので、ユーザは俯瞰画像のみから俯瞰画像における方位を推測することが困難である。この点、本発明の一実施形態によれば、方位情報によりユーザが俯瞰画像における方位を容易に把握できるので、本発明の一実施形態の船舶への適用は効果的であると言える。同様の理由により、ドローンおよび飛行機などにも本発明の一実施形態を効果的に適用することが可能である。

【0053】

＜変形例＞
以上、本発明の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した実施形態の構成に代えて適用されてもよいし、上述した実施形態の構成に対して追加的に適用されてもよい。

【0054】

（第１の変形例）
第１の変形例は、方位計画像５０の表示内容に関する変形例である。方位計画像５０は、図８に示すように、船舶１０を示す船舶表示５２を含んでもよい。当該船舶表示５２は、俯瞰画像における船舶１０の船首方向を示す。すなわち、当該船舶表示５２における船首方向は、俯瞰画像における船舶１０の船首方向に一致する。かかる構成によれば、方位計画像５０に基づき、船舶１０の船首方向がいずれの方位を向いているかをユーザが容易に把握することが可能となる。

【0055】

（第２の変形例）
第２の変形例は、方位計画像５０の姿勢に関する変形例である。ここまで、視点角度としては、平面視における視線方向と船首方向が成す角度である俯角を主に想定して説明した。しかし、視点角度は、図９に示すように、視線方向と水平面が成す角度である仰角Ｅも含まれる。方位情報生成部２４０は、当該仰角Ｅに応じて異なる姿勢で方位計画像５０を生成してもよい。より具体的には、方位情報生成部２４０は、視線方向に直交する投影面に投影した場合に得られる画像を方位計画像５０として生成してもよい。例えば、仰角が０度であり、平面視における視線方向が北を向いている場合、方位計画像５０は直線で表示され、方位計画像５０の正面中心部に北の表示、左の方向に西の表示、右の方向に東の表示がなされてもよい。かかる構成によれば、ユーザは俯瞰画像における方位をより把握し易くなると考えられる。

【0056】

（第３の変形例）
第３の変形例は、方位計画像５０の配置位置に関する変形例である。方位計画像５０が配置される位置は、固定位置でなく、動的に変化してもよい。例えば、方位情報生成部２４０は、俯瞰画像において海面が映っている部分に方位計画像５０を重畳してもよい。または、方位情報生成部２４０は、複数のカメラ１４により得られた撮像画像の死角部分（例えば、船舶１０のＣＧ画像が表示される部分）に方位計画像５０を重畳してもよい。方位情報生成部２４０は、俯瞰画像における重要性が相対的に低いと考えられる部分に方位計画像５０を重畳することにより、ユーザにとって重要な情報が方位計画像５０に隠れてしまうことを抑制することが可能である。

【0057】

なお、当該観点から、方位計画像５０は透過性を有してもよい。かかる構成によれば、俯瞰画像において方位計画像５０が重畳された部分もユーザが視認することが可能となる。

【0058】

（第４の変形例）
第４の変形例は、レーダー情報入力部２３６にレーダー情報が入力されない場合の処理に関する。船舶１０に搭載された船舶レーダーの何かしらの不具合により、レーダー情報入力部２３６にレーダー情報が入力されなくなる場合が考えられる。このような場合には、方位情報生成部２４０は、方位計画像５０のような方位情報に代えて、アラート情報を俯瞰画像に重畳してもよい。アラート情報は、例えば、レーダー情報が無いことを示す情報であり、「レーダー情報無し」というメッセージであってもよい。かかる構成により、ユーザは船舶レーダーの不具合の有無を把握することが可能である。

【0059】

＜ハードウェア構成＞
以上、本発明の各実施形態を説明した。上述した俯瞰画像の生成および方位情報の生成などの情報処理は、ソフトウェアと、以下に説明する画像処理装置２０のハードウェアとの協働により実現される。

【0060】

図１０は、画像処理装置２０のハードウェア構成を示したブロック図である。画像処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、画像処理装置２０は、ブリッジ２０５と、外部バス２０６と、インターフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインターフェース２１５とを備える。

【0061】

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した画像合成部２２４、俯瞰画像生成部２３２および方位情報生成部２４０などの機能が実現され得る。

【0062】

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0063】

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。画像処理装置２０のユーザは、該入力装置２０８を操作することにより、画像処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0064】

表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

【0065】

ストレージ装置２１１は、本実施形態にかかる画像処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

【0066】

ドライブ２１２は、記憶媒体用リーダライタであり、画像処理装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

【0067】

ネットワークインターフェース２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インターフェースである。また、ネットワークインターフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

【0068】

なお、上述した画像処理装置２０のハードウェア構成は操作表示端末３０にも適用可能である。

【0069】

＜むすび＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0070】

例えば、視点角度が、船舶１０の前後方向に沿うＸ軸上の正方向（船首方向）と視線方向が成す角度である例を説明した。しかし、視点角度は、基準方向と視線方向が成す角度であればよく、基準方向は船首方向以外の方向であってもよい。この場合、基準方向と船首方向との角度差分が既知であれば、当該角度差分、視点角度および上述した差分ｄ１に基づいて俯瞰画像における北方位を特定することが可能である。

【0071】

また、本明細書の画像処理装置２０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

【0072】

また、画像処理装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した画像処理装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた非一時的な記憶媒体も提供される。

【符号の説明】

【0073】

１０ 船舶
１４ カメラ
２０ 画像処理装置
２２０ 撮像画像入力部
２２４ 画像合成部
２２８ 端末接続部
２３２ 俯瞰画像生成部
２３６ レーダー情報入力部
２４０ 方位情報生成部
３０ 操作表示端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】