特開 2022-190991 表示システム、画像生成装置、画像生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190991

(43)【公開日】2022-12-27

(54)【発明の名称】表示システム、画像生成装置、画像生成方法およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221220BHJP

【ＦＩ】

H04N7/18 D

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021099564

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】000205535

【氏名又は名称】株式会社 商船三井

(71)【出願人】

【識別番号】521261809

【氏名又は名称】商船三井システムズ株式会社

(71)【出願人】

【識別番号】504182255

【氏名又は名称】国立大学法人横浜国立大学

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100145481

【弁理士】

【氏名又は名称】平野 昌邦

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】長尾 智晴

(72)【発明者】

【氏名】岩上 友哉

(72)【発明者】

【氏名】友野 徳之

(72)【発明者】

【氏名】安西 春貴

(72)【発明者】

【氏名】鈴木 武尊

(72)【発明者】

【氏名】坂本 淳子

(72)【発明者】

【氏名】滕 玲

(72)【発明者】

【氏名】山崎 優理

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC15

5C054FE19

5C054HA19

(57)【要約】

【課題】周囲の撮影画像に基づいて周囲の物体の位置情報を提示できるようにする。
【解決手段】表示システムが、撮影を行う撮影装置と、前記撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出する位置算出部と、座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を表示する表示部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影を行う撮影装置と、
前記撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出する位置算出部と、
座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を表示する表示部と、
を備える表示システム。

【請求項2】

前記位置算出部は、前記撮影画像から前記相対位置が算出されない前記物体について、前記撮影画像の時系列データに基づいて前記相対位置を推定する、
請求項１に記載の表示システム。

【請求項3】

前記表示部は、前記座標軸の交点が前記基準位置を示す前記二次元座標に前記物体の位置がプロットされた前記画像の表示に加えて、位置座標と時刻座標との二次元座標に前記物体の位置の軌跡がプロットされた画像の表示を行う、
請求項１または請求項２に記載の表示システム。

【請求項4】

前記位置算出部は、前記撮影装置の向きの時系列情報に基づいて、前記相対位置に対する前記撮影装置の向きの変化の影響を打ち消す補正を行う、
請求項１から３の何れか一項に記載の表示システム。

【請求項5】

前記位置算出部は、前記撮影装置の位置の時系列情報に基づいて前記基準位置を設定する、
請求項１から４の何れか一項に記載の表示システム。

【請求項6】

撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の位置を算出する位置算出部と、
座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を生成する画像生成部と、
を備える画像生成装置。

【請求項7】

撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出することと、
座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を生成することと、
を含む画像生成方法。

【請求項8】

コンピュータに、
撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出する位置算出部と、
座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を生成することと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示システム、画像生成装置、画像生成方法およびプログラムに関する。

【背景技術】

【0002】

自動車の車載カメラで自動車の周囲を撮影し表示するシステムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－１６６１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車載カメラで自動車の周囲を撮影するシステムなど、周囲を撮影するシステムが、周囲の物体の位置情報を提示することができれば、ユーザが周囲の物体の位置を把握するのに役立てることができる。

【0005】

本発明の目的の一例は、周囲の撮影画像に基づいて周囲の物体の位置情報を提示することができる表示システム、画像生成装置、画像生成方法およびプログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、表示システムは、撮影を行う撮影装置と、前記撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出する位置算出部と、座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を表示する表示部と、を備える。

【0007】

前記位置算出部は、前記撮影画像から前記相対位置が算出されない前記物体について、前記撮影画像の時系列データに基づいて前記相対位置を推定するようにしてもよい。

【0008】

前記表示部は、前記座標軸の交点が前記基準位置を示す前記二次元座標に前記物体の位置がプロットされた前記画像の表示に加えて、位置座標と時刻座標との二次元座標に前記物体の位置の軌跡がプロットされた画像の表示を行うようにしてもよい。

【0009】

前記位置算出部は、前記撮影装置の向きの時系列情報に基づいて、前記相対位置に対する前記撮影装置の向きの変化の影響を打ち消す補正を行うようにしてもよい。

【0010】

前記位置算出部は、前記撮影装置の位置の時系列情報に基づいて前記基準位置を設定するようにしてもよい。

【0011】

本発明の第２の態様によれば、画像生成装置は、撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の位置を算出する位置算出部と、座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を生成する画像生成部と、を備える。

【0012】

本発明の第３の態様によれば、画像生成方法は、撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出することと、座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を生成することと、を含む。

【0013】

本発明の第４の態様によれば、プログラムは、コンピュータに、撮影装置の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出する位置算出部と、座標軸の交点が前記基準位置を示す二次元座標に前記物体の位置がプロットされた画像を生成することと、を実行させるためのプログラムである。

【発明の効果】

【0014】

この発明によれば、周囲の撮影画像に基づいて周囲の物体の位置情報を提示することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る表示システムの構成例を示す概略ブロック図である。

【図2】撮影装置１０の撮影画像の例を示す図である。

【図3】表示部１２０が表示する画像の例を示す図である。

【図4】撮影画像における物体の像の位置の例を示す図である。

【図5】水平方向の２次元の座標軸に時刻の座標軸を加えた３次元座標空間の例を示す図である。

【図6】位置算出部１９３による船舶の軌跡の補間の例を示す図である。

【図7】表示部１２０が表示する、位置座標と時刻座標との二次元座標に物体の位置の軌跡がプロットされた画像の例を示す図である。

【図8】自船の状況が位置算出部１９３による位置計算に影響する場合の、表示部１２０による船舶の軌跡の表示例を示す図である。

【図9】処理装置３０が、船舶等の物体の位置を示す画像を表示する処理手順の例を示す図である。

【図10】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る表示システムの構成例を示す概略ブロック図である。図１に示す構成で、表示システム１は、撮影装置１０と、センサ２０と、処理装置３０とを備える。処理装置３０は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、制御部１９０とを備える。制御部１９０は、画像取得部１９１と、姿勢情報取得部１９２と、位置算出部１９３と、画像生成部１９４と、表示制御部１９５とを備える。

【0017】

表示システム１は、表示システム１自らの周囲の物体の位置を示す画像を表示する。以下では、表示システム１が船舶に搭載されて、周囲の船舶など周囲の物体の水平方向の位置を示す画像を表示する場合を例に説明する。表示システム１を搭載する船舶を自船と称する。
ただし、表示システム１の設置場所は船舶に限定されない。例えば、表示システム１が自動車に搭載されるなど、船舶以外の移動体に設置されていてもよい。ここでいう移動体は、例えば自動車、鉄道車両、航空機、船舶、無人搬送台車など、移動するいろいろなものとすることができる。あるいは、表示システム１が灯台に設置されるなど、表示システム１の位置が固定されていてもよい。また、表示システム１のうち撮影装置１０が無人の船舶に搭載され、処理装置３０が陸上の制御基地に設置されるなど、表示システム１の各部が異なるものに設置されていてもよい。

【0018】

撮影装置１０は、撮影を行う。撮影装置１０が動画像を撮影するようにしてもよい。あるいは、撮影装置１０が、所定の周期ごとに撮影を行うなど静止画像を繰り返し撮影するようにしてもよい。
撮影装置１０が、全周囲（水平方向の全方向）を撮影するようにしてもよい。その場合、撮影装置１０が、全周囲カメラを用いて構成されていてもよい。あるいは、撮影装置１０が、複数のカメラを含んで構成され、これら複数のカメラの組み合わせにて全周囲を撮影するようにしてもよい。
あるいは、撮影装置１０が、全周囲のうち一部の方向のみを撮影するようにしてもよい。例えば、撮影装置１０が、自船の正面を中心に１８０度の画角の範囲（自船の正面から左右それぞれ９０度の画角の範囲）を撮影するようにしてもよい。

【0019】

図２は、撮影装置１０の撮影画像の例を示す図である。図２の例で、線Ｌ１１１は、水平線の像を示す。
また、図２に示される撮影画像には、船舶９１１の像と、船舶９１２の像とが含まれている。船舶９１１の像および船舶９１２の像は、撮影装置１０の撮影画像に含まれる像の例に該当する。船舶９１１および船舶９１２は、撮影装置１０の撮影画像に像が含まれる物体の例に該当する。

【0020】

センサ２０は、撮影装置１０の位置および向きを測定する。例えば、撮影装置１０およびセンサ２０が自船の船体に固定的に設置されていてもよい。そして、センサ２０が測定するセンサ２０自らの位置および向きが、自船の位置および向きとして用いられ、さらには、撮影装置１０の位置および向きとしても用いられるようにしてもよい。センサ２０が測定する向きは、水平方向の向き（ヨー角）だけでなく、左右の傾き（ロール角）および前後の傾き（ピッチ角）を含む。

【0021】

例えば、センサ２０が、９軸センサを含んで構成されていてもよい。そして、センサ２０が、９軸センサにて撮影装置１０の向きを測定し、９軸センサの測定値に基づいて撮影装置１０の位置を算出するようにしてもよい。ただし、センサ２０の構成は、特定のものに限定されない。例えば、センサ２０が、９軸センサに加えて、あるいは代えて、ＧＮＳＳ（Global Navigation Satellite System、全球測位衛星システム）端末装置を含んで構成され、ＧＮＳＳ端末装置にて測位を行うようにしてもよい。

【0022】

処理装置３０は、撮影装置１０の撮影画像に基づいて、撮影画像に像が含まれる物体の位置を示す画像を生成し表示する。処理装置３０は、例えばワークステーション（Workstation）またはパソコン（Personal Computer；ＰＣ）などのコンピュータを用いて構成されていてもよい。
処理装置３０は、画像生成装置の例に該当する。

【0023】

通信部１１０は、他の装置と通信を行う。例えば、通信部１１０は、撮影装置１０と通信を行って、撮影装置１０の撮影画像を画像データにて受信する。また、通信部１１０は、センサ２０と通信を行って、撮影装置１０の位置および向きの測定データを受信する。
表示部１２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネル等の表示画面を備え、表示制御部１９５の制御に従って各種画像を表示する。例えば、表示部１２０は、撮影画像に像が含まれる物体の位置を示す画像を表示する。具体的には、表示部１２０が、座標軸の交点が基準位置を示す二次元座標に、撮影画像に像が含まれる物体の相対位置がプロットされた画像を表示する。

【0024】

図３は、表示部１２０が表示する画像の例を示す図である。図３は、表示部１２０が、レーダの表示の形式で画像を表示する場合の例を示している。
図３の線Ｌ２１１およびＬ２１２は、水平方向におけるある方向を示す座標軸の例に該当する。線Ｌ２１１とＬ２１２との交点は、基準位置を示す。例えば、基準位置が自船の位置に設定され、線Ｌ２１１が自船の左右方向の座標を示し、線Ｌ２１２が自船の前後方向の座標を示していてもよい。
線Ｌ２２１、Ｌ２２２、Ｌ２２３、および、Ｌ２２４は、基準位置からの同心円を示す。
点Ｐ１１１およびＰ１１２は、それそれ、撮影装置１０によって撮影された船舶（すなわち、撮影装置１０の画像に像が含まれる船舶）の位置を示す。

【0025】

ただし、表示部１２０が表示する画面は、特定の形式のものに限定されない。例えば、座標軸を示す線Ｌ２１１およびＬ２１２が表示されていなくてもよい。あるいは、座標軸を示す線Ｌ２１１およびＬ２１２が表示される場合、座標軸に目盛りが表示されていてもよい。また、同心円を示す線Ｌ２２１からＬ２２４が表示されていなくてもよい。
また、船舶などの物体の位置の表示は点による表示に限定されない。例えば、座標平面における船舶などの物体の位置に、その物体の像が示されていてもよい。

【0026】

操作入力部１３０は、例えば表示部１２０の表示画面に設けられてタッチパネルを構成するタッチセンサ、または、操作盤などの入力デバイスを備え、ユーザ操作を受け付ける。例えば、操作入力部１３０が、表示画面の形式を指示するユーザ操作を受け付けるようにしてもよい。
記憶部１８０は、各種データを記憶する。例えば、記憶部１８０は、自船の周囲の物体の位置の時系列情報を記憶するようにしてもよい。また、記憶部１８０が、自船の位置および向きの時系列情報を記憶するようにしてもよい。
記憶部１８０は、処理装置３０が備える記憶デバイスを用いて構成される。

【0027】

制御部１９０は、処理装置３０の各部を制御して各種処理を実行する。制御部１９０の機能は、例えば処理装置３０が備えるＣＰＵ（Central Processing Unit、中央処理装置）が記憶部１８０からプログラムを読み出して実行することで実行される。
画像取得部１９１は、撮影装置１０の撮影画像を取得する。例えば、画像取得部１９１は、通信部１１０が撮影装置１０から受信するデータから、撮影装置１０の撮影画像の画像データを抽出する。
姿勢情報取得部１９２は、撮影装置１０の位置および向きを示す情報を取得する。例えば、姿勢情報取得部１９２は、通信部１１０がセンサ２０から受信するデータから、センサ２０の測定データを抽出する。

【0028】

位置算出部１９３は、は、撮影装置１０の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出する。例えば、位置算出部１９３は、図３に例示される座標のような水平方向の２次元座標にて物体の位置を算出する。
位置算出部１９３が、撮影装置１０の撮影画像から物体の像を検出し、検出した物体の位置を算出するようにしてもよい。その場合、位置算出部１９３が、撮影装置１０の撮影画像における物体の像の位置に基づいて、自船に対する物体の相対位置を算出するようにしてもよい。

【0029】

図４は、撮影画像における物体の像の位置の例を示す図である。
図４では、図２に示される撮影画像の例で、画像の下端の中心に原点Ｏが設定されている。線Ｌ３１１は、水平線を示す。線Ｌ３２１は、原点Ｏを通る鉛直方向の線を示す。
距離ｒ１１は、原点Ｏから船舶９１１の像までの距離を示す。角度θ１１は、線Ｌ３２１を基準（０°）とした場合の、原点Ｏから見た船舶９１１の像の方向（回転角）を示す。距離ｒ１２は、原点Ｏから船舶９１２の像までの距離を示す。角度θ１２は、線Ｌ３２１を基準とした場合の、原点Ｏから見た船舶９１２の像の方向を示す。

【0030】

位置算出部１９３が、距離ｒ１１および角度θ１１に基づいて、自船に対する船舶９１１の相対位置を算出するようにしてもよい。また、位置算出部１９３が、距離ｒ１２および角度θ１２に基づいて、自船に対する船舶９１２の相対位置を算出するようにしてもよい。
その場合、位置算出部１９３が、船舶の像と、水平線の像（線Ｌ３１１）との位置関係に基づいて、自船から船舶までの距離を算出するようにしてもよい。
例えば、自船から水平線までの距離ｌは、式（１）のように示される。

【0031】

【数1】

【0032】

Ｒは、地球の半径を示す。ｈは、水面から撮影装置１０までの高さを示す。
図４の例で、船舶９１１の像は水平線の像の位置にある。この場合、位置算出部１９３が、自船から船舶９１１までの距離を距離ｌと算出するようにしてもよい。
また、位置算出部１９３が、原点Ｏと、船舶９１２の像と、水平線の像との位置関係に基づいて、自船から水平線までの距離に対する自船から船舶９１２までの距離の割合を算出するようにしてもよい。そして、位置算出部１９３が、自船から水平線までの距離ｌに算出した割合を乗算して、自船から船舶９１２までの距離を算出するようにしてもよい。

【0033】

ただし、位置算出部１９３が基準位置に対する物体の相対位置を算出する方法は、撮影画像から直接算出する方法に限定されない。例えば、自船がレーザ距離計など距離測定装置を備え、位置算出部１９３が、この距離測定装置を用いて自船に対する物体の相対位置を算出するようにしてもよい。基準位置が自船の位置以外の位置に設定されている場合、位置算出部１９３がさらに、自船に対する物体の相対位置に基づいて、基準位置に対する物体の相対位置を算出するようにしてもよい。

【0034】

あるいは、位置算出部１９３が、画像データの入力を受けて、撮影画像に像が含まれる物体の位置の座標情報を出力する学習モデルを備えるなど、撮影画像から直接、撮影画像に像が含まれる物体の位置を算出するようにしてもよい。この場合の学習モデルは、畳み込みニューラルネットワーク（Convolutional neural network；ＣＮＮ）を用いて構成されていてもよいが、これに限定されない。

【0035】

画像生成部１９４は、撮影装置１０の撮影画像に像が含まれる物体の位置を示す画像を生成する。例えば、画像生成部１９４が、図３に例示される画像のように、位置算出部１９３が算出する基準位置に対する物体の相対位置を、座標の交点が基準位置を示す二次元座標平面にプロットした画像を生成する。
表示制御部１９５は、表示部１２０を制御して各種画像を表示させる。特に、表示制御部１９５は、画像生成部１９４が生成する画像を表示部１２０に表示させる。

【0036】

位置算出部１９３が、水平方向の２次元座標に時刻を加えた３次元座標にて物体の位置を算出するようにしてもよい。
図５は、水平方向の２次元の座標軸に時刻の座標軸を加えた３次元座標空間の例を示す図である。時刻の座標軸を時間軸とも称する。
図５の例で、ｘ軸およびｙ軸は、水平方向の２次元の座標軸を示す。

【0037】

図５では、時刻ｔ１１、ｔ１２、ｔ１３それぞれにおける船舶の位置が、表示部１２０が表示する画像の形式で示されている。図５では、３つの船舶の位置が示されている。これら３つの船舶を、第１船舶、第２船舶、第３船舶と称する。
時刻ｔ１１の画像では、点Ｐ２１１が第１船舶の位置を示し、点Ｐ２１２が第２船舶の位置を示し、点Ｐ２１３が第３船舶の位置を示す。時刻ｔ１２の画像では、点Ｐ２２１が第１船舶の位置を示し、点Ｐ２２２が第２船舶の位置を示し、点Ｐ２２３が第３船舶の位置を示す。時刻ｔ１３の画像では、点Ｐ２３１が第１船舶の位置を示し、点Ｐ２３２が第２船舶の位置を示し、点Ｐ２３３が第３船舶の位置を示す。
線Ｌ４１１は、第１船舶の位置の履歴を示す。線Ｌ４１２は、第２船舶の位置の履歴を示す。線Ｌ４１３は、第３船舶の位置の履歴を示す。位置の履歴を軌跡とも称する。

【0038】

制御部１９０が、時間軸を含む３次元座標空間でデータを解析することで、いろいろな解析を行うことができる。例えば、制御部１９０が、自船に近付きつつある船舶について、その船舶が自船に最も接近する時刻および距離を予測するようにしてもよい。
また、位置算出部１９３が、時間軸を含む３次元座標空間でデータを解析することで、撮影装置１０の撮影画像から相対位置が算出されない物体について、撮影画像の時系列データに基づいて相対位置を推定するようにしてもよい。例えば、位置算出部１９３が、時間軸を含む３次元座標空間で、船舶などの物体の像が撮影装置１０の撮影画像に含まれない時間帯について、その物体の軌跡を補間するようにしてもよい。

【0039】

図６は、位置算出部１９３による船舶の軌跡の補間の例を示す図である。図６は、図５に示される例において、撮影装置１０の画角が各時刻の画像に示される三角の領域（領域Ａ１１）に限定される場合の例を示している。ここでいる撮影装置１０の画角は、撮影装置１０の撮影範囲である。
図６の例で、ｘ軸およびｙ軸は、水平方向の２次元の座標軸を示す。

【0040】

図５の場合と同様、図６でも、時刻ｔ１１、ｔ１２、ｔ１３それぞれにおける船舶の位置が、表示部１２０が表示する画像の形式で示されている。ただし、図６では、第１船舶の位置と第２船舶の位置とは示されているが、第３船舶の位置は示されていない。第３船舶は、時刻ｔ１１からｔ１３までの間ずっと撮影装置１０の画角の外に位置するため、位置表示の対象外となっている。

【0041】

図５の場合と同様、第１船舶の位置は、時刻ｔ１１の画像では点Ｐ２１１で示され、時刻ｔ１２の画像では点Ｐ２２１で示され、時刻ｔ１３の画像では点Ｐ２３１で示されている。これらの位置のうち、点Ｐ２２１およびＰ２３１は、撮影装置１０の撮影範囲である領域Ａ１１内に位置している。一方、点Ｐ２１１は、領域Ａ１１外に位置している。

【0042】

位置算出部１９３は、時刻ｔ１２およびｔ１３など、第１船舶が領域Ａ１１内に位置しているときの第１船舶の位置に基づいて、時刻ｔ１１など、第１船舶が領域Ａ１１外に位置しているときの第１船舶の位置を補間する。図６の例では、位置算出部１９３は、第１船舶の位置を線形補間（直線補間）で算出している。
このように、位置算出部１９３は、撮影装置１０の画角内になかった船舶の位置を、過去にさかのぼって算出することができる。

【0043】

また、第２船舶の位置は、時刻ｔ１１の画像では点Ｐ２１２で示され、時刻ｔ１２の画像では点Ｐ２２２で示され、時刻ｔ１３の画像では点Ｐ２３２で示されている。これらの位置のうち、点Ｐ２１２およびＰ２２２は、撮影装置１０の撮影範囲である領域Ａ１１内に位置している。一方、点Ｐ２３２は、領域Ａ１１外に位置している。

【0044】

位置算出部１９３は、時刻ｔ１１およびｔ１２など、第２船舶が領域Ａ１１内に位置しているときの第２船舶の位置に基づいて、時刻ｔ１３など、第２船舶が領域Ａ１１外に位置しているときの第２船舶の位置を補間する。図６の例では、位置算出部１９３は、第２船舶の位置を線形補間で算出している。

【0045】

このように、位置算出部１９３は、撮影装置１０の画角内にない船舶の位置を、その船舶の過去の位置に基づいて算出することができる。例えば、位置算出部１９３は、時刻ｔ１３において、撮影装置１０の画角内にない第１船舶の現在位置を、リアルタイムで算出することができる。また、位置算出部１９３は、時刻ｔ１２において、未来の時刻ｔ１３における第１船舶の位置を算出することができる。
このように、位置算出部１９３は、撮影装置１０の撮影画像から相対位置が算出されない物体について、撮影画像の時系列データに基づいて、過去、現在または未来の何れの相対位置も推定することができる。

【0046】

表示部１２０が、図３に例示される、座標軸の交点が基準位置を示す二次元座標に物体の位置がプロットされた画像の表示に加えて、位置座標と時刻座標との二次元座標に物体の位置の軌跡がプロットされた画像の表示を行うようにしてもよい。
図７は、表示部１２０が表示する、位置座標と時刻座標との二次元座標に物体の位置の軌跡がプロットされた画像の例を示す図である。

【0047】

図７の横軸（ｘ軸）は、位置座標を示す。例えば、横軸は、自船の左右方向を示す。縦軸（ｔ軸）は、時刻の座標を示す。図７は、例えば、自船の前方に位置する船舶の、自船から見て左右の位置の履歴の例を示す。
線Ｌ５１１およびＬ５２１は、第４船舶の位置の履歴を示す。位置算出部１９３は、線Ｌ５１１における第４船舶の位置を、撮影装置１０の撮影画像における第４船舶の像の位置から算出する。一方、線Ｌ５２１については、撮影装置１０の撮影画像に第４船舶の像が含まれておらず、位置算出部１９３は、線Ｌ５１１に示される第４船舶の位置に基づく線形補間にて、線Ｌ５２１に示される第４船舶の位置を算出している。

【0048】

線Ｌ５１２、Ｌ５２２およびＬ５３２は、第５船舶の位置を示す。位置算出部１９３は、線Ｌ５１２および線Ｌ５３２に示される第５船舶の位置を、撮影装置１０の撮影画像における第５船舶の像の位置から算出する。一方、線Ｌ５２２については、撮影装置１０の撮影画像に第５船舶の像が含まれておらず、位置算出部１９３は、線Ｌ５１２およびＬ５３２に示される第５船舶の位置に基づく線形補間にて、線Ｌ５２２に示される第５船舶の位置を算出している。

【0049】

このように、表示部１２０が、位置座標と時刻座標との二次元座標の画像を表示する場合も、位置算出部１９３が撮影装置１０の撮影画像から位置が算出されない物体について補間で求めた位置を表示することができる。
船舶等の物体が撮影装置１０に写らない場合として、図６の例のように物体が撮影装置１０の撮影範囲の外に位置する場合に加えて、物体が一時的に波に隠れた場合、物体が他の物体に遮られて自船から見えない場合、霧などの気象条件によって物体が見えない場合などが挙げられるが、これらに限定されない。

【0050】

自船の向きまたは位置の小刻みな修正、または、自船の揺れなど、自船の状況が撮影装置１０の撮影画像に影響する場合、位置算出部１９３が、撮影装置１０の撮影画像に基づいて船舶等の物体の位置を算出する際に、自船の状況の影響を打ち消すようにしてもよい。

【0051】

図８は、自船の状況が位置算出部１９３による位置計算に影響する場合の、表示部１２０による船舶の軌跡の表示例を示す図である。
図８の横軸（ｘ軸）は、位置座標を示す。例えば、横軸は、自船の左右方向を示す。縦軸（ｔ軸）は、時刻の座標を示す。図８は、例えば、自船の前方に位置する船舶の、自船から見て左右の位置の履歴の例を示す。

【0052】

線Ｌ６１１は、位置算出部１９３が補正を行う前の、船舶の軌跡の例を示す。例えば、撮影装置１０が自船に対して向きを固定に設置され、自船が潮流に応じて向きを小刻みに変えている場合など、撮影装置１０の向きが小刻みに変わる場合、位置算出部１９３が、およそ一定速度で直進している船舶の軌跡を、線Ｌ６１１に示されるように波打つ形状の軌跡に算出することが考えられる。このように、撮影装置１０の向きの変化が、位置算出部１９３が算出する船舶の位置に影響することで、船舶の実際の動きを把握しにくくなる可能性がある。

【0053】

そこで、位置算出部１９３が、撮影装置１０の向きの時系列情報に基づいて、基準位置に対する船舶等の物体の相対位置に対して、撮影装置１０の向きの変化の影響を打ち消す補正を行うようにしてもよい。例えば位置算出部１９３が、自船の現在の向きを基準の向きとして、船舶等の物体の相対位置を、自船が常に基準の向きを向いている場合の相対位置に補正するようにしてもよい。かかる補正は、例えば、位置算出部１９３は、各時刻のデータについて、撮影装置１０の実際の向きと基準の向きとの相違の角度だけ座標を回転させることで行われる。

【0054】

線Ｌ６１２は、位置算出部１９３が補正を行った後の、船舶の軌跡の例を示す。線Ｌ６１２では、船舶がおよそ一定速度で直進している軌跡が示されている。これにより、表示部１２０が表示する画像を参照した乗員が、船舶の実際の動きを把握できることが期待される。

【0055】

撮影装置１０の向きだけでなく、撮影装置１０の位置も、位置算出部１９３が算出する船舶等の物体の位置に影響することが考えられる。
そこで、位置算出部１９３が、撮影装置１０の位置の時系列情報に基づいて基準位置を設定するようにしてもよい。

【0056】

例えば、自船が蛇行している場合に、位置算出部１９３が、自船の軌跡を線形補間した軌跡を算出し、その軌跡を基準位置として船舶等の相対位置を算出するようにしてもよい。また、位置算出部１９３が、所定の位置を各時刻に共通の基準位置に設定し、その基準位置に対する船舶等の相対位置を算出するようにしてもよい。位置算出部１９３が、自船の現在位置を各時刻に共通の基準位置に設定し、その基準位置に対する船舶等の相対位置を算出するようにしてもよい。

【0057】

図９は、処理装置３０が、船舶等の物体の位置を示す画像を表示する処理手順の例を示す図である。処理装置３０が、例えば１秒ごとなど所定の周期ごとに図９の処理を行うようにしてもよい。また、処理装置３０、画像の表示を指示するユーザ操作を受けた場合に図９の処理を行うようにしてもよい。

【0058】

図９の処理で、画像取得部１９１は、撮影装置１０の撮影画像を取得する（ステップＳ１１１）。例えば、画像取得部１９１は、通信部１１０が撮影装置１０から受信するデータから、撮影装置１０の撮影画像の画像データを抽出する。
次に、姿勢情報取得部１９２は、撮影装置１０の位置および向きを示す情報を取得する（ステップＳ１１２）。例えば、姿勢情報取得部１９２は、通信部１１０がセンサ２０から受信するデータから、センサ２０による撮影装置１０の位置および向きの測定データを抽出する。

【0059】

次に、位置算出部１９３は、撮影装置１０の撮影画像中における物体の像を検出し、検出した像の撮影画像中における位置に基づいて、その物体の位置を算出する（ステップＳ１１３）。撮影装置１０の撮影画像中に複数の物体の像を検出した場合、位置算出部１９３は、検出した各物体の位置を算出する。

【0060】

そして、位置算出部１９３は、記憶部１８０が記憶する物体の位置の履歴情報を更新する（ステップＳ１１４）。例えば、位置算出部１９３は、ステップＳ１１３で算出した各物体の位置と時刻とが紐付けられた情報を、記憶部１８０が記憶する履歴情報に追加する。
次に、位置算出部１９３は、物体の位置の履歴情報の補正の要否を判定する（ステップＳ１１５）。例えば、位置算出部１９３が、補正を指示するユーザ設定が行われているか否かを判定するようにしてもよい。

【0061】

補正が必要であると判定した場合（ステップＳ１１５：ＹＥＳ）、位置算出部１９３は、ステップＳ１１２で姿勢情報取得部１９２が取得した、撮影装置１０の位置および向きを示す情報に基づいて、履歴情報における物体の位置を補正する（ステップＳ１１６）。上述したように、位置算出部１９３が、撮影装置１０の向きの変化の影響を打ち消す補正を行うようにしてもよい。また、上述したように、位置算出部１９３が、基準位置を設定し、各物体の位置を基準位置からの相対位置にする補正を行うようにしてもよい。位置算出部１９３が、これら２つの補正の両方を行うようにしてもよい。

【0062】

次に、位置算出部１９３は、補間対象の有無を判定する（ステップＳ１１７）。例えば、位置算出部１９３は、記憶部１８０が物体の位置の履歴情報を記憶している所定の時間帯のうち、位置が示されている時刻と位置が示されていない時刻とがある物体の有無を判定し、該当する物体があると判定した場合に、補間対象ありと判定するようにしてもよい。
また、位置算出部１９３が、補間を指示するユーザ操作の有無を判定し、補間を指示するユーザ操作が行われていない場合は、補間対象無しと判定するようにしてもよい。

【0063】

補間対象ありと判定した場合（ステップＳ１１７：ＹＥＳ）、位置算出部１９３は、記憶部１８０が記憶する物体の位置の履歴情報に対して、上述したように、物体の位置を補間する処理を行う（ステップＳ１１８）。
次に、表示部１２０は、表示制御部１９５の制御に従って、物体の位置を示す画像を表示する（ステップＳ１１９）。表示部１２０が、図３に例示される、物体の位置を二次元座標で示す画像を表示するようにしてよい。また、表示部１２０が、図５に例示される、物体の位置を、２つの位置座標と１つの時刻座標とによる三次元座標で示す画像を表示するようにしてもよい。また、表示部１２０が、図７に例示される、物体の位置を位置座標と時刻座標との２次元座標で示す画像を表示するようにしてもよい。
ステップＳ１１９の後、処理装置３０は、図９の処理を終了する。

【0064】

一方、ステップＳ１１５で補正が不要であると判定した場合（ステップＳ１１５：ＮＯ）、処理がステップＳ１１７へ進む。
一方、ステップＳ１１７で補間対象なしと判定した場合（ステップＳ１１７：ＮＯ）、処理がステップＳ１１９へ進む。

【0065】

以上のように、撮影装置１０は、撮影を行う。位置算出部１９３は、撮影装置１０の撮影画像に像が含まれる物体の、基準位置に対する水平方向の相対位置を算出する。表示部１２０は、座標軸の交点が基準位置を示す二次元座標に物体の位置がプロットされた画像を表示する。
表示システム１によれば、周囲の撮影画像に基づいて周囲の物体の位置情報を提示することができる。

【0066】

また、位置算出部１９３は、撮影画像から相対位置が算出されない物体について、撮影画像の時系列データに基づいて相対位置を推定する。
これにより、表示システム１は、撮影装置１０の撮影画像に像が含まれない物体など、撮影画像から相対位置が算出されない物体についても、位置を推定してユーザに提示することができる。

【0067】

また、表示部１２０は、座標軸の交点が基準位置を示す二次元座標に物体の位置がプロットされた画像の表示に加えて、位置座標と時刻座標との二次元座標に物体の位置の軌跡がプロットされた画像の表示を行う。
これにより、処理装置３０は、船舶等の物体の位置の履歴を表示することができる。

【0068】

また、位置算出部１９３は、撮影装置１０の向きの時系列情報に基づいて、相対位置に対する撮影装置１０の向きの変化の影響を打ち消す補正を行う。
これにより、乗員などのユーザは、撮影された物体の軌跡を比較的容易に把握することができる。

【0069】

また、位置算出部１９３は、撮影装置１０の位置の時系列情報に基づいて基準位置を設定する。これにより、表示システム１は、自船が蛇行しているような場合でも、撮影された物体の軌跡を比較的容易に把握することができる。

【0070】

図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図１０に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。

【0071】

上記の処理装置３０が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。

【0072】

処理装置３０が、コンピュータ７００に実装される場合、制御部１９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。

【0073】

また、ＣＰＵ７１０は、プログラムに従って、記憶部１８０に対応する記憶領域を主記憶装置７２０に確保する。
通信部１１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
表示部１２０による表示は、インタフェース７４０が表示装置を有し、ＣＰＵ７１０の制御に従って各種画像を表示することで実行される。
操作入力部１３０によるユーザ操作の受け付けは、インタフェース７４０が例えばキーボードおよびマウスなどの入力デバイスを有してユーザ操作を受け付け、受け付けたユーザ操作を示す情報をＣＰＵ７１０へ出力することで実行される。

【0074】

なお、処理装置３０の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0075】

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0076】

１ 表示システム
１０ 撮影装置
２０ センサ
３０ 処理装置
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０ 記憶部
１９０ 制御部
１９１ 画像取得部
１９２ 姿勢情報取得部
１９３ 位置算出部
１９４ 画像生成部
１９５ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】