特許 6720409 映像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6720409

(24)【登録日】2020年6月19日

(45)【発行日】2020年7月8日

(54)【発明の名称】映像生成装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20200629BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】7

【全頁数】22

(21)【出願番号】特願2019-519585(P2019-519585)

(86)(22)【出願日】2018年5月15日

(86)【国際出願番号】JP2018018650

(87)【国際公開番号】WO2018216539

(87)【国際公開日】20181129

【審査請求日】2019年11月29日

(31)【優先権主張番号】特願2017-103151(P2017-103151)

(32)【優先日】2017年5月24日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(72)【発明者】

【氏名】西山 浩二

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開平０６−３０１８９７（ＪＰ，Ａ）

【文献】 特開２００６−０６０３０９（ＪＰ，Ａ）

【文献】 特開２０１５−２１５２７８（ＪＰ，Ａ）

【文献】 特開平０８−０８７２３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０８Ｇ ３／００ − ３／０２

Ｇ０１Ｃ ２１／００ − ２１／３６

(57)【特許請求の範囲】

【請求項1】

水上移動体に設置される撮影装置が撮影した撮影映像を入力する撮影映像入力部と、
前記水上移動体の位置を示す位置情報を取得する位置取得部と、
前記水上移動体の姿勢を示す姿勢情報を取得する姿勢取得部と、
物標の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、
前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報を示す３次元の仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する合成映像生成部と、
物標に関して、前記付加表示情報が直前に取得されたタイミングより新しいタイミングでの当該物標の位置を、前記付加表示情報に含まれる物標の速度又は前記付加表示情報から推定される物標の速度に基づいて推測する物標位置推測部と、
直前の前記付加表示情報が取得される時刻の後から次回の前記付加表示情報が取得される時刻までの間、前記物標位置推測部による推測の結果に基づいて、前記合成映像生成部に、前記合成映像における当該物標の仮想現実オブジェクトの描画を更新させる映像更新部と、
を備えることを特徴とする映像生成装置。

【請求項2】

請求項１に記載の映像生成装置であって、
物標に関して、前記付加表示情報が直近に取得されたタイミングより新しいタイミングでの当該物標の向きを、前記付加表示情報に含まれる物標の向きの角速度又は前記付加表示情報から推定される物標の向きの角速度に基づいて推測する物標向き推測部を備え、
前記映像更新部は、前記物標向き推測部による推測の結果に基づいて、前記合成映像生成部に、前記合成映像における当該物標の仮想現実オブジェクトの描画を更新させることを特徴とする映像生成装置。

【請求項3】

請求項１又は２に記載の映像生成装置であって、
前記合成映像生成部は、船舶の形状の前記仮想現実オブジェクトを描画した図形を、前記撮影映像に合成可能であることを特徴とする映像生成装置。

【請求項4】

請求項１から３までの何れか一項に記載の映像生成装置であって、
前記付加表示情報には、ＡＩＳ受信機で受信されたＡＩＳ情報が含まれることを特徴とする映像生成装置。

【請求項5】

請求項１から４までの何れか一項に記載の映像生成装置であって、
前記付加表示情報には、レーダ装置で取得されたレーダ映像の推移に基づいて取得された物標の位置及び速度の情報が含まれることを特徴とする映像生成装置。

【請求項6】

請求項１から５までの何れか一項に記載の映像生成装置であって、
前記合成映像生成部は、方位を示す目盛画像を更に生成し、
前記合成映像における、前記図形が表示される位置に応じて、前記目盛画像の表示位置を決定することを特徴とする映像生成装置。

【請求項7】

水上移動体に設置される撮影装置が撮影した撮影映像を入力し、
前記水上移動体の位置を示す位置情報を取得し、
前記水上移動体の姿勢を示す姿勢情報を取得し、
物標の位置を示す情報を含む付加表示情報を取得し、
前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報を示す３次元の仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成し、
物標に関して、前記付加表示情報が直前に取得されたタイミングより新しいタイミングでの当該物標の位置を、前記付加表示情報に含まれる物標の速度又は前記付加表示情報から推定される物標の速度に基づいて推測し、
直前の前記付加表示情報が取得される時刻の後から次回の前記付加表示情報が取得される時刻までの間、前記推測された物標の速度に基づいて、前記合成映像における当該物標の仮想現実オブジェクトの描画を更新する
ことを特徴とする映像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像生成装置に関する。詳細には、水上移動体の周囲の様子を表示する映像を生成するための映像生成装置に関する。

【背景技術】

【0002】

この種の映像生成装置は、例えば特許文献１に開示されている。この特許文献１の映像生成装置は、カメラと、撮影データ受信部と、位置取得部と、映像生成部 と、物標表示物生成部と、ディスプレイと、を備え、カメラからの画像ストリームについてジオリファレンシングを行う構成となっている。

【0003】

特許文献１において、撮影データ受信部は、船舶のカメラが撮影したストリーム画像データを受信する。位置取得部は、当該船舶の周囲の物標（他船等）の位置 を取得する。映像生成部は、ストリーム画像データの画像に基づいて、ディスプレイに映し出す映像を生成する。当該映像は、カメラの位置及び視野に対応して いる。物標表示物生成部は、前記映像上の点に、物標を示す物標表示物を生成する。そして、ディスプレイには、前記映像と、前記映像上の点に配置される前記 物標表示物と、が表示される構成となっている。

【0004】

上記の映像生成部は、各点が前記映像上の点に対応し、水上移動体の周囲の 環境を示す３次元仮想空間に、前記映像を投影することにより前記映像を生成する。更に、上記の物標表示物生成部は、物標の位置情報と、３次元仮想空間の点 のそれぞれと、に基づいて、前記物標表示物を生成する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２０１５／０３５０５５２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の構成では、前記位置取得部で、自船の周囲を移動する他船等の物標の位置を取得する時間間隔が長くなってしまう場合があった。そ の場合、前記物標表示物の表示が更新される頻度が少なくなり、前記映像上での前記物標表示物の動きが滑らかではなく不自然な表示となってしまうおそれが あった。

【0007】

本発明は以上の事情に鑑みてされたものであり、その目的は、滑らかな動きの仮想現実的映像を実現することにある。

【課題を解決するための手段及び効果】

【0008】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

【0009】

本発明の観点によれば、以下の構成の映像生成装置が提供される。即ち、この映像生成装置は、撮影映像入力部と、位置取得部と、姿勢取得部と、付加表示情報 取得部と、合成映像生成部と、物標位置推定部と、映像更新部と、を備える。前記撮影映像入力部は、水上移動体に設置される撮影装置が撮影した撮影映像を入 力する。前記位置取得部は、前記水上移動体の位置を示す位置情報を取得する。前記姿勢取得部は、前記水上移動体の姿勢を示す姿勢情報を取得する。前記付加 表示情報取得部は、物標の位置を示す情報を含む付加表示情報を取得する。前記合成映像生成部は、前記位置情報、前記姿勢情報及び前記付加表示情報に基づい て、前記付加表示情報を示す３次元の仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する。前記物標位置推測部は、物標に関し て、前記付加表示情報が直近に取得されたタイミングより新しいタイミングでの当該物標の位置を、前記付加表示情報に含まれる物標の速度又は前記付加表示情 報から推定される物標の速度に基づいて推測する。前記映像更新部は、前記物標位置推測部による推測の結果に基づいて、前記合成映像生成部に、前記合成映像 における当該物標の仮想現実オブジェクトの描画を更新させる。

【0010】

これにより、物標の位置を示す付加表示情報の取得時間間隔が長い場合でも、物標の位置を適宜のタイミングで推測することで、仮想現実オブジェクトを描画した図形を更新することができる。よって、滑らかな動きの仮想現実的映像を実現することが可能となる。

【0011】

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、この映像生成装置は、物標に関して、前記付加表示情報が直近に取得されたタイミン グより新しいタイミングでの当該物標の向きを、前記付加表示情報に含まれる物標の向きの角速度又は前記付加表示情報から推定される物標の向きの角速度に基 づいて推測する物標向き推測部を備える。前記映像更新部は、前記物標向き推測部による推測の結果に基づいて、前記合成映像生成部に、前記合成映像における 当該物標の仮想現実オブジェクトの描画を更新させる。

【0012】

これにより、物標の向きを位置と同様に適宜のタイミングで推測することで、仮想現実オブジェクトを描画した図形を更新することができる。従って、より自然な映像の動きを実現することができる。

【0013】

前記の映像生成装置においては、前記合成映像生成部は、船舶の形状の前記仮想現実オブジェクトを描画した図形を、前記撮影映像に合成可能であることが好ましい。

【0014】

これにより、周囲の船舶の動静を、船舶の３次元コンピュータグラフィックスの滑らかな動きで表現することができる。

【0015】

前記の映像生成装置においては、前記付加表示情報には、ＡＩＳ受信機で受信されたＡＩＳ情報が含まれることが好ましい。

【0016】

これにより、物標が、情報の更新頻度が低くなることが多いＡＩＳ受信機からの付加表示情報に基づくものであった場合でも、滑らかな動きの仮想現実的映像を実現することができる。

【0017】

前記の映像生成装置においては、前記付加表示情報には、レーダ装置で取得されたレーダ映像の推移に基づいて取得された物標の位置及び速度の情報が含まれることが好ましい。

【0018】

これにより、他船が、レーダアンテナが１回転するまで物標の位置等の情報を更新できないレーダ装置からの付加表示情報に基づくものであった場合でも、滑らかな動きの仮想現実的表示を実現することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係る映像生成装置の全体的な構成を示すブロック図。

【図2】船舶に備えられる各種の機器を示す側面図。

【図3】映像生成装置において表示の対象となる付加表示情報の例を説明する概念図。

【図4】３次元仮想空間に仮想現実オブジェクトを配置して生成される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。

【図5】カメラによる撮影映像の例を示す図。

【図6】データ合成部が出力する合成映像を示す図。

【図7】図４の状態から船舶がピッチ方向及びロール方向に揺動した場合を示す概念図。

【図8】図７の場合の合成映像を示す図。

【図9】ＡＩＳ情報に基づく他船の付加表示情報に関し、３次元仮想空間に船舶の仮想現実オブジェクトが配置される位置及び向きが更新される様子を示す概念図。

【図10】方位目盛の表示例１

【図11】方位目盛の表示例２

【図12】本発明の一実施形態に係る映像生成方法のフローチャート

【発明を実施するための形態】

【0020】

次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る映像生成装置１の全体的な構成を示すブロック図である。図２は、船舶４に備えられる各種の機器を示す側面図である。

【0021】

図１に示す映像生成装置１は、例えば図２に示すような船舶（水上移動体）４に搭載され、カメラ（撮影装置）３で撮影した映像をベースとして、当該船舶４の 周囲の様子を仮想現実的に表現する映像を生成するための装置である。映像生成装置１が生成した映像は、ディスプレイ２に表示される。

【0022】

ディスプレイ２は、例えば、当該船舶４（自船）で操船を行うオペレータが参照する操船支援装置のディスプレイとして構成することができる。ただし、ディス プレイ２は上記に限定されず、例えば、自船４から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、自船４の客室で乗客が鑑賞 するためのディスプレイ、或いは乗船者が装着するウェアラブルグラス等のヘッドマウントディスプレイの表示部とすることが可能である。

【0023】

映像生成装置１は、自船４に設置されたカメラ３によって撮影された自船４の周囲の映像と、自船４の周囲の付加表示情報（後に詳述）を仮想現実的に表現する図形と、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。

【0024】

次に、主に図１を参照して、映像生成装置１に電気的に接続されるカメラ３及び各種の船舶機器について説明する。

【0025】

カメラ３は、自船４の周囲を撮影する広角型のビデオカメラとして構成されている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ （映像データ）をリアルタイムで生成して映像生成装置１に出力することができる。図２に示すように、カメラ３は、撮影方向が船体に対して水平前方となるよ うに船舶４に設置される。

【0026】

カメラ３は図略の回転機構を介して船舶４に取り付けられており、パン／チルト動作を指示する信 号が映像生成装置１から入力されることにより、その撮影方向を、船舶４の船体を基準として所定の角度範囲で変更することができる。また、自船４の高さ及び 姿勢は波等により様々に変化するので、それに伴って、カメラ３の高さが変化するとともに姿勢（撮影方向）も３次元的に変化することになる。

【0027】

本実施形態の映像生成装置１は、上記のカメラ３のほか、船舶機器としてのＧＮＳＳコンパス（方位センサ、姿勢センサ）５、角速度センサ６、ＧＮＳＳ受信機 ７、加速度センサ８、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等と電気的に接続されている。

【0028】

ＧＮＳＳコンパス５は、自船４に固定された複数のＧＮＳＳアンテナ（測位用アンテナ）を備える。ＧＮＳＳコンパス５は、それぞれのＧＮＳＳアンテナの位置 関係を、測位衛星から受信した電波に基づいて算出する。特に、本実施形態のＧＮＳＳコンパス５は、各ＧＮＳＳアンテナが受信した電波の搬送波位相の位相差 に基づいてＧＮＳＳアンテナの位置関係を求めるように構成されている（この処理は公知であるので、詳細な説明は省略する）。これにより、自船４の船首方位 を精度よく取得することができる。

【0029】

ＧＮＳＳコンパス５は、船舶４の姿勢を３次元的に取得することができる。言い換えれ ば、ＧＮＳＳコンパス５は、船首方位（即ち、船舶４のヨー角）だけでなく、船舶４のロール角及びピッチ角を検出することができる。ＧＮＳＳコンパス５で取 得された自船４の姿勢情報は、映像生成装置１の姿勢取得部１６や、当該姿勢情報を利用する他の船舶機器に出力される。

【0030】

角 速度センサ６は、例えば公知の振動ジャイロセンサから構成されており、ＧＮＳＳコンパス５の姿勢検出間隔（例えば、１秒）より短い周期で、船舶４のヨー角 速度、ロール角速度及びピッチ角速度を検出することができる。ＧＮＳＳコンパス５が検出した角度と、角速度センサ６が検出した角速度の積分値と、を併用す ることにより、ＧＮＳＳコンパス５だけを用いる場合よりも短い時間間隔で船舶４の姿勢を取得することができる。また、角速度センサ６は、上述の測位衛星か らの電波が例えば橋等の障害物により遮られて、ＧＮＳＳコンパス５による姿勢の検出が不能となっている場合に、姿勢情報を取得するための代替的な手段とし て機能する。

【0031】

ＧＮＳＳ受信機７は、前記のＧＮＳＳアンテナが測位衛星から受信した電波に基づいて、自船４の位置（詳細に は、ＧＮＳＳアンテナの緯度、経度及び高さ）を求める。ＧＮＳＳ受信機７は、得られた位置情報を、映像生成装置１の位置取得部１５や、当該位置情報を利用 する他の船舶機器に出力する。

【0032】

加速度センサ８は、例えば公知の静電容量検出型のセンサとして構成されており、ＧＮＳＳ受 信機７の位置検出間隔（例えば、１秒）より短い周期で、船舶４のヨー軸、ロール軸及びピッチ軸における加速度を検出することができる。ＧＮＳＳ受信機７が 検出した位置と、加速度センサ８が検出した加速度の２重積分値と、を併用することにより、ＧＮＳＳ受信機７だけを用いる場合よりも短い時間間隔で自船４の 位置を取得することができる。また、加速度センサ８は、上述の測位衛星からの電波が遮られてＧＮＳＳ受信機７による位置の検出が不能となっている場合に、 位置情報を取得するための代替的な手段として機能する。

【0033】

本実施形態では図２に示すように、角速度センサ６、ＧＮＳＳ受信 機７及び加速度センサ８は、ＧＮＳＳコンパス５に内蔵されたものが用いられている。ただし、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８のうち全 部又は一部が、ＧＮＳＳコンパス５とは独立して設けられてもよい。

【0034】

ＡＩＳ受信機９は、他船や陸上局等から送信される ＡＩＳ情報を受信するものである。ＡＩＳ情報には、自船４の周囲を航行している他船の位置（緯度・経度）、当該他船の長さ及び幅、当該他船の種類及び識別 情報、当該他船の船速、針路及び目的地、並びにランドマークの位置及び識別情報等の、様々な情報が含まれる。

【0035】

ＥＣＤＩＳ１０は、ＧＮＳＳ受信機７から自船４の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、自船４の周囲の情報を映像生成装置１に出力する。

【0036】

プロッタ１１は、ＧＮＳＳ受信機７から自船４の位置を継続して取得することにより、自船４の航行軌跡の情報を生成することができる。また、プロッタ１１ は、ユーザに複数のウェイポイント（自船４が通過する予定の地点）を設定させることにより、これらのウェイポイントを順次繋ぐようにして予定航路を生成す ることができる。

【0037】

レーダ装置１２は、自船４の周囲に存在する他船等の物標を探知することができる。また、このレーダ装置１２は物標を捕捉及び追尾することが可能な公知の目標追尾機能（ＴＴ）を有しており、当該物標の位置及び速度ベクトル（ＴＴ情報）を求めることができる。

【0038】

ソナー１３は、超音波を水中に送信するとともに、その超音波が魚群等で反射した反射波を受信することにより、魚群等を探知する。

【0039】

映像生成装置１は、ユーザが操作するキーボード３１及びマウス３２に接続されている。ユーザは、キーボード３１及びマウス３２を操作することで、映像の生 成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作、各種の情報の表示の有無の設定、合成映像の視点の設定等が含まれ る。

【0040】

次に、映像生成装置１の構成について、主に図１を参照して詳細に説明する。

【0041】

図１に 示すように、映像生成装置１は、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテ ナ位置設定部２６、視点設定部２７、表示設定部２８、合成映像生成部２０、物標位置推測部３５、物標向き推測部３６、及び映像更新部３７を備える。

【0042】

具体的には、映像生成装置１は公知のコンピュータとして構成され、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、映像生成装置１ は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例えばＨＤＤには、本発明の映像合成処理を実行させるためのソフトウェアが記憶 されている。このハードウェアとソフトウェアの協働により、映像生成装置１を、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部 １７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、合成映像生成部２０、物標位置推測部３５、物標向き推 測部３６、及び映像更新部３７等として機能させることができる。

【0043】

撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、合成映像生成部２０（後述のデータ合成部２３）に出力する。

【0044】

位置取得部１５は、ＧＮＳＳ受信機７及び加速度センサ８の検出結果に基づいて、自船４の現在の位置をリアルタイムで取得する。

【0045】

姿勢取得部１６は、ＧＮＳＳコンパス５及び角速度センサ６の検出結果に基づいて、自船４の現在の姿勢をリアルタイムで取得する。

【0046】

付加表示情報取得部１７は、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等が映像生成装置１に出力する情報に基づい て、カメラ３で撮影した映像に対して付加的に表示する情報（付加表示情報）を取得する。この付加表示情報としては様々なものが考えられるが、例えば図３に 示すように、ＡＩＳ受信機９が受信した他船４４の情報とすることができる。なお、付加表示情報の詳細は後述する。

【0047】

図１の 記憶部１８は、各種の情報を記憶するメモリとして構成されている。この記憶部１８は、各種の付加表示情報を表現する仮想現実オブジェクトの３次元形状を、 テンプレートとして記憶することができる。記憶部１８が記憶する３次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、灯台等とすることができ るが、これに限定されない。

【0048】

撮影位置設定部２５は、自船４におけるカメラ３の位置（撮影位置）、具体的には、船の長さ方 向及び幅方向でのカメラ３の位置と、上下方向でのカメラの位置（カメラ３の高さ）と、を設定することができる。カメラ３の高さは、自船４において通常想定 される喫水線からの高さとすることができるが、これに限定されず、例えば、船底からの高さとすることができる。この撮影位置の設定は、例えば、ユーザがカ メラ３の位置を実際に計測した結果をキーボード３１及びマウス３２等を操作して入力することで行うことができる。

【0049】

アンテ ナ位置設定部２６は、自船４におけるＧＮＳＳアンテナの位置（アンテナ位置）を設定することができる。このアンテナ位置は、例えば、制御の基準として図２ に示すように自船４に設定される基準点４ａを基準とした、船の長さ方向、幅方向、及び上下方向での位置とすることができる。この基準点４ａは様々に定める ことができるが、本実施形態では、自船４の船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置に定められている。アンテナ位置の設定は、上記 の撮影位置と同様に、例えば実際の計測値を入力することで行うことができる。

【0050】

図１の視点設定部２７は、後述の合成映像生成部２０により生成される映像の視点を、ユーザが例えばキーボード３１及びマウス３２を操作することにより設定することができる。

【0051】

表示設定部２８は、後述の合成映像生成部２０により生成される映像における付加表示情報の表示の有無等を設定することができる。表示設定部２８に対する設定は、ユーザが例えばキーボード３１及びマウス３２を操作することにより行うことができる。

【0052】

位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、及び表示設定部２８は、取得し、記憶し、又は設定された情報を、合成映像生成部２０に出力する。

【0053】

合成映像生成部２０は、撮影映像入力部２１に入力されたカメラ３の撮影映像に３次元コンピュータグラフィックスを合成することにより、拡張現実を表現する映像を生成する。この合成映像生成部２０は、３次元シーン生成部２２と、データ合成部２３と、を備える。

【0054】

３次元シーン生成部２２は、図４に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置すること により、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）４８が生成される。なお、 ３次元シーンの詳細は後述する。

【0055】

図１のデータ合成部２３は、３次元シーン生成部２２が生成した３次元シーンデータ４８を 描画することで付加表示情報を３次元的に表現する図形を生成するとともに、図６に示す合成映像、即ち、当該図形４１ｆ，４２ｆ，・・・とカメラ３の撮影映 像とを合成した映像を出力する処理を行う。図６に示すように、この合成画像では、カメラ３で撮影された映像（図では説明の都合により破線で示されている） の海面に、付加表示情報を示す図形４１ｆ，４２ｆ，・・・が載置されるように重ねられている。データ合成部２３は、生成された合成映像をディスプレイ２に 出力する。なお、図形の生成処理及びデータ合成処理の詳細は後述する。

【0056】

図１の物標位置推測部３５は、付加表示情報を表示 する対象となる適宜の物標のうち、移動する物標（例えば、図３の他船４４）について、現在の位置を、直近に得られた付加表示情報から推測する。また、物標 向き推測部３６は、上記の移動する物標について、現在の向きを、直近に得られた付加表示情報から推測する。物標位置推測部３５及び物標向き推測部３６によ る推測結果は、３次元シーン生成部２２が図４に示すように仮想現実オブジェクト４４ｖを３次元仮想空間４０に配置する位置及び向きとして用いられる。な お、この推測処理の詳細は後述する。

【0057】

映像更新部３７は、物標位置推測部３５及び物標向き推測部３６による推測結果に基づ いて、３次元シーンにおける物標の位置及び向きを更新するための情報（以下、更新情報と呼ぶことがある。）を合成映像生成部２０に入力する。合成映像生成 部２０の３次元シーン生成部２２は、入力された更新情報に基づいて、３次元シーンを更新する。合成映像生成部２０のデータ合成部２３は、更新された３次元 シーンに基づいて、合成映像を更新する。

【0058】

次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。図３は、映像生成装置１において表示の対象となる付加表示情報の例を説明する概念図である。

【0059】

付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、映像生成装置１に接続される船舶機器の目的及び機能に応じて様々なものが考 えられる。例示すると、ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情報（例えば、他船の位置及び向き、ブイの位置、仮想ブイの位置等）を付加表示情 報とすることができる。ＥＣＤＩＳ１０に関しては、電子海図に含まれる危険海域、航海禁止領域、灯台、ブイ等の位置を付加表示情報とすることができる。プ ロッタ１１に関しては、記録される自船４の軌跡、設定された予定航路、ウェイポイント、到着エリア、立寄エリアの位置等を付加表示情報とすることができ る。レーダ装置１２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ソナー１３に関しては、探知された魚群の位置を付加表 示情報とすることができる。これらの情報は、船舶機器から映像生成装置１にリアルタイムで入力される。付加表示情報取得部１７は、入力されるそれぞれの付 加表示情報に対し、それを一意に特定して管理するための識別情報（例えば、識別番号）を付与する。

【0060】

図３には、自船４の周 囲に位置している付加表示情報の例が示されている。図３において、海面上（水面上）には、目的地を示すウェイポイント４１，４１と、目的地までの予定航路 を示す折れ線状のルート線４２と、が定められている。また、ルート線４２の近傍には、多角形状（矩形状）の立寄エリア４３が定められる。ウェイポイント ４１、ルート線４２、及び立寄エリア４３は、ユーザが予めプロッタ１１を適宜操作し、各地点の位置を指定することにより設定される。

【0061】

また、図３の例では、自船４の前方にやや離れた地点で他船４４が自船４の右方へ向けて航行中であり、自船４の左斜め前の近くには仮想ブイ４５があること が、ＡＩＳ受信機９が取得したＡＩＳ情報により検出されている。なお、仮想ブイとは、設置が困難である等の事情により実際に海上に設けられていないが、ナ ビゲーション装置の画面には標識として表示される、仮想の（実体を持たない）ブイを意味する。

【0062】

それぞれの付加表示情報に は、少なくとも、それが配置される海面（水面）における１又は複数の地点の位置（緯度及び経度）を示す情報が含まれている。例えば、ルート線４２を示す付 加表示情報には、折れ線の屈曲部となる２箇所の地点の位置の情報が含まれている（屈曲部の地点の位置は、ウェイポイント４１の位置と一致する）。立寄エリ ア４３の付加表示情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれている。また、他船４４を示す付加表示情報には、当該他船４４の位置、 船首方位、速度、回頭角速度、船の長さ、幅等を示す情報が含まれている。

【0063】

次に、３次元シーン生成部２２による３次元シー ンの構築、及び、データ合成部２３による映像の合成について、図４を参照して詳細に説明する。図４は、３次元仮想空間４０に仮想現実オブジェクト ４１ｖ，４２ｖ，・・・を配置して生成される３次元シーンデータ４８と、当該３次元仮想空間４０に配置される映写スクリーン５１と、を説明する概念図であ る。

【0064】

３次元シーン生成部２２によって仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される３次元仮想空間４０は、図 ４に示すように、自船４の適宜の基準位置（例えば、上述の基準点４ａ）を原点とする直交座標系で構成され、水平な面であるｘｚ平面が海面（水面）を模擬す るように設定されている。図４の例では、座標軸は、＋ｚ方向が常に船首方位と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。この３ 次元仮想空間４０内の各地点（座標）は、自船４の周囲の現実の位置に対応するように設定される。

【0065】

図４には、図３に示す自 船４の周囲の状況を表現するために、仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖを３次元仮想空間４０内に配置した例が示されている。各 仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖは、船首方位を基準として、それが表す付加表示情報の自船４に対する相対位置を反映させるよ うに、ｘｚ平面に接するように配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される位置を決定するにあたっては、図１に示すアン テナ位置設定部２６で設定されたＧＮＳＳアンテナの位置を用いた計算が行われる。

【0066】

他船４４を示す仮想現実オブジェクト４４ｖは、船舶の形状を有しており、記憶部１８に予め記憶されている大型の船のモデルのテンプレートを利用して表現される。また、当該モデルの向きは、ＡＩＳ情報で取得した他船４４の向きを示すように配置されている。

【0067】

仮想ブイ４５を示す仮想現実オブジェクト４５ｖも、他船４４の仮想現実オブジェクト４４ｖと同様に、記憶部１８に予め記憶されているブイのモデルのテンプレートを利用して表現される。

【0068】

ウェイポイント４１の仮想現実オブジェクト４１ｖは、薄い円板状の３次元形状で表現されている。ルート線４２の仮想現実オブジェクト４２ｖは、一定の厚み 及び幅を有する細長い板を折れ線状に屈曲させた３次元形状で表現されている。立寄エリア４３の仮想現実オブジェクト４３ｖは、立寄エリア４３の輪郭を有す る一定の厚みの板のような３次元形状で表現されている。これらの仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖについては、モデルのテンプレートを使用せず に、３次元形状がその都度作成される。

【0069】

３次元シーン生成部２２は、上記のようにして、３次元シーンデータ４８を生成す る。図４の例では、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が自船４の位置を原点とした方位基準で配置されるので、図３の状態から自船４の位置（東西 方向及び南北方向での位置）が変化したり、回頭等により船首方位が変化したりすると、当該仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置した新しい ３次元シーンが構築されて、３次元シーンデータ４８が更新される。また、例えば図３の状態から他船４４が移動する等して付加表示情報の内容が変更される と、最新の付加表示情報を反映するように３次元シーンデータ４８が更新される。

【0070】

その後、データ合成部２３は、３次元仮想 空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。この映写スクリーン５１と仮想現実オブジェクト ４１ｖ，４２ｖ，・・・の両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実現することができる。

【0071】

データ合成部２３は、自船４に搭載されるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレートするとともに、映写スクリーン５１を、当該カメ ラ３に正対するように配置する。カメラ３の位置のシミュレートに関し、船体を基準とするカメラ３の位置は、図１に示す撮影位置設定部２５の設定値に基づい て得ることができる。

【0072】

カメラ３の位置及び向きのシミュレートにあたっては、上述したカメラ３のパン／チルト動作による向 きの変化が考慮される。更に、当該シミュレートは、位置取得部１５及び姿勢取得部１６が取得した位置情報及び姿勢情報に基づき、船舶４の姿勢の変化及び高 さの変化によるカメラ３の位置及び向きの変動が反映されるように行われる。データ合成部２３は、カメラ３の位置及び向きの変化に連動して、３次元仮想空間 ４０に配置される映写スクリーン５１の位置及び向きを変化させる。

【0073】

そして、データ合成部２３は、３次元シーンデータ４８ 及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。より具体的には、データ合成部２３は、３次元仮想空間 ４０に仮想カメラとしての視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当該視点カメラ５５を頂点とし、そ の視線方向が中心軸となるように定義する。続いて、データ合成部２３は、各オブジェクト（仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び映写スクリーン ５１）を構成するポリゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ２での合成映像の表示領域に相当す る２次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うこ とにより、２次元の画像を生成する。

【0074】

このようにして生成された２次元の画像には、３次元シーンデータ４８の描画が行われ ることにより得られた図形（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，・・・のレンダリング結果としての図形）が含まれる。また、２次元の画像 の生成過程において、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部２３による 映像の合成が実現される。映写スクリーン５１は、カメラ３を中心とする球殻に沿うように湾曲した形状となっているので、透視投影による撮影映像の歪みを防 止することができる。

【0075】

視点カメラ５５は合成映像の視点を定めるものであり、その位置及び向きは、上述の視点設定部２７の 設定により定められる。ただし、視点設定部２７において特別に設定することにより、データ合成部２３は、合成映像を生成するときのモードとして、視点カメ ラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に変化するモードとすることができる（視点追従モード）。この視点追従モード では、視点カメラ５５の視野全体が常に映写スクリーン５１（即ち、カメラ３の撮影映像）で覆われることになるので、臨場感のある合成映像を実現することが できる。

【0076】

一方、データ合成部２３は、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと無関係に、適宜の入力装 置の操作によって視点設定部２７に設定された視点に従うモードとすることもできる（独立視点モード）。この入力装置としては、例えば、キーボード３１、マ ウス３２、図示しないタッチパネル、ジョイスティック等とすることが考えられる。この独立視点モードでは、ユーザは、視点を自由に動かして、カメラ３の撮 影視野から外れた位置にある付加表示情報を確認することができる。

【0077】

次に、カメラ３で撮影した映像と合成映像との関係を、例を参照して説明する。図５は、カメラ３による撮影映像の例を示す図である。図６は、データ合成部２３が出力する合成映像を示す図である。

【0078】

図５には、図３に示す状況において、自船４のカメラ３が撮影した映像の例が示されている。この撮影映像には、海面に浮かぶ他船４４ｒが写っている。また、映像の下部中央には、自船４の船首部分が写っている。

【0079】

仮想ブイ４５は上述のとおり仮想的なものであるので、図５に示すとおり、カメラ３に写ることはない。ウェイポイント４１、ルート線４２及び立寄エリア４３も、プロッタ１１での設定により作成されるものであるので、カメラ３による撮影映像には現れない。

【0080】

そして、図５に示す撮影映像に対し、図４の３次元シーンデータ４８のレンダリングによる上記の２次元の画像を合成した結果が、図６に示されている。ただ し、図６では、カメラ３による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている（これは、合成映像を表す他 の図においても同様である）。図６の合成映像では、付加表示情報を表現する図形４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆが、当該撮影映像に重なるように配 置されている。他船を表す図形４４ｆは、撮影映像における他船４４ｒの位置にほぼ重なるように配置されている。

【0081】

上記の図 形４１ｆ，４２ｆ，・・・は、図４に示す３次元シーンデータ４８を構成する仮想現実オブジェクト４１ｖ，４２ｖ，・・・の３次元形状を、カメラ３と同じ位 置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像に対して図形４１ｆ，４２ｆ，・・・を重ねた場合でも、見た目の違 和感が殆ど生じないようにすることができる。

【0082】

図６に示すように、付加表示情報を仮想現実的に表現する図形 ４１ｆ，４２ｆ，・・・は、撮影映像の海面にあたかも置かれるかのように、合成映像上に配置されている。別の言い方をすれば、付加表示情報を仮想現実的に 表現する図形４１ｆ，４２ｆ，・・・は、撮影映像の水面に沿って配置されている。これは、図４に示す仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、撮影 位置設定部２５（図１を参照）で設定された高さに基づいて計算された距離だけカメラ３に対して下方に位置しているｘｚ平面に接するように配置するととも に、映写スクリーン５１の位置を、カメラ３の位置及び向きを考慮して正しく配置することにより実現される。

【0083】

次に、自船４の揺れに伴う合成映像の変化について説明する。図７は、図４の状態から船舶４がピッチ方向及びロール方向に揺動した場合を示す概念図である。図８は、図７の場合の合成映像を示す図である。

【0084】

上述したとおり、カメラ３は自船４に取り付けられているので、その位置及び向きは、自船４の姿勢が波等により傾いたり、自船４が波に乗り上げたりすること に伴って変化する。本実施形態において、データ合成部２３は、自船４に揺れ（ピッチング、ローリング及びヒービング）が生じた場合、姿勢取得部１６が取得 した自船４の姿勢の変化、及び、位置取得部１５が取得した自船４の位置の上下方向の変化をシミュレートするように、３次元仮想空間４０におけるカメラ３の 位置及び向きを変更し、それに伴って映写スクリーン５１の位置を変更する。

【0085】

図７には、図４の状態から自船４の姿勢がピッ チ方向及びロール方向に変化したときの様子が示されている。図７の例では、自船４は前下がりかつ左下がりとなるように傾いており、それを反映するように、 カメラ３の位置及び向きが変化する。これに連動して、映写スクリーン５１は、そのように位置及び向きが変化したカメラ３に正対するように移動する。

【0086】

図７の例では、上述の視点追従モードにより、視点カメラ５５の位置及び向きも、上記のように位置及び向きが変化したカメラ３に追従するように変化する。図 ７に対応する合成映像の例が図８に示され、この図に示すように、自船４の揺れに伴ってカメラ３の位置及び向きが異なっても、それに連動して映写スクリーン ５１の位置及び向きが変化するとともに、３次元シーンをレンダリングする視点カメラ５５の位置及び向きが変化するので、違和感のない合成映像を継続的に得 ることができる。

【0087】

視点追従モードでは、自船４の揺れによってピッチ角又はロール角が所定値以上変化する毎に、データ合成 部２３での３次元シーンデータ４８の描画が更新され、最新の視点に基づく図形４１ｆ，４２ｆ，・・・が生成される。従って、海面が現れる向きが自船４の揺 れにより変化するカメラ３の撮影映像に対し、図形４１ｆ，４２ｆ，・・・の表示を、当該海面に置かれた状態を維持するように適切に変化させることができ る。

【0088】

これにより、仮想の物体があたかも海面に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることが できる。また、ユーザは、ディスプレイ２に映し出された海面を眺めることで、仮想現実を表す図形４１ｆ，４２ｆ，・・・が網羅的に視界に入るので、取りこ ぼしなく必要な情報を得ることができる。

【0089】

次に、移動する物標に関する仮想現実オブジェクト（例えば、他船の仮想現実オブジェクト４４ｖ）の３次元仮想空間４０への配置に関して行われる、物標位置推測部３５及び物標向き推測部３６の処理について説明する。

【0090】

上記の例で、仮想現実オブジェクト４４ｖが示す他船４４の情報は、ＡＩＳ受信機９によって受信される。即ち、他船４４はＡＩＳ物標であるということができ る。ＡＩＳ受信機９はＡＩＳ情報を受信する毎に、当該情報をリアルタイムで映像生成装置１に出力する。しかしながら、他船４４が自らの位置等をＡＩＳ情報 として送信する間隔は、状況によっても変動するが例えば１０秒に１回程度ということがあり、情報の更新頻度は高くない。

【0091】

従って、仮に、３次元シーンデータ４８を構成する仮想現実オブジェクト４４ｖの位置及び向きを、映像生成装置１がＡＩＳ情報を取得したタイミングのみで更 新することとする場合、合成映像において他船を示す図形４４ｆの動きが不連続で粗くなり、違和感が生じるおそれがある。

【0092】

この点、本実施形態の映像生成装置１は、物標位置推測部３５、物標向き推測部３６及び映像更新部３７を備える。物標位置推測部３５及び物標向き推測部３６ は、前記他船４４に関して、直近に得られた付加表示情報（ＡＩＳ情報）に基づいて、当該付加表示情報の取得時よりも新しいタイミングでの他船４４の位置及 び向きを推測する。そして、映像更新部３７は、合成映像生成部２０に、仮想現実オブジェクト４４ｖの位置及び向きについて、上記の推測による結果を反映さ せるように合成映像を更新させる。

【0093】

以下、図９を参照して具体的に説明する。図９は、ＡＩＳ情報に基づく他船４４の付加表示情報に関し、３次元仮想空間４０に船舶の仮想現実オブジェクト４４ｖが配置される位置及び向きが更新される様子を示す概念図である。

【0094】

図９には、３次元シーン生成部２２が３次元シーンを構築する３次元仮想空間４０が示されている。ある時刻（このときの時刻をｔ＝０とする）に、ＡＩＳ受信 機９が他船４４からＡＩＳ情報を受信し、これに基づいて、映像生成装置１の付加表示情報取得部１７が、当該他船４４の位置、速度、船首方位及び回頭角速度 を取得したとする。３次元シーン生成部２２は、この結果に基づいて、得られた位置及び船首方位に対応する位置及び向きで、仮想現実オブジェクト４４ｖを配 置する。

【0095】

その後も、映像生成装置１は、付加表示情報取得部１７が新しいＡＩＳ情報を取得するのを待機する。しかしなが ら、ＡＩＳ情報の受信が一定時間（例えば、３秒間）受信されなかった場合には、物標位置推測部３５及び物標向き推測部３６が、その時点での他船４４の位置 及び船首方位を推測し、映像更新部３７が、その推測結果に基づいて合成映像生成部２０に合成映像を更新させる。即ち、映像更新部３７は、３次元シーン生成 部２２に、他船４４の位置及び船首方位に関する上記の推測結果に基づいて仮想現実オブジェクト４４ｖを再配置する形で３次元シーンを更新させるとともに、 データ合成部２３に、新しい３次元シーンを撮影映像に合成させる。この推測は、ｔ＝０のときに得られた他船４４の位置、船首方位を基準とし、同じく得られ た速度と回頭角速度を用いて、公知の式で計算することで得ることができる。これにより、ｔ＝３のタイミングにおいても、仮想現実オブジェクト４４ｖの位置 及び向きを更新することができる。

【0096】

図９の例では、物標位置推測部３５及び物標向き推測部３６による位置及び向きの推測は、３秒が経過する毎に行われる。これにより、ｔ＝６及びｔ＝９のタイミングにおいても、仮想現実オブジェクト４４ｖの位置及び向きが、推測に基づいて更新される。

【0097】

前回のＡＩＳ情報の受信から１０秒が経過したｔ＝１０のタイミングで、ＡＩＳ受信機９が当該他船４４から新しいＡＩＳ情報を受信したとする。この場合、３ 次元シーン生成部２２は直ちに、得られた位置及び船首方位となるように、仮想現実オブジェクト４４ｖの位置及び向きを更新する。

【0098】

その後も、物標位置推測部３５及び物標向き推測部３６による位置及び向きの推測は、３秒が経過する毎に行われる。従って、ｔ＝１３のタイミングでは、仮想現実オブジェクト４４ｖの位置及び向きが、推測に基づいて更新される。

【0099】

このように構成することで、他船４４の位置を示す付加表示情報の取得時間間隔が長い場合でも、当該他船４４の位置及び船首方位を推測して仮想現実オブジェ クト４４ｖの位置及び向きを更新することで、合成映像における図形４４ｆの表示を、比較的短い時間間隔で更新することができる。これにより、合成映像にお ける拡張現実的な表現を、滑らかな動きで実現することができる。

【0100】

図９の例では、３秒毎に他船４４の位置及び船首方位を推 測して仮想現実オブジェクト４４ｖの位置及び向きを更新しているが、推測による位置等の更新の間隔は、３秒に限らず、１秒、２秒、２．５秒、５秒等、任意 に定めることができる。また、位置等の更新を行う時間間隔は、上記のように等しい時間間隔で行うことに代えて、不等な時間間隔で行われてもよい。

【0101】

なお、このような位置及び向きの推測により仮想現実オブジェクト４４ｖの位置及び向きを更新する処理は、ＡＩＳ情報に基づく他船４４だけではなく、例えば レーダ装置１２が探知した他船（ＴＴ物標としての他船）に対しても効果的である。即ち、レーダ装置１２におけるレーダ映像は、レーダアンテナが１回転する まで更新されないため、ＴＴ情報の更新頻度は必ずしも高くない。従って、上記のように位置及び向きを推測して仮想現実オブジェクトの位置及び向きを細かく 更新することで、合成映像での動きの粗さを軽減し、現実感を良好に高めることができる。

【0102】

以上に説明したように、本実施形 態の映像生成装置１は、撮影映像入力部２１と、位置取得部１５と、姿勢取得部１６と、付加表示情報取得部１７と、合成映像生成部２０と、物標位置推測部 ３５と、映像更新部３７と、を備える。撮影映像入力部２１は、船舶（自船）４に設置されるカメラ３が撮影した撮影映像を入力する。位置取得部１５は、自船 ４の位置を示す位置情報を取得する。姿勢取得部１６は、自船４の姿勢を示す姿勢情報を取得する。付加表示情報取得部１７は、物標である他船４４の位置を示 す情報を含む付加表示情報を取得する。合成映像生成部２０は、前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、付加表示情報を示す３次元の仮 想現実オブジェクト４４ｖを描画した図形４４ｆをカメラ３の撮影映像に合成した合成映像を生成する。物標位置推測部３５は、物標である他船４４に関して、 前記付加表示情報が直近に取得されたタイミングより新しいタイミングでの当該他船４４の位置を、前記付加表示情報に含まれる他船４４の速度に基づいて推測 する。映像更新部３７は、物標位置推測部３５による推測の結果に基づいて、合成映像生成部２０に、合成映像における当該他船４４の仮想現実オブジェクト ４４ｖの描画（即ち、図形４４ｆ）を更新させる。

【0103】

これにより、物標（本実施形態では、他船４４）の位置を示す付加表示情 報の取得時間間隔が長い場合でも、他船４４の位置を適宜のタイミングで推測することで、仮想現実オブジェクト４４ｖを描画した図形４４ｆを更新することが できる。よって、滑らかな動きの仮想現実的映像を実現することが可能となる。

【0104】

また、本実施形態の映像生成装置１は、物標 向き推測部３６を備える。この物標向き推測部３６は、他船４４に関してＡＩＳ情報が取得されてから次のＡＩＳ情報が取得されるまでの間の当該他船４４の船 首方位を、付加表示情報に含まれる他船４４の回頭角速度に基づいて推測する。映像更新部３７は、物標向き推測部３６による推測の結果に基づいて、合成映像 生成部２０に、合成映像における当該他船４４の仮想現実オブジェクト４４ｖの描画（即ち、図形４４ｆ）を更新させる。

【0105】

これにより、物標（本実施形態では、他船４４）の向きを位置と同様に推測することで、仮想現実オブジェクト４４ｖを描画した図形４４ｆを更新することができる。従って、より自然な映像の動きを実現することができる。

【0106】

また、本実施形態の映像生成装置１においては、合成映像生成部２０は、船舶の形状の仮想現実オブジェクト４４ｖを描画した図形４４ｆを、カメラ３の撮影画像に合成可能である。

【0107】

これにより、周囲の船舶の動静を、船舶の３次元コンピュータグラフィックスの滑らかな動きで表現することができる。

【0108】

また、本実施形態の映像生成装置１においては、前記付加表示情報には、ＡＩＳ受信機９で受信されたＡＩＳ情報が含まれる。

【0109】

これにより、他船４４が、情報の更新頻度が低くなることが多いＡＩＳ情報に基づくものであった場合でも、滑らかな動きの仮想現実的映像を実現することができる。

【0110】

また、本実施形態の映像生成装置１においては、前記付加表示情報には、レーダ装置１２で取得されたレーダ映像の推移に基づいて取得された他船の位置及び速度の情報が含まれる。

【0111】

これにより、他船が、レーダアンテナが１回転するまで物標の位置等の情報を更新できないレーダ装置１２からの情報に基づくものであった場合でも、滑らかな動きの仮想現実的表示を実現することができる。

【0112】

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

【0113】

３次元シーン生成部２２が、移動する物標の位置及び向きのうち、位置だけについて推測を行う（向きの推測を行わない）ように構成してもよい。

【0114】

付加表示情報は上述のとおり様々であるので、付加表示情報に物標の速度の情報が含まれていない場合も考えられる。この場合、物標位置推測部３５は、例えば 付加表示情報に含まれる物標の位置の推移から速度を推定し、これに基づいて物標の位置を推測することが考えられる。このように、物標位置推測部３５は、付 加表示情報に含まれる物標の速度ではなく、付加表示情報から推定される物標の速度を用いて、物標の位置を推測してもよい。

【0115】

上記と同様に、付加表示情報に物標の向きの角速度の情報が含まれていない場合も考えられる。この場合、物標向き推測部３６は、例えば付加表示情報に含まれ る物標の向きの推移から角速度を推定し、これに基づいて物標の向きを推測することが考えられる。このように、物標向き推測部３６は、付加表示情報に含まれ る物標の向きの角速度ではなく、付加表示情報から推定される物標の向きの角速度を用いて、物標の向きを推測してもよい。

【0116】

データ合成部２３において、３次元シーンデータ４８と、映写スクリーン５１と、を同時にレンダリングしないように構成してもよい。即ち、データ合成部２３ が、３次元シーンデータ４８だけのレンダリング結果である２次元の映像（図形４１ｆ，４２ｆ，・・・の映像）と、映写スクリーン５１だけのレンダリング結 果である２次元の映像（撮影映像が映写スクリーン５１に貼り付けられた映像）と、を別々に作成して、その後に２次元の映像同士を合成する構成としてもよ い。この場合、３次元シーンデータ４８のレンダリング処理は自船４の移動等に応じて随時行う一方、映写スクリーン５１のレンダリング処理はカメラ３による 映像のフレームレートに応じた短い時間間隔で行うようにすることができる。

【0117】

カメラ３において、上記のパン／チルト機能を省略し、撮影方向が例えば前方で固定されるように構成されてもよい。また、カメラ３が前方以外の方向（例えば、後方）を撮影するように配置されてもよい。

【0118】

カメラ３を、自船４の周囲を３６０度の全方位にわたって同時撮影が可能な構成としてもよい。

【0119】

ユーザが視点カメラ５５の向きを変更する操作を行ったときに、それに追従するようにカメラ３のパン／チルト動作が自動的に行われてもよい。

【0120】

３次元シーン生成部２２が３次元シーンデータ４８を生成するにあたって、上記の実施形態では、図４で説明したように、仮想現実オブジェクト ４１ｖ，４２ｖ，・・・が自船４の位置を原点とした船首基準で配置されている。しかしながら、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、船首基準で はなく、＋ｚ方向が常に真北となる真北基準で配置してもよい。この場合、回頭等によって自船４の船首方位が変化したときは、仮想現実オブジェクト ４１ｖ，４２ｖ，・・・を再配置する代わりに、３次元仮想空間４０での自船４の向きをヨー方向に変化させることになる。そして、このときのカメラ３の位置 及び向きの変化を３次元仮想空間４０においてシミュレートするとともに、これに連動して視点カメラ５５の位置及び向きを変更してレンダリングを行うこと で、上述の船首基準の場合と全く同じレンダリング結果を得ることができる。

【0121】

また、３次元仮想空間４０の座標系は、自船４ の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真東となるように定められてもよい。この 場合、地球に固定された座標系の３次元仮想空間４０において、自船４が配置される位置及び向きが位置情報及び姿勢情報に基づいて変化し、これに伴うカメラ ３の位置及び向きの変化が３次元仮想空間４０においてシミュレートされることになる。

【0122】

映像生成装置１において、自船４の揺れに伴う合成映像の揺れを軽減する処理が行われてもよい。例えば、３次元シーン生成部２２において、自船４が揺れても視点カメラ５５の位置及び向きの変動を抑制するようにすることが考えられる。

【0123】

付加表示情報に基づいて仮想現実オブジェクト４４ｖが配置される場合と、物標位置推測部３５及び物標向き推測部３６が推測した結果に基づいて仮想現実オブ ジェクト４４ｖが配置される場合とで、合成映像における図形４４ｆの表示の態様を異ならせてもよい。例えば、図形４４ｆの近くに、位置及び向きが推測に基 づくことを示すマークを表示することが考えられる。

【0124】

映像生成装置１に接続される船舶機器（付加表示情報の情報源）は、図１で説明したものに限るものではなく、その他の船舶機器が含まれていてもよい。

【0125】

本発明は、海上を航行する船舶に限らず、例えば、海、湖、又は河川等を航行可能な任意の水上移動体に適用することができる。

【0126】

前述のように、撮影装置が撮影した映像に図形等を重ねて表示する際に、図１０と図１１のように、方位を示す目盛画像等のような付加情報９１ａ、９１ｂを同時に表示することで、限られた表示領域を有効に活用することができる。このとき、当該図形が付加情報によってできる限り隠れないように、自動的に、付加情報の位置が変更や移動をするような構成にしてもよい。また、船体の傾きに応じて、付加情報９１ａ、９１ｂが傾くような表示としてもよい。このような表示をすることで、船体が傾いている状況でも常に正確な付加情報を視認することができる。

【0127】

本発明の実施形態において行う処理を、図１２のフローチャートを参照して説明する。本実施形態では、水上移動体に設置される撮影装置が撮影した撮影映像を入力し（Ｓ１０１）、前記水上移動体の位置を示す位置情報を取得し（Ｓ１０２）、前記水上移動体の姿勢を示す姿勢情報を取得し（Ｓ１０３）、物標の位置を示す情報を含む付加表示情報を取得し（Ｓ１０４）、前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報を示す３次元の仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成し（Ｓ１０５）、物標に関して、前記付加表示情報が直近に取得されたタイミングより新しいタイミングでの当該物標の位置を、前記付加表示情報に含まれる物標の速度又は前記付加表示情報から推定される物標の速度に基づいて推測し（Ｓ１０６）、前記推測された物標の速度に基づいて、前記合成映像における当該物標の仮想現実オブジェクトの描画を更新する（Ｓ１０７）ことで、前述の課題を解決する。

【符号の説明】

【0128】

１ 映像生成装置
３ カメラ（撮影装置）
４ 船舶（水上移動体）
１５ 位置取得部
１６ 姿勢取得部
１７ 付加表示情報取得部
２０ 合成映像生成部
３５ 物標位置推測部
３６ 物標向き推測部
３７ 映像更新部
４４ 他船（物標）
４４ｖ 仮想現実オブジェクト
４４ｆ 図形

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】