特許 6857546 映像生成装置及び映像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6857546

(24)【登録日】2021年3月24日

(45)【発行日】2021年4月14日

(54)【発明の名称】映像生成装置及び映像生成方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210405BHJP

   G06T 15/00 20110101ALI20210405BHJP

   G06T 3/00 20060101ALI20210405BHJP

   H04N 5/232 20060101ALI20210405BHJP

【ＦＩ】

   G06T19/00 600

   G06T15/00 501

   G06T3/00 710

   H04N5/232 290

【請求項の数】8

【全頁数】23

(21)【出願番号】特願2017-103149(P2017-103149)

(22)【出願日】2017年5月24日

(65)【公開番号】特開2020-144399(P2020-144399A)

(43)【公開日】2020年9月10日

【審査請求日】2020年4月15日

(73)【特許権者】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(74)【代理人】

【識別番号】100118784

【弁理士】

【氏名又は名称】桂川 直己

(72)【発明者】

【氏名】西山 浩二

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開平０６−３０１８９７（ＪＰ，Ａ）

【文献】 特開２０１５−２１５２７８（ＪＰ，Ａ）

【文献】 特開平０８−０８７２３２（ＪＰ，Ａ）

【文献】 特開２０１０−００３２７４（ＪＰ，Ａ）

【文献】 特開２０１１−２２７８６４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／００

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ５／２３２

Ｇ０８Ｇ ３／００ − ３／０２

Ｇ０１Ｃ ２１／００ − ２１／３６

(57)【特許請求の範囲】

【請求項1】

水上移動体に設置される撮影装置が撮影した撮影映像を入力する撮影映像入力部と、
前記水上移動体の位置を示す位置情報を取得する位置取得部と、
前記水上移動体の姿勢を示す姿勢情報を取得する姿勢取得部と、
１又は複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、
前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置し、前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成し、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換し、前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する合成映像生成部と、
を備えることを特徴とする映像生成装置。

【請求項2】

請求項１に記載の映像生成装置であって、
前記合成映像生成部は、前記姿勢情報が変化した場合に、前記３次元仮想空間における前記映写スクリーン及び前記仮想カメラの位置及び向きを、前記撮影装置の位置及び向きの変化に対応するように移動させることを特徴とする映像生成装置。

【請求項3】

請求項１又は２に記載の映像生成装置であって、
作成される前記メッシュの歪む方向及び歪み量の少なくとも何れかを変更可能に構成されていることを特徴とする映像生成装置。

【請求項4】

請求項１から３までの何れか一項に記載の映像生成装置であって、
前記メッシュは、前記３次元仮想空間において湾曲状に配置されることを特徴とする映像生成装置。

【請求項5】

請求項１から４までの何れか一項に記載の映像生成装置であって、
前記付加表示情報には、他の水上移動体、ランドマーク、予定航路、航路軌跡、ウェイポイント、立寄地、到着地、魚群が探知された海域、危険海域、航海禁止領域、ブイ、及び仮想ブイのうち少なくとも何れかが含まれることを特徴とする映像生成装置。

【請求項6】

請求項１から５までの何れか一項に記載の映像生成装置であって、
前記付加表示情報が示す地点と前記水上移動体との間の距離に応じて、当該付加表示情報に対応して表示される前記図形の色を異ならせることを特徴とする映像生成装置。

【請求項7】

請求項１から６までの何れか一項に記載の映像生成装置であって、
前記水上移動体に設置されたディスプレイ、携帯型コンピュータ、及びヘッドマウントディスプレイのうちの少なくとも何れかに対して前記合成映像を出力可能であることを特徴とする映像生成装置。

【請求項8】

水上移動体に設置される撮影装置が撮影した撮影映像を入力し、
前記水上移動体の位置を示す位置情報を取得し、
前記水上移動体の姿勢を示す姿勢情報を取得し、
１又は複数の地点の位置を示す情報を含む付加表示情報を取得し、
前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置し、前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成し、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換し、前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成することを特徴とする映像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像生成装置及び映像生成方法に関する。詳細には、水上移動体の周囲の様子を表示する映像を生成するための映像生成装置及び映像生成方法に関する。

【背景技術】

【0002】

この種の映像生成装置は、例えば特許文献１に開示されている。この特許文献１の映像生成装置は、カメラと、撮影データ受信部と、位置取得部と、映像生成部と、物標表示物生成部と、ディスプレイと、を備え、カメラからの画像ストリームについてジオリファレンシングを行う構成となっている。

【0003】

特許文献１において、撮影データ受信部は、船舶のカメラが撮影したストリーム画像データを受信する。位置取得部は、当該船舶の周囲の物標（他船等）の位置を取得する。映像生成部は、ストリーム画像データの画像に基づいて、ディスプレイに映し出す映像を生成する。当該映像は、カメラの位置及び視野に対応している。物標表示物生成部は、前記映像上の点に、物標を示す物標表示物を生成する。そして、ディスプレイには、前記映像と、前記映像上の点に配置される前記物標表示物と、が表示される構成となっている。

【0004】

上記の映像生成部は、各点が前記映像上の点に対応し、水上移動体の周囲の環境を示す３次元仮想空間に、前記映像を投影することにより前記映像を生成する。更に、上記の物標表示物生成部は、物標の位置情報と、３次元仮想空間の点のそれぞれと、に基づいて、前記物標表示物を生成する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２０１５／０３５０５５２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、カメラで撮影された映像データには、一般的にレンズ歪みが生じる。とりわけ、船舶の周囲の様子を撮影する場合、広視野の撮影映像を得るために広角レンズを用いることが考えられるが、その場合、映像の歪みが強くなる。そのため、仮に前記映像と前記物標表示物とを単純に合成した合成映像をディスプレイに表示させると、不自然な映像となり、これを見たユーザが違和感を覚えてしまうおそれがある。上記の特許文献１の構成では、このような点で、依然として改善の余地があった。

【0007】

本発明は以上の事情に鑑みてされたものであり、その目的は、視覚的な違和感の少ない高品質な合成映像を効率的に生成して、優れた拡張現実的な表示を実現することにある。

【課題を解決するための手段及び効果】

【0008】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

【0009】

本発明の第１の観点によれば、以下の構成の映像生成装置が提供される。即ち、この映像生成装置は、撮影映像入力部と、位置取得部と、姿勢取得部と、付加表示情報取得部と、合成映像生成部と、を備える。前記撮影映像入力部は、水上移動体に設置される撮影装置が撮影した撮影映像を入力する。前記位置取得部は、前記水上移動体の位置を示す位置情報を取得する。前記姿勢取得部は、前記水上移動体の姿勢を示す姿勢情報を取得する。前記付加表示情報取得部は、１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。前記合成映像生成部は、前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置する。前記合成映像生成部は、前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成する。前記合成映像生成部は、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換する。前記合成映像生成部は、前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置する。以上により、前記合成映像生成部は、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する。

【0010】

これにより、水上移動体の位置及び姿勢に基づいて、付加表示情報の位置等を３次元的に表現する図形を撮影映像に重ねることで、仮想現実的な合成映像を得ることができる。また、撮影映像のレンズ歪みを補正した状態で３次元コンピュータグラフィックスと合成するので、合成時の違和感を少なくすることができる。更に、レンズ歪みと逆方向に歪んだメッシュを３次元仮想空間に配置して、当該メッシュの頂点を仮想スクリーンでの位置に変換し、撮影装置の映像を分割した映像片を対応するメッシュに配置することで、レンズ歪みを適切に補正することができる。また、レンズ歪みの補正を考慮した透視投影を、頂点座標データの段階で頂点シェーダにより行い、その後に撮影映像のラスタデータをピクセルシェーダで配置することにより行うので、ラスタデータの変形処理を１回行うだけで済む。従って、レンズ歪みの補正と透視投影とで撮影映像のラスタデータを変形する処理を個別に行う場合と比較して、映像の画質劣化を防止できるとともに、処理の大幅な高速化を図ることができる。

【0011】

前記の映像生成装置においては、前記姿勢情報の変化に応じて、前記３次元仮想空間における前記仮想カメラの向きを変化させるとともに、前記仮想カメラに映るように前記仮想スクリーンを移動させることが好ましい。

【0012】

これにより、水上移動体が波等により揺れ、撮影装置の位置等が変化した場合に、それに応じて仮想カメラ及び映写スクリーンを移動させることで、簡単な処理で、３次元コンピュータグラフィックスの表示を撮影映像の変化と整合させるように更新することができる。また、仮想カメラと映写スクリーンとが互いに連動することで、例えば合成映像において常に撮影映像が現れるようにする処理も容易に行うことができる。

【0013】

前記の映像生成装置においては、作成される前記メッシュの歪む方向及び歪み量の少なくとも何れかを変更可能に構成されていることが好ましい。

【0014】

これにより、レンズ歪みを補正する向き及び強さを調整することができるので、幅広い撮影装置に対応することができる。

【0015】

前記の映像生成装置においては、前記メッシュは、前記３次元仮想空間において湾曲状に配置されることが好ましい。

【0016】

これにより、合成映像において撮影映像が自然な見え方で現れるようにすることができる。

【0017】

前記の映像生成装置においては、前記付加表示情報には、他の水上移動体、ランドマーク、予定航路、航路軌跡、ウェイポイント、立寄地、到着地、魚群が探知された海域、危険海域、航海禁止領域、ブイ、及び仮想ブイのうちの少なくとも何れかが含まれることが好ましい。

【0018】

これにより、ユーザにとって有益な情報を、位置関係を含めて直感的に把握し易い形で表示することができる。

【0019】

前記の映像生成装置においては、前記付加表示情報が示す地点と前記水上移動体との間の距離に応じて、当該付加表示情報に対応して表示される前記図形の色を異ならせることが好ましい。

【0020】

これにより、例えば、ある水上移動体が近くに存在する場合に、仮想現実オブジェクトを他よりも目立つ色で表示することで、ユーザは状況を適切に理解することができる。

【0021】

前記の映像生成装置は、前記水上移動体に設置されたディスプレイ、携帯型コンピュータ、及びヘッドマウントディスプレイのうちの少なくとも何れかに対して前記合成映像を出力可能であることが好ましい。

【0022】

これにより、合成映像を有効に活用することができる。

【0023】

本発明の第２の観点によれば、以下のような映像生成方法が提供される。即ち、水上移動体に設置される撮影装置が撮影した撮影映像を入力する。前記水上移動体の位置を示す位置情報を取得する。前記水上移動体の姿勢を示す姿勢情報を取得する。１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に仮想カメラを配置し、当該３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置する。前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成する。前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換する。前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する。

【0024】

これにより、水上移動体の位置及び姿勢に基づいて、付加表示情報の位置等を３次元的に表現する図形を撮影映像に重ねることで、仮想現実的な合成映像を得ることができる。また、撮影映像のレンズ歪みを補正した状態で３次元コンピュータグラフィックスと合成するので、合成時の違和感を少なくすることができる。更に、歪んだメッシュを３次元仮想空間に配置して、当該メッシュの頂点を仮想スクリーンでの位置に変換し、撮影装置の映像を分割した映像片を対応するメッシュに配置することで、レンズ歪みを適切に補正することができる。また、レンズ歪みの補正を考慮した透視投影を、頂点座標データの段階で頂点シェーダにより行い、その後に撮影映像のラスタデータをピクセルシェーダで配置することにより行うので、ラスタデータの変形処理を１回行うだけで済む。従って、レンズ歪みの補正と透視投影とで撮影映像のラスタデータを変形する処理を個別に行う場合と比較して、映像の画質劣化を防止できるとともに、処理の大幅な高速化を図ることができる。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態に係る映像生成装置の全体的な構成を示すブロック図。

【図2】船舶に備えられる各種の機器を示す側面図。

【図3】映像生成装置において表示の対象となる付加表示情報の例を説明する概念図。

【図4】３次元仮想空間に仮想現実オブジェクトを配置して構築される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。

【図5】カメラによる撮影映像の例を示す図。

【図6】データ合成部が出力する合成映像を示す図。

【図7】図４の状態から船舶がピッチ方向及びロール方向に揺動した場合を示す概念図。

【図8】図７の場合の合成映像を示す図。

【図9】撮影映像のレンズ歪みを補正する処理の一例としての２次元メッシュ変形を説明する図。

【図10】撮影映像のレンズ歪みの補正と、当該撮影映像及び３次元シーンの透視投影と、を行うためにデータ合成部が行う処理を示すフローチャート。

【図11】図４の状態において、仮想現実オブジェクト及びメッシュの頂点を仮想スクリーンに投影する例を説明する概念図。

【発明を実施するための形態】

【0026】

次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る映像生成装置１の全体的な構成を示すブロック図である。図２は、船舶４に備えられる各種の機器を示す側面図である。

【0027】

図１に示す映像生成装置１は、例えば図２に示すような船舶（水上移動体）４に搭載され、カメラ（撮影装置）３で撮影した映像をベースとして、当該船舶４の周囲の様子を仮想現実的に表現する映像を生成するための装置である。映像生成装置１が生成した映像は、ディスプレイ２に表示される。

【0028】

ディスプレイ２は、例えば、当該船舶４（自船）で操船を行うオペレータが参照する操船支援装置のディスプレイとして構成することができる。ただし、ディスプレイ２は上記に限定されず、例えば、自船４から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、自船４の客室で乗客が鑑賞するためのディスプレイ、或いは乗船者が装着するウェアラブルグラス等のヘッドマウントディスプレイの表示部とすることが可能である。

【0029】

映像生成装置１は、自船４に設置されたカメラ３によって撮影された自船４の周囲の映像と、自船４の周囲の付加表示情報（後に詳述）を仮想現実的に表現する図形と、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。

【0030】

次に、主に図１を参照して、映像生成装置１に電気的に接続されるカメラ３及び各種の船舶機器について説明する。

【0031】

カメラ３は、自船４の周囲を撮影する広角型のビデオカメラとして構成されている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ（映像データ）をリアルタイムで生成して映像生成装置１に出力することができる。図２に示すように、カメラ３は、撮影方向が船体に対して水平前方となるように船舶４に設置される。

【0032】

カメラ３は図略の回転機構を介して船舶４に取り付けられており、パン／チルト動作を指示する信号が映像生成装置１から入力されることにより、その撮影方向を、船舶４の船体を基準として所定の角度範囲で変更することができる。また、自船４の高さ及び姿勢は波等により様々に変化するので、それに伴って、カメラ３の高さが変化するとともに姿勢（撮影方向）も３次元的に変化することになる。

【0033】

本実施形態の映像生成装置１は、上記のカメラ３のほか、船舶機器としてのＧＮＳＳコンパス（方位センサ、姿勢センサ）５、角速度センサ６、ＧＮＳＳ受信機７、加速度センサ８、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等と電気的に接続されている。

【0034】

ＧＮＳＳコンパス５は、自船４に固定された複数のＧＮＳＳアンテナ（測位用アンテナ）を備える。ＧＮＳＳコンパス５は、それぞれのＧＮＳＳアンテナの位置関係を、測位衛星から受信した電波に基づいて算出する。特に、本実施形態のＧＮＳＳコンパス５は、各ＧＮＳＳアンテナが受信した電波の搬送波位相の位相差に基づいてＧＮＳＳアンテナの位置関係を求めるように構成されている（この処理は公知であるので、詳細な説明は省略する）。これにより、自船４の船首方位を精度よく取得することができる。

【0035】

ＧＮＳＳコンパス５は、船舶４の姿勢を３次元的に取得することができる。言い換えれば、ＧＮＳＳコンパス５は、船首方位（即ち、船舶４のヨー角）だけでなく、船舶４のロール角及びピッチ角を検出することができる。ＧＮＳＳコンパス５で取得された自船４の姿勢情報は、映像生成装置１の姿勢取得部１６や、当該姿勢情報を利用する他の船舶機器に出力される。

【0036】

角速度センサ６は、例えば公知の振動ジャイロセンサから構成されており、ＧＮＳＳコンパス５の姿勢検出間隔（例えば、１秒）より短い周期で、船舶４のヨー角速度、ロール角速度及びピッチ角速度を検出することができる。ＧＮＳＳコンパス５が検出した角度と、角速度センサ６が検出した角速度の積分値と、を併用することにより、ＧＮＳＳコンパス５だけを用いる場合よりも短い時間間隔で船舶４の姿勢を取得することができる。また、角速度センサ６は、上述の測位衛星からの電波が例えば橋等の障害物により遮られて、ＧＮＳＳコンパス５による姿勢の検出が不能となっている場合に、姿勢情報を取得するための代替的な手段として機能する。

【0037】

ＧＮＳＳ受信機７は、前記のＧＮＳＳアンテナが測位衛星から受信した電波に基づいて、自船４の位置（詳細には、ＧＮＳＳアンテナの緯度、経度及び高さ）を求める。ＧＮＳＳ受信機７は、得られた位置情報を、映像生成装置１の位置取得部１５や、当該位置情報を利用する他の船舶機器に出力する。

【0038】

加速度センサ８は、例えば公知の静電容量検出型のセンサとして構成されており、ＧＮＳＳ受信機７の位置検出間隔（例えば、１秒）より短い周期で、船舶４のヨー軸、ロール軸及びピッチ軸における加速度を検出することができる。ＧＮＳＳ受信機７が検出した位置と、加速度センサ８が検出した加速度の２重積分値と、を併用することにより、ＧＮＳＳ受信機７だけを用いる場合よりも短い時間間隔で自船４の位置を取得することができる。また、加速度センサ８は、上述の測位衛星からの電波が遮られてＧＮＳＳ受信機７による位置の検出が不能となっている場合に、位置情報を取得するための代替的な手段として機能する。

【0039】

本実施形態では図２に示すように、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８は、ＧＮＳＳコンパス５に内蔵されたものが用いられている。ただし、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８のうち全部又は一部が、ＧＮＳＳコンパス５とは独立して設けられてもよい。

【0040】

ＡＩＳ受信機９は、他船や陸上局等から送信されるＡＩＳ情報を受信するものである。ＡＩＳ情報には、自船４の周囲を航行している他船の位置（緯度・経度）、当該他船の長さ及び幅、当該他船の種類及び識別情報、当該他船の船速、針路及び目的地、並びにランドマークの位置及び識別情報等の、様々な情報が含まれる。

【0041】

ＥＣＤＩＳ１０は、ＧＮＳＳ受信機７から自船４の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、自船４の周囲の情報を映像生成装置１に出力する。

【0042】

プロッタ１１は、ＧＮＳＳ受信機７から自船４の位置を継続して取得することにより、自船４の航行軌跡の情報を生成することができる。また、プロッタ１１は、ユーザに複数のウェイポイント（自船４が通過する予定の地点）を設定させることにより、これらのウェイポイントを順次繋ぐようにして予定航路を生成することができる。

【0043】

レーダ装置１２は、自船４の周囲に存在する他船等の物標を探知することができる。また、このレーダ装置１２は物標を捕捉及び追尾する公知の目標追尾機能（Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ、ＴＴ）を有しており、当該物標の位置及び速度ベクトル（ＴＴ情報）を求めることができる。

【0044】

ソナー１３は、超音波を水中に送信するとともに、その超音波が魚群等で反射した反射波を受信することにより、魚群等を探知する。

【0045】

映像生成装置１は、ユーザが操作するキーボード３１及びマウス３２に接続されている。ユーザは、キーボード３１及びマウス３２を操作することで、映像の生成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作、各種の情報の表示の有無の設定、レンズ歪みの補正に関する設定、合成映像の視点の設定等が含まれる。

【0046】

次に、映像生成装置１の構成について、主に図１を参照して詳細に説明する。

【0047】

図１に示すように、映像生成装置１は、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、歪み補正設定部２９、及び合成映像生成部２０を備える。

【0048】

具体的には、映像生成装置１は公知のコンピュータとして構成され、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、映像生成装置１は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例えばＨＤＤには、本発明の映像生成方法を行うためのソフトウェアが記憶されている。このハードウェアとソフトウェアの協働により、映像生成装置１を、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、歪み補正設定部２９及び合成映像生成部２０等として機能させることができる。

【0049】

撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、合成映像生成部２０（後述のデータ合成部２３）に出力する。

【0050】

位置取得部１５は、ＧＮＳＳ受信機７及び加速度センサ８の検出結果に基づいて、自船４の現在の位置をリアルタイムで取得する。

【0051】

姿勢取得部１６は、ＧＮＳＳコンパス５及び角速度センサ６の検出結果に基づいて、自船４の現在の姿勢をリアルタイムで取得する。

【0052】

付加表示情報取得部１７は、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等が映像生成装置１に出力する情報に基づいて、カメラ３で撮影した映像に対して付加的に表示する情報（付加表示情報）を取得する。この付加表示情報としては様々なものが考えられるが、例えば、自船４の予定航路として図３のように設定されるルート線４２の情報とすることができる。なお、付加表示情報の詳細は後述する。

【0053】

図１の記憶部１８は、各種の情報を記憶するメモリとして構成されている。この記憶部１８は、各種の付加表示情報を表現する仮想現実オブジェクトの３次元形状を、テンプレートとして記憶することができる。記憶部１８が記憶する３次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、灯台等とすることができるが、これに限定されない。

【0054】

撮影位置設定部２５は、自船４におけるカメラ３の位置（撮影位置）、具体的には、船の長さ方向及び幅方向でのカメラ３の位置と、上下方向でのカメラの位置（カメラ３の高さ）と、を設定することができる。カメラ３の高さは、自船４において通常想定される喫水線からの高さとすることができるが、これに限定されず、例えば、船底からの高さとすることができる。この撮影位置の設定は、例えば、ユーザがカメラ３の位置を実際に計測した結果をキーボード３１及びマウス３２等を操作して入力することで行うことができる。

【0055】

アンテナ位置設定部２６は、自船４におけるＧＮＳＳアンテナの位置（アンテナ位置）を設定することができる。このアンテナ位置は、例えば、制御の基準として図２に示すように自船４に設定される基準点４ａを基準とした、船の長さ方向、幅方向、及び上下方向での位置とすることができる。この基準点４ａは様々に定めることができるが、本実施形態では、自船４の船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置に定められている。アンテナ位置の設定は、上記の撮影位置と同様に、例えば実際の計測値を入力することで行うことができる。

【0056】

図１の視点設定部２７は、後述の合成映像生成部２０により生成される映像の視点を、ユーザが例えばキーボード３１及びマウス３２を操作することにより設定することができる。

【0057】

表示設定部２８は、後述の合成映像生成部２０により生成される映像における付加表示情報の表示の有無を設定することができる。これらの設定は、ユーザが例えばキーボード３１及びマウス３２を操作することにより行うことができる。

【0058】

歪み補正設定部２９は、カメラ３による撮影映像に生じるレンズ歪みを補正するために、撮影映像入力部２１から入力される映像をソフトウェア処理によって変形させる方向、及び、変形の度合いの強弱を設定することができる。これにより、映像に生じるレンズ歪みがカメラ３（言い換えれば、カメラ３が使用しているレンズ）に応じて様々に異なるのに対応して適切に補正を行うことができる。この歪み補正に関する設定は、ユーザが例えばキーボード３１及びマウス３２を操作することにより行うことができる。

【0059】

位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、及び歪み補正設定部２９は、取得し、記憶し、又は設定された情報を、合成映像生成部２０に出力する。

【0060】

合成映像生成部２０は、撮影映像入力部２１に入力されたカメラ３の撮影映像に３次元コンピュータグラフィックスを合成することにより、拡張現実を表現する映像を生成する。この合成映像生成部２０は、３次元シーン生成部２２と、データ合成部２３と、を備える。

【0061】

３次元シーン生成部２２は、図４に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置することにより、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）４８が生成される。なお、３次元シーンの詳細は後述する。

【0062】

図１のデータ合成部２３は、３次元シーン生成部２２が生成した３次元シーンデータ４８を描画することで付加表示情報を３次元的に表現する図形を生成するとともに、図６に示す合成映像、即ち、当該図形４１ｆ，４２ｆ，・・・とカメラ３の撮影映像とを合成した映像を出力する処理を行う。図６に示すように、この合成画像では、カメラ３で撮影された映像（図では説明の都合により破線で示されている）の海面に、付加表示情報を示す図形４１ｆ，４２ｆ，・・・が載置されるように重ねられている。データ合成部２３は、生成された合成映像をディスプレイ２に出力する。なお、図形の生成処理及びデータ合成処理の詳細は後述する。

【0063】

次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。図３は、映像生成装置１において表示の対象となる付加表示情報の例を説明する概念図である。

【0064】

付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、映像生成装置１に接続される船舶機器の目的及び機能に応じて様々なものが考えられる。例示すると、ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情報（例えば、他船の位置及び向き、ブイの位置、仮想ブイの位置等）を付加表示情報とすることができる。ＥＣＤＩＳ１０に関しては、電子海図に含まれる危険海域、航海禁止領域、灯台、ブイ等の位置を付加表示情報とすることができる。プロッタ１１に関しては、記録される自船４の軌跡、設定された予定航路、ウェイポイント、到着エリア、立寄エリアの位置等を付加表示情報とすることができる。レーダ装置１２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ソナー１３に関しては、探知された魚群の位置を付加表示情報とすることができる。これらの情報は、船舶機器から映像生成装置１にリアルタイムで入力される。付加表示情報取得部１７は、入力されるそれぞれの付加表示情報に対し、それを一意に特定して管理するための識別情報（例えば、識別番号）を付与する。

【0065】

図３には、自船４の周囲に位置している付加表示情報の例が示されている。図３において、海面上（水面上）には、目的地を示すウェイポイント４１，４１と、目的地までの予定航路を示す折れ線状のルート線４２と、が定められている。また、ルート線４２の近傍には、多角形状（矩形状）の立寄エリア４３が定められる。ウェイポイント４１、ルート線４２、及び立寄エリア４３は、ユーザが予めプロッタ１１を適宜操作し、各地点の位置を指定することにより設定される。

【0066】

また、図３の例では、自船４の前方にやや離れた地点で他船４４が自船４の右方へ向けて航行中であり、自船４の左斜め前の近くには仮想ブイ４５があることが、ＡＩＳ受信機９が取得したＡＩＳ情報により検出されている。なお、仮想ブイとは、設置が困難である等の事情により実際に海上に設けられていないが、ナビゲーション装置の画面には標識として表示される、仮想の（実体を持たない）ブイを意味する。

【0067】

それぞれの付加表示情報には、少なくとも、それが配置される海面（水面）における１又は複数の地点の位置（緯度及び経度）を示す情報が含まれている。例えば、ルート線４２を示す付加表示情報には、折れ線の屈曲部となる２箇所の地点の位置の情報が含まれている（屈曲部の地点の位置は、ウェイポイント４１の位置と一致する）。立寄エリア４３の付加表示情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれている。また、他船４４を示す付加表示情報には、当該他船４４の位置、船首方位、船の長さ、幅等を示す情報が含まれている。

【0068】

次に、３次元シーン生成部２２による３次元シーンの構築、及び、データ合成部２３による映像の合成について、図４を参照して詳細に説明する。図４は、３次元仮想空間４０に仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置して生成される３次元シーンデータ４８と、当該３次元仮想空間４０に配置される映写スクリーン５１と、を説明する概念図である。

【0069】

３次元シーン生成部２２によって仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される３次元仮想空間４０は、図４に示すように、自船４の適宜の基準位置（例えば、上述の基準点４ａ）を原点とする直交座標系で構成され、水平な面であるｘｚ平面が海面（水面）を模擬するように設定されている。図４の例では、座標軸は、＋ｚ方向が常に船首方位と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。この３次元仮想空間４０内の各地点（座標）は、自船４の周囲の現実の位置に対応するように設定される。

【0070】

図４には、図３に示す自船４の周囲の状況を表現するために、仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖを３次元仮想空間４０内に配置した例が示されている。各仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖは、何れもポリゴンの集合として表現され、自船４の船首方位を基準として、それが表す付加表示情報の自船４に対する相対位置を反映させるように、ｘｚ平面に接するように配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される位置を決定するにあたっては、図１に示すアンテナ位置設定部２６で設定されたＧＮＳＳアンテナの位置を用いた計算が行われる。

【0071】

他船４４を示す仮想現実オブジェクト４４ｖは、船舶の形状を有しており、記憶部１８に予め記憶されている大型の船のモデルのテンプレートを利用して表現される。また、当該モデルの向きは、ＡＩＳ情報で取得した他船４４の向きを示すように配置されている。

【0072】

仮想ブイ４５を示す仮想現実オブジェクト４５ｖも、他船４４の仮想現実オブジェクト４４ｖと同様に、記憶部１８に予め記憶されているブイのモデルのテンプレートを利用して表現される。

【0073】

ウェイポイント４１の仮想現実オブジェクト４１ｖは、薄い円板状の３次元形状で表現されている。ルート線４２の仮想現実オブジェクト４２ｖは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた３次元形状で表現されている。立寄エリア４３の仮想現実オブジェクト４３ｖは、立寄エリア４３の輪郭を有する一定の厚みの板のような３次元形状で表現されている。これらの仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖについては、モデルのテンプレートを使用せずに、３次元形状がその都度作成される。

【0074】

３次元シーン生成部２２は、上記のようにして、３次元シーンデータ４８を生成する。図４の例では、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が自船４の位置を原点とした方位基準で配置されるので、図３の状態から自船４の位置（東西方向及び南北方向での位置）が変化したり、回頭等により船首方位が変化したりすると、当該仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置した新しい３次元シーンが構築されて、３次元シーンデータ４８が更新される。また、例えば図３の状態から他船４４が移動する等して付加表示情報の内容が変更されると、最新の付加表示情報を反映するように３次元シーンデータ４８が更新される。

【0075】

その後、データ合成部２３は、３次元仮想空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。また、データ合成部２３は、カメラ３の撮影映像に生じるレンズ歪みを補正するための、映写スクリーン５１を分割するメッシュ５２を作成する。当該メッシュ５２は、映写スクリーン５１に沿って配置される。この映写スクリーン５１と仮想現実オブジェクト４１ｖ，４２ｖ，・・・の両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実現することができる。

【0076】

データ合成部２３は、自船４に搭載されるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレートするとともに、映写スクリーン５１を、当該カメラ３に正対するように配置する。カメラ３の位置のシミュレートに関し、船体を基準とするカメラ３の位置は、図１に示す撮影位置設定部２５の設定値に基づいて得ることができる。

【0077】

カメラ３の位置及び向きのシミュレートにあたっては、上述したカメラ３のパン／チルト動作による向きの変化が考慮される。更に、当該シミュレートは、位置取得部１５及び姿勢取得部１６が取得した位置情報及び姿勢情報に基づき、自船４の姿勢の変化及び高さの変化によるカメラ３の位置及び向きの変動が反映されるように行われる。データ合成部２３は、カメラ３の位置及び向きの変化に連動して、３次元仮想空間４０に配置される映写スクリーン５１の位置及び向きを変化させる。

【0078】

そして、データ合成部２３は、３次元シーンデータ４８及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。より具体的には、データ合成部２３は、３次元仮想空間４０に仮想カメラとしての視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当該視点カメラ５５を頂点とし、その視線方向が中心軸となるように定義する。続いて、データ合成部２３は、各オブジェクト（仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び映写スクリーン５１）を構成するポリゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ２での合成映像の表示領域（言い換えれば、透視投影面）に相当する２次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うことにより、２次元の画像を生成する。

【0079】

このようにして生成された２次元の画像には、３次元シーンデータ４８の描画が行われることにより得られた図形（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，・・・のレンダリング結果としての図形）が含まれる。また、２次元の画像の生成過程において、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部２３による映像の合成が実現される。

【0080】

映写スクリーン５１は、カメラ３を中心とする球殻に沿うように湾曲した形状となっているので、視点カメラ５５の位置及び向きをカメラ３と一致するように配置した場合に、透視投影による撮影映像の歪みを防止することができる。また、撮影映像は、あたかも、縦横に細かく分割されたそれぞれ（映像片）が、上述の仮想スクリーンに投影されたメッシュ５２に従って変形されながら映写スクリーン５１に配置されるように描画される。これにより、メッシュ５２の形状を適切に設定することで、撮影映像に生じている上述のレンズ歪みを適切に補正することができる。なお、この処理の詳細は後述する。

【0081】

視点カメラ５５は合成映像の視点を定めるものであり、その位置及び向きは、上述の視点設定部２７の設定により定められる。ただし、視点設定部２７において特別に設定することにより、データ合成部２３は、合成映像を生成するときのモードとして、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に変化するモードとすることができる（視点追従モード）。この視点追従モードでは、視点カメラ５５の視野全体が常に映写スクリーン５１（即ち、カメラ３の撮影映像）で覆われることになるので、臨場感のある合成映像を実現することができる。

【0082】

一方、データ合成部２３は、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと無関係に、適宜の入力装置の操作によって視点設定部２７に設定された視点に従うモードとすることもできる（独立視点モード）。この入力装置としては、例えば、キーボード３１、マウス３２、図示しないタッチパネル、ジョイスティック等とすることが考えられる。この独立視点モードでは、ユーザは、視点を自由に動かして、カメラ３の撮影視野から外れた位置にある付加表示情報を確認することができる。

【0083】

次に、カメラ３で撮影した映像と合成映像との関係を、例を参照して説明する。図５は、カメラ３による撮影映像の例を示す図である。図６は、データ合成部２３が出力する合成映像を示す図である。

【0084】

図５には、図３に示す状況において、自船４のカメラ３が撮影した映像の例が示されている。この撮影映像には、海面に浮かぶ他船４４ｒが写っている。また、映像の下部中央には、自船４の船首部分が写っている。

【0085】

また、カメラ３の撮影映像には、広角型のレンズの影響により、図５に破線で示すように、上下左右の縁の中央部が外側に膨張するような歪みが生じている（樽型のレンズ歪み）。

【0086】

仮想ブイ４５は上述のとおり仮想的なものであるので、図５に示すとおり、カメラ３に写ることはない。ウェイポイント４１、ルート線４２及び立寄エリア４３も、プロッタ１１での設定により作成されるものであるので、カメラ３による撮影映像には現れない。

【0087】

そして、図５に示す撮影映像に対し、上記のメッシュ５２に従ってレンズ歪みの補正を行うとともに、図４の３次元シーンデータ４８のレンダリングによる上記の２次元の画像を合成した結果が、図６に示されている。ただし、図６では、カメラ３による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている（これは、合成映像を表す他の図においても同様である）。図６の合成映像では、付加表示情報を表現する図形４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆが、当該撮影映像に重なるように配置されている。他船を表す図形４４ｆは、撮影映像における他船４４ｒの位置にほぼ重なるように配置されている。

【0088】

上記の図形４１ｆ，４２ｆ，・・・は、図４に示す３次元シーンデータ４８を構成する仮想現実オブジェクト４１ｖ，４２ｖ，・・・の３次元形状を、カメラ３と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像に対して図形４１ｆ，４２ｆ，・・・を重ねた場合でも、見た目の違和感が殆ど生じないようにすることができる。

【0089】

図６に示すように、付加表示情報を仮想現実的に表現する図形４１ｆ，４２ｆ，・・・は、撮影映像の海面にあたかも置かれるかのように、合成映像上に配置されている。これは、図４に示す仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、撮影位置設定部２５（図１を参照）で設定された高さに基づいて計算された距離だけカメラ３に対して下方に位置しているｘｚ平面に接するように配置するとともに、映写スクリーン５１の位置を、カメラ３の位置及び向きを考慮して正しく配置することにより実現される。

【0090】

次に、自船４の揺れに伴う合成映像の変化について説明する。図７は、図４の状態から船舶４がピッチ方向及びロール方向に揺動した場合を示す概念図である。図８は、図７の場合の合成映像を示す図である。

【0091】

上述したとおり、カメラ３は自船４に取り付けられているので、その位置及び向きは、自船４の姿勢が波等により傾いたり、自船４が波に乗り上げたりすることに伴って変化する。本実施形態において、データ合成部２３は、自船４に揺れ（ピッチング、ローリング及びヒービング）が生じた場合、姿勢取得部１６が取得した自船４の姿勢の変化、及び、位置取得部１５が取得した自船４の位置の上下方向の変化をシミュレートするように、３次元仮想空間４０におけるカメラ３の位置及び向きを変更し、それに伴って映写スクリーン５１の位置を変更する。

【0092】

図７には、図４の状態から自船４の姿勢がピッチ方向及びロール方向に変化したときの様子が示されている。図７の例では、自船４は前下がりかつ左下がりとなるように傾いており、それを反映するように、カメラ３の位置及び向きが変化する。これに連動して、映写スクリーン５１は、そのように位置及び向きが変化したカメラ３に正対するように移動する。

【0093】

図７の例では、上述の視点追従モードにより、視点カメラ５５の位置及び向きも、上記のように位置及び向きが変化したカメラ３に追従するように変化する。図７に対応する合成映像の例が図８に示され、この図に示すように、自船４の揺れに伴ってカメラ３の位置及び向きが異なっても、それに連動して映写スクリーン５１の位置及び向きが変化するとともに、３次元シーンをレンダリングする視点カメラ５５の位置及び向きが変化するので、違和感のない合成映像を継続的に得ることができる。

【0094】

視点追従モードでは、自船４の揺れによってピッチ角又はロール角が所定値以上変化する毎に、データ合成部２３での３次元シーンデータ４８の描画が更新され、最新の視点に基づく図形４１ｆ，４２ｆ，・・・が生成される。従って、海面が現れる向きが自船４の揺れにより変化するカメラ３の撮影映像に対し、図形４１ｆ，４２ｆ，・・・の表示を、当該海面に置かれた状態を維持するように適切に変化させることができる。

【0095】

これにより、仮想の物体があたかも海面に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることができる。また、ユーザは、ディスプレイ２に映し出された海面を眺めることで、仮想現実を表す図形４１ｆ，４２ｆ，・・・が網羅的に視界に入るので、取りこぼしなく必要な情報を得ることができる。

【0096】

次に、上述のデータ合成部２３が、撮影映像のレンズ歪みの補正と、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を描画した図形４１ｆ，４２ｆ，・・・の撮影映像に対する合成と、を効率的に行うための処理を具体的に説明する。図９は、撮影映像のレンズ歪みを補正するための平面状のメッシュ５２ｐを説明する図である。図１０は、撮影映像のレンズ歪みの補正と、当該撮影映像及び３次元シーンの透視投影と、を行うためにデータ合成部２３が行う処理を示すフローチャートである。図１１は、３次元空間に配置された仮想現実オブジェクト４１ｖ，４２ｖ，・・・及びメッシュ５２の頂点を仮想スクリーンに投影するように座標変換する処理を説明する概念図である。

【0097】

図５の例では、上述したとおり、カメラ３が撮影した映像に樽型のレンズ歪みが生じている。一方、この撮影映像に合成される図形４１ｆ，４２ｆ，・・・は、３次元の仮想現実オブジェクト４１ｖ，４２ｖ，・・・を幾何学的な計算に基づいて描画して生成されるものであるので、歪み等は原理的に生じない。従って、仮に両者を単純に合成した場合、不自然な映像となり、ユーザが違和感を覚えてしまうおそれがある。

【0098】

一般的に、撮影映像のレンズ歪みは、撮影映像を図９に示すような２次元平面上のメッシュ５２ｐに沿って引き伸ばしたり縮めたりするように変形させることで、補正することができる（メッシュ変形）。このメッシュ５２ｐは、矩形マトリクス状のメッシュを、撮影映像に生じるレンズ歪みと逆方向に歪ませることで作成することができる。図５のように撮影映像に樽型のレンズ歪みが生じる場合、これを補正するメッシュ５２ｐは、図９に示すように糸巻き型となる。

【0099】

従って、原理的には、撮影映像のレンズ歪みを予め上記のメッシュ５２ｐにより２次元的に補正し、補正後の撮影映像を図４の３次元仮想空間４０に配置して、これを視点カメラ５５に従って仮想スクリーンに透視投影することで、図６の合成映像を得ることができる。

【0100】

しかしながら、カメラ３の撮影映像は、ピクセルを２次元マトリクス配列したラスタデータとして構成される。従って、仮に、レンズ歪みの補正のために（図９のメッシュ５２ｐにより）映像を変形し、更に透視投影のために映像を変形すると、変形の繰返しにより撮影映像の画質が大きく低下してしまうおそれがあり、また、多くの処理時間を要してしまう。

【0101】

この課題を解決するために、本実施形態のデータ合成部２３は、以下のように処理することで合成映像の生成を行っている。以下、図１０のフローチャートを参照して詳細に説明する。

【0102】

図１０のステップＳ１０１で、データ合成部２３は、３次元シーン生成部２２によって図４に示すように仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置された（言い換えれば、３次元シーンデータ４８が構築された）３次元仮想空間４０において、カメラ３の位置及び向きのシミュレート結果に基づいて、球殻に沿って湾曲した形状の映写スクリーン５１を配置する。このとき、データ合成部２３は、撮影映像のレンズ歪みを補正するためのメッシュ５２を、映写スクリーン５１に沿うように生成する。このメッシュ５２は、仮想現実オブジェクト４１ｖ，４２ｖ，・・・と同様に、３次元形状（ポリゴンの集合）として表現される。

【0103】

このステップＳ１０１においてデータ合成部２３が生成する図４のメッシュ５２は、図９の平面的なメッシュ５２ｐとは異なり、映写スクリーン５１の形状に対応して球殻状に湾曲している。即ち、このメッシュ５２は、図９の平面的なメッシュ５２ｐを球殻に沿うように湾曲させたものに相当する。３次元糸巻き型のメッシュ５２の歪みの強さは、前述の歪み補正設定部２９によって適宜設定することができる。また、ステップＳ１０１の段階では、メッシュ５２は単に撮影映像のプレースホルダとして機能するだけであって、この段階で撮影映像のラスタデータが実際に貼り付けられることはない。

【0104】

次に、図１０のステップＳ１０２において、データ合成部２３は、視点カメラ５５及び視錐台５６を３次元仮想空間４０において定めた上で、３次元仮想空間４０での仮想現実オブジェクト４１ｖ，４２ｖ，・・・の頂点の座標、及び、メッシュ５２の頂点の座標を、透視投影により、２次元の仮想スクリーンにおける座標に変換する射影変換を行う。この座標変換は、ＧＰＵが３次元画像処理を行う一連の処理プログラム（公知のレンダリングパイプライン）のうち、頂点シェーダが有する座標変換機能を用いて実現される。図１１には、図４に示す３次元シーンデータ４８（仮想現実オブジェクト４１ｖ，４２ｖ，・・・）及びメッシュ５２の頂点が、左上隅を原点とし、横軸をｘｓ軸、縦軸をｙｓ軸とした２次元の仮想スクリーンに投影された例が示されている。

【0105】

続いて、図１０のステップＳ１０３において、データ合成部２３は、２次元の仮想スクリーン上の座標に変換された頂点の位置に基づいて、仮想現実オブジェクト４１ｖ，４２ｖ，・・・に対応するピクセルデータと、メッシュ５２に対応するピクセルデータと、を生成する。この機能は、上記のレンダリングパイプラインのうち、ラスタライザの機能を利用して実現される。

【0106】

このとき、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が描画されるピクセルの色は、ポリゴンの頂点がそれぞれ有している情報に含まれる色の情報に従う。従って、前述の３次元シーン生成部２２が、図４の３次元シーンデータ４８に配置される仮想現実オブジェクト４１ｖ，４２ｖ，・・・のそれぞれについて、ポリゴンの頂点に適宜の色を設定することにより、表示される図形４１ｆ，４２ｆ，・・・の色を様々に変えることができる。本実施形態では、他船４４を示す図形４４ｆについて、自船４が配置される地点との距離に応じて表示色を異ならせる処理を行っている。具体的には、他船４４が自船４から遠い位置にあるときは図形４４ｆを緑色で表示し、近い位置にあるときは図形４４ｆを赤色で表示する。これにより、状況に応じてユーザの注意を適切に喚起することができる。

【0107】

その後、ステップＳ１０４においてデータ合成部２３は、カメラ３の撮影映像を矩形マトリクス状に分割し、得られた映像片を、２次元の仮想スクリーン（図１１）における、対応するメッシュ５２のピクセルに配置する。本実施形態において、この処理は、上記のレンダリングパイプラインのうち、ピクセルシェーダの機能（具体的には、テクスチャの貼付け機能）を利用して実現される。これにより、図６に示す合成映像を得ることができる。

【0108】

以上により、メッシュ５２に対し、ポリゴンの頂点の段階（ピクセルで表現する前の段階）で、レンズ歪みの補正のための変形処理、及び、透視投影に基づく変形処理を行い、その後にカメラ３の撮影映像がメッシュ５２に従って配置されることになる。これにより、ラスター画像の１回の変形だけで、レンズ歪みが補正され、かつ、透視投影がされた後の撮影映像を得ることができる。この結果、合成映像における撮影映像の部分の画質低下を効果的に防止できる。また、ピクセルシェーダの負荷を大幅に軽減することができるので、本実施形態のように高いフレームレート（３０フレーム毎秒）で撮影映像が入力される場合でも、処理を容易に間に合わせることができる。この結果、フレーム落ちが防止できるので、撮影映像の部分の動きが滑らかな高品質の合成映像を得ることができる。

【0109】

以上に説明したように、本実施形態の映像生成装置１は、撮影映像入力部２１と、位置取得部１５と、姿勢取得部１６と、付加表示情報取得部１７と、合成映像生成部２０と、を備える。撮影映像入力部２１は、船舶（自船）４に設置されるカメラ３が撮影した撮影映像を入力する。位置取得部１５は、自船４の位置を示す位置情報を取得する。姿勢取得部１６は、自船４の姿勢を示す姿勢情報を取得する。付加表示情報取得部１７は、１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。合成映像生成部２０は、前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間４０に視点カメラ５５を配置し、当該３次元仮想空間４０に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクト４１ｖ，４２ｖ，・・・として配置するとともに仮想の映写スクリーン５１を配置し、映写スクリーン５１を分割するメッシュであってカメラ３の撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュ５２を作成する。合成映像生成部２０は、視点カメラ５５の位置及び向きに基づいて、仮想現実オブジェクト４１ｖ，４２ｖ，・・・の頂点及びメッシュ５２の頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換する。また、合成映像生成部２０は、前記仮想スクリーンにおける各頂点の位置に基づいて、カメラ３の撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置する。以上により、合成映像生成部２０は、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を描画した図形４１ｆ，４２ｆ，・・・を前記撮影映像に合成した合成映像を生成する。

【0110】

また、本実施形態では、以下に示す方法で映像の生成が行われている。即ち、船舶（自船）４に設置されるカメラ３が撮影した撮影映像を入力し、自船４の位置を示す位置情報を取得し、自船４の姿勢を示す姿勢情報を取得し、１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間４０に視点カメラ５５を配置し、当該３次元仮想空間４０に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクト４１ｖ，４２ｖ，・・・として配置するとともに仮想の映写スクリーン５１を配置し、前記映写スクリーン５１を分割するメッシュであってカメラ３の撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュ５２を作成し、視点カメラ５５の位置及び向きに基づいて、仮想現実オブジェクト４１ｖ，４２ｖ，・・・の頂点及びメッシュ５２の頂点を、頂点シェーダにより、透視投影面である２次元の仮想スクリーンでの位置に変換し、当該仮想スクリーンにおける各頂点の位置に基づいて、カメラ３の撮影映像を分割した映像片を、対応するメッシュ５２にピクセルシェーダにより配置することで、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を描画した図形４１ｆ，４２ｆ，・・・を前記撮影映像に合成した合成映像を生成する。

【0111】

これにより、自船４の位置及び姿勢に基づいて、付加表示情報の位置等を３次元コンピュータグラフィックスにより表現する図形４１ｆ，４２ｆ，・・・をカメラ３の撮影映像に重ねることで、図６及び図８のような仮想現実的な合成映像を得ることができる。また、撮影映像に図５のように生じるレンズ歪みを補正した状態で３次元コンピュータグラフィックスと合成するので、合成時の違和感を少なくすることができる。更に、レンズ歪みを補正するためのメッシュ５２を３次元仮想空間４０に配置して、当該メッシュ５２の頂点を仮想スクリーンでの位置に変換し、カメラ３の撮影映像を分割した映像片を対応するメッシュ５２に配置することで、レンズ歪みを適切に補正することができる。また、レンズ歪みの補正を考慮した透視投影を、頂点座標データの段階で頂点シェーダにより行い、その後に撮影映像のラスタデータをピクセルシェーダで配置することにより行うので、ラスタデータの変形処理を１回行うだけで済む。従って、レンズ歪みの補正と透視投影とで撮影映像のラスタデータを変形する処理を個別に行う場合と比較して、映像の画質劣化を防止できるとともに、処理の大幅な高速化を図ることができる。

【0112】

また、本実施形態の映像生成装置１は、前述の視点追従モード、即ち、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に変化するモードで動作することができる。この視点追従モードでは、合成映像生成部２０は、姿勢取得部１６が取得した姿勢情報が変化した場合に、３次元仮想空間４０における映写スクリーン５１及び視点カメラ５５の位置及び向きを、シミュレートされたカメラ３の位置及び向きの変化に対応するように移動させる。

【0113】

これにより、自船４が波等により揺れ、カメラ３の位置等が変化した場合に、それに応じて視点カメラ５５及び映写スクリーン５１を移動させることで、簡単な処理で、３次元コンピュータグラフィックス（図形４１ｆ，４２ｆ，・・・）の表示を撮影映像の変化と整合させるように更新することができる。また、視点カメラ５５と映写スクリーン５１とが互いに連動することで、例えば合成映像において常に撮影映像が現れるようにする処理も容易に行うことができる。

【0114】

また、本実施形態の映像生成装置１は、作成されるメッシュ５２の歪む方向及び歪み量の少なくとも何れかを変更可能に構成されている。

【0115】

これにより、レンズ歪みを補正する向き及び強さを調整することができるので、幅広いカメラ３（例えば、レンズの画角が異なるカメラ）に対応することができる。

【0116】

また、本実施形態の映像生成装置１において、メッシュ５２は図４に示すように、３次元仮想空間４０において湾曲状に配置される。

【0117】

これにより、合成映像において撮影映像が自然な見え方で現れるようにすることができる。

【0118】

また、本実施形態の映像生成装置１において、付加表示情報には、他の船舶、ランドマーク、予定航路、航路軌跡、ウェイポイント、立寄地、到着地、魚群が探知された海域、危険海域、航海禁止領域、ブイ、及び仮想ブイのうちの少なくとも何れかとすることができる。

【0119】

これにより、ユーザにとって有益な情報を、位置関係を含めて直感的に把握し易い形で表示することができる。

【0120】

また、本実施形態の映像生成装置１は、付加表示情報が示す地点と自船４との間の距離に応じて、当該付加表示情報に対応して表示される図形４１ｆ，４２ｆ，・・・の色を異ならせる。

【0121】

これにより、例えば、他船４４が近くに存在する場合に、当該他船４４を示す付加表示情報を表す図形４４ｆを他よりも目立つ色で表示することで、ユーザは状況を適切に理解することができる。

【0122】

また、本実施形態の映像生成装置１は、船舶４に設置されたディスプレイ２に対して合成映像を出力するが、このほか、携帯型コンピュータ、ヘッドマウントディスプレイ等にも合成映像を出力する構成とすることもできる。

【0123】

これにより、合成映像を有効に活用することができる。

【0124】

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

【0125】

カメラ３によっては、図５に示すような樽型のレンズ歪みではなく、糸巻き型のレンズ歪みを生じる場合がある。この場合は、メッシュ５２として樽型に歪んだものを用いることで、レンズ歪みを適切に補正することができる。

【0126】

歪み補正設定部２９によるメッシュ５２の歪みの設定機能は、当該歪みの方向及び強さを例えばダイアログを用いて設定するほか、例えばメッシュ５２の網目をディスプレイ２に表示して、網目をマウス３２でドラッグすることで直感的に設定することもできる。

【0127】

カメラ３において、上記のパン／チルト機能を省略し、撮影方向が例えば前方で固定されるように構成されてもよい。また、カメラ３が前方以外の方向（例えば、後方）を撮影するように配置されてもよい。

【0128】

ユーザが視点カメラ５５の向きを変更する操作を行ったときに、それに追従するようにカメラ３のパン／チルト動作が自動的に行われてもよい。

【0129】

カメラ３として、互いに異なる方向に向けられた複数のレンズと、それぞれのレンズに対応する撮像素子と、を備え、複数の撮像素子による撮像結果を繋ぎ合わせてライブ出力を行う構成のカメラが用いられてもよい。この場合、複数のレンズのそれぞれに対応したメッシュを繋ぎ合わせたものを３次元仮想空間４０に配置することで、レンズ歪みを補正することができる。

【0130】

カメラ３として、自船４の周囲を３６０度の全方位にわたって同時撮影が可能な構成のカメラが用いられてもよい。

【0131】

例えば他船４４を表す図形４４ｆが合成映像において表示される色の変更は、仮想現実オブジェクト４４ｖのポリゴンの頂点に設定される色を変更することに代えて、仮想現実オブジェクト４４ｖに貼り付けられるテクスチャ画像の色を変更することで実現されてもよい。

【0132】

３次元シーン生成部２２が３次元シーンデータ４８を生成するにあたって、上記の実施形態では、図４で説明したように、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が自船４の位置を原点とした船首基準で配置されている。しかしながら、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、船首基準ではなく、＋ｚ方向が常に真北となる真北基準で配置してもよい。この場合、回頭等によって自船４の船首方位が変化したときは、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置する代わりに、３次元仮想空間４０での自船４の向きをヨー方向に変化させることになる。そして、このときのカメラ３の位置及び向きの変化を３次元仮想空間４０においてシミュレートするとともに、これに連動して視点カメラ５５の位置及び向きを変更してレンダリングを行うことで、上述の船首基準の場合と全く同じレンダリング結果を得ることができる。

【0133】

また、３次元仮想空間４０の座標系は、自船４の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真東となるように定められてもよい。この場合、地球に固定された座標系の３次元仮想空間４０において、自船４が配置される位置及び向きが位置情報及び姿勢情報に基づいて変化し、これに伴うカメラ３の位置及び向きの変化が３次元仮想空間４０においてシミュレートされることになる。

【0134】

映像生成装置１において、自船４の揺れに伴う合成映像の揺れを軽減する処理が行われてもよい。例えば、３次元シーン生成部２２において、自船４が揺れても視点カメラ５５の位置及び向きの変動を抑制するようにすることが考えられる。

【0135】

映像生成装置１に接続される船舶機器（付加表示情報の情報源）は、図１で説明したものに限るものではなく、その他の船舶機器が含まれていてもよい。

【0136】

本発明は、海上を航行する船舶に限らず、例えば、海、湖、又は河川等を航行可能な任意の水上移動体に適用することができる。

【符号の説明】

【0137】

１ 映像生成装置
１５ 位置取得部
１６ 姿勢取得部
１７ 付加表示情報取得部
２０ 合成映像生成部
４１ｖ，４２ｖ，・・・ 仮想現実オブジェクト
４１ｆ，４２ｆ，・・・ 図形
５１ 映写スクリーン
５２ メッシュ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】