特開 2022-103655 移動体周囲モニタリング装置及び方法並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022103655

(43)【公開日】2022-07-08

(54)【発明の名称】移動体周囲モニタリング装置及び方法並びにプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220701BHJP

   B60R 1/00 20220101ALI20220701BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 V

B60R1/00 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2020218412

(22)【出願日】2020-12-28

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】益子 卓也

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054DA07

5C054DA09

5C054FA07

5C054FD03

5C054FE01

5C054FE12

5C054FE21

(57)【要約】

【課題】 操作者の手動操作を軽減できて俯瞰画像を表示できる移動体周囲モニタリング装置を提供する。
【解決手段】 モニタリング装置は、移動体周囲を撮像するカメラの出力データに基づいて、移動体画像と移動体周囲の視点から俯瞰された俯瞰画像を合成して俯瞰画像データを出力する俯瞰画像合成部と、俯瞰画像を表示するHMDの姿勢を検出して姿勢データを出力するHMDと、姿勢データに基づいて視点位置方位データを生成して俯瞰画像合成部に出力して俯瞰画像データを変更すると共に、移動体状態を示す移動体状態データを移動体から取得する表示制御部と、移動体状態データと俯瞰画像データに基づいて俯瞰画像に移動体状態データを重ねて表示する合成画像データを生成して、HMDに俯瞰画像に移動体状態データを重ねた合成画像を表示させる情報画像合成部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体の周囲をモニターする移動体周囲モニタリング装置であって、
前記移動体から周囲を撮像する複数の撮像素子の出力画像データに基づいて、前記移動体の画像と前記移動体の周囲の仮想視点から俯瞰された俯瞰画像を合成して俯瞰画像データを生成して出力する俯瞰画像合成部と、
前記俯瞰画像を表示するヘッドマウントディスプレイの姿勢を検出して姿勢データを生成して出力する前記ヘッドマウントディスプレイと、
前記姿勢データに基づいて視点位置方位データを生成して前記俯瞰画像合成部に出力して前記俯瞰画像データを変更すると共に、前記移動体の状態を示す移動体状態データを前記移動体から取得する表示制御部と、
前記表示制御部から取得する前記移動体状態データと前記俯瞰画像合成部から取得する前記俯瞰画像データに基づいて前記俯瞰画像に前記移動体状態データを重ねて表示する合成画像データを生成して、前記ヘッドマウントディスプレイに出力して前記俯瞰画像に前記移動体状態データを重ねた合成画像を表示させる情報画像合成部と、
を有することを特徴とする移動体周囲モニタリング装置。

【請求項2】

前記移動体の前記移動体状態データ及び前記複数の撮像素子の前記出力画像データを転送するデータ転送部と、前記移動体状態データ及び前記出力画像データを受信するデータ受信部を更に有する
ことを特徴とする請求項１に記載の移動体周囲モニタリング装置。

【請求項3】

前記ヘッドマウントディスプレイの前記姿勢データに前記ヘッドマウントディスプレイの移動データを付加して生成して前記表示制御部に出力する外部センシングシステムを更に有する
ことを特徴とする請求項１又は２に記載の移動体周囲モニタリング装置。

【請求項4】

移動体の周囲をモニターする移動体周囲モニタリング方法であって、
移動体周囲モニタリング装置のコンピュータが、
前記移動体から周囲を撮像する複数の撮像素子の出力画像データを取得して前記出力画像データに基づいて、前記移動体の画像と前記移動体の周囲の仮想視点から俯瞰された俯瞰画像を合成して俯瞰画像データを生成して出力する俯瞰画像合成ステップと、
前記俯瞰画像を表示するヘッドマウントディスプレイの姿勢データを取得するステップと、
前記姿勢データに基づいて視点位置方位データを生成して前記俯瞰画像合成ステップに出力して前記俯瞰画像データを変更すると共に、前記移動体の状態を示す移動体状態データを前記移動体から取得する表示制御ステップと、
前記表示制御ステップから取得する前記移動体状態データと前記俯瞰画像合成ステップから取得する前記俯瞰画像データに基づいて前記俯瞰画像に前記移動体状態データを重ねて表示する合成画像データを生成して、前記ヘッドマウントディスプレイに出力して前記俯瞰画像に前記移動体状態データを重ねた合成画像を表示させる情報画像合成ステップと、
を実行することを特徴とする移動体周囲モニタリング方法。

【請求項5】

移動体の周囲をモニターする移動体周囲モニタリング装置のコンピュータに、
前記移動体から周囲を撮像する複数の撮像素子の出力画像データを取得して前記出力画像データに基づいて、前記移動体の画像と前記移動体の周囲の仮想視点から俯瞰された俯瞰画像を合成して俯瞰画像データを生成して出力する俯瞰画像合成ステップと、
ヘッドマウントディスプレイの姿勢データを取得するステップと、
前記姿勢データに基づいて視点位置方位データを生成して前記俯瞰画像合成ステップに出力して前記俯瞰画像データを変更すると共に、前記移動体の状態を示す移動体状態データを前記移動体から取得するステップと、
前記表示制御ステップから取得する前記移動体状態データと前記俯瞰画像合成ステップから取得する前記俯瞰画像データに基づいて前記俯瞰画像に前記移動体状態データを重ねて表示する合成画像データを生成して、前記ヘッドマウントディスプレイに出力して前記俯瞰画像に前記移動体状態データを重ねた合成画像を表示させる情報画像合成ステップと、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の周囲をモニターする移動体周囲モニタリング装置及び方法並びにプログラムに関する。

【背景技術】

【0002】

移動体周囲モニタリング装置としては、例えば、特許文献１に記載されている、車両載向けのアラウンドビューモニター技術（以下、AVMという）が知られている。かかるAVMにおいては、車両に設けられた複数のカメラにより撮像される映像を合成し、車両真上の仮想視点（以下、単に視点ともいう）から眺めたトップビュー形式の車両の周りの映像を得て（特許文献１の図４等、参照）、各種センサーから車両走行情報を受信している（特許文献１の段落００２９等、参照）。特許文献１に開示のAVMは自動車等の車両周辺の映像情報に特化されている。現在、AVMは自動車の駐車の支援に特化したシステムになっており、操作者が自動車内に搭乗していることが前提のシステムである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－１３３０９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のAVMでは自動車等の車両の極近い周辺の映像情報しか得られず、その他の移動体への応用範囲は限られたものである。例えば、建機等の特殊車両や船舶ではAVMのトップビュー形式の映像だけでは情報量が少ない。更に、移動体の遠隔操作や自動運転等の支援へのAVMの応用は難しい。

【0005】

また、AVMを移動体遠隔操作に適用した場合、遠隔地の車両を操作するには操作者はAVMに表示された情報だけで、操作者は周囲の状況を正確に把握することができない故に、AVMの表示情報のみで操縦を行うことはできず、操縦者が運転席に搭乗し周辺を目視で確認する必要があるという問題がある。

【0006】

さらに、AVMによる俯瞰情報を任意の仮想視点から表示可能とすることも考えられるが、表示方向は操作者が手で操作する必要があり、車両を操縦しながら表示を変更するには操作に対する相当な訓練が必要であると想定される。車両を操縦しながら視点を変更するには通常の操縦と変わらない直感的な動作による表示変更が必要であるという問題がある。

【0007】

本発明は、以上の従来技術の問題点に鑑みなされたものであり、移動体の遠隔操作や自動運転等の支援への応用ができ、操作者の手動操作を軽減でき且つ自由な視点で移動体の周囲の状況を監視でき、当該状況を可視化できる移動体周囲モニタリング装置及び方法並びにプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の移動体周囲モニタリング装置は、移動体の周囲をモニターする移動体周囲モニタリング装置であって、前記移動体から周囲を撮像する複数の撮像素子の出力画像データに基づいて、前記移動体の画像と前記移動体の周囲の仮想視点から俯瞰された俯瞰画像を合成して俯瞰画像データを生成して出力する俯瞰画像合成部と、前記俯瞰画像を表示するヘッドマウントディスプレイの姿勢を検出して姿勢データを生成して出力する前記ヘッドマウントディスプレイと、前記姿勢データに基づいて視点位置方位データを生成して前記俯瞰画像合成部に出力して前記俯瞰画像データを変更すると共に、前記移動体の状態を示す移動体状態データを前記移動体から取得する表示制御部と、前記表示制御部から取得する前記移動体状態データと前記俯瞰画像合成部から取得する前記俯瞰画像データに基づいて前記俯瞰画像に前記移動体状態データを重ねて表示する合成画像データを生成して、前記ヘッドマウントディスプレイに出力して前記俯瞰画像に前記移動体状態データを重ねた合成画像を表示させる情報画像合成部と、を有することを特徴とする。

【0009】

本発明の移動体周囲モニタリング方法は、移動体の周囲をモニターする移動体周囲モニタリング方法であって、移動体周囲モニタリング装置のコンピュータが、前記移動体から周囲を撮像する複数の撮像素子の出力画像データを取得して前記出力画像データに基づいて、前記移動体の画像と前記移動体の周囲の仮想視点から俯瞰された俯瞰画像を合成して俯瞰画像データを生成して出力する俯瞰画像合成ステップと、前記俯瞰画像を表示するヘッドマウントディスプレイの姿勢データを取得するステップと、前記姿勢データに基づいて視点位置方位データを生成して前記俯瞰画像合成ステップに出力して前記俯瞰画像データを変更すると共に、前記移動体の状態を示す移動体状態データを前記移動体から取得する表示制御ステップと、前記表示制御ステップから取得する前記移動体状態データと前記俯瞰画像合成ステップから取得する前記俯瞰画像データに基づいて前記俯瞰画像に前記移動体状態データを重ねて表示する合成画像データを生成して、前記ヘッドマウントディスプレイに出力して前記俯瞰画像に前記移動体状態データを重ねた合成画像を表示させる情報画像合成ステップと、を実行することを特徴とする。

【0010】

本発明の移動体周囲モニタリングプログラムは、移動体の周囲をモニターする移動体周囲モニタリング装置のコンピュータに、前記移動体から周囲を撮像する複数の撮像素子の出力画像データを取得して前記出力画像データに基づいて、前記移動体の画像と前記移動体の周囲の仮想視点から俯瞰された俯瞰画像を合成して俯瞰画像データを生成して出力する俯瞰画像合成ステップと、ヘッドマウントディスプレイの姿勢データを取得するステップと、前記姿勢データに基づいて視点位置方位データを生成して前記俯瞰画像合成ステップに出力して前記俯瞰画像データを変更すると共に、前記移動体の状態を示す移動体状態データを前記移動体から取得するステップと、前記表示制御ステップから取得する前記移動体状態データと前記俯瞰画像合成ステップから取得する前記俯瞰画像データに基づいて前記俯瞰画像に前記移動体状態データを重ねて表示する合成画像データを生成して、前記ヘッドマウントディスプレイに出力して前記俯瞰画像に前記移動体状態データを重ねた合成画像を表示させる情報画像合成ステップと、を実行させることを特徴とする。

【発明の効果】

【0011】

本発明の移動体周囲モニタリング装置及び方法並びにプログラムによれば、移動体の遠隔操作や自動運転等の支援への応用ができ、操作者の手動操作を軽減でき且つ自由な視点で移動体の周囲の状況を監視できる効果が得られる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例の移動体周囲モニタリング装置のブロック図である。

【図2】本実施例の移動体周囲モニタリング装置がモニターする自動車と、それに取り付けられた複数のカメラとその周囲のモニター領域の関係を示す上面図である。

【図3】本実施例の移動体周囲モニタリング装置における３次元モデルの自動車の画像を臨む自動車を中心とした半球面上の複数の任意の視点の例を示す斜視図である。

【図4】本実施例の移動体周囲モニタリング装置におけるある自動車のフロントガラス近傍の視点から見た３次元モデルの俯瞰映像を生成する概念を説明する斜視図である。

【図5】本実施例の移動体周囲モニタリング装置における自動車の正面の進行方向を向いたヘッドマウントディスプレイ装着者とその視野と自動車との関係を示す上面図である。

【図6】本実施例の移動体周囲モニタリング装置におけるヘッドマウントディスプレイで見られる先行車の後続車としての自動車の進行方向前方を映す俯瞰画像の図である。

【図7】本実施例の移動体周囲モニタリング装置におけるヘッドマウントディスプレイで見られる先行車の後続車としての自動車の進行方向前方を映す車両状態データを合成した俯瞰画像の図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しつつ本発明による実施例の移動体周囲モニタリング装置について移動体の自動車を一例として用いて説明する。

【0014】

（構成の説明）
図１は、自動車の周囲をモニターする本実施例の移動体周囲モニタリング装置１のブロック図である。図２は、当該移動体周囲モニタリング装置によりモニターする自動車ＶＨと、それに取り付けられた複数の魚眼レンズ付きカメラ１１ａ、１１ｂ、１１ｃ及び１１ｄとその周囲の前方、右方、左方及び後方のモニター領域ＭＲ－Ｆ、ＭＲ－Ｒ、ＭＲ－Ｌ、ＭＲ－Ｈの関係を示す上面図である。図３は、３次元モデルにおける自動車ＶＨの画像を臨む自動車ＶＨを中心とした半球面上の複数の任意の仮想視点ＶＰの例を示す斜視図である。

【0015】

移動体周囲モニタリング装置１は、図１に示すように、複数の撮像素子であるカメラ１１（１１ａ、１１ｂ、１１ｃ、１１ｄ）、車両状態情報収集部１２、データ転送部であるトランスミッタ１３ａ及びデータ受信部であるレシーバ１３ｂからなる伝送システム１３、俯瞰画像合成部１４、ヘッドマウントディスプレイ（以下、HMDという）１５、表示制御部１６並びに情報画像合成部１７を有している。

【0016】

カメラ１１すなわち複数の魚眼レンズ付きカメラ１１（魚眼カメラとも呼ばれるが、以下、単にカメラとも呼ぶ）の前方、右方、左方及び後方のカメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと車両状態情報収集部１２とトランスミッタ１３ａとは自動車側に搭載されている。伝送システム１３のレシーバ１３ｂ、俯瞰画像合成部１４、HMD１５、表示制御部１６並びに情報画像合成部１７は、自動車ＶＨから離れた遠隔地の本体側に配置されている。

【0017】

図２に示すように、前方、右方、左方及び後方のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄは、自動車ＶＨの周囲の前方、右方、左方及び後方のモニター領域ＭＲ－Ｆ、ＭＲ－Ｒ、ＭＲ－Ｌ、ＭＲ－Ｈをそれぞれ撮影できるように略水平に向けて自動車ＶＨに取り付けられ、それぞれが画像データを生成する。

【0018】

図１に示す前方、右方、左方及び後方のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄはトランスミッタ１３ａに接続され、それぞれが撮影している画像の画像データＯＵＴ１１を伝送システム１３のトランスミッタ１３ａに出力する。伝送システム１３として、５Ｇ（第５世代移動通信システム）、６Ｇ（第６世代移動通信システム）等の無線ネットワークを介することにより、移動体周囲モニタリング装置本体からの自動車の遠隔モニタリングが可能となる。

【0019】

図１に示す車両状態情報収集部１２もトランスミッタ１３ａに接続され、自動車のシステム（図示せず）から車両速度、ウインカーの方向指示情報、トランスミッションの減速比情報、進行方向、ハンドル操作情報等の自動車の車両情報を示す車両状態データＶＣＤとしてトランスミッタ１３ａに出力する。

【0020】

図１に示すトランスミッタ１３ａは車両状態データＶＣＤ及び画像データＯＵＴ１１を送信し、レシーバ１３ｂがトランスミッタ１３ａからの車両状態データＶＣＤ及び画像データＯＵＴ１１を受信する。

【0021】

レシーバ１３ｂは、画像データＯＵＴ１１を俯瞰画像合成部１４へ、車両状態データＶＣＤを表示制御部１６へ送る。

【0022】

表示制御部１６には、俯瞰画像合成部１４、HMD１５及び情報画像合成部１７が接続されている。

【0023】

（俯瞰画像合成部）
図１に示す俯瞰画像合成部１４は、取得した自動車ＶＨから周囲を撮像している複数のカメラ１１の出力画像データＯＵＴ１１に基づいて、自動車ＶＨの画像と図２に示す自動車ＶＨの周囲の仮想視点ＶＰのいずれかから俯瞰された俯瞰画像を合成して俯瞰画像データＢＥＶを生成して出力する。

【0024】

俯瞰画像合成部１４は映像処理能力の高いＦＰＧＡ（Field-Programmable Gate Array）を含み、走行中車両の全周囲で俯瞰映像の３次元モデルの合成映像処理を、リアルタイムで実現し、死角のないシームレスな俯瞰画像を生成できる。すなわち、俯瞰画像合成部１４により、３次元モデルで生成されたモニタリング映像（俯瞰画像データＢＥＶ）は、コンピュータグラフィックスを用いて、前後左右の４台の魚眼カメラ１１の映像をそれぞれ歪み補正し、シームレスにそれらを合成して視点ＶＰから見た俯瞰映像として生成される。例えば、俯瞰画像合成部１４は、図３に示す自動車ＶＨを中心とする半球面上の複数の任意の仮想視点ＶＰのいずれかから自動車ＶＨを囲む俯瞰映像を生成する。

【0025】

具体的に俯瞰画像合成部１４は、前方、右方、左方及び後方のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄによりモニター領域ＭＲ－Ｆ、ＭＲ－Ｒ、ＭＲ－Ｌ、ＭＲ－Ｈをそれぞれ撮影された出力画像データＯＵＴ１１を取り込んで、これらに基づいて、自動車ＶＨの画像と自動車ＶＨを中心とした半球面上の視点から俯瞰された自動車ＶＨの周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データＢＥＶを生成する。例えば、図４に示す自動車ＶＨのフロントガラス近傍の視点ＶＰから見た俯瞰映像は、俯瞰画像合成部１４により取り込まれる全範囲（二点鎖線の半円球）に亘り、これからトリミングして切り出した範囲が俯瞰画像データＢＥＶ（図１、参照）になる。なお、ここの半円球は３次元モデルの俯瞰映像の俯瞰画像データＢＥＶを生成、合成する概念を説明する斜視図であり、切り出し範囲の俯瞰画像Ｆ１、Ｆ２（俯瞰画像データ）の大きさ、半円球の曲率等は正確なものではない。

【0026】

例えば、図４に示す自動車ＶＨの進行方向正面の俯瞰画像Ｆ１の俯瞰画像データ及び進行方向右に変位した俯瞰画像Ｆ２の俯瞰画像データは、俯瞰画像合成部１４より表示制御部１６（図１、参照）の指令のデータに応じて連続的に生成されて、情報画像合成部１７へ出力される。

【0027】

（HMD）
表示制御部１６に接続されたHMD１５は、ヘッドトラッキング（頭の動きの検知）の技術を組み合わせ、顔の向きに合わせて表示映像を連動させて360度の視界を表示できる表示デバイスである。HMD１５は、使用者の頭に装着され、その装着者が頭を動かすことで操作し視点や顔の方位（装着者が眺める表示パネルへ顔の向き）を含む姿勢データＰＳＴを絶えず生成し、表示制御部１６に有線又は無線で送信する。このように、HMD１５は、自身の姿勢を検出して姿勢データＰＳＴを生成して表示制御部１６に出力する。

【0028】

HMD１５は、装着者が眺める有機ＥＬパネル等の表示パネル（図示せず）と加速度センサー、ジャイロスコープ等の慣性計測センサー（図示せず）とを含み、これからのセンサー情報を元にHMD１５の方位を検出する。HMD１５の表示パネルは情報画像合成部１７に、慣性計測センサーは表示制御部１６に接続される。

【0029】

HMD１５の装着者の首の「上下の首振り」「左右の首振り」「時計回り、反時計回りの回転」の３軸自由度までは、慣性計測センサーだけで検出（姿勢データＰＳＴの生成）できる。しかし、これに装着者のHMD１５の「左右の移動」「前後の移動」「上下の移動(高低の移動)」の３軸自由度までの検出を加えた６軸自由度の対応には外部設置のセンシングシステムの存在が必要であるので、HMD１５には外部センシングシステムも含まれる。外部センシングシステムとしては、例えば、外部の複数の赤外光LEDを赤外光カメラ（あるいは可視光LEDと可視光カメラ）でHMD１５の移動を検知して、HMD１５の位置を算出し、センサー情報も加えて方位と位置を含む姿勢データＰＳＴを生成する。このように、外部センシングシステムは、HMD１５の姿勢データＰＳＴに移動データを付加して生成して表示制御部１６に出力する。

【0030】

HMD１５のセンシングシステムにおけるシステム遅延（HMD装着者が頭部を動かした時、その動きがHMD１５内の表示パネルの表示に反映されるまでの総時間）は、例えば、20ms前後、遠隔操作体験としての最低必要である。

【0031】

HMD１５は、情報画像合成部１７によって生成されたモニタリング映像（合成画像データＢＥＶＣＤ）を表示する。俯瞰画像合成部１４の映像出力は、例えば、ＨＤＭＩ(登録商標)インターフェースで有効画像サイズ1920pixel、1080line、60fpsの速度で出力できる。

【0032】

（表示制御部）
表示制御部１６は、自動車ＶＨからトランスミッタ１３ａとレシーバ１３ｂを介して、自動車ＶＨの状態を示す車両状態データＶＣＤを取得して、情報画像合成部１７へ転送する。

【0033】

さらに、表示制御部１６は、HMD１５からの指示（姿勢データＰＳＴ）に応じて当該姿勢データＰＳＴに基づいて視点位置方位データＶＰＤを生成して、これを俯瞰画像合成部１４に出力して俯瞰画像データＢＥＶを変更する。

【0034】

表示制御部１６からの指示（視点位置方位データＶＰＤ）に応じて、俯瞰画像合成部１４において、予め準備されたモニター領域の３次元モデル（予め自車両モデルの３Ｄ描画像）と再合成（変更）してモニタリング映像（俯瞰画像データＢＥＶ）を生成する。

【0035】

かかる俯瞰画像データＢＥＶの再合成（変更）により、HMD１５からの指示（姿勢データＰＳＴ、視点位置方位データＶＰＤ）に応じて、装着者が俯瞰する視点を３次元的に３６０度リアルタイムで任意に変更でき、自動車ＶＨを中心とした半球面上のあらゆる角度から移動体の全周囲映像モニタリングが行える。

【0036】

なお、移動体周囲モニタリング装置１には、表示制御部１６に接続される例えばタッチスクリーン操作可能なタブレットＰＣ等の操作部２１を設けてもよい。操作部２１は、HMD１５等の移動体周囲モニタリング装置１の初期設定や、HMD１５の表示動作のモニタリングに使用できる。操作部２１は、操作者（HMD装着者）の手動操作により任意に視点の位置を変更するためのインターフェース手段でもある。

【0037】

（情報画像合成部）
情報画像合成部１７は、表示制御部１６から取得する車両状態データＶＣＤと俯瞰画像合成部１４から取得する俯瞰画像データＢＥＶに基づいて、俯瞰画像に車両状態データＶＣＤ（車両速度、ウインカーの方向指示情報、トランスミッションの減速比情報、進行方向、ハンドル操作情報）を重ねて表示するための合成画像データＢＥＶＣＤを生成して、これをHMD１５に出力してモニタリング映像（合成画像データＢＥＶＣＤ）を表示させる。

【0038】

（動作の説明）
まず、図１に示す複数のカメラ１１（１１ａ、１１ｂ、１１ｃ、１１ｄ）は、自動車ＶＨから周囲（図２のモニター領域ＭＲ－Ｆ、ＭＲ－Ｒ、ＭＲ－Ｌ、ＭＲ－Ｈ）を撮像して出力画像データＯＵＴ１１を生成してトランスミッタ１３ａに出力する（撮像ステップ）。

【0039】

同時に、図１に示す車両状態情報収集部１２は、自動車のシステム（図示せず）から車両速度、ウインカーの方向指示情報、トランスミッションの減速比情報、進行方向、ハンドル操作情報等の自動車の車両情報を収集して、車両状態データＶＣＤを生成してトランスミッタ１３ａに出力する（車両状態データ生成ステップ）。

【0040】

次に、トランスミッタ１３ａは、出力画像データＯＵＴ１１及び車両状態データＶＣＤをレシーバ１３ｂに伝送する（伝送ステップ）。

【0041】

レシーバ１３ｂは、出力画像データＯＵＴ１１（前方画像、右方画像、左方画像、後方画像）を俯瞰画像合成部１４に転送し、車両状態データＶＣＤを表示制御部１６に転送する（転送ステップ）。

【0042】

そして、俯瞰画像合成部１４は、出力画像データＯＵＴ１１を取得してこれに基づいて、自動車ＶＨの画像と自動車ＶＨの周囲の仮想視点ＶＰから俯瞰された俯瞰画像を合成して俯瞰画像データＢＥＶを生成して出力する（俯瞰画像合成ステップ）。

【0043】

一方、HMD１５は内部の計測センサー（図示せず）からのセンサー情報（加速度センサー、位置情報）を含む姿勢データＰＳＴを生成し、これを表示制御部１６に転送することでHMD１５がどちらを向いているかを表示制御部１６に通知する（姿勢通知ステップ）。

【0044】

表示制御部１６は、姿勢データＰＳＴに基づいて視点位置方位データＶＰＤを生成して俯瞰画像合成ステップに転送して俯瞰画像データＢＥＶを変更（俯瞰画像の再合成）させると共に、レシーバ１３ｂから転送された自動車ＶＨの状態を示す車両状態データＶＣＤ（車両の速度、ハンドル情報、進行方向情報及び車両状態情報等）を情報画像合成部１７に転送する（表示制御ステップ）。すなわち、俯瞰画像合成部１４は指示された方向に基づく俯瞰画像を再度生成した俯瞰画像データＢＥＶを情報画像合成部１７に転送する。

【0045】

そして、情報画像合成部１７は、表示制御ステップから取得する車両状態データＶＣＤと俯瞰画像合成ステップから取得する俯瞰画像データＢＥＶに基づいて俯瞰画像に車両状態データＶＣＤを重ねて表示する合成画像データＢＥＶＣＤを生成して、HMD１５に出力して俯瞰画像に車両状態データＶＣＤを重ねた合成画像を表示させる（情報画像合成ステップ）。

【0046】

（効果の説明）
以上のように本実施例によれば、HMD１５の方位（姿勢データＰＳＴ）で俯瞰合成の方向を制御することで、見たい方向の俯瞰画像を見ることができる。例えば、図５に示すように、HMD１５を装着したHMD装着者が自動車ＶＨの正面すなわち進行方向を向いた場合の視野（図４に示す自動車ＶＨのフロントガラス近傍の視点ＶＰから見た俯瞰映像）は所定の視野角で左右対称に広がる（図５Ａ）が、HMD装着者が自動車ＶＨの進行方向から右４５度に向けた場合、４５度に向けた俯瞰映像が観察できる（図５Ｂ）。

【0047】

例えば、図６Ａに示すように先行車の後続車として自動車ＶＨが走っている場合、例えば図４に示す俯瞰画像の全体（二点鎖線）のうち、俯瞰画像Ｆ１（自動車ＶＨの正面の前の画像）が俯瞰画像合成部１４（図１、参照）によりトリミングにより切り出（合成）され俯瞰画像データＢＥＶ（図１、参照）となる。

【0048】

また、図６Ｂに示すように当該自動車ＶＨが右折する場合、同画像全体（図４の二点鎖線）のうち、HMD１５からの指示（図１、姿勢データＰＳＴ、視点位置方位データＶＰＤ）に応じて、俯瞰画像Ｆ１から若干右へずれた俯瞰画像Ｆ２（自動車ＶＨの正面の右の画像）が俯瞰画像合成部１４（図１、参照）によりトリミングにより切り出（再合成）され俯瞰画像データＢＥＶ（図１、参照）となる。

【0049】

更に、情報画像合成部１７により、HMD１５の表示パネル上に車両状態データＶＣＤを合成することで、実際の車両操作状態を視覚的に確認することができる。

【0050】

例えば、先行車の後続車として自動車ＶＨが走っている場合、情報画像合成部１７が、例えば上記の図６Ａに示す俯瞰画像に、車両速度表示、ウインカーの方向指示（左折、右折）情報、トランスミッションの減速比（ギア表示）情報、矢印の進行方向表示、ハンドル操作情報（ハンドル方向表示）の自動車の車両情報を重ねて合成した合成画像データＢＥＶＣＤを生成し、表示画面としてHMD１５に転送する。これにより、図７Ａに示す俯瞰映像がHMD装着者に提供される。

【0051】

また、当該自動車ＶＨが右折する場合、同じく情報画像合成部１７が、例えば上記の図６Ｂに示す俯瞰画像に、右折状態の自動車の車両情報を重ねて合成した合成画像データＢＥＶＣＤを生成し、表示画面としてHMD１５に転送することにより、再合成された図７Ｂに示す俯瞰映像がHMD装着者に提供される。

【0052】

なお、情報画像合成部１７においては、俯瞰画像合成部１４から転送された俯瞰画像データＢＥＶの俯瞰画像に車両状態情報に割り当てられたアイコンを表示画面の予め決められた周囲箇所に合成し、HMD１５の表示パネルに表示させている。

【0053】

以上の構成より、HMD装着者は実際に車両に搭乗しているかのような効果を得ることができる。

【0054】

以上のように、本実施例によれば、HMD装着者の手動操作を軽減でき且つ俯瞰画像の画面に車両の進行方向と制御の情報を表示することにより、車両等の移動体の周辺の状況を容易に把握することができるようになる。

【0055】

移動体周囲モニタリング装置１は、移動体周囲モニタリングプログラムをインストールしたコンピュータ装置である。移動体周囲モニタリング装置１は、図示しないが、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のメモリ部を含み、オペレーティングシステム（Operating System）ソフトウェアプログラムに従い、移動体周囲モニタリングステップを実行するコンピュータ装置である。その移動体周囲モニタリング装置１において、各信号をデジタル処理した後、俯瞰画像合成部１４、表示制御部１６、情報画像合成部１７の機能部は、上記プログラムにより、実現されてもよい。すなわち、これらの機能部は、移動体周囲モニタリング装置１においてＦＰＧＡやADC(Analog to Digital Converter)等のハードウェアを除き、移動体周囲モニタリングプログラムをメモリ部中に展開され実現されていてもよい。

【0056】

移動体周囲モニタリング装置１は、車両に搭載する以外に、船舶、建設重機、ドローン等の移動体に搭載することも可能である。

【符号の説明】

【0057】

１ 移動体周囲モニタリング装置
１１ａ、１１ｂ、１１ｃ、１１ｄ カメラ
１２ 車両状態情報収集部
１３ａ トランスミッタ
１３ｂ レシーバ
１４ 俯瞰画像合成部
１５ HMD
１６ 表示制御部
１７ 情報画像合成部
ＶＨ 自動車
ＶＰ 視点
ＢＥＶ 俯瞰画像データ
ＭＲ－Ｆ、ＭＲ－Ｒ、ＭＲ－Ｌ、ＭＲ－Ｈ モニター領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】