特開 2022-142566 画像生成装置及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022142566

(43)【公開日】2022-09-30

(54)【発明の名称】画像生成装置及び画像生成方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220922BHJP

   G06T 19/00 20110101ALI20220922BHJP

【ＦＩ】

G06F3/01 510

G06T19/00 300B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021042778

(22)【出願日】2021-03-16

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(71)【出願人】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】井上 裕史

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050DA01

5B050EA07

5B050EA12

5B050EA27

5B050FA02

5E555AA76

5E555BA23

5E555BA38

5E555BB23

5E555BB38

5E555BC01

5E555BE17

5E555CA44

5E555CB19

5E555CB65

5E555CC03

5E555DA01

5E555DB53

5E555DC19

5E555DC83

5E555FA00

(57)【要約】

【課題】 車両に乗車していないユーザの没入感が阻害されるのを抑制できる画像生成装置及び画像生成方法を提供する。
【解決手段】 車両に設けられた装置から、車両の挙動の情報を含む車両情報を取得する車両情報取得部と、車両の車室内における仮想視点から所定方向を見た画像であって、被写体が車両の挙動により揺動する画像を視点画像として生成する画像生成部と、画像生成部により生成された画像を、車室とは異なる空間に設けられた表示装置に表示するための制御信号を出力する表示制御部と、表示装置を視認するユーザの注視点に関する情報を取得する注視点情報取得部と、を備え、画像生成部は、被写体のうちユーザの注視点に対応する対象オブジェクトの揺動レベルを、対象オブジェクト以外の揺動レベルよりも低くした視点画像を生成する画像生成装置。
【選択図】 図１

【特許請求の範囲】

【請求項1】

車両に設けられた装置から、前記車両の挙動の情報を含む車両情報を取得する車両情報取得部と、
前記車両の車室内における仮想視点から所定方向を見た画像であって、被写体が前記挙動により揺動する前記画像を視点画像として生成する画像生成部と、
前記画像生成部により生成された画像を、前記車室とは異なる空間に設けられた表示装置に表示するための制御信号を出力する表示制御部と、
前記表示装置を視認するユーザの注視点に関する情報を取得する注視点情報取得部と、を備え、
前記画像生成部は、前記被写体のうち前記ユーザの注視点に対応する対象オブジェクトの揺動レベルを、前記対象オブジェクト以外の前記揺動レベルよりも低くした前記視点画像を生成する画像生成装置。

【請求項2】

請求項１に記載の画像生成装置であって、
前記揺動レベルは、前記被写体が前記挙動に応じて揺動する揺動幅又は速さである画像生成装置。

【請求項3】

請求項２に記載の画像生成装置であって、
前記画像生成部は、前記対象オブジェクトの前記揺動幅が前記対象オブジェクト以外の前記揺動幅に比べて小さい前記視点画像、及び前記対象オブジェクトの前記速さが前記対象オブジェクト以外の前記速さに比べて遅い前記視点画像のうち少なくとも何れか一方の前記視点画像を生成する画像生成装置。

【請求項4】

請求項１～３のいずれかに記載の画像生成装置であって、
前記車両情報は、前記車両に設けられた撮像装置により、前記車両の周辺が撮像された車両周辺画像を含み、
前記視点画像は、前記仮想視点から見た前記車両の内装を示す内装画像、及び前記車両周辺画像を含み、
前記画像生成部は、前記ユーザの前記注視点に基づいて、前記内装画像及び前記車両周辺画像のうち何れか一方を前記対象オブジェクトに設定する画像生成装置。

【請求項5】

請求項４に記載の画像生成装置であって、
前記画像生成部は、前記車両周辺画像を前記対象オブジェクトに設定した場合、前記車両周辺画像の前記揺動レベルを、前記内装画像の前記揺動レベルに比べて低くした前記視点画像を生成する画像生成装置。

【請求項6】

請求項４に記載の画像生成装置であって、
前記画像生成部は、前記内装画像を前記対象オブジェクトに設定した場合、前記内装画像の前記揺動レベルを、前記車両周辺画像の前記揺動レベルに比べて低くした前記視点画像を生成する画像生成装置。

【請求項7】

請求項１～３のいずれかに記載の画像生成装置であって、
前記画像生成部は、前記視点画像のうち、前記ユーザの注視点を含む所定の範囲を前記対象オブジェクトに設定する画像生成装置。

【請求項8】

請求項１～７のいずれかに記載の画像生成装置であって、
前記車両情報は、前記車両の加速度及び角加速度のうち少なくともいずれか一方を含む画像生成装置。

【請求項9】

プロセッサにより実行され、車両の室内とは異なる空間に設けられた表示装置に表示する画像を生成する画像生成方法であって、
前記車両に設けられた装置から、前記車両の挙動の情報を含む車両情報を取得し、
前記車両の室内における仮想視点から所定方向を見た画像であって、被写体が前記挙動により揺動する前記画像を視点画像として生成し、
前記表示装置を視認するユーザの注視点に関する情報を取得し、
前記被写体のうち前記ユーザの注視点に対応する対象オブジェクトの揺動レベルを、前記対象オブジェクト以外の前記揺動レベルよりも低くした前記視点画像を生成する画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置及び画像生成方法に関する。

【背景技術】

【0002】

視聴コンテンツを視認する移動体の乗員に対して、移動体の移動に起因する乗員の酔いを抑制するコンテンツ視聴装置が知られている（例えば、特許文献１）。このコンテンツ視聴装置では、表示制御手段は、視聴コンテンツに併せて、移動体の挙動に対応する挙動画像を出力装置に表示させる。挙動画像には、移動体の挙動に伴って発生する加速度を観念させるオブジェクトが表示される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１５７３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載のコンテンツ視聴装置では、挙動画像に表示されるオブジェクトが移動体そのものとは関連性がないため、車両に乗車していないユーザは没入感が阻害されやすい、という問題がある。

【0005】

本発明が解決しようとする課題は、車両に乗車していないユーザの没入感が阻害されるのを抑制できる画像生成装置及び画像生成方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、車両に設けられた装置から、車両の挙動の情報を含む車両情報を取得し、車室内における仮想視点から所定方向を見た画像であって、被写体が車両の挙動により揺動する画像を視点画像として生成し、車室とは異なる空間に設けられた表示装置に表示するための制御信号を出力し、表示装置を視認するユーザの注視点に関する情報を取得し、被写体のうちユーザの注視点に対応する対象オブジェクトの揺動レベルを、対象オブジェクト以外の揺動レベルよりも低くした視点画像を生成することで、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、車両に乗車していないユーザの没入感が阻害されるのを抑制できる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る画像表示システムのブロック図である。

【図2】視点画像を説明するための説明図である。

【図3】本実施形態に係る画像生成装置により実行される画像表示制御を示すフローチャートである。

【図4】変形例に係る画像生成装置により実行される画像表示制御を示すフローチャートである。

【図5】表示装置がヘッドマウントディスプレイに組み込まれた場合における仮想空間の例である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。
本実施形態では、本発明に係る画像生成装置及び画像生成方法を、画像表示システムに適用した例を用いて説明する。

【0010】

図１は、本実施形態に係る画像表示システム１００のブロック図である。本実施形態に係る画像表示システム１００は、ユーザＢとは異なる空間にいるユーザＡに対して、ユーザＢがいる空間を再現した仮想空間を表示する場面に用いられる。本実施形態では、ユーザＡとして、車両１から離間した場所である遠隔地空間３０にいるユーザを例に挙げ、ユーザＢとして、車両１に乗車しており、車内空間２０にいるユーザを例に挙げて説明する。以降の説明では、便宜上、遠隔地空間３０にいるユーザＡを遠隔地ユーザＡと称し、車内空間２０にいるユーザＢを車内ユーザＢと称して説明する。

【0011】

なお、本実施形態において、遠隔地ユーザＡと車内ユーザＢとの状態は特に限定されない。例えば、図１では、遠隔地ユーザＡの状態として着座した状態を示しているが、遠隔地ユーザＡは起立していてもよい。また例えば、図１では、車内ユーザＢの状態として、車両１のステアリングを操作している状態を示しているが、車内ユーザＢはドライバではなく、助手席又は後部座席に着座する乗員であってもよい。

【0012】

また本実施形態では、画像表示システム１００が仮想現実（Virtual Reality）の技術を利用したシステムに用いられた場合を例に挙げて説明する。図１に示すように、遠隔地ユーザＡと車内ユーザＢとはそれぞれ異なる空間にいるため、遠隔地ユーザＡは、車内空間２０で車内ユーザＢがどのような光景を視認しているかを確認することはできない。しかし、コンピュータによって作り出された世界である仮想空間を現実としてユーザに知覚させる仮想現実の技術では、コンピュータは、遠隔地ユーザＡに対して、あたかも車内空間２０にいるような仮想空間を作り出すことができる。仮想空間では、遠隔地ユーザＡは、少なくとも視覚及び聴覚を通じて、あたかも車内空間２０にいるかのように知覚する。さらに、本発明に係る画像生成装置及び画像生成方法により、仮想空間は、車両１の挙動に応じて変化するため、遠隔地ユーザＡは、遠隔地空間３０にいながらも、視覚を通じて車両１の挙動を把握することができる。また、遠隔地ユーザＡが注視する対象オブジェクトは、当該対象物以外に比べて揺れないため、車両１の挙動による仮想空間の変化によって、遠隔地ユーザＡが酔うのを抑制することができる。以降、図１を用いて、画像表示システム１００の各構成を説明する。

【0013】

図１に示すように、画像表示システム１００は、画像生成装置１０、車内空間２０、及び遠隔地空間３０を含む。遠隔地空間３０は、車内空間２０から離間した空間である。遠隔地空間３０としては、例えば、車両１とは別の車両の室内や建物の一室などが挙げられるが、遠隔地空間３０は車内空間２０とは別の場所であれば特に限定されない。

【0014】

車内空間２０は、車両１の車室内を示す空間である。車両１には、車載カメラ２１、車載センサ２２、車載通信装置２３が設けられている。図１では、これらの装置が車内空間２０内に設けられているように示されているが、車載カメラ２１、車載センサ２２、及び車載通信装置２３は、車両１に搭載されているものとする。車両１に設けられた各装置は、相互に情報の送受信を行うために、例えばＣＡＮ（Controller Area Network）その他の車載ネットワーク（イーサネット（商標登録）など）によって接続されている。

【0015】

車載カメラ２１は、車両１の周辺を撮像する撮像装置である。車載カメラ２１は、車両１の乗員が視認できる範囲を撮像できるように設けるのが好ましく、車両の前方を撮像する前方カメラ、車両の側方を撮像する側方カメラ、車両の後方を撮像する後方カメラと、複数のカメラで構成されていてもよい。車載カメラ２１により撮像された撮像画像は、車両１の周辺撮像画像データとして、車載通信装置２３に出力される。車載カメラ２１は、車両１の乗員が視認できる範囲を撮像する装置又は機器であればよく、その形態、数、特性、設置場所などは特に限定されない。例えば、車載カメラ２１は、複数のカメラ又は種別が複数のカメラで構成されていてもよい。

【0016】

例えば、車載カメラ２１が備える機能としては、車両１の揺れにより撮像画像が揺れるのを防止する揺れ防止機能が挙げられる。揺れ防止機能は、車両１の揺れが撮像画像に反映されるのを防止する機能である。車載カメラ２１が揺れ防止機能を備え、また当該機能が有効な場合、車載カメラ２１は、車両１が揺れている場合であっても、その揺れを抑制した画像を撮像する。車載カメラ２１は、揺れ防止機能を備えているか否かの情報、また備えている場合には、当該機能が有効又は無効であるか否かの情報を、車載カメラデータとして、車載通信装置２３に出力する。

【0017】

車載センサ２２は、車両１の現在の状態を検出するセンサである。車両１の現在の状態とは、車両１の現在の挙動である。車両１の現在の挙動は、車両１の現在の姿勢を含む。車載センサ２２の種類や数は特に限定されない。本実施形態では、車両１の挙動を示すパラメータとして、車両１の加速度及び角加速度を例に挙げて説明するが、車両１の挙動を示すパラメータは、車両１の加速度及び角速度のうち少なくともいずれか一つを含んでいればよい。図１に示すように、車載センサ２２は、加速度センサ２２ａ及び角加速度センサ２２ｂで構成される。

【0018】

加速度センサ２２ａは、車両１の３軸における加速度を計測するセンサ、いわゆる３軸加速度センサである。車両１の３軸とは、車両１の縦方向に沿う軸（ｘ軸）、車両１の横方向に沿う軸（ｙ軸）、車両１の上下方向に沿う軸（ｚ軸）である。加速度センサ２２ａとしては、例えば、ＭＥＭＳ型の加速度センサが挙げられる。なお、加速度センサ２２ａにおける加速度の計測方法は特に限定されない。加速度センサ２２ａにより計測された車両１の各軸の加速度は、車両１の加速度データとして、車載通信装置２３に出力される。加速度センサ２２ａは、車両１の３軸における加速度を計測する装置又は機器であればよく、その形態、数、特性、設置場所などは特に限定されない。例えば、加速度センサ２２ａは、複数の加速度センサ又は種別が複数の加速度センサで構成されていてもよい。

【0019】

角加速度センサ２２ｂは、車両１の回転運動を計測するセンサである。車両１の回転運動は、車両１のロール方向の回転運動、車両１のピッチ方向の回転運動、車両１のヨー方向の回転運動を含む。角加速度センサ２２ｂは、例えば、車両１のロール方向の角加速度を計測するロール角加速度センサ、車両１のピッチ方向の角加速度を計測するピッチ角加速度センサ、車両１のヨー方向の角加速度を計測するヨー角加速度センサで構成される。なお、角加速度センサ２２ｂにおける角加速度の計測方法は特に限定されない。角加速度センサ２２ｂにより計測された車両１の各方向の角加速度は、車両１の角加速度データとして、車載通信装置２３に出力される。角加速度センサ２２ｂは、車両１の３方向における角加速度を計測する装置又は機器であればよく、その形態、数、特性、設置場所などは特に限定されない。例えば、角加速度センサ２２ｂは、複数の角加速度センサ又は種別が複数の角加速度センサで構成されていてもよい。

【0020】

車載通信装置２３は、車両１の外部との間で無線によりデータを送受信する無線通信機能を備えた機器である。車載通信装置２３としては、例えば、テレマティクスコントロールユニット（TCU：Telematics Control Unit）が挙げられる。車載通信装置２３は、無線通信機能により、例えば、４Ｇ／ＬＴＥ、Ｗｉｆｉ（商標登録）等の通信規格を利用して、インターネットに接続し、車両１の外部に設けられたサーバーやシステムとの間で様々なデータの送受信を行う。車載通信装置２３には、車載カメラ２１から、車両１の周辺撮像画像データ及び車載カメラデータが入力される。また車載通信装置２３には、車載センサ２２から、車両１の加速度データ及び角加速度データが入力される。車載通信装置２３は、所定の周期ごとに、車両１の周辺撮像画像データ、加速度データ、及び角加速度データを画像生成装置１０に送信する。

【0021】

遠隔地空間３０について説明する。図１に示すように、遠隔地空間３０には、遠隔地通信装置３１、表示装置３２、遠隔地カメラ３３、及び遠隔地コントローラ３４が設けられている。遠隔地空間３０に設けられた各装置は、相互に情報の送受信を行うために、例えばイーサネット（商標登録）などによって接続されている。

【0022】

遠隔地通信装置３１は、遠隔地空間３０の外部との間で無線によりデータを送受信する無線通信機能を備えた機器である。遠隔地通信装置３１としては、例えば、ルーターが挙げられる。遠隔地通信装置３１が備える無線通信機能は、車載通信装置２３が備える無線通信機能と同様のため、車載通信装置２３が備える無線通信機能での説明を援用する。本実施形態では、遠隔地通信装置３１は、画像生成装置１０との間でデータの送受信を行う。遠隔地通信装置３１には、画像生成装置１０から画像データが入力され、遠隔地通信装置３１は、画像データを表示装置３２に出力する。また遠隔地通信装置３１には、遠隔地コントローラ３４から遠隔地ユーザＡの注視点情報が入力され、遠隔地通信装置３１は、遠隔地ユーザＡの注視点情報を画像生成装置１０に送信する。

【0023】

表示装置３２は、画像生成装置１０により生成された画像を表示する。表示装置３２には、遠隔地通信装置３１を介して、画像生成装置１０により生成された画像データが入力される。本実施形態では、表示装置３２は、遠隔地ユーザＡが装着するヘッドマウントディスプレイの画面表示部分である。なお、表示装置３２は、ヘッドマウントディスプレイに設けることに限定されず、例えば、液晶パネルなどのディスプレイを有したテレビやモニターなどであってもよい。

【0024】

遠隔地カメラ３３は、表示装置３２を視認する遠隔地ユーザＡを撮像する。遠隔地カメラ３３は、表示装置３２により表示された画像において、遠隔地ユーザＡが視認する対象を撮像できる場所に設けられるのが好ましい。例えば、遠隔地カメラ３３は、表示装置３２とともに、遠隔地ユーザＡが装着するヘッドマウントディスプレイに設けられている。遠隔地カメラ３３は、複数台であってもよく、例えば、表示装置３２により表示された画像（以降、表示画像ともいう）を撮像するカメラと、表示装置３２を視認する遠隔地ユーザＡの目を撮像するカメラとで構成されていてもよい。なお、表示装置３２により表示された画像を撮像するカメラ及び遠隔地ユーザＡを撮像するカメラは、複数台であってもよい。遠隔地カメラ３３により撮像された撮像画像は、遠隔地コントローラ３４に出力される。

【0025】

遠隔地コントローラ３４は、表示装置３２の表示画像において遠隔地ユーザＡが注視している対象を特定するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されるコンピュータである。遠隔地コントローラ３４は、例えば、表示装置３２及び遠隔地カメラ３３とともに、遠隔地ユーザＡが装着するヘッドマウントディスプレイに設けられている。なお、遠隔地コントローラ３４は、表示装置３２及び遠隔地カメラ３３とは別の場所に設けられていてもよい。

【0026】

遠隔地コントローラ３４は、遠隔地カメラ３３により撮像された、遠隔地ユーザＡの目が写る撮像画像及び表示装置３２の表示画像が写る撮像画像を取得する。遠隔地コントローラ３４は、画像処理により、遠隔地ユーザＡの視線方向を特定する。また遠隔地コントローラ３４は、画像処理により、表示装置３２の表示画像において、遠隔地ユーザＡの視線の先に位置する被写体を特定する。これにより、遠隔地コントローラ３４は、特定した被写体が遠隔地ユーザにより注視されている対象と判定し、当該被写体の位置を遠隔地ユーザＡの注視点として特定する。なお、遠隔地コントローラ３４による遠隔地ユーザＡの注視点を特定する方法は、本願出願時に知られた特定方法を適用できるものとし、上記特定方法に限定されるものではない。遠隔地コントローラ３４により特定された、遠隔地ユーザＡが注視している被写体、及び表示装置３２の表示画像における当該被写体の位置を含む遠隔地ユーザＡの注視点情報は、遠隔地通信装置３１に出力される。

【0027】

画像生成装置１０について説明する。本実施形態では、画像生成装置１０は、車内空間２０及び遠隔地空間３０の外部にあるサーバー（図示しない）に設けられている。画像生成装置１０は、サーバーにある通信装置（図示しない）を介して、車載通信装置２３及び遠隔地通信装置３１との間で、無線によりデータを送受信する。なお、画像生成装置１０の設置場所は特に限定されるものではなく、例えば、画像生成装置１０は、車両１に搭載されていてもよい。また例えば、画像生成装置１０は、遠隔地空間３０に設けられていてもよい。

【0028】

画像生成装置１０は、遠隔地ユーザＡが視認する画像を生成処理するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されるコンピュータである。画像生成装置１０は、車両情報取得部１１、記憶部１２、注視点情報取得部１３、画像生成部１４、及び表示制御部１５を有している。画像生成装置１０は、ＲＯＭに格納されたプログラムを実行することで、車両情報取得部１１、記憶部１２、注視点情報取得部１３、画像生成部１４、及び表示制御部１５の機能を実行することができる。画像生成装置１０の各機能について説明する。

【0029】

車両情報取得部１１は、車両１に設けられた装置から、車両１の挙動の情報を含む車両情報を取得する。具体的に、車両情報取得部１１は、車載通信装置２３を介して、車載カメラ２１により撮像された車両１の周辺撮像画像、車載カメラ２１の揺れ防止機能に関する情報、及び車載センサ２２により検出された車両１の加速度及び角加速度を取得する。例えば、車両情報取得部１１は、所定の周期ごとに、車両１から車両情報を取得する。

【0030】

記憶部１２は、車両１の内装を表した内装画像を記憶する。内装画像は、画像生成部１４により、車両１の車内空間２０を再現した仮想空間の生成に用いられる。記憶部１２は、複数の種別の内装画像を記憶しており、例えば、車両１の車種やグレードごとに、内装画像を記憶する。内装画像としては、例えば、ステアリング、シフトレバー、ナビゲーション操作部、エアコン操作部、ダッシュボード、スピードメーターなどを含むインストルメントパネルの画像が挙げられる。なお、内装画像は、インストルメントパネルの画像に限定されず、例えば、運転席の画像、助手席の画像、後部座席の画像、ドアの内側が表された画像、天井や床の画像などであってもよい。

【0031】

注視点情報取得部１３は、表示装置３２を視認する遠隔地ユーザＡの注視点に関する情報を取得する。注視点情報取得部１３は、遠隔地通信装置３１を介して、遠隔地コントローラ３４から、遠隔地ユーザＡの注視点情報を取得する。遠隔地ユーザＡの注視点情報は、少なくとも、表示装置３２の表示画像において遠隔地ユーザＡが注視している被写体、及び表示装置３２の表示画像における当該被写体の位置を含む。

【0032】

画像生成部１４は、車内空間２０を再現した仮想空間を生成し、所定の仮想視点から見た画像を生成する。また画像生成部１４は、車両１の挙動に合わせて被写体が揺動する画像を生成する。本実施形態では、車両１の車室内における仮想視点から所定方向を見た画像であって、車両１の挙動により被写体が揺動する画像を視点画像と称して説明する。

【0033】

画像生成部１４は、視点画像を生成するために、車両１の車室内における所定の位置に仮想視点を設定する。仮想視点を車室内のどの場所に設けるかは、特に限定されないが、仮想視点は、表示装置３２に画像が表示された際に、当該画像を視認する遠隔地ユーザＡが車両１に乗車していると体感可能な場所に設定されるのが好ましい。画像生成部１４は、例えば、車両１の乗員の頭部に相当する位置に仮想視点を設定する。なお、車両１の乗員の頭部の位置情報は、記憶部１２に予め記憶されている。

【0034】

次に、視点画像の生成方法の一例について説明する。画像生成部１４は、仮想視点を設定すると、車両１の周辺撮像画像に基づき、車両１の周辺の状況を表した画像を生成する。そして、画像生成部１４は、仮想視点から見た車両１の内装画像を記憶部１２から読み出し、内装画像を車両１の周辺の状況を表した画像に重畳させることで、車両１の車内空間２０を再現した仮想空間を生成する。さらに、画像生成部１４は、予め設定された仮想視野の範囲に基づき、仮想空間のうち、仮想視点を基準とした仮想視野の範囲に含まれる部分の画像を切り抜くことで、視点画像を生成する。

【0035】

図２は、視点画像を説明するための説明図である。図２（Ａ）は、画像生成部１４により生成された車両１の車室内を示す仮想空間の一例である。図２（Ａ）において、Ａは、カーナビゲーションのディスプレイａ及びステアリングｂを含む車両１の内装画像であり、Ｂは、車両１の周辺撮像画像である。画像生成部１４は、周辺撮像画像Ｂに対して、内装画像Ａを重畳して表示させることで、車両１の車室内を示す仮想空間を生成する。また図２（Ａ）において、Ｃは、仮想視点から車両１の前方を見た際に、仮想視野の範囲に含まれる部分を示す。

【0036】

図２（Ｂ）は、視点画像Ｃが表示装置３２に表示された様子を示す。表示装置３２は、仮想視点から車両１の前方を視た際の画像として、視点画像Ｃを表示する。図２の例では、視点画像Ｃは、仮想視点から見た車両１の車室内の状況を示す内装画像Ａと、仮想視点から見た車両１の周辺状況を示す車両１の周辺撮像画像Ｂとを含む。

【0037】

次に、視点画像における被写体の動きについて説明する。画像生成部１４は、視点画像に写る被写体のうち、少なくとも遠隔地ユーザＡが注視する被写体以外が車両１の挙動により揺動するように、視点画像を生成する。画像生成部１４は、視点画像に写る被写体のうち遠隔地ユーザＡが注視するオブジェクトを対象オブジェクトに設定する。本実施形態では、画像生成部１４は、遠隔地ユーザＡの注視点に基づいて、視点画像を構成する内装画像及び車両１の周辺撮像画像のうち何れか一方を対象オブジェクトに設定する。

【0038】

例えば、遠隔地ユーザＡが注視するオブジェクトが内装画像に写る被写体の場合、画像生成部１４は、内装画像を対象オブジェクトに設定する。図２（Ｂ）に示す視点画像の例において、遠隔地ユーザＡがディスプレイａを注視しているとする。画像生成部１４は、注視点情報取得部１３により取得された遠隔地ユーザＡの注視点情報から、遠隔地ユーザＡの注視点をディスプレイａの位置と特定した場合、ディスプレイａを含む内装画像Ａを対象オブジェクトに設定する。一方、例えば、遠隔地ユーザＡが注視するオブジェクトが車両１の周辺撮像画像に写る被写体の場合、画像生成部１４は、車両１の周辺撮像画像を対象オブジェクトに設定する。図２（Ｂ）に示す視点画像の例において、遠隔地ユーザＡが周辺撮像画像Ｂに写る車両１以外の他車両や信号機などを注視しているとする。画像生成部１４は、注視点情報取得部１３により取得された遠隔地ユーザＡの注視点情報から、遠隔地ユーザＡの注視点を他車両や信号機の位置と特定した場合、他車両や信号機を含む周辺撮像画像Ｂを対象オブジェクトに設定する。

【0039】

画像生成部１４は、内装画像又は車両１の周辺撮像画像に対象オブジェクトを設定すると、対象オブジェクトの揺動レベルを、対象オブジェクト以外の揺動レベルよりも低くした視点画像を生成する。揺動レベルとは、被写体が車両１の挙動に応じて揺動する揺動幅又は速さである。例えば、遠隔地ユーザＡが注視している対象が内装画像に含まれ、対象オブジェクトが内装画像に設定された場合、画像生成部１４は、内装画像が車両１の挙動に応じて揺動する揺動レベルを、車両１の周辺撮像画像が車両１の挙動に応じて揺動する揺動レベルよりも低くした視点画像を生成する。一方、例えば、遠隔地ユーザＡが注視している対象が車両１の周辺撮像画像に含まれ、対象オブジェクトが車両１の周辺撮像画像に設定された場合、画像生成部１４は、車両１の周辺撮像画像が車両１の挙動に応じて揺動する揺動レベルを、内装画像が車両１の挙動に応じて揺動する揺動レベルよりも低くした視点画像を生成する。なお、対象オブジェクトの揺動レベルが対象オブジェクト以外の揺動レベルよりも低ければよく、対象オブジェクトが車両１の挙動に応じて揺れるか否かは特に限定されない。

【0040】

本実施形態では、画像生成部１４は、対象オブジェクトの揺動レベルを、対象オブジェクト以外の揺動レベルよりも低くするために、車両１の挙動に合わせて対象オブジェクト以外の表示態様を変化させる。対象オブジェクト以外の表示態様の変化は、画像の大きさの変更、画像の表示位置の変更、及び画像の傾斜角度の変更のうち少なくともいずれか一つを含む。画像生成部１４は、対象オブジェクト以外の表示態様を変化させる割合を、車両１の挙動に応じた仮想視点の変位量と同じ割合に設定する。言い換えると、画像生成部１４は、仮想視点の変位量に対して正比例の関係で、対象オブジェクト以外の表示態様を変化させる。画像の大きさの変更、画像の表示位置の変更、及び画像の傾斜角度の変更について、それぞれ例を挙げて説明する。

【0041】

画像の大きさを変更する例について説明する。例えば、車両１が減速することにより、車両１に後ろ向きの加速度が生じた場合、車両１の乗員には前向きの加速度が生じる。この場合、画像生成部１４は、対象オブジェクト以外を所定の倍率で拡大させる。これにより、対象オブジェクト以外が拡大された仮想空間が生成される。そして、画像生成部１４は、生成した仮想空間から、仮想視点と対象オブジェクト以外との距離が縮まった様子を表現した視点画像を生成する。一方、例えば、車両１が加速することにより、車両１に前向きの加速度が生じた場合、車両１の乗員には後ろ向きの加速度が生じる。この場合、画像生成部１４は、対象オブジェクト以外を所定の倍率で縮小させる。これにより、対象オブジェクト以外が縮小された仮想空間が生成される。そして、画像生成部１４は、生成した仮想空間から、仮想視点と対象オブジェクト以外との距離が遠ざかった様子を表現した視点画像を生成する。

【0042】

画像の表示位置を変更する例について説明する。例えば、車両１が加速することによって車両１の姿勢が後方に沈みこんだ場合、車両１の乗員の視点は上向きに動かされる。この場合、画像生成部１４は、対象オブジェクト以外を所定の距離だけ下方向に移動させる。これにより、対象オブジェクト以外の表示位置が下方向に移動した仮想空間が生成される。そして、画像生成部１４は、生成した仮想空間から、仮想視点から見た対象オブジェクト以外が下方向に移動した様子を表現した視点画像を生成する。一方、例えば、車両１が減速することによって車両１の姿勢が前方に沈みこんだ場合、車両１の乗員の視点は下向きに動かされる。この場合、画像生成部１４は、対象オブジェクト以外を所定の距離だけ上方向に移動させる。これにより、対象オブジェクト以外の表示位置が上方向に移動した仮想空間が生成される。そして、画像生成部１４は、生成した仮想空間から、仮想視点から見た対象オブジェクト以外が上方向に移動した様子を表現した視点画像を生成する。

【0043】

画像の傾斜角度を変更する例について説明する。例えば、車両１が左周りのカーブを走行する際に車両１の姿勢が左側に傾いた場合、車両１の乗員の姿勢も左側に傾く。この場合、画像生成部１４は、対象オブジェクト以外を所定の角度だけ左側（反時計回りの方向）に傾ける。これにより、対象オブジェクト以外が左側に傾いた仮想空間が生成される。そして、画像生成部１４は、生成した仮想空間から、仮想視点から見た対象オブジェクト以外が左側に傾いた様子を表現した視点画像を生成する。一方、例えば、車両１が右周りのカーブを走行する際に車両１の姿勢が右側に傾いた場合、車両１の乗員の姿勢も右側に傾く。この場合、画像生成部１４は、対象オブジェクト以外を所定の角度だけ右側（時計回りの方向）に傾ける。これにより、対象オブジェクト以外が右側に傾いた仮想空間が生成される。そして、画像生成部１４は、生成した仮想空間から、仮想視点から見た対象オブジェクト以外が右側に傾いた様子を表現した視点画像を生成する。

【0044】

このように、画像生成部１４は、車両１の挙動に応じて、対象オブジェクト以外の大きさ、表示位置、及び傾斜角度を変化させることで、車両１の挙動に合わせて対象オブジェクト以外が揺れる視点画像を生成する。言い方を換えると、画像生成部１４は、車両１の挙動に応じて対象オブジェクト以外を揺らす処理（以降、揺動処理ともいう）として、対象オブジェクト以外の大きさを変更する処理、対象オブジェクト以外の表示位置を変更する処理、対象オブジェクト以外の傾斜角度を変更する処理、及びこれらの処理の組み合わせのうち少なくとも何れか一つを実行する。

【0045】

ここで、揺動レベルと対象オブジェクト以外の表示態様との関係について説明する。画像生成部１４は、車両１の車両情報のうち、車両１の加速度及び角加速度に基づいて、対象オブジェクト以外の揺動レベルを設定する。例えば、画像生成部１４は、車両１の加速度が速いほど、又は車両１の角加速度が速いほど、揺動レベルを大きく設定し、対象オブジェクト以外がより揺れる揺動処理を実行する。画像生成部１４は、対象オブジェクトの揺動幅が対象オブジェクト以外の揺動幅に比べて小さい視点画像、及び対象オブジェクトの速さが対象オブジェクト以外の速さに比べて遅い視点画像のうち少なくとも何れか一方の視点画像を生成する。

【0046】

画像生成部１４は、対象オブジェクト以外の大きさを変更する処理において、揺動レベルが大きいほど、対象オブジェクト以外の拡大率を大きく、又は対象オブジェクト以外の縮小率を小さく設定する。また画像生成部１４は、揺動レベルが大きいほど、対象オブジェクト以外が設定された拡大率又は縮小率の大きさに変更するまでに要する時間を短く設定する。これにより、対象オブジェクト以外の揺動レベルが大きいほど、すなわち、車両１が揺れている程度が大きいほど、対象オブジェクト以外の大きさが変化する速さは速く、またその大きさが変化する割合は大きくなる。

【0047】

また画像生成部１４は、対象オブジェクト以外の表示位置を変更する処理において、揺動レベルが大きいほど、対象オブジェクト以外が移動する距離を長く設定する。また画像生成部１４は、揺動レベルが大きいほど、対象オブジェクト以外が変更された表示位置までの移動に要する時間を短く設定する。これにより、対象オブジェクト以外の揺動レベルが大きいほど、すなわち、車両１が揺れている程度が大きいほど、対象オブジェクト以外が移動する速度は速く、またその移動距離は長くなる。

【0048】

また画像生成部１４は、対象オブジェクト以外の傾斜角度を変更する処理において、揺動レベルが大きいほど、対象オブジェクト以外が傾斜する角度を大きく設定する。また画像生成部１４は、揺動レベルが大きいほど、対象オブジェクト以外が傾斜するまでに要する時間を短く設定する。これにより、対象オブジェクト以外の揺動レベルが大きいほど、すなわち、車両１が揺れている程度が大きいほど、対象オブジェクト以外が傾斜する速度は速く、またその傾斜角度は大きくなる。

【0049】

表示制御部１５は、画像生成部１４により生成された視点画像を、遠隔地空間３０に設けられた表示装置３２に表示するための制御信号を出力する。例えば、表示制御部１５は、視点画像の画像データを表示装置３２が表示可能な制御信号に変換する。表示制御部１５は、サーバーに設けられた通信装置（図示しない）を介して、変換した制御信号を遠隔地通信装置３１に送信する。

【0050】

次に、図３に示すフローチャートを用いて、画像生成装置１０により実行される画像表示制御フローについて説明する。図３は、画像生成装置１０により実行される画像表示制御を示すフローチャートである。画像生成装置１０は、所定の周期ごとに、図３に示すフローチャートの処理を実行する。

【0051】

ステップＳ１０１では、画像生成装置１０は、車両１に設けられた装置から車両情報を取得する。車両情報は、車載カメラ２１により撮像された車両１の周辺撮像画像、車載カメラ２１の揺れ防止機能に関する情報、加速度センサ２２ａにより計測された車両１の３軸における加速度、及び角加速度センサ２２ｂにより計測された車両１の３方向における角加速度を含む。なお、ステップＳ１０１において、画像生成装置１０は、所定の周期ごとに車両情報を取得し、所定時間が経過した後、ステップＳ１０１の処理を終了する。

【0052】

ステップＳ１０２では、画像生成装置１０は、遠隔地通信装置３１を介して、遠隔地コントローラ３４から、遠隔地ユーザＡの注視点情報を取得する。遠隔地ユーザＡの注視点情報は、表示装置３２の表示画像において遠隔地ユーザＡが視認している被写体、及び表示装置３２の表示画像における当該被写体の位置を含む。

【0053】

ステップＳ１０３では、画像生成装置１０は、ステップＳ１０２で取得した遠隔地ユーザＡの注視点情報から、遠隔地ユーザＡが注視している被写体が内装画像又は車両１の周辺撮像画像の何れかに含まれているかを判定する。画像生成装置１０は、遠隔地ユーザＡの注視点情報から、遠隔地ユーザＡが注視している被写体が内装画像に写るオブジェクトと特定した場合、内装画像を対象オブジェクトに設定する。一方、画像生成装置１０は、遠隔地ユーザＡの注視点情報から、遠隔地ユーザＡが注視している被写体が車両１の周辺撮像画像に写るオブジェクトと特定した場合、車両１の周辺撮像画像を対象オブジェクトに設定する。遠隔地ユーザＡの注視点情報から、遠隔地ユーザＡを特定する方法としては、例えば、遠隔地ユーザＡが注視している被写体の種別から特定する方法、表示装置３２の表示画像において遠隔地ユーザＡの注視点の位置から特定する方法などが挙げられる。対象オブジェクトが内装画像に設定された場合、ステップＳ１０４に進み、対象オブジェクトが車両１の周辺撮像画像に設定された場合、ステップＳ１０８に進む。

【0054】

ステップＳ１０３において、対象オブジェクトが内装画像に設定された場合、ステップＳ１０４に進む。ステップＳ１０４では、画像生成装置１０は、車載カメラ２１の揺れ防止機能が有効であるか否かを判定する。例えば、画像生成装置１０は、ステップＳ１０１で取得した車両情報のうち車載カメラ２１の揺れ防止機能に関する情報に基づき、車載カメラ２１が備える揺れ防止機能が有効であるか否かを判定する。車載カメラ２１の揺れ防止機能が有効と判定された場合、ステップＳ１０５に進み、車載カメラ２１の揺れ防止機能が無効と判定された場合、ステップＳ１０６に進む。

【0055】

ステップＳ１０４において、車載カメラ２１の揺れ防止機能が有効と判定された場合、ステップＳ１０５に進む。ステップＳ１０５では、画像生成装置１０は、ステップＳ１０３で内装画像が対象オブジェクトとして設定されているため、対象オブジェクト以外である車両１の周辺撮像画像に対して、揺動処理を実行する。ステップＳ１０３で車載カメラ２１の揺れ防止機能が有効と判定されているため、車両１の周辺撮像画像は、車両１の揺れに応じて揺れない又は揺れにくい。このため、このステップにおいて、画像生成装置１０は、車両１の周辺撮像画像に対して揺動処理を実行し、車両１の揺れに応じて揺れるように車両１の周辺撮像画像に加工する。揺動処理は、車両１の周辺撮像画像の大きさを変更する処理、車両１の周辺撮像画像の表示位置を変更する処理、及び車両１の周辺撮像画像の傾斜角度を変更する処理のうち少なくとも何れかを含む。

【0056】

ステップＳ１０６では、画像生成装置１０は、車両１の乗員の頭部に相当する位置に仮想視点を設定し、車両１の周辺撮像画像に対して、内装画像を重畳させることで、車両１の車内空間を再現した仮想空間を生成する（図２（Ａ）参照）。そして、画像生成装置１０は、仮想空間のうち、仮想視点を基準とした仮想視野に含まれる部分の画像を切り出すことで、車両１の車室内における仮想視点から所定方向を見た画像である視点画像を生成する（図２（Ｂ）参照）。

【0057】

ステップＳ１０５からステップＳ１０６に進んだ場合、画像生成装置１０は、ステップＳ１０５で車両１の揺れに応じて揺れるように加工された車両１の周辺撮像画像を用いる。一方、ステップＳ１０４からステップＳ１０６に進んだ場合、画像生成装置１０は、車載カメラ２１により撮像された車両１の周辺撮像画像そのものを用いる。ステップＳ１０４で車載カメラ２１の揺れ防止機能が無効と判定されているため、車載カメラ２１により撮像された車両１の周辺撮像画像は、車両１の揺れに応じて揺れるためである。

【0058】

ステップＳ１０７では、画像生成装置１０は、サーバーに設けられた通信装置及び遠隔地通信装置３１を介して、ステップＳ１０８で生成した視点画像を表示装置３２に出力する。画像生成装置１０は、ステップＳ１０８での処理が終了すると、図３に示すフローチャートの処理を終了させる。

【0059】

ステップＳ１０３において、対象オブジェクトが車両１の周辺撮像画像に設定された場合、ステップＳ１０８に進む。ステップＳ１０８では、画像生成装置１０は、車載カメラ２１の揺れ防止機能が有効であるか否かを判定する。ステップＳ１０８は、ステップＳ１０４に対応するため、ステップＳ１０４での説明を援用する。車載カメラ２１の揺れ防止機能が有効と判定された場合、ステップＳ１０９に進み、車載カメラ２１の揺れ防止機能が無効と判定された場合、ステップＳ１１１に進む。

【0060】

ステップＳ１０８において、車載カメラ２１の揺れ防止機能が有効と判定された場合、ステップＳ１０９に進む。ステップＳ１０９では、画像生成装置１０は、ステップＳ１０３で車両１の周辺撮像画像が対象オブジェクトとして設定されているため、対象オブジェクト以外である内装画像に対して、揺動処理を実行する。揺動処理は、車両１の内装画像の大きさを変更する処理、車両１の内装画像の表示位置を変更する処理、及び車両１の内装画像の傾斜角度を変更する処理のうち少なくとも何れかを含む。

【0061】

ステップＳ１１０では、画像生成装置１０は、車両１の車室内における仮想視点から所定方向を見た画像である視点画像を生成する。ステップＳ１１０は、ステップＳ１０６に対応するため、ステップＳ１０６での説明を援用する。ステップＳ１１０での処理が終了すると、ステップＳ１０７に進む。ステップＳ１０７の説明は既述の説明を援用する。

【0062】

ステップＳ１０８において、車載カメラ２１の揺れ防止機能が無効と判定された場合、ステップＳ１１１に進む。ステップＳ１１１では、画像生成装置１０は、車両１の周辺撮像画像が車両１の揺れに応じて揺れるため、車両１の周辺撮像画像の揺れを低減させる。画像生成装置１０は、車両１が揺れても車両１の周辺撮像画像の揺れが低減されるように、揺れ低減処理を実行する。これにより、車両１の揺れた場合であっても、遠隔地ユーザＡが注視しているオブジェクトが揺れにくくなるため、遠隔地ユーザＡが酔う可能性を低減させることができる。ステップＳ１０８での処理が終了すると、ステップＳ１０９に進む。ステップＳ１０９以降の説明は既述の説明を援用する。なお、画像生成装置１０には、本願出願時に知られた揺れ低減処理を適用できるものとする。

【0063】

以上のように、本実施形態に係る画像生成装置１０は、車両１に設けられた車載カメラ２１及び車載センサ２２から、車両１の挙動の情報を含む車両情報を取得する車両情報取得部１１と、車両１の車室内における仮想視点から所定方向を見た画像であって、被写体が車両１の挙動により揺動する画像を視点画像として生成する画像生成部１４と、画像生成部１４により生成された画像を、遠隔地空間３０に設けられた表示装置３２に表示するための制御信号を出力する表示制御部１５と、表示装置３２を視認する遠隔地ユーザＡの注視点に関する情報を取得する注視点情報取得部１３と、を備える。本実施形態では、画像生成部１４は、視点画像に写る被写体のうち遠隔地ユーザＡの注視点に対応する対象オブジェクトの揺動レベルを、対象オブジェクト以外の揺動レベルよりも低くした視点画像を生成する。これにより、車両１に乗車していない遠隔地ユーザＡは、自身が注視している対象以外が車両１の挙動に応じて揺れる視点画像を視認することで、没入感が阻害されることなく、視覚を通じて車両１の挙動を把握しやすくなる。また遠隔地ユーザＡが注視している対象は、当該対象以外に比べて、車両１の挙動に応じて揺れにくくなるため、遠隔地ユーザＡが酔うことを抑制することができる。

【0064】

また、本実施形態では、揺動レベルは、内装画像又は車両１の撮像画像が車両１の挙動に応じて揺動する揺動幅又は速さである。これにより、遠隔地ユーザＡは、自身の周辺視野で捉えている対象から、車両１がどのような挙動をしているかを直感的に把握することができる。

【0065】

さらに、本実施形態では、画像生成部１４は、対象オブジェクトの揺動幅が対象オブジェクト以外の揺動幅に比べて小さい視点画像、及び対象オブジェクトの速さが対象オブジェクト以外の速さに比べて遅い視点画像のうち少なくとも何れか一方の視点画像を生成する。これにより、遠隔地ユーザＡの中心視野に含まれる対象は揺れにくく、遠隔地ユーザＡの周辺視野に含まれる対象は揺れやすくなるため、遠隔地ユーザＡが酔うことを抑制することができる。

【0066】

加えて、本実施形態では、車両情報は、車両に設けられた車載カメラ２１により、車両１の周辺が撮像された車両１の周辺撮像画像を含み、視点画像は、仮想視点から見た車両の内装を示す内装画像、及び車両１の周辺撮像画像を含む。画像生成部１４は、遠隔地ユーザＡの注視点に基づいて、内装画像及び車両１の周辺撮像画像のうち何れか一方を対象オブジェクトに設定する。これにより、遠隔地ユーザＡが車両１の周辺を注視している場合、車両１の周辺撮像画像の揺動レベルを内装画像の揺動レベルよりも低くした視点画像を生成することができる。また、遠隔地ユーザＡが車両１の車内空間している場合、内装画像の揺動レベルを車両１の周辺撮像画像の揺動レベルよりも低くした視点画像を生成することができる。

【0067】

また、本実施形態では、画像生成部１４は、車両１の周辺撮像画像を対象オブジェクトに設定した場合、車両１の周辺撮像画像の揺動レベルを、内装画像の揺動レベルに比べて低くした視点画像を生成する。これにより、遠隔地ユーザＡが車両１の周辺を注視している場合、遠隔地ユーザＡが酔うことを抑制しつつ、内装画像の揺れにより車両１の挙動を直感的に把握することができる。

【0068】

さらに、本実施形態では、画像生成部１４は、内装画像を対象オブジェクトに設定した場合、内装画像の揺動レベルを、車両１の周辺撮像画像の揺動レベルに比べて低くした視点画像を生成する。これにより、遠隔地ユーザＡが車両１の車内空間を注視している場合、遠隔地ユーザＡが酔うことを抑制しつつ、車両１の周辺撮像画像の揺れにより車両１の挙動を直感的に把握することができる。

【0069】

加えて、本実施形態では、車両１の車両情報は、車両１の加速度及び角加速度のうち少なくともいずれか一方を含む。これにより、車両１の挙動に合わせて被写体が揺動する視点画像を生成することができる。

【0070】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0071】

例えば、上述した実施形態では、対象オブジェクトとして、内装画像又は車両１の周辺撮像画像を例に挙げて説明したが、内装画像又は車両１の周辺撮像画像を択一的に選択して対象オブジェクトを設定する方法に限定されず、遠隔地ユーザＡの注視点を含む所定の範囲を対象オブジェクトに設定してもよい。この場合、画像生成装置１０は、対象オブジェクトとして設定された所定の範囲の揺動レベルを、所定の範囲より外側の揺動レベルよりも低くした視点画像を生成する。上述した実施形態に比べて、画像生成部１４が異なる変形例に係る画像生成装置１０について説明する。

【0072】

図４を用いて、変形例に係る画像生成装置１０により実行される画像表示制御フローについて説明する。図４は、変形例に係る画像生成装置１０により実行される画像表示制御を示すフローチャートである。図４のフローチャートは、図３のフローチャートに比べて、ステップＳ１０３～ステップＳ１０６及びステップＳ１０８～ステップＳ１１０を、ステップＳ２０１～ステップＳ２０４に置き換えたものである。したがって、図３のフローチャートを用いて説明したステップについては、既述の説明を援用し、ステップＳ２０１～ステップＳ２０４について説明する。

【0073】

ステップＳ２０１では、画像生成装置１０は、車載カメラ２１の揺れ防止機能が有効であるか否かを判定する。ステップＳ２０１は、図３のステップＳ１０４及びステップＳ１０８に対応するため、ステップＳ１０４及びステップＳ１０８での説明を援用する。車載カメラ２１の揺れ防止機能が有効と判定された場合、ステップＳ２０２に進み、車載カメラ２１の揺れ防止機能が無効と判定された場合、ステップＳ２０４に進む。

【0074】

ステップ２０１において、車載カメラ２１の揺れ防止機能が有効と判定された場合、ステップＳ２０２に進む。ステップＳ２０２では、画像生成装置１０は、遠隔地ユーザＡの注視点を含む所定の範囲より外側に対して、揺動処理を実行する。例えば、画像生成装置１０は、ステップＳ１０２で取得した遠隔地ユーザＡの注視点情報から、表示装置３２の表示画像において遠隔地ユーザＡが注視している被写体の位置を特定する。画像生成装置１０は、当該被写体を含む所定の範囲を対象オブジェクトに設定する。所定の範囲は、遠隔地ユーザＡが注視している被写体を含む範囲であればよく、その形状、大きさなどは特に限定されない。例えば、所定の範囲は、遠隔地ユーザＡの中心視野を示す範囲として、記憶部１２に予め記憶されている。

【0075】

画像生成装置１０は、遠隔地ユーザＡの注視点を含む所定の範囲を対象オブジェクトに設定すると、対象オブジェクトの外側に対して、揺動処理を実行する。例えば、対象オブジェクトとして、遠隔地ユーザＡの中心視野の範囲が設定された場合、画像生成装置１０は、遠隔地ユーザＡの周辺視野に含まれる対象について、揺動処理を実行する。変形例において、揺動処理の対象は、内装画像、車両１の周辺撮像画像、又は、内装画像及び車両１の周辺撮像画像の両方のいずれかである。ステップＳ２０１での揺動処理は、図３に示すステップＳ１０５及びステップＳ１０９での揺動処理と同様である。このため、揺動処理の説明は、これらのステップでの説明を援用する。

【0076】

ステップＳ２０３では、画像生成装置１０は、車両１の乗員の頭部に相当する位置に仮想視点を設定し、車両１の周辺撮像画像に対して、内装画像を重畳させることで、車両１の車内空間を再現した仮想空間を生成する。そして、画像生成装置１０は、仮想空間から、車両１の車室内における仮想視点から所定方向を見た画像である視点画像を生成する。

【0077】

ステップＳ２０１からステップＳ２０４を経てステップＳ２０３に進んだ場合、画像生成装置１０は、ステップＳ２０４で車両１の揺れに応じて揺れるように加工された車両１の周辺撮像画像を用いる。一方、ステップＳ２０１からステップＳ２０２を経てステップＳ２０３に進んだ場合、画像生成装置１０は、車載カメラ２１により撮像された車両１の周辺撮像画像そのものを用いる。ステップＳ２０１で車載カメラ２１の揺れ防止機能が無効と判定されているため、車載カメラ２１により撮像された車両１の周辺撮像画像は、車両１の揺れに応じて揺れるためである。

【0078】

ステップＳ２０３の処理が終了すると、ステップＳ１０７に進み、ステップＳ２０３で生成された視点画像は、表示装置３２に出力される。

【0079】

ステップＳ２０１において、車載カメラ２１の揺れ防止機能が有効と判定された場合、ステップＳ２０４に進む。ステップＳ２０４では、画像生成装置１０は、車両１の周辺撮像画像が車両１の揺れに応じて揺れるため、車両１の周辺撮像画像の揺れを低減させる。ステップＳ２０４は、図３のステップＳ１１１に対応するため、ステップＳ１１１での説明を援用する。ステップＳ２０４での処理が終了すると、ステップＳ２０２に進む。ステップＳ２０２以降の説明は既述の説明を援用する。

【0080】

以上のように、変形例に係る画像生成装置１０が備える画像生成部１４は、視点画像のうち、前記ユーザの注視点を含む所定の範囲を対象オブジェクトに設定する。これにより、例えば、遠隔地ユーザＡの中心視野に含まれる被写体の揺動レベルを、遠隔地ユーザＡの周辺視野に含まれる被写体の揺動レベルよりも低くした視点画像を生成することができる。遠隔地ユーザＡの実際の中心視野及び周辺視野に合わせた視点画像を生成することができるため、遠隔地ユーザＡは、没入感が阻害されることなく、視覚を通じて車両１の挙動を把握しやすくなる。また遠隔地ユーザＡの中心視野に含まれる対象は、当該対象以外に比べて、車両１の挙動に応じて揺れにくくなり、遠隔地ユーザＡが酔うことを抑制することができる。

【0081】

なお、変形例に係る画像生成装置１０が実行する揺動処理は、例えば、対象オブジェクト以外の揺動レベルについて、揺動レベルを一律にせず、遠隔地ユーザＡの注視点からの距離が遠いほど、揺動レベルを大きくしてもよい。これにより、遠隔地ユーザＡの周辺視野において、中心視野に近いほど、車両１の挙動に応じて揺れにくくなるため、遠隔地ユーザＡは中心視野に含まれる対象を視認しやすくなる。また、遠隔地ユーザＡの周辺視野において、中心視野から遠いほど、車両１の挙動に応じて揺れやすくなるため、遠隔地ユーザＡは、周辺視野で車両１の挙動を直感的に把握しやすくなる。

【0082】

また変形例に係る画像生成装置１０が実行する揺動処理は、例えば、対象オブジェクトとして設定された所定の範囲と当該範囲の境界付近において、揺動レベルの差に変曲点ができないように、モーフィング処理により、揺動レベルが経時的に徐々に変化させる処理であってもよい。遠隔地ユーザＡの中心視野と周辺視野の境界において、連続的に揺動レベルが変化するため、例えば、車両１が突然大きく揺れた場合であっても、遠隔地ユーザＡが違和感を覚えるのを抑制することができる。

【0083】

また上述の実施形態では、表示装置３２として遠隔地ユーザＡが装着するヘッドマウントディスプレイの画面表示部分を例に挙げて説明したが、この場合、仮想視点は、予め設定された視点ではなく、遠隔地ユーザＡの視点となり、また遠隔地ユーザＡの頭部の動きに応じて動く視点であってもよい。画像生成装置１０は、車両１の挙動に加えて、遠隔地ユーザＡの頭部の動きに合わせた内装画像にすることで、遠隔地ユーザＡは、自身が装着可能なデバイスにおいても、車両１の挙動を把握しやすくなる。なお、図５は、表示装置３２がヘッドマウントディスプレイに組み込まれた場合における仮想空間の例である。

【0084】

また上述の実施形態では、仮想視点から車両１の前方を見た画像を視点画像として説明したが、仮想視点から見る方向は車両１の前方に限定されず、例えば、仮想視点から車両１の左側方又は右側方を見た画像を視点画像としてもよい。

【0085】

また上述の実施形態では、車両１の内装画像が記憶部１２に記憶されている構成を例に挙げて説明したが、車両１の内装画像は、車両１に搭載され、車両１の車室内を撮像するカメラにより撮像された撮像画像であってもよい。

【0086】

また上述の実施形態において、図３のステップＳ１０４及びステップＳ１０８の処理は必ずしも実行する必要はなく、例えば、画像生成装置１０は、遠隔地ユーザＡに初めて視点画像を表示装置３２に出力する場合に限り、これらの処理を実行してもよい。

【0087】

また上述の実施形態では、遠隔地ユーザＡの注視点を特定する処理を遠隔地コントローラ３４が実行する場合を例に挙げて説明したが、これに限られず、画像生成装置１０は、遠隔地コントローラ３４の代わりとして、遠隔地ユーザＡの注視点を特定するための注視点特定部を備えていてもよい。この場合、画像生成装置１０は、遠隔地カメラ３３により撮像された撮像画像を取得し、当該撮像画像に基づいて、遠隔地ユーザＡの注視点を特定する。

【符号の説明】

【0088】

１００…画像表示システム
１…車両
２１…車載カメラ
２２…車載センサ
２２ａ…加速度センサ
２２ｂ…角加速度センサ
２３…車載通信装置
１０…画像生成装置
１１…車両情報取得部
１２…記憶部
１３…注視点情報取得部
１４…画像生成部
１５…表示制御部
３１…遠隔地通信装置
３２…表示装置
３３…遠隔地カメラ
３４…遠隔地コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】