特開 2022-154860 画像生成装置及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022154860

(43)【公開日】2022-10-13

(54)【発明の名称】画像生成装置及び画像生成方法

(51)【国際特許分類】

   G09B 9/05 20060101AFI20221005BHJP

【ＦＩ】

G09B9/05 E

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021058116

(22)【出願日】2021-03-30

(71)【出願人】

【識別番号】000176730

【氏名又は名称】三菱プレシジョン株式会社

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】大貫 正明

(72)【発明者】

【氏名】赤松 幹之

(72)【発明者】

【氏名】佐藤 稔久

(72)【発明者】

【氏名】北崎 智之

(72)【発明者】

【氏名】浅原 亮太

(57)【要約】

【課題】現実の移動物体における景観に対して違和感の少ない模擬視界画像を生成できる画像生成装置を提供する。
【解決手段】画像生成装置は、近方画像を表示する近方画像領域と遠方画像を表示する遠方画像領域とを有し、移動物体から見える視界を模擬的に表示する模擬視界画像を生成する装置であって、移動物体の所定の向きの回転に応じて、遠方画像を視点変換して、視点変換後の遠方画像を生成し、移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、移動物体が所定の向きに回転した際に生じる第１角加速度とは反対の向きの大きさを有する第２角加速度を生じさせる外力とを受けた時における、質点の運動を求め、質点の動きに応じて、視点変換後の遠方画像の位置及び近方画像の位置を補正し、近方画像領域に補正後の近方画像を表示し、遠方画像領域に補正後の遠方画像を表示して、視点変換後の模擬視界画像を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、前記近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、前記移動物体から見える視界を模擬的に表示する模擬視界画像を生成する画像生成装置であって、
前記移動物体の所定の向きの回転に応じて、前記遠方画像を視点変換して、視点変換後の前記遠方画像を生成する、第１画像生成部と、
前記移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、前記移動物体が前記所定の向きに回転した際に生じる第１角加速度とは反対の向きの大きさを有する第２角加速度を生じさせる外力とを受けた時における、前記質点の運動を求める質点運動計算部と、
前記質点の動きに応じて、視点変換後の前記遠方画像の位置を補正し、且つ、前記遠方画像の位置が補正される向きとは反対の方向に、前記遠方画像の位置の補正量と同じ量だけ前記近方画像の位置を補正する補正部と、
前記近方画像領域に補正後の前記近方画像を表示し、前記遠方画像領域に補正後の前記遠方画像を表示して、視点変換後の前記模擬視界画像を生成する第２画像生成部と、
を有することを特徴とする画像生成装置。

【請求項2】

前記第２画像生成部は、視点変換後の前記遠方画像の位置の補正量が、所定の範囲を超える場合、前記近方画像領域に補正をする前の前記近方画像を配置し、前記遠方画像領域に、補正をする前の視点変換後の前記遠方画像を配置して、視点変換後の前記模擬視界画像を生成する、請求項１に記載の画像生成装置。

【請求項3】

前記移動物体の前記所定の向きの回転は、前記移動物体の重心に原点を有する直角座標系が有する３軸のうちの何れかの軸の周りの回転であり、
前記質点運動計算部は、前記移動物体に搭乗するユーザの位置と前記軸との間の距離と、前記第２角加速度との積に基づいて、前記外力を求める請求項１又は２に記載の画像生成装置。

【請求項4】

移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、前記近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、移動物体から見える視界を模擬的に表示する模擬視界画像を生成する画像生成装置であって、
前記模擬視界画像は、前記移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、前記近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、
前記移動物体の所定の向きの並進移動に応じて、前記遠方画像を視点変換して、視点変換後の前記遠方画像を生成する、第１画像生成部と、
前記移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、前記移動物体が前記所定の向きに並進移動した際に生じる第１加速度とは反対の向きの大きさを有する第２加速度を生じさせる外力とを受けた時における、前記質点の運動を求める質点運動算出部と、
前記質点の動きに応じて、視点変換後の前記遠方画像の位置を補正し、且つ、前記遠方画像の位置が補正される向きとは反対の方向に、前記遠方画像の位置の補正量と同じ量だけ前記近方画像の位置を補正する補正部と、
前記近方画像領域に前記近方画像を表示し、前記遠方画像領域に補正後の前記遠方画像を表示して、視点変換後の前記模擬視界画像を生成する第２画像生成部と、
を有することを特徴とする画像生成装置。

【請求項5】

移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、前記近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、移動物体から見える視界を模擬的に表示する模擬視界画像を生成する画像生成方法であって、
前記移動物体の所定の向きの回転に応じて、前記遠方画像を視点変換して、視点変換後の前記遠方画像を生成し、
前記移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、前記移動物体が前記所定の向きに回転した際に生じる第１角加速度とは反対の向きの大きさを有する第２角加速度を生じさせる外力とを受けた時における、前記質点の運動を求め、
前記質点の動きに応じて、視点変換後の前記遠方画像の位置を補正し、且つ、前記遠方画像の位置が補正される向きとは反対の方向に、前記遠方画像の位置の補正量と同じ量だけ前記近方画像の位置を補正し、
前記近方画像領域に前記近方画像を表示し、前記遠方画像領域に補正後の前記遠方画像を表示して、視点変換後の前記模擬視界画像を生成する、
ことを特徴とする画像生成方法。

【請求項6】

移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、前記近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、移動物体から見える視界を模擬的に表示する模擬視界画像を生成する画像生成方法であって、
前記移動物体の所定の方向への並進移動に応じて、前記遠方画像を視点変換して、視点変換後の前記近方画像及び前記遠方画像を生成し、
前記移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、前記移動物体が前記所定の向きに並進移動した際に生じる第１加速度とは反対の向きの大きさを有する第２加速度を生じさせる外力とを受けた時における、前記質点の運動を求め、
前記質点の動きに応じて、視点変換後の前記遠方画像の位置を補正し、且つ、前記遠方画像の位置が補正される向きとは反対の方向に、前記遠方画像の位置の補正量と同じ量だけ前記近方画像の位置を補正する、
前記近方画像領域に前記近方画像を表示し、前記遠方画像領域に補正後の前記遠方画像を表示して、視点変換後の前記模擬視界画像を生成する、
ことを特徴とする画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置及び画像生成方法に関する。

【背景技術】

【0002】

従来、自動車等の車両の運転及び走行を模擬する車両運転模擬装置は、運転席から見えることになる模擬視界画像を生成する画像生成装置を有している。車両運転模擬装置のユーザは、画像生成装置により生成された模擬視界画像を見ながら、自動車等の車両の運転の訓練を行う（例えば、特許文献１参照）。

【0003】

車両運転模擬装置は、ユーザが着座する運転席と、ユーザが操作するステアリング、アクセルペダル及びブレーキペダルと、運転席から見えることになる景観を表示する表示装置とを備える。

【0004】

車両運転模擬装置は、ユーザの操作に基づいて、ユーザが模擬的に運転する車両の運動を計算し、且つ、運転席から見えることになる景観を生成する。また、車両運転模擬装置は、景観の中を移動する人物又は他の車両等の移動物体の運動を計算する。そして、車両運転模擬装置は、生成した景観及び移動物体を含む模擬視界画像を生成して、表示装置に表示する。

【0005】

画像生成装置により生成される模擬視界画像は、車両運転模擬装置を操作するユーザの視点位置が車両に固定された時の、ユーザの視界に映される景観を模擬している。

【0006】

そのため、ユーザの操作に応じて車両が進行方向を変化すると、車両の進行方向の変化に対応して視点変換された模擬視界画像が、画像生成装置により生成される。

【0007】

図１（Ａ）は、従来の画像生成装置により生成された模擬視界画像を説明する図である。車両が上下、左右又は前後に振動（又は移動）すると、模擬視界画像も車両の振動と対応して振動する。模擬視界画像の全体が、車両の振動と同じように振動しており、模擬視界画像内の物体１００も、車両の振動と同じように振動する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１０－１１７６６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかし、実際に車両を運転しているユーザは、体がシートベルト等に運転席に固定されているものの、車両の上下、左右又は前後への振動と同じように、ユーザが視線を向けている景観内の位置（注視位置）が変化しているわけではない。

【0010】

ユーザは、車両の振動を打ち消す方向に体及び眼球を動かして、景観内の注視位置を変化させないようにしている。

【0011】

図１（Ｂ）は、ユーザの眼に見える景観を説明する図である。車両の振動と同じように車両のフロントウィンドウが景観に対して変化するものの、ユーザの注視位置は、景観内の物体１０１に固定されているので、ユーザの眼球の網膜に映る景観としては、物体１０１はほぼ止まっているように見える。

【0012】

このように、画像生成装置により生成される模擬視界画像と、車両を運転している時にユーザに見える景観とは違いがある。これにより、車両運転模擬装置を操作するユーザは、違和感又は画像酔いを覚えるおそれがある。

【0013】

そこで、現実の移動物体における景観に対して違和感の少ない模擬視界画像を生成できる画像生成装置が望まれている。

【0014】

そこで、本明細書は、現実の移動物体における景観に対して違和感の少ない模擬視界画像を生成できる画像生成装置を提供することを課題とする。

【課題を解決するための手段】

【0015】

一の実施形態によれば、画像生成装置が提供される。この画像生成装置は、移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、移動物体から見える視界を模擬的に表示する模擬視界画像を生成する画像生成装置であって、移動物体の所定の向きの回転に応じて、遠方画像を視点変換して、視点変換後の遠方画像を生成する、第１画像生成部と、移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、移動物体が所定の向きに回転した際に生じる第１角加速度とは反対の向きの大きさを有する第２角加速度を生じさせる外力とを受けた時における、質点の運動を求める質点運動計算部と、質点の動きに応じて、視点変換後の遠方画像の位置を補正し、且つ、遠方画像の位置が補正される向きとは反対の方向に、遠方画像の位置の補正量と同じ量だけ近方画像の位置を補正する補正部と、近方画像領域に補正後の近方画像を表示し、遠方画像領域に補正後の遠方画像を表示して、視点変換後の模擬視界画像を生成する第２画像生成部と、を有することを特徴とする。

【0016】

他の実施形態によれば、画像生成装置が提供される。この画像生成装置は、移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、移動物体から見える視界を模擬的に表示する模擬視界画像を生成する画像生成装置であって、模擬視界画像は、移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、移動物体の所定の向きの並進移動に応じて、遠方画像を視点変換して、視点変換後の遠方画像を生成する、第１画像生成部と、移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、移動物体が所定の向きに並進移動した際に生じる第１加速度とは反対の向きの大きさを有する第２加速度を生じさせる外力とを受けた時における、質点の運動を求める質点運動算出部と、質点の動きに応じて、視点変換後の遠方画像の位置を補正し、且つ、遠方画像の位置が補正される向きとは反対の方向に、遠方画像の位置の補正量と同じ量だけ近方画像の位置を補正する補正部と、近方画像領域に近方画像を表示し、遠方画像領域に補正後の遠方画像を表示して、視点変換後の模擬視界画像を生成する第２画像生成部と、を有することを特徴とする。

【0017】

また他の実施形態によれば、画像生成方法が提供される。この画像生成方法は、移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、移動物体から見える視界を模擬的に表示する模擬視界画像を生成する画像生成方法であって、移動物体の所定の向きの回転に応じて、遠方画像を視点変換して、視点変換後の遠方画像を生成し、移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、移動物体が所定の向きに回転した際に生じる第１角加速度とは反対の向きの大きさを有する第２角加速度を生じさせる外力とを受けた時における、質点の運動を求め、質点の動きに応じて、視点変換後の遠方画像の位置を補正し、且つ、遠方画像の位置が補正される向きとは反対の方向に、遠方画像の位置の補正量と同じ量だけ近方画像の位置を補正し、近方画像領域に近方画像を表示し、遠方画像領域に補正後の遠方画像を表示して、視点変換後の模擬視界画像を生成することを特徴とする。

【0018】

更に他の実施形態によれば、画像生成方法が提供される。この画像生成方法は、移動物体に対して近い距離にあるものを表す近方画像を表示する近方画像領域と、近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域とを有し、移動物体から見える視界を模擬的に表示する模擬視界画像を生成する画像生成方法であって、移動物体の所定の方向への並進移動に応じて、遠方画像を視点変換して、視点変換後の近方画像及び遠方画像を生成し、移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、移動物体が所定の向きに並進移動した際に生じる第１加速度とは反対の向きの大きさを有する第２加速度を生じさせる外力とを受けた時における、質点の運動を求め、質点の動きに応じて、視点変換後の遠方画像の位置を補正し、且つ、遠方画像の位置が補正される向きとは反対の方向に、遠方画像の位置の補正量と同じ量だけ近方画像の位置を補正する、近方画像領域に近方画像を表示し、遠方画像領域に補正後の遠方画像を表示して、視点変換後の模擬視界画像を生成することを特徴とする。

【発明の効果】

【0019】

上述した本明細書に開示する画像生成装置及び画像生成方法によれば、現実の移動物体における景観に対して違和感の少ない模擬視界画像を生成できる。

【図面の簡単な説明】

【0020】

【図1】（Ａ）は、従来の画像生成装置により生成された模擬視界画像を説明する図であり、（Ｂ）は、ユーザの眼に見える景観を説明する図である。

【図2】本実施形態の車両運転模擬装置の動作の概要を説明する図である。

【図3】（Ａ）は、模擬視界画像を示し、（Ｂ）は、近方画像領域を示し、（Ｃ）は、遠方画像領域を示す。

【図4】制御装置の概略構成図である。

【図5】車両運転模擬装置の模擬視界画像生成処理に関する動作フローチャートである。

【図6】車両の回転運動を表す車両座標系を示す図である。

【図7】（Ａ）及び（Ｂ）は、模擬視界画像を説明する図である。

【図8】車両が所定の向きに回転した時の回転力を説明する図である。

【図9】車両運転模擬装置の動作を説明する図である。

【図10】図９に示す車両が車線間を移動する場合における車両の位置と、ヨー角速度と、ヨー角加速度との関係を示す図である。

【発明を実施するための形態】

【0021】

以下、本明細書で開示する、画像生成装置を有する車両運転模擬装置の好ましい一実施形態を、図を参照して説明する。

【0022】

図２は、本実施形態の車両運転模擬装置の動作の概要を説明する図である。本実施形態の車両運転模擬装置１は、ユーザが着座する運転席２と、表示装置３と、ステアリング４と、アクセルペダル５と、ブレーキペダル６と、制御装置１０とを有する。制御装置１０は、画像生成装置の一例である。車両運転模擬装置１は、自動車の運転を模擬する。なお、車両運転模擬装置１は、鉄道、航空機又は船舶等の移動物体の運転を模擬する装置であってもよい。

【0023】

制御装置１０は、ステアリング４、アクセルペダル５及びブレーキペダル６から入力した操作情報に基づいて、ユーザが模擬的に運転する車両の模擬的な運動を計算する。また、制御装置１０は、ユーザが着座する運転席２から見えることになる景観の中を移動する人又は他の車両等の運動を計算する。そして、制御装置１０は、ユーザが着座する運転席２から見えることになる景観の模擬視界画像を生成する。表示装置３は、制御装置１０により生成された模擬視界画像４０を表示する。

【0024】

模擬視界画像４０は、車両に対して近い距離にあるものを表す近方画像を表示する近方画像領域４１と、近方画像に表されるものよりも遠い距離にあるものを表す遠方画像を表示する遠方画像領域４２とを有する。なお、本明細書において、ユーザが運転する車両は、ユーザが車両運転模擬装置１を操作して模擬的に運転する車両を意味する。

【0025】

模擬視界画像４０について、図３を参照して、更に説明する。図３（Ａ）は、模擬視界画像４０を示し、図３（Ｂ）は、近方画像領域４１を示し、図３（Ｃ）は、遠方画像領域４２を示す。

【0026】

近方画像領域４１は、車両のボンネット、ダッシュボード、ステアリング及びＡピラー等の近方画像を含む。なお、近方画像領域４１は、車両の内部の画像とともに、車両の外部の画像を含んでいてもよい。遠方画像領域４２は、車両のフロントウィンドウ及びサイドウィンドウから見える車両外の景観である遠方画像を含む。

【0027】

まず、ユーザがステアリング４を操作すると、制御装置１０は、車両の所定の向きの回転に応じて、近方画像及び遠方画像のそれぞれを視点変換して、視点変換後の近方画像及び遠方画像を生成する。

【0028】

次に、制御装置１０は、車両に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、車両が所定の向きに回転した際に生じる角加速度と反対の向きの大きさを有する逆角加速度を生じさせる外力とを受けた時における、質点の運動を求める。

【0029】

車両が回転した際に、ユーザが車両の回転を打ち消す方向に体及び眼球を動かして、遠方画像内の注視位置を変化させないようにしていることは、質点の運動モデルで表される。

【0030】

図２に示すように、遠方画像領域４２内の遠方画像の運動は、近方画像領域４１に対して、バネ及びダンパーを介して結合された質点の動きで表される。

【0031】

制御装置１０は、質点の動きに応じて、視点変換後の遠方画像の位置を補正する。制御装置１０は、近方画像領域４１に視点変換後の近方画像を表示し、遠方画像領域４２に補正後の遠方画像を表示して、視点変換後の模擬視界画像４０を生成する。

【0032】

そして、制御装置１０は、視点変換後の模擬視界画像４０を表示装置３に表示する。これにより、車両運転模擬装置１を操作するユーザは、現実の移動物体における景観に対して違和感の少ない模擬視界画像を生成できる。

【0033】

図４は、制御装置１０の概略構成図である。制御装置１０は、ユーザが模擬的に運転する車両の運動を計算する車両運動計算処理を実行する。また、制御装置１０は、運転席から見えることになる模擬視界画像を生成する。ここで、制御装置１０は、車両の所定の向きの回転に応じて、近方画像及び遠方画像のそれぞれを視点変換して、視点変換後の近方画像及び遠方画像を生成する。また、制御装置１０は、車両に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、車両が所定の向きに回転した際に生じる角加速度と反対の向きの大きさを有する逆角加速度を生じさせる外力とを受けた時における、質点の運動を求める。また、制御装置１０は、質点の動きに応じて、視点変換後の遠方画像の位置を補正する。また、制御装置１０は、近方画像領域に視点変換後の近方画像を表示し、遠方画像領域に補正後の遠方画像を表示して、視点変換後の模擬視界画像を生成する。

【0034】

制御装置１０は、通信インターフェース（ＩＦ）２１と、メモリ２２と、プロセッサ２３とを有する。通信ＩＦ２１と、メモリ２２と、プロセッサ２３とは、通信線２４を介して接続される。制御装置１０が有する機能の全て又は一部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。プロセッサ２３は、車両運動計算部３１と、画像生成部３２と、質点運動計算部３３と、補正部３４とを有する。あるいは、プロセッサ２３が有する機能モジュールは、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有する機能の一部は、制御装置１０とは別の装置として、車両運転模擬装置１に配置されてもよい。

【0035】

通信ＩＦ２１は、制御装置１０を、表示装置３と、ステアリング４と、アクセルペダル５と、ブレーキペダル６とに接続するためのインターフェース回路を有する。

【0036】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。

【0037】

プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路を更に有していてもよい。

【0038】

図５は、車両運転模擬装置１の画像生成処理に関する動作フローチャートである。

【0039】

まず、制御装置１０は、ステアリング４からユーザの操作情報を入力する（ステップＳ１０１）。この操作情報は、車両の所定の向きの回転角を表す。

【0040】

次に、車両運動計算部３１は、車両が所定の向きに回転した時の運動を計算する（ステップＳ１０２）。図６は、車両の回転運動を表す車両座標系を示す図である。車両の回転運動は、車両の重心に原点Ｏを有する車両座標系で表される。車両座標系は、車両の走行方向に伸びるＸ軸と、鉛直方向に伸びるＺ軸と、Ｘ軸及びＹ軸と直交するＹ軸とを有する。車両の回転は、Ｘ軸周りの回転（ロール角：Φ）、Ｙ軸周りの回転（ピッチ角：θ）及びＺ軸周りの回転（ヨー角：ψ）で表される。ステアリング４の操作による車両の回転は、ヨー角ψの変化として表される。また、車両の並進方向の移動は、ワールド座標系内における車両の重心位置の変化で表される。

【0041】

次に、画像生成部３２は、車両の運動に応じて、視点変換された遠方画像を生成する（ステップＳ１０３）。画像生成部３２は、車両の所定の向きの回転に応じて、遠方画像を視点変換して、視点変換後の遠方画像を生成する。ここで、画像生成部３２は、視点変換後の遠方画像として、遠方画像領域４２よりも大きい寸法を有する視点変換後の遠方画像を生成する。同様に、近方画像も、近方画像領域４１よりも大きく生成される。

【0042】

図７は、遠方画像を説明する図である。画像生成部３２は、ワールド座標系で表された３次元モデル６０が投影面に投影された３次元画像がウィンドウ座標系で表された遠方画像を生成する。また、画像生成部３２は、ウィンドウ座標系で表された３次元画像に対して車両の回転に応じた視点変換を行って、視点変換された遠方画像を生成する。画像生成部３２は、視点８０から伸びる垂線とウィンドウ座標面８１との交点８２に対して所定の範囲の遠方画像を生成する。この所定の範囲は、表示装置３に表示される領域よりも大きい。これは、後述するが、遠方画像のうち、交点８２に基づいて決定される所定の範囲の遠方画像の部分が、遠方画像領域４２に配置されるためである。同様に、近方画像も、遠方画像とは別に、ワールド座標系で表された３次元モデルが投影面に投影された３次元画像がウィンドウ座標系で表されて生成されている。近方画像も、視点８０から伸びる垂線とウィンドウ座標面８１との交点８２に対して所定の範囲の領域で生成されている。この所定の範囲は、表示装置３に表示される領域よりも大きい。これは、後述するが、近方画像のうち、交点８２に基づいて決定される所定の範囲の近方画像の部分が、近方画像領域４１に配置されるためである。

【0043】

次に、質点運動計算部３３は、２階常微分方程式の下記式（１）に基づいて、車両に搭乗するユーザの眼球の運動を表す質点の運動を求める（ステップＳ１０４）。

【0044】

【数1】

【0045】

ここで、ｍは、車両に搭乗するユーザの眼球の運動を表す質点の質量を表す。眼球を表す質点の運動は、実際には眼球の独立した運動ではなく、ユーザの体及び頭部の運動の影響を受ける。そのため、眼球の質量は、ユーザの体及び頭部の運動の影響を受けた眼球の見かけの質量といえる。質点は、図６に示す車両座標系において、ｙ軸方向において運動する。ｂは、減衰係数であり、ｋは、弾性係数である。

【0046】

Ｆψは、車両が所定の向きに回転した際に生じる角加速度と反対の向きの大きさを有する逆角加速度を生じさせる外力を表す。以下、図８を参照しながら、外力Ｆψの求め方について説明する。

【0047】

図８は、車両が所定の向きに回転した時の回転力を説明する図である。図８は、車両座標系のＸＹ面を表す。Ｚ軸は、ＸＹ面に垂直な方向に伸びる。

【0048】

車両に搭乗するユーザの眼球の運動を表す質点Ｐの位置と、Ｚ軸との間の距離をｒとして、車両の回転によりヨー角加速度が質点Ｐに生じたとする。

【0049】

質点Ｐに働く力Ｆｐは、ヨー角加速度を用いて、下記式（２）により表される。ここで、ヨー角加速度の大きさは、車両の運動により求められる。

【0050】

【数2】

【0051】

外力Ｆψは、質点Ｐに働く回転力のＹ軸方向の成分なので、質点Ｐに生じる力Ｆｐと、車両のヨー回転角ψと、距離ｒとを用いて、下記式（３）により表される。

【0052】

【数3】

【0053】

ここで、マイナスの符号は、外力Ｆψが、車両が所定の向きに回転した際に生じる角加速度とは反対の向きの大きさを有する角加速度を生じさせることを表す。

【0054】

質点運動計算部３３は、式（１）を解くことにより、眼球ＰのＹ軸方向の運動を求める。質点運動計算部３３は、式（１）を解く際には、計算が収束するように、予め設定された見かけの質量ｍ、減衰係数ｂ及び弾性係数ｋを用いる。

【0055】

次に、補正部３４は、質点Ｐの動きに応じて、視点変換後の遠方画像の位置、及び、近方画像の位置を補正する（ステップＳ１０５）。補正部３４は、視点変換後の遠方画像について、質点Ｐの動きに応じて、車両座標系のＹ軸方向の位置と対応するように、ウィンドウ座標系における位置を補正する。また、補正部３４は、近方画像について、遠方画像の位置が補正される向きとは反対の方向に、遠方画像の位置の補正量と同じ量だけ近方画像のウィンドウ座標系における位置を補正する。ここで、視点変換後の遠方画像の位置の補正量が、所定の範囲を超える場合、補正部３４は、視点変換後の遠方画像の補正は行わない。補正部３４は、視点変換後の遠方画像の補正を行わない場合、近方画像の補正も行わない。

【0056】

ユーザの視野は、ヨー角方向において、車両のフロントウィンドウの左右の範囲に制限される。そのため、視点変換後の遠方画像の位置の補正量、即ち、質点Ｐの移動量が、ユーザの視野を超える場合には、ユーザは、注視していた景観を注視し続けることができないので、ユーザの視線は、車両の動きに追従すると考えられる。そのため、質点Ｐの移動量が、ユーザの視野を超える場合には、視点変換後の遠方画像の補正は行われない。

【0057】

次に、画像生成部３２は、近方画像領域４１に補正後の近方画像を配置し、遠方画像領域４２に補正後の遠方画像を配置して、視点変換後の模擬視界画像４０を生成する（ステップＳ１０６）。具体的には、画像生成部３２は、近方画像領域４１に、ウィンドウ座標面８１上の交点８２に基づいて決定される所定の範囲の近方画像の部分を配置し、遠方画像領域４２に、ウィンドウ座標面８１上の交点８２に基づいて決定される所定の範囲の補正後の遠方画像の部分を配置する。

【0058】

次に、表示装置３は、視点変換後の模擬視界画像４０を表示する（ステップＳ１０７）して、一連の処理を終了する。

【0059】

上述した説明では、ユーザのステアリングの操作により、車両のヨー角が変化した場合に模擬視界画像を生成する例について説明した。上述した模擬視界画像を生成することの説明は、ピッチ角及びロール角が変化した場合に模擬視界画像を生成することにも適宜適用される。

【0060】

ここで、ユーザの視野は、ピッチ角方向において、車両のフロントウィンドウの上下の範囲に制限される。また、ユーザの視野は、ロール角方向において、車両のフロントウィンドウの左右及び上下の範囲に制限される。そのため、視点変換後の遠方画像の位置の補正量、即ち、質点Ｐの移動量が、ユーザの視野を超える場合には、ユーザは、注視していた景観を注視し続けることができないので、ユーザの視線は、車両の動きに追従すると考えられる。そのため、視点変換後の遠方画像の位置の補正量が、所定の範囲を超える場合、補正部３４は、ピッチ角に対する補正と同様に、視点変換後の遠方画像の補正は行わない。

【0061】

次に、車両運転模擬装置１の画像生成処理に関する動作例を、図９を参照しながら、以下に説明する。

【0062】

図９は、車両が車線間を移動する場合における模擬視界画像の変化を示す。図９は、本実施形態の車両運転模擬装置１の画像生成処理により生成された模擬視界画像と共に、比較形態の模擬視界画像を示す。この比較形態では、図５に示す動作フローチャートにおけるステップＳ１０４及びＳ１０５が行われていない。比較形態の模擬視界画像は、車両の回転に応じて視点変換された模擬視界画像を生成して表示している。

【0063】

時刻Ｔ１において、車両は、直進している。本実施形態の模擬視界画像では、近方画像領域に表示される近方画像の補正量はゼロである。近方画像の補正後の位置は、鎖線の矢印の位置で表される。この鎖線の矢印の向きは、本実施形態では、ユーザの視線方向と一致する。車両の進行方向は、実線の矢印の向きで表される。この車両の進行方向は、近方画像の補正前の位置と一致する。近方画像の補正後の位置を表す鎖線の矢印と、車両の進行方向を表す実線の矢印と一致している。本実施形態の模擬視界画像と、比較形態の模擬視界画像とは同じである。比較形態の模擬視界画像でも、車両の進行方向は、実線の矢印の向きで表される。この実線の矢印の向きは、比較形態では、ユーザの視線方向と一致する。

【0064】

時刻Ｔ２において、車両は、右側の車線に向かって移動を始める。即ち、車両は、ヨー角が変化する向きの回転を始める。本実施形態の模擬視界画像では、近方画像領域に表示される近方画像の補正量が生じている。近方画像の補正後の位置を表す鎖線の矢印の位置は、車両の進行方向を表す実線の矢印の位置よりも左側にある。本実施形態の模擬視界画像では、Ａピラーの位置は、比較形態の模擬視界画像よりも右側に位置する。本実施形態では、ユーザの眼球の運動を表す質点の運動がダンパーの働きにより遅れるので、ユーザの遠方画像内の注視位置を変化させないことが再現されている。

【0065】

時刻Ｔ３において、車両は、右側の車線への移動をほぼ終了している。車両の回転も小さくなっている。本実施形態の模擬視界画像では、近方画像領域に表示される近方画像の補正量は小さくなっている。近方画像の補正後の位置を表す鎖線の矢印の位置は、車両の進行方向を表す実線の矢印の位置よりもやや右側にある。本実施形態の模擬視界画像では、Ａピラーの位置は、比較形態の模擬視界画像よりもやや左側に位置する。本実施形態では、ユーザの眼球の運動を表す質点の運動がバネ及びダンパーの働きにより車両の運動に遅れて追従するので、ユーザの遠方画像内の注視位置が次第に車両の運動に追従していくことが再現されている。

【0066】

時刻Ｔ４において、車両は、右側の車線への移動を終了して、直進している。本実施形態の模擬視界画像では、近方画像領域に表示される近方画像の補正量はゼロである。本実施形態の模擬視界画像と、比較形態の模擬視界画像とは同じである。

【0067】

図１０は、図９に示す車両が車線間を移動する場合における車両の位置と、ヨー角速度と、ヨー角加速度との関係を示す図である。

【0068】

時刻Ｔ１において、車両が直進している時には、ヨー角速度及びヨー角加速度は生じていない。時刻Ｔ２において、車両が右側の車線に向かって移動を始めると、ヨー角速度及びヨー角加速度が生じる。時刻Ｔ３において、車両が右側の車線への移動をほぼ終了し終える時点において、また、ヨー角速度及びヨー角加速度が生じる。時刻Ｔ４において、車両が右側の車線への移動を終了して直進している時には、ヨー角速度及びヨー角加速度は生じていない。車両運転模擬装置１の画像生成処理では、時刻Ｔ２及び時刻Ｔ３のように、ヨー角加速度が生じている時に、このヨー角加速度は反対の向きの大きさを有するヨー角加速度を生じさせる外力を受けた時における質点の運動に応じて、近方画像及び遠方画像の位置を補正している。

【0069】

以上、詳述した本実施形態の画像生成装置によれば、遠方画像がユーザの眼球の網膜に映る画像の動きに近づくので、現実の移動物体における景観に対して違和感の少ない模擬視界画像を生成できる。具体的には、角加速度が発生したときに近方画像及び遠方画像の動きが実際搭乗したときのユーザの網膜に映る近方画像及び遠方画像の動きに近い模擬視界画像になる。遠方画像の動きと近方画像との関係は維持されたまま、遠方画像の動きを抑えた分を近方画像で補うことで、模擬視界画像全体の動きが、ユーザの眼球の網膜に映る画像として正確に模擬される。そのため、本実施形態の画像生成装置を有する車両運転模擬装置によれば、ユーザは、違和感又は画像酔いを覚えるおそれが低減される。

【0070】

本発明では、上述した実施形態の画像生成装置及び画像生成方法は、本発明の趣旨を逸脱しない限り適宜変更が可能である。また、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

【0071】

例えば、上述した実施形態では、画像生成装置は車両運転模擬装置に適用されていたが、画像生成装置は、ゴーグル等の表示装置に表示する模擬視界画像を生成してもよい。

【0072】

また、上述した実施形態では、移動物体の所定の向きの回転に応じて、近方画像及び遠方画像のそれぞれを視点変換して、視点変換後の近方画像及び遠方画像を生成し、移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、移動物体が所定の向きに回転した際に生じる角加速度と反対の向きの大きさを有する逆角加速度を生じさせる外力とを受けた時における、質点の運動を求めていた。本開示の発明は、移動物体の所定の方向への並進移動に応じて、近方画像及び遠方画像のそれぞれを視点変換して、視点変換後の近方画像及び遠方画像を生成し、移動物体に搭乗するユーザの眼球の運動を表す質点が、所定の弾性力と、所定の減衰力と、移動物体が所定の向きに並進移動した際に生じる加速度と反対の向きの大きさを有する逆加速度を生じさせる外力とを受けた時における、質点の運動を求めるものであってもよい。これにより、移動物体の前後方向又は左右方向の移動時における模擬視界画像の生成においても、現実の移動物体における景観に対して違和感の少ない模擬視界画像を生成できる。

【0073】

また、上述した実施形態では、移動物体の所定の向きの回転に応じて、遠方画像のみが視点変換されていたが、移動物体の所定の向きの回転に応じて、近方画像も視点変換してもよい。この場合、近方画像領域に視点変換後の近方画像を表示し、遠方画像領域に補正後の遠方画像を表示して、視点変換後の模擬視界画像が生成される。

【符号の説明】

【0074】

１ 車両運転模擬装置
２ 運転席
３ 表示装置
４ ステアリング
５ アクセルペダル
６ ブレーキペダル
１０ 制御装置
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２４ 通信線
３１ 車両運動計算部
３２ 画像生成部
３３ 質点運動計算部
３４ 補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】