特開 2023-50903 仮想空間画像生成装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023050903

(43)【公開日】2023-04-11

(54)【発明の名称】仮想空間画像生成装置および方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230404BHJP

   G06F 3/01 20060101ALI20230404BHJP

【ＦＩ】

G06T19/00 A

G06F3/01 510

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021161258

(22)【出願日】2021-09-30

(71)【出願人】

【識別番号】000002082

【氏名又は名称】スズキ株式会社

(71)【出願人】

【識別番号】504182255

【氏名又は名称】国立大学法人横浜国立大学

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】根岸 大輔

(72)【発明者】

【氏名】堀田 英則

(72)【発明者】

【氏名】岡嶋 克典

(72)【発明者】

【氏名】大貫 峻平

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050CA07

5B050EA26

5B050FA02

5E555AA64

5E555AA76

5E555BA04

5E555BA23

5E555BA24

5E555BA38

5E555BA87

5E555BB04

5E555BB23

5E555BB24

5E555BB38

5E555BC17

5E555BE17

5E555CA42

5E555CB65

5E555CC22

5E555DA08

5E555DB03

5E555DC58

5E555DC59

5E555EA14

5E555FA00

(57)【要約】

【課題】ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することのできる仮想空間画像生成装置および方法を提供する。
【解決手段】仮想空間画像生成装置２は、ユーザＵの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する。仮想空間画像生成装置２は、ユーザＵの視点が移動する場合に、視認性変化領域の視認性が第１状態と該第１状態とは異なる第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する仮想空間画像を生成する画像生成部１４を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成装置において、
前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第１状態と該第１状態とは異なる第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する画像生成部を備えることを特徴とする仮想空間画像生成装置。

【請求項2】

前記遷移完了時間は、前記ユーザの視点移動が完了してから前記遷移を開始するまでの遅延時間と、前記遷移を開始してから完了するまでの遷移時間とを含むことを特徴とする請求項１に記載の仮想空間画像生成装置。

【請求項3】

前記画像生成部は、前記ユーザの視点が移動する方向を前記所定条件として、該視点の移動方向に応じて前記遷移時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項２に記載の仮想空間画像生成装置。

【請求項4】

前記画像生成部は、前記視点の移動方向が遠ざかる方向である場合の前記遷移時間が、前記視点の移動方向が近づく方向である場合の前記遷移時間よりも長くなる前記仮想空間画像を生成するように構成されていることを特徴とする請求項３に記載の仮想空間画像生成装置。

【請求項5】

前記画像生成部は、仮想空間内での前記ユーザの視点の仮想的な位置の変化に対応する前記ユーザの眼の焦点距離の変化を前記所定条件として、該焦点距離の変化に応じて前記遷移時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項４に記載の仮想空間画像生成装置。

【請求項6】

前記画像生成部は、遠ざかる方向の視点移動における前記遅延時間が、近づく方向の視点移動における前記遅延時間よりも２倍以上長く、かつ、前記遠ざかる方向の視点移動における前記遷移時間を決める関数の時間定数が、前記近づく方向の視点移動における前記遷移時間を決める関数の時間定数の２倍以上となる前記仮想空間画像を生成するように構成されていることを特徴とする請求項５に記載の仮想空間画像生成装置。

【請求項7】

前記遠ざかる方向の視点移動において、前記遅延時間は０．０５秒から０．２秒までの範囲に設定され、かつ、前記時間定数は０．０５から０．２までの範囲に設定され、
前記近づく方向の視点移動において、前記遅延時間は０秒から０．０５秒までの範囲に設定され、かつ、前記時間定数は０から０．１の範囲に設定される、ことを特徴とする請求項６に記載の仮想空間画像生成装置。

【請求項8】

前記画像生成部は、仮想空間の環境に関する条件を前記所定条件として、該環境に関する条件に基づき前記遷移完了時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項１～７のいずれか１つに記載の仮想空間画像生成装置。

【請求項9】

前記画像生成部は、前記ユーザに関する条件を前記所定条件として、該ユーザに関する条件に基づき前記遷移完了時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項１～７のいずれか１つに記載の仮想空間画像生成装置。

【請求項10】

前記画像生成部は、前記ユーザの視点が移動して、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合に、前記遷移完了時間が前記所定条件に基づいて変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項１～９のいずれか１つに記載の仮想空間画像生成装置。

【請求項11】

ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成方法において、
前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第１状態と該第１状態とは異なる第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する仮想空間画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間画像生成装置および方法に関する。

【背景技術】

【0002】

仮想空間画像を生成してディスプレイ装置に表示させる従来の技術として、例えば、特許文献１には、ユーザが視認する仮想空間画像をヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）に提供する仮想空間画像提供方法が開示されている。この仮想空間画像提供方法では、ＨＭＤの回転方向および回転速度が取得され、回転方向に対応する画面上の方向における仮想空間画像の両側の端部領域に、回転速度に応じた範囲および強さでぼかし処理が施されることにより、ＶＲ（Virtual Reality）酔いが低減されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１３８７０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、車両開発等においては、仮想空間画像上に評価対象となるオブジェクトを表示して、現実空間における該オブジェクトの視認性を評価する場合がある。この場合、仮想空間画像上に表示されるオブジェクトの見え方が、現実空間の見え方に近づくようにする必要がある。例えば、現実空間において、ユーザの視点が変化した直後や視野内の物体の配置または距離が変化した直後には、視点や物体の周辺領域がぼやけて見える。このような視点等の移動に伴う周辺領域のぼやけ方は、眼の焦点調整特性やユーザの状態、車両周辺の状態などに応じて、時間の経過とともに変化する。このため、仮想空間画像上にオブジェクトを表示して視認性を評価する際にも、上記のような現実空間でのぼやけ方の時間的な変化が再現されるようにするのが望ましい。

【0005】

しかしながら、前述したような従来の技術では、ＨＭＤの回転速度に応じて仮想空間画像に施されるぼかし処理の範囲および強さが設定されているだけで、該設定された範囲に対して施されるぼかし処理の状態の時間的な変化までは考慮されていない。通常、画像データのぼかし処理は、画像処理を担うハードウェアの性能に応じた速度で実行され、眼の焦点調整速度よりも高速に、所望の強さでぼやけた状態の画像データが生成される。このため、従来の技術では、ＨＭＤの回転、つまりユーザの頭部の向きが変化して仮想空間画像上の視点が移動したときに、ＨＭＤに表示される仮想空間画像のぼやけ方の時間的な変化が現実空間の見え方とは異なってしまい、仮想空間画像上においてオブジェクトの視認性を評価する上で、改善の余地があった。

【0006】

本発明は上記の点に着目してなされたもので、ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することのできる仮想空間画像生成装置および方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するため本発明の一態様は、ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成装置を提供する。この仮想空間画像生成装置は、前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第１状態と該第１状態とは異なる第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する画像生成部を備えている。

【発明の効果】

【0008】

本発明の一態様に係る仮想空間画像生成装置によれば、視認性変化領域の視認性が、所定条件に基づいて変化する遷移完了時間をかけて第１および第２状態の間で遷移するようになるため、ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る仮想空間画像生成装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。

【図2】上記実施形態においてぼかし処理が施される前の仮想空間画像の一例を示す図である。

【図3】上記実施形態において視点周辺領域外にぼかし処理が施された後の仮想空間画像の一例を示す図である。

【図4】図３の仮想空間画像上でのユーザの視点移動の一例を示す図である。

【図5】仮想空間内での図４の視点移動を上方から見た概念図である。

【図6】上記実施形態においてユーザの視点移動から所要時間が経過した後の仮想空間画像の一例を示す図である。

【図7】上記実施形態における仮想空間画像の生成方法の一例を示すフローチャートである。

【図8】上記実施形態において視点が遠ざかる方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。

【図9】図８のグラフにおける曲線の形状を表す関数の時間定数の値を変更した場合の変化を例示したグラフである。

【図10】上記実施形態において視点が近づく方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。

【図11】図１０のグラフにおける曲線の形状を表す関数の時間定数の値を変更した場合の変形を例示したグラフである。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について添付図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態に係る仮想空間画像生成装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。
図１において、運転シミュレータシステム１は、例えば、自動車等の車両開発における各種オブジェクトの視認性評価や車両運転の模擬体験などに利用される。この運転シミュレータシステム１は、本実施形態による仮想空間画像生成装置２と、センサ３と、画像形成装置４とを備える。

【0011】

仮想空間画像生成装置２は、センサ３からの出力信号を基にユーザＵの動作を検出し、該検出したユーザＵの動作に応じて視認性が変化する領域を含む仮想空間画像を生成する。そして、仮想空間画像生成装置２は、生成した仮想空間画像を、ユーザＵの頭部に装着されているヘッドマウントディスプレイ（ＨＭＤ）等の画像形成装置４を介してユーザＵに伝達する。本実施形態の画像形成装置４は、ユーザの左右の眼にそれぞれ対応した左右の表示部を有する。画像形成装置４は、左右の表示部各々に互いに視差のある仮想空間画像を表示することにより、ユーザに立体的な仮想空間を知覚させる。左右の表示部各々に視差のある仮想空間画像を表示する方法としては、左右の表示部各々に異なる仮想空間画像を表示してもよいし、左右の表示部各々に共通の仮想空間画像を出力しつつ、左右の表示部に光学シャッターを設けて各表示部から出力される仮想空間画像の間に視差を発生させてもよい。

【0012】

なお、画像形成装置４は、ＨＭＤのように仮想空間画像を表示するディスプレイ装置がユーザＵの頭部に装着される構成に限定されず、ユーザＵの前方に配置される液晶ディスプレイ等の画像表示装置でもよい。また、画像形成装置４は、プロジェクタやヘッドアップディスプレイのように仮想空間画像を所定の投影面（スクリーン、ガラス、壁面）に投影する画像投影装置であってもよい。この場合、投影された仮想空間画像から仮想空間を知覚するために、ユーザの左右の眼に光学シャッター装置を別途装着することが好ましい。

【0013】

このような運転シミュレータシステム１では、画像形成装置４（または光学シャッター装置）を介してユーザＵの左右の眼各々に視差の異なる仮想空間画像を入力することにより、ユーザＵが仮想空間を視認（知覚）することができる。これにより、現実空間における各種オブジェクトを仮想空間上で再現して、各種オブジェクトの視認性を仮想空間画像上で評価したり、車両の運転を仮想空間画像上で模擬的に体験したりすることができる。

【0014】

具体的に、仮想空間画像生成装置２は、その機能ブロックとして、例えば、視点検出部１１と、入力部１２と、記憶部１３と、画像生成部１４と、表示制御部１５とを備える。仮想空間画像生成装置２のハードウェア構成は、ここでは図示を省略するが、例えば、プロセッサ、メモリ、ユーザ入力インターフェースおよび通信インターフェースを含むコンピュータシステムを備える。つまり、仮想空間画像生成装置２では、コンピュータシステムのプロセッサがメモリに格納されたプログラムを読み出して実行することによって、視点検出部１１、画像生成部１４および表示制御部１５の各機能が実現される。

【0015】

視点検出部１１は、センサ３の出力信号を用いてユーザＵの視点を検出する。ユーザＵの視点は、画像形成装置４上においてユーザＵの視線が注がれている点である。センサ３としては、例えば、ユーザＵが装着するＨＭＤに内蔵された視線センサ等が使用される。センサ３は、ユーザＵの眼の動きを検知して視線の方向を計測し、該視線の方向を示す信号を、コンピュータシステムの通信インターフェースを介して視点検出部１１に出力する。視点検出部１１は、センサ３で計測されたユーザＵの視線方向、ユーザＵの眼および画像形成装置４の位置関係、並びに、記憶部１３に記憶されている仮想空間の画像データを用いて提供される仮想空間上の位置情報に基づき、画像形成装置４上におけるユーザＵの視点の位置（２次元平面上の座標）を検出する。このような視点検出部１１によるユーザＵの視点検出機能は、アイトラッキングと呼ばれる場合がある。視点検出部１１は、検出した視点の位置情報を画像生成部１４に伝える。

【0016】

なお、仮想空間画像生成装置２は、視点検出部１１によるアイトラッキングの機能に加えて、ユーザＵの頭部の動きを検出するヘッドトラッキングの機能や、ユーザＵの身体の動きを検出するポジショントラッキングの機能を備えていてもよい。これらのヘッドトラッキングやポジショントラッキングによる検出結果も、視点検出部１１の検出結果とともに画像生成部１４に伝えられる。この検出結果には、例えば、ユーザＵの頭の向きに関わる情報が含まれており、該情報に基づきユーザＵの視線の向きを推定してもよい。

【0017】

入力部１２は、コンピュータシステムのユーザ入力インターフェースにより実現されており、例えば、キーボード、マウス、操作用コントローラ等を有している。また、入力部１２は、外部から有線または無線で情報を受信する受信部を有し、外部コンピュータとの間で情報を受信する外部情報入力インターフェースとしても機能する。入力部１２では、仮想空間の環境に関する条件（以下、「環境条件」とする）や、ユーザＵに関する条件（以下、「ユーザ条件」とする）、仮想空間内での車両の走行条件（移動経路、速度）などの所定条件が入力される。環境条件は、仮想空間の天候（晴れ、曇り、雨、霧など）、湿度、走行環境（屋外、屋内、トンネルなど）、ウィンドガラスの状況、またはこれらの組み合わせを含む。また、ユーザ条件は、ユーザＵの年齢、性別、視力、眼の健康度、開眼度、利き目、またはこれらの組み合わせを含む。入力部１２で入力された所定条件に関する情報は、画像生成部１４に伝えられるとともに記憶部１３に記憶される。

【0018】

なお、上記ユーザ条件は、運転シミュレータシステム１のユーザＵとして想定される被験者に対して予め実験を行って取得した値を、入力部１２を用いて仮想空間画像生成装置２に入力してもよく、或いは、仮想空間画像生成装置２に別途設けられたカメラ等でユーザＵを撮影し、該撮影したユーザ画像を基にユーザ条件を判定または検出するようにしてもよい。

【0019】

記憶部１３は、コンピュータシステムに接続されたストレージデバイス（例えば、磁気ディスクや光学ディスク、フラッシュメモリ等）により実現されており、前述したユーザＵの眼および画像形成装置４の位置関係や環境条件、ユーザ条件、車両の走行条件などの各種設定情報を記憶している。また、記憶部１３は、各種オブジェクトを含む仮想空間の画像データを記憶している。各種オブジェクトは、仮想空間内において、ユーザＵが車両の運転席から見ることのできる光景に含まれる様々な物体である。

【0020】

画像生成部１４は、記憶部１３に記憶された画像データや入力部１２から受信した画像データと各種設定情報とを用いて、画像形成装置４上に表示させる仮想空間画像を生成する。このとき、画像生成部１４は、視点検出部１１で検出される視点に基づいて、予め定められた視認性変化領域内の視認性が第１状態にあり、かつ、視認性変化領域外の視認性が第１状態とは異なる第２状態にある仮想空間画像を生成する。つまり、画像生成部１４で生成される仮想空間画像には、相対的に高い視認性を有する画像部分と相対的に低い視認性を有する画像部分が含まれる。そして、画像生成部１４は、視認性変化領域内に位置する画像部分が視認性変化領域外に位置する画像部分よりも相対的に高い視認性を有する第１状態と、視認性変化領域内に位置する画像部分が視点周辺領域外に位置する画像部分よりも相対的に低い視認性を有する第２状態との間で遷移するように、仮想空間画像を更新する。なお、視認性変化領域には、後述する移動元の視点周辺領域、移動先の視点周辺領域だけでなく、視点周辺領域以外の領域も含まれる。

【0021】

視認性の状態は、例えば、対象となる領域に表示する画像にぼかし処理を施すことで制御される。ぼかし処理は、画像データの情報量を変化させて当該画像がぼやけて見える状態にする処理である。言い換えると、ぼかし処理は、ユーザＵが視覚を通して確認できる情報量を減らす画像処理である。具体的なぼかし処理の例としては、処理の対象となる領域に表示する画像（オブジェクト）について、情報量を減らす処理、解像度を下げる処理、または表示面積を段階的に小さくする処理、表示面積を段階的に大きくする処理、或いはこれら処理の組み合わせなどがある。処理の組み合わせの例として、表示面積を段階的に大きくする処理と表示面積を段階的に小さくする処理とを順番に、またはこれらを交互に行うことでピントが合っていない状態を再現し易くなる。したがって、視認性が相対的に高い第１状態は、例えばぼかし処理を施す前のピントが合った状態であり、当該画像についてユーザＵが視覚を通して確認できる情報量が多い状態を表している。また、視認性が相対的に低い第２状態は、例えばぼかし処理を施した後のピントが合っていないぼやけた状態であり、当該画像についてユーザＵが視覚を通して確認できる情報量が少ない状態を表している。

【0022】

図２は、ぼかし処理が施される前の仮想空間画像の一例を示している。この仮想空間画像は、左右の眼の一方に入力される仮想空間画像である。図２の仮想空間画像とは視差の異なる他の仮想空間画像（図示省略）が左右の眼の他方に入力される。ユーザＵは、左右の眼にそれぞれ入力される視差の異なる仮想空間画像により仮想空間を知覚することができる。また、図３は、視点周辺領域外にぼかし処理が施された後の仮想空間画像の一例を示している。

【0023】

図２および図３に示すように、画像生成部１４で生成される仮想空間画像には、ユーザＵが車両の運転席から見ることのできる仮想空間内の光景が表現されている。図示の例では、仮想空間画像は、車両を表すオブジェクトとして、ステアリングホイールの上部、ダッシュボードの上部、右側のフロントピラー、ルーフの前端部、ルームミラー、および右側のサイドミラー等を含んでいる。仮想空間画像の下部中央に表示されている数字の「８」は、ステアリングホイールの上端部付近の視認性を評価するためのオブジェクトである。また、仮想空間画像は、車外の静止物体を表すオブジェクトとして、道路、歩道、建物、および道路標識（一時停止）等を含んでいる。

【0024】

ぼかし処理が施される前の仮想空間画像（図２）は、全てのオブジェクトにピントが合っており、仮想空間画像の全領域の視認性が高い状態にある。一方、ぼかし処理が施された後の仮想空間画像（図３）は、ユーザＵの視点（□印）がステアリングホイールの上端部付近に表示されている数字の「８」のオブジェクト上の位置Ｐにあり、図中の破線で囲んだ視点周辺領域Ａの内側に位置するオブジェクトにピントが合い、視点周辺領域Ａの外側に位置するオブジェクトにはピントが合っていないぼやけた状態となっている。つまり、画像生成部１４で生成され、かつ、ユーザＵの視点の位置Ｐに応じてぼかし処理が施された仮想空間画像は、視点周辺領域Ａ内の視認性が相対的に高い第１状態にあり、視点周辺領域Ａ外の視認性が相対的に低い第２状態にある。なお、ユーザＵの視点を示す□印は、実際の仮想空間画像には表示されない。

【0025】

また、画像生成部１４は、ユーザＵの視点が移動した際に、ぼかし処理が施された仮想空間画像を更新する。この仮想空間画像の更新処理は、ユーザＵの視点の任意の移動に対して実行する可能である。例えば、図３においてユーザＵの視点の位置Ｐが視点周辺領域Ａ内の異なる位置に移動した場合、移動前後で視点周辺領域にずれが生じた部分の画像が更新される。また例えば、ユーザＵの視点の位置Ｐが視点周辺領域Ａ外の離れた位置に移動し、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合には、移動先の視点周辺領域全体の画像と移動元の視点周辺領域全体の画像とが更新される。前者のような視点の移動量が少ない場合には、更新対象となる画像のデータ量は少ないので、画像生成部１４における画像処理の負荷は軽減される。以下では、後者のような視点の移動量が多い場合の画像処理について具体例を挙げて詳しく説明する。

【0026】

図４は、ユーザＵの視点移動の一例を示している。図４の例では、ユーザＵの視点（□印）は、ステアリングホイールの上端部付近に表示されている数字の「８」のオブジェクト（第１オブジェクト）上の位置Ｐｎから、車両前方の左側歩道上に設置されている道路標識のオブジェクト（第２オブジェクト）上の位置Ｐｆに移動している。道路標識のオブジェクトは、仮想空間内における奥行方向で、ステアリングホイールの上端部付近のオブジェクトよりも遠方に位置している。したがって、ユーザＵの視点は、仮想空間内において、左右方向および上下方向に広がる２次元平面上（仮想空間画像上）で左上方向に移動し、かつ、奥行方向で遠方に移動していることになる。

【0027】

なお、仮想空間内における奥行方向は、画像形成装置４の形態によって異なる。具体的には、ユーザＵの頭部位置が変化しない画像形成装置４の場合、奥行方向は、仮想空間内の予め設定された固有の方向（例えば前後方向）となる。一方、ヘッドトラッキング等によりユーザＵの頭部位置が変化する画像形成装置４の場合、奥行方向は、頭部の位置に応じて相対的に変わる所定の方向となる。例えば、頭部が向く方向としてもよいし、ユーザＵの移動前の視点に対するユーザＵの視線方向、つまり、ユーザＵの眼Ｅと現実の移動前の視点または仮想空間内における移動前の視点とをつなぐ方向としてもよい。

【0028】

図５は、上記のような仮想空間内でのユーザＵの視点移動を上方から見た概念図である。図５において、矢印Ｚ方向は仮想空間の奥行方向（車両前後方向）を示し、矢印Ｘ方向は仮想空間の水平方向（車両幅方向）を示している。図５に示すように、ユーザＵの視点は、画像形成装置４上（仮想空間画像上）で位置Ｐｎから位置Ｐｆに移動する。移動元の視点の位置Ｐｎに表示されている第１オブジェクト（数字の「８」）は、仮想空間内において、奥行方向で画像形成装置４から距離Ｚｎだけ離れた位置Ｐｎ’にある。また、移動先の視点の位置Ｐｆに表示されている第２オブジェクト（道路標識）は、仮想空間内において、奥行方向で画像形成装置４から距離Ｚｆだけ離れた位置Ｐｆ’にある。距離Ｚｆは、距離Ｚｎよりも距離ΔＺだけ長い。

【0029】

現実空間におけるユーザＵの眼Ｅの焦点（ピント）は、視点の移動元では画像形成装置４上の位置Ｐｎに合っており、視点の移動先では画像形成装置４上の位置Ｐｆに合っている。つまり、ユーザＵの眼Ｅの現実的な焦点距離は、図５中の実線矢印で示すように、視点の移動元では眼Ｅから位置Ｐｎまでの距離Ｆｎとなり、視点の移動先では眼Ｅから位置Ｐｆまでの距離Ｆｆとなる。ｄは、奥行方向におけるユーザＵの眼Ｅと画像形成装置４の間の距離を表す。図５ではユーザＵが目線移動によって視線を変えているので、位置Ｐｎと位置Ｆｎとは距離ｄが異なっているが、移動前後の距離ｄの変化量Δｄ（図示省略）は僅かである。

【0030】

一方、ユーザＵの眼Ｅの仮想的な焦点距離は、図５中の点線矢印で示すように、視点の移動元では眼Ｅから位置Ｐｎ’までの距離Ｆｎ’となり、視点の移動先では眼Ｅから位置Ｐｆ’までの距離Ｆｆ’となる。つまり、仮想空間内では、位置Ｐｎ’は奥行方向において位置Ｐｎよりも距離Ｚｎだけ後方に配置され、位置Ｐｆ’は、位置Ｐｆよりも奥行方向において距離Ｚｆだけ後方に配置されることになる。また、位置Ｐｆ’は、奥行方向において位置Ｐｎ’よりも距離ΔＺだけ後方に位置している。さらに、図５では、距離ΔＺは、距離Δｄよりも遙かに大きくなっている。本実施形態では、このようなユーザＵの視点移動に伴う現実的な焦点距離Ｆｎ，Ｆｆの変化と仮想的な焦点距離Ｆｎ’，Ｆｆ’の変化との差異による見え方の違いが抑えられるように、画像形成装置４上に表示させる仮想空間画像の生成（更新）処理が行われる。

【0031】

上記のようなユーザＵの視点移動が生じた際、画像生成部１４は、視点検出部１１で検出される視点の位置Ｐｎ，Ｐｆ（２次元平面上の座標）の変化から、画像形成装置４上（仮想空間画像上）での視点の移動方向および移動量を判断する。また、画像生成部１４は、仮想空間画像上の画素ごと（またはオブジェクトごと）に定義された奥行情報のうちで、視点検出部１１で検出される視点の位置Ｐｎ，Ｐｆに対応する奥行情報から、仮想空間内での視点の位置Ｐｎ’，Ｐｆ’を判断するとともに、仮想空間内で視点が少なくとも奥行方向に移動しているか、つまり、仮想空間内で視点が遠ざかる方向に移動しているか近づく方向に移動しているかを判断する。そして、画像生成部１４は、仮想空間内で視点が奥行方向に移動する場合に、仮想空間画像の更新処理を実行する。

【0032】

この更新処理において、画像生成部１４は、移動先の視点周辺領域Ａｆ（視認性変化領域）内の視認性が第２状態から第１状態に上昇し、かつ、該視認性が第１状態と第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化するように、仮想空間画像を更新する第１処理と、移動元の視点周辺領域Ａｎ内の視認性が第１状態から第２状態に低下するように、仮想空間画像を更新する第２処理とを行う。遷移完了時間は、ユーザＵの視点移動が完了してから視認性の遷移が完了するまでの時間である。つまり、画像生成部１４による仮想空間画像の更新処理では、移動先の視点周辺領域Ａｆ内の視認性が、所定条件に基づいて変化する遷移完了時間をかけて、第２状態から第１状態に遷移するとともに、移動元の視点周辺領域Ａｎ内の視認性が第１状態から第２状態に遷移する仮想空間画像が生成される。

【0033】

ユーザＵの視点移動の直後における仮想空間画像は、図４に示すように、移動元の視点周辺領域Ａｎ内の視認性が第１状態（ピントが合った状態）にあり、移動先の視点周辺領域Ａｆ内の視認性が第２状態（ピントが合っていないぼやけた状態）にある。このような視点移動直後の仮想空間画像における視認性の状態（ぼかし処理の状態）は、前述の図３に示した仮想空間画像（ユーザＵの視点移動前）における視認性の状態と同じである。

【0034】

図６は、ユーザＵの視点移動から遷移完了時間が経過した後の仮想空間画像の一例を示している。遷移完了時間が経過して更新処理（第１処理および第２処理）が完了した仮想空間画像は、図６に示すように、移動元の視点周辺領域Ａｎ内の視認性が第２状態（ピントが合っていないぼやけた状態）に遷移し、移動先の視点周辺領域Ａｆ内の視認性が第１状態（ピントが合った状態）に遷移している。

【0035】

なお、画像生成部１４は、前述したヘッドトラッキングやポジショントラッキングによる検出結果が伝えられている場合に、ユーザＵの頭部の動きや身体の動きに追従して仮想空間画像を変化させてもよい。例えば、ユーザＵが頭部を左側に向けた場合、画像生成部１４は、ヘッドトラッキングにより検出されるユーザＵの頭部の動きに合わせて、仮想空間内でユーザＵの左方向にある光景が映し出されるように、仮想空間画像を変化させる。また例えば、ユーザＵが移動して身体の位置が変化した場合、画像生成部１４は、ポジショントラッキングにより検出されるユーザＵの現在位置に合わせて、ユーザＵの視界が移り変わるように、仮想空間画像を変化させる。

【0036】

表示制御部１５（図１）は、画像生成部１４で生成される仮想空間画像を画像形成装置４に表示させるための制御信号を生成し、該制御信号を画像形成装置４に出力する。表示制御部１５からの制御信号を受けた画像形成装置４は、該制御信号に従って仮想空間画像を表示する。

【0037】

次に、本実施形態による仮想空間画像生成装置２の動作について説明する。
図７は、仮想空間画像生成装置２による仮想空間画像の生成方法の一例を示すフローチャートである。
本実施形態生成装置２では、まず、図７のステップＳ１０において、視点検出部１１が、センサ３の出力信号を用いて、画像形成装置４上におけるユーザＵの視点の位置（２次元平面上の座標）を検出する。この視点検出部１１による視点位置の検出処理は、所定の周期で繰り返し実行される。視点検出部１１で検出されたユーザＵの視点の位置情報は、画像生成部１４に伝えられる。

【0038】

続くステップＳ２０では、視点検出部１１からの視点の位置情報を受けた画像生成部１４が、記憶部１３に記憶された画像データ（または入力部１２から受信した画像データ）および各種設定情報を用いて、画像形成装置４上に表示させる仮想空間画像を生成する。このとき、画像生成部１４は、前述の図３に示した一例にあるように、ユーザＵの視点の位置Ｐに基づき視点周辺領域Ａの外側に位置する画像部分にぼかし処理を施す。これにより、視点周辺領域Ａ内の視認性が相対的に高い第１状態にあり、かつ、視点周辺領域Ａ外の視認性が相対的に低い第２状態にある仮想空間画像が生成される。

【0039】

次のステップＳ３０では、画像生成部１４が、視点検出部１１から所定の周期で伝えられる視点の位置情報を基にユーザＵの視点の移動を判定する処理を実行する。この判定処理では、移動前の視点に対して移動先の視点が少なくとも奥行方向に移動しているか否かが判定される。視点移動があった場合には（ＹＥＳ）、次のステップＳ４０に進み、視点移動がなかった場合には（ＮＯ）、ステップＳ５０に移る。

【0040】

ステップＳ４０では、画像生成部１４が、ユーザの視点移動に応じた仮想空間画像の更新処理を行う。更新処理が完了すると、次のステップＳ５０に進み、表示制御部１５が、画像生成部１４で生成（または更新）された仮想空間画像を画像形成装置４に表示させる制御を行う。仮想空間画像が画像形成装置４に表示されると、ステップＳ３０に戻って同様の処理が繰り返し実行される。

【0041】

ここで、上記ステップＳ４０における仮想空間画像の更新処理について具体的に説明する。
前述したように本実施形態による画像生成部１４は、ユーザＵの視点が移動した際、移動先の視点周辺領域Ａｆ内の視認性が第２状態から第１状態に上昇し、かつ、該視認性が第１状態と第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化するように、仮想空間画像を更新する第１処理と、移動元の視点周辺領域Ａｎ内の視認性が第１状態から第２状態に低下するように、仮想空間画像を更新する第２処理とを行う。

【0042】

このような仮想空間画像の更新処理において、移動先の視点周辺領域内の視認性の第２状態から第１状態への遷移は、移動先の視点周辺領域内の画像に施されたぼかし処理を軽減することで実現される。つまり、ぼかし処理された画像のぼかし量（ぼかし割合）を減少させてピントの合った状態に近づけることで、当該領域内の視認性を上昇させて第２状態から第１状態に遷移させる。視認性を第２状態から第１状態に遷移させるぼかし量の軽減処理は、遷移完了時間をかけて行われる。この遷移完了時間は、ユーザＵの視点移動が完了してからぼかし量の軽減処理を開始するまでの遅延時間と、ぼかし量の軽減処理を開始してから完了するまでの遷移時間とを含んでいる。

【0043】

また、移動元の視点周辺領域内の視認性の第１状態から第２状態への遷移は、移動元の視点周辺領域内の画像にぼかし処理を施すことで実現される。つまり、ぼかし処理における画像のぼかし量（ぼかし割合）を増加させることで、当該領域内の視認性を低下させて第１状態から第２状態に遷移させる。

【0044】

画像生成部１４による仮想空間画像の第１処理では、遷移完了時間に含まれる遅延時間および遷移時間が、所定条件の１つであるユーザＵの視点の移動方向に応じて変化する。ユーザＵの視点の移動方向は、画像形成装置４上（仮想空間画像上）の上下および左右の各方向、仮想空間内での奥行方向、並びに、これらの方向の組み合わせを含んでいる。本実施形態では、例えば、仮想空間内での奥行方向に関し、ユーザＵの視点が遠ざかる方向に移動しているか近づく方向に移動しているかによって、遅延時間および遷移時間が変化する。前述の図４～図６に例示したユーザＵの視点の位置Ｐｎから位置Ｐｆへの移動は、遠ざかる方向の視点移動に該当し、その逆の移動（位置Ｐｆから位置Ｐｎへの移動）は、近づく方向の視点移動に該当する。以下では、遷移完了時間に含まれる遅延時間および遷移時間の変化の仕方について、視点移動の方向ごとに具体例を挙げて詳しく説明する。

【0045】

図８は、視点が遠ざかる方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。図８の上段のグラフは、移動先の視点周辺領域Ａｆに対応しており、図８の下段のグラフは、移動元の視点周辺領域Ａｎに対応している。各グラフの縦軸は視認性Ｖの状態を表し、横軸は時間ｔを表す。縦軸の視認性Ｖの状態は、横軸との交点（原点）から離れるほど高くなる。なお、視認性Ｖの状態は、前述したようにぼかし処理における画像のぼかし量（ぼかし割合）に対応している。このため、図８の各グラフの縦軸は画像のぼかし量も表しており、該ぼかし量は原点から離れるほど少なくなる。

【0046】

図８において、ユーザＵの視点は、時間ｔ１で位置Ｐｎ（数字の「８」の第１オブジェクト上）にあり、時間ｔ２で位置Ｐｆ（道路標識の第２オブジェクト上）に移動している。時間ｔ１において、移動先の視点周辺領域Ａｆ内の視認性は相対的に低い第２状態Ｖ２にあり、移動元の視点周辺領域Ａｎ内の視認性は相対的に高い第１状態Ｖ１にある。

【0047】

図８の各グラフ中の破線は、上述したような従来の技術において仮想空間画像に施されるぼかし処理に対応した視認性の時間的な変化を表している。従来の技術では、仮想空間画像に施されるぼかし処理が、画像処理を担うハードウェアの性能に応じた速度で実行される。このため、視認性（ぼかし量）の第１状態Ｖ１および第２状態Ｖ２間の遷移が、ユーザＵの視点の移動と略同時の短期間（時間ｔ１～ｔ２）で完了している。

【0048】

一方、本実施形態における画像生成部１４による仮想空間画像の更新処理では、各グラフ中の実線で示すように、移動先の視点周辺領域Ａｆ内の視認性が第２状態Ｖ２から徐々に上昇して第１状態Ｖ１に遷移するとともに、移動元の視点周辺領域Ａｎ内の視認性が第１状態Ｖ１からすぐに低下して第２状態Ｖ２に遷移する。

【0049】

具体的に、移動先の視点周辺領域Ａｆ内の視認性の時間的な変化は、図８の上段のグラフに示すように、ユーザＵの視点移動が完了してから所定の遅延時間Ｌ１が経過するまでの期間（時間ｔ２～ｔ３）、視認性が第２状態Ｖ２に維持され、時間ｔ３になると視認性が上昇し始める。時間ｔ３以降、移動先の視点周辺領域Ａｆ内の視認性は、時間の経過に従って漸次変化し、時間ｔ４で第１状態Ｖ１まで上昇する。

【0050】

つまり、ユーザＵの視点移動の完了後、遅延時間Ｌ１の経過を待って、移動先の視点周辺領域Ａｆ内の画像に施されたぼかし処理を軽減する処理が開始される。そして、画像のぼかし量（ぼかし割合）が時間の経過とともに徐々に減らされることにより、移動先の視点周辺領域Ａｆ内の視認性が第２状態Ｖ２（ピントが合っていないぼやけた状態）から第１状態Ｖ１（ピントが合った状態）に遷移する。遷移を開始してから完了するまでの遷移時間α１は、時間ｔ３～ｔ４である。ユーザＵの視点移動が完了してから視認性の遷移が完了するまでに要する遷移完了時間Ｔ１（時間ｔ２～ｔ４）は、遅延時間Ｌ１および遷移時間α１の合計となる。

【0051】

ここで、移動先の視点周辺領域Ａｆ内の画像にピントが合った状態は、前述の図５を参照して説明した、ユーザＵの眼Ｅの焦点が移動先の視点の仮想的な位置Ｐｆ’に合った状態に相当している。つまり、仮想空間画像上において移動先の視点周辺領域Ａｆ内の視認性を第１状態に上昇させる画像処理は、現実空間においてユーザＵが眼Ｅの焦点調整機能を働かせて焦点距離をＦｆ’に調整する動作に相当している。したがって、視認性を第１状態Ｖ１に上昇させる際の当該視認性の時間的な変化が、眼Ｅの焦点調整機能により焦点距離をＦｆ’にする際の当該焦点距離の時間的な変化に近づくようになれば、現実空間の見え方に近い視認性を実現した仮想空間画像を生成することが可能になる。

【0052】

図８の上段のグラフにおいて、遷移時間α１に亘る曲線Ｃ１は、移動先の視点周辺領域Ａｆ内の視認性を第１状態Ｖ１に上昇させる際の当該視認性の時間的な変化を表している。この曲線Ｃ１の形状が、例えば、次の（１）式に示す関数に従うようにすることによって、眼Ｅの焦点調整機能による焦点距離の時間的な変化に近づけることができる。

【数1】

上記（１）式において、ｔは、ぼかし処理を軽減する処理を開始してからの時間［ｓ］を表している。Ｆは、時間ｔでの焦点距離［ｍ］を表している。Ｄｏは、視点移動開始時の焦点距離の逆数であるディオプター（diopter）を表している。Ｄｔは、視点移動終了時の焦点距離の逆数であるディオプターを表している。ｅは、ネイピア数（自然対数の底）を表している。τは、時間定数を表している。図８のように視点が遠ざかる方向に移動する場合、Ｄｏは１／Ｆｎ’を意味し、Ｄｔは１／Ｆｆ’を意味する。

【0053】

上記（１）式における焦点距離Ｆは、時間ｔでの視認性Ｖの状態に対応している。具体的に、視認性の第１状態Ｖ１は、（１）式の焦点距離Ｆが前述の図５に示した仮想的な焦点距離Ｆｆ’となる状態（Ｆ＝Ｆｆ’）に対応している。また、視認性の第２状態Ｖ２は、（１）式の焦点距離Ｆが図５の仮想的な焦点距離Ｆｎ’となる状態（Ｆ＝Ｆｎ’）に対応している。

【0054】

また、上記（１）式における時間定数τは、前述した環境条件およびユーザ条件に合わせて設定され、時間定数τに応じて遷移時間α１の長さ（曲線Ｃ１の形状）が変化する。図９は、時間定数τの値を変更した場合の遷移時間α１の変化を例示している。図９の例では、時間定数τの値をτ＝０．１としたときの遷移時間α１よりもτ＝０．２としたときの遷移時間α１’の方が長くなり、該遷移時間α１’よりもτ＝０．３としたときの遷移時間α１’’の方が更に長くなっている。

【0055】

上記のような移動先の視点周辺領域Ａｆ内の視認性の時間的な変化に対して、移動元の視点周辺領域Ａｎ内の視認性の時間的な変化は、図８の下段のグラフに示すように、ユーザＵの視点移動が完了してすぐに視認性が第１状態Ｖ１から低下し始め、時間ｔ３’で第２状態Ｖ２まで低下する。つまり、ユーザＵの視点移動の完了後直ちに移動元の視点周辺領域Ａｎ内の画像のぼかし処理が開始される。そして、画像のぼかし量（ぼかし割合）が時間の経過とともに増やされることにより、移動元の視点周辺領域Ａｎ内の視認性が第１状態Ｖ１（ピントが合った状態）から第２状態Ｖ２（ピントが合っていないぼやけた状態）に遷移する。このように移動元の視点周辺領域Ａｎ内の視認性を変化させることで、ユーザＵが移動元の視点周辺領域Ａｎの見え方に違和感を抱くことを防止できる。

【0056】

図１０は、視点が近づく方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。図１０の上段のグラフは、移動先の視点周辺領域Ａｎに対応しており、図１０の下段のグラフは、移動元の視点周辺領域Ａｆに対応している。前述した図８と同様に、各グラフの縦軸は視認性Ｖの状態（ぼかし量）を表し、横軸は時間ｔを表す。縦軸の視認性Ｖの状態は、横軸との交点（原点）から離れるほど高くなる（ぼかし量は原点から離れるほど少なくなる）。

【0057】

図１０において、ユーザＵの視点は、時間ｔ１で位置Ｐｆ（道路標識の第２オブジェクト上）にあり、時間ｔ２で位置Ｐｎ（数字の「８」の第１オブジェクト上）に移動している。時間ｔ１において、移動先の視点周辺領域Ａｎ内の視認性は相対的に低い第２状態Ｖ２にあり、移動元の視点周辺領域Ａｆ内の視認性は相対的に高い第１状態Ｖ１にある。

【0058】

図１０の各グラフ中の破線は、前述した図８の場合と同様に、従来の技術において仮想空間画像に施されるぼかし処理に対応した視認性の時間的な変化を表しており、視認性の第１状態Ｖ１および第２状態Ｖ２間の遷移が短期間（時間ｔ１～ｔ２）で完了している。

【0059】

一方、本実施形態における画像生成部１４による仮想空間画像の更新処理では、各グラフ中の実線で示すように、移動先の視点周辺領域Ａｎ内の視認性が第２状態Ｖ２から徐々に上昇して第１状態Ｖ１に遷移するとともに、移動元の視点周辺領域Ａｆ内の視認性が第１状態Ｖ１からすぐに低下して第２状態Ｖ２に遷移する。

【0060】

具体的に、移動先の視点周辺領域Ａｎ内の視認性の時間的な変化は、図１０の上段のグラフに示すように、ユーザＵの視点移動が完了してから所定の遅延時間Ｌ２が経過するまでの期間（時間ｔ２～ｔ３）、視認性が第２状態Ｖ２に維持され、時間ｔ３になると視認性が上昇し始める。前述した遠ざかる方向の視点移動における遅延時間Ｌ１は、近づく方向の視点移動における遅延時間Ｌ２よりも長くなるように設定されている（Ｌ１＞Ｌ２）。好ましくは、近づく方向の視点移動における遅延時間Ｌ２に対して、遠ざかる方向の視点移動における遅延時間Ｌ１が２倍以上となるようにするのがよい。具体的には、遠ざかる方向の視点移動における遅延時間Ｌ１を０．０５秒から０．２秒までの範囲（０．０５＜Ｌ１＜０．２）に設定し、近づく方向の視点移動における遅延時間Ｌ２を０秒から０．０５秒までの範囲（０＜Ｌ２＜０．０５）に設定するのが好適であることが実験により確認されている。時間ｔ３以降、移動先の視点周辺領域Ａｆ内の視認性は、時間の経過に従って漸次変化し、時間ｔ５で第１状態Ｖ１まで上昇する。

【0061】

つまり、ユーザＵの視点移動の完了後、遅延時間Ｌ２の経過を待って、移動先の視点周辺領域Ａｎ内の画像に施されたぼかし処理を軽減する処理が開始される。そして、画像のぼかし量（ぼかし割合）が時間の経過とともに徐々に減らされることにより、移動先の視点周辺領域Ａｎ内の視認性が第２状態Ｖ２（ピントが合っていないぼやけた状態）から第１状態Ｖ１（ピントが合った状態）に遷移する。遷移を開始してから完了するまでの遷移時間α２は、時間ｔ３～ｔ５である。前述した遠ざかる方向の視点移動における遷移時間α１は、近づく方向の視点移動における遷移時間α２よりも長くなるように設定されている（α１＞α２）。ユーザＵの視点移動が完了してから視認性の遷移が完了するまでに要する遷移完了時間Ｔ２（時間ｔ２～ｔ５）は、遅延時間Ｌ２および遷移時間α２の合計となる。

【0062】

上記遷移時間α２に亘る曲線Ｃ２の形状は、例えば、前述した（１）式に示す関数に従うようにすることによって、眼Ｅの焦点調整機能による焦点距離の時間的な変化に近づけることができる。図１０のように視点が近づく方向に移動する場合、上記（１）式における、Ｄｏは１／Ｆｆ’を意味し、Ｄｔは１／Ｆｎ’を意味する。また、時間定数τは、前述した環境条件およびユーザ条件に合わせて設定され、時間定数τに応じて曲線Ｃ２の形状（遷移時間α２の長さ）が変化する。図１１は、時間定数τの値を変更した場合の遷移時間α２の変化を例示している。図１１の例では、時間定数τの値をτ＝０．１としたときの遷移時間α２よりもτ＝０．２としたときの遷移時間α２’の方が長くなり、該遷移時間α２’よりもτ＝０．３としたときの遷移時間α２’’の方が更に長くなっている。前述した遠ざかる方向の視点移動における時間定数τは、近づく方向の視点移動における時間定数τの２倍以上となるように設定するのが好ましい。具体的には、遠ざかる方向の視点移動における時間定数τを０．０５から０．２までの範囲（０．０５＜τ＜０．２）に設定し、近づく方向の視点移動における時間定数τを０から０．１の範囲（０＜τ＜０．１）に設定するのが好適であることが実験により確認されている。

【0063】

上記のような移動先の視点周辺領域Ａｎ内の視認性の時間的な変化に対して、移動元の視点周辺領域Ａｆ内の視認性の時間的な変化は、図１０の下段のグラフに示すように、ユーザＵの視点移動が完了してすぐに視認性が第１状態Ｖ１から低下し始め、時間ｔ３’で第２状態Ｖ２まで低下する。つまり、ユーザＵの視点移動の完了後直ちに移動元の視点周辺領域Ａｆ内の画像のぼかし処理が開始される。そして、画像のぼかし量（ぼかし割合）が時間の経過とともに増やされることにより、移動元の視点周辺領域Ａｆ内の視認性が第１状態Ｖ１（ピントが合った状態）から第２状態Ｖ２（ピントが合っていないぼやけた状態）に短時間で遷移する。このように移動元の視点周辺領域Ａｆ内の視認性を変化させることで、ユーザＵが移動元の視点周辺領域Ａｆの見え方に違和感を抱くことを防止できる。

【0064】

以上説明したように、本実施形態による仮想空間画像生成装置２では、画像生成部１４が、ユーザＵの視点が移動する場合に、移動元の視点周辺に位置する視認性変化領域の視認性が第１状態Ｖ１と第２状態Ｖ２との間で遷移するのに要する遷移完了時間Ｔ１，Ｔ２が所定条件に基づいて変化する仮想空間画像を生成する。これにより、視認性変化領域の視認性が、所定条件に基づき変化する遷移完了時間Ｔ１，Ｔ２をかけて第１および第２状態Ｖ１，Ｖ２の間で遷移するようになるため、ユーザＵの視点が移動しても現実空間の見え方に近い視認性を実現した仮想空間画像を生成することができる。このような仮想空間画像生成装置２を適用して運転シミュレータシステム１を構築すれば、車両開発等において、現実空間における各種オブジェクトを仮想空間上で再現して、各種オブジェクトの視認性を仮想空間画像上で正確に評価することが可能になる。また、運転シミュレータシステム１を利用して車両運転の模擬体験を行えば、ユーザＵに対してよりリアルな運転体験を提供できるようになる。

【0065】

また、本実施形態の仮想空間画像生成装置２における遷移完了時間Ｔ１，Ｔ２は、遅延時間Ｌ１，Ｌ２と遷移時間α１，α２を含んでいる。眼の焦点調整機能において、視点を移動させてから焦点距離が変化するまでの間には遅れ（タイムラグ）が生じる。このような眼の性質を考慮して、遷移完了時間Ｔ１，Ｔ２に含まれる遅延時間Ｌ１，Ｌ２を適切に設定し、遅延時間Ｌ１，Ｌ２の経過を待って遷移時間α１，α２を開始することにより、生成される仮想空間画像の視認性を現実空間の見え方により近づけることができる。

【0066】

また、本実施形態の仮想空間画像生成装置２では、ユーザＵの視点の移動方向に応じて遷移時間α１，α２が変化する仮想空間画像が生成される。眼の焦点調整機能において、焦点距離の調整時間（眼のピントが合うまでに要する時間）は視点の移動方向によって異なるので、視点の移動方向に依存して視点周辺領域のぼやけ方が変わる。このような眼の性質に合うように、視点の移動方向に応じて遷移時間α１，α２を変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に更に近づけることができる。

【0067】

また、本実施形態の仮想空間画像生成装置２では、遠ざかる方向の視点移動における遷移時間α１が、近づく方向の視点移動における遷移時間α２よりも長くなる仮想空間画像が生成される。眼の焦点調整機能において、視点が近づく方向に移動にする場合よりも、視点が遠ざかる方向に移動する場合の方が焦点距離の調整時間が長くなる。このような眼の性質に合うように、仮想空間画像の処理における遷移時間α１，α２を調整することによって、生成される仮想空間画像の視認性を現実空間の見え方に更に近づけることができる。

【0068】

さらに、本実施形態の仮想空間画像生成装置２では、仮想空間内でのユーザＵの視点の仮想的な位置（Ｐｎ’，Ｐｆ’）に対応するユーザの眼の焦点距離（Ｆｎ’，Ｆｆ’）の変化に応じて遷移時間α１，α２が変化する仮想空間画像が生成される。眼の焦点調整機能において、現実空間で視点を移動させたときの視点周辺領域のぼやけ方は、焦点距離の変化量に応じて変わる。このような眼の性質に合うように、眼の焦点距離の変化に応じて、仮想空間画像の処理における遷移時間α１，α２を変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に一層近づけることができる。

【0069】

加えて、本実施形態の仮想空間画像生成装置２では、遠ざかる方向の視点移動における遅延時間Ｌ１が、近づく方向の視点移動における遅延時間Ｌ２よりも２倍以上長く、かつ、遠ざかる方向の視点移動における遷移時間α１を決める関数の時間定数τが、近づく方向の視点移動における遷移時間α２を決める関数の時間定数τの２倍以上となる仮想空間画像が生成される。このような設定とすることにより、生成される仮想空間画像の視認性を現実空間の見え方により一層近づけることができる。特に、遠ざかる方向の視点移動において、遅延時間Ｌ１が０．０５秒から０．２秒までの範囲に設定され、かつ、時間定数τが０．０５から０．２までの範囲に設定されるとともに、近づく方向の視点移動において、遅延時間Ｌ２が０秒から０．０５秒までの範囲に設定され、かつ、時間定数τが０から０．１の範囲に設定されるようにすれば、仮想空間画像の視認性を現実空間の見え方に確実に近づけることができる。

【0070】

また、本実施形態の仮想空間画像生成装置２では、仮想空間の環境に関する条件（環境条件）や、ユーザＵに関する条件（ユーザ条件）に基づき遷移完了時間が変化する仮想空間画像が生成される。眼の焦点調整機能において、現実空間で視点を移動させたときの視点周辺領域のぼやけ方は、仮想空間の環境（天候、湿度、走行環境、ウィンドガラスの状況など）や、ユーザの状態（年齢、性別、視力、眼の健康度、開眼度、利き目など）に応じて変わる。このような眼の性質に合うように、仮想空間画像の処理における遷移完了時間を環境条件やユーザ条件に基づき変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に効果的に近づけることができる。

【0071】

また、本実施形態の仮想空間画像生成装置２では、ユーザＵの視点が移動して、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合に、遷移完了時間が所定条件に基づいて変化する仮想空間画像が生成される。これにより、ユーザＵの視点が、視点周辺領域外の離れた位置に大きく移動した場合にも、移動先の視点周辺領域全体の視認性を現実空間の見え方に確実に近づけることができる。

【0072】

以上、本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形および変更が可能である。例えば、既述の実施形態では、ユーザＵの視点が仮想空間内で奥行方向（遠ざかる方向または近づく方向）に移動する一例を説明した。しかしながら、奥行方向の移動を伴わない視点移動、例えば、仮想空間画像に表示した先行車両の左右のテールランプ間でユーザＵの視点が移動するような場合にも、本発明による仮想空間画像の生成技術を適用することで、現実空間の見え方に近い仮想空間画像を実現できるようになる。

【0073】

また、既述の実施形態では、ユーザＵの視点移動が完了してから遅延時間Ｌ１，Ｌ２が経過するまでの期間、移動先の視点周辺領域内の視認性が第２状態に維持される一例を説明したが、遅延時間Ｌ１，Ｌ２の間に視認性が微増する仮想空間画像を生成するようにしてもよい。さらに、既述の実施形態では、遷移時間における視認性の時間的な変化が（１）式などの関数に従う一例を説明したが、視認性の状態と焦点距離とを関連付けたマップを用いて視認性を変化させるようにしてもよい。

【0074】

遷移時間における視認性の時間的な変化が（１）式に示した関数に従うようにした場合に、該（１）式のディオプターＤｏ（視点移動開始時の焦点距離の逆数）およびディオプターＤｔ（視点移動終了時の焦点距離の逆数）として、既述の実施形態では、ユーザＵの眼Ｅの仮想的な焦点距離Ｆｎ’，Ｆｆ’の逆数を用いる一例を示したが、該Ｆｎ’，Ｆｆ’の逆数に代えて、奥行き方向の距離Ｚｎ，Ｚｆの逆数を用いるようにしてもよい。

【0075】

加えて、視認性変化領域の視認性の変化度合は、視点移動開始時の焦点距離と視点移動終了時の焦点距離との偏差に応じて変化させるようにすることも可能である。

【符号の説明】

【0076】

１…運転シミュレータシステム
２…仮想空間画像生成装置
３…センサ
４…画像形成装置
１１…視点検出部
１２…入力部
１３…記憶部
１４…画像生成部
１５…表示制御部
Ａ，Ａｎ，Ａｆ…視点周辺領域
Ｆ，Ｆｎ，Ｆｎ’，Ｆｆ，Ｆｆ’…焦点距離
Ｌ１，Ｌ２…遅延時間
Ｐ，Ｐｎ，Ｐｆ…視点の位置
Ｐｎ’，Ｐｆ’…仮想空間内での視点の位置
Ｔ１，Ｔ２…遷移完了時間
Ｕ…ユーザ
Ｖ１…第１状態
Ｖ２…第２状態
α１，α２…遷移時間
τ…時間定数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】