知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-31
(45)【発行日】2024-11-11
(54)【発明の名称】要素画像群生成装置及びそのプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241101BHJP
G02B 30/33 20200101ALI20241101BHJP
G02B 27/02 20060101ALI20241101BHJP
【ＦＩ】
G06T19/00 A
G02B30/33
G02B27/02 Z
【請求項の数】
4
(21)【出願番号】P 2020156877
(22)【出願日】2020-09-18
(65)【公開番号】P2022050768
(43)【公開日】2022-03-31
【審査請求日】2023-08-07
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】前田 恭孝
(72)【発明者】
【氏名】久富 健介
(72)【発明者】
【氏名】小出 大一
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開２０１９－１４９７７７（ＪＰ，Ａ）
【文献】特表２０２０－５１０２４１（ＪＰ，Ａ）
【文献】特開２０２０－０２４４３８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｔ １５／０６
Ｇ０２Ｂ ２７／００ － ２７／６４
Ｇ０２Ｂ ３０／００ － ３０／６０
(57)【特許請求の範囲】
【請求項1】
ディスプレイ及び光学素子アレイを備えるライトフィールドＨＭＤに表示する要素画像群を生成する要素画像群生成装置であって、前記ディスプレイの各画素から光学素子を通過して所定の瞳面に到達する光線の光路計算を予め行い、前記瞳面に到達した光線の方向ベクトルを反転させた追跡ベクトルを算出する光路計算手段と、
前記ライトフィールドＨＭＤの装着者の頭部運動情報に基づいて、前記追跡ベクトルの延長線が仮想空間内の物体に接触する個所の色情報を取得する光線追跡処理を行い、前記要素画像群を生成する光線追跡計算手段と、
を備え、
前記光路計算手段は、
前記ディスプレイの各画素から前記光学素子の中心を通過する光線の光学素子後ベクトルを算出する光学素子対応手段と、
前記瞳面において、前記光学素子後ベクトルの方向を反転させた前記追跡ベクトルを算出する瞳面再帰反射手段と、
を備え、
前記ライトフィールドＨＭＤは、接眼レンズをさらに備え、
前記光路計算手段は、前記光学素子後ベクトルを延長し、前記光学素子の中心を通過して前記接眼レンズで屈折した光線の接眼レンズ後ベクトルを算出する接眼レンズ屈折手段、をさらに備え、
前記瞳面再帰反射手段は、前記瞳面において、前記接眼レンズ後ベクトルの方向を反転させた前記追跡ベクトルを算出することを特徴とする要素画像群生成装置。
【請求項2】
前記光線追跡計算手段は、予め設定した眼球間距離だけ前記追跡ベクトルを水平方向にシフトさせて、両眼の前記追跡ベクトルを算出する二眼表示手段と、
前記装着者の頭部重心位置を基準として、両眼の前記追跡ベクトルに前記頭部運動情報から定まる頭部の回転行列を適用する頭部運動手段と、
前記回転行列を適用した両眼の追跡ベクトルで前記光線追跡処理を行い、前記光線が前記物体に接触する個所の色情報を取得する光線追跡手段と、
前記光線追跡手段で取得した色情報を要素画像の各画素に格納し、前記要素画像群を生成する要素画像群生成手段と、
を備えることを特徴とする請求項１に記載の要素画像群生成装置。
【請求項3】
前記光線追跡手段は、前記装着者の視線方向に最も近い方向の前記追跡ベクトルで前記光線追跡処理を行い、前記光線が前記物体に接触する個所の前記色情報を取得することを特徴とする請求項２に記載の要素画像群生成装置。
【請求項4】
コンピュータを、請求項１から請求項３の何れか一項に記載の要素画像群生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ライトフィールドＨＭＤが表示する要素画像群を生成する要素画像群生成装置及びそのプログラムに関する。
【背景技術】
【0002】
近年、教育、医療、娯楽などの様々な分野でバーチャルリアリティー（ＶＲ：Virtual Reality）の活用が広がりつつある。ＶＲ表示装置であるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）の光学系は、接眼レンズによりディスプレイの映像を拡大する単純な構造である。このＨＭＤは、左眼用と右眼用の２枚のディスプレイに視差のある映像を表示することにより、立体感を感じる仕組みとなっている。
【0003】
このＨＭＤが解決できていない問題の一つに、焦点距離と輻輳距離の不一致に起因する眼精疲労がある。この問題は、調整機能によって眼が焦点を合わせる位置と、輻輳機能によって両眼の視線方向が交差する位置が一致しないことに起因する。そして、この問題は、仮想的に３Ｄオブジェクトの光源を再生するライトフィールドＨＭＤを用いることで解決できる。
【0004】
ライトフィールドＨＭＤは、ディスプレイ、マイクロレンズアレイ、及び、接眼レンズを備えている（非特許文献１，２）。なお、ライトフィールドＨＭＤは、接眼レンズが必須ではなく、ディスプレイ及びマイクロレンズアレイだけを備えてもよい（特許文献１）。そして、ライトフィールドＨＭＤは、３Ｄオブジェクトの光源を生成するための要素画像群をディスプレイに表示する。
【0005】
ライトフィールドＨＭＤにおいて、要素画像群の生成は、ディスプレイの各画素から光学素子を通過し瞳面に到達するまでの光路計算処理と、瞳面から仮想空間に配置した３Ｄオブジェクトに到達して色情報を取得するまでの光線追跡処理とに分類される。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０２０－０７３９８８号公報
【非特許文献】
【0007】
【文献】H. Huang and H. Hua, “Generalized methods and strategies for modeling and optimizing the optics of 3D head-mounted light field displays,” Opt. Express, 27(18), 25154, (2019).
【文献】D. Lanman and D. Luebke, “Near-Eye Light Field Displays,” ACM Trans. Graph. 32(6), 1-10 (2013).
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、ライトフィールドＨＭＤでは、要素画素群を生成するまでに必要な計算量が多く、その生成に時間を要するという問題がある。
【0009】
そこで、要素画像群を高速に生成できる要素画像群生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0010】
前記課題を解決するため、本発明に係る要素画像群生成装置は、ディスプレイ及び光学素子で構成された光学素子アレイを備えるライトフィールドＨＭＤに表示する要素画像群を生成する要素画像群生成装置であって、光路計算手段と、光線追跡計算手段と、を備える構成とした。
【0011】
かかる構成によれば、光路計算手段は、ディスプレイの各画素から光学素子を通過して所定の瞳面に到達する光線の光路計算を予め行い、瞳面に到達した光線の方向ベクトルを反転させた追跡ベクトルを算出する。
光線追跡計算手段は、ライトフィールドＨＭＤの装着者の頭部運動情報に基づいて、追跡ベクトルの延長線が仮想空間内の物体に接触する個所の色情報を取得する光線追跡処理を行い、要素画像群を生成する。
光路計算手段は、ディスプレイの各画素から光学素子の中心を通過する光線の光学素子後ベクトルを算出する光学素子対応手段と、瞳面において、光学素子後ベクトルの方向を反転させた前記追跡ベクトルを算出する瞳面再帰反射手段と、を備える。
ライトフィールドＨＭＤは、接眼レンズをさらに備える。
光路計算手段は、光学素子後ベクトルを延長し、光学素子の中心を通過して接眼レンズで屈折した光線の接眼レンズ後ベクトルを算出する接眼レンズ屈折手段、をさらに備える。
瞳面再帰反射手段は、瞳面において、接眼レンズ後ベクトルの方向を反転させた追跡ベクトルを算出する。
光線追跡計算手段は、ライトフィールドＨＭＤの装着者の頭部運動情報に基づいて、追跡ベクトルの延長線が仮想空間内の物体に接触する個所の色情報を取得する光線追跡処理を行い、要素画像群を生成する。
光路計算手段は、ディスプレイの各画素から光学素子の中心を通過する光線の光学素子後ベクトルを算出する光学素子対応手段と、瞳面において、光学素子後ベクトルの方向を反転させた前記追跡ベクトルを算出する瞳面再帰反射手段と、を備える。
ライトフィールドＨＭＤは、接眼レンズをさらに備える。
光路計算手段は、光学素子後ベクトルを延長し、光学素子の中心を通過して接眼レンズで屈折した光線の接眼レンズ後ベクトルを算出する接眼レンズ屈折手段、をさらに備える。
瞳面再帰反射手段は、瞳面において、接眼レンズ後ベクトルの方向を反転させた追跡ベクトルを算出する。
【0012】
このように、要素画像群生成装置は、ディスプレイの各画素から光学素子を通過して瞳面に到達するまでの光路計算を事前に行っておく。そして、要素画像群生成装置は、光路計算の結果に基づいて、ライトフィールドＨＭＤの装着者の頭部運動に応じた光線追跡処理を行うことで、要素画像群を高速に生成できる。すなわち、要素画像群生成装置は、光路計算を事前に行っておき、装着者の頭部運動に応じた光線追跡処理を適宜行うことで、要素画像群の生成時間を短縮できる。
【0013】
なお、本発明は、コンピュータを、前記した要素画像群生成装置として機能させるためのプログラムで実現することができる。
【発明の効果】
【0014】
本発明によれば、要素画像群を高速に生成できる。
【図面の簡単な説明】
【0015】
【図1】第１実施形態に係る要素画像群生成装置の構成を示すブロック図である。
【図2】第１実施形態において、光路計算を説明する説明図である。
【図3】第１実施形態において、光線追跡処理を説明する説明図である。
【図4】第１実施形態に係る光路計算装置の動作を示すフローチャートである。
【図5】第１実施形態に係る光線追跡計算装置の動作を示すフローチャートである。
【図6】第２実施形態に係る要素画像群生成装置の構成を示すブロック図である。
【図7】第２実施形態において、要素画像の固有番号と中心位置フラグの設定を説明する説明図であり、（ａ）はディスプレイの正面図であり、（ｂ）はディスプレイの側面図である。
【発明を実施するための形態】
【0016】
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0017】
（第１実施形態）
図１を参照し、第１実施形態に係る要素画像群生成装置１の構成について説明する。
要素画像群生成装置１は、ライトフィールド方式のＨＭＤ２に表示する要素画像群を生成して表示するものであり、図１に示すように、光路計算装置（光路計算手段）３と、光線追跡計算装置（光線追跡計算手段）４とを備える。本実施形態では、光路計算装置３がワークステーションに実装され、光線追跡計算装置４がＨＭＤ２に内蔵されていることとする。また、ＨＭＤ２及び光路計算装置３は、無線通信を行うこととする。
図１を参照し、第１実施形態に係る要素画像群生成装置１の構成について説明する。
要素画像群生成装置１は、ライトフィールド方式のＨＭＤ２に表示する要素画像群を生成して表示するものであり、図１に示すように、光路計算装置（光路計算手段）３と、光線追跡計算装置（光線追跡計算手段）４とを備える。本実施形態では、光路計算装置３がワークステーションに実装され、光線追跡計算装置４がＨＭＤ２に内蔵されていることとする。また、ＨＭＤ２及び光路計算装置３は、無線通信を行うこととする。
【0018】
［ＨＭＤの構成］
図１及び図２を参照し、ＨＭＤ２の構成について説明する。
ＨＭＤ２は、一般的なライトフィールド方式のＨＭＤであり、図１及び図２に示すように、ディスプレイ２０と、マイクロレンズアレイ（光学素子アレイ）２２と、接眼レンズ２４と、記憶手段２５とを備える。
図１及び図２を参照し、ＨＭＤ２の構成について説明する。
ＨＭＤ２は、一般的なライトフィールド方式のＨＭＤであり、図１及び図２に示すように、ディスプレイ２０と、マイクロレンズアレイ（光学素子アレイ）２２と、接眼レンズ２４と、記憶手段２５とを備える。
【0019】
ディスプレイ２０は、一般的なスマートフォンと同様、画素２１を２次元状に配列した平面ディスプレイである。また、ディスプレイ２０は、右眼用のディスプレイ２０Ｒと左眼用のディスプレイ２０Ｌで構成され、右眼用と左眼用の要素画像群を表示する。ここで、１枚のディスプレイ２０の左右それぞれで、右眼用と左眼用の要素画像群を表示してもよい。
【0020】
マイクロレンズアレイ２２は、マイクロレンズ（光学素子）２３を２次元状に配列したものである。また、マイクロレンズアレイ２２は、右眼用のマイクロレンズアレイ２２Ｒと左眼用のマイクロレンズアレイ２２Ｌで構成されている（図３参照）。例えば、マイクロレンズ２３は、微小な両凸レンズである。
接眼レンズ２４は、ディスプレイ２０が表示する要素画像からの光線がマイクロレンズアレイ２２を通過した後に形成する中間像を拡大するレンズである。また、接眼レンズ２４は、右眼用の接眼レンズ２４Ｒと左眼用の接眼レンズ２４Ｌで構成されている（図３参照）。ここで、接眼レンズ２４は、ＨＭＤ２の装着者の側に位置する。
接眼レンズ２４は、ディスプレイ２０が表示する要素画像からの光線がマイクロレンズアレイ２２を通過した後に形成する中間像を拡大するレンズである。また、接眼レンズ２４は、右眼用の接眼レンズ２４Ｒと左眼用の接眼レンズ２４Ｌで構成されている（図３参照）。ここで、接眼レンズ２４は、ＨＭＤ２の装着者の側に位置する。
【0021】
なお、瞳面αとは、ＨＭＤ２の装着者の両眼が位置する仮想的な平面である。
また、像面βとは、３Ｄオブジェクト（物体）Ａの像が形成される仮想的な平面である。
また、像面βとは、３Ｄオブジェクト（物体）Ａの像が形成される仮想的な平面である。
【0022】
記憶手段２５は、要素画像群の生成に必要な各種情報を記憶するメモリやＳＤカードなどの記憶装置である。例えば、記憶手段２５は、情報テーブルＩ、頭部運動情報Ｈ、仮想環境情報Ｋを記憶する。なお、記憶手段２５が記憶する各種情報の詳細は、後記する。
【0023】
［光路計算装置の構成］
光路計算装置３は、光路計算を予め行い、図２に示すように、瞳面αに到達した光線の方向ベクトルを反転させた追跡ベクトルＶ３を算出するものである。光路計算とは、ディスプレイ２０の各画素２１からマイクロレンズ２３と接眼レンズ２４とを通過して瞳面αに到達する光線の光路を計算することである。
光路計算装置３は、光路計算を予め行い、図２に示すように、瞳面αに到達した光線の方向ベクトルを反転させた追跡ベクトルＶ３を算出するものである。光路計算とは、ディスプレイ２０の各画素２１からマイクロレンズ２３と接眼レンズ２４とを通過して瞳面αに到達する光線の光路を計算することである。
【0024】
図１に示すように、光路計算装置３は、マイクロレンズアレイ対応手段（光学素子対応手段）３０と、接眼レンズ屈折手段３１と、瞳面再帰反射手段３２と、情報テーブル生成手段３３とを備える。
【0025】
＜マイクロレンズアレイ対応手段＞
マイクロレンズアレイ対応手段３０は、マイクロレンズアレイ対応処理を行うものである。マイクロレンズアレイ対応処理とは、図２に示すように、画素２１とマイクロレンズ２３とを対応付けて、その画素２１からマイクロレンズ２３の中心を通過する光線のマイクロレンズ後ベクトル（光学素子後ベクトル）Ｖ１を算出する処理である。なお、図２では、１個の画素２１のみをマイクロレンズ２３に対応付けているが、全ての画素２１をマイクロレンズ２３に対応づける。また、図２では、右眼又は左眼の一方のみを表しているが、両眼とも同様の構成である。
マイクロレンズアレイ対応手段３０は、マイクロレンズアレイ対応処理を行うものである。マイクロレンズアレイ対応処理とは、図２に示すように、画素２１とマイクロレンズ２３とを対応付けて、その画素２１からマイクロレンズ２３の中心を通過する光線のマイクロレンズ後ベクトル（光学素子後ベクトル）Ｖ１を算出する処理である。なお、図２では、１個の画素２１のみをマイクロレンズ２３に対応付けているが、全ての画素２１をマイクロレンズ２３に対応づける。また、図２では、右眼又は左眼の一方のみを表しているが、両眼とも同様の構成である。
【0026】
ここで、マイクロレンズアレイ対応手段３０には、ディスプレイ画素配置、マイクロレンズアレイ配置、マイクロレンズアレイ焦点距離、マイクロレンズアレイピッチ、及び、接眼レンズ焦点距離からなるパラメータを入力する。
【0027】
ディスプレイ画素配置は、ディスプレイ２０を構成する画素２１の配置（ｉ，ｊ）を表す。
マイクロレンズアレイ配置は、マイクロレンズアレイ２２を構成するマイクロレンズ２３の配置（ｋ，ｌ）を表す。
マイクロレンズアレイ焦点距離は、マイクロレンズアレイ２２を構成するマイクロレンズ２３の焦点距離を表す。
マイクロレンズアレイピッチは、マイクロレンズアレイ２２を構成するマイクロレンズ２３のピッチ（間隔）を表す。
接眼レンズ焦点距離は、接眼レンズ２４の焦点距離を表す。
マイクロレンズアレイ配置は、マイクロレンズアレイ２２を構成するマイクロレンズ２３の配置（ｋ，ｌ）を表す。
マイクロレンズアレイ焦点距離は、マイクロレンズアレイ２２を構成するマイクロレンズ２３の焦点距離を表す。
マイクロレンズアレイピッチは、マイクロレンズアレイ２２を構成するマイクロレンズ２３のピッチ（間隔）を表す。
接眼レンズ焦点距離は、接眼レンズ２４の焦点距離を表す。
【0028】
具体的には、マイクロレンズアレイ対応手段３０は、ディスプレイ２０の画素２１を光源とし、画素２１に対応付けたマイクロレンズ２３を通過する光線のベクトルを算出する。図２に示すように、光線の始点位置は、ディスプレイ２０を構成する各画素２１の画素位置ＯＤｉｊである。また、マイクロレンズ後ベクトルＶ１は、画素２１の画素位置ＯＤｉｊから、その画素２１に対応付けたマイクロレンズ２３の中心位置ＯＬＡｋｌへ向かう単位ベクトルである。
【0029】
ここで、画素２１とマイクロレンズ２３とを対応付ける手法は、幾つかある。例えば、一番簡易な手法として、ディスプレイ２０の画素２１毎に、その画素２１に最も近いマイクロレンズ２３を対応付けるものがある。この手法では、前記したパラメータのうち、ディスプレイ画素配置及びマイクロレンズアレイ配置を用いる。
【0030】
また、別の手法として、ディスプレイ２０の画素２１からの光線がマイクロレンズ２３を通過し、装着者の眼球に入射することを確認してから、マイクロレンズ２３を対応付けるものがある。この手法では、瞳面αの中心を始点として接眼レンズ２４で屈折されマイクロレンズ２３の中心を通る直線がディスプレイ２０に接する点を中心として、その中心からマイクロレンズ２３の半径内に位置する画素２１を対応付ける。この手法では、前記したパラメータのうち、ディスプレイ画素配置、マイクロレンズアレイ配置、マイクロレンズアレイ焦点距離、マイクロレンズアレイピッチ、及び、接眼レンズ焦点距離を用いる。
【0031】
その後、マイクロレンズアレイ対応手段３０は、ディスプレイ画素配置と、マイクロレンズ後ベクトルＶ１とを接眼レンズ屈折手段３１に出力する。
【0032】
＜接眼レンズ屈折手段＞
接眼レンズ屈折手段３１は、マイクロレンズアレイ対応手段３０からディスプレイ画素配置及びマイクロレンズ後方向ベクトルＶ１を入力し、接眼レンズ屈折処理を行うものである。
接眼レンズ屈折手段３１は、マイクロレンズアレイ対応手段３０からディスプレイ画素配置及びマイクロレンズ後方向ベクトルＶ１を入力し、接眼レンズ屈折処理を行うものである。
【0033】
接眼レンズ屈折処理とは、図２に示すように、マイクロレンズ後ベクトルＶ１を延長することで、マイクロレンズ２３の中心を通過して接眼レンズ２４で屈折した光線の接眼レンズ後ベクトルＶ２を算出する処理である。すなわち、接眼レンズ屈折処理では、画素２１から出射してマイクロレンズ２３を通過した光線を入射光とし、接眼レンズ２４により屈折された光線の光路計算を行う。この接眼レンズ屈折処理では、前記したパラメータのうち、接眼レンズ焦点距離を用いる。
【0034】
接眼レンズ後ベクトルＶ２の始点位置は、マイクロレンズ後ベクトルＶ１と接眼レンズ２４との接触位置ＯＥＰである。また、接眼レンズ後ベクトルＶ２は、接眼レンズ２４で屈折された方向へ向かう単位ベクトルである。
【0035】
その後、接眼レンズ屈折手段３１は、接眼レンズ後ベクトルＶ２を瞳面再帰反射手段３２に出力する。
【0036】
＜瞳面再帰反射手段＞
瞳面再帰反射手段３２は、接眼レンズ屈折手段３１から接眼レンズ後ベクトルＶ２を入力し、瞳面再帰反射処理を行うものである。
瞳面再帰反射手段３２は、接眼レンズ屈折手段３１から接眼レンズ後ベクトルＶ２を入力し、瞳面再帰反射処理を行うものである。
【0037】
瞳面再帰反射処理とは、図２に示すように、瞳面αにおいて、接眼レンズ後ベクトルＶ２の方向を反転させた追跡ベクトルＶ３を算出する処理である。すなわち、瞳面再帰反射処理では、接眼レンズ２４を通過した光線（接眼レンズ後ベクトルＶ２）が瞳面αに到達する位置を、瞳面αに対応する平面との接触判定から算出する。ここでは、接眼レンズ後ベクトルＶ２の符号を反転させて、光線追跡処理を行うための追跡ベクトルＶ３＝（ｕ，ｖ，ｗ）とする。また、接眼レンズ後ベクトルＶ２が瞳面αに到達する位置を瞳面位置ＯＥｙｅ＝（ｘ，ｙ，ｚ）とする。
【0038】
その後、瞳面再帰反射手段３２は、ディスプレイ画素配置、瞳面位置ＯＥｙｅ及び追跡ベクトルＶ３を情報テーブル生成手段３３に出力する。
【0039】
＜情報テーブル生成手段＞
情報テーブル生成手段３３は、情報テーブル生成処理を行うものである。この情報テーブル生成処理とは、瞳面再帰反射手段３２から入力したディスプレイ画素配置、瞳面位置ＯＥｙｅ及び追跡ベクトルＶ３を、情報テーブルＩという一つのファイルとして生成する処理である。そして、情報テーブル生成手段３３は、情報テーブルＩを記憶手段２５に書き込む。
情報テーブル生成手段３３は、情報テーブル生成処理を行うものである。この情報テーブル生成処理とは、瞳面再帰反射手段３２から入力したディスプレイ画素配置、瞳面位置ＯＥｙｅ及び追跡ベクトルＶ３を、情報テーブルＩという一つのファイルとして生成する処理である。そして、情報テーブル生成手段３３は、情報テーブルＩを記憶手段２５に書き込む。
【0040】
［光線追跡計算装置の構成］
光線追跡計算装置４は、装着者の頭部運動情報Ｈに基づいて光線追跡処理を行い、要素画像群を生成するものである。光線追跡処理とは、追跡ベクトルＶ３の延長線が仮想空間内の３ＤオブジェクトＡに接触する個所の色情報を取得する処理のことである（図３）。図１に示すように、光線追跡計算装置４は、二眼表示手段４０と、頭部運動手段４１と、光線追跡手段４２と、要素画像群生成手段４３とを備える。
光線追跡計算装置４は、装着者の頭部運動情報Ｈに基づいて光線追跡処理を行い、要素画像群を生成するものである。光線追跡処理とは、追跡ベクトルＶ３の延長線が仮想空間内の３ＤオブジェクトＡに接触する個所の色情報を取得する処理のことである（図３）。図１に示すように、光線追跡計算装置４は、二眼表示手段４０と、頭部運動手段４１と、光線追跡手段４２と、要素画像群生成手段４３とを備える。
【0041】
＜二眼表示手段＞
二眼表示手段４０は、記憶手段２５が記憶している情報テーブルＩを参照し、二眼表示処理を行うものである。二眼表示処理とは、予め設定した眼球間距離ｄだけ追跡ベクトルＶ３を水平方向にシフトさせて、右眼及び左眼の追跡ベクトルＶ３Ｒ，Ｖ３Ｌを生成する処理である。また、眼球間距離ｄとは、装着者の両眼の距離を表し、任意に設定できる。つまり、二眼表示処理では、片眼から両眼の情報テーブルＩを複製するために、眼球間距離ｄに応じて瞳面位置ＯＥｙｅをそれぞれｘ方向に±ｄ／２シフトさせる。なお、二眼表示処理は、初回のみ行えばよい。図３には、右眼の瞳面位置ＯＥｙｅＲ１，ＯＥｙｅＲ２、左眼の瞳面位置ＯＥｙｅＬ１，ＯＥｙｅＬ２、右眼の追跡ベクトルＶ３Ｒ１，Ｖ３Ｒ２、及び、左眼の追跡ベクトルＶ３Ｌ１，Ｖ３Ｌ２を図示した。
その後、二眼表示手段４０は、右眼及び左眼の情報テーブルＩを頭部運動手段４１に出力する。
二眼表示手段４０は、記憶手段２５が記憶している情報テーブルＩを参照し、二眼表示処理を行うものである。二眼表示処理とは、予め設定した眼球間距離ｄだけ追跡ベクトルＶ３を水平方向にシフトさせて、右眼及び左眼の追跡ベクトルＶ３Ｒ，Ｖ３Ｌを生成する処理である。また、眼球間距離ｄとは、装着者の両眼の距離を表し、任意に設定できる。つまり、二眼表示処理では、片眼から両眼の情報テーブルＩを複製するために、眼球間距離ｄに応じて瞳面位置ＯＥｙｅをそれぞれｘ方向に±ｄ／２シフトさせる。なお、二眼表示処理は、初回のみ行えばよい。図３には、右眼の瞳面位置ＯＥｙｅＲ１，ＯＥｙｅＲ２、左眼の瞳面位置ＯＥｙｅＬ１，ＯＥｙｅＬ２、右眼の追跡ベクトルＶ３Ｒ１，Ｖ３Ｒ２、及び、左眼の追跡ベクトルＶ３Ｌ１，Ｖ３Ｌ２を図示した。
その後、二眼表示手段４０は、右眼及び左眼の情報テーブルＩを頭部運動手段４１に出力する。
【0042】
以下、頭部運動手段４１を説明する前に、記憶手段２５が記憶している頭部運動情報Ｈ及び仮想環境情報Ｋを説明する。
頭部運動情報Ｈは、装着者の頭部運動を表す情報である。頭部運動情報Ｈには、フレームごとの頭部の位置差分および角速度の積分値が含まれている。ここでは、ＨＭＤ２に備えられた加速度センサ（不図示）が頭部運動情報Ｈを計測し、記憶手段２５に書き込むこととする。
頭部運動情報Ｈは、装着者の頭部運動を表す情報である。頭部運動情報Ｈには、フレームごとの頭部の位置差分および角速度の積分値が含まれている。ここでは、ＨＭＤ２に備えられた加速度センサ（不図示）が頭部運動情報Ｈを計測し、記憶手段２５に書き込むこととする。
【0043】
仮想環境情報Ｋは、仮想空間内の３ＤオブジェクトＡを描画するのに必要な情報である。この仮想環境情報Ｋには、仮想空間内の３ＤオブジェクトＡのメッシュ情報（頂点座標、法線ベクトル、色情報）と、仮想空間内の光源情報（例えば、光源Ｂの位置、色、明るさ）とが含まれている。例えば、仮想環境情報Ｋとしては、ＯＢＪ形式のファイルをあげることができる。ここでは、要素画像群生成装置１の管理者が、仮想環境情報Ｋを記憶手段２５に手動で書き込むこととする。
【0044】
＜頭部運動手段＞
頭部運動手段４１は、二眼表示手段４０から右眼及び左眼の情報テーブルＩを入力し、頭部運動処理を行うものである。この頭部運動処理とは、装着者の頭部重心位置を基準として、両眼の追跡ベクトルＶ３及び瞳面位置ＯＥｙｅに頭部運動情報Ｈから定まる頭部の回転行列を適用する処理である。
頭部運動手段４１は、二眼表示手段４０から右眼及び左眼の情報テーブルＩを入力し、頭部運動処理を行うものである。この頭部運動処理とは、装着者の頭部重心位置を基準として、両眼の追跡ベクトルＶ３及び瞳面位置ＯＥｙｅに頭部運動情報Ｈから定まる頭部の回転行列を適用する処理である。
【0045】
具体的には、頭部運動手段４１は、右眼及び左眼の情報テーブルＩから瞳面位置ＯＥｙｅＲ，ＯＥｙｅＬ及び追跡ベクトルＶ３Ｒ，Ｖ３Ｌを抽出する。また、頭部運動手段４１は、記憶手段２５から頭部運動情報Ｈを読み出す。前記したように、頭部運動情報Ｈには、フレームごとの頭部の位置差分および角速度の積分値が含まれている。従って、頭部運動手段４１は、位置差分の平行移動行列ＴＨ及び角速度の積分値から、ｘ軸、ｙ軸、ｚ軸のそれぞれで頭部の回転行列Ｒ＝［Ｒｘ，Ｒｙ，Ｒｚ］を算出する。そして、頭部運動手段４１は、頭部重心位置ＯＨ＝（ｘ０，ｙ０，ｚ０）を基準として、瞳面位置ＯＥｙｅＲ，ＯＥｙｅＬ及び追跡ベクトルＶ３Ｒ，Ｖ３Ｌに回転行列Ｒを適用する。
【0046】
その後、頭部運動手段４１は、回転行列Ｒを適用した瞳面位置ＯＥｙｅＲ，ＯＥｙｅＬ及び追跡ベクトルＶ３Ｒ，Ｖ３Ｌを右眼及び左眼の情報テーブルＩに格納し、この情報テーブルＩを光線追跡手段４２に出力する。
【0047】
＜光線追跡手段＞
光線追跡手段４２は、回転行列Ｒを適用した追跡ベクトルＶ３Ｒ，Ｖ３Ｌで光線追跡処理を行い、光線が３ＤオブジェクトＡに接触する個所の色情報を取得するものである。
光線追跡手段４２は、回転行列Ｒを適用した追跡ベクトルＶ３Ｒ，Ｖ３Ｌで光線追跡処理を行い、光線が３ＤオブジェクトＡに接触する個所の色情報を取得するものである。
【0048】
具体的には、光線追跡手段４２は、頭部運動手段４１から入力した情報テーブルＩより、ディスプレイ画素配置、瞳面位置ＯＥｙｅＲ，ＯＥｙｅＬ及び追跡ベクトルＶ３Ｒ，Ｖ３Ｌを抽出する。また、光線追跡手段４２は、記憶手段２５から仮想環境情報Ｋを読み出す。前記したように、仮想環境情報Ｋには、仮想空間内の３ＤオブジェクトＡのメッシュ情報と、仮想空間内の光源情報とが含まれている（図３参照）。そこで、光線追跡手段４２は、瞳面位置ＯＥｙｅＲ，ＯＥｙｅＬを始点とする追跡ベクトルＶ３Ｒ，Ｖ３Ｌで光線追跡処理を行い、３ＤオブジェクトＡの表面に接触する箇所を求める。さらに、光線追跡手段４２は、３ＤオブジェクトＡに接触した個所の色情報をディスプレイ画素配置に割り当てることで、ディスプレイ２０の各画素２１の画素値（例えば、ＲＧＢ値）を算出する。なお、図３では、３ＤオブジェクトＡの色をハッチングの種類で表現した。
【0049】
その後、光線追跡手段４２は、ディスプレイ２０の各画素２１の色情報（画素値）を要素画像群生成手段４３に出力する。
【0050】
＜要素画像群生成手段＞
要素画像群生成手段４３は、光線追跡手段４２からディスプレイ２０の各画素２１の色情報を入力し、要素画像群生成処理を行うものである。この要素画像群生成処理とは、光線追跡手段４２で取得したディスプレイ２０の各画素２１の画素値を要素画像の各画素に格納し、両眼の要素画像群を生成する処理である。
要素画像群生成手段４３は、光線追跡手段４２からディスプレイ２０の各画素２１の色情報を入力し、要素画像群生成処理を行うものである。この要素画像群生成処理とは、光線追跡手段４２で取得したディスプレイ２０の各画素２１の画素値を要素画像の各画素に格納し、両眼の要素画像群を生成する処理である。
【0051】
その後、要素画像群生成手段４３は、全ての要素画像の画素について画素値を格納したら、右眼及び左眼の要素画像群をディスプレイ２０に出力する。すなわち、要素画像群生成手段４３は、右眼の要素画像群を右眼用のディスプレイ２０Ｒに出力し、左眼の要素画像群を左眼用のディスプレイ２０Ｌに出力する。
【0052】
なお、光線追跡処理及び要素画像群生成処理は、以下の参考文献１，２に説明されているため、詳細な説明を省略する。
【0053】
参考文献１：片山、３Ｄモデルからインテグラル立体像への変換手法、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１２８、２０１１年７月、［online］、［令和２年７月９日検索］、インターネット〈URL：https://www.nhk.or.jp/strl/publica/rd/rd128/PDF/P04-10.pdf/〉
参考文献２：３次元モデルからインテグラル立体像の生成技術、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１２３、２０１０年９月、［online］、［令和２年７月９日検索］、インターネット〈URL：https://www.nhk.or.jp/strl/publica/rd/rd123/PDF/P64.pdf/〉
参考文献２：３次元モデルからインテグラル立体像の生成技術、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１２３、２０１０年９月、［online］、［令和２年７月９日検索］、インターネット〈URL：https://www.nhk.or.jp/strl/publica/rd/rd123/PDF/P64.pdf/〉
【0054】
［光路計算装置の動作］
図４を参照し、光路計算装置３の動作について説明する。
図４に示すように、ステップＳ１において、マイクロレンズアレイ対応手段３０は、画素２１とマイクロレンズ２３とを対応付けて、その画素２１からマイクロレンズ２３の中心を通過する光線のマイクロレンズ後ベクトルＶ１を算出する。
図４を参照し、光路計算装置３の動作について説明する。
図４に示すように、ステップＳ１において、マイクロレンズアレイ対応手段３０は、画素２１とマイクロレンズ２３とを対応付けて、その画素２１からマイクロレンズ２３の中心を通過する光線のマイクロレンズ後ベクトルＶ１を算出する。
【0055】
ステップＳ２において、接眼レンズ屈折手段３１は、マイクロレンズ後ベクトルＶ１を延長することで、マイクロレンズ２３の中心を通過して接眼レンズ２４で屈折した光線の接眼レンズ後ベクトルＶ２を算出する。
ステップＳ３において、瞳面再帰反射手段３２は、瞳面αにおいて、接眼レンズ後ベクトルＶ２の方向を反転させた追跡ベクトルＶ３を算出する。
ステップＳ４において、情報テーブル生成手段３３は、情報テーブルＩを生成する。
ステップＳ３において、瞳面再帰反射手段３２は、瞳面αにおいて、接眼レンズ後ベクトルＶ２の方向を反転させた追跡ベクトルＶ３を算出する。
ステップＳ４において、情報テーブル生成手段３３は、情報テーブルＩを生成する。
【0056】
［光線追跡計算装置の動作］
図５を参照し、光線追跡計算装置４の動作について説明する。
図５に示すように、ステップＳ１０において、二眼表示手段４０は、予め設定した眼球間距離ｄだけ追跡ベクトルＶ３を水平方向にシフトさせて、右眼及び左眼の追跡ベクトルＶ３Ｒ，Ｖ３Ｌを生成する。
ステップＳ１１において、頭部運動手段４１は、装着者の頭部重心位置を基準として、両眼の追跡ベクトルＶ３Ｒ，Ｖ３Ｌ及び瞳面位置ＯＥｙｅＲ，ＯＥｙｅＬに頭部運動情報Ｈから定まる頭部の回転行列Ｒを適用する。
図５を参照し、光線追跡計算装置４の動作について説明する。
図５に示すように、ステップＳ１０において、二眼表示手段４０は、予め設定した眼球間距離ｄだけ追跡ベクトルＶ３を水平方向にシフトさせて、右眼及び左眼の追跡ベクトルＶ３Ｒ，Ｖ３Ｌを生成する。
ステップＳ１１において、頭部運動手段４１は、装着者の頭部重心位置を基準として、両眼の追跡ベクトルＶ３Ｒ，Ｖ３Ｌ及び瞳面位置ＯＥｙｅＲ，ＯＥｙｅＬに頭部運動情報Ｈから定まる頭部の回転行列Ｒを適用する。
【0057】
ステップＳ１２において、光線追跡手段４２は、回転行列Ｒを適用した追跡ベクトルＶ３Ｒ，Ｖ３Ｌで光線追跡処理を行い、光線が３ＤオブジェクトＡに接触する個所の色情報を取得する。
ステップＳ１３において、要素画像群生成手段４３は、ステップＳ１２で取得した画素値を要素画像の各画素に格納し、両眼の要素画像群を生成する。
ステップＳ１４において、要素画像群生成手段４３は、ステップＳ１３で生成した要素画像群をディスプレイ２０に出力する。
ステップＳ１３において、要素画像群生成手段４３は、ステップＳ１２で取得した画素値を要素画像の各画素に格納し、両眼の要素画像群を生成する。
ステップＳ１４において、要素画像群生成手段４３は、ステップＳ１３で生成した要素画像群をディスプレイ２０に出力する。
【0058】
ステップＳ１５において、要素画像群生成手段４３は、全フレームで要素画像群の生成を終了したか否かを判定する。
終了しない場合（ステップＳ１５でＮｏ）、光線追跡計算装置４は、ステップＳ１１の処理に戻る。
終了した場合（ステップＳ１５でＹｅｓ）、光線追跡計算装置４は、処理を終了する。
終了しない場合（ステップＳ１５でＮｏ）、光線追跡計算装置４は、ステップＳ１１の処理に戻る。
終了した場合（ステップＳ１５でＹｅｓ）、光線追跡計算装置４は、処理を終了する。
【0059】
このように、光線追跡計算装置４は、ステップＳ１１～Ｓ１４の処理をフレームごとに繰り返し実施することで、動画像を生成する。
【0060】
［作用・効果］
以上のように、第１実施形態に係る要素画像群生成装置１は、ディスプレイ２０の各画素２１からマイクロレンズ２３と接眼レンズ２４とを通過して瞳面αに到達するまでの光路計算を事前に行い、情報テーブルＩを生成しておく。そして、要素画像群生成装置１は、この情報テーブルＩに基づいて、装着者の頭部運動に応じて光線追跡処理を行うことで、要素画像群を高速に生成できる。これにより、要素画像群生成装置１は、ライトフィールド方式のＨＭＤ２における映像生成プロセスを大幅に短縮することが可能となり、毎フレームごとの要素画像群を生成する時間を短縮できる。さらに、要素画像群生成装置１は、ＨＭＤ２の構成が同様であれば情報テーブルＩを流用し、光路計算を省略することが可能である。
以上のように、第１実施形態に係る要素画像群生成装置１は、ディスプレイ２０の各画素２１からマイクロレンズ２３と接眼レンズ２４とを通過して瞳面αに到達するまでの光路計算を事前に行い、情報テーブルＩを生成しておく。そして、要素画像群生成装置１は、この情報テーブルＩに基づいて、装着者の頭部運動に応じて光線追跡処理を行うことで、要素画像群を高速に生成できる。これにより、要素画像群生成装置１は、ライトフィールド方式のＨＭＤ２における映像生成プロセスを大幅に短縮することが可能となり、毎フレームごとの要素画像群を生成する時間を短縮できる。さらに、要素画像群生成装置１は、ＨＭＤ２の構成が同様であれば情報テーブルＩを流用し、光路計算を省略することが可能である。
【0061】
ここで、ライトフィールド方式は、インテグラル方式と類似しているので、インテグラル方式と対比した際の利点を説明する。
インテグラル方式の場合、様々な視点から見える立体像がディスプレイによって表示されているので、視点位置が変わっても要素画像群を生成し直す必要がなく、光路計算を事前に行っておく必要性がない。一方、ライトフィールド方式の場合、眼球位置から見える立体像のみがＨＭＤ２に表示されている。このため、ライトフィールド方式では、視点位置が変わると、その視点位置に応じた要素画像群を生成する必要があり、光路計算を事前に行っておく利点がある。
インテグラル方式の場合、様々な視点から見える立体像がディスプレイによって表示されているので、視点位置が変わっても要素画像群を生成し直す必要がなく、光路計算を事前に行っておく必要性がない。一方、ライトフィールド方式の場合、眼球位置から見える立体像のみがＨＭＤ２に表示されている。このため、ライトフィールド方式では、視点位置が変わると、その視点位置に応じた要素画像群を生成する必要があり、光路計算を事前に行っておく利点がある。
【0062】
（第２実施形態）
図６を参照し、第２実施形態に係る要素画像群生成装置１Ｂの構成について、第１実施形態と異なる点を説明する。
要素画像群生成装置１Ｂは、装着者の中心視野付近のみ光線追跡処理を事前に行い、要素画像群を部分的に生成することで、光線追跡処理を高速化する。図６に示すように、要素画像群生成装置１Ｂは、光路計算装置（光路計算手段）３Ｂと、光線追跡計算装置（光線追跡手段）４Ｂと、を備える。
図６を参照し、第２実施形態に係る要素画像群生成装置１Ｂの構成について、第１実施形態と異なる点を説明する。
要素画像群生成装置１Ｂは、装着者の中心視野付近のみ光線追跡処理を事前に行い、要素画像群を部分的に生成することで、光線追跡処理を高速化する。図６に示すように、要素画像群生成装置１Ｂは、光路計算装置（光路計算手段）３Ｂと、光線追跡計算装置（光線追跡手段）４Ｂと、を備える。
【0063】
［ＨＭＤの構成］
図６を参照し、ＨＭＤ２の構成について説明する。
ＨＭＤ２Ｂは、図６に示すように、ディスプレイ２０と、マイクロレンズアレイ（光学素子アレイ）２２と、接眼レンズ２４と、記憶手段２５と、視線検出装置２６とを備える。また、ＨＭＤ２Ｂは、光線追跡計算装置４Ｂを内蔵する。
なお、視線検出装置２６以外の構成は、第１実施形態と同様のため、説明を省略する。
図６を参照し、ＨＭＤ２の構成について説明する。
ＨＭＤ２Ｂは、図６に示すように、ディスプレイ２０と、マイクロレンズアレイ（光学素子アレイ）２２と、接眼レンズ２４と、記憶手段２５と、視線検出装置２６とを備える。また、ＨＭＤ２Ｂは、光線追跡計算装置４Ｂを内蔵する。
なお、視線検出装置２６以外の構成は、第１実施形態と同様のため、説明を省略する。
【0064】
視線検出装置２６は、装着者の視線方向を検出し、視線方向ベクトルＧとして光線追跡計算装置４Ｂに出力するものである。ここで、視線検出装置２６は、一般的な視線方向の検出手法を用いることができる。
【0065】
［光路計算装置の構成］
図６に示すように、光路計算装置３Ｂは、マイクロレンズアレイ対応手段（光学素子対応手段）３０Ｂと、接眼レンズ屈折手段３１と、瞳面再帰反射手段３２と、情報テーブル生成手段３３Ｂとを備える。
なお、接眼レンズ屈折手段３１及び瞳面再帰反射手段３２は、第１実施形態と同様のため、説明を省略する。
図６に示すように、光路計算装置３Ｂは、マイクロレンズアレイ対応手段（光学素子対応手段）３０Ｂと、接眼レンズ屈折手段３１と、瞳面再帰反射手段３２と、情報テーブル生成手段３３Ｂとを備える。
なお、接眼レンズ屈折手段３１及び瞳面再帰反射手段３２は、第１実施形態と同様のため、説明を省略する。
【0066】
＜マイクロレンズアレイ対応手段＞
マイクロレンズアレイ対応手段３０Ｂは、第１実施形態と同様、マイクロレンズアレイ対応処理を行うものである。
さらに、マイクロレンズアレイ対応手段３０Ｂは、マイクロレンズ後ベクトルＶ１を算出する際、ディスプレイ画素配置のそれぞれに、要素画像の固有番号を割り当てる。具体的には、マイクロレンズアレイ対応手段３０Ｂは、同一のマイクロレンズ２３の中心位置ＯＬＡｋｌに対応する画素２１に対し、同一の固有番号を割り当てる。つまり、同一の固有番号を割り当てられた画素２１は、同一の要素画像に属する。さらに、マイクロレンズアレイ対応手段３０Ｂは、同一の固有番号を割り当てた画素２１の中で、中心に位置する画素２１に中心画素フラグを設定する。
マイクロレンズアレイ対応手段３０Ｂは、第１実施形態と同様、マイクロレンズアレイ対応処理を行うものである。
さらに、マイクロレンズアレイ対応手段３０Ｂは、マイクロレンズ後ベクトルＶ１を算出する際、ディスプレイ画素配置のそれぞれに、要素画像の固有番号を割り当てる。具体的には、マイクロレンズアレイ対応手段３０Ｂは、同一のマイクロレンズ２３の中心位置ＯＬＡｋｌに対応する画素２１に対し、同一の固有番号を割り当てる。つまり、同一の固有番号を割り当てられた画素２１は、同一の要素画像に属する。さらに、マイクロレンズアレイ対応手段３０Ｂは、同一の固有番号を割り当てた画素２１の中で、中心に位置する画素２１に中心画素フラグを設定する。
【0067】
図７（ａ）及び（ｂ）に示すように、マイクロレンズアレイ対応手段３０Ｂは、左上の１６個の画素２１が同一の要素画像に属するので、固有番号‘１’を割り当てている。また、マイクロレンズアレイ対応手段３０Ｂは、固有番号‘１’の画素２１のうち、上から２列目、左から２行目の画素２１が中心に位置するので、この画素２１に中心画素フラグを設定する。なお、図７では、中心画素フラグを設定した画素２１をハッチングで図示した。
【0068】
また、マイクロレンズアレイ対応手段３０Ｂは、右隣りの要素画像を構成する１６個の画素に固有番号‘２’を割り当てている。また、マイクロレンズアレイ対応手段３０Ｂは、固有番号‘２’の画素２１のうち中心に位置する画素２１に対し、中心画素フラグを設定する（固有番号‘３’～‘１６’も同様）。
【0069】
その後、マイクロレンズアレイ対応手段３０Ｂは、ディスプレイ画素配置と、マイクロレンズ後ベクトルＶ１と、要素画像の固有番号と、中心画素フラグとを接眼レンズ屈折手段３１に出力する。
【0070】
＜情報テーブル生成手段＞
情報テーブル生成手段３３Ｂは、ディスプレイ画素配置、瞳面位置ＯＥｙｅ及び追跡ベクトルＶ３に加えて、要素画像の固有番号及び中心画素フラグからなる情報テーブルＩを生成する。そして、情報テーブル生成手段３３Ｂは、情報テーブルＩを記憶手段２５に書き込む。
情報テーブル生成手段３３Ｂは、ディスプレイ画素配置、瞳面位置ＯＥｙｅ及び追跡ベクトルＶ３に加えて、要素画像の固有番号及び中心画素フラグからなる情報テーブルＩを生成する。そして、情報テーブル生成手段３３Ｂは、情報テーブルＩを記憶手段２５に書き込む。
【0071】
［光線追跡計算装置の構成］
図６に示すように、光線追跡計算装置４Ｂは、二眼表示手段４０と、頭部運動手段４１と、光線追跡手段４２Ｂと、要素画像群生成手段４３とを備える。
なお、光線追跡手段４２Ｂ以外の各手段は、第１実施形態と同様のため、説明を省略する。
図６に示すように、光線追跡計算装置４Ｂは、二眼表示手段４０と、頭部運動手段４１と、光線追跡手段４２Ｂと、要素画像群生成手段４３とを備える。
なお、光線追跡手段４２Ｂ以外の各手段は、第１実施形態と同様のため、説明を省略する。
【0072】
＜光線追跡手段＞
光線追跡手段４２Ｂは、装着者の視線方向に最も近い方向の追跡ベクトルＶ３で光線追跡処理を行い、光線が３ＤオブジェクトＡに接触する個所の色情報を取得するものである。
光線追跡手段４２Ｂは、装着者の視線方向に最も近い方向の追跡ベクトルＶ３で光線追跡処理を行い、光線が３ＤオブジェクトＡに接触する個所の色情報を取得するものである。
【0073】
具体的には、光線追跡手段４２Ｂは、頭部運動手段４１から入力した情報テーブルＩより、ディスプレイ画素配置、瞳面位置ＯＥｙｅＲ，ＯＥｙｅＬ及び追跡ベクトルＶ３Ｒ，Ｖ３Ｌを抽出する。また、光線追跡手段４２Ｂは、記憶手段２５から仮想環境情報Ｋを読み出す。また、光線追跡手段４２Ｂは、視線検出装置２６から視線方向ベクトルＧを入力する。
【0074】
次に、光線追跡手段４２Ｂは、中心画素フラグを有する画素２１の追跡ベクトルＶ３と視線方向ベクトルＧとを比較し、視線方向ベクトルＧに最も平行な追跡ベクトルＶ３Ｒ，Ｖ３Ｌを求める。そして、光線追跡手段４２Ｂは、最も平行な追跡ベクトルＶ３Ｒ，Ｖ３Ｌの固有番号を基準として、中心視野に含まれる要素画像の固有番号を抽出する。さらに、光線追跡手段４２Ｂは、抽出した固有番号を有する画素２１の追跡ベクトルＶ３Ｒ，Ｖ３Ｌで光線追跡処理を行う。
【0075】
この中心視野のサイズは、任意に設定できる。例えば、中心視野のサイズは、表示可能な全視野の１／２である。要素画像群の描画速度に余裕がある場合、中心視野のサイズを拡大するなど、計算処理の速度に応じて中心視野のサイズを変化させてもよい。
【0076】
図７の例では、視線方向ベクトルＧに最も平行な追跡ベクトルＶ３Ｒ，Ｖ３Ｌの固有番号が‘６’であることとする。また、中心視野のサイズが、３×３の要素画像であることとする。この場合、光線追跡手段４２Ｂは、固有番号‘６’を基準とした周囲の１要素画像の固有番号‘１～３、５、７、９～１１’を抽出する。そして、光線追跡手段４２Ｂは、固有番号‘１～３、５～７、９～１１’を有する画素２１の追跡ベクトルＶ３Ｒ，Ｖ３Ｌで光線追跡処理を行う。
【0077】
［作用・効果］
以上のように、第２実施形態に係る要素画像群生成装置１Ｂは、情報テーブルＩ及び視線方向ベクトルＧを用いて、視線方向に対応する要素画像のみを生成する。これにより、要素画像群生成装置１Ｂは、計算量を低減し、要素画像群をより高速に生成できる。
以上のように、第２実施形態に係る要素画像群生成装置１Ｂは、情報テーブルＩ及び視線方向ベクトルＧを用いて、視線方向に対応する要素画像のみを生成する。これにより、要素画像群生成装置１Ｂは、計算量を低減し、要素画像群をより高速に生成できる。
【0078】
以上、本発明の実施形態を詳述してきたが、本発明はこれに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更なども含まれる。
前記した各実施形態では、光学素子アレイがマイクロレンズアレイ２２であることとして説明したが、これに限定されない。
前記した各実施形態では、光学素子アレイがマイクロレンズアレイ２２であることとして説明したが、これに限定されない。
【0079】
前記した各実施形態では、光路計算装置３がワークステーションに実装され、光線追跡計算装置４がＨＭＤ２に内蔵されていることとして説明したが、これに限定されない。例えば、光路計算装置３及び光線追跡計算装置４の両方をワークステーションに実装してもよい。この場合、光線追跡計算装置４が生成した要素画像群をＨＭＤ２に出力する。また、光路計算装置３及び光線追跡計算装置４の両方をＨＭＤ２に内蔵してもよい。
【0080】
前記した各実施形態では、ＨＭＤ２，２Ｂが接眼レンズ２４を備えることとして説明したが、接眼レンズ２４を備えなくてもよい。この場合、接眼レンズ屈折手段３１は、接眼レンズ屈折処理を行わない。そして、瞳面再帰反射手段３２は、接眼レンズ後ベクトルＶ２の代わりにマイクロレンズ後ベクトルＶ１を用いて、瞳面再帰反射処理を行う。この場合、瞳面再帰反射処理では、瞳面αにおいて、マイクロレンズ後ベクトルＶ１の方向を反転させた追跡ベクトルＶ３を算出することになる。
【0081】
本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した要素画像群生成装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0082】
１，１Ｂ 要素画像群生成装置
２，２Ｂ ＨＭＤ
２０ ディスプレイ
２１ 画素
２２ マイクロレンズアレイ（光学素子アレイ）
２３ マイクロレンズ（光学素子）
２４ 接眼レンズ
２５ 記憶手段
２６ 視線検出装置
３，３Ｂ 光路計算装置（光路計算手段）
３０，３０Ｂ マイクロレンズアレイ対応手段（光学素子対応手段）
３１ 接眼レンズ屈折手段
３２ 瞳面再帰反射手段
３３，３３Ｂ 情報テーブル生成手段
４，４Ｂ 光線追跡計算装置（光線追跡計算手段）
４０ 二眼表示手段
４１ 頭部運動手段
４２，４２Ｂ 光線追跡手段
４３ 要素画像群生成手段
２，２Ｂ ＨＭＤ
２０ ディスプレイ
２１ 画素
２２ マイクロレンズアレイ（光学素子アレイ）
２３ マイクロレンズ（光学素子）
２４ 接眼レンズ
２５ 記憶手段
２６ 視線検出装置
３，３Ｂ 光路計算装置（光路計算手段）
３０，３０Ｂ マイクロレンズアレイ対応手段（光学素子対応手段）
３１ 接眼レンズ屈折手段
３２ 瞳面再帰反射手段
３３，３３Ｂ 情報テーブル生成手段
４，４Ｂ 光線追跡計算装置（光線追跡計算手段）
４０ 二眼表示手段
４１ 頭部運動手段
４２，４２Ｂ 光線追跡手段
４３ 要素画像群生成手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
