知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-25
(45)【発行日】2024-10-03
(54)【発明の名称】要素画像群生成装置及びそのプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240926BHJP
G03B 35/20 20210101ALI20240926BHJP
G02B 3/00 20060101ALI20240926BHJP
G02B 27/02 20060101ALI20240926BHJP
【ＦＩ】
G06T19/00 F
G03B35/20
G02B3/00 A
G02B27/02 Z
【請求項の数】
5
(21)【出願番号】P 2020200726
(22)【出願日】2020-12-03
(65)【公開番号】P2022088739
(43)【公開日】2022-06-15
【審査請求日】2023-11-02
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】前田 恭孝
(72)【発明者】
【氏名】久富 健介
(72)【発明者】
【氏名】小出 大一
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開２０１３－０８００２８（ＪＰ，Ａ）
【文献】特表２０２０－５１０２４１（ＪＰ，Ａ）
【文献】特表２０１８－５２８４５２（ＪＰ，Ａ）
【文献】特開２０１２－２３０１４２（ＪＰ，Ａ）
【文献】特開２０１４－１６０１７１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ １／００ － １／０８
Ｇ０２Ｂ ３／００ － ３／１４
Ｇ０２Ｂ ２７／００ －３０／６０
Ｇ０３Ｂ ３５／００ －３７／０６
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／９４
Ｇ０６Ｔ １１／００ －１９／２０
Ｇ０９Ｇ ５／００ － ５／３６
Ｇ０９Ｇ ５／３７７－ ５／４２
Ｈ０４Ｎ ５／６４ － ５／６５５
Ｈ０４Ｎ １３／００ －１７／０６
(57)【特許請求の範囲】
【請求項1】
ディスプレイと要素レンズからなるレンズアレイと接眼レンズとを備えるライドフィールド方式の頭部装着型表示装置において表示する要素画像群を生成する要素画像群生成装置であって、前記頭部装着型表示装置の構造及び前記頭部装着型表示装置の使用者の眼に関するパラメータに基づいて、前記要素レンズのピッチより大きくなるように、前記要素画像群を構成する要素画像のピッチを算出する要素画像ピッチ算出手段と、
前記要素画像ピッチ算出手段が算出したピッチで前記要素画像群を生成する要素画像群生成手段と、を備え、
前記要素画像ピッチ算出手段は、
前記頭部装着型表示装置の光軸を基準として、前記要素画像のピッチを大きくしたときに前記レンズアレイにより形成される中間像のサイズを算出し、
前記中間像から前記接眼レンズまでの距離と前記接眼レンズから３次元像までの距離との比を前記中間像のサイズに乗算することで、前記光軸を基準とした前記３次元像のサイズを算出し、
前記３次元像のサイズ及び前記接眼レンズの直径により定まる視野角が最大になるときの前記接眼レンズから前記使用者の眼球面までの距離であるアイレリーフに基づいて、前記要素画像のピッチを算出することを特徴とする要素画像群生成装置。
【請求項2】
前記使用者の眼球位置とアイボックスの中心とが一致するように前記要素画像群のオフセット値を算出する要素画像群オフセット値算出手段、をさらに備え、前記要素画像群生成手段は、前記要素画像ピッチ算出手段が算出したピッチ、かつ、前記要素画像群オフセット値算出手段が算出したオフセット値だけオフセットした前記要素画像群を生成することを特徴とする請求項１に記載の要素画像群生成装置。
【請求項3】
前記使用者の眼球位置を検出する眼球位置検出手段、をさらに備え、前記要素画像群オフセット値算出手段は、前記使用者の眼球位置と前記アイボックスの中心とが一致するように前記要素画像群のオフセット値を算出することを特徴とする請求項２に記載の要素画像群生成装置。
【請求項4】
前記要素画像群生成手段は、光線追跡法により前記要素画像群を生成することを特徴とする請求項１から請求項３の何れか一項に記載の要素画像群生成装置。
【請求項5】
コンピュータを、請求項１から請求項４の何れか一項に記載の要素画像群生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ライドフィールド方式の頭部装着型表示装置において表示する要素画像群を生成する要素画像群生成装置及びそのプログラムに関する。
【背景技術】
【0002】
近年、教育、医療、娯楽などの様々な分野でバーチャルリアリティー（ＶＲ：Virtual Reality）の活用が広がりつつある。例えば、ＶＲでは、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）が使用されている。このＨＭＤは、接眼レンズによりディスプレイを拡大する単純な光学系を備え、左目用と右目用の２枚のディスプレイに視差のある映像を表示することにより、使用者が立体感を感じる仕組みである。
【0003】
ディスプレイの高精細化や光学系の改善により、ＨＭＤの高精細及び広視野化が進む一方、調節距離と輻輳距離との不一致に起因する長時間使用時の眼精疲労が問題の一つとしてあげられる。この問題は、調節機能により眼が焦点を合わせる位置と、輻輳機能により両眼の視線方向が交差する位置とが一致していないことに起因しており、仮想的に３Ｄ物体の光源を再生するライトフィールド方式で改善できる（特許文献１）。
【0004】
ライトフィールドＨＭＤ９は、図７に示すように、ディスプレイ９０と、レンズアレイ９１と、接眼レンズ９３とを備える。また、図７には、３次元像α、中間像β、ライトフィールドＨＭＤ９を装着している使用者の眼γを図示した。
【0005】
ディスプレイ９０は、要素画像１１０がアレイ状に配列された要素画像群１００を表示するものである。また、レンズアレイ９１は、マイクロレンズなどの要素レンズ９２がアレイ状に配列されたものである。また、接眼レンズ９３は、中間像βを拡大するレンズである。
【0006】
要素画像１１０中の各点は、異なる視点からのオブジェクト又はシーンの見え方（色）を表すことになる。ここで、ディスプレイ９０の各画素から発せられた光線は、レンズアレイ９１を通過後に３次元的に交差し、中間像βを形成する。そして、この中間像βが接眼レンズ９３を通して、拡大された虚像（３次元像α）となって見える。
【0007】
ここで、ライトフィールドＨＭＤ９では、その性能を決定づけるパラメータとして、「空間周波数」、「視野角」、「アイボックス」の３つがあげられる（非特許文献１）。
【0008】
空間周波数は、３次元像αを観察した場合に、単位角度内に再生できる白黒パターンの数を表す。この空間周波数は、レンズアレイ９１及び接眼レンズ９３で拡大されたディスプレイ９０の画素サイズ及び眼γから３次元像αまでの距離によって決まる。
視野角は、眼球面から３次元像αが見える範囲を表す。この視野角は、ディスプレイ９０の両端ある要素画像１１０の中心からの光線と、アイレリーフとによって決まる。なお、アイレリーフとは、接眼レンズ９３から眼球面までの距離のことである。
アイボックスは、眼球面における３次元像αを乱れることなく観察することができる範囲を表す。
視野角は、眼球面から３次元像αが見える範囲を表す。この視野角は、ディスプレイ９０の両端ある要素画像１１０の中心からの光線と、アイレリーフとによって決まる。なお、アイレリーフとは、接眼レンズ９３から眼球面までの距離のことである。
アイボックスは、眼球面における３次元像αを乱れることなく観察することができる範囲を表す。
【0009】
非特許文献１に記載の技術では、図８（ａ）及び図８（ｂ）に示すように、要素レンズ９２の真後ろに、要素レンズ９２のピッチと同一サイズの要素画像１１０を表示する。以後、Ｘ軸が水平方向、Ｙ軸が垂直方向、Ｚ軸が奥行方向を表すこととする。図９に示すように、各要素画像１１０の中心から要素レンズ９２の中心を通る光線は、ライトフィールドＨＭＤ９の光軸と平行に進み、接眼レンズ９３で屈折され、接眼レンズ９３の焦点距離にある眼球面の中心Ｃで１点に集光する。図１０（ａ）及び図１０（ｂ）に示すように、ディスプレイ９０で上下両端にある要素画像１１０の端からの光線は、それぞれ瞳面中心の上下で集光する。この上下両端の区間が、前記したアイボックスＥＢとなる（左右両端も同様）。
【先行技術文献】
【特許文献】
【0010】
【文献】特開２０２０－０７３９８８号公報
【非特許文献】
【0011】
【文献】Huang, H. & Hua, H. High-performance integral-imaging-based light field augmented reality display using freeform optics. Opt. Express 26, 17578 (2018).
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかし、前記した従来技術では、要素画像１１０が要素レンズ９２の真後ろに位置するため、接眼レンズ９３を超えるサイズのディスプレイ９０を使用した場合、光線が目に届かなくなる。また、各要素画像１１０の中心からの光線を眼球面に集光させるためには、接眼レンズ９３の焦点距離だけ眼球面を離す必要がある。
【0013】
ここで、視野角θは、以下の式（１）で表される。なお、ｄｅｙｅは接眼レンズ９３の直径であり、ｅはアイレリーフであり、ｆｅｙｅは接眼レンズ９３の焦点距離である。
【0014】
【数1】
【0015】
接眼レンズ９３の直径ｄｅｙｅは、光学収差の影響を受けるため、ある程度の上限が存在する。アイレリーフｅに関しては、画素ピッチが比較的狭い場合(数ｕｍ程度)、拡大率を大きくしても問題が生じない。その一方、画素ピッチが広い場合（数十ｕｍ程度）、ディスプレイ９０の画素構造が顕著に目立ってしまうので、拡大率を大きくできず、接眼レンズの焦点距離を長くする必要がある。その結果、アイレリーフが大きくなってしまい、視野角が低下するという問題がある。
【0016】
本発明は、視野角を拡大できる要素画像群生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0017】
前記課題を解決するため、本発明に係る要素画像群生成装置は、ディスプレイと要素レンズからなるレンズアレイと接眼レンズとを備えるライドフィールド方式の頭部装着型表示装置において表示する要素画像群を生成する要素画像群生成装置であって、頭部装着型表示装置の構造及び頭部装着型表示装置の使用者の眼に関するパラメータに基づいて、要素レンズのピッチより大きくなるように、要素画像群を構成する要素画像のピッチを算出する要素画像ピッチ算出手段と、要素画像ピッチ算出手段が算出したピッチで要素画像群を生成する要素画像群生成手段と、を備える構成とした。
【0018】
かかる構成によれば、要素画像ピッチ算出手段は、頭部装着型表示装置の光軸を基準として、要素画像のピッチを大きくしたときにレンズアレイにより形成される中間像のサイズを算出する。そして、要素画像ピッチ算出手段は、中間像から接眼レンズまでの距離と接眼レンズから３次元像までの距離との比を中間像のサイズに乗算することで、光軸を基準とした３次元像のサイズを算出する。さらに、要素画像ピッチ算出手段は、３次元像のサイズ及び接眼レンズの直径により定まる視野角が最大になるときのアイレリーフに基づいて、要素画像のピッチを算出する構成とした。
【0019】
つまり、要素画像群生成装置は、要素画像のピッチを要素レンズのピッチより大きくすることで、要素レンズの真後ろから外れた位置に要素画像を表示させる。このとき、頭部装着型表示装置では、各要素画像と要素レンズとの中心を通る光線が光軸に対して斜めに進み、接眼レンズで屈折され、アイレリーフだけ離れた眼球面の中心で１点に集光するので、視野角を拡大できる。
【0020】
なお、本発明は、コンピュータを、前記した要素画像群生成装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0021】
本発明によれば、視野角を拡大することができる。
【図面の簡単な説明】
【0022】
【図1】実施形態に係るライトフィールドＨＭＤシステムの概略構成図である。
【図2】（ａ）及び（ｂ）は、実施形態において、ディスプレイとレンズアレイとの位置関係を説明する説明図である。
【図3】実施形態において、要素画像の中心から要素レンズの中心を通る光線が眼球面の中心に集光することを説明する説明図である。
【図4】実施形態において、ライトフィールドＨＭＤで生成される中間像及び３次元像のサイズを説明する説明図である。
【図5】（ａ）～（ｄ）は、実施形態において、視野角の算出式を説明する説明図である。
【図6】実施形態において、要素画像群生成装置の動作を示すフローチャートである。
【図7】従来のライトフィールドＨＭＤの概略構成図である。
【図8】（ａ）及び（ｂ）は、従来技術において、ディスプレイとレンズアレイとの位置関係を説明する説明図である。
【図9】従来技術において、要素画像の中心から要素レンズの中心を通る光線が眼球面の中心に集光することを説明する説明図である。
【図10】従来技術において、アイボックスを説明する説明図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0024】
（実施形態）
図１を参照し、実施形態に係るライトフィールドＨＭＤシステム１の構成について説明する。
図１に示すように、ライトフィールドＨＭＤシステム１は、ライトフィールド方式でＶＲ表示を行うライトフィールドＨＭＤ１０と、ライトフィールドＨＭＤ１０が表示する要素画像群を表示する要素画像群生成装置２０とを備える。このとき、要素画像群生成装置２０は、要素レンズ１３のピッチより要素画像１１０のピッチが大きくなるような要素画像群を生成する。
図１を参照し、実施形態に係るライトフィールドＨＭＤシステム１の構成について説明する。
図１に示すように、ライトフィールドＨＭＤシステム１は、ライトフィールド方式でＶＲ表示を行うライトフィールドＨＭＤ１０と、ライトフィールドＨＭＤ１０が表示する要素画像群を表示する要素画像群生成装置２０とを備える。このとき、要素画像群生成装置２０は、要素レンズ１３のピッチより要素画像１１０のピッチが大きくなるような要素画像群を生成する。
【0025】
［ライトフィールドＨＭＤの構成］
まず、ライトフィールドＨＭＤ１０の構成について説明する。
ライトフィールドＨＭＤ１０は、図７のライトフィールドＨＭＤ９と同様、一般的なライトフィールド方式の頭部装着型表示装置である。図１に示すように、ライトフィールドＨＭＤ１０は、ディスプレイ１１（１１Ｒ，１１Ｌ）と、レンズアレイ１２（１２Ｒ，１２Ｌ）と、接眼レンズ１４（図３）と、筐体１５とを備える。なお、図１では、図面を見やすくするため、接眼レンズ１４の図示を省略した。
まず、ライトフィールドＨＭＤ１０の構成について説明する。
ライトフィールドＨＭＤ１０は、図７のライトフィールドＨＭＤ９と同様、一般的なライトフィールド方式の頭部装着型表示装置である。図１に示すように、ライトフィールドＨＭＤ１０は、ディスプレイ１１（１１Ｒ，１１Ｌ）と、レンズアレイ１２（１２Ｒ，１２Ｌ）と、接眼レンズ１４（図３）と、筐体１５とを備える。なお、図１では、図面を見やすくするため、接眼レンズ１４の図示を省略した。
【0026】
ディスプレイ１１は、画素を２次元状に配列した平面ディスプレイである。ここで、ディスプレイ１１は、要素レンズ１３の焦点位置に配置される。本実施形態では、ディスプレイ１１が、右眼用要素画像群を表示する右眼用ディスプレイ１１Ｒと、左眼用要素画像群を表示する左眼用ディスプレイ１１Ｌとで構成されている。なお、ディスプレイ１１は、１枚の平面ディスプレイで構成し、この平面ディスプレイの左右それぞれに右眼用要素画像群及び左眼用要素画像群を表示してもよい。
【0027】
レンズアレイ１２は、要素レンズ１３を２次元状に配列したものである。ここで、レンズアレイ１２は、接眼レンズ１４の焦点位置に配置される。例えば、要素レンズ１３としては、微小な両凸レンズ（マイクロレンズ）があげられる。本実施形態では、レンズアレイ１２が、右眼用レンズアレイ１２Ｒと左眼用レンズアレイ１２Ｌとで構成されている。なお、レンズアレイ１２として、ピンホールを２次元状に配列したピンホールアレイを用いてもよい。
【0028】
接眼レンズ１４は、ディスプレイ１１が表示する要素画像１１０（図２）からの光線がレンズアレイ１２を通過した後に形成する中間像βを拡大するレンズである。例えば、接眼レンズ１４としては、一般的な球面レンズやフレネルレンズなどがあげられる。本実施形態では、接眼レンズ１４が、右眼用接眼レンズと左眼用接眼レンズとで構成されている。
【0029】
筐体１５は、ディスプレイ１１、レンズアレイ１２、接眼レンズ１４及び要素画像群生成装置２０を収容するものである。例えば、筐体１５は、ゴーグル状のプラスチックケースであり、使用者の頭部にライトフィールドＨＭＤ１０を固定するためのバンド（不図示）を有する。
【0030】
［要素画像群生成装置の構成］
続いて、要素画像群生成装置２０の構成について説明する。
要素画像群生成装置２０は、ライトフィールドＨＭＤ１０に表示する要素画像群１００を生成するものである。本実施形態では、要素画像群生成装置２０が、ライトフィールドＨＭＤ１０に内蔵された演算装置であることとする。なお、要素画像群生成装置２０は、ライトフィールドＨＭＤ１０から独立したコンピュータ（例えば、ワークステーション）であってもよい。
続いて、要素画像群生成装置２０の構成について説明する。
要素画像群生成装置２０は、ライトフィールドＨＭＤ１０に表示する要素画像群１００を生成するものである。本実施形態では、要素画像群生成装置２０が、ライトフィールドＨＭＤ１０に内蔵された演算装置であることとする。なお、要素画像群生成装置２０は、ライトフィールドＨＭＤ１０から独立したコンピュータ（例えば、ワークステーション）であってもよい。
【0031】
図１に示すように、要素画像群生成装置２０は、ＨＭＤパラメータ記憶手段２１と、３Ｄシーン記憶手段２２と、眼球位置検出手段２３と、要素画像ピッチ算出手段２４と、要素画像群オフセット値算出手段２５と、要素画像群生成手段２６とを備える。なお、要素画像群生成装置２０において、右眼用要素画像群及び左眼用要素画像群を生成する手法は同様のため、区別せずに説明する。
【0032】
ＨＭＤパラメータ記憶手段２１は、ＨＭＤパラメータを記憶するメモリ、ＨＤＤ(Hard Disk Drive)、ＳＳＤ（Solid State Drive）などの記憶装置である。このＨＭＤパラメータには、ライトフィールドＨＭＤ１０及びその使用者の眼に関するパラメータが含まれており、詳細を後記する。
３Ｄシーン記憶手段２２は、要素画像群１００の生成に必要な３Ｄシーン（３Ｄモデル）を記憶する記憶装置である。
本実施形態では、ＨＭＤパラメータ及び３Ｄシーンが、ライトフィールドＨＭＤシステム１の製造者や管理者が事前に設定することとする。
３Ｄシーン記憶手段２２は、要素画像群１００の生成に必要な３Ｄシーン（３Ｄモデル）を記憶する記憶装置である。
本実施形態では、ＨＭＤパラメータ及び３Ｄシーンが、ライトフィールドＨＭＤシステム１の製造者や管理者が事前に設定することとする。
【0033】
眼球位置検出手段２３は、使用者の眼球位置を検出するものである。つまり、眼球位置検出手段２３は、ライトフィールドＨＭＤ１０を装着した状態での使用者の３次元的な眼球位置Ｏｅｙｅ＝（ｘｅｙｅ，ｙｅｙｅ）を検出する。ここで、眼球位置検出手段２３は、既知の視線検出手法を用いて、眼球位置Ｏｅｙｅを検出する。例えば、眼球位置検出手段２３は、ライトフィールドＨＭＤ１０の内部に配置したカメラで撮影した眼球画像から虹彩位置を検出し、眼球モデルを適用することで、眼球位置Ｏｅｙｅを検出する。この他、眼球位置検出手段２３は、近赤外光を眼球に照射する近赤外カメラで撮影した近赤外画像から角膜表面で反射した像を抽出することで、眼球位置Ｏｅｙｅを検出してもよい。
その後、眼球位置検出手段２３は、検出した眼球位置Ｏｅｙｅを要素画像群オフセット値算出手段２５に出力する。
その後、眼球位置検出手段２３は、検出した眼球位置Ｏｅｙｅを要素画像群オフセット値算出手段２５に出力する。
【0034】
なお、眼球位置検出手段２３は、使用者の眼球位置Ｏｅｙｅだけでなく、アイレリーフｅや瞳孔径を検出してもよい。
また、要素画像群生成装置２０は、眼球位置検出手段２３を備えずともよい。この場合、ＨＭＤパラメータとして、使用者の平均的な眼球位置Ｏｅｙｅを設定することになる。
また、要素画像群生成装置２０は、眼球位置検出手段２３を備えずともよい。この場合、ＨＭＤパラメータとして、使用者の平均的な眼球位置Ｏｅｙｅを設定することになる。
【0035】
要素画像ピッチ算出手段２４は、ＨＭＤパラメータ記憶手段２１に記憶されているＨＭＤパラメータに基づいて、要素レンズ１３のピッチより大きくなるように、要素画像群１００を構成する要素画像１１０のピッチを算出するものである。そして、要素画像ピッチ算出手段２４は、算出した要素画像１１０のピッチを要素画像群オフセット値算出手段２５に出力する。
【0036】
＜要素画像のピッチ算出手法＞
以下、要素画像１１０のピッチ算出手法を具体的に説明する。
要素画像１１０のピッチｐｅｌｅｍは、ライトフィールドＨＭＤ１０の素子配置やその他の素子パラメータによって決まり、以下の式（２）で表される。
以下、要素画像１１０のピッチ算出手法を具体的に説明する。
要素画像１１０のピッチｐｅｌｅｍは、ライトフィールドＨＭＤ１０の素子配置やその他の素子パラメータによって決まり、以下の式（２）で表される。
【0037】
【数2】
【0038】
なお、ｐａｒｒａｙは、レンズアレイ１２を構成する要素レンズ１３のピッチである。また、ａはディスプレイ１１からレンズアレイ１２までの距離であり、ｅはアイレリーフであり、ｌはレンズアレイ１２から接眼レンズ１４までの距離であり、ｆｅｙｅは接眼レンズ１４の焦点距離である。ここで、要素レンズ１３のピッチｐａｒｒａｙ、距離ａ、アイレリーフｅ、距離ｌ及び接眼レンズ１４の焦点距離ｆｅｙｅは、ＨＭＤパラメータとして予め設定されている。また、眼球位置検出手段２３で検出した使用者のアイレリーフｅを用いてもよい。
【0039】
図２には、要素画像１１０のピッチｐｅｌｅｍを要素レンズ１３のピッチｐａｒｒａｙより大きくしたときのディスプレイ１１とレンズアレイ１２との位置関係を図示した。図２（ａ）及び図２（ｂ）に示すように、ライトフィールドＨＭＤ１０では、図８の従来技術と比べて、Ｚ軸方向で要素レンズ１３の真後ろからずれた位置に要素画像１１０を表示する。つまり、中心の要素画像１１０は対応する要素レンズ１３の真後ろに位置しているが、中心以外の要素画像１１０は、対応する要素レンズ１３に対し、Ｙ軸方向で中心から遠ざかるように位置している。このとき、図３に示すように、各要素画像１１０の中心から要素レンズ１３の中心を通る光線は、ライトフィールドＨＭＤ１０の光軸Ｏａｘｉｓに対して斜めに進み、接眼レンズ１４で屈折され、アイレリーフｅだけ離れた眼球面の中心Ｃで1点に集光するので、視野角を拡大できる。
【0040】
以下、要素画像１１０のピッチｐｅｌｅｍを要素レンズ１３のピッチｐａｒｒａｙより大きくしたときのライトフィールドＨＭＤ１０で生成される中間像β及び３次元αのサイズについて検討する。
【0041】
図４に示すように、ライトフィールドＨＭＤ１０の光軸Ｏａｘｉｓを基準とした中間像βのサイズｙｉｎｔｅｒは、以下の式（３）で表される。また、アイボックスＥＢのサイズｄｅｙｅｂｏｘは、以下の式（４）で表される。
【0042】
【数3】
【0043】
【数4】
【0044】
なお、ｎは要素レンズ１３の水平方向又は垂直方向の個数であり、ｂはレンズアレイ１２から中間像βまでの距離であり、ｄｐｕｐｉｌは瞳孔径である。ここで、要素レンズ１３の個数ｎ、距離ｂ、アイボックスＥＢのサイズｄｅｙｅｂｏｘ及び瞳孔径ｄｐｕｐｉｌは、ＨＭＤパラメータとして予め設定されている。また、眼球位置検出手段２３で検出した使用者の瞳孔径ｄｐｕｐｉｌを用いてもよい。
【0045】
ライトフィールドＨＭＤ１０の光軸Ｏａｘｉｓを基準とした３次元像αのサイズｙｉｍａｇｅは、以下の式（５）で表される。
【0046】
【数5】
【0047】
なお、cは中間像βから接眼レンズ１４までの距離であり、ｄは接眼レンズ１４から３次元像αまでの距離である。ここで、距離ｃ，ｄは、ＨＭＤパラメータとして予め設定されている。
【0048】
視野角θは、以下の式（６）で表される。この式（６）は、要素画像１１０の中心からの光線による式（１）よりも正確である。ここで、式（６）は、図５（ａ）及び図５（ｂ）に示すように接眼レンズ１４の直径ｄｅｙｅで定まる項と、図５（ｃ）及び図５（ｄ）に示すように３次元像αのサイズにより定まる項ｙｉｍａｇｅとに分かれている。なお、図５（ｂ）及び図５（ｄ）は、接眼レンズ１４を介して使用者から見たときの３次元像αを表している。
【0049】
【数6】
【0050】
式（６）の視野角θが最大となるアイレリーフｅから、要素画像１１０のピッチｐｅｌｅｍを算出する。例えば、最適化問題として式（６）を解くことで、要素画像１１０のピッチｐｅｌｅｍを算出する。より具体的には、式（６）ではアイレリーフｅ以外が定数なので、変数が１つの最適化問題として解けばよい。
なお、眼球位置検出手段２３がアイレリーフｅを検出する場合、検出したアイレリーフｅを式（２）に代入し、要素画像１１０のピッチｐｅｌｅｍを算出してもよい。
なお、眼球位置検出手段２３がアイレリーフｅを検出する場合、検出したアイレリーフｅを式（２）に代入し、要素画像１１０のピッチｐｅｌｅｍを算出してもよい。
【0051】
以下、要素画像１１０のピッチｐｅｌｅｍの算出手法をまとめる。
まず、要素画像ピッチ算出手段２４は、前記した式（３）を用いて、光軸Ｏａｘｉｓを基準として、要素画像１１０のピッチｐｅｌｅｍを大きくしたときにレンズアレイ１２により形成される中間像βのサイズｙｉｎｔｅｒを算出する。
まず、要素画像ピッチ算出手段２４は、前記した式（３）を用いて、光軸Ｏａｘｉｓを基準として、要素画像１１０のピッチｐｅｌｅｍを大きくしたときにレンズアレイ１２により形成される中間像βのサイズｙｉｎｔｅｒを算出する。
【0052】
次に、要素画像ピッチ算出手段２４は、前記した式（５）を用いて、中間像βから接眼レンズ１４までの距離ｃと接眼レンズ１４から３次元像αまでの距離ｄとの比を中間像βのサイズｙｉｎｔｅｒに乗算することで、光軸Ｏａｘｉｓを基準とした３次元像αのサイズｙｉｍａｇｅを算出する。
【0053】
さらに、要素画像ピッチ算出手段２４は、３次元像αのサイズｙｉｍａｇｅ及び接眼レンズ１４の直径ｄｅｙｅにより定まる視野角θが最大になるときのアイレリーフｅに基づいて、要素画像１１０のピッチｐｅｌｅｍを算出する。例えば、要素画像ピッチ算出手段２４は、前記した式（６）を変数が１つの最適化問題として解くことで、要素画像１１０のピッチｐｅｌｅｍを算出する。
【0054】
図１に戻り、要素画像群生成装置２０の構成について、説明を続ける。
要素画像群オフセット値算出手段２５は、眼球位置検出手段２３から入力された使用者の眼球位置ＯｅｙｅとアイボックスＥＢの中心とが一致するように要素画像群１００のオフセット値を算出するものである。本実施形態では、要素画像群オフセット値算出手段２５が、式（７）を用いて、要素画像群１００のオフセット値を算出する。この式（７）は、要素画像群１００のオフセット値とアイボックスＥＢの中心位置との関係を示している。
要素画像群オフセット値算出手段２５は、眼球位置検出手段２３から入力された使用者の眼球位置ＯｅｙｅとアイボックスＥＢの中心とが一致するように要素画像群１００のオフセット値を算出するものである。本実施形態では、要素画像群オフセット値算出手段２５が、式（７）を用いて、要素画像群１００のオフセット値を算出する。この式（７）は、要素画像群１００のオフセット値とアイボックスＥＢの中心位置との関係を示している。
【0055】
【数7】
【0056】
なお、ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔはＸ－Ｙ平面における要素画像群１００のオフセット値であり、ｘｅｙｅ，ｙｅｙｅはＸ－Ｙ平面における眼球位置Ｏｅｙｅであり、ｘｏａ，ｙｏａはＸ－Ｙ平面における接眼レンズ１４の中心位置である。
【0057】
その後、要素画像群オフセット値算出手段２５は、算出した要素画像群１００のオフセット値ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔと、要素画像ピッチ算出手段２４から入力された要素画像１１０のピッチｐｅｌｅｍとを要素画像群生成手段２６に出力する。
【0058】
この要素画像群１００のオフセット値は、ディスプレイ１１に要素画像群１００を表示するときのシフト量に相当する。つまり、要素画像群１００をシフトさせることで、眼球面におけるアイボックスＥＢを水平方向及び垂直方向に制御できる。
【0059】
なお、要素画像群オフセット値算出手段２５は、必須の構成でない。
瞳孔間距離には使用者毎の個人差があるため、使用者によって眼球位置Ｏｅｙｅが異なる。ここで、眼球位置ＯｅｙｅがアイボックスＥＢの範囲内の場合、要素画像群生成装置２０が、要素画像群オフセット値算出手段２５を備えずともよい。一方、眼球位置ＯｅｙｅがアイボックスＥＢの範囲外の場合、要素画像群生成装置２０は、要素画像群オフセット値算出手段２５を備えることで、要素画像群１００のオフセットによるアイボックスＥＢの位置調節が可能となる。このようにして、要素画像群生成装置２０は、ライトフィールドＨＭＤ１０を幅広い使用者に適用させることができる。
瞳孔間距離には使用者毎の個人差があるため、使用者によって眼球位置Ｏｅｙｅが異なる。ここで、眼球位置ＯｅｙｅがアイボックスＥＢの範囲内の場合、要素画像群生成装置２０が、要素画像群オフセット値算出手段２５を備えずともよい。一方、眼球位置ＯｅｙｅがアイボックスＥＢの範囲外の場合、要素画像群生成装置２０は、要素画像群オフセット値算出手段２５を備えることで、要素画像群１００のオフセットによるアイボックスＥＢの位置調節が可能となる。このようにして、要素画像群生成装置２０は、ライトフィールドＨＭＤ１０を幅広い使用者に適用させることができる。
【0060】
要素画像群生成手段２６は、要素画像群オフセット値算出手段２５から入力された要素画像１１０のピッチｐｅｌｅｍ、かつ、オフセット値ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔだけオフセットした要素画像群１００を生成するものである。
【0061】
本実施形態では、要素画像群生成手段２６が、要素画像１１０のピッチｐｅｌｅｍ、要素画像群１００のオフセット値ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔ及びＨＭＤパラメータにより光線追跡処理を行い、３Ｄシーン記憶手段２２に記憶されている３Ｄシーンから色情報を取得し、要素画像群１００を生成する。この光線追跡処理は、以下の参考文献１，２に記載されているため、詳細な説明を省略する。
【0062】
参考文献１：片山、３Ｄモデルからインテグラル立体像への変換手法、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１２８、２０１１年７月、［online］、［令和２年１１月１８日検索］、インターネット〈URL：https://www.nhk.or.jp/strl/publica/rd/rd128/PDF/P04-10.pdf/〉
参考文献２：３次元モデルからインテグラル立体像の生成技術、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１２３、２０１０年９月、［online］、［令和２年１１月１８日検索］、インターネット〈URL：https://www.nhk.or.jp/strl/publica/rd/rd123/PDF/P64.pdf/〉
参考文献２：３次元モデルからインテグラル立体像の生成技術、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１２３、２０１０年９月、［online］、［令和２年１１月１８日検索］、インターネット〈URL：https://www.nhk.or.jp/strl/publica/rd/rd123/PDF/P64.pdf/〉
【0063】
その後、要素画像群生成手段２６は、生成した要素画像群１００をライトフィールドＨＭＤ１０に出力する。
【0064】
［要素画像群生成装置の動作］
図６を参照し、要素画像群生成装置２０の動作について説明する。
図６に示すように、ステップＳ１において、眼球位置検出手段２３は、使用者の眼球位置Ｏｅｙｅを検出する。例えば、眼球位置検出手段２３は、ライトフィールドＨＭＤ１０の内部に配置したカメラで撮影した眼球画像から虹彩位置を検出し、眼球モデルに適用することで、眼球位置Ｏｅｙｅを検出する。なお、使用者の眼球位置Ｏｅｙｅは、予め設定した情報を用いてもよい。
図６を参照し、要素画像群生成装置２０の動作について説明する。
図６に示すように、ステップＳ１において、眼球位置検出手段２３は、使用者の眼球位置Ｏｅｙｅを検出する。例えば、眼球位置検出手段２３は、ライトフィールドＨＭＤ１０の内部に配置したカメラで撮影した眼球画像から虹彩位置を検出し、眼球モデルに適用することで、眼球位置Ｏｅｙｅを検出する。なお、使用者の眼球位置Ｏｅｙｅは、予め設定した情報を用いてもよい。
【0065】
ステップＳ２において、要素画像ピッチ算出手段２４は、ＨＭＤパラメータに基づいて、要素レンズ１３のピッチｐａｒｒａｙより大きくなるように、要素画像１１０のピッチｐｅｌｅｍを算出する。
【0066】
まず、要素画像ピッチ算出手段２４は、前記した式（３）を用いて、ライトフィールドＨＭＤ１０の光軸Ｏａｘｉｓを基準として、要素画像１１０のピッチｐｅｌｅｍを大きくしたときにレンズアレイ１２により形成される中間像βのサイズｙｉｎｔｅｒを算出する。
【0067】
次に、要素画像ピッチ算出手段２４は、前記した式（５）を用いて、中間像βから接眼レンズ１４までの距離ｃと接眼レンズ１４から３次元像αまでの距離ｄとの比を中間像βのサイズｙｉｎｔｅｒに乗算することで、３次元像αのサイズｙｉｍａｇｅを算出する。
【0068】
さらに、要素画像ピッチ算出手段２４は、３次元像αのサイズｙｉｍａｇｅ及び接眼レンズ１４の直径ｄｅｙｅにより定まる視野角θが最大になるときのアイレリーフｅに基づいて、要素画像１１０のピッチｐｅｌｅｍを算出する。例えば、要素画像ピッチ算出手段２４は、前記した式（６）を変数が１つの最適化問題として解くことで、要素画像１１０のピッチｐｅｌｅｍを算出する。
【0069】
ステップＳ３において、要素画像群オフセット値算出手段２５は、眼球位置検出手段２３が検出した眼球位置ＯｅｙｅとアイボックスＥＢの中心とが一致するように要素画像群１００のオフセット値を算出する。例えば、要素画像群オフセット値算出手段２５は、前記した式（７）を用いて、要素画像群１００のオフセット値を算出する。
【0070】
ステップＳ４において、要素画像群生成手段２６は、要素画像ピッチ算出手段２４が算出した要素画像１１０のピッチｐｅｌｅｍ、かつ、要素画像群オフセット値算出手段２５が算出したオフセット値ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔだけオフセットした要素画像群１００を生成する。例えば、要素画像群生成手段２６は、一般的な光線追跡処理を用いて、要素画像群１００を生成する。
【0071】
［作用・効果］
以上のように、要素画像群生成装置２０は、要素画像１１０のピッチｐｅｌｅｍを要素レンズ１３のピッチｐａｒｒａｙより大きくすることで、要素レンズ１３の真後ろから外れた位置に要素画像１１０を表示させる。このとき、要素画像群生成装置２０では、各要素画像１１０と要素レンズ１３との中心を通る光線が光軸Ｏａｘｉｓに対して斜めに進み、接眼レンズ１４で屈折され、アイレリーフだけ離れた眼球面の中心Ｃで１点に集光するので、視野角θを拡大できる。
以上のように、要素画像群生成装置２０は、要素画像１１０のピッチｐｅｌｅｍを要素レンズ１３のピッチｐａｒｒａｙより大きくすることで、要素レンズ１３の真後ろから外れた位置に要素画像１１０を表示させる。このとき、要素画像群生成装置２０では、各要素画像１１０と要素レンズ１３との中心を通る光線が光軸Ｏａｘｉｓに対して斜めに進み、接眼レンズ１４で屈折され、アイレリーフだけ離れた眼球面の中心Ｃで１点に集光するので、視野角θを拡大できる。
【0072】
さらに、要素画像群生成装置２０は、アイボックスＥＢを拡張し、アイレリーフを調整できる。
さらに、要素画像群生成装置２０は、接眼レンズ１４の直径を超えるディスプレイ１１からの光線を使用者の眼に届けると共に、アイレリーフを接眼レンズ１４の焦点距離より短い範囲で設計することが可能となるので、視野角を拡大できる。
さらに、要素画像群生成装置２０は、接眼レンズ１４の直径を超えるディスプレイ１１からの光線を使用者の眼に届けると共に、アイレリーフを接眼レンズ１４の焦点距離より短い範囲で設計することが可能となるので、視野角を拡大できる。
【0073】
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0074】
前記した各実施形態では、要素画像群生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した要素画像群生成装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0075】
１ ライトフィールドＨＭＤシステム
１０ ライトフィールドＨＭＤ（頭部装着型表示装置）
１１，１１Ｒ，１１Ｌ ディスプレイ
１２，１２Ｒ，１２Ｌ レンズアレイ
１４ 接眼レンズ
１５ 筐体
２０ 要素画像群生成装置
２１ ＨＭＤパラメータ記憶手段
２２ ３Ｄシーン記憶手段
２３ 眼球位置検出手段
２４ 要素画像ピッチ算出手段
２５ 要素画像群オフセット値算出手段
２６ 要素画像群生成手段
１０ ライトフィールドＨＭＤ（頭部装着型表示装置）
１１，１１Ｒ，１１Ｌ ディスプレイ
１２，１２Ｒ，１２Ｌ レンズアレイ
１４ 接眼レンズ
１５ 筐体
２０ 要素画像群生成装置
２１ ＨＭＤパラメータ記憶手段
２２ ３Ｄシーン記憶手段
２３ 眼球位置検出手段
２４ 要素画像ピッチ算出手段
２５ 要素画像群オフセット値算出手段
２６ 要素画像群生成手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】