特開 2022-176094 ライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022176094

(43)【公開日】2022-11-25

(54)【発明の名称】ライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法

(51)【国際特許分類】

   H04N 13/307 20180101AFI20221117BHJP

   G02B 3/00 20060101ALI20221117BHJP

   G02B 5/00 20060101ALI20221117BHJP

   H04N 5/64 20060101ALI20221117BHJP

   G02B 25/00 20060101ALI20221117BHJP

   H04N 13/344 20180101ALI20221117BHJP

   G02B 27/02 20060101ALN20221117BHJP

   G02B 30/10 20200101ALN20221117BHJP

【ＦＩ】

H04N13/307

G02B3/00 A

G02B5/00 Z

H04N5/64 511A

G02B25/00 Z

H04N13/344

G02B27/02 Z

G02B30/10

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022063200

(22)【出願日】2022-04-06

(31)【優先権主張番号】63/187946

(32)【優先日】2021-05-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】202111001513.0

(32)【優先日】2021-08-30

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】500093133

【氏名又は名称】中強光電股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】▲呉▼ 瑞翊

(72)【発明者】

【氏名】呂 志宏

【テーマコード（参考）】

2H042

2H087

2H199

5C061

【Ｆターム（参考）】

2H042AA03

2H042AA26

2H087LA11

2H087RA26

2H199CA23

2H199CA25

2H199CA30

2H199CA42

2H199CA97

5C061AA06

5C061AB12

(57)【要約】

【課題】本発明はライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法を提供する。
【解決手段】ライトフィールドニアアイ表示装置はプロセッサ、表示パネル及びレンズモジュールを含む。プロセッサは現在の射出瞳距離、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて新しい光線追跡データを算出し、かつ新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成する。表示パネルはプロセッサにカップリングされ、かつ調整後画像データに基づいて画像光束を射出する。レンズモジュールはマイクロレンズアレイを含み、かつ、表示パネルと瞳孔との間に設置される。画像光束はレンズモジュールを経由して瞳孔に入射され、かつライトフィールド画像を表示する。本発明のライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法は、ユーザに優れた画像品質を有するライトフィールド画像を見せることができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

ライトフィールドニアアイ表示装置であって、
前記ライトフィールドニアアイ表示装置はプロセッサ、表示パネル及びレンズモジュールを含み、
前記プロセッサは現在の射出瞳距離、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて新しい光線追跡データを算出し、かつ前記新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成し、
前記表示パネルは前記プロセッサにカップリングされ、かつ前記調整後画像データに基づいて画像光束を射出し、
前記レンズモジュールはマイクロレンズアレイを含み、かつ前記レンズモジュールは前記表示パネルと瞳孔との間に設置され、
前記画像光束は前記レンズモジュールを経由して前記瞳孔に入射され、かつライトフィールド画像を表示することを特徴とする、ライトフィールドニアアイ表示装置。

【請求項2】

前記予設定の射出瞳距離データは第１予設定の射出瞳距離を含み、かつ前記予設定の光線追跡データは第１予設定の射出瞳位置座標を含み、
前記プロセッサは前記現在の射出瞳距離、前記第１予設定の射出瞳距離及び前記第１予設定の射出瞳位置座標に基づいて、前記新しい光線追跡データの現在の射出瞳位置座標を算出することを特徴とする、請求項１に記載のライトフィールドニアアイ表示装置。

【請求項3】

前記予設定の射出瞳距離データはさらに第２予設定の射出瞳距離を含み、かつ前記予設定の光線追跡データはさらに第２予設定の射出瞳位置座標、第１予設定の光線ベクトル及び第２予設定の光線ベクトルを含み、
前記プロセッサは前記現在の射出瞳位置座標、前記第１予設定の射出瞳位置座標、前記第２予設定の射出瞳位置座標、前記第１予設定の光線ベクトル及び前記第２予設定の光線ベクトルに基づいて、前記新しい光線追跡データの現在の光線ベクトルを算出することを特徴とする、請求項２に記載のライトフィールドニアアイ表示装置。

【請求項4】

前記プロセッサは前記現在の射出瞳位置座標、前記第１予設定の射出瞳位置座標、前記第２予設定の射出瞳位置座標、前記第１予設定の光線ベクトル及び前記第２予設定の光線ベクトルに基づいて、補間計算を実行し、前記現在の光線ベクトルを取得することを特徴とする、請求項３に記載のライトフィールドニアアイ表示装置。

【請求項5】

前記第１予設定の射出瞳距離及び前記第２予設定の射出瞳距離はそれぞれ最小射出瞳距離及び最大射出瞳距離であることを特徴とする、請求項３に記載のライトフィールドニアアイ表示装置。

【請求項6】

前記現在の射出瞳距離は前記瞳孔の現在のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記現在の射出瞳位置座標が前記現在のアイボックス中に位置し、
前記第１予設定の射出瞳距離は第１予設定のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記第１予設定の射出瞳位置座標が前記第１予設定のアイボックス中に位置し、
前記第２予設定の射出瞳距離は第２予設定のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記第２予設定の射出瞳位置座標が前記第２予設定のアイボックス中に位置することを特徴とする、請求項３に記載のライトフィールドニアアイ表示装置。

【請求項7】

前記第１予設定の射出瞳位置座標の数が複数であり、
前記プロセッサは前記現在の射出瞳距離、前記第１予設定の射出瞳距離及び複数の前記第１予設定の射出瞳位置座標にそれぞれ基づいて、前記新しい光線追跡データの複数の現在の射出瞳位置座標を算出し、
前記プロセッサは前記複数の現在の射出瞳位置座標、複数の前記第１予設定の射出瞳位置座標、複数の第２予設定の射出瞳位置座標、前記マイクロレンズアレイの複数のマイクロレンズに対応する複数の第１予設定の光線ベクトル及び複数の第２予設定の光線ベクトルにそれぞれ基づいて、前記複数のマイクロレンズのそれぞれから前記現在のアイボックス中の前記複数の現在の射出瞳位置座標までの複数の現在の光線ベクトルを算出することを特徴とする、請求項２に記載のライトフィールドニアアイ表示装置。

【請求項8】

前記プロセッサは前記複数のマイクロレンズにそれぞれ対応する前記複数の現在の光線ベクトルに基づいて、前記予設定の画像データ中の複数のサブ画像コンテンツを調整して、前記複数のサブ画像コンテンツの複数の画像光束をそれぞれ前記複数のマイクロレンズを経由させて複数のサブライトフィールド画像ユニットを形成し、かつ前記複数のサブライトフィールド画像ユニットが前記ライトフィールド画像を形成することを特徴とする、請求項７に記載のライトフィールドニアアイ表示装置。

【請求項9】

前記ライトフィールド画像は前記瞳孔の合焦範囲内に表示されることを特徴とする、請求項１に記載のライトフィールドニアアイ表示装置。

【請求項10】

前記プロセッサにカップリングされる距離センサをさらに含み、
前記プロセッサは前記距離センサによって、前記瞳孔に対し前記現在の射出瞳距離を取得することを特徴とする、請求項１に記載のライトフィールドニアアイ表示装置。

【請求項11】

ライトフィールドニアアイ表示方法であって、
現在の射出瞳距離、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて、新しい光線追跡データを算出するステップと、
前記新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成するステップと、
表示パネルによって、前記調整後画像データに基づいて画像光束を射出するステップと、
前記画像光束がマイクロレンズアレイを含むレンズモジュールを経由して瞳孔に入射され、かつライトフィールド画像を表示するステップとを含むことを特徴とする、ライトフィールドニアアイ表示方法。

【請求項12】

前記予設定の射出瞳距離データは第１予設定の射出瞳距離を含み、かつ前記予設定の光線追跡データは第１予設定の射出瞳位置座標を含み、
前記新しい光線追跡データを算出するステップは、
前記現在の射出瞳距離、前記第１予設定の射出瞳距離及び前記第１予設定の射出瞳位置座標に基づいて、前記新しい光線追跡データの現在の射出瞳位置座標を算出するステップを含むことを特徴とする、請求項１１に記載のライトフィールドニアアイ表示方法。

【請求項13】

前記予設定の射出瞳距離データはさらに第２予設定の射出瞳距離を含み、かつ前記予設定の光線追跡データはさらに第２予設定の射出瞳位置座標、第１予設定の光線ベクトル及び第２予設定の光線ベクトルを含み、
前記新しい光線追跡データを算出するステップはさらに、
前記現在の射出瞳位置座標、前記第１予設定の射出瞳位置座標、前記第２予設定の射出瞳位置座標、前記第１予設定の光線ベクトル及び前記第２予設定の光線ベクトルに基づいて、前記新しい光線追跡データの現在の光線ベクトルを算出するステップを含むことを特徴とする、請求項１２に記載のライトフィールドニアアイ表示方法。

【請求項14】

前記新しい光線追跡データの前記現在の光線ベクトルを算出するステップは、
前記現在の射出瞳位置座標、前記第１予設定の射出瞳位置座標、前記第２予設定の射出瞳位置座標、前記第１予設定の光線ベクトル及び前記第２予設定の光線ベクトルに基づいて補間計算を実行し、前記現在の光線ベクトルを取得するステップを含むことを特徴とする、請求項１３に記載のライトフィールドニアアイ表示方法。

【請求項15】

前記第１予設定の射出瞳距離及び前記第２予設定の射出瞳距離はそれぞれ最小射出瞳距離及び最大射出瞳距離であることを特徴とする、請求項１３に記載のライトフィールドニアアイ表示方法。

【請求項16】

前記現在の射出瞳距離は前記瞳孔の現在のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記現在の射出瞳位置座標が前記現在のアイボックス中に位置し、
前記第１予設定の射出瞳距離は第１予設定のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記第１予設定の射出瞳位置座標が前記第１予設定のアイボックス中に位置し、
前記第２予設定の射出瞳距離は第２予設定のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記第２予設定の射出瞳位置座標が前記第２予設定のアイボックス中に位置することを特徴とする、請求項１３に記載のライトフィールドニアアイ表示方法。

【請求項17】

前記第１予設定の射出瞳位置座標の数が複数であり、
前記新しい光線追跡データを算出するステップは、
前記現在の射出瞳距離、前記第１予設定の射出瞳距離及び複数の前記第１予設定の射出瞳位置座標にそれぞれ基づいて、前記新しい光線追跡データの複数の現在の射出瞳位置座標を算出するステップと、
前記複数の現在の射出瞳位置座標、複数の前記第１予設定の射出瞳位置座標、複数の第２予設定の射出瞳位置座標、前記マイクロレンズアレイの複数のマイクロレンズに対応する複数の第１予設定の光線ベクトル及び複数の第２予設定の光線ベクトルにそれぞれ基づいて、前記複数のマイクロレンズのそれぞれから前記現在のアイボックス中の前記複数の現在の射出瞳位置座標までの間の複数の現在の光線ベクトルを算出するステップとを含むことを特徴とする、請求項１２に記載のライトフィールドニアアイ表示方法。

【請求項18】

前記新しい光線追跡データに基づいて前記予設定の画像データを調整するステップは、
前記複数のマイクロレンズにそれぞれ対応する前記複数の現在の光線ベクトルに基づいて、前記予設定の画像データ中の複数のサブ画像コンテンツを調整するステップを含み、
前記ライトフィールド画像を表示するステップは、
前記複数のサブ画像コンテンツの複数の画像光束がそれぞれ前記複数のマイクロレンズを経由して複数のサブライトフィールド画像ユニットを形成し、かつ前記複数のサブライトフィールド画像ユニットが前記ライトフィールド画像を形成するステップを含むことを特徴とする、請求項１７に記載のライトフィールドニアアイ表示方法。

【請求項19】

前記ライトフィールド画像が前記瞳孔の合焦範囲内に表示されることを特徴とする、請求項１１に記載のライトフィールドニアアイ表示方法。

【請求項20】

距離センサによって、前記瞳孔に対し前記現在の射出瞳距離を取得するステップをさらに含むことを特徴とする、請求項１１に記載のライトフィールドニアアイ表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は表示技術に関し、特にライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法に関する。

【背景技術】

【0002】

ライトフィールドニアアイディスプレイ（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｎｅａｒ－Ｅｙｅ Ｄｉｓｐｌａｙ，ＬＦＮＥＤ）は、適合的眼球離反運動の不一致（Ｖｅｒｇｅｎｃｅ－Ａｃｃｏｍｍｏｄａｔｉｏｎ Ｃｏｎｆｌｉｃｔ，ＶＡＣ）問題を解決できる表示技術の一つであり、その構造により空間分割多重（Ｓｐａｃｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）及び時間分割多重（Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）の２種類に分類される。時間分割多重は、微小電気機械システム（Ｍｉｃｒｏ－Ｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ，ＭＥＭＳ）素子を用いて虚像位置を変更し、前後画像の明瞭程度を調整する。空間分割多重は、レンズアレイを用いてパネル上の対応する視差画像を投射し、例えば、レンズアレイを有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ，ＯＬＥＤ）ディスプレイに設置してライトフィールド画像を生成する。

【0003】

ライトフィールドニアアイディスプレイにとって、左右眼球と光学システムの相対関係はその主要なシステムパラメータである。従来のライトフィールドニアアイディスプレイにおいて、システムパラメータが固定値であり、かつ、システム公差に基づいて左右眼球に対する許容誤差を提供し、システムパラメータが例えば両目の瞳孔距離（Ｉｎｔｅｒ Ｐｕｐｉｌｌａｒｙ Ｄｉｓｔａｎｃｅ，ＩＰＤ）、アイボックス（Ｅｙｅ Ｂｏｘ）及び射出瞳距離（Ｅｙｅ ｒｅｌｉｅｆ）を含むことができる。なお、従来のライトフィールドニアアイディスプレイにおいて、射出瞳距離がシステム設計として設定され、デジタル方式による調整ができない。さらに言うと、従来のライトフィールドニアアイディスプレイは機械式移動を利用して光学変数を調整し、射出瞳距離を変化させる。しかし、機械式の調整は、例えば光機構造の相対変位を利用し、または能動素子（例えば、液体または液晶等の材料特性素子）を用いる調整であるため、機体構造の複雑度を増加させ、または画像品質を低下させることになる。

【0004】

「背景技術」部分は発明内容の理解を促すことのみを目的とし、「背景技術」が開示した内容に当業者が既知の従来技術以外の一部構成が含まれている可能性がある。「背景技術」が開示した内容は、当該内容または本発明の１つ若しくは複数の実施例が解決しようとする課題が本発明の出願前に既に当業者に把握または認識されていたことを意味するものではない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、ユーザに優れた画像品質を有するライトフィールド画像を見せることができるライトフィールドニアアイ表示装置を提供する。

【課題を解決するための手段】

【0006】

本発明のその他の目的と利点について、本発明が開示する技術特徴からさらに理解を深めることができる。

【0007】

前記一つ、一部若しくはすべての目的、またはその他の目的を実現するために、本発明の一実施例が提出するライトフィールドニアアイ表示装置はプロセッサ、表示パネル及びレンズモジュールを含む。プロセッサは現在（ｐｒｅｓｅｎｔ）の射出瞳距離、予設定（ｐｒｅｓｅｔ）の射出瞳距離データ及び予設定の光線追跡データに基づいて、新しい光線追跡データを算出し、かつ、新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成する。表示パネルはプロセッサにカップリングされ、かつ、調整後画像データに基づいて画像光束を射出する。レンズモジュールはマイクロレンズアレイを含み、かつ表示パネルと瞳孔との間に設置される。画像光束はレンズモジュールを経由して瞳孔に入射され、かつライトフィールド画像を表示する。

【0008】

前記一つ、一部若しくはすべての目的、またはその他の目的を実現するために、本発明の一実施例が提出するライトフィールドニアアイ表示方法は以下のステップを含む。現在の射出瞳距離、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて、新しい光線追跡データを算出するステップ。新しい光線追跡データに基づいて、予設定の画像データを調整し、調整後画像データを生成するステップ。表示パネルによって、調整後画像データに基づいて画像光束を算出するステップ。画像光束がマイクロレンズアレイを含むレンズモジュールを経由して瞳孔に入射され、かつ、ライトフィールド画像を表示するステップ。

【0009】

以上により、本発明のライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法は、現在の射出瞳距離に基づいて自動的に画像データを調整し、表示パネルに調整後画像データに基づいて対応する画像光束を射出させて、優れた画像品質を有するライトフィールド画像を提供する。

【0010】

本発明の前記特徴と利点をより明確に、分かりやすく示すために、以下は実施例を挙げて、かつ図面を参照しながら詳しく説明する。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施例のライトフィールドニアアイ表示装置のブロック図。

【図2】本発明の一実施例のライトフィールドニアアイ表示装置の構造の概略図。

【図3】本発明の一実施例のライトフィールドニアアイ表示方法のフローチャート。

【図4】本発明の一実施例の異なる射出瞳距離の光路の概略図。

【図5】本発明の一実施例のベクトル差を算出する概略図。

【発明を実施するための形態】

【0012】

本発明の前記及びその他の技術内容、特徴及び効果を明確に示すべく、以下は図面を参照しながら好ましい実施例を詳しく説明する。以下の実施例で言及される方向用語、例えば上、下、左、右、前または後などは、図面を参照する方向のみである。従って、これらの方向用語は説明目的に用いられたものであり、本発明を制限するものではない。

【0013】

図１は本発明の一実施例に基づくライトフィールドニアアイ表示装置のブロック図である。図１を参照すると、ライトフィールドニアアイ表示装置１００はプロセッサ１１０、表示パネル１２０及び記憶装置１３０を含む。プロセッサ１１０は表示パネル１２０及び記憶装置１３０にカップリングされる。本実施例において、プロセッサ１１０は原始画像データ、システムパラメータに基づいて、例えば、予設定の両目瞳孔距離、予設定のアイボックス、予設定の射出瞳距離、予設定の光線追跡データ等の関連データに基づいて、画像データを生成する。プロセッサ１１０は、画像データに基づいて表示パネル１２０を駆動し、表示パネル１２０に画像コンテンツを表示させることで対応する画像光束をユーザの瞳孔まで発射し、ライトフィールド画像を表示する。本実施例において、ライトフィールドニアアイ表示装置１００は例えばヘッドマウント式ディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ，ＨＭＤ）であるが、本発明はこれに制限されない。

【0014】

本実施例において、プロセッサ１１０は制御機能、駆動機能及び画像データ演算機能に関連する中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、または、その他のプログラマブルな汎用若しくは専用のマイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、イメージプロセッサ（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＩＰＵ）、グラフィックスプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＧＰＵ）、プログラマブルコントローラー、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ，ＡＳＩＣ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ，ＰＬＤ）、その他の類似する制御装置、または前記装置の組み合わせを含んでもよい。本実施例において、記憶装置１３０はメモリー（Ｍｅｍｏｒｙ）であり、関連する画像データ、システムパラメータ、画像処理モジュール、及びパラメータ演算に関連するアルゴリズム等を記憶し、プロセッサ１１０によるアクセスと実行に提供する。

【0015】

本実施例において、表示パネル１２０は液晶表示（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ，ＬＣＤ）パネル、有機発光ダイオード表示パネル、マイクロ発光ダイオード表示パネル、またはその他の適切なディスプレイであり、かつ、プロセッサ１１０は画像データに基づいて表示パネル１２０を駆動し、対応する画像画面を表示させる。また、表示パネル１２０は対応する画像画面を表示することにより、対応する画像光束を発射し、ライトフィールド画像を表示する。本実施例において、プロセッサ１１０は現在の射出瞳距離に応じて画像データを調整し、表示パネル１２０が表示する画像コンテンツを調整した後、ライトフィールド画像をユーザの瞳孔の合焦範囲（ｆｏｃｕｓ ｒａｎｇｅ）内に表示することができる。

【0016】

図２は本発明の一実施例に基づくライトフィールドニアアイ表示装置の構造の概略図である。図１及び図２を参照すると、本実施例において、ライトフィールドニアアイ表示装置１００はユーザの視野前方に設置することができる。ライトフィールドニアアイ表示装置１００はさらにレンズモジュール１４０を含んでもよい。ユーザの目（瞳孔２０１）は方向Ｚに沿って表示パネル１２０及びレンズモジュール１４０に面している。表示パネル１２０及びレンズモジュール１４０は、例えば、方向Ｘ及び方向Ｙがそれぞれ延伸して形成する平面に対し平行である。レンズモジュール１４０はマイクロレンズアレイ１４１を含み、マイクロレンズアレイ１４１はアレイ状に配列された複数のマイクロレンズ１４１＿１～１４１＿Ｎを含むことができ、かつ、Ｎが正の整数である。マイクロレンズ１４１＿１～１４１＿Ｎは方向Ｘ及び方向Ｙへそれぞれ延伸して配列されてもよい。レンズモジュール１４０はさらにその他のレンズ素子を含むことも可能であり、本実施例において、第１レンズ１４２及び第２レンズ１４３を例にしているが、別の実施例では、ライトフィールドニアアイ表示装置１００が達成しようとする画像品質と効果に基づいて、その他のレンズ素子の数または形態を調整してもよい。

【0017】

本実施例において、レンズモジュール１４０は表示パネル１２０と瞳孔２０１の間に設置され、表示パネル１２０で生成された画像光束はレンズモジュール１４０を経由して瞳孔２０１に入射され、ライトフィールド画像を表示する。なお、ユーザの瞳孔２０１に映るライトフィールド画像の結果（ユーザの網膜における結像結果）は、遠方の虚像形成平面Ｓ１上に等価結像された虚像のようであり、かつ、その画像光束の等価光路が図２の示す通りである。

【0018】

本実施例において、ユーザの角度から見ると、ユーザの瞳孔２０１はアイボックス２０２内において、マイクロレンズ１４１＿１を通して、表示パネル１２０のサブ画像コンテンツ１２１＿１に対応するサブ表示領域が発した画像光束を受けることで、遠方の虚像形成平面Ｓ１上に等価結像されたようなサブ虚像１５１＿１を観測することができる。同様に、ユーザの瞳孔２０１はアイボックス２０２内において、マイクロレンズ１４１＿２、１４１＿３を通して、表示パネル１２０のサブ画像コンテンツ１２１＿２、１２１＿３に対応するサブ表示領域が発した画像光束をそれぞれ受けることで、遠方の虚像形成平面Ｓ１上に等価結像されたようなサブ虚像１５１＿２、１５１＿３を観測することができる。これに対し、本実施例の表示パネル１２０が表示する複数のサブ画像コンテンツは、光線追跡データに基づいてその位置及び重畳関係を決めることができ、ユーザに立体物画像を有するライトフィールド画像を見せることができる。

【0019】

なお、図２の画像光束がユーザの瞳孔２０１、マイクロレンズアレイ１４１及び表示パネル１２０の間における等価光路の関係からわかるように、瞳孔２０１とマイクロレンズアレイ１４１の間の現在の射出瞳距離Ｄｉが予設定の射出瞳距離と異なる場合、表示パネル１２０から射出された複数の画像光束がマイクロレンズ１４１＿１～１４１＿Ｎを経由して瞳孔２０１に入射する複数の光線軌道のアイボックス２０２における対応する複数の射出瞳位置が変わり、さらにユーザの瞳孔２０１に表示されるライトフィールド画像の画像コンテンツを影響することになる。従って、本実施例において、プロセッサ１１０は現在の射出瞳距離Ｄｉに基づいて、表示パネル１２０に表示される対応する複数のサブ画像コンテンツを自動的に調整することで、ユーザの瞳孔２０１に入射される複数の画像光束が示すライトフィールド画像を瞳孔２０１の合焦範囲内に表示することができる。

【0020】

図３は本発明の一実施例に基づくライトフィールドニアアイ表示方法のフローチャートである。図１から図３を参照すると、本実施例のライトフィールドニアアイ表示装置１００は以下のステップＳ３１０～Ｓ３４０を含むライトフィールドニアアイ表示方法を実行して、優れたライトフィールド画像表示効果を提供できる。なお、本実施例において、ライトフィールドニアアイ表示装置１００はさらに距離センサまたは入力装置を含み、距離センサまたは入力装置がプロセッサ１１０にカップリングされる。距離センサは自動的にユーザを検出し、瞳孔２０１に対し現在の射出瞳距離を取得し、かつ、現在の射出瞳距離をプロセッサ１１０に提供することができる。入力装置は、ユーザによる手動、またはその他の外部電子装置による射出瞳距離の入力を受けて、かつプロセッサ１１０に提供することができる。本実施例において、ライトフィールドニアアイ表示装置１００の記憶装置１３０は、予設定の射出瞳距離データ及び予設定の光線追跡データを予め記憶することができ、かつ、ライトフィールドニアアイ表示装置１００のプロセッサ１１０は、例えば、前記距離センサまたは入力装置によって現在の射出瞳距離Ｄｉを取得することができる。

【0021】

ステップＳ３１０において、プロセッサ１１０は現在の射出瞳距離Ｄｉ、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて、新しい光線追跡データを算出する。ステップＳ３２０において、プロセッサ１１０は新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成する。ステップＳ３３０において、ライトフィールドニアアイ表示装置１００は表示パネル１２０によって、調整後画像データに基づいて画像光束を射出する。ステップＳ３４０において、画像光束はマイクロレンズアレイ１４１を含むレンズモジュール１４０を経由して瞳孔２０１に入射され、かつ、ライトフィールド画像を表示する。従って、本実施例のライトフィールドニアアイ表示装置１００及びライトフィールドニアアイ表示装置１００が実行する本実施例のライトフィールドニアアイ表示方法は、現在の射出瞳距離Ｄｉに基づいて画像データを自動的に調整し、現在の射出瞳距離Ｄｉに適したライトフィールド画像を表示する。また、ステップＳ３１０の新しい光線追跡データを算出する方式について、以下は図４及び図５の実施例で詳しく説明する。

【0022】

図４は本発明の一実施例に基づく異なる射出瞳距離の光路の概略図である。図１、図２及び図４を参照すると、本実施例の記憶装置１３０は、予設定の射出瞳距離データ及び予設定の光線追跡データを予め記憶することができる。予設定の射出瞳距離データは、第１アイボックス（ｅｙｅ ｂｏｘ）Ｅ１からマイクロレンズアレイ１４１までの第１予設定の射出瞳距離Ｄｅを含み、または、第２アイボックスＥ２からマイクロレンズアレイ１４１までの第２予設定の射出瞳距離Ｄｅ＋ΔＤｅを含むことができ、距離ΔＤｅは第１アイボックスＥ１と第２アイボックスＥ２との間の距離である。なお、第１予設定の射出瞳距離Ｄｅ及び第２予設定の射出瞳距離Ｄｅ＋ΔＤｅはそれぞれ、ライトフィールドニアアイ表示装置１００が有効な表示を行える最小射出瞳距離及び最大射出瞳距離であってもよい。マイクロレンズアレイ１４１と表示パネル１２０の表示面ＰＳとの間に距離Ｄｇを有する。予設定の光線追跡データは、第１アイボックスＥ１中の複数の空間座標点の複数の第１予設定の射出瞳位置座標を含み、または、第２アイボックスＥ２中の複数の座標点の複数の第２予設定の射出瞳位置座標を含んでもよい。第１予設定の射出瞳距離Ｄｅは複数の第１予設定の射出瞳位置座標及び複数の第１予設定の光線ベクトルに対応する。第２予設定の射出瞳距離Ｄｅ＋ΔＤｅは複数の第２予設定の射出瞳位置座標及び複数の第２予設定の光線ベクトルに対応する。

【0023】

本実施例において、プロセッサ１１０は、例えば、以下の公式（１）に基づいて、現在のアイボックスＥＡ中の複数の出瞳位置の複数の現在の射出瞳位置座標を算出し、ここで、パラメータＰｉ、Ｐａ、Ｐｂはそれぞれ出瞳位置座標（空間座標）である。

【0024】

【数1】

第１アイボックスＥ１、現在のアイボックスＥＡ及び第２アイボックスＥ２中の射出瞳位置座標Ｐａ１（ｘａ，ｙａ，ｚａ）、Ｐｉ１（ｘｉ，ｙｉ，ｚｉ）、Ｐｂ１（ｘｂ，ｙｂ，ｚｂ）を例にすると、射出瞳位置座標Ｐａ１（ｘａ，ｙａ，ｚａ）、Ｐｉ１（ｘｉ，ｙｉ，ｚｉ）、Ｐｂ１（ｘｂ，ｙｂ，ｚｂ）はそれぞれ第１アイボックスＥ１、現在のアイボックスＥＡ及び第２アイボックスＥ２における対応する出瞳位置である。一方、射出瞳位置座標Ｐａ１（ｘａ，ｙａ，ｚａ）及び射出瞳位置座標Ｐｂ１（ｘｂ，ｙｂ，ｚｂ）は予設定の射出瞳距離データ（既知のパラメータ）であり、かつ、第１予設定の射出瞳距離Ｄｅ及び第２予設定の射出瞳距離Ｄｅ＋ΔＤｅは既知のパラメータである。従って、プロセッサ１１０が現在の射出瞳距離Ｄｅ＋ΔＤｉを取得した時（即ち、この時点の現在の射出瞳距離Ｄｉ＝Ｄｅ＋ΔＤｉ）、プロセッサ１１０は前記公式（１）に基づいて現在の射出瞳位置座標Ｐｉ１（ｘｉ，ｙｉ，ｚｉ）を算出することができる。距離ΔＤｉは第１アイボックスＥ１及び現在のアイボックスＥＡとの間の距離である。従って、類推すると、プロセッサ１１０は現在の射出瞳距離Ｄｅ＋ΔＤｉ、第１予設定の射出瞳距離Ｄｅ及び在第１アイボックスＥ１中の複数の第１予設定の射出瞳位置座標にそれぞれ基づいて、現在のアイボックスＥＡ中の複数の現在の射出瞳位置座標（新しい光線追跡データ）を算出し、または、現在の射出瞳距離、第２予設定の射出瞳距離及び在第２アイボックスＥ２中の複数の第２予設定の射出瞳位置座標に基づいて、現在のアイボックスＥＡ中の複数の現在の射出瞳位置座標（新しい光線追跡データ）を算出して、新しい光線追跡データを有効に構築し、後の画像データ調整に提供する。

【0025】

続けて、予設定の光線追跡データはさらに、複数のマイクロレンズ１４１＿１～１４１＿Ｎそれぞれのレンズ中心から第１アイボックスＥ１中の複数の出瞳位置（複数の空間座標点）までにそれぞれ対応する複数の第１予設定の光線ベクトル、及び、複数のマイクロレンズ１４１＿１～１４１＿Ｎそれぞれのレンズ中心から第２アイボックスＥ２中の複数の出瞳位置（複数の空間座標点）までにそれぞれ対応する複数の第２予設定の光線ベクトルを含むことができる。本実施例において、プロセッサ１１０は前記取得した現在のアイボックスＥＡ中の複数の現在の射出瞳位置座標、複数の第１予設定の射出瞳位置座標、複数の第２予設定の射出瞳位置座標、複数の第１予設定の光線ベクトル及び複数の第２予設定の光線ベクトルに基づいて、新しい光線追跡データ中の複数の現在の光線ベクトルを算出することができる。これに対し、プロセッサ１１０は、例えば補間計算を実行して、複数の現在の光線ベクトルを算出する。一実施例において、前記補間計算は、例えば内挿法または外挿法の算出方式を採用するが、本発明はこれに制限されない。

【0026】

プロセッサ１１０は以下の公式（２）に基づいて現在の光線ベクトルを算出し、ここで、パラメータｈ１は一つの現在の射出瞳位置座標と対応する第１予設定の射出瞳位置座標との間の距離値であり、かつ、パラメータｈ２は一つの現在の射出瞳位置座標と対応する第２予設定の射出瞳位置座標との間の距離値である。パラメータ

【0027】

【数2】

は一つのマイクロレンズのレンズ中心から対応する第１予設定の射出瞳位置までの第１予設定の光線ベクトルであり、かつ、パラメータ

【0028】

【数3】

は一つのマイクロレンズのレンズ中心から対応する第２予設定の射出瞳位置までの第２予設定の光線ベクトルである。

【0029】

【数4】

詳しくは、図５を合わせて参照すると、図５は本発明の一実施例に基づくベクトル差算出の概略図である。なお、公式（２）は個別のマイクロレンズの算出状況を示し、マイクロレンズアレイ１４１中の複数のマイクロレンズ１４１＿１～１４１＿Ｎに関して言えば、各マイクロレンズの関連パラメータをそれぞれ公式（２）に代入して算出する必要があり、図５はその一つのマイクロレンズを例に、かつ、第１アイボックスＥ１、現在のアイボックスＥＡ及び第２アイボックスＥ２上の射出瞳位置座標Ｐａ１（ｘａ，ｙａ，ｚａ）、Ｐｉ１（ｘｉ，ｙｉ，ｚｉ）、Ｐｂ１（ｘｂ，ｙｂ，ｚｂ）を例にして、かつ、公式（２）中のパラメータ

【0030】

【数5】

を例えば

【0031】

【数6】

と示し、パラメータ

【0032】

【数7】

を例えば

【0033】

【数8】

と示す。射出瞳位置座標Ｐａ１（ｘａ，ｙａ，ｚａ）及び射出瞳位置座標Ｐｂ１（ｘｂ，ｙｂ，ｚｂ）は予設定の射出瞳距離データ（既知のパラメータ）であり、かつ、予設定の光線ベクトル

【0034】

【数9】

と予設定の光線ベクトル

【0035】

【数10】

はそれぞれ一つのマイクロレンズのレンズ中心の位置座標Ｐｍ１（ｘｍ，ｙｍ，ｚｍ）から射出瞳位置座標Ｐａ１（ｘａ，ｙａ，ｚａ）及び射出瞳位置座標Ｐｂ１（ｘｂ，ｙｂ，ｚｂ）までの予設定の光線ベクトル（已知のパラメータ）である。従って、プロセッサ１１０は前記予設定の光線ベクトル

【0036】

【数11】

、予設定の光線ベクトル

【0037】

【数12】

、パラメータｈ１、パラメータｈ２及び公式（２）に基づいて、一つのマイクロレンズのレンズ中心の位置座標Ｐｍ１（ｘｍ，ｙｍ，ｚｍ）から射出瞳位置座標Ｐｉ１（ｘｉ，ｙｉ，ｚｉ）までの現在の光線ベクトル

【0038】

【数13】

を算出することができる。

【0039】

このように類推すると、プロセッサ１１０は、現在のアイボックスＥＡ中の複数の現在の射出瞳位置座標、第１アイボックスＥ１中の複数の第１予設定の射出瞳位置座標、第２アイボックスＥ２中の複数の第２予設定の射出瞳位置座標、マイクロレンズアレイ１４１の複数のマイクロレンズ１４１＿１～１４１＿Ｎに対応する複数の第１予設定の光線ベクトル及び複数の第２予設定の光線ベクトルにそれぞれ基づいて、複数のマイクロレンズ１４１＿１～１４１＿Ｎのそれぞれから現在のアイボックスＥＡ中の複数の現在の射出瞳位置座標までの複数の現在の光線ベクトルを算出することができる。かつ、プロセッサ１１０は、複数のマイクロレンズ１４１＿１～１４１＿Ｎにそれぞれ対応する複数の現在の光線ベクトルに基づいて、予設定の画像データ中の複数のサブ画像コンテンツを調整し、複数のサブ画像コンテンツに対応する複数の画像光束がそれぞれ複数のマイクロレンズ１４１＿１～１４１＿Ｎを経由して複数のサブライトフィールド画像ユニットを形成し、かつ、複数のサブライトフィールド画像ユニットがライトフィールド画像を形成する。

【0040】

例を挙げると、図４が示すように、射出瞳距離Ｄｅ、Ｄｅ＋ΔＤｉ、Ｄｅ＋ΔＤｅに対応する第１アイボックスＥ１、現在のアイボックスＥＡ及び第２アイボックスＥ２の何れでも中央のマイクロレンズ１４１＿１を経由に、表示パネル１２０が示したサブ画像コンテンツ４０１を受けることができ、即ち、中央のマイクロレンズ１４１＿１において言えば、射出瞳距離Ｄｅ、Ｄｅ＋ΔＤｉ、Ｄｅ＋ΔＤｅに対応する第１アイボックスＥ１、現在のアイボックスＥＡ及び第２アイボックスＥ２が受けたサブ画像コンテンツ４０１の位置が基本的に変わらない。しかし、中央位置ではないその他のマイクロレンズであれば、射出瞳距離が変化すると、その対応するアイボックスが受けるサブ画像コンテンツの位置もそれに応じて変化する。例を挙げると、以下はマイクロレンズ１４１＿２について言うと、射出瞳距離Ｄｅ＋ΔＤｅ（第２アイボックスＥ２に対応する）が現在の射出瞳距離Ｄｅ＋ΔＤｉ（現在のアイボックスＥＡに対応する）に変わった状況についてさらに説明する。まず、ライトフィールドニアアイ表示装置１００は、例えば、射出瞳距離Ｄｅ＋ΔＤｅに対応する第２アイボックスＥ２の画像データに基づいてライトフィールド画像を表示した場合、表示パネル１２０が示すサブ画像コンテンツ４０２が射出した画像光束は、マイクロレンズ１４１＿２を経由して射出瞳距離Ｄｅ＋ΔＤｅに位置する第２アイボックスＥ２に入射する。次に、瞳孔とマイクロレンズ１４１＿２との間の距離が現在の射出瞳距離Ｄｅ＋ΔＤｉに変わった場合、本発明の前記光線ベクトルの調整を経た後、プロセッサ１１０は表示パネル１２０が最初に表示していたサブ画像コンテンツ４０２の位置をサブ画像コンテンツ４０３の位置に調整して、表示パネル１２０が調整後に表示するサブ画像コンテンツ４０３が射出した画像光束はマイクロレンズ１４１＿２を経由して、現在の射出瞳距離Ｄｅ＋ΔＤｉに位置する現在のアイボックスＥＡ中（即ち、現在のユーザの瞳孔）に入射する。また、説明すべきなのは、サブ画像コンテンツ４０２とサブ画像コンテンツ４０３は何れも表示パネル１２０の表示面ＰＳに表示され、図４が示すサブ画像コンテンツ４０２とサブ画像コンテンツ４０３の位置は表示面ＰＳにおける位置変換結果を示したに過ぎない。

【0041】

以上を纏めると、本発明のライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法は、ユーザの現在の射出瞳距離に基づいて、画像データ、ライトフィールドニアアイ表示装置内の表示パネルが提供する画像コンテンツを自動的に調整することで、表示パネルが調整後画像データに基づいて対応する画像光束を発射するようにして、さらに画像光束をユーザの瞳孔に正確に入射させ、ライトフィールド画像を瞳孔の合焦範囲内に表示し、ユーザに優れた画像品質を有するライトフィールド画像を見せることができる。

【0042】

以上は本発明の好ましい実施例に過ぎず、これを以って本発明の実施範囲を制限すべきではない。即ち、本発明の請求の範囲及び発明の内容を基に行った簡単かつ等価な変更と修正はすべて本発明の範囲内に属する。また、本発明の任意の実施例または請求項は必ずしも本発明で開示されたすべての目的または利点または特徴を備えるとは限らない。また、要約書と発明の名称は特許文献検索に利用されるものであり、本発明の権利範囲を制限するものではない。また、明細書または請求の範囲で言及される「第１」、「第２」等の用語は素子（ｅｌｅｍｅｎｔ）の名称を示し、または異なる実施例や範囲を区別するものであり、素子の数の上限または下限を制限するものではない。

【符号の説明】

【0043】

１００ ライトフィールドニアアイ表示装置
１１０ プロセッサ
１２０ 表示パネル
１２１＿１、１２１＿２、１２１＿３、４０１、４０２、４０３ サブ画像コンテンツ
１３０ 記憶装置
１４０ レンズモジュール
１４１ マイクロレンズアレイ
１４１＿１～１４１＿Ｎ マイクロレンズ
１４２ 第１レンズ
１４３ 第２レンズ
１５１＿１、１５１＿２、１５１＿３ サブ虚像
２０１ 瞳孔
２０２、Ｅ１、Ｅ２、ＥＡ アイボックス
Ｘ、Ｙ、Ｚ 方向
Ｄｅ、Ｄｉ 射出瞳距離
ΔＤｅ、ΔＤｉ、Ｄｇ 距離
ｈ１、ｈ２ パラメータ
Ｐａ１（ｘａ，ｙａ，ｚａ）、Ｐｂ１（ｘｂ，ｙｂ，ｚｂ）、Ｐｉ１（ｘｉ，ｙｉ，ｚｉ）、Ｐｍ１（ｘｍ，ｙｍ，ｚｍ） 位置座標、

【数14】

、

【数15】

、

【数16】

光線ベクトル
Ｓ１ 虚像形成平面
Ｓ３１０、Ｓ３２０、Ｓ３３０、Ｓ３４０ ステップ
ＰＳ 表示面

【図1】

【図2】

【図3】

【図4】

【図5】