(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022176094
(43)【公開日】2022-11-25
(54)【発明の名称】ライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法
(51)【国際特許分類】
H04N 13/307 20180101AFI20221117BHJP
G02B 3/00 20060101ALI20221117BHJP
G02B 5/00 20060101ALI20221117BHJP
H04N 5/64 20060101ALI20221117BHJP
G02B 25/00 20060101ALI20221117BHJP
H04N 13/344 20180101ALI20221117BHJP
G02B 27/02 20060101ALN20221117BHJP
G02B 30/10 20200101ALN20221117BHJP
【FI】
H04N13/307
G02B3/00 A
G02B5/00 Z
H04N5/64 511A
G02B25/00 Z
H04N13/344
G02B27/02 Z
G02B30/10
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022063200
(22)【出願日】2022-04-06
(31)【優先権主張番号】63/187946
(32)【優先日】2021-05-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】202111001513.0
(32)【優先日】2021-08-30
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】500093133
【氏名又は名称】中強光電股▲ふん▼有限公司
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】▲呉▼ 瑞翊
(72)【発明者】
【氏名】呂 志宏
【テーマコード(参考)】
2H042
2H087
2H199
5C061
【Fターム(参考)】
2H042AA03
2H042AA26
2H087LA11
2H087RA26
2H199CA23
2H199CA25
2H199CA30
2H199CA42
2H199CA97
5C061AA06
5C061AB12
(57)【要約】
【課題】本発明はライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法を提供する。
【解決手段】ライトフィールドニアアイ表示装置はプロセッサ、表示パネル及びレンズモジュールを含む。プロセッサは現在の射出瞳距離、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて新しい光線追跡データを算出し、かつ新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成する。表示パネルはプロセッサにカップリングされ、かつ調整後画像データに基づいて画像光束を射出する。レンズモジュールはマイクロレンズアレイを含み、かつ、表示パネルと瞳孔との間に設置される。画像光束はレンズモジュールを経由して瞳孔に入射され、かつライトフィールド画像を表示する。本発明のライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法は、ユーザに優れた画像品質を有するライトフィールド画像を見せることができる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ライトフィールドニアアイ表示装置であって、
前記ライトフィールドニアアイ表示装置はプロセッサ、表示パネル及びレンズモジュールを含み、
前記プロセッサは現在の射出瞳距離、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて新しい光線追跡データを算出し、かつ前記新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成し、
前記表示パネルは前記プロセッサにカップリングされ、かつ前記調整後画像データに基づいて画像光束を射出し、
前記レンズモジュールはマイクロレンズアレイを含み、かつ前記レンズモジュールは前記表示パネルと瞳孔との間に設置され、
前記画像光束は前記レンズモジュールを経由して前記瞳孔に入射され、かつライトフィールド画像を表示することを特徴とする、ライトフィールドニアアイ表示装置。
【請求項2】
前記予設定の射出瞳距離データは第1予設定の射出瞳距離を含み、かつ前記予設定の光線追跡データは第1予設定の射出瞳位置座標を含み、
前記プロセッサは前記現在の射出瞳距離、前記第1予設定の射出瞳距離及び前記第1予設定の射出瞳位置座標に基づいて、前記新しい光線追跡データの現在の射出瞳位置座標を算出することを特徴とする、請求項1に記載のライトフィールドニアアイ表示装置。
【請求項3】
前記予設定の射出瞳距離データはさらに第2予設定の射出瞳距離を含み、かつ前記予設定の光線追跡データはさらに第2予設定の射出瞳位置座標、第1予設定の光線ベクトル及び第2予設定の光線ベクトルを含み、
前記プロセッサは前記現在の射出瞳位置座標、前記第1予設定の射出瞳位置座標、前記第2予設定の射出瞳位置座標、前記第1予設定の光線ベクトル及び前記第2予設定の光線ベクトルに基づいて、前記新しい光線追跡データの現在の光線ベクトルを算出することを特徴とする、請求項2に記載のライトフィールドニアアイ表示装置。
【請求項4】
前記プロセッサは前記現在の射出瞳位置座標、前記第1予設定の射出瞳位置座標、前記第2予設定の射出瞳位置座標、前記第1予設定の光線ベクトル及び前記第2予設定の光線ベクトルに基づいて、補間計算を実行し、前記現在の光線ベクトルを取得することを特徴とする、請求項3に記載のライトフィールドニアアイ表示装置。
【請求項5】
前記第1予設定の射出瞳距離及び前記第2予設定の射出瞳距離はそれぞれ最小射出瞳距離及び最大射出瞳距離であることを特徴とする、請求項3に記載のライトフィールドニアアイ表示装置。
【請求項6】
前記現在の射出瞳距離は前記瞳孔の現在のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記現在の射出瞳位置座標が前記現在のアイボックス中に位置し、
前記第1予設定の射出瞳距離は第1予設定のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記第1予設定の射出瞳位置座標が前記第1予設定のアイボックス中に位置し、
前記第2予設定の射出瞳距離は第2予設定のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記第2予設定の射出瞳位置座標が前記第2予設定のアイボックス中に位置することを特徴とする、請求項3に記載のライトフィールドニアアイ表示装置。
【請求項7】
前記第1予設定の射出瞳位置座標の数が複数であり、
前記プロセッサは前記現在の射出瞳距離、前記第1予設定の射出瞳距離及び複数の前記第1予設定の射出瞳位置座標にそれぞれ基づいて、前記新しい光線追跡データの複数の現在の射出瞳位置座標を算出し、
前記プロセッサは前記複数の現在の射出瞳位置座標、複数の前記第1予設定の射出瞳位置座標、複数の第2予設定の射出瞳位置座標、前記マイクロレンズアレイの複数のマイクロレンズに対応する複数の第1予設定の光線ベクトル及び複数の第2予設定の光線ベクトルにそれぞれ基づいて、前記複数のマイクロレンズのそれぞれから前記現在のアイボックス中の前記複数の現在の射出瞳位置座標までの複数の現在の光線ベクトルを算出することを特徴とする、請求項2に記載のライトフィールドニアアイ表示装置。
【請求項8】
前記プロセッサは前記複数のマイクロレンズにそれぞれ対応する前記複数の現在の光線ベクトルに基づいて、前記予設定の画像データ中の複数のサブ画像コンテンツを調整して、前記複数のサブ画像コンテンツの複数の画像光束をそれぞれ前記複数のマイクロレンズを経由させて複数のサブライトフィールド画像ユニットを形成し、かつ前記複数のサブライトフィールド画像ユニットが前記ライトフィールド画像を形成することを特徴とする、請求項7に記載のライトフィールドニアアイ表示装置。
【請求項9】
前記ライトフィールド画像は前記瞳孔の合焦範囲内に表示されることを特徴とする、請求項1に記載のライトフィールドニアアイ表示装置。
【請求項10】
前記プロセッサにカップリングされる距離センサをさらに含み、
前記プロセッサは前記距離センサによって、前記瞳孔に対し前記現在の射出瞳距離を取得することを特徴とする、請求項1に記載のライトフィールドニアアイ表示装置。
【請求項11】
ライトフィールドニアアイ表示方法であって、
現在の射出瞳距離、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて、新しい光線追跡データを算出するステップと、
前記新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成するステップと、
表示パネルによって、前記調整後画像データに基づいて画像光束を射出するステップと、
前記画像光束がマイクロレンズアレイを含むレンズモジュールを経由して瞳孔に入射され、かつライトフィールド画像を表示するステップとを含むことを特徴とする、ライトフィールドニアアイ表示方法。
【請求項12】
前記予設定の射出瞳距離データは第1予設定の射出瞳距離を含み、かつ前記予設定の光線追跡データは第1予設定の射出瞳位置座標を含み、
前記新しい光線追跡データを算出するステップは、
前記現在の射出瞳距離、前記第1予設定の射出瞳距離及び前記第1予設定の射出瞳位置座標に基づいて、前記新しい光線追跡データの現在の射出瞳位置座標を算出するステップを含むことを特徴とする、請求項11に記載のライトフィールドニアアイ表示方法。
【請求項13】
前記予設定の射出瞳距離データはさらに第2予設定の射出瞳距離を含み、かつ前記予設定の光線追跡データはさらに第2予設定の射出瞳位置座標、第1予設定の光線ベクトル及び第2予設定の光線ベクトルを含み、
前記新しい光線追跡データを算出するステップはさらに、
前記現在の射出瞳位置座標、前記第1予設定の射出瞳位置座標、前記第2予設定の射出瞳位置座標、前記第1予設定の光線ベクトル及び前記第2予設定の光線ベクトルに基づいて、前記新しい光線追跡データの現在の光線ベクトルを算出するステップを含むことを特徴とする、請求項12に記載のライトフィールドニアアイ表示方法。
【請求項14】
前記新しい光線追跡データの前記現在の光線ベクトルを算出するステップは、
前記現在の射出瞳位置座標、前記第1予設定の射出瞳位置座標、前記第2予設定の射出瞳位置座標、前記第1予設定の光線ベクトル及び前記第2予設定の光線ベクトルに基づいて補間計算を実行し、前記現在の光線ベクトルを取得するステップを含むことを特徴とする、請求項13に記載のライトフィールドニアアイ表示方法。
【請求項15】
前記第1予設定の射出瞳距離及び前記第2予設定の射出瞳距離はそれぞれ最小射出瞳距離及び最大射出瞳距離であることを特徴とする、請求項13に記載のライトフィールドニアアイ表示方法。
【請求項16】
前記現在の射出瞳距離は前記瞳孔の現在のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記現在の射出瞳位置座標が前記現在のアイボックス中に位置し、
前記第1予設定の射出瞳距離は第1予設定のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記第1予設定の射出瞳位置座標が前記第1予設定のアイボックス中に位置し、
前記第2予設定の射出瞳距離は第2予設定のアイボックスと前記マイクロレンズアレイとの間に対応する距離であり、かつ前記第2予設定の射出瞳位置座標が前記第2予設定のアイボックス中に位置することを特徴とする、請求項13に記載のライトフィールドニアアイ表示方法。
【請求項17】
前記第1予設定の射出瞳位置座標の数が複数であり、
前記新しい光線追跡データを算出するステップは、
前記現在の射出瞳距離、前記第1予設定の射出瞳距離及び複数の前記第1予設定の射出瞳位置座標にそれぞれ基づいて、前記新しい光線追跡データの複数の現在の射出瞳位置座標を算出するステップと、
前記複数の現在の射出瞳位置座標、複数の前記第1予設定の射出瞳位置座標、複数の第2予設定の射出瞳位置座標、前記マイクロレンズアレイの複数のマイクロレンズに対応する複数の第1予設定の光線ベクトル及び複数の第2予設定の光線ベクトルにそれぞれ基づいて、前記複数のマイクロレンズのそれぞれから前記現在のアイボックス中の前記複数の現在の射出瞳位置座標までの間の複数の現在の光線ベクトルを算出するステップとを含むことを特徴とする、請求項12に記載のライトフィールドニアアイ表示方法。
【請求項18】
前記新しい光線追跡データに基づいて前記予設定の画像データを調整するステップは、
前記複数のマイクロレンズにそれぞれ対応する前記複数の現在の光線ベクトルに基づいて、前記予設定の画像データ中の複数のサブ画像コンテンツを調整するステップを含み、
前記ライトフィールド画像を表示するステップは、
前記複数のサブ画像コンテンツの複数の画像光束がそれぞれ前記複数のマイクロレンズを経由して複数のサブライトフィールド画像ユニットを形成し、かつ前記複数のサブライトフィールド画像ユニットが前記ライトフィールド画像を形成するステップを含むことを特徴とする、請求項17に記載のライトフィールドニアアイ表示方法。
【請求項19】
前記ライトフィールド画像が前記瞳孔の合焦範囲内に表示されることを特徴とする、請求項11に記載のライトフィールドニアアイ表示方法。
【請求項20】
距離センサによって、前記瞳孔に対し前記現在の射出瞳距離を取得するステップをさらに含むことを特徴とする、請求項11に記載のライトフィールドニアアイ表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は表示技術に関し、特にライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法に関する。
【背景技術】
【0002】
ライトフィールドニアアイディスプレイ(Light Field Near-Eye Display,LFNED)は、適合的眼球離反運動の不一致(Vergence-Accommodation Conflict,VAC)問題を解決できる表示技術の一つであり、その構造により空間分割多重(Space Division Multiplexing)及び時間分割多重(Time Division Multiplexing)の2種類に分類される。時間分割多重は、微小電気機械システム(Micro-Electromechanical System,MEMS)素子を用いて虚像位置を変更し、前後画像の明瞭程度を調整する。空間分割多重は、レンズアレイを用いてパネル上の対応する視差画像を投射し、例えば、レンズアレイを有機発光ダイオード(Organic Light-Emitting Diode,OLED)ディスプレイに設置してライトフィールド画像を生成する。
【0003】
ライトフィールドニアアイディスプレイにとって、左右眼球と光学システムの相対関係はその主要なシステムパラメータである。従来のライトフィールドニアアイディスプレイにおいて、システムパラメータが固定値であり、かつ、システム公差に基づいて左右眼球に対する許容誤差を提供し、システムパラメータが例えば両目の瞳孔距離(Inter Pupillary Distance,IPD)、アイボックス(Eye Box)及び射出瞳距離(Eye relief)を含むことができる。なお、従来のライトフィールドニアアイディスプレイにおいて、射出瞳距離がシステム設計として設定され、デジタル方式による調整ができない。さらに言うと、従来のライトフィールドニアアイディスプレイは機械式移動を利用して光学変数を調整し、射出瞳距離を変化させる。しかし、機械式の調整は、例えば光機構造の相対変位を利用し、または能動素子(例えば、液体または液晶等の材料特性素子)を用いる調整であるため、機体構造の複雑度を増加させ、または画像品質を低下させることになる。
【0004】
「背景技術」部分は発明内容の理解を促すことのみを目的とし、「背景技術」が開示した内容に当業者が既知の従来技術以外の一部構成が含まれている可能性がある。「背景技術」が開示した内容は、当該内容または本発明の1つ若しくは複数の実施例が解決しようとする課題が本発明の出願前に既に当業者に把握または認識されていたことを意味するものではない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、ユーザに優れた画像品質を有するライトフィールド画像を見せることができるライトフィールドニアアイ表示装置を提供する。
【課題を解決するための手段】
【0006】
本発明のその他の目的と利点について、本発明が開示する技術特徴からさらに理解を深めることができる。
【0007】
前記一つ、一部若しくはすべての目的、またはその他の目的を実現するために、本発明の一実施例が提出するライトフィールドニアアイ表示装置はプロセッサ、表示パネル及びレンズモジュールを含む。プロセッサは現在(present)の射出瞳距離、予設定(preset)の射出瞳距離データ及び予設定の光線追跡データに基づいて、新しい光線追跡データを算出し、かつ、新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成する。表示パネルはプロセッサにカップリングされ、かつ、調整後画像データに基づいて画像光束を射出する。レンズモジュールはマイクロレンズアレイを含み、かつ表示パネルと瞳孔との間に設置される。画像光束はレンズモジュールを経由して瞳孔に入射され、かつライトフィールド画像を表示する。
【0008】
前記一つ、一部若しくはすべての目的、またはその他の目的を実現するために、本発明の一実施例が提出するライトフィールドニアアイ表示方法は以下のステップを含む。現在の射出瞳距離、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて、新しい光線追跡データを算出するステップ。新しい光線追跡データに基づいて、予設定の画像データを調整し、調整後画像データを生成するステップ。表示パネルによって、調整後画像データに基づいて画像光束を算出するステップ。画像光束がマイクロレンズアレイを含むレンズモジュールを経由して瞳孔に入射され、かつ、ライトフィールド画像を表示するステップ。
【0009】
以上により、本発明のライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法は、現在の射出瞳距離に基づいて自動的に画像データを調整し、表示パネルに調整後画像データに基づいて対応する画像光束を射出させて、優れた画像品質を有するライトフィールド画像を提供する。
【0010】
本発明の前記特徴と利点をより明確に、分かりやすく示すために、以下は実施例を挙げて、かつ図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【0011】
【
図1】本発明の一実施例のライトフィールドニアアイ表示装置のブロック図。
【
図2】本発明の一実施例のライトフィールドニアアイ表示装置の構造の概略図。
【
図3】本発明の一実施例のライトフィールドニアアイ表示方法のフローチャート。
【
図4】本発明の一実施例の異なる射出瞳距離の光路の概略図。
【
図5】本発明の一実施例のベクトル差を算出する概略図。
【発明を実施するための形態】
【0012】
本発明の前記及びその他の技術内容、特徴及び効果を明確に示すべく、以下は図面を参照しながら好ましい実施例を詳しく説明する。以下の実施例で言及される方向用語、例えば上、下、左、右、前または後などは、図面を参照する方向のみである。従って、これらの方向用語は説明目的に用いられたものであり、本発明を制限するものではない。
【0013】
図1は本発明の一実施例に基づくライトフィールドニアアイ表示装置のブロック図である。
図1を参照すると、ライトフィールドニアアイ表示装置100はプロセッサ110、表示パネル120及び記憶装置130を含む。プロセッサ110は表示パネル120及び記憶装置130にカップリングされる。本実施例において、プロセッサ110は原始画像データ、システムパラメータに基づいて、例えば、予設定の両目瞳孔距離、予設定のアイボックス、予設定の射出瞳距離、予設定の光線追跡データ等の関連データに基づいて、画像データを生成する。プロセッサ110は、画像データに基づいて表示パネル120を駆動し、表示パネル120に画像コンテンツを表示させることで対応する画像光束をユーザの瞳孔まで発射し、ライトフィールド画像を表示する。本実施例において、ライトフィールドニアアイ表示装置100は例えばヘッドマウント式ディスプレイ(Head-Mounted Display,HMD)であるが、本発明はこれに制限されない。
【0014】
本実施例において、プロセッサ110は制御機能、駆動機能及び画像データ演算機能に関連する中央処理装置(Central Processing Unit,CPU)、または、その他のプログラマブルな汎用若しくは専用のマイクロプロセッサ(Microprocessor)、デジタルシグナルプロセッサ(Digital Signal Processor,DSP)、イメージプロセッサ(Image Processing Unit,IPU)、グラフィックスプロセッサ(Graphics Processing Unit,GPU)、プログラマブルコントローラー、特定用途向け集積回路(Application Specific Integrated Circuits,ASIC)、プログラマブルロジックデバイス(Programmable Logic Device,PLD)、その他の類似する制御装置、または前記装置の組み合わせを含んでもよい。本実施例において、記憶装置130はメモリー(Memory)であり、関連する画像データ、システムパラメータ、画像処理モジュール、及びパラメータ演算に関連するアルゴリズム等を記憶し、プロセッサ110によるアクセスと実行に提供する。
【0015】
本実施例において、表示パネル120は液晶表示(Liquid Crystal Display,LCD)パネル、有機発光ダイオード表示パネル、マイクロ発光ダイオード表示パネル、またはその他の適切なディスプレイであり、かつ、プロセッサ110は画像データに基づいて表示パネル120を駆動し、対応する画像画面を表示させる。また、表示パネル120は対応する画像画面を表示することにより、対応する画像光束を発射し、ライトフィールド画像を表示する。本実施例において、プロセッサ110は現在の射出瞳距離に応じて画像データを調整し、表示パネル120が表示する画像コンテンツを調整した後、ライトフィールド画像をユーザの瞳孔の合焦範囲(focus range)内に表示することができる。
【0016】
図2は本発明の一実施例に基づくライトフィールドニアアイ表示装置の構造の概略図である。
図1及び
図2を参照すると、本実施例において、ライトフィールドニアアイ表示装置100はユーザの視野前方に設置することができる。ライトフィールドニアアイ表示装置100はさらにレンズモジュール140を含んでもよい。ユーザの目(瞳孔201)は方向Zに沿って表示パネル120及びレンズモジュール140に面している。表示パネル120及びレンズモジュール140は、例えば、方向X及び方向Yがそれぞれ延伸して形成する平面に対し平行である。レンズモジュール140はマイクロレンズアレイ141を含み、マイクロレンズアレイ141はアレイ状に配列された複数のマイクロレンズ141_1~141_Nを含むことができ、かつ、Nが正の整数である。マイクロレンズ141_1~141_Nは方向X及び方向Yへそれぞれ延伸して配列されてもよい。レンズモジュール140はさらにその他のレンズ素子を含むことも可能であり、本実施例において、第1レンズ142及び第2レンズ143を例にしているが、別の実施例では、ライトフィールドニアアイ表示装置100が達成しようとする画像品質と効果に基づいて、その他のレンズ素子の数または形態を調整してもよい。
【0017】
本実施例において、レンズモジュール140は表示パネル120と瞳孔201の間に設置され、表示パネル120で生成された画像光束はレンズモジュール140を経由して瞳孔201に入射され、ライトフィールド画像を表示する。なお、ユーザの瞳孔201に映るライトフィールド画像の結果(ユーザの網膜における結像結果)は、遠方の虚像形成平面S1上に等価結像された虚像のようであり、かつ、その画像光束の等価光路が
図2の示す通りである。
【0018】
本実施例において、ユーザの角度から見ると、ユーザの瞳孔201はアイボックス202内において、マイクロレンズ141_1を通して、表示パネル120のサブ画像コンテンツ121_1に対応するサブ表示領域が発した画像光束を受けることで、遠方の虚像形成平面S1上に等価結像されたようなサブ虚像151_1を観測することができる。同様に、ユーザの瞳孔201はアイボックス202内において、マイクロレンズ141_2、141_3を通して、表示パネル120のサブ画像コンテンツ121_2、121_3に対応するサブ表示領域が発した画像光束をそれぞれ受けることで、遠方の虚像形成平面S1上に等価結像されたようなサブ虚像151_2、151_3を観測することができる。これに対し、本実施例の表示パネル120が表示する複数のサブ画像コンテンツは、光線追跡データに基づいてその位置及び重畳関係を決めることができ、ユーザに立体物画像を有するライトフィールド画像を見せることができる。
【0019】
なお、
図2の画像光束がユーザの瞳孔201、マイクロレンズアレイ141及び表示パネル120の間における等価光路の関係からわかるように、瞳孔201とマイクロレンズアレイ141の間の現在の射出瞳距離Diが予設定の射出瞳距離と異なる場合、表示パネル120から射出された複数の画像光束がマイクロレンズ141_1~141_Nを経由して瞳孔201に入射する複数の光線軌道のアイボックス202における対応する複数の射出瞳位置が変わり、さらにユーザの瞳孔201に表示されるライトフィールド画像の画像コンテンツを影響することになる。従って、本実施例において、プロセッサ110は現在の射出瞳距離Diに基づいて、表示パネル120に表示される対応する複数のサブ画像コンテンツを自動的に調整することで、ユーザの瞳孔201に入射される複数の画像光束が示すライトフィールド画像を瞳孔201の合焦範囲内に表示することができる。
【0020】
図3は本発明の一実施例に基づくライトフィールドニアアイ表示方法のフローチャートである。
図1から
図3を参照すると、本実施例のライトフィールドニアアイ表示装置100は以下のステップS310~S340を含むライトフィールドニアアイ表示方法を実行して、優れたライトフィールド画像表示効果を提供できる。なお、本実施例において、ライトフィールドニアアイ表示装置100はさらに距離センサまたは入力装置を含み、距離センサまたは入力装置がプロセッサ110にカップリングされる。距離センサは自動的にユーザを検出し、瞳孔201に対し現在の射出瞳距離を取得し、かつ、現在の射出瞳距離をプロセッサ110に提供することができる。入力装置は、ユーザによる手動、またはその他の外部電子装置による射出瞳距離の入力を受けて、かつプロセッサ110に提供することができる。本実施例において、ライトフィールドニアアイ表示装置100の記憶装置130は、予設定の射出瞳距離データ及び予設定の光線追跡データを予め記憶することができ、かつ、ライトフィールドニアアイ表示装置100のプロセッサ110は、例えば、前記距離センサまたは入力装置によって現在の射出瞳距離Diを取得することができる。
【0021】
ステップS310において、プロセッサ110は現在の射出瞳距離Di、予設定の射出瞳距離データ及び予設定の光線追跡データに基づいて、新しい光線追跡データを算出する。ステップS320において、プロセッサ110は新しい光線追跡データに基づいて予設定の画像データを調整し、調整後画像データを生成する。ステップS330において、ライトフィールドニアアイ表示装置100は表示パネル120によって、調整後画像データに基づいて画像光束を射出する。ステップS340において、画像光束はマイクロレンズアレイ141を含むレンズモジュール140を経由して瞳孔201に入射され、かつ、ライトフィールド画像を表示する。従って、本実施例のライトフィールドニアアイ表示装置100及びライトフィールドニアアイ表示装置100が実行する本実施例のライトフィールドニアアイ表示方法は、現在の射出瞳距離Diに基づいて画像データを自動的に調整し、現在の射出瞳距離Diに適したライトフィールド画像を表示する。また、ステップS310の新しい光線追跡データを算出する方式について、以下は
図4及び
図5の実施例で詳しく説明する。
【0022】
図4は本発明の一実施例に基づく異なる射出瞳距離の光路の概略図である。
図1、
図2及び
図4を参照すると、本実施例の記憶装置130は、予設定の射出瞳距離データ及び予設定の光線追跡データを予め記憶することができる。予設定の射出瞳距離データは、第1アイボックス(eye box)E1からマイクロレンズアレイ141までの第1予設定の射出瞳距離Deを含み、または、第2アイボックスE2からマイクロレンズアレイ141までの第2予設定の射出瞳距離De+ΔDeを含むことができ、距離ΔDeは第1アイボックスE1と第2アイボックスE2との間の距離である。なお、第1予設定の射出瞳距離De及び第2予設定の射出瞳距離De+ΔDeはそれぞれ、ライトフィールドニアアイ表示装置100が有効な表示を行える最小射出瞳距離及び最大射出瞳距離であってもよい。マイクロレンズアレイ141と表示パネル120の表示面PSとの間に距離Dgを有する。予設定の光線追跡データは、第1アイボックスE1中の複数の空間座標点の複数の第1予設定の射出瞳位置座標を含み、または、第2アイボックスE2中の複数の座標点の複数の第2予設定の射出瞳位置座標を含んでもよい。第1予設定の射出瞳距離Deは複数の第1予設定の射出瞳位置座標及び複数の第1予設定の光線ベクトルに対応する。第2予設定の射出瞳距離De+ΔDeは複数の第2予設定の射出瞳位置座標及び複数の第2予設定の光線ベクトルに対応する。
【0023】
本実施例において、プロセッサ110は、例えば、以下の公式(1)に基づいて、現在のアイボックスEA中の複数の出瞳位置の複数の現在の射出瞳位置座標を算出し、ここで、パラメータPi、Pa、Pbはそれぞれ出瞳位置座標(空間座標)である。
【0024】
【数1】
第1アイボックスE1、現在のアイボックスEA及び第2アイボックスE2中の射出瞳位置座標Pa1(xa,ya,za)、Pi1(xi,yi,zi)、Pb1(xb,yb,zb)を例にすると、射出瞳位置座標Pa1(xa,ya,za)、Pi1(xi,yi,zi)、Pb1(xb,yb,zb)はそれぞれ第1アイボックスE1、現在のアイボックスEA及び第2アイボックスE2における対応する出瞳位置である。一方、射出瞳位置座標Pa1(xa,ya,za)及び射出瞳位置座標Pb1(xb,yb,zb)は予設定の射出瞳距離データ(既知のパラメータ)であり、かつ、第1予設定の射出瞳距離De及び第2予設定の射出瞳距離De+ΔDeは既知のパラメータである。従って、プロセッサ110が現在の射出瞳距離De+ΔDiを取得した時(即ち、この時点の現在の射出瞳距離Di=De+ΔDi)、プロセッサ110は前記公式(1)に基づいて現在の射出瞳位置座標Pi1(xi,yi,zi)を算出することができる。距離ΔDiは第1アイボックスE1及び現在のアイボックスEAとの間の距離である。従って、類推すると、プロセッサ110は現在の射出瞳距離De+ΔDi、第1予設定の射出瞳距離De及び在第1アイボックスE1中の複数の第1予設定の射出瞳位置座標にそれぞれ基づいて、現在のアイボックスEA中の複数の現在の射出瞳位置座標(新しい光線追跡データ)を算出し、または、現在の射出瞳距離、第2予設定の射出瞳距離及び在第2アイボックスE2中の複数の第2予設定の射出瞳位置座標に基づいて、現在のアイボックスEA中の複数の現在の射出瞳位置座標(新しい光線追跡データ)を算出して、新しい光線追跡データを有効に構築し、後の画像データ調整に提供する。
【0025】
続けて、予設定の光線追跡データはさらに、複数のマイクロレンズ141_1~141_Nそれぞれのレンズ中心から第1アイボックスE1中の複数の出瞳位置(複数の空間座標点)までにそれぞれ対応する複数の第1予設定の光線ベクトル、及び、複数のマイクロレンズ141_1~141_Nそれぞれのレンズ中心から第2アイボックスE2中の複数の出瞳位置(複数の空間座標点)までにそれぞれ対応する複数の第2予設定の光線ベクトルを含むことができる。本実施例において、プロセッサ110は前記取得した現在のアイボックスEA中の複数の現在の射出瞳位置座標、複数の第1予設定の射出瞳位置座標、複数の第2予設定の射出瞳位置座標、複数の第1予設定の光線ベクトル及び複数の第2予設定の光線ベクトルに基づいて、新しい光線追跡データ中の複数の現在の光線ベクトルを算出することができる。これに対し、プロセッサ110は、例えば補間計算を実行して、複数の現在の光線ベクトルを算出する。一実施例において、前記補間計算は、例えば内挿法または外挿法の算出方式を採用するが、本発明はこれに制限されない。
【0026】
プロセッサ110は以下の公式(2)に基づいて現在の光線ベクトルを算出し、ここで、パラメータh1は一つの現在の射出瞳位置座標と対応する第1予設定の射出瞳位置座標との間の距離値であり、かつ、パラメータh2は一つの現在の射出瞳位置座標と対応する第2予設定の射出瞳位置座標との間の距離値である。パラメータ
【0027】
【数2】
は一つのマイクロレンズのレンズ中心から対応する第1予設定の射出瞳位置までの第1予設定の光線ベクトルであり、かつ、パラメータ
【0028】
【数3】
は一つのマイクロレンズのレンズ中心から対応する第2予設定の射出瞳位置までの第2予設定の光線ベクトルである。
【0029】
【数4】
詳しくは、
図5を合わせて参照すると、
図5は本発明の一実施例に基づくベクトル差算出の概略図である。なお、公式(2)は個別のマイクロレンズの算出状況を示し、マイクロレンズアレイ141中の複数のマイクロレンズ141_1~141_Nに関して言えば、各マイクロレンズの関連パラメータをそれぞれ公式(2)に代入して算出する必要があり、
図5はその一つのマイクロレンズを例に、かつ、第1アイボックスE1、現在のアイボックスEA及び第2アイボックスE2上の射出瞳位置座標Pa1(xa,ya,za)、Pi1(xi,yi,zi)、Pb1(xb,yb,zb)を例にして、かつ、公式(2)中のパラメータ
【0030】
【0031】
【0032】
【0033】
【数8】
と示す。射出瞳位置座標Pa1(xa,ya,za)及び射出瞳位置座標Pb1(xb,yb,zb)は予設定の射出瞳距離データ(既知のパラメータ)であり、かつ、予設定の光線ベクトル
【0034】
【0035】
【数10】
はそれぞれ一つのマイクロレンズのレンズ中心の位置座標Pm1(xm,ym,zm)から射出瞳位置座標Pa1(xa,ya,za)及び射出瞳位置座標Pb1(xb,yb,zb)までの予設定の光線ベクトル(已知のパラメータ)である。従って、プロセッサ110は前記予設定の光線ベクトル
【0036】
【0037】
【数12】
、パラメータh1、パラメータh2及び公式(2)に基づいて、一つのマイクロレンズのレンズ中心の位置座標Pm1(xm,ym,zm)から射出瞳位置座標Pi1(xi,yi,zi)までの現在の光線ベクトル
【0038】
【0039】
このように類推すると、プロセッサ110は、現在のアイボックスEA中の複数の現在の射出瞳位置座標、第1アイボックスE1中の複数の第1予設定の射出瞳位置座標、第2アイボックスE2中の複数の第2予設定の射出瞳位置座標、マイクロレンズアレイ141の複数のマイクロレンズ141_1~141_Nに対応する複数の第1予設定の光線ベクトル及び複数の第2予設定の光線ベクトルにそれぞれ基づいて、複数のマイクロレンズ141_1~141_Nのそれぞれから現在のアイボックスEA中の複数の現在の射出瞳位置座標までの複数の現在の光線ベクトルを算出することができる。かつ、プロセッサ110は、複数のマイクロレンズ141_1~141_Nにそれぞれ対応する複数の現在の光線ベクトルに基づいて、予設定の画像データ中の複数のサブ画像コンテンツを調整し、複数のサブ画像コンテンツに対応する複数の画像光束がそれぞれ複数のマイクロレンズ141_1~141_Nを経由して複数のサブライトフィールド画像ユニットを形成し、かつ、複数のサブライトフィールド画像ユニットがライトフィールド画像を形成する。
【0040】
例を挙げると、
図4が示すように、射出瞳距離De、De+ΔDi、De+ΔDeに対応する第1アイボックスE1、現在のアイボックスEA及び第2アイボックスE2の何れでも中央のマイクロレンズ141_1を経由に、表示パネル120が示したサブ画像コンテンツ401を受けることができ、即ち、中央のマイクロレンズ141_1において言えば、射出瞳距離De、De+ΔDi、De+ΔDeに対応する第1アイボックスE1、現在のアイボックスEA及び第2アイボックスE2が受けたサブ画像コンテンツ401の位置が基本的に変わらない。しかし、中央位置ではないその他のマイクロレンズであれば、射出瞳距離が変化すると、その対応するアイボックスが受けるサブ画像コンテンツの位置もそれに応じて変化する。例を挙げると、以下はマイクロレンズ141_2について言うと、射出瞳距離De+ΔDe(第2アイボックスE2に対応する)が現在の射出瞳距離De+ΔDi(現在のアイボックスEAに対応する)に変わった状況についてさらに説明する。まず、ライトフィールドニアアイ表示装置100は、例えば、射出瞳距離De+ΔDeに対応する第2アイボックスE2の画像データに基づいてライトフィールド画像を表示した場合、表示パネル120が示すサブ画像コンテンツ402が射出した画像光束は、マイクロレンズ141_2を経由して射出瞳距離De+ΔDeに位置する第2アイボックスE2に入射する。次に、瞳孔とマイクロレンズ141_2との間の距離が現在の射出瞳距離De+ΔDiに変わった場合、本発明の前記光線ベクトルの調整を経た後、プロセッサ110は表示パネル120が最初に表示していたサブ画像コンテンツ402の位置をサブ画像コンテンツ403の位置に調整して、表示パネル120が調整後に表示するサブ画像コンテンツ403が射出した画像光束はマイクロレンズ141_2を経由して、現在の射出瞳距離De+ΔDiに位置する現在のアイボックスEA中(即ち、現在のユーザの瞳孔)に入射する。また、説明すべきなのは、サブ画像コンテンツ402とサブ画像コンテンツ403は何れも表示パネル120の表示面PSに表示され、
図4が示すサブ画像コンテンツ402とサブ画像コンテンツ403の位置は表示面PSにおける位置変換結果を示したに過ぎない。
【0041】
以上を纏めると、本発明のライトフィールドニアアイ表示装置及びライトフィールドニアアイ表示方法は、ユーザの現在の射出瞳距離に基づいて、画像データ、ライトフィールドニアアイ表示装置内の表示パネルが提供する画像コンテンツを自動的に調整することで、表示パネルが調整後画像データに基づいて対応する画像光束を発射するようにして、さらに画像光束をユーザの瞳孔に正確に入射させ、ライトフィールド画像を瞳孔の合焦範囲内に表示し、ユーザに優れた画像品質を有するライトフィールド画像を見せることができる。
【0042】
以上は本発明の好ましい実施例に過ぎず、これを以って本発明の実施範囲を制限すべきではない。即ち、本発明の請求の範囲及び発明の内容を基に行った簡単かつ等価な変更と修正はすべて本発明の範囲内に属する。また、本発明の任意の実施例または請求項は必ずしも本発明で開示されたすべての目的または利点または特徴を備えるとは限らない。また、要約書と発明の名称は特許文献検索に利用されるものであり、本発明の権利範囲を制限するものではない。また、明細書または請求の範囲で言及される「第1」、「第2」等の用語は素子(element)の名称を示し、または異なる実施例や範囲を区別するものであり、素子の数の上限または下限を制限するものではない。
【符号の説明】
【0043】
100 ライトフィールドニアアイ表示装置
110 プロセッサ
120 表示パネル
121_1、121_2、121_3、401、402、403 サブ画像コンテンツ
130 記憶装置
140 レンズモジュール
141 マイクロレンズアレイ
141_1~141_N マイクロレンズ
142 第1レンズ
143 第2レンズ
151_1、151_2、151_3 サブ虚像
201 瞳孔
202、E1、E2、EA アイボックス
X、Y、Z 方向
De、Di 射出瞳距離
ΔDe、ΔDi、Dg 距離
h1、h2 パラメータ
Pa1(xa,ya,za)、Pb1(xb,yb,zb)、Pi1(xi,yi,zi)、Pm1(xm,ym,zm) 位置座標、
【数14】
、
【数15】
、
【数16】
光線ベクトル
S1 虚像形成平面
S310、S320、S330、S340 ステップ
PS 表示面