特開 2023-979 仮想現実画像を生成するライトフィールドニアアイディスプレイ及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023000979

(43)【公開日】2023-01-04

(54)【発明の名称】仮想現実画像を生成するライトフィールドニアアイディスプレイ及びその方法

(51)【国際特許分類】

   H04N 13/307 20180101AFI20221222BHJP

   G09G 5/00 20060101ALI20221222BHJP

   G02B 27/02 20060101ALI20221222BHJP

   G02B 30/10 20200101ALI20221222BHJP

   G09G 5/38 20060101ALI20221222BHJP

   G09G 5/36 20060101ALI20221222BHJP

   H04N 13/344 20180101ALI20221222BHJP

   H04N 13/122 20180101ALI20221222BHJP

   H04N 13/383 20180101ALI20221222BHJP

   G02B 3/00 20060101ALN20221222BHJP

【ＦＩ】

H04N13/307

G09G5/00 550C

G02B27/02 Z

G02B30/10

G09G5/38 Z

G09G5/36 510V

H04N13/344

H04N13/122

H04N13/383

G02B3/00 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021172125

(22)【出願日】2021-10-21

(31)【優先権主張番号】202110672253.3

(32)【優先日】2021-06-17

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】500093133

【氏名又は名称】中強光電股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】呂 志宏

(72)【発明者】

【氏名】▲呉▼ 瑞翊

【テーマコード（参考）】

2H199

5C061

5C182

【Ｆターム（参考）】

2H199BA19

2H199BA62

2H199BB05

2H199CA85

2H199CA96

2H199CA97

5C061AA07

5C061AB14

5C061AB16

5C061AB18

5C182AA05

5C182AB33

5C182AC46

5C182BA56

5C182CC27

(57)【要約】

【課題】本発明は仮想現実画像を生成する方法を提供し、ライトフィールド表示モジュールと目追跡モジュールを有するライトフィールドニアアイディスプレイに用いられる。
【解決手段】この方法は、ライトフィールド表示モジュールがシミュレーション画像に基づいて、明暗分布が前記シミュレーション画像と逆の補正マスクを算出し、かつ前記補正マスクを目標画像に重ね合わせて重ね合わせ目標画像を生成するステップと、目追跡モジュールが複数の目の動きパラメータの変化ベクトルに基づいて、重ね合わせ目標画像が変換されてなる表示画像を変位させるステップとを含む。これにより、仮想現実画像を生成するライトフィールドニアアイディスプレイ及びその方法は、画像の均一度を高め、アイボックスサイズを拡大する目的を達成できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

仮想現実画像を生成する方法であって、
ライトフィールドニアアイディスプレイに用いられる
シミュレーション画像に基づいて、明暗分布が前記シミュレーション画像と逆の補正マスクを算出し、かつ前記補正マスクを目標画像に重ね合わせて重ね合わせ目標画像を生成するステップと、
複数の目の動きパラメータの変化ベクトルに基づいて、前記重ね合わせ目標画像が変換されてなる表示画像を変位させるステップとを含むことを特徴とする、仮想現実画像を生成する方法。

【請求項2】

前記複数の目の動きパラメータが眼球位置と予定位置との距離、瞳孔位置と前記予定位置との距離、または瞳孔の大きさを含むことを特徴とする、請求項１に記載の仮想現実画像を生成する方法。

【請求項3】

前記シミュレーション画像に基づいて前記補正マスクを算出するステップは、
白色画像を用いたライトフィールドニアアイ表示シミュレーションにより、前記シミュレーション画像を生成するステップと、
前記白色画像の各画素と前記シミュレーション画像の対応する画素の輝度値の差に基づいて、前記補正マスクを生成するステップを含むことを特徴とする、請求項１に記載の仮想現実画像を生成する方法。

【請求項4】

前記白色画像がグレースケール画面、市松模様画面または縞模様画面であることを特徴とする、請求項３に記載の仮想現実画像を生成する方法。

【請求項5】

前記補正マスクを前記目標画像に重ね合わせるステップは、
前記目標画像の各画素の輝度値と前記補正マスクの対応する画素の値を相乗するステップを含むことを特徴とする、請求項１に記載の仮想現実画像を生成する方法。

【請求項6】

前記複数の目の動きパラメータの変化ベクトルに基づいて、前記表示画像を変位させるステップは、
前記表示画像が複数のサブ表示画像を含み、眼球位置に基づいて前記複数のサブ表示画像の空間移動範囲を構築するステップと、
瞳孔位置の変化ベクトルを追跡して、前記複数のサブ表示画像それぞれの前記空間移動範囲内において前記複数のサブ表示画像の位置を変位させるステップとを含むことを特徴とする、請求項２に記載の仮想現実画像を生成する方法。

【請求項7】

前記空間移動範囲内において前記複数のサブ表示画像それぞれの位置を変位させるには、前記複数のサブ表示画像それぞれの前記空間移動範囲の中央と境界に対応する空間座標の間に、補間法によって前記複数のサブ表示画像それぞれの変位ベクトルを算出することを特徴とする、請求項６に記載の仮想現実画像を生成する方法。

【請求項8】

前記眼球位置が前記予定位置からずれた時に、前記複数のサブ表示画像それぞれの変位方向が前記眼球位置のずれた方向と逆になることを特徴とする、請求項６に記載の仮想現実画像を生成する方法。

【請求項9】

前記眼球位置と前記予定位置との距離が０ｍｍから６ｍｍの間にあることを特徴とする、請求項２に記載の仮想現実画像を生成する方法。

【請求項10】

ライトフィールドニアアイディスプレイであって、
前記ライトフィールドニアアイディスプレイはライトフィールド表示モジュール及び目追跡モジュールを含み、
前記ライトフィールド表示モジュールが、シミュレーション画像に基づいて、明暗分布が前記シミュレーション画像と逆の補正マスクを算出し、かつ目標画像に前記補正マスクを重ね合わせて重ね合わせ目標画像を生成し、
前記目追跡モジュールが複数の目の動きパラメータを提供し、
前記ライトフィールド表示モジュールが、前記複数の目の動きパラメータの変化ベクトルに基づいて、前記重ね合わせ目標画像が変換されてなる表示画像を変位させる、ことを特徴とする、ライトフィールドニアアイディスプレイ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はライトフィールドニアアイ表示技術に関し、特に仮想現実画像を生成するライトフィールドニアアイディスプレイ及びその方法に関する。

【背景技術】

【0002】

現在、ライトフィールドニアアイディスプレイ（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｎｅａｒ－Ｅｙｅ Ｄｉｓｐｌａｙ，ＬＦＮＥＤ）は適合的眼球離反運動の不一致（Ｖｅｒｇｅｎｃｅ Ａｃｃｏｍｍｏｄａｔｉｏｎ Ｃｏｎｆｌｉｃｔ）を解決できる表示技術の一つとされ、複数のサブレンズを有するマイクロレンズアレイを用いたライトフィールドニアアイディスプレイでは、複数のサブレンズによって生成された複数のサブ画像画面を組み合わせて、空間上に立体的な仮想画像画面を形成することができるが、サブ画像画面が重なり合うと、仮想画像の輝度がサブ画像画面の重なりに影響されて輝度分布が不均等になることがある。また、アイボックスサイズ（Ｅｙｅ Ｂｏｘ Ｓｉｚｅ）とは、一定の空間範囲内において眼球が移動して完全な画像画面を見ることができる範囲であり、この範囲がサブレンズの光束の集合または交差する領域に制限され、眼球がアイボックスサイズからずれた時に、眼球が光束の集合または交差する領域からずれるため、崩れた画像が見える。従って、画像の輝度の均一性を高め、及びアイボックスサイズを拡大するライトフィールドニアアイ表示技術が必要である。

【0003】

この「背景技術」部分は本発明内容に対する理解を促すためのものであり、「背景技術」に開示された内容には当業者が既知の従来技術以外の一部構成が含まれている可能性がある。「背景技術」に開示された内容は、当該内容または本発明の一つ若しくは複数の実施例が解決しようとする課題が本発明の出願前に既に当業者に把握または認識されていたことを意味するものではない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、画像の輝度の均一性を高め、及びアイボックスサイズを拡大することができる、仮想現実画像を生成するライトフィールドニアアイディスプレイ及びその方法を提供する。

【課題を解決するための手段】

【0005】

本発明のその他の目的と利点について、本発明が開示する技術特徴からさらに理解を深めることができる。

【0006】

前記一つ、一部若しくはすべての目的、またはその他の目的を実現するために、本発明の仮想現実画像を生成するライトフィールドニアアイディスプレイは、ライトフィールド表示モジュール及び目追跡モジュールを含む。前記ライトフィールド表示モジュールはシミュレーション画像に基づいて、明暗分布がシミュレーション画像と逆の補正マスクを算出し、かつ補正マスクを目標画像に重ね合わせて重ね合わせ目標画像を生成する。前記目追跡モジュールは複数の目の動きパラメータを提供し、前記ライトフィールド表示モジュールが前記複数の目の動きパラメータの変化ベクトルに基づいて、重ね合わせ目標画像が変換されてなる表示画像を変位させる。

【0007】

前記一つ、一部若しくはすべての目的、またはその他の目的を実現するために、本発明の仮想現実画像を生成する方法はライトフィールドニアアイディスプレイに用いられるものであり、前記方法は、シミュレーション画像に基づいて、明暗分布がシミュレーション画像と逆の補正マスクを算出し、かつ補正マスクを目標画像に重ね合わせて重ね合わせ目標画像を生成するステップと、複数の目の動きパラメータの変化ベクトルに基づいて、前記重ね合わせ目標画像が変換されてなる表示画像を変位させるステップとを含む。

【0008】

本発明は補正マスクを用いて目標画像に重ね合わせることにより、目標画像の不均一な輝度を補正し、かつ、目の動きパラメータに基づいて、目標画像に対応する表示画像を動態的に変位させるため、画像の輝度の均一性を高め、及びアイボックスサイズを拡大する目的を達成できる。

【0009】

本発明の前記特徴と利点をより明確、分かりやすく示すために、以下は実施例を挙げて、かつ図面を参照しながら詳しく説明する。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例のライトフィールドニアアイディスプレイの概略図。

【図2】本発明の実施例の仮想現実画像を生成する方法のフローチャート。

【図3】本発明の実施例のシミュレーション画像に基づいて補正マスクを算出し、かつ補正マスクを目標画像に重ね合わせるフローチャート。

【図4】本発明の実施例の複数の目の動きパラメータの変化ベクトルに基づいて、変換後の目標画像に対応する表示画像を変位させるフローチャート。

【図5】本発明の実施例のアイボックスサイズを拡大する概略図。

【図6A】本発明の実施例のアイボックスサイズが作動する概略図。

【図6B】本発明の実施例のアイボックスサイズが作動するの別の概略図。

【発明を実施するための形態】

【0011】

本発明の前記及びその他の技術内容、特徴及び効果を明確に示すべく、以下は図面を参照しながら好ましい実施例を詳しく説明する。以下の実施例で言及される方向用語、例えば、上、下、左、右、前または後ろなどは図面を参照する方向である。従って、これらの方向用語は説明目的で用いられたものであり、本発明を制限するものではない。

【0012】

図１は本発明の実施例のライトフィールドニアアイディスプレイの概略図であり、図１を参照すると、本発明の実施例が提供するライトフィールドニアアイディスプレイ１が示されており、ライトフィールドニアアイディスプレイ１がライトフィールド表示モジュール２及び目追跡モジュール３を含み、かつ、目追跡モジュール３がライトフィールド表示モジュール２に接続されている。ライトフィールド表示モジュール２は複数のサブレンズ２１及び表示パネル２２を有し、複数のサブレンズ２１が例えばマイクロレンズアレイであり、表示パネル２２が表示画像を表示し、表示画像が複数のサブ表示画像を含み、眼球４が複数のサブレンズ２１によって、複数のサブ表示画像が重なり合って構成する仮想現実画像を見ることができる。目追跡モジュール３は複数の目の動きパラメータを追跡し、前記目の動きパラメータが眼球位置と予定位置との距離、瞳孔位置と予定位置との距離、または瞳孔４１の大きさを含み、予定位置が例えば表示パネル２２の中央に位置する。なお、図１が示す目追跡モジュール３のライトフィールドニアアイディスプレイ１中における位置と数は例示に過ぎず、当業者が実際のニーズに応じてライトフィールドニアアイディスプレイ１中に目追跡モジュールを設置する位置及びその数を選択することが可能であり、本発明はこれに限定されない。特に説明すべきなのは、ライトフィールド表示モジュール２は目標画像を表示パネル２２が表示しようとする複数のサブ表示画像に変換することができ（即ち、表示画像が変換後の目標画像である）、これにより、眼球が受け取った仮想現実画像のパターンが目標画像のパターンに類似する。

【0013】

図２は本発明の実施例の仮想現実画像を生成する方法のフローチャートであり、図１及び図２を同時に参照すると、画像の輝度の均一性を高め、及びアイボックスサイズを拡大するために、本発明の実施例のライトフィールドニアアイディスプレイ１は仮想現実画像を生成する方法を実行し、そのライトフィールド表示モジュール２がシミュレーション画像に基づいて補正マスクを算出し、かつ補正マスクを目標画像に重ね合わせて重ね合わせ目標画像を生成し、シミュレーション画像と補正マスクの明暗分布が互いに逆であり、目追跡モジュール３が複数の目の動きパラメータの変化ベクトルを提供し、ライトフィールド表示モジュール２が複数の目の動きパラメータの変化ベクトルに基づいて、表示画像を変位させ、表示画像は重ね合わせ目標画像が変換されて得られたものである（即ち、表示画像は変換後の重ね合わせ目標画像である）。なお、本発明の実施例の仮想現実画像を生成する方法において、ライトフィールド表示モジュール２で演算を行うことを例としているが、本発明はこれに限定されない。別の実施において、目追跡モジュール３またはその他の処理デバイスが全てまたは一部のステップを実行しても、またはその他のライトフィールドニアアイディスプレイが実行してもよく、本発明はこれに限定されない。詳しく言うと、本実施例の仮想現実画像を生成する方法は以下のステップＳ１とステップＳ３を含み、ステップＳ１では、シミュレーション画像に基づいて補正マスクを算出し、かつ補正マスクを目標画像に重ね合わせて重ね合わせ目標画像を生成し、シミュレーション画像と補正マスクの明暗分布が互いに逆であり、ステップＳ３では、複数の目の動きパラメータの変化ベクトルに基づいて、重ね合わせ目標画像が変換されてなる表示画像を変位させる。また、注意すべきなのは、本発明の実施例の仮想現実画像を生成する方法中のステップＳ１とＳ３には優先順位がなく、互いに入れ替えてもよく（即ち、表示画像を変位させ、表示画像は目標画像が変換されて得られたものであり、及び、補正マスクを表示画像に重ね合わせる）、本発明はこれに限定されない。

【0014】

図３が示すように、ステップＳ１はサブステップＳ１１、Ｓ１３及びＳ１５を含み、サブステップＳ１１では、白色画像（ｗｈｉｔｅ ｆｉｅｌｄ ｉｍａｇｅ）を用いてライトフィールドニアアイ表示シミュレーションにより、シミュレーション画像を生成し、白色画像がグレースケール画面（例えば、単色画面またはマルチグレースケール画面）、市松模様画面または縞模様画面であり、サブステップＳ１３では、白色画像の各画素とシミュレーション画像が対応する画素の輝度値の差に基づいて補正マスクを生成し、サブステップＳ１５では、目標画像の各画素の輝度値と補正マスクが対応する画素の値を相乗する。これにより、輝度補正後の目標画像を生成し（即ち、重ね合わせ目標画像を生成し）、人の目に見える画像を比較的に高い輝度均一性を有するものにすることができる。

【0015】

例を挙げると、一般的なライトフィールド表示モジュールが輝度均一な（輝度値が全て同じである）白画面画像に基づいて画像を表示した場合、複数のサブレンズ２１を通して眼球４に見えるのは白画面画像の仮想サブ画像画面が重ね合って形成された仮想現実画像であり、その輝度分布が仮想サブ画像間の重なり合い間隔、比例及び形状によって明暗分布（輝度値が異なること）が生じ、格子状の画面が生成されるため、仮想現実画像に輝度不均一の問題があり、即ち、一般的なライトフィールド表示モジュールでは元の白画面画像と同じような輝度均一な仮想現実画像を表示することができない。一方、本実施例のライトフィールド表示モジュール２は、白色画像の各画素の輝度値とシミュレーション画像中の対応する画素の輝度値とを比較して各画素の輝度値の差を得ることにより、輝度値の差を有する補正マスクを生成する。最後に、ライトフィールド表示モジュール２が表示しようとする目標画像に補正マスクを重ね合わせ、目標画像中の各画素の輝度値に補正マスク中の対応する画素の輝度値の差を加えることで、ユーザに見える仮想現実画像を輝度が均一の白画面画像にすることができる。

【0016】

別の実施例において、目標画像中の各画素の輝度値に補正マスク中の対応する画素の輝度値の差を加えた後、さらに輝度の均一化を行って、輝度値の分布スケールを０から１の間、または－１から１の間とし、算出を簡潔化してもよい。

【0017】

さらに言うと、図４は本発明の実施例の複数の目の動きパラメータの変化ベクトルに基づいて、変換後の目標画像に対応する表示画像を変位させるフローチャートであり、図５は本発明の実施例のアイボックスサイズを拡大する概略図である。図１、図４及び図５を同時に参照すると、ステップＳ３はサブステップＳ３１とＳ３３を含み、サブステップＳ３１では、表示画像が複数のサブ表示画像を含み、眼球位置に基づいてこれらのサブ表示画像の空間移動範囲を構築し、サブステップＳ３３では、瞳孔位置の変化ベクトルを追跡して、各サブ表示画像の空間移動範囲内に各サブ表示画像の位置を変位させる。このようにして、変換後の目標画像に対応する表示画像を変位させることができる。

【0018】

明確に言うと、図５が示すように、ライトフィールド表示モジュール２は目追跡モジュール３が提供した眼球位置に基づいて各サブ表示画像（実線の円）の空間移動範囲（破線の円）を構築することで、ライトフィールド表示モジュール２が目追跡モジュール３の提供した、瞳孔４１が予定位置に対する移動距離及び移動方向に基づいて、空間移動範囲の中央と境界に対応する空間座標の間に、補間（内挿）法によって各サブ表示画像の変位ベクトル（例えば変位距離及び変位方向）を算出することができ、各サブ表示画像をその空間移動範囲内に移動させる（即ち、空間移動範囲の位置が例えば固定である）。なお、各サブ表示画像の予定位置が空間移動範囲の中央に位置し、かつ各サブ表示画像の変位方向と変位距離が略同じである。このように、本発明が提供する方法により、アイボックスサイズを拡大し、アイボックスサイズを左右へそれぞれ６ｍｍ超える程度拡大させることができ、例えば、眼球位置と予定位置の距離が０ｍｍから６ｍｍの間であり、何れも仮想現実画像の全体をみることができる。

【0019】

また、図６Ａ及び図６Ｂは本発明のアイボックスサイズが作動する異なる実施例の概略図である。図６Ａ及び６Ｂが示すように、眼球位置が予定位置からずれた時、各サブ表示画像の変位方向と変位距離が眼球位置のずれた方向と逆になる。一例において、眼球位置がずれていない時（図６Ａが示すように）、各サブ表示画像Ａ、Ｂ、Ｃがサブレンズ２１によって仮想サブ画像画面ａ、ｂ、ｃになり、これらの仮想サブ画像画面ａ、ｂ、ｃが互いに部分的に交差した重なり合い画像である。眼球位置が右へずれた時（図６Ｂが示すように）、目追跡モジュール３がサブ表示画像Ａ、Ｂ、Ｃを修正して左へシフトさせ、サブ表示画像Ａ、Ｂ、Ｃのシフトした位置がずれた後のアイボックスサイズによって投射される光線のカバーエリアであって、シフトしたサブ表示画像Ａ’、Ｂ’、Ｃ’が形成され、かつサブレンズ２１によって仮想サブ画像画面ａ’、ｂ’、ｃ’が表示されて、アイボックスサイズを拡大する目的を達成できる。なお、目追跡モジュール３は眼球位置の任意の方向におけるずれ及び回転を追跡することができ、本発明は上記例示に限定されない。

【0020】

以上を纏めると、本発明の仮想現実画像を生成するライトフィールドニアアイディスプレイ及びその方法は、輝度を補正する補正マスクを用いて目標画像に重ね合わせることで目標画像の不均一な輝度を補正し、かつ、目の動きパラメータに基づいて目標画像に対応する表示画像を動的に変位させるため、画像輝度の均一性を高め、及びアイボックスサイズを拡大する目的を達成できる。

【0021】

以上に述べたのは本発明の好ましい実施例に過ぎず、これを以って本発明の実施範囲を限定すべきではない。本発明の請求の範囲及び明細書の内容に基づいて行われた簡単かつ等価な変更と修正はすべて本発明の範囲に属するとする。また、本発明の任意の実施例または請求項が必ずしも本発明が開示したすべての目的、利点または特徴を達成する必要は限らない。また、要約書と発明の名称は特許検索を補助するものであり、本発明の請求の範囲を制限するものではない。

【符号の説明】

【0022】

１ ライトフィールドニアアイディスプレイ
２ ライトフィールド表示モジュール
３ 目追跡モジュール
４ 眼球
２１ サブレンズ
２２ 表示パネル
４１ 瞳孔
Ａ、Ａ’、Ｂ、Ｂ’、Ｃ、Ｃ’ サブ表示画像
ａ、ａ’、ｂ、ｂ’、ｃ、ｃ’ 仮想サブ画像画面
Ｓ１、Ｓ３ ステップ
Ｓ１１、Ｓ１３、Ｓ１５、Ｓ３１、Ｓ３３ サブステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】