特許 6623718 コンテンツ適応型多焦点ディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6623718

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】コンテンツ適応型多焦点ディスプレイ

(51)【国際特許分類】

   H04N 13/395 20180101AFI20191216BHJP

   G06T 15/10 20110101ALI20191216BHJP

   G09G 5/36 20060101ALI20191216BHJP

   G09G 5/00 20060101ALI20191216BHJP

   G02B 27/22 20060101ALI20191216BHJP

   H04N 13/344 20180101ALI20191216BHJP

【ＦＩ】

   H04N13/395

   G06T15/10

   G09G5/36 510V

   G09G5/00 550A

   G02B27/22

   H04N13/344

【請求項の数】15

【全頁数】17

(21)【出願番号】特願2015-228869(P2015-228869)

(22)【出願日】2015年11月24日

(65)【公開番号】特開2016-123078(P2016-123078A)

(43)【公開日】2016年7月7日

【審査請求日】2018年10月9日

(31)【優先権主張番号】62/084264

(32)【優先日】2014年11月25日

(33)【優先権主張国】US

(31)【優先権主張番号】14/642095

(32)【優先日】2015年3月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ワヌミヌ ウ

(72)【発明者】

【氏名】パトリック ラル

(72)【発明者】

【氏名】イヴァナ トシッチ

(72)【発明者】

【氏名】キャサリン バークナー

(72)【発明者】

【氏名】ノア ベダード

【審査官】 庄司 琴美

(56)【参考文献】

【文献】 特表２００７−５２２５２６（ＪＰ，Ａ）

【文献】 特開２００２−１９６２８０（ＪＰ，Ａ）

【文献】 特開２０１２−０７８９４２（ＪＰ，Ａ）

【文献】 Hu et al.，Design and Assessment of a Depth-Fused Multi-Focal-Plane Display Prototype，Journal of Display Technology，米国，IEEE，２０１４年 ４月，VOL.10/No.4，pp.308-316

【文献】 Liu et al.，A systematic method for designing depth-fused multi-focal plane three-dimensional displays，Optics Express，米国，Optical Society of America，２０１０年 ５月２４日，Vol.18/No.11，pp.11562-11573

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／３９５

Ｇ０２Ｂ ２７／２２

Ｇ０６Ｔ １５／１０

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｈ０４Ｎ １３／３４４

(57)【特許請求の範囲】

【請求項1】

多焦点ディスプレイのためのレンダリング可能な体積の位置を選択する、コンピュータにより実施される方法であって、前記レンダリング可能な体積は焦点面であり、前記方法は、
前記多焦点ディスプレイによりレンダリングされるべき三次元シーンの中のコンテンツを分析するステップと、
前記コンテンツの分析に基づき、前記レンダリング可能な体積の前記位置を選択するステップであって、前記三次元シーンの理想的なレンダリングにおける点の位置と前記焦点面のうちの最も近い焦点面の位置との間の差に基づくメトリックの最適化に基づき、前記焦点面の前記位置を選択する、ステップと、
を有する方法。

【請求項2】

コンテンツを分析するステップ及び前記焦点面の前記位置を選択するステップは、リアルタイムに生じる、請求項１に記載の方法。

【請求項3】

前記焦点面の前記位置を選択するステップは、前記三次元シーンの中の点の位置のＫ平均クラスタリングに基づき、前記位置を選択するステップを有する、請求項１に記載の方法。

【請求項4】

前記メトリックは、前記三次元シーンの理想的なレンダリングの中の点の位置と前記焦点面のうちの最も近い焦点面の位置との間の加重差に基づき、前記加重差の重みは、前記点の空間周波数の関数である、請求項１に記載の方法。

【請求項5】

前記多焦点ディスプレイは、６個以下の焦点面を用いてシーンをレンダリングする、請求項１に記載の方法。

【請求項6】

前記レンダリング可能な体積の前記位置を選択するステップは、前記三次元シーンの理想的なレンダリングと前記多焦点ディスプレイによるレンダリングとの間の歪みを測る歪みメトリックの最適化に基づき、前記レンダリング可能な体積の前記位置を選択するステップを有する、請求項１に記載の方法。

【請求項7】

前記歪みメトリックは、前記レンダリング可能な体積の前記選択された位置を用いた前記多焦点ディスプレイによるレンダリングと、前記三次元シーンの理想的なレンダリングとの間の誤差メトリックであり、前記歪みメトリックを最適化するステップは、前記誤差メトリックを最小化するステップを有する、請求項６に記載の方法。

【請求項8】

前記歪みメトリックは、前記三次元シーンの理想的なレンダリングと比べた、前記レンダリング可能な体積の前記選択された位置を用いた前記多焦点ディスプレイによるレンダリングの品質に基づく品質メトリックであり、前記歪みメトリックを最適化するステップは、前記品質メトリックを最大化するステップを有する、請求項６に記載の方法。

【請求項9】

コンテンツを分析するステップは、空間領域において前記三次元シーンのコンテンツを分析するステップを有し、前記レンダリング可能な体積の前記位置を選択するステップは、前記空間領域における前記分析に基づき、前記レンダリング可能な体積の前記位置を選択するステップを有する、請求項１に記載の方法。

【請求項10】

コンテンツを分析するステップは、空間周波数領域において前記三次元シーンのコンテンツを分析するステップを有し、前記レンダリング可能な体積の前記位置を選択するステップは、前記空間周波数領域における前記分析に基づき、前記レンダリング可能な体積の前記位置を選択するステップを有する、請求項１に記載の方法。

【請求項11】

前記レンダリング可能な体積の前記位置を選択するステップは、前記多焦点ディスプレイのレンダリング要件に更に基づく、請求項１に記載の方法。

【請求項12】

前記コンテンツの分析に基づきレンダリング可能な体積の数Ｍを選択するステップ、を更に有する請求項１に記載の方法。

【請求項13】

前記多焦点ディスプレイは、ニアアイ（near−eye）多焦点ディスプレイである、請求項１に記載の方法。

【請求項14】

異なる位置にある複数のレンダリング可能な体積を用いることにより三次元シーンをレンダリングする多焦点ディスプレイであって、前記レンダリング可能な体積は焦点面であり、前記多焦点ディスプレイは、焦点面配置モジュールを有し、
前記焦点面配置モジュールは、
レンダリングされるべき三次元シーンの中のコンテンツを分析し、
前記コンテンツの分析に基づき、前記レンダリング可能な体積の前記位置を選択する、
よう構成され、
前記焦点面配置モジュールは、前記三次元シーンの理想的なレンダリングにおける点の位置と前記焦点面のうちの最も近い焦点面の位置との間の差に基づくメトリックの最適化に基づき、前記焦点面の前記位置を選択するよう更に構成される、多焦点ディスプレイ。

【請求項15】

コンピュータに請求項１乃至１３のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の参照］
本願は、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）に基づき、米国仮特許出願番号第６２/０８４,２６４号、「Content−Adaptive Multi−Focal Display」、２０１４年１１月２５日出願、の優先権を主張する。該仮出願の全ての内容は、参照することによりその全体がここに組み込まれる。

【0002】

本開示は、概して、多焦点ディスプレイに関する。

【背景技術】

【0003】

多焦点ディスプレイ（Multi−focal display：ＭＦＤ）は、通常、一連の２次元画像の高速時間及び焦点変調を用いて、特定の３次元（３Ｄ）体積を占める３Ｄシーンをレンダリングする。この一連の画像は、通常、観察者からの異なる分離した距離に位置する平行面に焦点を合わせられる。焦点面の数は、観察者の目の調節及び表示されたシーンの３Ｄ知覚品質に直接影響を与える。所与の３Ｄシーンが深さにおいて連続している場合、面が少なすぎるとＭＦＤレンダリングは面間の不連続により区分的に見え、或いはコントラスト損失を生じる。面が多いほど、通常、知覚品質の点で良好であるが、実装するのにより多くのコストがかかり、帯域幅及び焦点変調速度を含む実際のディスプレイ制限のために達成できない場合が多い。

【0004】

したがって、ＭＦＤについて考慮すべき重要なことは、焦点面の数及び焦点面の位置（つまり、観察者からの距離）を含む焦点面構成である。多焦点ディスプレイは、通常、焦点面の数及び位置が固定されている焦点面構成を用いる。多くの場合、焦点面は、均一に間隔を開けられる。この画一的なアプローチは、表示されるべきシーンの相違を考慮せず、空間解像度及び知覚精度の損失を生じ得る。

【0005】

したがって、焦点面構成を決定するより良いアプローチが必要である。

【発明の概要】

【課題を解決するための手段】

【0006】

本開示は、多焦点ディスプレイによりレンダリングされるべきシーンの分析に基づき、多焦点ディスプレイの焦点面の位置を選択することにより、従来技術の制限を克服する。一例では、三次元シーンの理想的なレンダリングと多焦点ディスプレイの中の限られた数の焦点面によるレンダリングとの間の歪みを測る歪みメトリックが定められる。焦点面の位置は、歪みメトリックを最適化することにより選択される。１つの歪みメトリックは、理想的なレンダリングの中の点の位置と、多焦点ディスプレイの最も近い焦点面の位置との間の差に基づく。別の歪みメトリックは、理想的なレンダリングの多焦点ディスプレイによるレンダリングに対するピンぼけブラーにおける差に基づく。

【0007】

本発明の他の態様は、コンポーネント、装置、システム、改良、方法、処理、アプリケーション、コンピュータ可読媒体、及び上記に関連する他の技術を含む。

【図面の簡単な説明】

【0008】

本開示の実施形態は、添付の図面と関連して以下の詳細な説明及び添付の特許請求の範囲から直ちに明らかになる他の利点及び特徴を有する。

【図1】本発明による多焦点ディスプレイの図である。

【図2】均一焦点面間隔、Ｋ平均焦点面間隔、及び加重Ｋ平均焦点面間隔の焦点面位置にオーバレイされた、３Ｄシーンからのｚ位置のヒストグラムである。

【図3】異なる種類の焦点面間隔の効果を示す画像である。

【図4】深さ融合ピンぼけ伝達関数のグラフである。

【図5A】入力空間周波数に対するメトリックβを最大化する調整状態のグラフである。

【図5B】空間周波数に対する（β_ｍａｘ−β_ｍｉｎ）／β_ｍａｘのグラフである。

【図6】深さ融合を用いる面間でレンダリングされた異なる空間周波数による刺激のシミュレートした目の応答を示す。

【図7】異なる種類の多焦点ディスプレイを示す図である。 図は種々の実施形態を説明のみを目的として図示する。当業者は、本願明細書に示された構造及び方法の代替の実施形態が本願明細書に記載された原理から逸脱することなく用いられてもよいことを以下の議論から直ちに認識するだろう。

【発明を実施するための形態】

【0009】

図及び以下の説明は、説明のみのために好適な実施形態を参照する。以下の議論から、本願明細書に開示された構造及び方法の代替の実施形態は特許請求の範囲で請求された原理から逸脱することなく用いられてもよい変形の代替として直ちに認識されることに留意すべきである。

【0010】

＜序論＞
図１は、本発明による多焦点ディスプレイ１００の図である。ＭＦＤ１００は、ディスプレイ１１０、調整可能光学要素１２０、シーンレンダリング及び焦点面制御のためのモジュール１３０−１６０を有する。光学要素１２０の例は、変形可能レンズ、調整可能な屈折率を有するレンズ、及び変形可能ミラーを含む。モジュール１３０−１６０は、ハードウェア、ソフトウェア又は両者の組み合わせで実施され得る。光学要素１２０は調整可能である。異なる調整で、ディスプレイ１１０は、異なる位置（焦点面）に現れる。これは、図１の破線により表現される。このように、３Ｄシーンは、異なる焦点面においてレンダリングされる一連の２Ｄ画像により近似できる。

【0011】

任意的な前処理モジュール１３０は、レンダリングされるべき３Ｄシーンを表すデータを受信し、該データをレンダリング要件に適応する。例えば、前処理モジュール１３０は、拡大、トリミング、及び鮮鋭化のような機能を実行しても良い。焦点面配置モジュール１４０は、３Ｄシーンのコンテンツを分析し、コンテンツ分析に基づき焦点面の位置を選択する。選択は、レンダリング要件にも基づいても良い。シーン分離モジュール１５０は、３Ｄシーンを、レンダリングされるべき成分２Ｄ画像に分離する。これは、通常、後述するように深さ融合を含む。各２Ｄ画像のコンテンツは、焦点面位置に依存する。レンダリングエンジン１６０は、次に、異なる焦点面を達成するために、光学要素１２０の調整と連携して、２Ｄ画像をディスプレイ上でレンダリングする。追加の後処理も実行され得る。例えば、スムージング制約（時間的及び／又は空間的）が適用されても良く、或いは、知覚品質を更に向上するために閉鎖エッジが処理されても良い。

【0012】

図１では、ＭＦＤは、例えば深さ融合に帰属するコントラスト損失を最小化するために及び／又はレンダリングされる３Ｄシーンの知覚品質を最大化するために、シーンのコンテンツ及び／又はレンダリング要件に基づき、焦点面設定を動的に調整する。焦点面は、均一に間隔を開けられる必要はない。或いは、焦点面は、静的に位置付けられる必要もない。位置は、シーンコンテンツ及び／又はレンダリング要件に依存して動的に調整できる。例えば、多焦点ディスプレイで用いられる最新のＤＭＤ（digital micromirror device）チップは、約６個の焦点面を面あたり６０Ｈｚで多重化することにより、フリッカの無いディスプレイを達成できる。この例では、観察者は、表示された３Ｄシーンを見ることができ、これらの６個の面におけるシーンコンテンツに正しく調整できる。この焦点面の数は、通常、単一ユーザのニアアイ（near−the−eye）多焦点ディスプレイの場合に十分である。この速度は、リアルタイムにビデオをレンダリングするのに十分である。ＧＰＵは、計算を高速化するために用いられても良い。焦点面構成は、ビデオのフレーム毎に、又はより小さい頻度で、例えば特定数のフレーム毎に又はシーン毎に、調整されても良い。

【0013】

＜深さ融合（Depth blending）＞
ＭＦＤ技術は、深さ融合として知られる概念により、異なる焦点面にある一連の２Ｄ画像により３Ｄシーンを提示できる。２つの隣接する焦点面を同時に照射することにより、焦点キューは、面と面の間の任意の軸方向距離においてレンダリングされても良い。２つの焦点面は視線に沿って存在するので、隣接する焦点面の各々により提供される輝度は、キューが最も高くなる場所（目が最高視覚品質を感じる場所、又は目により観察される変調伝達関数（modulation transfer function：ＭＴＦ）が最高になる場所）を決定する。

【0014】

深さ融合に用いられる輝度重み付けの単純な形式は、隣接する焦点面について各ピクセルにより観察される輝度値の線形補間である。これを例として用いるが、他の種類の深さ融合も使用できる。ｗ_ｎ及びｗ_ｆは、近位及び遠位焦点面に与えられる輝度重みを表すとする。これらの値は、目により知覚される正しい輝度を保つために加算されると１になり、次式のように計算される。

【数1】

【0015】

ここで、ｚ_ｎ及びｚ_ｆは、近位及び遠位焦点面の位置であり、ｚは、３Ｄシーンの中のオブジェクトの実際の位置であり、ｚ_ｎ及びｚ_ｆの間である。この一次式では、ｚ＝ｚ_ｎ（近位焦点面にあるオブジェクト点）の場合、ｗ_ｆ＝０及びｗ_ｎ＝１である。これは、全ての輝度が近位焦点面に割り当てられることを意味する。反対に、ｚ＝ｚ_ｆ（遠位焦点面にあるオブジェクト）の場合、ｗ_ｆ＝１及びｗ_ｎ＝０であり、全ての輝度が遠位焦点面に割り当てられる。ｚ＝（ｚ_ｎ＋ｚ_ｆ）／２のような中間位置では、ｗ_ｆ＝１／２及びｗ_ｎ＝１／２であり、輝度は遠位焦点面と近位焦点面との間で分割される。このように、仮想オブジェクトは、焦点面ｚ_ｎ及びｚ_ｆにおいてレンダリングされる２つの画像の間で輝度を分割することにより、ｚ_ｎとｚ_ｆの間の任意の位置ｚにおいてレンダリングできる。

【0016】

＜問題の明確化＞
私達は、所与の目的関数に基づき、焦点面の配置の問題を明確化し、次に、異なる目的関数の２つの例を示す。目的関数は、通常、３Ｄシーンの理想的なレンダリングとＭＦＤによるレンダリングとの間の歪みを測定する一種の歪み測定基準（メトリック）である。

【0017】

（ｘ，ｙ，ｚ）は、２つの横軸次元、及びＭＦＤによりレンダリングされる３Ｄシーンの軸次元を表すとする。実際には、通常、以下の量が与えられる。

【0018】

投影されるべきＮボクセル３Ｄシーン、Ｓ＝｛（ｐ_ｎ，ｌ_ｎ），ｎ＝１，．．．，Ｎ｝、ここで、ｐ_ｎ＝（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）は、３Ｄ点の３Ｄ座標のベクトルを表し、ｌ_ｎは、該３Ｄ点の強度又は色値を表す。これらの点は、例えば、３Ｄカメラにより得られ、又はコンピュータグラフィックエンジンにより生成され得る。

【0019】

利用可能な深さ面の数、Ｍ
これらの量が与えられると、以下の未知の変数を推定したい。

【0020】

焦点面の位置、ｑ＝（ｑ_１，ｑ_２，．．．，ｑ_Ｍ）。値ｑ_ｍは、実際には、焦点面のｚ座標であること、及び焦点面は前額平行面であることに留意する。焦点面の位置を他のｚ値から明確に分けるために、ｚの代わりにｑを用いる。

【0021】

焦点面の最適位置を推定するために、以下の最適化問題を定式化する。

【数2】

【0022】

目的関数Ｄ（Ｓ，ｑ）は、ｑ＝（ｑ_１，ｑ_２，．．．，ｑ_Ｍ）に位置するＭ個の焦点面に、３ＤシーンＳを提示するための歪み誤りメトリックを表す。これは、通常、完璧なレンダリングと比べて誤りを最小化する任意のメトリックであり得る。

【0023】

代替で、Ｑ（Ｓ，ｑ）をレンダリングする３Ｄシーンの品質を最大化する焦点面配置のための解を見付けるように、最適化問題を提起できる。

【数3】

【0024】

以下では、自動焦点面配置の２つの特別な例を示す。第１の例では、誤りメトリックＤ（Ｓ，ｑ）を用い、それを最小化して、ｑを得る。第２の例では、焦点面配置のために用いることができる品質メトリックＱ（Ｓ，ｑ）を用いる。他の誤り又は品質メトリックを含む他の歪みメトリック関数も同様に使用できる。

【0025】

＜ソリューション例１：３Ｄ点クラスタリングに基づく焦点面配置＞
目的関数の第１の例は、焦点面配置の問題をクラスタリング問題として考えることにより導出できる。シーンの中の全ての３Ｄデータ点のｚ座標が与えられる。つまり、ｚ_１，ｚ_２，．．．，ｚ_Ｎが与えられ、Ｍ個の焦点面の最適な配置を見付けるためにＫ平均アルゴリズムを用いることができる。この場合、最適化問題は次のようになる。

【数4】

【0026】

Ｋ平均アルゴリズムを用いてこの問題を解くと、３Ｄデータを提示するために用いられる焦点面がデータの実際の位置に近くなるように、焦点面の配置が与えられる。したがって、多くの場合に、この最適化問題は、均一な焦点面間隔の従来の方針と異なる解を与える。上述の最適化では、距離の増大に伴う深さ知覚の感度の減少を考慮に入れるために、メートル単位の距離ｚの代わりに、ダイオプタ（diopter、メートルの逆数）単位の距離、又は光パワーの他の単位を用いることができる。

【0027】

コンテンツの空間周波数も、深さ融合が用いられるとき、調整応答に影響を与える。低周波数刺激（例えば、４サイクル毎度、又はｃｐｄ（cycle per degree））では、線形深さ融合は、面間の調整を比較的正確に導出できる。しかし、高周波数刺激（例えば、２１ｃｐｄ）及び広帯域刺激（例えば、０−３０ｃｐｄ）では、調整は、刺激重みｗ_ｆ、ｗ_ｎが分散していることに関係なく、殆ど常に焦点面に又はその近くにある。したがって、加重Ｋ平均アルゴリズムは、この空間周波数依存性を考慮に入れるために使用できる。例えば、点の近くの空間周波数又は空間勾配値が閾より高い場合、大きな重みが割り当てられ、その他の場合には、小さな重みが割り当てられる。各データ点に関連する重みを

【数5】

として表すと、式（７）は次式のようになる。

【数6】

【0028】

図２は、上述のＫ平均及び加重Ｋ平均焦点面割り当てアルゴリズムを用いた実験結果を示す。図２は、図３（Ａ）に示す３Ｄチェスシーンからの実際のｚ位置のヒストグラムを示す。図３（Ｂ）は、同じｚ位置をグレイスケール画像として示す。この特定の例では、３Ｄシーンは、範囲（＋１．０，＋１．６）Ｄに幾つかのしかし少数の点を有し、範囲（＋１．６，＋２．０）Ｄにより密集した点の分布を有する。後者の範囲の密度は、シーンが、それぞれ異なる深さに位置する限られた数の別個のチェスピースしか含ないためである。

【0029】

以下の表１は、均一な焦点面間隔を用いた、Ｋ平均焦点面間隔を用いた、及び加重Ｋ平均焦点面間隔を用いた、焦点面位置を示す。

【0030】

［表１］焦点面位置（単位：ダイオプタ）

【表1】

【0031】

これらの焦点面位置は、図２の上の矢印によっても示される。均一構成は、文献に従って選択された。様々な異なるシーンに適応するために、０Ｄから＋３．００Ｄまでの均一間隔である。しかしながら、このシーンは、＋１．００Ｄから＋２．００Ｄまでにのみ及ぶので、焦点面のうちの多くは無駄である。見て分かるように、コンテンツ適応型アルゴリズムは、焦点面をコンテンツ深さ分布に適応させ、データが存在する場所に焦点面を集中させるようにする。これに対して、均一焦点面間隔は、コンテンツに関係なく、より多くのコントラスト損失を生じ得る。

【0032】

図３（Ａ）〜（Ｄ）は、異なる種類の焦点面間隔の効果を示す画像である。均一焦点面間隔と適応型焦点面間隔を比較するために、これらの画像を用いる。図３（Ａ）は入力３Ｄシーンを示す。図３（Ｂ）は３Ｄシーンの深さマップをダイオプタ単位で示す。ビショップ（図３（Ａ）で矢印により示す）は、約１．６３Ｄにあるシミュレートされた調整目標である。図３（Ｃ）は、３Ｄシーンが６面ＭＦＤによりレンダリングされるとき、シミュレートされた網膜像を示す。ここで、焦点面は、上述の表１に示したように均一に間隔を開けられる。図３（Ｄ）はレンダリングを示す。ここで、焦点面位置は、Ｋ平均クラスタリングを用いて決定される。図３（Ｄ）のレンダリングされた画像は、図３（Ｃ）の画像より鮮鋭にピントが合って見える。これは、ビショップが、均一間隔により配置された焦点面よりも、Ｋ平均アルゴリズムにより配置された焦点面により近いからである。

【0033】

Ｋ平均は、単に一例として用いられる。他のクラスタリング技術が適用可能である。例えば、ＧＭＭ（Gaussian Mixture Models）又はＳＶＭ（support vector machines）に基づくクラスタリングである。

【0034】

＜ソリューション例２：ピンぼけメトリックに基づく焦点面配置＞
連続する深さ値を有する所与の３Ｄシーンが有限数の焦点面により多焦点ディスプレイに表示されるとき、人間の目は、該３Ｄシーンを、理想的な連続する３Ｄレンダリングに比べて特定量のピンぼけを有すると知覚するだろう。ここで、ピンぼけのモデルを説明する。次に、これを焦点面配置のための私達の目的関数の中で用いる。つまり、私達の目的関数は、ピンぼけを最小化することにより３Ｄシーンレンダリングの品質を最大化するように、焦点面を配置する。

【0035】

光学的ピンぼけは、通常、連続的波形ドメインにおいて、フーリエ光学理論を通じてモデル化される。したがって、所与の３Ｄシーンが、連続３Ｄシーン関数ｆ（ｘ，ｙ，ｚ）からのサンプルのセットであるとする。ここで、３Ｄシーンの中の点が与えられると、Ｉ_ｎ＝ｆ（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）、ｎ＝１，２，．．．，Ｎである。先ず、ピンぼけに対する人間の目の感度のフーリエ微分を提供し、次に、導出された理論を用いて、所与の３Ｄシーンの品質メトリックを定める。

【0036】

ダッシュを付した座標（ｘ’，ｙ’）は網膜座標を示すとする。目が距離ｚ_ｅに適応するとき、２Ｄ網膜画像ｇ（ｘ’，ｙ’）は、距離ｚ_ｅ−ｚにおいて求められた３Ｄブラーカーネルｈ（ｘ，ｙ，ｚ）による３Ｄオブジェクトの畳み込み、その後の軸次元に沿った積分として表すことができる。

【数7】

【0037】

ピントの合った面から面への画像化（ｚ_ｅ−ｚ＝０）の場合に、畳み込みカーネルｈは、目のインパルス応答を減少する。この構成は、最大コントラストを生じる。ここで、コントラストは、空間周波数ドメインにおいて従来の方法で定められる。このピントの合った画像化からの微分は、コントラストの低減を生じる。失われたコントラストの重大性は、ピンぼけの量に依存する。

【0038】

ピンぼけの効果を定量化するために、目の光学系の瞳孔機能を参照する。焦点長Ｆと直径Ａの円形瞳孔とを有する回転対称光学系では、射出瞳孔を通るレンズ透過は、次のようにモデル化される。

【数8】

【0039】

ここで、瞳孔関数Ｐは次式により与えられる。

【数9】

私達のシステムでは、瞳孔直径Ａは、〜２−８ｍｍの間で照明条件に基づき変化し得る。目は、通常、回転対称ではないが、本例においては式を簡略化するために、回転対称であると近似する。

【0040】

収差が存在するので、瞳孔を通過する波面は、一般化された瞳孔関数Ｇ（ｘ，ｙ）＝Ｐ（ｘ，ｙ）ｅｘｐ（ｉΦ（ｘ，ｙ））により従来通り表せる。ここで、収差関数Φは、Seidel又はZernike収差理論に従う多項式である。ピンぼけ収差は、一般に、Φの係数ｗ_２０により測定される。ピンぼけ歪みは、代替で、瞳孔関数に歪み項θ_ｚを含め、軸次元において距離θ_ｚだけ焦点のずれたシステムの瞳孔関数を定めることにより、次のようにモデル化できる。

【数10】

【0041】

ここで、θ_ｚ＝１／ｚ＋１／ｚ_ｒ−１／Ｆ、ｚ_ｒは瞳孔と網膜との間の距離である。θ_ｚと従来のピンぼけ収差係数ｗ_２０との間の関係は、θ_ｚ＝２ｗ_２０／Ａ^２により与えられる。この式を用いて、私達は、ピンぼけ伝達関数を定式化できる。このピンぼけ伝達関数は、ピンぼけシステムの瞳孔関数の自動補正が次式に従うとき、ピンぼけシステムの光学伝達関数である。

【数11】

【0042】

ここで、ピンぼけ歪み距離θ_ｚを１／ｚ_ｅ−１／ｚで置換し、目の正規化ピンぼけ伝達関数（defocus transfer function：ＤＴＦ）を次式のように定める。

【数12】

【0043】

目の光学収差及び／又はＭＦＤシステムも、ＤＴＦにモデル化できる。

【0044】

網膜上に形成されるとき画像は、ピンぼけ伝達関数と、目からの距離ｚにおいて表示されるオブジェクトを表す関数ｆ（ｕ，ｖ，ｚ）のフーリエ変換との乗算により、次式のように表される。

【数13】

【0045】

ＭＦＤシステムでは、通常、人間の目により同時に表示されるとして知覚されるのに十分速くに、少数の焦点面しか表示できない。２つのオブジェクトが目から距離ｑ_１及びｑ_２だけ離れて位置する２つの焦点面で表示される場合には、目は、目の光学システムを通じて画像化されるとき、２つのオブジェクトを統合する。つまり、目は、ピンぼけ伝達関数により表される目の光学システムを通過した後に、２つのオブジェクトから放出される光を統合する。網膜面におけるこの像形成次式により導出する。

【数14】

【0046】

線形深さ融合が、係数ｗ_１及びｗ_２を用いて、入力シーンｆ（ｘ，ｙ，ｚ）に適用される場合、網膜上で知覚される画像のフーリエ変換は、次式により表される。

【数15】

【0047】

この観察を用いて、システム全体の深さ融合ピンぼけ伝達関数を次のように定める。

【数16】

【0048】

図４は、種々のレベルのピンぼけ｛−０．３，−０．２，．．．，＋０．３｝Ｄについてこの関数を示す。図４は、１．２及び１．８Ｄに位置する２つの焦点面によりレンダリングされるとき、１．５Ｄに位置する刺激を観察している３ｍｍ瞳孔の深さ融合ピンぼけ伝達関数を示す。曲線４００は理想的ＭＴＦである。曲線４１０は０ＤのピンぼけのＤＴＦである。曲線４１１は＋０．１Ｄ又は−０．１ＤのピンぼけのＤＲＦである。曲線４１２は＋／−０．２Ｄのピンぼけについてである。そして、曲線４１３は＋／−０．３Ｄのピンぼけについてである。異なるＤＴＦ曲線が交差する空間周波数（本例では１８ｃｐｄ）が存在することに留意する。この変わり目の周波数より低い空間周波数は、適正な焦点キューを生成する。この周波数より上では、ピンぼけ０Ｄについての深さ融合ピンぼけ伝達関数曲線は、＋／−０．３Ｄのピンぼけのものより低い。この周波数範囲の中の刺激では、目は、目標刺激位置ではなく、隣接焦点面のうちの１つに適応するよう焦点を合わせ、不適正な焦点キューを生じる。

【0049】

次式のように、多焦点ディスプレイの実効又は融合伝達関数を導出するために、全ての表示面ｑ_１，．．．，ｑ_Ｍを用いてこの融合関数を一般化することもできる。

【数17】

【0050】

理想的ＤＴＦ曲線に最も近い

【数18】

により、深さ融合は、焦点面への目の適応を引き出す。図４から、この適応面距離は、空間周波数に大いに依存することが分かる。したがって、コンテンツ認識メトリックを導出するために上述の理論を用い、焦点面配置及び深さ融合が実効解像度損失に与える影響を定量化する。

【0051】

目は、ＤＴＦの下の領域を最大化する距離に適応する。しかしながら、その距離は空間周波数に依存するので、目が、このピンぼけ指標（ＤＲＦの下の領域）に基づき特定の品質メトリックＱ_ＤＭ（Ｓ，ｑ）を最大化する距離に適応すると更に仮定する。この距離は各パッチと共に変化するので、パッチの全部を単一メトリックに組み入れる解決法を探す。

【0052】

１つのアプローチでは、表示される画像ｆ（ｘ，ｙ，ｚ）をＮ_ｐ個のパッチｆ_ｉ（ｘ，ｙ，ｚ_ｉ）、ｉ＝１，．．．，Ｎ_ｐ、に区分化する。ここで、ｚ_ｉは、ｉ番目のパッチの平均オブジェクト距離を表す量（スカラー）である。重なり合うパッチが用いられても良い。各パッチのフーリエ変換を計算し、それを深さ融合ＤＴＦで乗算して、ｑ＝｛ｑ_１，ｑ_２，．．．，ｑ_Ｍ｝に位置する焦点面の配置、及び距離ｚ０に位置する局所刺激に従って、刺激から目へ転送される情報を見付け、各パッチについてスカラー値β_ｉを計算しても良い。

【数19】

【0053】

ここで、［ｕ_０，ｕ_１］及び［ｖ_０，ｖ_１］は関心の周波数間隔を示す。コントラスト、エントロピー、又は他の変形メトリックのような、オブジェクトの情報コンテンツを表す他のメトリックも、β_ｉ（ｚ_ｉ，ｑ）を定めるために用いられ得る。

【0054】

全てのパッチからのメトリックをベクトルβに格納する場合、最大Ｍ個の焦点面について焦点面配置を変更できる。次の最適化問題を解いて、利用可能な焦点面を配置するために、屈折距離の最適なセットｑ^＊を見付けようとする。

【数20】

【0055】

上式は、現実的時間で解けない場合、緩和され又は調整され得る。

【0056】

結果として生じるｑ^＊のエントリは、Ｍ個の焦点面のセットをどこに配置するのが最適かを示す。例えば、１／ｚ_１＝０．６Ｄ、１／ｚ_２＝１．５Ｄ、１／ｚ_３＝２．０Ｄの屈折距離の当たりに群がる３個のオブジェクトを表すために２個の焦点面を最適化することは、１／ｑ_１＝１．１Ｄ、１／ｑ_２＝１．８Ｄの最適焦点面配置をもたらし得る。

【0057】

ｑの解は、利用可能な焦点面に基づく均一焦点面間隔の最初の推測から始まり得る。例えば、０乃至３ダイオプタの間の作業空間を探す６面システムは、｛０，０．６，１．２，１．８，２．４，３．０｝Ｄで開始し得る。最適化アルゴリズムが反復ｋを通じて繰り返すとき、ｑのエントリは、次式である限り変化し得る。

【数21】

ここで、εは停止すべきときをアルゴリズムに教える許容パラメータである。実現可能な解のセットを制約するために、最適化アルゴリズムに更なる仕様も組み込まれ得る。

【0058】

最後に、メトリックＱ_ＤＭ（Ｓ，ｑ）は、ピンぼけに関して、所与の３Ｄシーンのレンダリングの品質を定量化することに留意する。したがって、焦点面配置に加えて、このメトリックは、ＭＦＤにおける品質評価をレンダリングするためにも使用できる。

【0059】

図５−６は、上述のアプローチのシミュレーション結果を示す。この実験は、式（１９）のメトリックβの振る舞いを確認する。実験中、２個の焦点面は、距離１／ｑ_１＝１．２Ｄ、１／ｑ_２＝１．８Ｄに設定された。刺激、つまり、１ｃｐｄだけ空間周波数の増大する余弦波のセットは、観察者から仮想距離１／ｚ０＝１．５Ｄだけ離れて、又はちょうど２つの焦点面の間で、シミュレートされた。

【0060】

目の適応は、これらの２つの焦点面の間の０．１Ｄの増大で変化した。適応は、−０．３乃至＋０．３Ｄの間であり、＋０Ｄはｑ_１及びｑ_２にある焦点面の光屈折中点に対応する。図５Ａは、入力空間周波数に対するメトリックβを最大化する調整状態のグラフである。図５Ｂは、空間周波数に対する（β_ｍａｘ−β_ｍｉｎ）／β_ｍａｘのグラフであり、図４の深さ融合ピンぼけ伝達関数グラフに示したように、ｕ＝０及びｕ＝１８周期毎度（cycles per degree）で最小化する。他のメトリックも使用できる。これらのグラフは、メトリックが低い及び中間の空間周波数の２つの焦点面の屈折中点において最高になることを示す。局所刺激スペクトルが遷移周波数より高いとき、メトリックは、焦点面のうちの１つにおいて最大化するだろう。

【0061】

図６Ａ〜Ｃは、深さ融合を用いる面間でレンダリングされた異なる空間周波数による刺激のシミュレートした目の応答を示す。図６（Ａ）は、９ｃｐｄ画像の画像である７個の正方形を示す。図中の各正方形では、目は、表２に示す状態に適応する。

【0062】

［表２］目の適応

【表2】

【0063】

つまり、左上の正方形は、目が−０．３Ｄに適応する９ｃｐｄ画像の画像である。上中央の正方形では、目は−０．２Ｄに適応する、等である。下中央及び右下の正方形は、使用されない。したがって、それらは空白のままである。図６（Ｂ）及び（Ｃ）は、目の適応の同じ構成を示すが、それぞれ１８ｃｐｄ及び２５ｃｐｄ画像についてである。

【0064】

以上の記載は多くの詳細を含むが、これらは本発明の範囲を制限しない。これらは単に本発明の異なる例及び態様の説明と考えられる。本発明の範囲は、上述の詳細に記載されていない他の実施形態を含むことが理解される。例えば、図１は、図７（Ａ）に再現されるように、ディスプレイの片側に全て配置される有限数の平坦な焦点面を有する多焦点ディスプレイを示す。図７（Ａ）で、破線のボックス７００は、レンダリングされるべき３Ｄ焦点体積を表し、本例では、実線７１０により表される焦点面に位置する画像によりレンダリングされる。代替の実施形態では、焦点面は、ディスプレイの両側に分散され、それらは平坦でなくても良い。例えば、図７（Ｂ）に示すように、多数の焦点面７１２が存在し、湾曲するか又は他の非平坦形状を有する。さらに、図７（Ｃ）で、焦点面７１４は異なる形状を有する。図７（Ｄ）は、多焦点ディスプレイが有限数の表面より多くの点でレンダリングできる例を示す。本例では、７１６は、体積を有するスライスであり、多焦点ディスプレイは該体積の中で点をレンダリングできる。これは、示される体積の各々について真である。しかしながら、集合の中の体積は、焦点体積７００の中の各々の点を解決しない。つまり、スライスの外側に位置する点は、異なるスライス間の深さ融合により表される。便宜上、用語「レンダリング可能な体積」は、図７（Ａ）−（Ｃ）に示すような２Ｄ表面と図７（Ｄ）に示すような３Ｄ体積の両者を表すために用いられる。

【0065】

別の態様では、レンダリング可能な体積の位置を選択することに加えて、多焦点ディスプレイは、レンダリング可能な体積の数も選択する。６個の焦点面を有する最初の例では、多焦点ディスプレイは焦点面の数Ｍを決定し、ここでＭは最大６であり得る。最大より少ない数は、種々の理由により、例えば電力消費を低減するために、選択される場合がある。

【0066】

更に別の態様では、図１は、片目のための多焦点ディスプレイを示す。両目及び立体システムも使用できる。さらに、ビームスプリッタのような追加光学系は、多焦点ディスプレイによりレンダリングされたシーンを他のシーン又は周囲環境と結合するために用いられても良い。

【0067】

当業者に明らかな種々の他の修正、変更、及び変形が、添付の特許請求の範囲に定められた本発明の精神及び範囲から逸脱することなく、本願明細書に開示された本発明の方法及び装置の配置、動作及び詳細について行われてもよい。したがって、本発明の範囲は、添付の特許請求の範囲及びその法的等価物により定められるべきである。

【0068】

代替の実施形態では、本発明の態様は、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せで実施される。本発明の装置は、プログラマブルプロセッサによる実行のための、非一時的機械可読記憶装置内に有形に具現化されるコンピュータプログラムプロダクトで実施できる。また、本発明の方法のステップは、入力データに作用し出力データを生成することにより本発明の機能を実行するために命令のプログラムを実行するプログラマブルプロセッサにより実行できる。本発明は、有利なことに、データ記憶システムからデータ及び命令を受信し及びデータ記憶システムへデータ及び命令を送信するために結合される少なくとも１つのプログラマブルプロセッサと、少なくとも１つの入力装置と、少なくとも１つの出力装置と、を含むプログラマブルシステムで実行可能な１又は複数のコンピュータプログラムで実施できる。各コンピュータプログラムは、高レベル手続型又はオブジェクト指向型プログラミング言語で、又は所望の場合アセンブラ若しくは機械語で、実装できる。いずれの場合にも、言語はコンパイルでき、又は言語をインタープリットされる。適切なプロセッサは、例として、汎用及び特定用途マイクロプロセッサの両方を含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ及び／又はランダムアクセスメモリから受信する。通常、コンピュータは、データファイルを格納する１又は複数の大容量記憶装置を有する。このような大容量記憶装置は、内蔵ハードディスク及び取り外し可能ディスクのような磁気ディスク、光磁気ディスク、及び光ディスクを含む。コンピュータプログラム命令及びデータを有形に具現化するのに適する記憶装置は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭのような半導体メモリ素子、及びフラッシュメモリ素子、内蔵ハードディスク若しくは取り外し可能ディスクのような磁気ディスク、光磁気ディスク、及びＣＤ−ＲＯＭディスクを含むあらゆる形式の不揮発性メモリを含む。前述のうち任意のものは、ＡＳＩＣ（application−specific integrated circuit）及び他の形式のハードウェアにより補われ又はそれに組み込むことができる。

【0069】

用語「モジュール」は、特定の物理的形態に限定されることを意味しない。特定の用途に依存して、モジュールは、ハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組合せとして実装できる。さらに、異なるモジュールは、共通コンポーネントを共有でき、同じコンポーネントによっても実装できる。異なるモジュールの間の明確な境界は存在してもしなくても良い。

【符号の説明】

【0070】

１００ 多焦点ディスプレイ
１１０ ディスプレイ
１２０ 調整可能レンズ
１３０ 前処理モジュール
１４０ 焦点面配置モジュール
１５０ シーン分離モジュール
１６０ レンダリングエンジン

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】