(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-08
(45)【発行日】2022-07-19
(54)【発明の名称】ウェアラブル3D拡張現実ディスプレイ
(51)【国際特許分類】
G02B 27/02 20060101AFI20220711BHJP
G02B 30/10 20200101ALI20220711BHJP
G02B 30/36 20200101ALI20220711BHJP
H04N 13/307 20180101ALI20220711BHJP
H04N 13/344 20180101ALI20220711BHJP
G03B 35/24 20210101ALI20220711BHJP
【FI】
G02B27/02 Z
G02B30/10
G02B30/36
H04N13/307
H04N13/344
G03B35/24
【外国語出願】
(21)【出願番号】P 2019185568
(22)【出願日】2019-10-09
(62)【分割の表示】P 2016573686の分割
【原出願日】2015-03-05
【審査請求日】2019-10-12
(32)【優先日】2014-03-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】505167532
【氏名又は名称】アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ
(73)【特許権者】
【識別番号】516265193
【氏名又は名称】ユニバーシティ オブ コネチカット
(74)【代理人】
【識別番号】100104411
【氏名又は名称】矢口 太郎
(72)【発明者】
【氏名】フア、ホン
(72)【発明者】
【氏名】ジャヴィディ、バラーム
【審査官】堀部 修平
(56)【参考文献】
【文献】特開2002-148559(JP,A)
【文献】米国特許出願公開第2002/0114077(US,A1)
【文献】特開2001-013446(JP,A)
【文献】特開平10-013861(JP,A)
【文献】特開2010-230984(JP,A)
【文献】独国特許出願公開第102010028900(DE,A1)
【文献】特開2007-101930(JP,A)
【文献】特開平09-297282(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/01 - 27/02
G02B 30/00 - 30/60
H04N 13/30 - 13/398
H04N 5/64
(57)【特許請求の範囲】
【請求項1】
3D拡張現実ディスプレイであって、
利用者に表示するための仮想3D画像を提供するマイクロディスプレイと、
前記マイクロディスプレイから照射光を受け取り、当該受け取った照射光から、所定の基準面において所定の奥行範囲に亘って延びる3Dライトフィールド
(AOB)を生成するように構成されたディスプレイ光学部品であって、このディスプレイ光学部品は1セットの要素画像群を提供するように構成されており、各要素画像は3Dシーンの異なる奥行に関する情報を有するものである、前記ディスプレイ光学部品と、
前記ディスプレイ光学部品と光学的に通信するアイピースであって、
前記ディスプレイ光学部品から前記3Dライトフィールド
(AOB)を受け取って、所定の仮想基準面において前記3Dライトフィールド
(AOB)の仮想画像
(A′O′B′)を生成するように構成されており、
前記基準面と前記仮想基準面は、当該アイピースを介して互いに光学的に共役な位置にある、
前記アイピースと
を有する、
3D拡張現実ディスプレイ。
【請求項2】
請求項1記載の3D拡張現実ディスプレイにおいて、前記ディスプレイ光学部品は一対のレンズを有し、各レンズは同じ焦点距離を有するとともに、この一対のレンズ間の距離は前記焦点距離と等しいものであり、それにより、前記3Dライトフィールドにテレセントリック性が提供されるものである3D拡張現実ディスプレイ。
【請求項3】
請求項1記載の3D拡張現実ディスプレイにおいて、前記ディスプレイ光学部品は、インテグラルイメージング光学部品を有するものである3D拡張現実ディスプレイ。
【請求項4】
請求項1記載の3D拡張現実ディスプレイにおいて、前記アイピースは選択された表面を有し、この選択された表面は、前記ディスプレイ光学部品から前記3Dライトフィールドを受け取り、前記受け取った照射光を出射瞳へ反射するように構成され、かつ、当該選択された表面は、前記マイクロディスプレイ以外の光源から照射光を受け取り、前記出射瞳に前記照射光を伝達するように構成されるものである3D拡張現実ディスプレイ。
【請求項5】
請求項1記載の3D拡張現実ディスプレイにおいて、前記アイピースは、自由曲面プリズム形状を有するものである3D拡張現実ディスプレイ。
【請求項6】
請求項1記載の3D拡張現実ディスプレイにおいて、前記アイピースは、前記ディスプレイ光学部品から照射光を受け取り、当該照射光を屈折させるように構成された第1の表面を有し、かつ、前記第1の表面から屈折した照射光を受け取るように構成された第2の表面を有し、当該第2の表面は前記アイピースの第3の表面へ前記照射光を反射するように構成され、当該第3の表面は前記第2の表面から反射された照射光を出射瞳へ反射するように構成されるものである3D拡張現実ディスプレイ。
【請求項7】
請求項6記載の3D拡張現実ディスプレイにおいて、
前記アイピースの前記第2の表面に隣接して設けられた補正レンズを有するものである3D拡張現実ディスプレイ。
【請求項8】
請求項1記載の3D拡張現実ディスプレイにおいて、前記アイピースの表面のうち1若しくはそれ以上は、回転非対称な表面を有するものである3D拡張現実ディスプレイ。
【請求項9】
請求項1記載の3D拡張現実ディスプレイにおいて、前記アイピースは、ウェッジ形状を有するものである3D拡張現実ディスプレイ。
【請求項10】
請求項1記載の3D拡張現実ディスプレイにおいて、前記アイピースは、次式で表される表面を有し、
【数2】
式中、zは局所的なx、y、z座標系のZ軸に沿って測定された自由曲面のサグ量、cは頂点曲率(vertex curvature:CUY)c、rは半径方向の距離、kは円錐定数、Cjはx
my
nの係数である3D拡張現実ディスプレイ。
【請求項11】
請求項1記載の3D拡張現実ディスプレイにおいて、前記ディスプレイ光学部品は、ホログラムディスプレイ、多層計算ライトフィールドディスプレイ、および体積ディスプレイとのうち1若しくはそれ以上を有するものである3D拡張現実ディスプレイ。
【請求項12】
請求項1記載の3D拡張現実ディスプレイにおいて、前記3Dライトフィールドは、全方向視差を提供するものである3D拡張現実ディスプレイ。
【請求項13】
請求項1記載の3D拡張現実ディスプレイにおいて、前記ディスプレイ光学部品はマイクロレンズアレイを有し、
前記マイクロレンズアレイは前記マイクロディスプレイと組み合わせられることにより、前記マイクロディスプレイの異なるピクセルから放射される光線束をレンダリングするように構成されており、
前記異なるピクセルから放射される光線束が交差することで3D点が光を放射し3D空間を占めているように見える知覚が光学的に生成されるものである
3D拡張現実ディスプレイ。
【請求項14】
請求項13記載の3D拡張現実ディスプレイにおいて、前記マイクロディスプレイは複数のピクセルを含み、前記マイクロレンズアレイの各マイクロレンズは、前記マイクロディスプレイの少なくとも2つのピクセルと光学的に通信するように配置されているものである3D拡張現実ディスプレイ。
【請求項15】
請求項3記載の3D拡張現実ディスプレイにおいて、前記インテグラルイメージング光学部品は、全方向視差情報により3D表面形状の光学的再構築ができるように構成されているものである3D拡張現実ディスプレイ。
【請求項16】
請求項1記載の3D拡張現実ディスプレイにおいて、前記各要素画像は空間的にインコヒーレントな物体を提供し、前記各要素画像内の複数のピクセルによって放射される円錐状の光線束が交差して一体的に3Dシーンの知覚を生成するものであり、
前記3Dシーンにおいては、所定の基準面対して所定の奥行範囲を有する表面に沿って前記物体が配置されているように見えるも
のであり、それにより光を放射し3D空間を占めているように見える外観が生成されるものである
3D拡張現実ディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2014年3月5日付で出願された米国仮特許出願第61/948,226号に対して優先権の利益を主張するものであり、この参照によりその全体が本明細書に組み込まれる。
【0002】
本発明は、ウェアラブル3D拡張現実ディスプレイに関し、より具体的にいうと、これに限定されるものではないが、3Dインテグラルイメージング(integral imaging:InI)光学部品を有するウェアラブル3D拡張現実ディスプレイに関する。
【背景技術】
【0003】
拡張現実(augmented reality:AR)ディスプレイは、2Dまたは3Dデジタル情報を人の実世界視野に重ね合わせることが可能であり、デジタル情報を知覚し、これとインタラクトする方法を再定義し、一変させる技術として長い間考えられててきた。ARディスプレイ装置はいくつかのタイプが模索されてきたが、ARディスプレイの望ましい形態は軽量の光学シースルー型ヘッドマウントディスプレイ(optical see-through head-mounted display:OST-HMD)であり、これにより現実世界の直接的な視野にデジタル情報を光学的に重ね合わせながら、ディスプレイを通して実視野を保つことができる。無線ネットワーク帯域幅が急増し、電子機器が小型化し、クラウドコンピューティングが普及する現在の課題の1つは、OST-HMD、スマートフォン、およびモバイルコンピューティングの機能を、眼鏡の容積内に統合する邪魔にならないARディスプレイを実現することである。
【0004】
そのようなARディスプレイが利用可能になれば、多くの実践分野に革命をもたらし、医療、防衛および安全保障、製造、交通運輸、教育、および娯楽分野を含む暮らしの中に浸透していく可能性がある。例えば、医療AR技術により、医師は手術を行いながら患者の腹部にその患者のCT画像を重ね合わせて見られるようになり、モバイルコンピューティングでは、観光者が道を歩きながら視野にあるレストランの評価にアクセスでき、軍事訓練では、3D仮想物体を実際の訓練環境に合わせた環境で戦闘員を効果的に訓練できる。
【0005】
通常、AR技術で最も大きな壁になるのはディスプレイの問題である。高性能で小型低コストのARディスプレイがないことは、AR技術から享受できるすべての可能性を探る上で足かせとなっている。近年、著しい研究と市場の動きにより、OST-HMDシステムの扱いにくいヘルメット状フォームファクタ克服に向けた取り組みが行われており、主に小型で軽量なフォームファクタの実現が重視されている。光学技術がいくつか模索されてきた結果、OST-HMDは大幅に前進した。例えば、広く宣伝されたGoogle Glass(登録商標)は非常に小型で軽量の(~36グラム)単眼OST-HMDであり、じゃまにならず、デジタル情報に瞬時にアクセスできる利点を提供する。ARディスプレイには有望で刺激的な将来の展望が実証されてきているが、現行版のGoogle Glass(登録商標)は、視野(FOV)が非常に狭く(画角約15°)、画像解像度は640×360ピクセルである。多くの用途で実世界視野を効果的に拡張する上では、限られた能力しか得られない。
【0006】
このような展望にもかかわらず、既存のOST-HMDには多数の問題、例えばARディスプレイの視覚的な不快感が残されている。そのため、当該技術分野において、視覚的な快適さを高めるとともに低コスト・高性能・軽量の真の3DOST-HMDシステムを実現するOST-HMDを提供することは大きな前進である。
【発明の概要】
【課題を解決するための手段】
【0007】
本発明は、その一観点において、利用者に表示するための仮想3D画像を提供するマイクロディスプレイを有する3D拡張現実ディスプレイを提供する。例えば、本発明の光学的アプローチでは、ARディスプレイシステムの光路を、マイクロInIサブシステムの光路と独自に組み合わせて、3Dライトフィールド光源を提供する。このアプローチは、焦点距離と輻輳距離の不一致の問題に影響されないARディスプレイを実現する可能性をもたらす。自由曲面光学技術を活用したこのアプローチでは、軽量小型のOST-HMDソリューションも作製できる。
【0008】
この場合、本発明の例示的構成の1つでは、前記マイクロディスプレイから照射光を受け取るディスプレイ光学部品を設けることができ、このディスプレイ光学部品は、受け取った照射光から光学的に再構築された真の3D実物体または仮想物体である3Dライトフィールドを生成するよう構成できる。(本明細書における用語「3Dライトフィールド」とは、3Dシーンの知覚を生み出すための、3Dシーンが発したように見える光線の集合を有した3Dシーンの照射野を意味するものと定義される。)前記ディスプレイ光学部品と光学的に通信するアイピースも含めることができ、このアイピースは、前記ディスプレイ光学部品から前記3Dライトフィールドを受け取り、前記受け取った照射光を当該システムの出射瞳へ伝達して仮想表示経路を提供するよう構成される。前記アイピースは、選択された表面を含むことができ、この選択された表面は、前記ディスプレイ光学部品から前記3Dライトフィールドを受け取り、前記受け取った照射光を当該システムの前記出射瞳へ反射して仮想表示経路を提供するよう構成される。また、前記選択された表面は、前記マイクロディスプレイ以外の光源から照射光を受け取り、照射光を前記出射瞳に伝達して、シースルー光路を提供するよう構成できる。前記アイピースには、自由曲面プリズム形状を含めることができる。例示的な構成の1つにおいて、前記ディスプレイ光学部品には、インテグラルイメージング光学部品(integral imaging optics)を含めることができる。
【図面の簡単な説明】
【0009】
本発明の例示的な実施形態に関する上記の要約および下記の詳細な説明は、以下の添付の図面と併せて読むとさらによく理解される。
【
図1A】
図1A~1Cは、単眼ARディスプレイ(
図1A)、両眼ディスプレイ(
図1B)、および実際の物体(
図1C)を見る場合の焦点調節キューおよび輻輳キューを概略的に例示したものである。
【
図1B】
図1A~1Cは、単眼ARディスプレイ(
図1A)、両眼ディスプレイ(
図1B)、および実際の物体(
図1C)を見る場合の焦点調節キューおよび輻輳キューを概略的に例示したものである。
【
図1C】
図1A~1Cは、単眼ARディスプレイ(
図1A)、両眼ディスプレイ(
図1B)、および実際の物体(
図1C)を見る場合の焦点調節キューおよび輻輳キューを概略的に例示したものである。
【
図2】
図2は、本発明に係る例示的な3D OST-HMDシステムのブロック図を概略的に例示したものであり、この3D OST-HMDシステムは、微小インテグラルイメージング(integral imaging:InI)ユニット、シースルー型光学系、およびアイピースを有する。
【
図3】
図3は、本発明の装置および方法で使用する3Dシーンの3Dライトフィールドを生成する微小InIユニットの図を概略的に例示したものである。
【
図4】
図4は、本発明に係る例示的な代替微小InI(マイクロInI)ユニットの図を概略的に例示したもので、このユニットは3Dシーンの3Dライトフィールドを生成し、この場合、仮想ライトフィールドはテレセントリックである。
【
図5】
図5は、本発明に係る例示的な頭部装着用3Dインテグラルイメージングディスプレイの図を概略的に例示したもので、このディスプレイはマイクロInIユニットおよび従来のアイピース光学部品を統合して3Dシーンの仮想ライトフィールドを生成する。
【
図6A】
図6A~6Cは、自由曲面光学技術を使用した、本発明に係る3D拡張現実光学シースルー型HMDの例示的設計を概略的に例示したものであり、
図6Aは、3Dライトフィールドディスプレイ用の例示的な自由曲面アイピースを例示し、
図6Bは、観視軸のずれおよび収差を補正する例示的な自由曲面補正レンズを例示し、
図6Cは、統合された光学配置およびレイトレーシングを例示している。
【
図6B】
図6A~6Cは、自由曲面光学技術を使用した、本発明に係る3D拡張現実光学シースルー型HMDの例示的設計を概略的に例示したものであり、
図6Aは、3Dライトフィールドディスプレイ用の例示的な自由曲面アイピースを例示し、
図6Bは、観視軸のずれおよび収差を補正する例示的な自由曲面補正レンズを例示し、
図6Cは、統合された光学配置およびレイトレーシングを例示している。
【
図6C】
図6A~6Cは、自由曲面光学技術を使用した、本発明に係る3D拡張現実光学シースルー型HMDの例示的設計を概略的に例示したものであり、
図6Aは、3Dライトフィールドディスプレイ用の例示的な自由曲面アイピースを例示し、
図6Bは、観視軸のずれおよび収差を補正する例示的な自由曲面補正レンズを例示し、
図6Cは、統合された光学配置およびレイトレーシングを例示している。
【
図7】
図7は、本発明に係る例示的なマイクロInIモジュールおよびアイピースを概略的に例示したものである。
【
図8】
図8は、本発明に係るマイクロディスプレイ、マイクロレンズアレイ、マイクロInIにより再構築された3Dシーン、および自由曲面アイピースの例示的なプロトタイプを概略的に例示したものである。
【
図9】
図9は、本発明の特定の実証で使用された実験的な「3D」画像を例示した図である。
【
図10A】
図10A~10Dは、
図8のプロトタイプのアイピースの位置に配置されたデジタルカメラで撮影された画像を実証したものであり、前記カメラは4m(
図10A)、30cm(
図10B)で焦点が合わせられ、前記出射瞳の左側へシフトされ(
図10C)、前記出射瞳の右側へシフトされた(
図10D)。
【
図10B】
図10A~10Dは、
図8のプロトタイプのアイピースの位置に配置されたデジタルカメラで撮影された画像を実証したものであり、前記カメラは4m(
図10A)、30cm(
図10B)で焦点が合わせられ、前記出射瞳の左側へシフトされ(
図10C)、前記出射瞳の右側へシフトされた(
図10D)。
【
図10C】
図10A~10Dは、
図8のプロトタイプのアイピースの位置に配置されたデジタルカメラで撮影された画像を実証したものであり、前記カメラは4m(
図10A)、30cm(
図10B)で焦点が合わせられ、前記出射瞳の左側へシフトされ(
図10C)、前記出射瞳の右側へシフトされた(
図10D)。
【
図10D】
図10A~10Dは、
図8のプロトタイプのアイピースの位置に配置されたデジタルカメラで撮影された画像を実証したものであり、前記カメラは4m(
図10A)、30cm(
図10B)で焦点が合わせられ、前記出射瞳の左側へシフトされ(
図10C)、前記出射瞳の右側へシフトされた(
図10D)。
【発明を実施するための形態】
【0010】
現在の商業的HMD開発にもかかわらず、ARディスプレイの視覚的不快感を最小限に抑えるという、長時間使用を要する応用で非常に重要な課題には、非常に限られた取り組みしか行われていない。視覚的不快感を生じている主な要因の1つは、表示されたデジタル情報と実世界のシーン間における焦点距離と輻輳距離の不一致(accommodation-convergence discrepancy)であり、これは既存のARディスプレイの大部分に特有の根本的な問題である。焦点調節キュー(accommodation cue)とは、眼が焦点を合わせる作用をいい、毛様筋が水晶体の屈折力を変化させてシーンの固視深度におけるぼやけを最小限に抑える。眼の焦点調節変化に関連した網膜像のぼやけキュー(retinal image blur cue)とは、眼の固視点から、それより近い点または遠い点までの距離変化に伴って像がぼやける作用をいう。焦点調節および網膜像ぼやけの作用は、ともに焦点キュー(focus cues)として知られている。輻輳キュー(convergence cue)とは、両眼が視線軸を内側または外側へ向けて、近距離または遠距離にある関心3D物体で視線軸を交差させる回転作用をいう。
【0011】
前記焦点距離と輻輳距離の不一致の問題は、既存ARディスプレイの大部分の画像源は、眼から固定された距離に位置する2D平面であることに起因する。そのため、このタイプのARディスプレイは、非2D画像源距離にある実際の物体に重ね合わされるデジタル情報に、適正な焦点キューをレンダリングする能力が欠落している。これにより次の3つの焦点距離と輻輳距離の不一致が生じる。(1)前記2D画像平面と前記実世界シーン間で焦点調節キューの不一致が存在する(
図1A)。眼は、前記2D画像平面に焦点調節して拡張情報を見るようキューを受け取ると同時に、デジタル情報が重ね合わされる実際の3D物体の深度へと焦点調節および輻輳するようキューを受け取る。ディスプレイ平面と実世界物体間の距離のギャップは、人間の視覚システム(human visual system:HVS)が同時に焦点調節できる能力をたやすく超えてしまう。その簡単な例は、ARディスプレイを運転支援に使用する場合であり、その場合、眼は近く(例えば、ダッシュボード)から遠く(例えば、道路標識)まで存在するARディスプレイと実世界物体間で、絶えず注目対象を切り替える必要がある。(2)両眼立体ディスプレイでは、両眼視差を伴う一対の立体画像をレンダリングすることにより、前記拡張情報がレンダリングされて、2Dディスプレイ表面から異なる距離で見える効果が得られる(
図1B)。拡張情報を見るとき、眼は、2Dディスプレイ表面で焦点調節を行って仮想ディスプレイに焦点を合わせるが、同時に、前記立体画像ペアを融合させるため両眼視差により決定される深度で輻輳するよう強制される。自然なシーンを見るとき(
図1C)、眼の輻輳深度は焦点調節深度と一致し、関心のある物体以外の深度にある物体はぼやけて見える。(3)立体画像によりレンダリングされる合成物体は、利用者からの各レンダリング距離に関係なく、見る者が画像平面に焦点を合わせれば、すべて焦点が合って見え、利用者が画像平面以外の距離に焦点調節すれば、すべてぼやけて見える。表示されたシーンの網膜像のぼやけは、シミュレートされたシーンにおける眼の固視点から、それと異なる深度の他の点までの距離に応じて変化することはない。ひと言で言うと、不正確な焦点キューは立体ディスプレイを見るときの問題、例えば深度知覚のゆがみ、複視、視覚的な不快感と疲労、および動眼応答の低下の一因となる。
【0012】
本発明はその一態様において、3Dライトフィールド生成技術および自由曲面光学技術を組み合わせることによるOST-HMD設計への新規なアプローチに関する。本発明の3Dライトフィールド生成技術では、3Dシーンにより発せられたように見える光線の集合を生成して3Dシーンの知覚を生み出すことにより、3Dシーンの照射野を再構築する。これを受け、本明細書における用語「3Dライトフィールド(lightfield)」とは、3Dシーンの知覚を生み出すための、3Dシーンが発したように見える光線の集合を有した3Dシーンの照射野を意味するものと定義される。再構築された3DシーンはHMD観視光学系用に3D画像源を生成して、このHMD観視光学系が、通常の2Dディスプレイ表面を3D源で置き換えることにより、焦点距離と輻輳距離の不一致の問題を潜在的に克服できるようにする。本発明の装置および方法では、3Dライトフィールドを生成できるいかなる光学系も使用できる。例えば、本発明の例示的構成の1つでは、全方向視差3Dライトフィールドを生成するマイクロインテグラルイメージング(マイクロInI)光学部品を使って、光学的に3Dシーンの知覚を生じる。(当業者であれば、インテグラルイメージング(InI)は、ピンホール、レンズ、またはマイクロレンズのアレイを利用して3Dシーンのライトフィールドを捕捉または表示するマルチビューの撮像および表示技術であることを認識していると考えられる。表示技術の場合は、マイクロレンズアレイを表示装置と組み合わせたものが要素画像群(elemental images)を提供し、その各々が3Dシーンの異なる奥行に関する情報を有する。前記マイクロレンズアレイを表示装置と組み合わせることにより、前記表示装置の異なるピクセルから発せられた光線束がレンダリングされ、当該異なるピクセルからの光線束が交差して、光を発する3D点が3次元空間を占めているように見える知覚が光学的に生成される。この方法により、全方向の視差情報を備えた3Dシーンの真の3D画像の再構築が可能になる。)3Dライトフィールドを生成でき、本発明と併用できる他の光学系としては、これに限定されるものではないが、ホログラムディスプレイ(M.Lucente、「Interactive three-dimensional holographic displays: seeing the future in depth」(インタラクティブ3次元ホログラムディスプレイ)(Computer Graphics、31(2)、pp.63-67、1997年)、P.A.Blancheら「Holographic three-dimensional telepresence using large-area photorefractive polymer」(大領域光屈折性ポリマーを使用したホログラフィック3次元テレプレゼンス)(Nature、468、80-83、2010年11月)、多層計算ライトフィールドディスプレイ(G.Wetzsteinら「Tensor Displays: Compressive light field synthesis using multilayer displays with directional backlighting」(テンソルディスプレイ:方向性バックライトを備えた多層ディスプレイを使用した圧縮ライトフィールド合成)(ACM Transactions on Graphics、31(4)、2012年))、および体積ディスプレイ(Blundell,B.G.およびSchwarz,A.J.「The classification of volumetric display systems: characteristics and predictability of the image space」(体積ディスプレイシステムの分類:画像空間の特性および予測可能性)(IEEE Transaction on Visualization and Computer Graphics、8(1)、pp.66-75、2002年、J.Y.Son、W.H.SonS.K.Kim、K.H.Lee、B.Javidi「Three-Dimensional Imaging for Creating Real-World-Like Environments」(実世界状の環境を生成するための3次元イメージング)(Proceedings of IEEE Journal、Vol.101、issue 1、pp.190-205、2013年1月)などがある。
【0013】
マイクロInIシステムは、ウェアラブルシステムに適した非常にコンパクトなフォームファクタで全方向視差3D物体再構築および視覚化を実現する可能性を有する。これは適切に制約された観視位置の利点により自動立体InIディスプレイの限界の大部分を劇的に軽減し、従来のHMDシステムにおける焦点距離と輻輳距離の不一致の問題に対処するため効果的に利用できる。前記マイクロInIユニットは、3Dシーンを記録した多数の斜視画像から伝播する光線円錐の交差により小型3Dシーンを再構築できる。自由曲面光学技術を活用することにより、本発明のアプローチでは、可能性として焦点距離と輻輳距離の不一致の問題および視覚的疲労に対する脆弱性がより低い小型軽量でゴーグルスタイルのARディスプレイが得られる。既存ARディスプレイの焦点距離と輻輳距離の不一致の問題に対処するため、我々は、光学的に再構築される3Dシーンに真のライトフィールドをレンダリングして大きな深度範囲にわたり配置されるデジタル情報に正確な焦点キューをもたらす能力を備えたARディスプレイ技術を開発した。
【0014】
焦点距離と輻輳距離の不一致の問題に影響されない軽量小型のOST-HMDソリューションを実現する上での難題は、2つの根本的な課題に対処することである。その第1は、固定された距離にある2D平面ではなく、ARディスプレイにおける眼の輻輳深度と相関して意図されたシーンの距離に合わせ正しくレンダリングした焦点キューを伴う3Dシーンを表示する能力を提供することである。第2の課題は、眼鏡ほどに説得力のあるフォームファクタを伴ったアイピースの光学構造を作製することである。
【0015】
本発明に係る3D OST-HMDシステムのブロック図を
図2に例示する。これは、制約された観視ゾーンから見た3Dシーンの全方向視差ライトフィールドを再現するライトフィールド作成モジュール(「3Dライトフィールド作成モジュール」)、再構築された3Dライトフィールドを観視者へリレーするアイピース、および実世界シーンを遮ぎらない視野を光学的に実現するシースルーシステム(「シースルー型光学系」)の3つの主なサブシステムを含む。
【0016】
本発明は、その一態様において、全方向視差3Dシーンを光学的に視覚化する3DマイクロInI法を、OST-HMD観視光学系用の自由曲面光学技術と統合する革新的なOST-HMDシステムを提供する。このアプローチは、全方向視差ライトフィールドレンダリング能力を備えた小型の3D InI光学シースルー型HMD(InIOST-HMD)の開発を可能にし、これはいまだ根強く残る焦点距離と輻輳距離の不一致の問題を克服して利用者の視覚的な不快感と疲労体感を著しく軽減するものと予測される。
【0017】
全方向視差ライトフィールド生成方法。焦点距離と輻輳距離の不一致の問題に対処する重要なステップは、固定距離にある2D表面にデジタル情報をレンダリングするのではなく、観視者までの距離にかかわらずデジタル情報の焦点キューを正しくレンダリングする能力を提供することである。種々の非立体表示方法の中から、我々はInI法を使用することを選択したが、このInI法は、制約され若しくは制約されない観視ゾーンから見た3Dシーンが発しているように見える3Dシーンの全方向視差ライトフィールドの再構築を可能にする。他のすべての技術と比べ、InI技術が要するハードウェアは、最低限の複雑さでOST-HMD光学系と統合してウェアラブルな真の3D ARディスプレイの作製を可能にする。
【0018】
図3は、例示的なマイクロInIユニット300を概略的に例示したものである。1セットの2D要素画像群301は、それぞれ3Dシーンの異なる
奥行を表しており、高精細なマイクロディスプレイ310に表示される。各要素画像301は、マイクロレンズアレイ(microlens array:MLA)320を通して空間的にインコヒーレント
な物体として作用し、前記要素画像301内のピクセルにより発せられた円錐状の光線束が交差することにより一体的に3Dシーンの知覚が生じ、当該3Dシーンにおいてオブジェクトは基準面で深度範囲Z
0を有する表面AOBに沿って位置するように見え、例えば、光を発し3次元空間を占める外観をもたらす。前記マイクロレンズアレイは、前記マイクロディスプレイ310から距離gに配置して、仮想または実際の3Dシーンを生成するようにできる。このマイクロInIユニット300では、全方向視差情報により3D表面形状の光学的な再構築が可能である。なお、InIベースの3Dディスプレイは、マルチビュー立体システムとは根本的に異なる態様で動作することに注意されたい。すなわち、マルチビューシステムでは、レンズ状のシートが空間的なデマルチプレクサとして機能して、観視者の位置に応じた適切な別個の左眼および右眼のシーン平面ビューを選択する。そのようなマルチビューシステムでは、定義された数の両眼ビューが、通常、水平視差だけで生成され、依然として焦点距離と輻輳距離の不一致の影響を受けてしまう。
【0019】
図4は、本発明に係る代替構成マイクロInIユニット400を概略的に例示したもので、これは表面AOBにおいて3Dシーンのテレセントリック3Dライトフィールドを生成する。
図3の構成との主な違いは、マイクロレンズアレイ(MLA)420の開口部をリレーしてテレセントリック3Dライトフィールドを生成する上で役立つ追加レンズ(レンズ430および/またはレンズ440)の使用にある。(R.Martinez-Cuenca、H.Navarro、G.Saavedra、B.Javidi、およびM.Martinez-Corral「Enhanced viewing-angle integral imaging by multiple-axis telecentric relay system」(複数軸テレセントリックリレーシステムによる拡張視角インテグラルイメージング)(Optics Express、Vol.15、Issue 24、pp.16255-16260、2007年11月21日)レンズ430およびレンズ440は同じ焦点距離f
1=f
2を有し、レンズ430はMLA 420に直接取り付けられ、レンズ440は焦点距離f
1だけ離間して配置される。前記マイクロディスプレイ410と前記MLA 420間の間隙は、MLA 420の焦点距離f
0に等しい。この代替設計の主な利点は、可能性として、再構築された3Dシーンの視角が広がり、小型化およびHMD観視光学系の一体化が改善され、前記MLA 420のマイクロレンズ421からの屈折光線が生じる反転画像であって、正しく組み合わせられた要素画像401およびマイクロレンズ421以外からの反転画像をより適切にブロックできることである。
【0020】
InI方法は有望であるが、まだ次の3つの大きな制限があるため、さらなる改善が望ましい。(1)側方向および長手方向の分解能が低い、(2)被写界深度(depth of field:DOF)が狭い、(3)視野角が限られている。これらの制限は、マイクロレンズの撮像能力に制限があり開口部が有限であること、大型ディスプレイの空間分解能(解像度)が劣ること、そして広い視野角と高い空間分解能とのトレードオフ関係に影響を受けやすい。従来のInIシステムでは、通常、側方向および深度方向の分解能が低く、DOFが狭い。ただし、これらの制限は、本発明のウェアラブルInIHMDシステムでは軽減できる。第1に、画素数が大きくピクセルが非常に精細な(例えば、~5μmサイズ)マイクロディスプレイを本発明で使うと、従来のInIディスプレイに使用される大ピクセル(~200-500μmピクセルサイズ)の表示装置の代わりに使って、空間分解能に少なくとも50倍の向上をもたらすことができる(
図7)。第2に、HMDシステムの性質上、観視ゾーンは十分限定されているため、大型自動立体ディスプレイよりはるかに少ない数の要素画像群でも、限定された観視ゾーン用に全方向視差ライトフィールドを生成するには十分である。第3に、深度範囲が40cm~5mと知覚される3D体積をInI-HMDシステムで生成するには、マイクロInIユニットにより再構築される中間3Dシーンの場合、非常に狭い深度範囲(例えば、Z
0~3.5mm)で十分であり、使用できるようにするには少なくとも50cmの深度範囲を要する従来のスタンドアロンInIディスプレイシステムより、著しく妥当な価格になる(
図7)。最後に、マイクロレンズおよびHMD観視光学系を一体的に最適化することにより、全体的なInI-HMDシステムの深度分解能を大幅に改善して、スタンドアロンInIシステムのイメージング限界を克服することができる。
【0021】
マイクロInIユニットにより再構築される小型3Dシーンのライトフィールドは、アイピース光学部品により眼へとリレーされて観視される。そのアイピース光学部品は、3Dライトフィールドを眼の(出射)瞳へ効果的に結合するだけでなく、3Dシーンを拡大して仮想3D表示が観視者から有限距離にあると見えるようにすることもできる。
【0022】
その一例として、
図5では、マイクロInIユニット530と従来のアイピース光学部品540の統合を概略的に例示している。このマイクロInIユニット530には、マイクロディスプレイ510およびマイクロレンズアレイ520を含めることができ、これらは
図3に例示したものと同様な態様で構成できる。このマイクロInIユニット530は、前記アイピース光学部品540の後部焦点の近くで小型3Dシーン(
図5でAOBに位置する)を再構築する。前記アイピース光学部品540を通じ、前記小型シーンは、A′O′B′で拡張3Dディスプレイへと拡大でき、前記アイピース光学部品540の出射瞳により制約された小さなゾーンから見られるようにできる。再構築されたシーン3Dの性質により、前記出射瞳内の異なる位置では、異なる観視斜視図が見られる。
【0023】
HMD設計の各種方法の中でも、自由曲面光学技術は、小型HMDシステムの設計において大きな可能性を示している。
図6Aは、本発明に係るウェアラブル3D拡張現実ディスプレイ600の例示的構成の概略図を例示したものである。このウェアラブル3D拡張現実ディスプレイ600は、3D InIユニット630および自由曲面アイピース640を含む。このマイクロInIユニット630には、マイクロディスプレイ610およびマイクロレンズアレイ620を含めることができ、これらは
図3に例示したものと同様な態様で構成できる。この構成600では、楔(くさび)形の自由曲面プリズムをアイピース640として採用しており、前記マイクロInIユニット630により再構築された3Dシーンは当該アイピース640を通して拡大され、観視される。このようなアイピース640は、それぞれ1、2、および3と示された3つの自由曲面光学表面により形成され、これらの表面は回転非対称な面である。前記出射瞳は、拡大された3Dシーンを見るために眼が配置される場所であり、前記3D InIユニット630の基準面と共役な仮想基準面に位置する。中間シーンにある3D点(例えば、A)から発せられた光線は、まず前記基準面の最も近くにある前記自由曲面アイピース640の表面3により屈折する。次に、この光線は前記表面1′および2で連続して2回反射され、最後に、前記表面1を透過して当該システムの前記出射瞳に達する。同じ物体点から出た複数の光線方向(例えば、点Aからの3本の光線の各々)は、それぞれ当該物体の異なるビューを表し、前記出射瞳の異なる位置に当たって、仮想3D点(例えば、A′)を眼前で再構築する。
【0024】
複数の要素を要する代わりに、光路は、前記アイピース640の3つの表面を伴うプリズム構造内で自然に折り畳まれるため、回転対称な要素を使用する設計と比べて、この光学部品の全体的な体積および重量を著しく低減する上で役立つ。
【0025】
ARシステムのシースルー能力を実現するため、前記アイピース640の表面2は、ビームスプリッターミラーとしてコーティングできる。自由曲面の補正レンズ650を加えると、改善されたシースルー性能を有したウェアラブル3D拡張現実ディスプレイ690を提供することができる。この補正レンズ650は、2つの自由曲面表面を含むようにでき、それらを前記アイピース640の表面2に取り付けによることにより、前記自由曲面プリズムアイピース640により実世界シーンに導入される観視軸のずれおよび望ましくない収差を補正できる。前記3D InIユニット630により生成される仮想ライトフィールドからの光線は、前記プリズムアイピース640の表面2により反射される一方、実世界シーンからの光線は、前記自由曲面アイピース640および補正レンズ650を透過する(
図6C)。
図6Cは、ウェアラブル3D拡張現実ディスプレイ690全体の一体化とレイトレーシングを概略的に例示したものである。前記自由曲面補正レンズ650の正面は、前記プリズムアイピース640の表面2の形状に合致する。前記補正レンズ650の表面4の裏面は、前記補正レンズ650を前記プリズムアイピース640と組み合わせる際、実世界シーンから光線に導入されるシフトおよび歪曲を最小限に抑えるよう最適化する。この付加的な補正レンズ650は、当該システム690全体のフットプリントおよび重量を顕著に増大させないものと予測される。
【0026】
このように、本発明の装置では、前記自由曲面アイピース640が、2D画像面の代わりに3D表面AOBのライトフィールドの画像を生成する。このようなInI-HMDシステム600、690では、前記自由曲面アイピース640が実際の物体のライトフィールドと光学的に共役な位置で仮想3D物体A′O′B′のライトフィールドを再構築する一方、従来のHMDシステムでは、アイピースが、2Dマイクロディスプレイ表面と光学的に共役な拡大された2D仮想表示を生成する。
【実施例1】
【0027】
図6Cの構成に係るInIOST-HMDの概念実証単眼プロトタイプを、市販の光学部品を使って実施した(
図8)。焦点距離3.3mmでピッチ0.985mmのマイクロレンズアレイ(MLA)を利用した。(これらのタイプのマイクロレンズは、Digital Optics Corp、SUSS Microoptics等から購入できる。)マイクロディスプレイは0.8"有機発光ディスプレイ(OLED)とし、1920×1200色ピクセルを9.6μmのピクセルサイズで提供するものであった。(eMagin Corp社(米国ワシントン州Bellevue)のEMA-100820。)自由曲面アイピースをシースルー補正レンズと併せたものは、国際特許出願第PCT/US2013/065422号で開示されたタイプで使用されており、この参照によりその全体が本明細書に組み込まれる。前記アイピース640および補正レンズ650の仕様を以下の表に示す。このアイピースでは、40度の視野と約6.5mmのアイボックス(eyebox)が提供された。当該アイピース設計の厳密なテレセントリシティにより、クロストークが妥当に低く観視ゾーンが狭いInI設定になっている。特筆すべき点は、この特定の自由曲面アイピース設計が、本発明において説明する光学方法に必須ではないことである。この目的で、代替アイピースを設計および最適化することもできる。
【0028】
ディスプレイ経路用のシステム調整
表1において、表面2~4は、自由曲面アイピース640を指定している。表1の表面2および4は同じ物理表面を表し、
図6A~6Cのアイピース表面1に対応する。表1の表面3は、
図6A~6Cのアイピース表面2に対応し、表1の表面5は、アイピース表面3に対応する。
【0029】
【0030】
【0031】
光学シースルー経路用のシステム調整
表2において、表面2および3は、ディスプレイ経路と同じくモデル化したアイピース表面1および3である。表面4、5は、前記自由曲面補正レンズ650を指定する。表面4は、表面3(アイピース表面2)の厳密な複製である。
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
前記システム調整表、例えば表1または表2における用語「XY多項式面」(XY Poly)とは、次式により表される表面をいう。
【0041】
【0042】
式中、zは局所的なxyz座標系のZ軸に沿って測定された自由曲面のサグ量、cは頂点曲率(vertex curvature:CUY)c、rは半径方向の距離、kは円錐定数、Cjはxmynの係数である。
【0043】
実証のため、数字「3」と文字「D」を含む3Dシーンをシミュレートした。視覚空間において、オブジェクト(物体)「3」および「D」は、眼の位置からそれぞれ~4メートルおよび30cm離れたところに設置された。焦点効果を明確に実証するため、これらの文字オブジェクトは、無地塗りつぶしを使用する代わりに、質感のある黒色線でレンダリングした。それぞれ102×102のカラーピクセルから成る、3Dシーンの18×11要素画像群アレイをシミュレートした(
図9)。マイクロInIユニットにより再構築された3Dシーンは、MLAから約10mm離れており、再構築された2つのターゲット間の深度間隔は、中間再構築空間で約3.5mmであった。
【0044】
図10A~10Dは、眼の位置に配置されたデジタルカメラで撮影された画像セットを示したものである。焦点効果およびシースルービューを実世界ビューで実証するため、スネレン視力表および白黒格子を印刷したターゲットを、それぞれオブジェクト「3」および「D」の位置に対応する、観視者からそれぞれ~4メートルおよび30cmのところに配置した。
【0045】
図10Aおよび10Bは、カメラの焦点をスネレン視力表および格子ターゲットにそれぞれ合わせた際の効果を示している。物体「3」は、カメラの焦点を遠位のスネレン視力表に合わせたときにはっきり焦点が合うが、物体「D」は、カメラの焦点を近位の格子ターゲットに合わせたときに焦点が合う。
図10Cおよび10Dは、カメラの焦点を近位の格子ターゲットに合わせながら、当該カメラの位置を前記アイボックスの左側から右側にシフトさせた際の効果を示している。予測どおり、これら2つのビュー間にわずかな視点の変化が認められた。確かにアーチファクトが見られ、いっそうの開発が必要であるものの、この結果は、提案されたAR表示方法が、大きな深度範囲で適正な焦点キューおよび真の3D表示を生成できることを明らかに実証している。
【0046】
本明細書において説明し特許請求の範囲に記載した本発明は、本明細書に開示した特定の実施形態が本発明の数態様の例示を目的としたものであるため、これらの実施形態に範囲を限定されるものではない。いかなる等価な実施形態も、本発明の範囲を逸脱しないよう意図される。実際、当業者であれば、以上の説明から、本明細書で示し説明した実施形態に加え、本発明の種々の修正形態が明確に理解されるであろう。そのような修正形態も、添付の請求項の範囲に含まれるよう意図されている。
【0047】
本明細書には多数の特許および非特許文献が引用されており、この参照によりこれら各文献の全体が本明細書に組み込まれる。
【0048】
参考文献
[1]Yano, S., Emoto, M., Mitsuhashi, T., and Thwaites, H., "A study of visual fatigue and visual comfort for 3D HDTV/HDTV images," Displays, 23(4), pp. 191-201, 2002.
[2]S.J. Watt, K. Akeley, M.O. Ernst, and M.S. Banks, "Focus Cues Affect Perceived Depth," J. Vision, 5(10), 834-862, (2005).
[3]D.M. Hoffman, A.R. Girshick, K. Akeley, and M.S. Banks, "Vergence-Accommodation Conflicts Hinder Visual Performance and Cause Visual Fatigue," J. Vision, 8(3), 1-30, (2008).
[4]G. Lippmann, "Epreuves reversibles donnant la sensation du relief," Journal of Physics (Paris) 7, 821-825 (1908).
[5]C. B. Burckhardt, "Optimum parameters and resolution limitation of integral photography," J. Opt. Soc. Am. 58, 71-76 (1968).
[6]T. Okoshi, "Optimum design and depth resolution of lens-sheet and projection-type three-dimensional displays," Appl. Opt. 10, 2284-2291 (1971).
[7]F. Okano, H. Hoshino, J. Arai y I. Yuyama, "Real-time pickup method for a three-dimensional image based on integral photography," Appl. Opt. 36, 1598-1603 (1997).
[8]J. Aran, "Depth-control method for integral imaging," Optics Letters, 33(3): 279-282, 2008.
[9]H. Hua, "Sunglass-like displays become a reality with freeform optical technology," SPIE Newsroom, 2012.
[10]H. Hua and C. Gao, A compact, eye-tracked optical see-through head-mounted display, Proc. SPIE 8288, p. 82881F, 2012.
[11]H. Hua, X. Hu, and C. Gao, "A high-resolution optical see-through head-mounted display with eyetracking capability," Optics Express, November 2013.
[12]D. Cheng, Y.Wang, H. Hua, and M. M. Talha, Design of an optical see-through headmounted display with a low f-number and large field of view using a free-form prism, App. Opt. 48 (14), pp. 2655-2668, 2009.
[13]D. Cheng, Y.Wang, H. Hua, and J. Sasian, Design of a wide-angle, lightweight headmounted display using free-form optics tiling, Opt. Lett. 36 (11), pp. 2098-2100, 2011.
[14]A. Okuyama and S. Yamazaki, Optical system and image observing apparatus and image pickup apparatus using it, US Patent 5,706,136, 1998.
[15]S. Yamazaki, K. Inoguchi, Y. Saito, H. Morishima, and N. Taniguchi, Thin widefield-of-view HMD with free-form-surface prism and applications, Proc. SPIE 3639,p. 453, 1999.
[16]A. Jones, I. McDowall, Yamada H., M. Bolas, P. Debevec, Rendering for an Interactive 360o Light Field Display ACM Transactions on Graphics (TOG) -Proceedings of ACM SIGGRAPH 2007, 26(3), 2007.
[17]Tibor Balogh, "The HoloVizio System," Proceedings of SPIE, VOl 6055, 2006.
[18]Y. Takaki, Y. Urano, S. Kashiwada, H. Ando, and K. Nakamura, "Super multi-view winshield display for long-distance image information presentation," Opt. Express, 19, 704-16, 2011.
[19]Blundell, B. G., and Schwarz, A. J., "The classification of volumetric display systems: characteristics and predictability of the image space," IEEE Transaction on Visualization and Computer Graphics, 8(1), pp. 66-75, 2002.
[20]P. A. Blanche, et al, "Holographic three-dimensional telepresence using large-area photorefractive polymer", Nature, 468, 80-83, Nov. 2010.
[21]Rolland, J. P., Kureger, M., and Goon, A., "Multifocal planes head-mounted displays," Applied Optics, 39(19), pp. 3209-14, 2000.
[22]Akeley, K., Watt, S., Girshick, A., and Banks, M., "A stereo display prototype with multiple focal distances," Proc. of SIGGRAPH, pp. 804-813, 2004.
[23]Schowengerdt, B. T., and Seibel, E. J., "True 3-D scanned voxel displays using single or multiple light sources," Journal of SID, 14(2), pp. 135-143, 2006.
[24]S. Liu, H. Hua, D. Cheng, "A Novel Prototype for an Optical See-Through Head-Mounted Display with Addressable Focus Cues," IEEE Transactions on Visualization and Computer Graphics, 16(3), 381-393, (2010).
[25]S. Liu and H. Hua, "A systematic method for designing depth-fused multi-focal plane three-dimensional displays," Opt. Express, 18, 11562-11573, (2010)
[26]X. Hu and H. Hua, "Design and assessment of a depth-fused multi-focal-plane display prototype," Journal of Display Technology, December 2013.
[27]Suyama, S., Ohtsuka, S., Takada, H., Uehira, K., and Sakai, S., "Apparent 3D image perceived from luminance-modulated two 2D images displayed at different depths," Vision Research, 44: 785-793, 2004.
[28]J. Hong, S. Min, and B. Lee, "Integral floating display systems for augmented reality," Applixed Optics, 51(18):4201-9, 2012.
[29]A. Malmone, and H. Fuchs, "Computational augmented reality eyeglasses," Proc. of ISMAR 2012.
[30]Rolland, J. P., and Hua, H., "Head-mounted display systems," in Encyclopedia of Optical Engineering (Editors: R. Barry Johnson and Ronald G. Driggers), New York, NY: Marcel Dekker, pp. 1-13, 2005.
[31]H. Mukawa, K. Akutsu, I. Matsumura, S. Nakano, T. Yoshida, M. Kuwahara, and K. Aiki, A full-color eyewear display using planar waveguides with reflection volume holograms, J. Soc. Inf. Display 19 (3), pp. 185-193, 2009.
[32]http://www.lumus-optical.com/
[33]http://www.innovega-inc.com
[34]http://www.epson.com/cgi-bin/Store/jsp/Moverio/Home.do
[35]http://www.google.com/glass/start/
[36]M. Martinez-Corral, H. Navarro, R. Martinez-Cuenca, G. Saavedra, and B. Javidi, "Full parallax 3-D TV with programmable display parameters," Opt. Phot. News 22, 50-50 (2011).
[37]J. S. Jang and B. Javidi, "Large depth-of-focus time-multiplexed three-dimensional integral imaging by use of lenslets with non-uniform focal lengths and aperture sizes," Opt. Lett. vol. 28, pp. 1924-1926 (2003).
[38]Chih-Wei Chen, Myungjin Cho, Yi-Pai Huang, and Bahram Javidi, "Improved viewing zones for projection type integral imaging 3D display using adaptive liquid crystal prism array," IEEE Journal of Display Technology, 2014.
[39]Xiao Xiao, Bahram Javidi, Manuel Martinez-Corral, and Adrian Stern , "Advances in Three-Dimensional Integral Imaging: Sensing, Display, and Applications," Applied Optics, 52(4):. 546-560,2013.
[40]J. S. Jang, F. Jin, and B. Javidi, "Three-dimensional integral imaging with large depth of focus by use of real and virtual image fields," Opt. Lett. 28:1421-23, 2003.
[41]S. Bagheri and B. Javidi, "Extension of Depth of Field Using Amplitude and Phase Modulation of the Pupil Function," Journal of Optics Letters, vol. 33, no. 7, pp. 757-759, 1 April 2008.