特表 2019-502142 逆角度回折格子を有する仮想／拡張現実システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2019-502142(P2019-502142A)

(43)【公表日】2019年1月24日

(54)【発明の名称】逆角度回折格子を有する仮想／拡張現実システム

(51)【国際特許分類】

   G02B 27/02 20060101AFI20181221BHJP

   H04N 5/64 20060101ALI20181221BHJP

   G02B 5/18 20060101ALI20181221BHJP

   G02B 27/22 20060101ALI20181221BHJP

   H04N 13/322 20180101ALI20181221BHJP

   H04N 13/344 20180101ALI20181221BHJP

   G02B 26/10 20060101ALI20181221BHJP

【ＦＩ】

   G02B27/02 Z

   H04N5/64 511A

   G02B5/18

   G02B27/22

   H04N13/322

   H04N13/344

   G02B26/10 109Z

【審査請求】未請求

【予備審査請求】未請求

【全頁数】29

(21)【出願番号】特願2018-517428(P2018-517428)

(86)(22)【出願日】2016年10月6日

(85)【翻訳文提出日】2018年5月14日

(86)【国際出願番号】US2016055823

(87)【国際公開番号】WO2017062667

(87)【国際公開日】20170413

(31)【優先権主張番号】62/238,052

(32)【優先日】2015年10月6日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ヨー， イヴァン エル．

(72)【発明者】

【氏名】チェン， フイ−チュアン

(72)【発明者】

【氏名】エドウィン， ライオネル アーネスト

(72)【発明者】

【氏名】ティンチ， デイビッド

(72)【発明者】

【氏名】ウェルチ， ウィリアム ハドソン

【テーマコード（参考）】

2H045

2H199

2H249

5C061

【Ｆターム（参考）】

2H045AE05

2H045BA12

2H045BA13

2H045BA14

2H045BA24

2H199BA06

2H199BA42

2H199BA49

2H199BB02

2H199BB22

2H199BB23

2H199BB27

2H199BB29

2H199BB60

2H199CA02

2H199CA03

2H199CA34

2H199CA42

2H199CA50

2H199CA53

2H199CA66

2H199CA67

2H199CA68

2H199CA92

2H199CA93

2H199CA95

2H199CA96

2H199CA97

2H249AA50

2H249AA60

2H249AA62

2H249AA64

5C061AA01

5C061AB12

5C061AB14

5C061AB18

(57)【要約】

仮想画像生成システムのためのディスプレイサブシステムは、平面導波管装置と、光ファイバと、光ファイバの遠位端から光を放出するために構成されている少なくとも１つの光源と、光ファイバが固定−自由可撓性カンチレバーとして搭載されている機械的駆動アセンブリとを備えている。駆動アセンブリは、放出される光が支点と一致する縦軸から発散するように、走査パターンに従って支点の周りに光ファイバの遠位端を変位させるために構成される。ディスプレイサブシステムは、光ファイバからの光を縦軸に向かって収束させるために構成されている光学変調装置と、平面導波管装置が１つ以上の画像フレームをエンドユーザに表示するように、光学変調装置からの光を平面導波管装置に沿って向かわせるために構成される光学導波管入力装置とをさらに備えている。

【特許請求の範囲】

【請求項1】

エンドユーザによる使用のための仮想画像生成システムのためのディスプレイサブシステムであって、前記ディスプレイサブシステムは、
平面導波管装置と、
光ファイバと、
光を前記光ファイバの遠位端から放出するために構成されている少なくとも１つの光源と、
前記光ファイバが固定−自由可撓性カンチレバーとして搭載されている機械的駆動アセンブリであって、前記駆動アセンブリは、放出される光が支点と一致する縦軸から発散するように、走査パターンに従って支点の周りに光ファイバの遠位端を変位させるために構成されている、駆動アセンブリと、
光ファイバからの光を前記縦軸に向かって収束させるために構成されている光学変調装置と、
前記平面導波管装置が１つ以上の画像フレームを前記エンドユーザに表示するように、前記光学変調装置からの光を前記平面導波管装置に沿って向かわせるために構成されている光学導波管入力装置と
を備えている、ディスプレイサブシステム。

【請求項2】

前記光学変調装置は、光を前記縦軸上の焦点に収束させるために構成されている、請求項１に記載のディスプレイサブシステム。

【請求項3】

前記焦点は、前記光学導波管入力装置内に位置している、請求項２に記載のディスプレイサブシステム。

【請求項4】

前記光ファイバからの光をコリメートするために構成されているコリメート要素をさらに備えている、請求項１に記載のディスプレイサブシステム。

【請求項5】

前記光学変調装置は、少なくとも１つの回折格子を備えている、請求項１に記載のディスプレイサブシステム。

【請求項6】

前記少なくとも１つの回折格子の各々は、前記走査パターンの幾何学形状に合致する回折パターンを有する、請求項５に記載のディスプレイサブシステム。

【請求項7】

前記走査パターンは、渦巻走査パターンであり、前記回折パターンは、渦巻回折パターンである、請求項６に記載のディスプレイサブシステム。

【請求項8】

前記光学変調装置は、直列の２つの直交回折格子備え、前記回折格子のうちの１つが、第１の軸に沿って光を回折し、前記回折格子のうちの別の１つが、前記第１の軸に直交する第２の軸に沿って光を回折する、請求項１に記載のディスプレイサブシステム。

【請求項9】

前記機械的駆動アセンブリは、前記光ファイバが搭載されている圧電要素と、駆動電子機器とを備え、前記駆動電子機器は、電気信号を前記圧電要素に伝達し、それによって、前記光ファイバに前記走査パターンに従って振動させるために構成されている、請求項１に記載のディスプレイサブシステム。

【請求項10】

前記平面導波管装置は、前記１つ以上の画像フレームを異なる焦点において前記エンドユーザにそれぞれ表示するために構成されている複数の平面導波管を備え、前記光学導波管入力装置は、前記光学変調装置からの光を前記複数の平面導波管に沿って向かわせるために構成されている、請求項１に記載のディスプレイサブシステム。

【請求項11】

前記光学導波管入力装置は、前記平面導波管に沿って平行にそれぞれ延びている複数の回折光学要素を備え、前記複数の回折光学要素は、それぞれ、前記光学変調装置からの光を前記平面導波管に沿って向かわせる、請求項１０に記載のディスプレイサブシステム。

【請求項12】

前記光学導波管入力装置は、前記平面導波管と垂直に延びている分配用導波管を備え、前記分配用導波管は、前記光学変調装置からの光を前記平面導波管に沿ってそれぞれ向かわせる複数の回折光学要素を備えている、請求項１０に記載のディスプレイサブシステム。

【請求項13】

前記平面導波管装置は、前記エンドユーザの眼の正面に位置付けられるために構成されている、請求項１に記載のディスプレイサブシステム。

【請求項14】

前記平面導波管装置は、前記エンドユーザの眼と周囲環境との間の視野内に位置付けられるために構成されている部分的に透明なディスプレイ表面を有する、請求項１に記載のディスプレイサブシステム。

【請求項15】

前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記平面導波管装置を支持している、請求項１に記載のディスプレイサブシステム。

【請求項16】

エンドユーザによる使用のための仮想画像生成システムであって、前記仮想画像生成システムは、
３次元場面を記憶しているメモリと、
前記３次元場面の複数の合成画像フレームをレンダリングするために構成されている制御サブシステムと、
前記複数の画像フレームを前記エンドユーザに連続して表示するために構成されている請求項１に記載のディスプレイサブシステムと
を備えている、仮想画像生成システム。

【請求項17】

前記制御サブシステムは、グラフィック処理ユニット（ＧＰＵ）を備えている、請求項１６に記載の仮想画像生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、一人以上のユーザのための双方向仮想もしくは拡張現実環境を促進するように構成されているシステムおよび方法に関する。

【背景技術】

【0002】

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

【0003】

例えば、図１を参照すると、拡張現実場面４が、描写されており、ＡＲ技術のユーザは、背景における人々、木々、建物を特徴とする実世界公園状設定６と、コンクリートプラットフォーム８とを見る。これらのアイテムに加え、ＡＲ技術のエンドユーザは、実世界プラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とを「見ている」ことも知覚するが、これらの要素１０、１２は、実世界には存在しない。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するＶＲまたはＡＲ技術の生成は、困難である。

【0004】

ＶＲおよびＡＲシステムは、典型的には、エンドユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイもしくはスマートグラス）を採用する。エンドユーザの頭部の運動がディスプレイシステムによって検出される場合、表示されているデータは、頭部の姿勢（すなわち、ユーザの頭部の向きおよび／または場所）の変化を考慮するように更新されることができる。

【0005】

例として、頭部装着型ディスプレイを装着しているユーザが、３次元（３Ｄ）オブジェクトの仮想表現をディスプレイ上で視認し、３Ｄオブジェクトが見えるエリアの周囲を歩く場合、その３Ｄオブジェクトは、視点毎に再レンダリングされ、エンドユーザに、実空間を占有するオブジェクトの周囲を歩いているという知覚を与えることができる。頭部装着型ディスプレイが、複数のオブジェクトを仮想空間内に提示するために使用される場合（例えば、豊かな仮想世界）、エンドユーザの動的に変化する頭部の場所および向きに合致するように場面を再レンダリングして、仮想空間で増加した没入感を提供するために、頭部の姿勢の測定を使用することができる。

【0006】

ＡＲ（すなわち、実および仮想要素の同時視認）を可能にする頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される１つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重ね、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見て、環境内の実オブジェクトからの光を直接視認することができる。多くの場合、「結合器」と称される透明要素は、実世界のエンドユーザの光景の上にディスプレイからの光を重ねる。

【0007】

ＶＲおよびＡＲシステムは、典型的には、投影サブシステムとディスプレイ表面とを有するディスプレイシステムを採用し、ディスプレイ表面は、エンドユーザの視野の正面に位置付けられ、その上に投影サブシステムが画像フレームを連続して投影する。真の３次元システムでは、ディスプレイ表面の深度は、フレームレートまたはサブフレームレートにおいて制御されることができる。投影サブシステムは、１つ以上の光源からの光が異なる色の光を定義されたパターンでその中に放出する１つ以上の光ファイバと、光ファイバを所定のパターンで走査し、エンドユーザに連続して表示される画像フレームを作成する走査デバイスとを含み得る。

【0008】

一実施形態では、ディスプレイシステムは、ユーザの視野と略平行であり、光ファイバからの光がその中に投入される１つ以上の平面導波管を含む。１つ以上の線形回折格子が、導波管内に埋設され、導波管に沿って伝搬する入射光の角度を変化させる。光の角度を全内部反射（ＴＩＲ）の閾値を超えて変化させることによって、光は、導波管の１つ以上の側方面から脱出する。線形回折格子は、低回折効率を有し、したがって、光が線形回折格子に遭遇する度に、一部の光エネルギーのみが、導波管の外へ向かわせられる。格子に沿った複数の場所において光を外部結合することによって、ディスプレイシステムの射出瞳は、効果的に増加させられる。ディスプレイシステムは、光ファイバから生じる光をコリメートする１つ以上のコリメート要素と、コリメートされた光を導波管の縁にまたはそこから光学的に結合する１つ以上の光学結合要素とをさらに備え得る。

【0009】

典型的光ファイバ走査ディスプレイシステムでは、各光ファイバは、設計された走査パターンに従って光を走査するために、支点から比較的に大きい振れを通して掃引する振動カンチレバーとしての役割りを果たす。しかしながら、コリメートされた光の大きい振れに起因して、光学結合要素のサイズは、比較的に大きくなければならず、それによって、ディスプレイシステムのサイズを増加させる。光学結合要素のこのサイズは、スタックされた導波管アーキテクチャの場合、より問題となり、それは、走査光ファイバからのより離れた導波管に関連付けられた光学要素が走査されるコリメートされた光のより大きいスパンに適応するためにより大きくなることを要求する。

【0010】

例えば、図２を参照すると、ディスプレイシステム２０の一実施形態は、空間的および／または時間的に変動する光の形態でエンコードされた画像データを生成する、１つ以上の光源２２と、光源２２に光学的に結合される光ファイバ２４と、光ファイバ２４の遠位端から出射する光をコリメートするコリメート要素２６とを備えている。ディスプレイシステム２０は、それに対して、またはその中に光ファイバ２４が固定−自由可撓性カンチレバーとして搭載される圧電要素２８と、圧電要素２２に電気的に結合され、圧電要素２８をアクティブにし、電気的に刺激し、それによって、光ファイバ２４の遠位端を支点３４の周りに振れ３２を作成する所定の走査パターンで振動させる駆動電子機器３０とをさらに備えている。

【0011】

ディスプレイシステム２０は、エンドユーザの視野と略平行の複数の平面導波管４０ａ−４０ｅを含む導波管装置３８と、平面導波管４０の各々に関連付けられた１つ以上の回折光学要素（ＤＯＥ）４２ａ−４２ｅとを含む。光ファイバ２４から生じる光は、平面導波管４０のうちの選択されたものに沿って伝搬し、対応するＤＯＥ４２と交差し、光の一部に導波管装置３８の面からエンドユーザの眼に向かって出射させ、それは、選択された平面導波管４０に応じて、１つ以上の視認距離に集中させられる。

【0012】

ディスプレイシステム２０は、それぞれの平面導波管４０ａ−４０ｅの端部内に統合され、コリメートされた光を平面導波管４０の選択されたものの中に反射する回折光学要素（ＤＯＥ）４４ａ−４４ｅの形態における光学結合要素をさらに備えている。図から分かるように、各ＤＯＥ４４と光ファイバ２４の端部との間の距離が増加するにつれて、それぞれのＤＯＥ４４の長さも、光ファイバ２４の振れ角度の増加する線形スパンに適応するために増加しなければならない。これは、必然的に、最大ＤＯＥ４４、この場合、ＤＯＥ４４ｅに起因して、サイズおよび複雑性を導波管装置３８に追加する。

【0013】

別の例として、図３を参照すると、ディスプレイシステム５０の別の実施形態は、図２のディスプレイシステム１０に類似するが、ディスプレイシステム５０は、コリメートされた光を平面導波管４０の選択されたものの中に反射するＤＯＥ５４ａ−５４ｅを有する光学分配用導波管５２の形態における光学結合要素を備えている。分配用導波管５２の幅は、光ファイバ２４の振れ角度の最大線形スパンに適応するために十分に大きくなければならず、それによって、必然的に、サイズおよび複雑性を導波管装置３８に追加する。

【0014】

したがって、仮想現実または拡張現実環境において、１つ以上の光ファイバからの光を１つ以上の平面導波管の中に結合するために使用される光学結合要素のサイズを低減させる必要性がある。

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明の実施形態は、一人以上のユーザのために、仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。

【課題を解決するための手段】

【0016】

本発明によると、エンドユーザによる使用のための仮想画像生成システムのためのディスプレイサブシステムが、提供される。仮想画像生成システムは、例えば、３次元場面を記憶しているメモリと、３次元場面の複数の合成画像フレームをレンダリングするために構成されている制御サブシステムとを備え得、その場合、ディスプレイサブシステムは、複数の画像フレームをエンドユーザに連続して表示するために構成され得る。

【0017】

ディスプレイサブシステムは、平面導波管装置と、光ファイバと、光ファイバの遠位端から光を放出するために構成されている少なくとも１つの光源とを備えている。一実施形態では、平面導波管装置は、エンドユーザの眼の正面に位置付けられるために構成される。平面導波管装置は、エンドユーザの眼と周囲環境との間の視野内に位置付けられるために構成されている部分的に透明なディスプレイ表面を有し得る。一実施形態では、ディスプレイサブシステムは、エンドユーザによって装着されるために構成されているフレーム構造をさらに備え得、その場合、フレーム構造は、平面導波管装置を支持し得る。

【0018】

ディスプレイサブシステムは、光ファイバが固定−自由可撓性カンチレバーとして搭載されている機械的駆動アセンブリをさらに備えている。駆動アセンブリは、出力／放出された光が支点と一致する縦軸から発散するように、走査パターンに従って支点の周りに光ファイバの遠位端を変位させるために構成される。一実施形態では、機械的駆動アセンブリは、光ファイバが搭載されている圧電要素と、電気信号を圧電要素に伝達し、それによって、走査パターンに従って光ファイバを振動させるために構成される駆動電子機器とを備えている。ディスプレイサブシステムは、随意に、光ファイバからの光をコリメートするために構成されているコリメート要素をさらに備え得る。

【0019】

ディスプレイサブシステムは、光ファイバからの光を縦軸に向かって収束させるために構成されている光学変調装置をさらに備えている。一実施形態では、光学変調装置は、光を縦軸上の焦点に収束させるために構成される。焦点は、例えば、縦軸に沿った光学導波管入力装置の中心等、光学導波管入力装置内に位置し得る。光学変調装置は、例えば、少なくとも１つの回折格子を備え得る。回折格子の各々は、走査パターンの幾何学形状に合致する回折パターンを有し得る。例えば、走査パターンが渦巻走査パターンである場合、回折パターンも、渦巻回折パターンであり得る。別の実施形態では、光学変調装置は、回折格子のうちの１つが、第１の軸に沿って光を回折し、回折格子のうちの別の１つが、第１の軸に直交する第２の軸に沿って光を回折するように、直列の２つの直交回折格子備えている。

【0020】

ディスプレイサブシステムは、平面導波管装置が１つ以上の画像フレームをエンドユーザに表示するように、光学変調装置からの光を平面導波管装置に沿って向かわせるために構成されている光学導波管入力装置をさらに備えている。一実施形態では、平面導波管装置は、画像フレームを異なる焦点においてエンドユーザにそれぞれ表示するために構成されている複数の平面導波管を備え、その場合、光学導波管入力装置は、光を複数の平面導波管のうちの選択された１つに沿って向かわせるために構成され得る。別の実施形態では、光学導波管入力装置は、平面導波管に沿って平行にそれぞれ延びている複数の回折光学要素を備え、光学変調装置からの光を平面導波管に沿ってそれぞれ向かわせる。さらに別の実施形態では、光学導波管入力装置は、平面導波管と垂直に延びている分配用導波管を備え得、分配用導波管は、光学変調装置からの光を平面導波管に沿ってそれぞれ向かわせる複数の回折光学要素を備えている。

【0021】

本発明の追加のおよび他の目的、特徴、ならびに利点が、発明を実施するための形態、図、および請求項で説明される。

【図面の簡単な説明】

【0022】

図面は、本発明の実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の前述および他の利点ならびに目的が得られる方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに説明ならびに記載されるであろう。

【図1】図１は、従来技術の拡張現実生成デバイスによってエンドユーザに表示され得る３次元拡張現実場面の写真である。

【図2】図２は、拡張現実生成デバイス内で使用され得る従来技術のディスプレイシステムの一実施形態の平面図である。

【図3】図３は、拡張現実生成デバイス内で使用され得る従来技術のディスプレイシステムの別の実施形態の平面図である。

【図4】図４は、一実施形態に従って構築される仮想画像生成システムのブロック図である。

【図5】図５は、図４の仮想画像生成システムによって生成される例示的フレームの平面図である。

【図6】図６は、フレームを生成するために使用され得る１つの走査パターンの平面図である。

【図7】図７は、フレームを生成するために使用され得る別の走査パターンの平面図である。

【図8】図８は、フレームを生成するために使用され得るさらに別の走査パターンの平面図である。

【図9】図９は、フレームを生成するために使用され得るさらに別の走査パターンの平面図である。

【図10A】図１０ａは、図４の仮想画像生成システムを装着するために使用され得る１つの技法の平面図である。

【図10B】図１０ｂは、図４の仮想画像生成システムを装着するために使用され得る別の技法の平面図である。

【図10C】図１０ｃは、図４の仮想画像生成システムを装着するために使用され得るさらに別の技法の平面図である。

【図10D】図１０ｄは、図４の仮想画像生成システムを装着するために使用され得るさらに別の技法の平面図である。

【図11】図１１は、図４の仮想画像生成システムにおいて使用するためのディスプレイサブシステムの一実施形態の平面図である。

【図12】図１２は、図１１のディスプレイサブシステムにおいて使用するための一次平面導波管の一実施形態である。

【図13A】図１３ａは、図４の仮想画像生成システムにおいて使用するためのディスプレイサブシステムの一実施形態の斜視図である。

【図13B】図１３ｂは、特に、１つの焦点から延びている光線を示す、図１３ａのディスプレイサブシステムの斜視図である。

【図13C】図１３ｃは、特に、別の焦点から延びている光線を示す、図１３ａのディスプレイサブシステムの斜視図である。

【図14】図１４は、図４の仮想画像生成システムにおいて使用するためのディスプレイサブシステムの別の実施形態の平面図である。

【図15】図１５は、図１３のディスプレイサブシステムにおいて使用するための平面導波管装置の一実施形態の平面図である。

【図16】図１６は、図１３のディスプレイサブシステムにおいて使用するための平面導波管装置の別の実施形態の平面図である。

【図17】図１７は、図１６の平面導波管装置の投影図である。

【図18A】図１８ａは、図１３のディスプレイサブシステムにおいて使用され得る光学結合サブシステムおよび走査デバイスの一実施形態の平面図であり、特に、光学導波管入力装置の中心における焦点上への光ビームの収束を示す。

【図18B】図１８ｂは、図１８ａの光学結合サブシステムおよび走査デバイスの平面図であり、特に、光学導波管入力装置の縁における焦点上への光ビームの収束を示す。

【図19】図１９は、図１３ａの光学結合サブシステムにおいて使用するための光学導波管入力装置の一実施形態の平面図である。

【図20】図２０は、図１３ａの光学結合サブシステムにおいて使用するための光学導波管入力装置の別の実施形態の平面図である。

【図21】図２１は、図１８ａの光学結合サブシステムにおける光学変調装置内で使用され得る渦巻回折パターンの平面図である。

【図22A】図２２ａは、図１８ａの光学結合サブシステム内で使用され得る光学変調装置の一実施形態である。

【図22B】図２２ｂは、図１８ａの光学結合サブシステム内で使用され得る光学変調装置の別の実施形態である。

【発明を実施するための形態】

【0023】

続く説明は、仮想現実および／または拡張現実システムにおいて使用されるべきディスプレイシステムおよび方法に関する。しかしながら、本発明は、仮想または拡張現実システムにおける用途に有用であるが、本発明は、そのように限定されないこともあることを理解されたい。

【0024】

図４を参照して、本発明に従って構築される仮想画像生成システム１００の一実施形態が、ここで説明されるであろう。仮想画像生成システム１００は、拡張現実サブシステムとして動作させられ、エンドユーザ５０の視野内の物理的オブジェクトと混合される仮想オブジェクトの画像を提供し得る。仮想画像生成システム１００を動作させるときの２つの基本アプローチが存在する。第１のアプローチは、周囲環境の画像を捕捉するための１つ以上の撮像機（例えば、カメラ）を採用する。仮想画像生成システム１００は、仮想画像を周囲環境の画像を表すデータの中に混合させる。第２のアプローチは、１つ以上の少なくとも部分的に透明な表面を採用し、それを通して周囲環境が、見られることができ、その上に仮想画像生成システム１００が、仮想オブジェクトの画像を生成する。

【0025】

仮想画像生成システム１００および本明細書に教示される種々の技法は、拡張現実および仮想現実サブシステム以外の用途でも採用され得る。例えば、種々の技法は、任意の投影もしくはディスプレイサブシステムに適用され得るか、または、それらは、移動が頭部ではなく、エンドユーザの手によって行われ得るピコプロジェクタに適用され得る。したがって、多くの場合、拡張現実サブシステムまたは仮想現実サブシステムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなサブシステムに限定されるべきではない。

【0026】

少なくとも拡張現実用途のために、種々の仮想オブジェクトをエンドユーザ５０の視野内のそれぞれの物理的オブジェクトに対して空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、本明細書では、仮想タグまたはコールアウトとも称され、多種多様な形態、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造のいずれかをとり得る。仮想オブジェクトの非限定的例として、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現が挙げられ得る。

【0027】

この目的を達成するために、仮想画像生成システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、ディスプレイサブシステム１０４がエンドユーザ５０の眼５２の正面に位置付けられるように、フレーム構造１０２によって支持されるディスプレイサブシステム１０４と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）ように、フレーム構造１０２によって支持されるスピーカ１０６とを備えている。ディスプレイサブシステム１０４は、エンドユーザ５０の眼５２に、物理的現実に対する拡張として快適に知覚されることができる光ベースの放射パターン、高レベルの画質および３次元知覚を提示するように設計され、かつ２次元コンテンツを提示することも可能であり得る。ディスプレイサブシステム１０４は、一連の合成画像フレームを高周波数で提示し、単一コヒーレント場面の知覚を提供する。

【0028】

ディスプレイサブシステム１０４は、投影サブシステム１０８と、投影サブシステム１０８が画像を投影する、部分的に透明なディスプレイ画面１１０とを備えている。ディスプレイ画面１１０は、エンドユーザ５０の眼５２と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。

【0029】

図示される実施形態では、投影サブシステム１０８は、光ファイバ走査ベースの投影デバイスの形態をとり、ディスプレイ画面１１０は、導波管ベースのディスプレイの形態をとり、その中に投影サブシステム１０８からの走査された光が、投入され、例えば、無限遠より近い単一光学視認距離（例えば、腕の長さ）における画像、複数の個別的な光学視認距離もしくは焦点面における画像、および／または複数の視認距離もしくは焦点面にスタックされ、立体３Ｄオブジェクトを表す画像層を生成する。明視野内のこれらの層は、ヒト視覚副系に一緒に連続して見えるように十分に近接してスタックされ得る（すなわち、一方の層は、隣接する層の乱信号円錐域内にある）。加えて、または代替として、写真要素が、２つ以上の層にわたって混成され、それらの層がより疎らにスタックされる場合でも、明視野内の層間の遷移の知覚される連続性を増加させ得る（すなわち、一方の層は隣接する層の乱信号円錐域外にある）。ディスプレイサブシステム１０４は、単眼または双眼用であり得る。

【0030】

したがって、ディスプレイサブシステム１０４は、１つ以上の仮想オブジェクトの画像をユーザに提示するピクセル情報の一連の合成画像フレームを生成する。例えば、図５を参照すると、合成画像フレーム１１８は、水平行または列１２２ａ−１２２ｎに分割されたセル１２０ａ−１２０ｍを用いて図式的に図示される。フレーム１１８の各セル１２０は、セル１２０が対応するそれぞれのピクセルのための複数の色および／または強度の各々のための値を規定し得る。例えば、フレーム１１８は、各ピクセルのために、赤色のための１つ以上の値１２４ａ、緑色のための１つ以上の値１２４ｂ、および青色のための１つ以上の値１２４ｃを規定し得る。値１２４は、色の各々のためのバイナリ表現、例えば、各色のためのそれぞれの４ビット数として規定され得る。フレーム１１８の各セル１２０は、加えて、振幅を規定する値１２４ｄを含み得る。

【0031】

フレーム１１８は、１つ以上のフィールド（集合的に１２６）を含み得る。フレーム１１８は、単一フィールドから成り得る。代替として、フレーム１１８は、２つまたはさらにより多くのフィールド１２６ａ−１２６ｂを備え得る。フレーム１１８の完全な第１のフィールド１２６ａのためのピクセル情報は、完全な第２のフィールド１２６ｂのためのピクセル情報の前に規定され得、例えば、アレイ、順序付けられたリスト、または他のデータ構造（例えば、記録、リンクされたリスト）において第２のフィールド１２６ｂのためのピクセル情報の前に生じる。提示サブシステムが２つのフィールド１２６ａ−１２６ｂより多くのフィールドをハンドリングするように構成されると仮定すると、第３またはさらに第４のフィールドが、第２のフィールド１２６ｂに続き得る。

【0032】

ここで図６を参照すると、フレーム１１８は、ラスタ走査パターン１２８を使用して生成される。ラスタ走査パターン１２８では、ピクセル１３０（１つのみ指図される）が、連続して提示される。ラスタ走査パターン１２８は、典型的には、左から右に、（矢印１３２ａ、１３２ｂによって示される）、次いで、上から下に（矢印１３４によって示される）、ピクセルを提示する。したがって、提示は、右上角から開始し、ラインの終了に到達するまで、第１のライン１３６ａにわたり左にトラバースし得る。そして、ラスタ走査パターン１２８は、典型的には、次の下のラインにおいて左から開始する。提示は、１つのラインの終了から次のラインの開始まで戻るとき、一時的にブラックアウトまたはブランクにされ得る。このプロセスは、下のライン１３６ｎが、例えば、最右下ピクセルにおいて完了するまで、ライン毎に繰り返される。フレーム１１８が完了すると、新しいフレームが、再び開始され、次のフレームの最上ラインの右に戻る。再び、提示は、次のフレームを提示するために左下から右上に戻る間、ブランクにされ得る。

【0033】

ラスタ走査の多くの実装は、インターレース走査パターンと称されるものを採用する。インターレースラスタ走査パターンでは、第１および第２のフィールド１２６ａ、１２６ｂからのラインは、インターレースされる。例えば、第１のフィールド１２６ａのラインを提示するとき、第１のフィールド１２６ａのためのピクセル情報は、奇数ラインのためだけに使用され得る一方、第２のフィールド１２６ｂのためのピクセル情報は、偶数ラインのためだけに使用され得る。したがって、フレーム１１８（図５）の第１のフィールド１２６ａのラインの全ては、典型的には、第２のフィールド１２６ｂのラインの前に提示される。第１のフィールド１２６ａは、第１のフィールド１２６ａのピクセル情報を使用して提示され、ライン１、ライン３、ライン５等を連続して提示し得る。次いで、フレーム１１８（図５）の第２のフィールド１２６ｂは、第２のフィールド１２６ｂのピクセル情報を使用することによって、第１のフィールド１２６ａに続いて提示され、ライン２、ライン４、ライン６等を連続して提示し得る。

【0034】

図７を参照すると、スパイラル走査パターン１４０が、ラスタ走査パターン１２８の代わりに使用され、フレーム１１８を生成し得る。スパイラル走査パターン１４０は、単一のスパイラル走査ライン１４２から成り得、スパイラル走査ライン１４２は、１つ以上の完全な角度サイクル（例えば、３６０度）を含み得、完全な角度サイクルは、コイルまたはループとして実証され得る。図６に図示されるラスタ走査パターン１２８と同様に、スパイラル走査パターン１４０におけるピクセル情報は、角度が増分するにつれて、各連続的なピクセルの色および／または強度を規定するために使用される。振幅または半径方向値１４６は、スパイラル走査ライン１４２の開始点１４８からの半径方向寸法を規定する。

【0035】

図８を参照すると、リサージュ走査パターン１５０が、代替として使用され、フレーム１１８を生成し得る。リサージュ走査パターン１５０は、単一のリサージュ走査ライン１５２から成り得、リサージュ走査ライン１５２は、１つ以上の完全な角度サイクル（例えば、３６０度）を含み得、完全な角度サイクルは、コイルまたはループとして実証され得る。代替として、リサージュ走査パターン１５０は、２つ以上のリサージュ走査ライン１５２を含み得、各々は、互いに対して位相シフトされ、リサージュ走査ライン１５２をネスト化する。ピクセル情報は、角度が増分するにつれて、各連続的なピクセルの色および／または強度を規定するために使用される。振幅または半径方向値は、リサージュ走査ライン１５２の開始点１５６からの半径方向寸法１５４を規定する。

【0036】

図９を参照すると、マルチフィールドスパイラル走査パターン１５８が、代替として使用され、フレーム１１８を生成し得る。マルチフィールドスパイラル走査パターン１５８は、２つ以上の異なるスパイラル走査ライン（集合的に、１６０）、具体的には、４つのスパイラル走査ライン１６０ａ−１６０ｄを含む。各スパイラル走査ライン１６０のためのピクセル情報は、フレームのそれぞれのフィールドによって規定され得る。有利には、複数のスパイラル走査ライン１６０は、単に、スパイラル走査ライン１６０の各連続するもの間の位相をシフトさせることによってネスト化され得る。スパイラル走査ライン１６０間の位相差は、採用されるであろうスパイラル走査ライン１６０の総数の関数となるべきである。例えば、４つのスパイラル走査ライン１６０ａ−１６０ｄは、９０度位相シフトによって分離され得る。例示的実施形態は、１０の異なるスパイラル走査ライン（すなわち、サブスパイラル）を用いて、１００Ｈｚリフレッシュレートで動作し得る。図７の実施形態と同様に、１つ以上の振幅または半径方向値は、スパイラル走査ライン１６０の開始点１６４からの半径方向寸法１６２を規定する。

【0037】

図４に戻って参照すると、仮想画像生成システム１００は、エンドユーザ５０の頭部５４の位置および移動ならびに／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つ以上のセンサ（図示せず）をさらに備えている。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含み得る。

【0038】

例えば、一実施形態では、仮想画像生成システム１００は、エンドユーザ５０の頭部５４の移動を示す慣性測定値を捕捉するための１つ以上の慣性変換器を含む頭部装着型変換器サブシステム１２６を備えている。そのようなものは、エンドユーザ５０の頭部の移動についての情報を感知、測定、または収集するために使用され得る。例えば、そのようなものは、エンドユーザ５０の頭部５４の測定移動、速度、加速、および／または位置を検出するために使用され得る。

【0039】

仮想画像生成システム１００は、１つ以上の前向きカメラ１２８をさらに備え、それは、エンドユーザ５０が位置する環境についての情報を捕捉するために使用され得る。前向きカメラ１２８は、その環境およびその環境内の特定のオブジェクトに対するエンドユーザ５０の距離ならびに向きを示す情報を捕捉するために使用され得る。頭部装着型であるとき、前向きカメラ１２８は、特に、エンドユーザ５０が位置する環境およびその環境内の特定のオブジェクトに対するエンドユーザ５０の頭部５４の距離および向きを示す情報を捕捉するために好適である。前向きカメラ１２８は、例えば、頭部の移動、頭部の移動の速度、および／または加速を検出するために採用され得る。前向きカメラ１２８は、例えば、エンドユーザ５０の頭部５４の向きに少なくとも部分的に基づいて、例えば、エンドユーザ５０の注意の中心を検出または推測するために採用され得る。向きは、任意の方向（例えば、エンドユーザ５０の基準フレームに対して上／下、左、右）において検出され得る。

【0040】

仮想画像生成システム１００は、一対の後向きカメラ１２９をさらに備え、エンドユーザ５０の眼５２の移動、瞬き、および焦点深度を追跡する。そのような眼追跡情報は、例えば、光をエンドユーザの眼に投影し、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別され得る。

【0041】

仮想画像生成システム１００は、ユーザ向き検出モジュール１３０をさらに備えている。患者向きモジュール１３０は、エンドユーザ５０の頭部５４の瞬時位置を検出し、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測し得る。重要なこととして、エンドユーザ５０の頭部５４の瞬時位置の検出は、エンドユーザ５０が見ている特定の実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトのために生成されるべき特定のテキストメッセージの指示を提供し、さらに、テキストメッセージがストリーミングされるべきテキスト領域の指示を提供する。患者向きモジュール１３０は、センサから受信された追跡データに基づいて、エンドユーザ５０の眼５２も追跡する。

【0042】

仮想画像生成システム１００は、多種多様な形態のいずれかをとり得る制御サブシステムをさらに備えている。制御サブシステムは、いくつかのコントローラ、例えば、１つ以上のマイクロコントローラ、マイクロプロセッサもしくは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

【0043】

図示される実施形態では、仮想画像生成システム１００は、中央処理ユニット（ＣＰＵ）１３２と、グラフィック処理ユニット（ＧＰＵ）１３４と、１つ以上のフレームバッファ１３６とを備えている。ＣＰＵ１３２は、全体的動作を制御する一方、ＧＰＵ１３４は、遠隔データリポジトリ１５０内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ１３６内に記憶する。図示されないが、１つ以上の追加の集積回路が、フレームのフレームバッファ１３６の中への読み込みおよび／またはそこからの読み取りならびにディスプレイサブシステム１０４の走査デバイスの動作を制御し得る。フレームバッファ１４６の中への読み込みおよび／またはそこからの読み取りは、動的アドレス指定を採用し得、例えば、フレームは、オーバーレンダリングされる。仮想画像生成システム１００は、読み取り専用メモリ（ＲＯＭ）１３８と、ランダムアクセスメモリ（ＲＡＭ）１４０とをさらに備えている。仮想画像生成システム１００は、３次元データベース１４２をさらに備え、そこからＧＰＵ１３４は、フレームをレンダリングするための１つ以上の場面の３次元データにアクセスすることができる。

【0044】

仮想画像生成システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含まれ得る。例えば、図１０ａ−１０ｄに図示されるように、仮想画像生成システム１００は、有線導線または無線接続性１４６等によって、ディスプレイサブシステム１０４およびセンサに動作可能に結合されるローカル処理およびデータモジュール１４４を備えている。ローカル処理およびデータモジュール１４４は、フレーム構造１０２に固定して取り付けられること（図１０ａ）、ヘルメットもしくは帽子５６に固定して取り付けられること（図１０ｂ）、ヘッドホン内に埋設されること、エンドユーザ５０の胴体５８に除去可能に取り付けられること（図１０ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられること（図１０ｄ）等、種々の構成で搭載され得る。仮想画像生成システム１００は、遠隔処理モジュール１４８および遠隔データリポジトリ１５０をさらに備え、これらは、有線導線または無線接続性１５０、１５２等によってローカル処理およびデータモジュール１４４に動作可能に結合され、それによって、これらの遠隔モジュール１４８、１５０は、互いに動作可能に結合され、ローカル処理およびデータモジュール１４４に対してリソースとして利用可能である。

【0045】

ローカル処理およびデータモジュール１４４は、電力効率的プロセッサまたはコントローラならびにフラッシュメモリ等のデジタルメモリを備え得、両方とも、センサから捕捉され、および／または可能性として、そのような処理または読み出し後、ディスプレイサブシステム１０４への通過のために、遠隔処理モジュール１４８および／または遠隔データリポジトリ１５０を使用して取得ならびに／もしくは処理されたデータの処理、キャッシュ、および記憶を補助するために利用され得る。遠隔処理モジュール１４８は、データおよび／または画像情報を分析ならびに処理するように構成される１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。遠隔データリポジトリ１５０は、比較的に大規模なデジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。一実施形態では、全データが、記憶され、全計算は、ローカル処理およびデータモジュール１４４において行われ、任意の遠隔モジュールからの完全に自律的使用を可能にする。

【0046】

前述の種々のコンポーネント間の結合１４６、１５２、１５４は、有線もしくは光学通信を提供するための１つ以上の有線インターフェースもしくはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースもしくはポートを含み得る。いくつかの実装では、全ての通信は、有線であり得る一方、他の実装では、全ての通信は、無線であり得る。なおもさらなる実装では、有線および無線通信の選択は、図１０ａ−１０ｄに図示されるものと異なり得る。したがって、有線または無線通信の特定の選択は、限定と見なされるべきではない。

【0047】

図示される実施形態では、患者向きモジュール１３０は、ローカル処理およびデータモジュール１４４内に含まれる一方、ＣＰＵ１３２およびＧＰＵ１３４は、遠隔処理モジュール１４８内に含まれるが、代替実施形態では、ＣＰＵ１３２、ＧＰＵ１２４、またはその一部は、ローカル処理およびデータモジュール１４４内に含まれ得る。３Ｄデータベース１４２は、遠隔データリポジトリ１５０に関連付けられることができる。

【0048】

ここで図１１および１２を参照すると、ディスプレイ画面１１０は、一次導波管装置２００を備えている。一次導波管装置２００は、１つ以上の一次平面導波管２０２（１つのみが図１１および１２に示される）と、一次導波管２０２の少なくともいくつかの各々に関連付けられた１つ以上の回折光学要素（ＤＯＥ）２０４（１つのみが図１１および１２に示される）とを含む。図１２に最良に図示されるように、各一次導波管２０２は、第１の端部２０６ａと、第２の端部２０６ｂとを有し、第２の端部２０６ｂは、一次導波管２０２の長さ２０８に沿って第１の端部２０６ａと対向する。一次導波管２０２の各々は、第１の面２１０ａと、第２の面２１０ｂとを有し、少なくとも第１および第２の面２１０ａ、２１０ｂ（集合的に、２１０）は、一次導波管２０２の長さ２０８の少なくとも一部に沿って少なくとも部分的に内部反射光学経路（矢印２１２ａおよび破線矢印２１２ｂ、集合的に、２１２によって図示される）を形成する。一次導波管２０２は、光が定義された臨界角未満で面２１０に衝打する光に対して、実質的全内部反射（ＴＩＲ）を提供する種々の形態をとり得る。一次導波管２０２の各々は、例えば、ガラス、溶融シリカ、アクリル、またはポリカーボネートの面板もしくは平面の形態をとり得る。

【0049】

ＤＯＥ２０４（点鎖二重線によって図１１および１２に図示される）は、ＴＩＲ光学経路２１２を中断する多種多様な形態をとり得、一次導波管２０２の長さ２０６の少なくとも一部に沿って延びている一次導波管２０２の内部２１６と外部２１８との間における複数の光学経路（矢印２１４ａおよび破線矢印２１４ｂ、集合的に、２１４によって図示される）を提供する。ＤＯＥ２０４は、見掛けオブジェクトおよび見掛けオブジェクトのための焦点面の位置付けを可能にし得る。これは、フレーム毎、サブフレーム毎、またはさらにピクセル毎に達成され得る。

【0050】

図１２に図示されるように、光は、ＴＩＲ伝搬から生じる少なくともいくつかの反射または「跳ね返り」を伴って、一次導波管２０２に沿って伝搬する。いくつかの実装は、反射を促進し得る、例えば、薄膜、誘電コーティング、金属化コーティング等の１つ以上の反射体を内部光学経路内に採用し得ることに留意されたい。光は、一次導波管２０２の長さ２０８に沿って伝搬し、長さ２０８に沿って種々の位置において１つ以上のＤＯＥ２０４と交差する。ＤＯＥ２０４は、一次導波管２０２内に組み込まれるか、または一次導波管２０２の面２１０のうちの１つ以上のものに当接もしくは隣接し得る。ＤＯＥ２０４は、少なくとも２つの機能を遂行する。ＤＯＥ２０４は、光の角度をシフトさせ、光の一部にＴＩＲから脱出させ、一次導波管２０２の１つ以上の面２１０を介して、内部２１６から外部２１８に出現させる。ＤＯＥ２０４は、外部結合された光を１つ以上の視認距離に集中させる。したがって、一次導波管２０２の面２１０ａを通して見ると、デジタル画像が１つ以上の視認距離に見える。

【0051】

図１３ａ−１３ｃを参照すると、ディスプレイ画面１１０は、分配用導波管装置２２２を備え、光を第１の軸（図１１ａにおける垂直またはＹ−軸）に沿って中継し、光の有効射出瞳を第１の軸（例えば、Ｙ−軸）に沿って拡張させる。分配用導波管装置２２２は、例えば、１つ以上の分配用平面導波管２２４（１つのみが示される）と、分配用平面導波管２２４の各々に関連付けられたＤＯＥ２２６（二重点鎖線によって図示される）とを含み得る。分配用平面導波管２２４は、少なくともいくつかの点において、それと異なる向きを有する一次導波管２０２と類似または同じであり得る。同様に、ＤＯＥ２２６も、少なくともいくつかの点において、ＤＯＥ２０４と類似または同じであり得る。例えば、分配用平面導波管２２０および／またはＤＯＥ２２６は、それぞれ、一次導波管２０２および／またはＤＯＥ２０４と同一材料から成り得る。

【0052】

中継され、射出瞳が拡張された光は、分配用導波管装置２２２から一次導波管２０２の中に光学的に結合される。一次導波管２０２は、光を、好ましくは、第１の軸に直交する、第２の軸（例えば、図１３ａの水平またはＸ−軸）に沿って中継する。とりわけ、第２の軸は、第１の軸と非直交軸であることもできる。一次導波管２０２は、光の有効射出瞳をその第２の軸（例えば、Ｘ−軸）に沿って拡張させる。特に、分配用平面導波管２２４は、光を垂直またはＹ−軸に沿って中継および拡張させ、その光を一次導波管２０２に通過させることができ、一次導波管２０２は、光を水平またはＸ−軸に沿って中継および拡張させる。

【0053】

ディスプレイ画面１１０は、光学無限遠より近くに位置付けられることが可能な単一焦点面に画像を生成し得る。コリメートされた光は、図１３ｂに示されるように、全内部反射によって分配用平面導波管２２４に沿って垂直に伝搬し、そうすることによって、ＤＯＥ２２６と繰り返し交差する。ＤＯＥ２２６は、好ましくは、低回折効率（例えば、５０％未満）を有する。これは、光の一部（例えば、１０％）をＤＯＥ２２６との交差点の各点においてより大きい一次平面導波管２０２の縁に向かって回折させ、光の一部をＴＩＲを介して分配用平面導波管２２４の長さに沿ってその元の軌道を継続させる。ＤＯＥ２２６との交差点の各点において、さらなる光が、一次導波管２０２の入口に向かって回折される。入射光を複数の外部結合される組に分割することによって、光の射出瞳は、分配用平面導波管２２４内のＤＯＥ２２６によって垂直に拡張される。分配用平面導波管２２４の外に結合されるこの垂直に拡張された光は、一次導波管２０２の縁に入射する。

【0054】

一次導波管２０２に入射する光は、ＴＩＲを介して一次導波管２０２に沿って水平に伝搬する（図１３ｂに示されるように）。光は、ＴＩＲを介して一次導波管２０２の長さの少なくとも一部に沿って水平に伝搬するにつれて、複数の点においてＤＯＥ２０４と交差する。ＤＯＥ２０４は、有利には、線形の回折格子と放射対称の回折レンズとの総和である位相プロファイルを有するように設計または構成され得る。ＤＯＥ２０４は、有利には、低回折効率を有し得る。伝搬する光とＤＯＥ２０４との間の交差点の各点において、光の一部は、一次導波管２０２の隣接する面に向かって回折され、光がＴＩＲから脱出し、一次導波管２０２の面から出現することを可能にする。ＤＯＥ２０４の放射対称のレンズ側面は、加えて、焦点レベルを回折される光に授け、個々のビームの光波面の成形（例えば、曲率を授ける）と設計される焦点レベルに合致する角度におけるビームの操向との両方を行う。図１３ｂに図示されるように、４つのビーム２２８ａ−２２８ｄが、焦点２２８まで幾何学的に延び、各ビームは、有利には、焦点２２８に半径の中心を有する凸面波面プロファイルが授けられ、画像または仮想オブジェクト２３０ａを所与の焦点面に生成する。

【0055】

図１３ｃを参照すると、ディスプレイ画面１１０は、多焦点立体ディスプレイ、画像、または明視野を生成し得る。第１の４つのビームの組２２８ａ−２２８ｄは、焦点２３０ａまで幾何学的に延び、各ビーム２２８ａ−２２８ｄは、有利には、焦点２３０ａに半径の中心を有する凸面波面プロファイルを授けられ、画像または仮想オブジェクト２３２ａの別の部分をそれぞれの焦点面に生成する。第２の４つのビームの組２２８ｅ−２２８ｈは、焦点２３０ｂまで幾何学的に延び、各ビーム２２８ｅ−２２８ｈは、有利には、焦点２３０ｂに半径の中心を有する凸面波面プロファイルを授けられ、画像または仮想オブジェクト２３２ｂの別の部分をそれぞれの焦点面に生成する。

【0056】

図１１−１３に図示されるディスプレイサブシステム１０４の実施形態では、単一投影サブシステム１０８が、画像データをディスプレイ画面１１０に提供するために使用される。図１１−１３に図示されるディスプレイシステムと対照的に、図１４に図示されるように、ディスプレイサブシステム１０４は、複数の投影サブシステム１０８ａ−１０８ｅ（５つのみが示され、集合的に、１０８）を備え、それぞれの画像データをディスプレイ画面１１０に提供し得る。投影サブシステム１０８は、概して、ディスプレイ画面１１０の縁２３４に沿って整列または配列され、それに沿って配置される。例えば、平面導波管２０２の数と投影サブシステム１０８の数との間には、１対１（１：１）の比率または相関が存在し得る。

【0057】

ディスプレイサブシステム１０４は、単一一次平面導波管２０２の使用を可能にすることができる。複数の投影サブシステム１０８は、例えば、エンドユーザの頭部のこめかみに最も近い一次平面導波管２０２の縁２３４に沿って線形アレイで配置されることができる。各投影サブシステム１０８は、サブ画像データをエンコードする変調された光を一次平面導波管２０２の中に異なるそれぞれの位置から投入し、したがって、光の異なる経路を生成する。これらの異なる経路は、異なる角度におけるＤＯＥの多重度、焦点レベル、および／または異なる充填パターンを射出瞳においてもたらすことによって、光が一次平面導波管２０２の外に結合されるようにすることができる。射出瞳における異なる充填パターンは、明視野ディスプレイを作成するために有益に使用されることができる。スタックまたはスタック内の層の組（例えば、３層）における各層は、それぞれの色（例えば、赤色、青色、緑色）を生成するために採用され得る。したがって、例えば、第１の３つの隣接する層の組は、それぞれ、赤色、青色、および緑色光を第１の焦点深度に生成するために採用され得る。第２の３つの隣接する層の組は、それぞれ、赤色、青色、および緑色光を第２の焦点深度に生成するために採用され得る。複数の組は、種々の焦点深度を伴う完全３Ｄまたは４Ｄ色画像フィールドを生成するために採用され得る。

【0058】

ここで図１５を参照すると、各平面導波管２０２は、複数のＤＯＥ２０４ａ−２０４ｄ（各々、二重点鎖線として４つが図示され、集合的に、２０４）を含み得る。ＤＯＥ２０４は、ディスプレイ画面１１０の視野と略平行な軸２３６に沿ってスタック、整列、または配列される。全て内部にあるように図示されるが、いくつかの実装では、ＤＯＥ２０４のうちの１つ、それを上回るもの、またはさらに全てが、一次導波管２０２の外部にあり得る。

【0059】

いくつかの実装では、各ＤＯＥ２０４は、独立して、オンおよびオフに切り替えられることが可能であり得る。すなわち、各ＤＯＥ２０４は、それぞれのＤＯＥ２０４がそれぞれのＤＯＥ２０４と交差する光の有意な割合を回折させるように、アクティブにされることができるか、または、それは、それぞれのＤＯＥ２０４がそれぞれのＤＯＥ２０４と交差する光を全く回折させないか、もしくは光の有意ではない割合のみを回折させるかのいずれかであるように、非アクティブにされることができる。「有意な」とは、本文脈では、一次導波管２０２の外に結合されるとき、ヒト視覚系によって知覚されるために十分な光を意味し、「有意ではない」とは、ヒト視覚系によって知覚されるために十分ではない光、または視認者によって無視されるほど十分に低いレベルを意味する。

【0060】

切り替え可能なＤＯＥ２０４は、一次平面導波管２０２内の１つのみのＤＯＥ２０４が、一次平面導波管２０２内の光をアクティブに回折させ、一次平面導波管２０２の１つ以上の面２１０から知覚可能量で出現するように、一度に１つずつオンに切り替えられ得る。代替として、２つ以上のＤＯＥ２０４は、その回折効果が組み合わせられるように、同時にオンに切り替えられ得る。

【0061】

ＤＯＥの組内の各ＤＯＥ２０４は、異なる位相マップを有することができる。例えば、各ＤＯＥ２０４は、各ＤＯＥ２０４が、オンに切り替えられると、光をＸ、Ｙ、またはＺにおける異なる位置に向かわせるように、それぞれの位相マップを有することができる。ＤＯＥ２０４は、それらの線形格子側面および／またはその放射対称の回折レンズ側面において、例えば、互いから変動し得る。ＤＯＥ２０４がそれらの回折レンズ側面において互いから変動する場合、異なるＤＯＥ２０４（またはＤＯＥ２０４の組み合わせ）は、サブ画像を異なる光学視認距離、すなわち、異なる焦点距離において生成するであろう。ＤＯＥ２０４がそれらの線形格子側面において互いから変動する場合、異なるＤＯＥ２０４は、互いに対して側方シフトされたサブ画像を生成するであろう。そのような側方シフトは、ｆｏｖｅａｔｅｄディスプレイを作成すること、非均質分解能または他の非均質ディスプレイパラメータ（例えば、輝度、ピーク波長、偏光等）を伴うディスプレイ画像を異なる側方位置に誘導すること、走査される画像のサイズを増加させること、射出瞳の特性における変動を生成すること、および／または明視野ディスプレイを生成することを行うために有益に使用されることができる。側方シフトは、有利には、タイル表示を事前形成するために、またはタイル表示効果を生成される画像内で実現するために採用され得る。

【0062】

例えば、組内の第１のＤＯＥ２０４が、オンに切り替えられると、一次導波管２０２の一次または放出面２１０ａを見ている視認者に対して、画像を１メートルの光学視認距離（例えば、図１３ｃにおける焦点２３０ｂ）に生成し得る。組内の第２のＤＯＥ２０４は、オンに切り替えられると、一次導波管２０２の一次または放出面２１０ａを見ている視認者に対して、画像を１．２５メートルの光学視認距離（例えば、図１３ｂにおける焦点２３０ａ）に生成し得る。例示的ＤＯＥ２０４を急速時間シーケンス（例えば、フレーム毎、サブフレーム毎、ライン毎、サブライン毎、ピクセル毎、またはサブピクセル毎）においてオンおよびオフに切り替え、投影サブシステム１０８によって一次導波管２０２の中に投入されている画像データを同期して変調することによって、視認者に単一場面であるように知覚される複合多焦点立体画像が、形成される。異なるＤＯＥ２０４によって、異なるオブジェクトまたはオブジェクトの一部を視認者の眼に中継されるサブ画像にレンダリングすることによって（図１３ｃにおける場所２３２ｂにおいて）、仮想オブジェクトもしくは画像は、異なる光学視認距離に設置されるか、または仮想オブジェクトもしくは画像は、複数の焦点面を通して延びている３Ｄ立体として表されることができる。

【0063】

ここで図１６を参照すると、ディスプレイ画面１１０は、複数の平面導波管２０２ａ−２０２ｄ（４つが示され、集合的に、２０２）を備え得る。一次導波管２０２ａ−２００ｄは、ディスプレイ画面１１０の視野と略平行な軸２３６に沿ってスタック、整列、または配列される。一次導波管２０２の各々は、少なくとも１つのＤＯＥ２０４（図１６では、点鎖二重線によって図示され、１つのみが指図される）を含む。全て内部にあるように図示されるが、いくつかの実装では、ＤＯＥ２０４のうちの１つ、それを上回るもの、またはさらに全てが、一次導波管２０２の外部にあり得る。加えて、または代替として、平面導波管２０２あたりＤＯＥ２０４の単一線形アレイで図示されるが、一次導波管２０２のうちの１つ以上のものは、図１５に関して説明される実装と同様に、２つ以上のスタック、整列、または配列されたＤＯＥ２０４を含み得る。

【0064】

一次導波管２０２の各々は、図１５の実施形態におけるＤＯＥ２０４の動作と同様に機能し得る。すなわち、それぞれの平面導波管２０２のＤＯＥ２０４の各々は、それぞれの位相マップを有し得、種々のＤＯＥ２０４の位相マップは、互いに異なる。ＤＯＥ２０４の動的切り替え（例えば、オン／オフ）が、図１５の実施形態で採用されたが、これは、図１６の実施形態では回避されることができる。動的切り替えの代わりに、またはそれに加えて、ディスプレイシステム１１０は、それぞれの位相マップに基づいて、光を一次導波管２０２に選択的にルーティングし得る。したがって、所望の位相マップを有する特定のＤＯＥ２０４をオンにするのではなく、ディスプレイシステム１１０は、所望の位相マッピングを伴うＤＯＥ２０４を有する、またはそれに関連付けられた特定の平面導波管２０２に光をルーティングし得る。再び、これは、ＤＯＥ２０４の動的切り替えの代わりであるか、またはそれに加えてであり得る。

【0065】

一例では、投影サブシステムは、それぞれの位相マップに基づいて、選択的に動作させられ、光を一次導波管２０２に選択的にルーティングし得る。別の例では、各ＤＯＥ２０４は、図１５の実施形態におけるＤＯＥ２０４のオンおよびオフの切り替えを参照して説明されたものと同様に、独立して、オンおよびオフに切り替えられることが可能であり得る。ＤＯＥ２０４は、それぞれの位相マップに基づいて、オンおよびオフに切り替えられ、光を一次導波管２０２に選択的にルーティングし得る。

【0066】

図１６に図示されるように、光線は、一次導波管２０２ａ、２０２ｄのうちの２つから外向きに発出する。例証目的のために、第１の平面導波管２０２ａは、平面または平坦波面（光線２４０の周りの平坦線２３８によって図示され、図面を明確にするために、各々のうちの１つのみの事例が指図される）を無限焦点距離に生成する。対照的に、一次導波管のうちの別の１つ２０２ｄは、凸面波面（光線２４４の周りの弧２４２によって図示され、図面を明確にするために、各々のうちの１つのみの事例が指図される）を無限遠未満の定義された焦点距離（例えば、１メートル）に生成する。図１７に図示されるように、一次導波管２０２は、外観および／または光学視認距離、すなわち、射出瞳２４８に対する仮想オブジェクト２４６ａ−２４６ｃの異なる焦点距離を側方にシフトさせ得る。

【0067】

図１１−１３に戻って参照すると、投影サブシステム１０８は、光を生成する（例えば、異なる色の光を定義されたパターンで放出する）１つ以上の光源２５０と、制御信号に応答して、光を所定の走査パターン（例えば、図５−９に関して前述のもの等）で走査する走査デバイス２５２と、走査デバイス２５２からの光をディスプレイ画面１１０の中に結合する光学結合サブシステム２５４とを含む。

【0068】

光源２５０は、多種多様な形態のいずれかをとり、例えば、ピクセル情報またはデータのそれぞれのフレーム内で規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光をそれぞれ生成するように動作可能なＲＧＢレーザの組（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード）であり得る。レーザ光は、高色飽和を提供し、非常にエネルギー効率的である。

【0069】

走査デバイス２５２は、１つ以上の光ファイバ２５６（例えば、単一モード光ファイバ）を備え、それらの各々は、その中に光が光源２５０から受光される近位端２５６ａと、そこから光が部分的に透明なディスプレイ画面１１０に提供される遠位端２５６ｂとを有する。走査デバイス２５２は、光ファイバ２５６が搭載される機械的駆動アセンブリ２５８をさらに備えている。駆動アセンブリ２５８は、出力された光が支点２６０と一致する縦軸２６２から発散するように、走査パターンに従って光ファイバ２５６の遠位端２５６ｂを支点２６０の周りに変位させるために構成される。ディスプレイサブシステム１０４は、走査ファイバ技術を用いて実装されるように説明されているが、ディスプレイサブシステム１０４は、例えば、液晶ディスプレイ（ＬＣＤ）、デジタル光処理（ＤＬＰ）ディスプレイ等、任意のディスプレイ技術に基づき得ることを理解されたい。

【0070】

駆動アセンブリ２０８は、光ファイバ２５６が搭載される圧電要素２６４を備え、駆動電子機器２６６は、電気信号を圧電要素２６４に伝達し、それによって、光ファイバ２５６の遠位端２５６ｂを走査パターンに従って振動させるために構成される。したがって、光源２５０および駆動電子機器２６６の動作は、空間的および／または時間的に変動する光の形態でエンコードされる画像データを生成する様式で連係させられる。

【0071】

図示される実施形態では、圧電要素２６４は、中空管の形態をとり、その場合、光ファイバ２５６の遠位端２５６ｂは、圧電管２６４に通され、またはそれを通して受け取られる。光ファイバ２５６の遠位端２５６ｂは、固定−自由可撓性カンチレバー２６８（図１８ａおよび１８ｂに示される）として圧電管２６４から突出する。圧電管２６４は、４つの象限電極（図示せず）に関連付けられる。電極は、例えば、圧電管２６４の外側、外側表面、または外側周縁もしくは直径上にめっきされ得る。コア電極（図示せず）も、管２６４のコア、中心、内側周縁、または内径に位置する。

【0072】

駆動電子機器２６６は、ワイヤ２７０を介して電気結合され、対向する対の電極（図示せず）を駆動させ、圧電管２６４を２つの軸において独立して曲げる。光ファイバ２５６の突出遠位先端は、機械的共振モードを有する。共振の周波数は、光ファイバ２５６の直径、長さ、および材料特性に依存する。圧電管２６４をファイバカンチレバー２６８の第１の機械的共振モードの近傍で振動させることによって、ファイバカンチレバー２６８は、振動させられ、支点２６０の周りの大きな振れを通して掃引することができる。共振振動を２つの軸において刺激することによって、ファイバカンチレバー２６８の先端は、面積充填２Ｄ走査において２軸方向に走査される。ファイバカンチレバー２６８の走査と同期して光源２５０の強度を変調することによって、ファイバカンチレバー２６８から出現する光は、画像を形成する。

【0073】

簡単に前述されたように、光学結合サブシステム２５４は、光を走査デバイス２５２から導波管装置１０２に光学的に結合する。光学結合サブシステム２５４は、光学導波管入力装置２７２、例えば、１つ以上の反射表面、回折格子、ミラー、ダイクロイックミラー、またはプリズムを含み、光を導波管装置１０２の端部の中に光学的に結合する。光学結合サブシステム２５４は、加えて、または代替として、光ファイバ２５６からの光をコリメートするコリメート要素２７４を含む。

【0074】

簡単に前述されたように、走査デバイス２５２から放出される光は、最初、光ファイバ２５６の遠位端２５６ｂが支点２６０の周りに振動させられるにつれて、縦軸２６２から発散する。光ファイバ２５６の各位置では、光は、最初、遠位端２５６ｂから扇状に広がり、コリメート要素２７４によって、狭い光線にコリメートされる。修正を伴わない場合、比較的に大きな光学導波管入力装置２７２が、光ファイバ２５６の遠位端２５６ｂにおける比較的に大きな振れに適応するために必要とされるであろう。

【0075】

この目的を達成するために、光学結合サブシステム２５４は、光学変調装置２７６を備え、光学変調装置２７６は、光をコリメート要素２７４から縦軸２６２に向かって収束させるために、および図示される実施形態では、図１８ａに示されるように、光を光学導波管入力装置２７２の中心における焦点２７８上に収束させるために構成される。とりわけ、光を光学導波管入力装置２７２の中心に集中させることは、光学導波管入力装置２７２のサイズが最小化されることを可能にする。すなわち、光を光学導波管入力装置２７２の中心に集中させることは、光学導波管入力装置２７２の縁における掃引光経路の最悪の場合の発散スパンを最小化する。例えば、光が、図１８ｂに図示されるように、光学導波管入力装置２７２の正面縁上に集中させられる場合、光学導波管入力装置２７２は、光学導波管入力装置２７２の後縁における掃引光経路のより大きい発散スパンに適応するためにより大きく作製されなければならない。

【0076】

ここで図１９を参照すると、入力光学変調装置２７６と光学導波管入力装置２７２の一実施形態との間の相互作用が、説明されるであろう。この場合、光学導波管入力装置２７２は、分配用導波管装置２２２の形態をとり、図１３ａ−１３ｃに関して説明される関連付けられた分配用導波管２２４およびＤＯＥ２２６ａ−２２６ｅを伴う。図１９に示されるように、光学変調装置２７６は、光をコリメート要素２７４からＤＯＥ２２６ｃに位置する焦点２７８上に収束させ、それによって、ＤＯＥ２２６のサイズを最小化する。その結果、分配用導波管２２４の全体的幅は、最小化される。光は、次いで、一次導波管２０２ａ−２０２ｅのうちの１つ以上のものに沿って選択的に伝達される。

【0077】

ここで図２０を参照すると、ＤＯＥ２２６は、代替として、直接、一次導波管装置２００の中に組み込まれることができる。この場合、ＤＯＥ２２６は、それぞれ、導波管装置２００の一次平面導波管２０２ａ−２０２ｅに沿って平行に延び、それによって、ＤＯＥ２２６は、それぞれ、光学変調装置２７６からの光を一次導波管２０２に沿って向かわせる。図２０に示されるように、光学変調装置２７６は、光をコリメート要素２７４からＤＯＥ２２６ｃに位置する焦点２７８上に収束させ、それによって、ＤＯＥ２２６のサイズを最小化する。焦点２７８は、入力光学変調装置２７６の中心にあるので、ＤＯＥ２２６ａおよび２２６ｅの長さは、最悪の場合のＤＯＥ２２６を最小化するために、等しくされることができる。その結果、導波管装置２００の全体的サイズは、最小化される。

【0078】

一実施形態では、光学変調装置２７６は、１つ以上の回折格子を備え、それらの各々は、光を異なる方向に進行するいくつかのビームに分割し、回折する、光の波長ほどの周期的構造を伴う光学コンポーネントとして特徴付けられることができる。回折格子は、透過性または反射性のいずれかであり、例えば、基板上にフォトリソグラフィ的に印刷され得る表面ナノリッジ、ナノパターン、スリット等から成ることができる。代替実施形態では、光学変調装置２７６は、１つ以上のレンズを備え得る。

【0079】

図示される実施形態では、光学変調装置２７６は、光のコリメートが標的分解能で保存されるように、走査パターンの幾何学形状に合致する回折パターンを有する。例えば、渦巻走査パターンが使用される場合、回折パターンは、図２１に図示されるようなパターンの回折要素２８０を有し得る。単一回折格子が使用される場合、各回折要素は、光線２８２ａおよび２８２ｂを２次元において内向きに回折し得る（例えば、図２２ａの場合、ｘ−およびｙ−方向において、各回折要素２８０ａおよび２８０ｂ（２つのみ示される）が光をｘ−ｙ座標系の原点における単一焦点２７８に向かって回折するように）。代替として、直列の２つの直交回折格子２７６ａおよび２７６ｂは、一方の回折格子２７６ａの回折要素２７８ａおよび２７８ｂが、それぞれの光線２８０ａおよび２８０ｂをｘ−ｙ座標系の１つの軸（例えば、図２２ｂの場合、ｘ−方向）に沿って回折し、他方の回折格子２７６ｂの回折要素が、光線２８０ａおよび２８０ｂをｘ−ｙ座標系の他の軸（例えば、図２０ｂの場合、ｙ−方向）に沿って回折するように使用されることができる。

【0080】

本発明の特定の実施形態が、図示および説明されたが、本発明を実施形態に限定することを意図するものではなく、種々の変化および修正が本発明の精神ならびに範囲から逸脱することなく成され得ることが、当業者に明白となるであろうことを理解されたい。したがって、本発明は、請求項によって定義された本発明の精神および範囲内に含まれ得る、代替、修正、ならびに均等物を網羅することが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図14】

【図15】

【図16】

【図17】

【図18a】

【図18b】

【図19】

【図20】

【図21】

【図22a】

【図22b】

【国際調査報告】