IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ロッキード マーティン コーポレーションの特許一覧

特許7489160電子的にエミュレートされた透明性を備えたディスプレイアセンブリ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-15
(45)【発行日】2024-05-23
(54)【発明の名称】電子的にエミュレートされた透明性を備えたディスプレイアセンブリ
(51)【国際特許分類】
   G09F 9/00 20060101AFI20240516BHJP
   G02B 30/10 20200101ALI20240516BHJP
   G09F 9/30 20060101ALI20240516BHJP
   H04N 13/307 20180101ALI20240516BHJP
   H04N 23/45 20230101ALI20240516BHJP
   H04N 23/55 20230101ALI20240516BHJP
   G02B 27/02 20060101ALN20240516BHJP
【FI】
G09F9/00 366G
G09F9/00 313
G02B30/10
G09F9/30 308Z
G09F9/30 349Z
H04N13/307
H04N23/45
H04N23/55
H04N23/55 100
G02B27/02 Z
【請求項の数】 12
(21)【出願番号】P 2020542588
(86)(22)【出願日】2019-01-23
(65)【公表番号】
(43)【公表日】2021-05-20
(86)【国際出願番号】 US2019014655
(87)【国際公開番号】W WO2019156805
(87)【国際公開日】2019-08-15
【審査請求日】2022-01-14
【審判番号】
【審判請求日】2022-11-10
(31)【優先権主張番号】15/890,892
(32)【優先日】2018-02-07
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】504242618
【氏名又は名称】ロッキード マーティン コーポレーション
【氏名又は名称原語表記】LOCKHEED MARTIN CORPORATION
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100098475
【弁理士】
【氏名又は名称】倉澤 伊知郎
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100144451
【弁理士】
【氏名又は名称】鈴木 博子
(72)【発明者】
【氏名】ラムキン マーク エイ
(72)【発明者】
【氏名】リングゲンバーグ カイル マーティン
(72)【発明者】
【氏名】ラムキン ジョーダン デイヴィッド
【合議体】
【審判長】中塚 直樹
【審判官】濱本 禎広
【審判官】田辺 正樹
(56)【参考文献】
【文献】国際公開第2017/7526(WO,A2)
【文献】特開2006-294034(JP,A)
【文献】米国特許出願公開第2017/269369(US,A1)
【文献】特表2018-524952(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09F 9/00-9/46
G02B 27/02,33/10
H04N 5/225
(57)【特許請求の範囲】
【請求項1】
電子ディスプレイアセンブリであって、
回路基板と、
前記回路基板の第1の側にあり、第1の複数のマイクロレンズを含む第1のマイクロレンズ層と、
前記第1のマイクロレンズ層とは前記回路基板の反対側にあり、第2の複数のマイクロレンズを含む第2のマイクロレンズ層と、
前記第1のマイクロレンズ層に隣接し、前記第1の複数のマイクロレンズを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、
前記第2のマイクロレンズ層に隣接し、前記第2の複数のマイクロレンズを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、
前記回路基板に結合された論理ユニット層であって、前記第1の複数のマイクロレンズを通って検出された前記入射光の角度に対応する角度で前記第2の複数のマイクロレンズから光を放出するように、前記複数のセンサピクセルから前記複数のディスプレイピクセルに信号を送信することにより透明性をエミュレートするように構成された1又は2以上の論理ユニットを含み、前記ディスプレイ層が前記論理ユニット層に結合され、前記イメージセンサ層が前記回路基板に結合され、前記論理ユニット層が、前記ディスプレイ層と前記回路基板との間に配置されている、論理ユニット層と、を備えた、電子ディスプレイアセンブリ。
【請求項2】
前記第1の複数のマイクロレンズは、第1の方向に向けられ、
前記第2の複数のマイクロレンズは、前記第1の方向から180度の第2の方向に向けられる、請求項1に記載の電子ディスプレイアセンブリ。
【請求項3】
前記回路基板がフレキシブルである、請求項1に記載の電子ディスプレイアセンブリ。
【請求項4】
透明性をエミュレートすることが、前記電子ディスプレイアセンブリが存在しない場合に見えることになる画像と一致する画像が表示されるように前記第2の複数のマイクロレンズから光を放出させることを含む、請求項1に記載の電子ディスプレイアセンブリ。
【請求項5】
前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、請求項1に記載の電子ディスプレイアセンブリ。
【請求項6】
前記第1及び第2の複数のマイクロレンズの各マイクロレンズが更に、隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁を含む、請求項に記載の電子ディスプレイアセンブリ。
【請求項7】
電子ディスプレイアセンブリであって、
回路基板と、
前記回路基板の第1の側にあり、第1の複数のマイクロレンズを含む第1のマイクロレンズ層と、
前記第1のマイクロレンズ層とは前記回路基板の反対側にあり、第2の複数のマイクロレンズを含む第2のマイクロレンズ層と、
前記第1のマイクロレンズ層に隣接し且つ前記回路基板の前記第1の側に結合され、前記第1の複数のマイクロレンズを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、
前記第2のマイクロレンズ層に隣接し且つ前記回路基板の前記反対側に結合され、前記第2の複数のマイクロレンズを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、を備え、
前記電子ディスプレイアセンブリは、前記第1の複数のマイクロレンズを通して検出された入射光の角度に対応する角度で前記第2の複数のマイクロレンズから光を放出することにより透明性をエミュレートするように構成されている、電子ディスプレイアセンブリ。
【請求項8】
前記第1の複数のマイクロレンズは、第1の方向に向けられ、
前記第2の複数のマイクロレンズは、前記第1の方向から180度の第2の方向に向けられる、請求項に記載の電子ディスプレイアセンブリ。
【請求項9】
前記回路基板がフレキシブルである、請求項に記載の電子ディスプレイアセンブリ。
【請求項10】
透明性をエミュレートすることが、前記電子ディスプレイアセンブリが存在しない場合に見えることになる画像と一致する画像が表示されるように前記第2の複数のマイクロレンズから光を放出させることを含む、請求項に記載の電子ディスプレイアセンブリ。
【請求項11】
前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、請求項に記載の電子ディスプレイアセンブリ。
【請求項12】
前記第1及び第2の複数のマイクロレンズの各マイクロレンズが更に、隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁を含む、請求項11に記載の電子ディスプレイアセンブリ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、全体的に、ライトフィールドディスプレイ及びカメラに関し、より詳細には、電子的にエミュレートされた透明性を備えたディスプレイアセンブリに関する。
【背景技術】
【0002】
電子ディスプレイは、様々な用途で利用されている。例えば、ディスプレイは、スマートフォン、ノートパソコン、及びデジタルカメラで使用されている。スマートフォン及びデジタルカメラなどの一部のデバイスは、電子ディスプレイに加えてイメージセンサを含むことができる。一部のカメラ及び電子ディスプレイは、ライトフィールドを別々にキャプチャして再生するが、ライトフィールドディスプレイ及びライトフィールドカメラは通常、互いに統合されていない。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願第15/724,027号明細書
【文献】米国特許出願第15/724,004号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
1つの実施形態において、電子ディスプレイアセンブリは、回路基板と、回路基板の第1の側にある第1のマイクロレンズ層と、第1のマイクロレンズ層とは回路基板の反対側にある第2のマイクロレンズ層と、を含む。第1のマイクロレンズ層は、第1の複数のマイクロレンズを含み、第2のマイクロレンズ層は、第2の複数のマイクロレンズを含む。電子ディスプレイアセンブリは更に、第1のマイクロレンズ層に隣接するイメージセンサ層を含む。イメージセンサ層は、第1の複数のマイクロレンズを通って入射光を検出するよう構成された複数のセンサピクセルを含む。電子ディスプレイアセンブリは更に、第2のマイクロレンズ層に隣接するディスプレイ層を含む。ディスプレイ層は、第2の複数のマイクロレンズを通って光を放出するよう構成された複数のディスプレイピクセルを含む。電子ディスプレイアセンブリは更に、回路基板に結合された論理ユニット層を含む。論理ユニット層は、複数のセンサピクセルから複数のディスプレイピクセルに信号を送信し、これにより第1の複数のマイクロレンズを通して検出された入射光の角度に対応する角度で、第2の複数のマイクロレンズから光を放出することにより透明性をエミュレートするように構成された1又は2以上の論理ユニットを含む。
【0005】
別の実施形態において、電子ディスプレイアセンブリは、回路基板と、回路基板の第1の側にある第1のマイクロレンズ層と、を含む。第1のマイクロレンズ層は、第1の複数のマイクロレンズを含む。電子ディスプレイアセンブリは更に、第1のマイクロレンズ層とは回路基板の反対側にある第2のマイクロレンズ層を含む。第2のマイクロレンズ層は、第2の複数のマイクロレンズを含む。電子ディスプレイアセンブリは更に、第1のマイクロレンズ層に隣接するイメージセンサ層を含む。イメージセンサ層は、第1の複数のマイクロレンズを通って入射光を検出するよう構成された複数のセンサピクセルを含む。電子ディスプレイアセンブリは更に、第2のマイクロレンズ層に隣接するディスプレイ層を含む。ディスプレイ層は、第2の複数のマイクロレンズを通って光を放出するよう構成された複数のディスプレイピクセルを含む。電子ディスプレイアセンブリは、第1の複数のマイクロレンズを通して検出された入射光の角度に対応する角度で、第2の複数のマイクロレンズから光を放出することにより透明性をエミュレートするように構成される。
【0006】
別の実施形態において、電子ディスプレイを製造する方法は、回路基板上に複数のユニット取付ロケーションを形成するステップと、複数のセンサユニットを回路基板の第1の側に結合するステップと、複数のディスプレイユニットを第1の側とは反対側の回路基板の第2の側に結合するステップとを含む。各ユニット取付ロケーションは、複数のディスプレイユニットの1つ及び複数のセンサユニットの1つに対応する。各センサユニットは、ユニット取付ロケーションのそれぞれに結合される。電子ディスプレイを製造する方法は更に、第1の複数のマイクロレンズを複数のセンサユニットに結合するステップと、第2の複数のマイクロレンズを複数のディスプレイユニットに結合するステップと、を含む。
【0007】
本開示は、幾つかの技術的利点を提示する。幾つかの実施形態は、ユーザが装着するのに軽量で快適な状態のままで、ターゲットのライトフィールドを完全且つ正確に再現する。幾つかの実施形態は、不透明さと制御可能な一方向のエミュレートされた透明性の両方と、並びに仮想現実(VR)、拡張現実(AR)、複合現実(MR)などのデジタルディスプレイ機能を提供する薄型電子システムを提供する。幾つかの実施形態は、結果として得られる出力ピクセルへの入力ピクセルの直接的な関連付けを利用して、画像変換の必要性を回避する直接センサ-ディスプレイシステムを提供する。これにより、一部のシステムの複雑さ、コスト、電力要件が軽減される。幾つかの実施形態は、大量のデータ(例えば、160kの画像データ又はそれ以上)のローカル分散処理を提供する層内信号処理構成を提供し、これによってボトルネック、並びに性能、電力及び既存の解決策に関連する伝送ラインの問題を回避する。幾つかの実施形態は、プレノプティックセルのアレイを備えたマイクロレンズ層を利用して、ある量の光を正確にキャプチャして、観察者に表示する。プレノプティックセルは、セル間の光学的クロストークを排除する不透明なセル壁を含み、これにより複製されたライトフィールドの精度を向上させる。
【0008】
幾つかの実施形態は、ジオデシックファセッティングによって三次元エレクトロニクスを提供する。このような実施形態では、小さな剛性面のアレイ(例えば、ディスプレイ及び/又はセンサファセット)を備えたフレキシブル回路基板は、何れかの3D形状に形成することができ、これは、ヘッドマウントのニアアイラップディスプレイに必要とされる狭い曲率半径(例えば30-60mm)に対応するのに特に有用である。幾つかの実施形態は、高密度ディスプレイ用の分散型マルチスクリーンアレイを提供する。このような実施形態では、カスタムサイズ及び形状の小さな高分解能マイクロディスプレイ(例えば、ディスプレイファセット)のアレイが形成され、次いで、3D形状(例えば、半球面)に形成できるより大型のフレキシブル回路基板上に組み立てられる。各マイクロディスプレイは、他のディスプレイとは独立して動作することができ、これにより各々で独自のコンテンツを有する多数の高分解能ディスプレイの大型アレイが提供され、アセンブリ全体が基本的に1つの超高分解能ディスプレイを形成するようになる。幾つかの実施形態は、分散型マルチアパーチャカメラアレイを提供する。このような実施形態は、カスタムサイズ及び形状の小さなイメージセンサ(例えば、センサファセット)のアレイを提供し、これら全ては、3D(例えば、半球)形状に形成されるより大きなフレキシブル回路基板上に組み立てられる。各個別のイメージセンサは、各々で独自のコンテンツをキャプチャするマルチアパーチャの大型アレイを提供するために、他の何れかのイメージセンサとは独立して動作し、アセンブリ全体が本質的にシームレスな超高分解能のマルチノードカメラとなる。
【0009】
他の技術的利点は、図1A図42、これらの説明及び特許請求の範囲から当業者には容易に明らかになるであろう。更に、特定の利点が上記で列挙されたが、様々な実施形態は、列挙された利点の全て又は一部を含むか、或いは全てを含まない場合がある。
【0010】
本開示及びその利点をより完全に理解するために、ここで添付図面を参照しながら以下の説明を参照されたい。
【図面の簡単な説明】
【0011】
図1A】特定の実施形態による、様々な3次元(3D)オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。
図1B】特定の実施形態による、様々な3次元(3D)オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。
図1C】特定の実施形態による、様々な3次元(3D)オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。
図2A】特定の実施形態による、透明パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図2B】特定の実施形態による、透明パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図2C】特定の実施形態による、透明パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図3A】特定の実施形態による、カメラ画像パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図3B】特定の実施形態による、カメラ画像パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図3C】特定の実施形態による、カメラ画像パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図4A】特定の実施形態による、エミュレートされた透明な電子パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図4B】特定の実施形態による、エミュレートされた透明な電子パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図4C】特定の実施形態による、エミュレートされた透明な電子パネルを通る図1A図1Cの3Dオブジェクトのビューを示す図である。
図5A】特定の実施形態による、図3A図3Cのカメラ画像パネルを通る図1A図1Cの3Dオブジェクトの別の角度からのビューを示す図である。
図5B】特定の実施形態による、図3A図3Cのカメラ画像パネルを通る図1A図1Cの3Dオブジェクトの別の角度からのビューを示す図である。
図5C】特定の実施形態による、図3A図3Cのカメラ画像パネルを通る図1A図1Cの3Dオブジェクトの別の角度からのビューを示す図である。
図6A】特定の実施形態による、図4A図4Cのエミュレートされた透明な電子パネルを通る別の角度から図1A図1Cの3Dオブジェクトのビューを示す図である。
図6B】特定の実施形態による、図4A図4Cのエミュレートされた透明な電子パネルを通る別の角度から図1A図1Cの3Dオブジェクトのビューを示す図である。
図6C】特定の実施形態による、図4A図4Cのエミュレートされた透明な電子パネルを通る別の角度から図1A図1Cの3Dオブジェクトのビューを示す図である。
図7】特定の実施形態による、エミュレートされた透明アセンブリの切り欠き図である。
図8】特定の実施形態による、図7のエミュレートされた透明アセンブリの分解図である。
図9】特定の実施形態による、図7のエミュレートされた透明アセンブリを製造する方法を示す図である。
図10】特定の実施形態による、図7のエミュレートされた透明アセンブリによって使用できる直接センサ-ディスプレイシステムを示す図である。
図11】特定の実施形態による、図10の直接センサ-ディスプレイシステムを製造する方法を示す図である。
図12】特定の実施形態による、図7のエミュレートされた透明性アセンブリによって使用できる様々な層内信号処理構成を示す図である。
図13】特定の実施形態による、図7のエミュレートされた透明性アセンブリによって使用できる様々な層内信号処理構成を示す図である。
図14】特定の実施形態による、図12図13の層内信号処理システムを製造する方法を示す図である。
図15】特定の実施形態による、図7のエミュレートされた透明アセンブリによって使用できるプレノプティックセルアセンブリを示す図である。
図16】特定の実施形態による、図15のプレノプティックセルアセンブリの一部の断面図である。
図17A】特定の実施形態による、様々な光の入射フィールドと共に図15のプレノプティックセルアセンブリの一部の断面を示す図である。
図17B】特定の実施形態による、様々な光の入射フィールドと共に図15のプレノプティックセルアセンブリの一部の断面を示す図である。
図17C】特定の実施形態による、様々な光の入射フィールドと共に図15のプレノプティックセルアセンブリの一部の断面を示す図である。
図18A】特定の実施形態による、図15のプレノプティックセルアセンブリを製造する方法を示す図である。
図18B】特定の実施形態による、図15のプレノプティックセルアセンブリを製造する方法を示す図である。
図19A】特定の実施形態による、図15のプレノプティックセルアセンブリを製造する別の方法を示す図である。
図19B】特定の実施形態による、図15のプレノプティックセルアセンブリを製造する別の方法を示す図である。
図20】特定の実施形態による、図18A図19Bの方法によって製造することができるプレノプティックセルアセンブリを示す図である。
図21】特定の実施形態による、図18A図19Bの方法によって製造することができるプレノプティックセルアセンブリを示す図である。
図22】特定の実施形態による、図7のエミュレートされた透明アセンブリによって使用できるフレキシブル回路基板を示す図である。
図23】特定の実施形態による、図22のフレキシブル回路基板の追加の詳細を示す図である。
図24】特定の実施形態による、図22のフレキシブル回路基板を通るデータフローを示す図である。
図25】特定の実施形態による、図22のフレキシブル回路基板を使用して電子アセンブリを製造する方法を示す図である。
図26】特定の実施形態による、湾曲したマルチディスプレイアレイの切り欠き図である。
図27】特定の実施形態による、図26の湾曲したマルチディスプレイアレイの分解図である。
図28】特定の実施形態による、図26の湾曲したマルチディスプレイアレイの論理ファセットを示す図である。
図29】特定の実施形態による、図26の湾曲したマルチディスプレイアレイのディスプレイファセットを示す図である。
図30】特定の実施形態による、図22のフレキシブル回路基板の裏側を示す図である。
図31】特定の実施形態による、図30のフレキシブル回路基板を通るデータフローを示す図である。
図32】特定の実施形態による、半球形状に形成された図30のフレキシブル回路基板を示す図である。
図33】特定の実施形態による、図32のフレキシブル回路基板を通るデータフローを示す図である。
図34】特定の実施形態による、半球形状に形成された論理ファセットのアレイを示す図である。
図35】特定の実施形態による、図34の論理ファセット間の通信を示す図である。
図36】特定の実施形態による、図26の湾曲したマルチディスプレイアレイを製造する方法を示す図である。
図37】特定の実施形態による、湾曲したマルチカメラアレイの切り欠き図である。
図38】特定の実施形態による、図37の湾曲したマルチカメラアレイの分解図である。
図39】特定の実施形態による、図37の湾曲したマルチカメラアレイの分解図である。
図40】特定の実施形態による、図32のフレキシブル回路基板の背面図である。
図41】特定の実施形態による、図40のフレキシブル回路基板を通るデータフローを示す図である。
図42】特定の実施形態による、図37の湾曲したマルチカメラアレイを製造する方法を示す図である。
【発明を実施するための形態】
【0012】
電子ディスプレイは、様々な用途で利用されている。例えば、ディスプレイは、スマートフォン、ノートパソコン、及びデジタルカメラで使用されている。スマートフォン及びデジタルカメラなどの一部のデバイスは、電子ディスプレイに加えてイメージセンサを含みことができる。しかしながら、ディスプレイ及びイメージセンサを備えたデバイスは、一般に、完全なフォトニック環境を正確にキャプチャして表示する機能に制限がある。
【0013】
既存の電子ディスプレイに関連する問題及び制限に対処するために、本開示の実施形態は、ライトフィールドをキャプチャして表示するための様々な電子アセンブリを提供する。図1A図9は、電子的にエミュレートされた透明性を備えたディスプレイアセンブリに関し、図10図11は、ダイレクトカメラ-ディスプレイシステムに関し、図12図14は、層内信号処理に関し、図15図21は、プレノプティックセルラーイメージングシステムに関し、図22図25は、ジオデシックファセッティングによる3次元(3D)エレクトロニクス分散に関し、図26図36は高密度ディスプレイ用の分散型マルチスクリーンアレイに関し、図37図42は分散型マルチアパーチャカメラアレイに関する。
【0014】
本開示のより良い理解を促進するために、特定の実施形態の以下の実施例が与えられる。以下の実施例は、本開示の範囲を限定又は定義するように読むべきではない。本開示の実施形態及びその利点は、図1A図42を参照することによって最もよく理解され、これらの図では、同様の参照番号が同様の部分及び対応する部分を示すのに使用されている。
【0015】
図1A図9は、特定の実施形態による、電子的にエミュレートされた透明性を有するアセンブリの様々な態様を示す。一般に、図7図8に詳細に示されている電子アセンブリは、仮想現実(VR)、拡張現実(AR)、及び複合現実(MR)などの機能を提供するのに様々な用途で使用することができる。VRアプリケーションでは、標準のコンピューターモニターが背後のシーンのビューをブロックする方法と同じように、現実世界のビューを完全に置き換えることができるデジタルディスプレイが必要とされる。しかしながら、ARアプリケーションでは、最新のコックピット内のパイロットのヘッドアップディスプレイのように、現実世界のビュー上にデータを重畳することができるデジタルディスプレイが必要とされる。MRアプリケーションでは、両方の組み合わせを必要とする。これらの機能の一部又は全てを提供するために使用される典型的なシステムは、幾つかの理由から望ましいものではない。例えば、典型的な解決策では、ターゲットライトフィールドを正確又は完全な再現を提供していない。別の実施例として、既存の解決策は、典型的には嵩高で、ユーザにとって快適ではない。
【0016】
既存の電子ディスプレイに関する問題及び制限に対処するために、本開示の実施形態は、不透明性と制御可能な一方向のエミュレートされた透明性の両方、並びにデジタルディスプレイ機能を提供する薄型電子システムを提供する。一方の側からは表面が不透明に見えるが、反対側からは表面が完全に透明に見えるか、完全に不透明に見えてデジタルディスプレイとして機能するか、又はこれらの任意の組み合わせとすることができる。幾つかの実施形態では、プレノプティックセンシングとディスプレイの同時技術が単一の層状構造内で組み合わされて、一方向の視覚的に透明な表面に見えるものを形成する。システムは、拡張及び/又はデジタル制御することができる透明性を人工的に再現する目的で、エレクトロニクス及び光学系の複数の層を含むことができる。一方の側上の個別のイメージセンサピクセルは、アセンブリの反対側上のディスプレイピクセルの位置に一致するように空間的に配置することができる。幾つかの実施形態では、全ての電子駆動回路並びに一部のディスプレイロジック回路は、センサ層とディスプレイ層の間に挟むことができ、各センサピクセルの出力信号は、回路を介して反対側の対応するディスプレイピクセルに送ることができる。幾つかの実施形態では、この中央処理された信号は、反対側のプレノプティックイメージングセンサアレイからの入力信号と集約され、次の動作モードに従って処理される。VRモードでは、外部ビデオフィードがカメラデータよりも優先し、ユーザの外界のビューをビデオからの受信ビューで完全に置き換える。ARモードでは、外部ビデオフィードがカメラデータに重畳されるため、外部世界とビデオからのビューの両方が組み合わされたビューになる(例えば、ビデオデータが単にシーンに追加される)。MRモードでは、外部ビデオフィードがカメラデータと混合され、仮想オブジェクトが現実世界の実際のオブジェクトと相互作用するように見えることができ、仮想コンテンツを変更して、オブジェクトのオクルージョン、照明、その他を通じて実際の環境と統合するように見せる。
【0017】
幾つかの実施形態は、積み重ねられた透明な高ダイナミックレンジ(HDR)センサ及びディスプレイピクセルを1つの構造体に組み合わせ、センサピクセルをアセンブリの一方の側に、ディスプレイピクセルを他方の側に備え、カメラとディスプレイの間でピクセルごとに整列される。センサ及びディスプレイピクセルアレイの両方は、マイクロレンズのグループにより合焦されて、4次元ライトフィールドをキャプチャし表示することができる。これは、現実世界の完全なビューがアセンブリの一方の側でキャプチャされ、他方の側で電子的に再現され、斜めの角度から見た場合でも、ディスプレイ側の画像が透明に見える明瞭性、輝度、及び十分な角分解能を維持しながら、入力画像の部分的又は完全な変更を可能にすることを意味する。
【0018】
図1A図6Cは、本開示の実施形態によって提供される電子的にエミュレートされた透明性と典型的なカメラ画像(カメラビューファインダーを介して、又はスマートフォンを使用して現在のカメラ画像を表示するなど)との間の差異を示すのに提供される。図1A図1Cは、特定の実施形態による、様々な3Dオブジェクト110(すなわち、110A~C)及び正面ビュー位置を伴う参照シーンを示す。図1Aは、3Dオブジェクト110の配置及び3Dオブジェクト110の正面ビュー方向の上面図である。図1Bは、図1Aと同じ3Dオブジェクト110及び正面ビュー方向の配置の斜視図である。図1Cは、図1A及び1Bに示される位置からの3Dオブジェクト110の結果として得られる正面図である。図から分かるように、3Dオブジェクト110の図1Cのビューは、3Dオブジェクト110の通常の予想ビューである(すなわち、観察者と3Dオブジェクト110との間に何も存在しないので、3Dオブジェクト110のビューは全く変更されない)。
【0019】
図2A図2Cは、特定の実施形態による、透明パネル210を通る図1A図1Cの3Dオブジェクト110のビューを示す。透明パネル210は、例えば、一片の透明ガラスとすることができる。図2Aは、透明パネル210を通る3Dオブジェクト110の正面ビュー方向の上面図であり、図2Bは、図2Aと同じ3Dオブジェクト110及び正面ビュー方向の配置の斜視図である。図2Cは、図2A及び2Bに例示される位置からの透明パネル210を通る3Dオブジェクト110の結果として得られる正面図である。図から分かるように、透明パネル210を通る3Dオブジェクト110の図2Cのビューは、3Dオブジェクト110の通常の予想されるビューである(すなわち、3Dオブジェクト110のビューは、観察者が透明パネル210を通じて見ているので全く変更されない)。換言すると、図2Cの透明パネル210を通る3Dオブジェクト110のビューは、図1Cのビューと同じであり、観察者と3Dオブジェクト110との間にオブジェクトは存在しない(すなわち、「知覚された」透明性)。換言すると、透明パネル210上に投影された画像のエッジは、透明パネル210の背後にある実際の3Dオブジェクト110のビューと整列して、3Dオブジェクト110Aのビュー整列画像220A、3Dオブジェクト110Bのビュー整列画像220B、及び3Dオブジェクト110Cのビュー整列画像220Cを生成する。
【0020】
図3A図3Cは、特定の実施形態による、カメラ画像パネル310を通る図1A図1Cの3Dオブジェクト110のビューを示す。カメラ画像パネル310は、例えば、現在のカメラ画像を表示しているカメラのビューファインダー又はスマートフォンのディスプレイとすることができる。これらの画像では、カメラ画像パネル310は、このようなシステムがどのように真のエミュレートされた透明性を提供しないかを示すために、観察者に対してある角度(例えば、30度)にある。図3Aは、カメラ画像パネル310を通る3Dオブジェクト110の正面ビュー方向の上面図であり、図3Bは、図3Aと同じ3Dオブジェクト110及び正面ビュー方向の配置の斜視図である。図3Cは、図3A及び図3Bに示された位置からカメラ画像パネル310を通る3Dオブジェクト110の結果として得られる正面図である。図から分かるように、カメラ画像パネル310を通る3Dオブジェクト110の図3Cのビューは、透明パネル210を通る3Dオブジェクト110のビューとは異なる。ここで、カメラ画像パネル310は、カメラ画像パネル310に垂直な見通し線をリダイレクトし、これにより、知覚される透明性は示されない(すなわち、カメラ画像パネル310上の画像は、ビューと整列していないが、リダイレクトされた見通し線によって収集された画像を描いている)。換言すると、カメラ画像パネル310上に投影された画像のエッジは、カメラ画像パネル310の背後にある実際の3Dオブジェクト110のビューとは整列しない。これは、図3Cにおいて、カメラ画像パネル310上の3Dオブジェクト110Aの位置合わせされていない画像320A及び3Dオブジェクト110Bの位置合わせされていない画像320Bによって示される。
【0021】
図4A図4Cは、特定の実施形態による、エミュレートされた透明な電子パネル410を通る図1A図1Cの3Dオブジェクト110のビューを示す。これらの画像では、エミュレートされた透明性パネル410は、カメラ画像パネル310とは異なり、エミュレートされた透明性パネル410がどのように真のエミュレートされた透明性を提供するかを示すために、観察者に対してある角度(例えば30度)にある。図4Aは、エミュレートされた透明パネル410を通る3Dオブジェクト110の正面ビュー方向の上面図であり、図4Bは、図4Aと同じ3Dオブジェクト110及び正面ビュー方向の配置の斜視図である。図4Cは、図4A及び図4Bに示される位置からのエミュレートされた透明パネル410を通る3Dオブジェクト110の結果として得られる正面図である。図から分かるように、エミュレートされた透明パネル410を通る3Dオブジェクト110の図4Cのビューは、カメラ画像パネル310を通る3Dオブジェクト110のビューとは異なるが、透明パネル210を通る3Dオブジェクト110のビューに類似している。ここでは、エミュレートされた透明パネル410は、エミュレートされた透明パネル410を通して観察者からの見通し線をリダイレクトしないが、これらを実質的に変更せずに維持し、これによってエミュレートされた透明性を提供する(すなわち、エミュレートされた透明パネル410上の画像は、透明パネル210のようにビューに位置合わせされる)。透明パネル210と同様に、エミュレートされた透明パネル410上に投影された画像のエッジは、エミュレートされた透明パネル410の背後にある実際の3Dオブジェクト110のビューと整列して、3Dオブジェクト110Aのビュー整列画像220A、3Dオブジェクト110Bのビュー整列画像220B、及び3Dオブジェクト110Cのビュー整列画像220Cを作成する。
【0022】
図5A図5Cは、図3A図3Cのカメラ画像パネル310を通るが別の角度からの図1A図1Cの3Dオブジェクト110のビューを示す。これらの画像では、カメラ画像パネル310は、このようなシステムがどのように真のエミュレートされた透明性を提供しないかを更に示すために、観察者に対して異なる30度の角度にある。図3A図3Cと同様に、カメラ画像パネル310上の投影された画像のエッジは、カメラ画像パネル310の背後の実際の3Dオブジェクト110のビューと整列しない。これは、図5Cにおいて、カメラ画像パネル310上の3Dオブジェクト110Cの位置合わせされていない画像320C及び3Dオブジェクト110Bの位置合わせされていない画像320Bによって示されている。
【0023】
図6A図6Cは、図4A図4Cのエミュレートされた透明な電子パネル410を通るが別の角度からの図1A図1Cの3Dオブジェクト110のビューを示す。図4A図4Cと同様に、図6Cのエミュレートされた透明パネル410に投影された画像のエッジは、エミュレートされた透明パネル410の背後にある実際の3Dオブジェクト110のビューと整列して、3Dオブジェクト110Bのビュー整列画像220B及び3Dオブジェクト110Cのビュー整列画像220Cを作成する。
【0024】
図4A図4C及び図6A図6Cにて上記のように示すように、エミュレートされた透明パネル410は、エミュレートされた透明パネル410の背後にある3Dオブジェクト110のビュー整列画像220を提供し、これによって電子的にエミュレートされた透明性を提供する。図7図8は、エミュレートされた透明パネル410の例示的な実施形態を示している。図7は、エミュレートされた透明パネル410とすることができるエミュレートされた透明アセンブリ710の切り欠き図を示し、図8は、特定の実施形態による、図7のエミュレートされた透明アセンブリ710の分解図を示す。
【0025】
幾つかの実施形態では、エミュレートされた透明アセンブリ710は、2つのマイクロレンズアレイ720(すなわち、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720B)と、イメージセンサ層730と、回路基板740と、電子回路ディスプレイ層760とを含む。一般に、入射ライトフィールド701は、センサ側マイクロレンズアレイ720Aに入り、ここでイメージセンサ層730によって検出される。次いで、電子的に複製された出射ライトフィールド702が、電子ディスプレイ層760によって生成され、ディスプレイ側マイクロレンズアレイ720Bを通って投影される。以下でより詳細に説明するように、エミュレートされた透明アセンブリ710の独自の配置及び特徴により、電子的に複製された出射ライトフィールド702を介して電子的にエミュレートされた透明性を、並びに以下で説明する他の特徴を提供することができる。エミュレートされた透明アセンブリ710の特定の形状が図7図8に示されているが、エミュレートされた透明アセンブリ710は、任意の多角形又は非多角形を含む任意の適切な形状と、フラット及び非フラット構成の両方とを有することができる。
【0026】
マイクロレンズアレイ720(すなわち、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720B)は、一般に、マイクロレンズの層である。幾つかの実施形態では、図15を参照して以下でより詳細に説明されるように、マイクロレンズアレイ720の各マイクロレンズは、プレノプティックセル1510である。一般に、センサ側マイクロレンズアレイ720Aの各マイクロレンズは、入射ライトフィールド701の一部をキャプチャし、これをイメージセンサ層730内のピクセルに向けるように構成される。同様に、ディスプレイ側マイクロレンズアレイ720Bの各マイクロレンズは、電子ディスプレイ層760のピクセルによって生成される電子的に複製された出射ライトフィールド702の一部を放出するように構成される。幾つかの実施形態では、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの各マイクロレンズは、3D形状であり、その3D形状の一方端にコリメートレンズを有する。3D形状は、例えば、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体とすることができる。幾つかの実施形態では、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの各マイクロレンズは、光が隣接するマイクロレンズに漏れるのを防ぐように構成されたセル壁1514(図15を参照して以下で論じる)などの不透明壁を含む。幾つかの実施形態では、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの各マイクロレンズは、追加として又は代替として、光が隣接するマイクロレンズに漏れることを防ぐために、以下に記載するフィルタ層1640などの光入射角度阻止コーティングを含む。
【0027】
幾つかの実施形態では、センサ側マイクロレンズアレイ720Aのマイクロレンズは、第1の方向に向けられ、ディスプレイ側マイクロレンズアレイ720Bのマイクロレンズは、第1の方向から180度である第2の方向に向けられる。換言すると、エミュレートされた透明アセンブリ710の幾つかの実施形態は、ディスプレイ側マイクロレンズアレイ720Bと正反対に向けられたセンサ側マイクロレンズアレイ720Aを含む。他の実施形態では、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの何れかの他の向きが実施可能である。
【0028】
一般に、イメージセンサ層730は、センサ側マイクロレンズアレイ720Aを通過した後に入射ライトフィールド701を検出するように構成された複数のセンサピクセルを含む。幾つかの実施形態では、イメージセンサ層730は、センサユニット735のアレイ(例えば、図8に示されるようなセンサユニット735A~C)を含む。各センサユニット735は、イメージセンサ層730の定義された部分(例えば、矩形グリッドの一部などの特定の領域)、又はイメージセンサ層730内のセンサピクセルの特定の数又はパターンとすることができる。幾つかの実施形態では、各センサユニット735は、以下で説明するように、論理ユニット層750の特定の論理ユニット755に対応する。幾つかの実施形態では、イメージセンサ層730は、センサ側マイクロレンズアレイ720Aに結合されるか、又は直接隣接している。幾つかの実施形態では、イメージセンサ層730は、センサ側マイクロレンズアレイ720Aと回路基板740との間にある。他の実施形態では、イメージセンサ層730は、センサ側マイクロレンズアレイ720Aと論理ユニット層750との間にある。幾つかの実施形態では、他の適切な層が、イメージセンサ層730の何れかの側のエミュレートされた透明アセンブリ710に含めることができる。更に、センサユニット735の特定の数及びパターンが示されているが、センサユニット735の何れかの適切な数(1つのみを含む)及びパターンを使用することができる。
【0029】
回路基板740は、任意の適切な剛性又はフレキシブル回路基板である。一般に、回路基板740は、エミュレートされた透明アセンブリ710の様々な層間の電気的接続を提供する様々なパッド及びトレースを含む。一例として、回路基板740を含む実施形態では、回路基板740は、イメージセンサ層730と論理ユニット層750との間に電気接続を提供するために、図7図8に示されるようにイメージセンサ層730と論理ユニット層750の間に配置することができる。他の実施形態では、回路基板740は、論理ユニット層750と電子ディスプレイ層760との間に電気接続を提供するために、論理ユニット層750と電子ディスプレイ層760との間に配置することができる。幾つかの実施形態では、回路基板740は、ユニット取付ロケーション745のアレイ(例えば、図8に示されるようなユニット取付ロケーション745A-C)を含む。各ユニット取付ロケーション745は、回路基板740の定義された部分(例えば、矩形グリッドの一部などの特定の領域)であり、複数のパッド(例えば、ボールグリッドアレイ(BGA)パッド)及び/又はビアを含むことができる。幾つかの実施形態では、各ユニット取付ロケーション745は、イメージセンサ層730の特定のセンサユニット735と電子ディスプレイ層760の特定のディスプレイユニット765に対応し(例えば、ユニット取付ロケーション745Aは、センサユニット735A及びディスプレイユニット765Aに対応する)、対応する特定のセンサユニット735と特定のディスプレイユニット765との間の電気通信を可能にするように構成される。
【0030】
論理ユニット層750は、エミュレートされた透明アセンブリ710のための任意選択/追加の論理及び/又は処理を提供する。一般に、論理ユニット層750は、イメージセンサ層730の複数のセンサピクセルから電子ディスプレイ層760の複数のディスプレイピクセルに信号を送信することにより透明性をエミュレートし、これによりセンサ側マイクロレンズアレイ720Aを通して検出された入射ライトフィールド701の角度に対応する角度で、電子的に複製された出射ライトフィールド702をディスプレイ側マイクロレンズアレイ720Bから放出する。センサ側マイクロレンズアレイ720Aを通じて検出された入射ライトフィールド701の角度に対応する角度で、ディスプレイ側マイクロレンズアレイ720Bから電子的に複製された出射ライトフィールド702を放出することにより、エミュレートされた透明アセンブリ710が存在しない(すなわち、エミュレートされた透明性)場合に見られるものと一致する画像が表示される。幾つかの実施形態では、論理ユニット層750は、論理ユニット755のアレイ(例えば、図8に示されるような論理ユニット755A~C)を含む。各論理ユニット755は、論理ユニット層750の定義された部分(例えば、矩形グリッドの一部分などの特定の領域)とすることができる。幾つかの実施形態では、各論理ユニット755は、論理ユニット層750を形成するために後で他の論理ユニット755に連結又は結合される別個の物理的剛性ユニットである。幾つかの実施形態では、各論理ユニット755は、イメージセンサ層730の特定のセンサユニット735及び電子ディスプレイ層760の特定のディスプレイユニット765に対応する(例えば、論理ユニット755Aは、センサユニット735A及びディスプレイユニット765Aに対応する(及び電気的に結合される))。幾つかの実施形態では、論理ユニット層750は、回路基板740と電子ディスプレイ層760との間に配置される。他の実施形態では、論理ユニット層750は、イメージセンサ層730と回路基板740との間にある。幾つかの実施形態では、他の適切な層が、論理ユニット層750の何れかの側でエミュレートされた透明アセンブリ710に含めることができる。更に、論理ユニット755の特定の数及びパターンが示されているが、論理ユニット755の任意の適切な数(なし又は1つのみを含む)及びパターンを使用することができる。
【0031】
一般に、電子ディスプレイ層760は、ディスプレイ側マイクロレンズアレイ720Bを通して電子的に複製された出射ライトフィールド702を生成及び投影するように構成された複数のディスプレイピクセルを含む。幾つかの実施形態では、電子ディスプレイ層760は、ディスプレイユニット765のアレイ(例えば、図8に示されるようなディスプレイユニット765A~C)を含む。各ディスプレイユニット765は、電子ディスプレイ層760の定義された部分(例えば、矩形グリッドの一部などの特定の領域)、又は電子ディスプレイ層760内の特定の数又はパターンのディスプレイピクセルとすることができる。幾つかの実施形態では、各ディスプレイユニット765は、論理ユニット層750の特定の論理ユニット755に対応する。幾つかの実施形態では、電子ディスプレイ層760は、ディスプレイ側マイクロレンズアレイ720Bに結合されるか、或いは直接隣接する。幾つかの実施形態では、電子ディスプレイ層760は、ディスプレイ側マイクロレンズアレイ720Bと回路基板740との間にある。他の実施形態では、電子ディスプレイ層760は、ディスプレイ側マイクロレンズアレイ720Bと論理ユニット層750との間にある。幾つかの実施形態では、他の適切な層が、電子ディスプレイ層760の何れかの側でエミュレートされた透明アセンブリ710に含めることができる。更に、ディスプレイユニット765の特定の数及びパターンが示されているが、ディスプレイユニット765の任意の適切な数(1つだけを含む)及びパターンを使用することができる。
【0032】
幾つかの実施形態では、イメージセンサ層730のセンサピクセルは、図18図20及びこれらに関連する、「イメージセンサ用のスタックされた透明ピクセル構造」という名称の米国特許出願第15/724,027号明細書に記載されているように、センサピクセル1800とすることができ、本出願は、引用により全体が本明細書に組み込まれる。幾つかの実施形態では、電子ディスプレイ層760のディスプレイピクセルは、図1図4及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第15/724,004号明細書に記載されているディスプレイピクセル100であり、本出願は、引用により全体が本明細書に組み込まれる。
【0033】
図7図8は、センサ、ディスプレイ、及びエレクトロニクスのアレイを有するものとしてエミュレートされた透明アセンブリ710を示しているが、他の実施形態は、単一ユニット構成を有することができる。更に、エミュレートされた透明性アセンブリ710の図示の実施形態は、一方向のエミュレートされた透明性を示し(すなわち、単一方向からの入射ライトフィールド701のキャプチャ並びに反対方向での対応する電子的に複製された出射ライトフィールド702の表示を可能にする)、他の実施形態は、双方向透明性を可能にするエミュレートされた透明アセンブリ710の配置及び組み合わせを含むことができる。
【0034】
図9は、特定の実施形態による、図7のエミュレートされた透明アセンブリ710を製造する方法900を示す。方法900は、ステップ910で開始することができ、回路基板上に複数のユニット取付ロケーションが形成される。幾つかの実施形態では、回路基板は回路基板740であり、ユニット取付ロケーションは、ユニット取付ロケーション145である。幾つかの実施形態では、各ユニット取付ロケーションは、ディスプレイユニット765などの複数のディスプレイユニットの1つ及びセンサユニット735などの複数のセンサユニットの1つに対応する。
【0035】
ステップ920において、複数のセンサユニットが回路基板の第1の側に結合される。幾つかの実施形態では、センサユニットは、センサユニット735である。幾つかの実施形態では、各センサユニットは、ステップ920において、ステップ910のユニット取付ロケーションのそれぞれに結合される。幾つかの実施形態では、センサユニットは、最初にイメージセンサ層730などのイメージセンサ層に形成され、イメージセンサ層は、このステップにおいて回路基板の第1の側に結合される。
【0036】
ステップ930において、複数のディスプレイユニットが、第1の側とは反対側の回路基板の第2の側に結合される。幾つかの実施形態では、ディスプレイユニットは、ディスプレイユニット765である。幾つかの実施形態では、各ディスプレイユニットは、ユニット取付ロケーションのそれぞれに結合される。幾つかの実施形態では、ディスプレイユニットは、最初に電子ディスプレイ層760などのディスプレイ層に形成され、ディスプレイ層は、このステップで回路基板の第2の側に結合される。
【0037】
ステップ940において、第1の複数のマイクロレンズが、ステップ920の複数のセンサユニットに結合される。幾つかの実施形態では、マイクロレンズは、プレノプティックセル1510である。幾つかの実施形態では、マイクロレンズは、最初にセンサ側マイクロレンズアレイ720Aなどのマイクロレンズアレイ層に形成され、マイクロレンズアレイ層はセンサユニットに結合される。
【0038】
ステップ950において、第2の複数のマイクロレンズが、ステップ930の複数のディスプレイユニットに結合される。幾つかの実施形態では、マイクロレンズは、プレノプティックセル1510である。幾つかの実施形態では、マイクロレンズは、最初に、ディスプレイ側マイクロレンズアレイ720Bなどのマイクロレンズアレイ層に形成され、マイクロレンズアレイ層は、ディスプレイユニットに結合される。ステップ950の後、方法900は終了することができる。
【0039】
幾つかの実施形態では、方法900は、ステップ910の回路基板とステップ930の複数のディスプレイユニットとの間に複数の論理ユニットを結合するステップを更に含むことができる。幾つかの実施形態では、論理ユニットは、論理ユニット755である。幾つかの実施形態では、複数の論理ユニットは、回路基板とステップ920の複数のセンサユニットとの間に結合される。
【0040】
特定の実施形態は、必要に応じて、方法900の1又は2以上のステップを繰り返すことができる。本開示は、方法900の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で行う方法900の任意の適切なステップを企図している。更に、本開示は、方法900の特定のステップを含むエミュレートされた透明アセンブリの製造方法の実施例を説明及び例示しているが、本開示は、必要に応じて、方法900のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切なエミュレートされた透明アセンブリの製造方法を企図している。更に、本開示は、方法900の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法900の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
【0041】
図10は、特定の実施形態による、図7のエミュレートされた透明アセンブリによって実装することができる直接センサ-ディスプレイシステム1000を示す。一般に、図10は、エミュレートされた透明性アセンブリ710の実施形態が、入力ピクセルの当然の結果として生じる出力ピクセルへの直接的な関連付けをどのように利用するかを示している。幾つかの実施形態では、これは、イメージセンサ層730と電子ディスプレイ層760が互いに近接近し、図7-8に示されているように共有基板(例:回路ボード740)の両側に装着されるように層状手法を用いて達成される。イメージセンサ層730からの信号は、回路基板740(及び一部の実施形態では論理ユニット層750)を通じて電子ディスプレイ層760に直接伝達することができる。論理ユニット層750は、何らかの必要な制御又は拡張のための任意選択の入力を用いて単純な処理を提供する。典型的な電子センサ/ディスプレイペア(デジタルカメラなど)は、ディスプレイが入力センサに直接結合されておらず、ある程度の画像変換が必要になるという点で、1対1の関係を表していない。しかしながら、本開示の特定の実施形態は、入力ピクセルと出力ピクセルの間に1対1のマッピングを実装し(すなわち、センサピクセルとディスプレイピクセルのレイアウトが同じである)、これにより、何れかの画像変換の必要性が回避される。これにより、エミュレートされた透明性アセンブリ710の複雑さと電力要件が軽減される。
【0042】
図10に示されるように、各センサユニット735は、対応するディスプレイユニット765に直接結合される。例えば、センサユニット735Aは、ディスプレイユニット765Aに直接結合することができ、センサユニット735Bは、ディスプレイユニット765Bに直接結合することができる。幾つかの実施形態では、センサユニット735とディスプレイユニット765との間の信号伝達は、低電圧差動信号伝達(LVDS)などの任意の適切な差動信号伝達とすることができる。より具体的には、各センサユニット735は、入射ライトフィールド701に対応する特定のフォーマット(例えば、LVDS)で第1の信号を出力することができる。幾つかの実施形態では、第1の信号は、対応する論理ユニット755を介して送信され、該論理ユニット755は、第2の信号を第1の信号(例えば、LVDS)と同じフォーマットでディスプレイユニット765に送信する。他の実施形態では、第1の信号は、センサユニット735からディスプレイユニット765に直接送信される(例えば、センサユニット735及びディスプレイユニット765は、回路基板740の反対側に直接結合される)。ディスプレイユニット765は、論理ユニット755から第2の信号(又は回路基板740を介してセンサユニット735から直接第1の信号)を受け取り、これらを使用して出射ライトフィールド702を生成する。
【0043】
センサユニット735とディスプレイユニット765との間の信号伝達において変換が必要とされないので、エミュレートされた透明アセンブリ710は、典型的なディスプレイ/センサの組み合わせから多くの利益を提供することができる。第1に、センサユニット735からの信号をディスプレイユニット765に変換するための信号プロセッサが必要とされない。例えば、センサユニット735とディスプレイユニット765との間の画像変換を実行するためのオフボード信号プロセッサが必要ではない。これにより、エミュレートされた透明アセンブリ710についてのスペース、複雑さ、重量、及びコスト要件が軽減される。第2に、エミュレートされた透明アセンブリ710は、ディスプレイ/センサの組み合わせにおいて通常可能となるであろうよりも高い分解能を提供することができる。センサユニット735をディスプレイユニット765と直接結合し、ユニット間のデータの処理又は変換を必要としないことにより、センサユニット735及びディスプレイユニット765の分解能は、通常可能となるであろうよりも遙かに高くなる可能性がある。更に、エミュレートされた透明アセンブリ710は、任意の特定の時間に、センサユニット735及びディスプレイユニット765にわたって異種の分解能を提供することができる。すなわち、特定のセンサユニット735及び対応するディスプレイユニット765は、特定の時間に他のセンサユニット735及びディスプレイユニット765とは異なる特定の分解能を有することができ、各センサユニット735及びディスプレイユニット765の分解能は、いつでも変更することができる。
【0044】
幾つかの実施形態では、センサユニット735の各特定のセンサピクセルは、対応するディスプレイユニット765の単一のディスプレイピクセルにマッピングされ、ディスプレイピクセルは、そのマッピングされたセンサピクセルによってキャプチャされた光に対応する光を表示する。これは、図17A図17Bに最もよく示されている。一例として、センサ側マイクロレンズアレイ720Aの特定のプレノプティックセル1510(例えば、図17Aのセンサ側マイクロレンズアレイ720Aの下部プレノプティックセル1510)の各中央センシングピクセル1725は、ディスプレイ側マイクロレンズアレイ720Bの対応するプレノプティックセル1510の1735(例えば、図17Aのディスプレイ側マイクロレンズアレイ720Bの下部プレノプティックセル1510)の中央ディスプレイピクセルにマッピングされる。別の実施例として、センサ側マイクロレンズアレイ720Aの特定のプレノプティックセル1510(例えば、図17Bのセンサ側マイクロレンズアレイ720Aの上部プレノプティックセル1510)の各上部センシングピクセル1725は、ディスプレイ側マイクロレンズアレイ720Bの対応するプレノプティックセル1510の1735(例えば、図17Bのディスプレイ側マイクロレンズアレイ720Bの上部プレノプティックセル1510)の下部ディスプレイピクセルにマッピングされる。
【0045】
幾つかの実施形態では、図8に示すように、センサユニット735は、回路基板740に直接結合され、ディスプレイユニット765は、論理ユニット755(回路基板740に結合される)に結合される。他の実施形態では、ディスプレイユニット765は、回路基板740に直接結合され、センサユニット735は、論理ユニット755(回路基板740に結合される)に結合される。他の実施形態では、センサユニット735とディスプレイユニット765の両方は、回路基板740に直接結合される(すなわち、介在する論理ユニット755なしで)。このような実施形態では、センサユニット735及びディスプレイユニット765は、ユニット取付ロケーション745において回路基板740の両側に結合される(例えば、センサユニット735A及びディスプレイユニット765Aは、ユニット取付ロケーション745Aにおいて回路基板740の両側に結合される)。
【0046】
図11は、特定の実施形態による、図10の直接センサ-ディスプレイシステム1000を製造する方法1100を示す。方法1100は、ステップ1110で開始することができ、ここで複数のユニット取付ロケーションが回路基板上で形成される。幾つかの実施形態では、回路基板は回路基板740であり、ユニット取付ロケーションはユニット取付ロケーション745である。幾つかの実施形態では、各ユニット取付ロケーションは、複数のディスプレイユニットの1つ及び複数のセンサユニットの1つに対応する。ディスプレイユニットはディスプレイユニット765とすることができ、センサユニットはセンサユニット735とすることができる。幾つかの実施形態では、各特定のユニット取付ロケーションは、複数のセンサユニットの1つ及び/又は複数の論理ユニットのうちの1つに結合するように構成されたBGAパッドを含む。幾つかの実施形態では、各特定のユニット取付ロケーションは、特定のユニット取付ロケーションを1又は2以上の隣接するユニット取付ロケーションに電気的に結合するように構成された複数の相互接続パッドを含む。幾つかの実施形態では、図8に示すように、ユニット取付ロケーションは、複数の縦列及び複数の横列に配置されている。
【0047】
ステップ1120において、複数のセンサユニットは、回路基板の第1の側に結合される。幾つかの実施形態では、各センサユニットは、ステップ1110のユニット取付ロケーションのうちのそれぞれに結合される。ステップ1130において、複数のディスプレイユニットは、回路基板の第1の側と反対側にある第2の側に結合される。幾つかの実施形態では、各ディスプレイユニットは、ステップ1110のユニット取付ロケーションのそれぞれに結合され、複数のセンサピクセルユニットの各特定の1つが、複数のディスプレイピクセルユニットの対応する1つにマッピングされる。特定の各センサピクセルユニットをディスプレイピクセルユニットの1つにマッピングすることにより、複数のディスプレイピクセルユニットの各特定のディスプレイピクセルユニットのディスプレイピクセルは、マップされたセンサピクセルユニットのセンサピクセルによってキャプチャされた光に対応する光を表示するように構成される。ステップ1130の後、方法1100は終了することができる。
【0048】
特定の実施形態は、必要に応じて、方法1100の1又は2以上のステップを繰り返すことができる。本開示は、方法1100の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法1100の任意の適切なステップを行うことを企図している。更に、本開示は、方法1100の特定のステップを含む例示的な直接センサ-ディスプレイシステムの製造方法を説明及び例示しているが、本開示は、必要に応じて方法1100のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切な直接センサ-ディスプレイシステムの製造方法を企図している。更に、本開示は、方法1100の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法1100の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
【0049】
図12図13は、特定の実施形態による、図7のエミュレートされた透明アセンブリ710によって使用できる様々な層内信号処理構成を示す。一般に、図12図13の構成は、カメラとディスプレイとの間(すなわち、イメージセンサ層730と電子ディスプレイ層760との間)に挟まれるデジタル論理の層(例えば、論理ユニット層750)を利用する。これらの構成により、大量のデータ(例えば、160k又はそれ以上の画像データ)のローカル分散処理が可能になり、これによりボトルネック、並びに典型的な構成に関連する性能、電力、及び伝送ラインの問題を回避する。人間の視力は、リアルタイムで処理しなければならない膨大な量のデータを表している。典型的なイメージングシステムは、単一のデータストリームを高性能プロセッサ(例えば、CPU又はGPU)との間で伝達し、これは、操作のためにデータをシリアル化する場合としない場合がある。人間の20/20の視力でこの手法に必要とされる帯域幅は、何れかの既知の伝送プロトコルの帯域幅を遙かに超えている。典型的なシステムではまた、全ての受信/発信データの処理、又はより小さな処理ノードへの配信の管理の何れかを担当するマスターコントローラーを使用する。何れにしても、全てのデータはシステム外/チップ外に転送され、操作され、表示デバイスに返される必要がある。しかしながら、この典型的な手法では、人間の視力により必要とされる膨大な量のデータを処理することができない。しかしながら、本開示の実施形態は、信号処理を分散化及び局所化するために、本明細書で説明されるようなセンサ/ディスプレイの組み合わせのファセット化された性質を利用する。これにより、以前は達成できなかったリアルタイムのデジタル画像処理が可能になる。
【0050】
図12図13に示すように、エミュレートされた透明性アセンブリ710の特定の実施形態は、イメージセンサ層730からの入力信号を操作し、電子ディスプレイ層760に出力信号を提供するために必要なロジックを含む論理(ロジック)ユニット層750を含む。幾つかの実施形態では、論理ユニット層750は、図12に示されるように、イメージセンサ層730と回路基板740との間に配置される。他の実施形態では、論理ユニット層750は、図13に示されるように、回路基板740と電子ディスプレイ層760との間に配置される。一般に、論理ユニット層750は、イメージセンサ層730からの入力信号を直接混合し、結果として得られる信号を電子ディスプレイ層760に直接出力する前に入力信号に対して1又は2以上の数学演算(例えば、マトリックス変換)を実行することができる特殊な画像処理層である。論理ユニット層750の各ロジックユニット755は、関連するファセット(すなわち、センサユニット735又はディスプレイユニット765)のみ担当するので、特定のロジックユニット755のデータは、システムレベルI/Oにそれほど影響を与えることなく操作することができる。これにより、中央処理のために何れかの受信センサデータをパラレル処理する必要が効果的に回避される。分散型手法により、エミュレートされた透明性アセンブリ710は、拡大/ズーム(各ファセットが入力に対してスケーリング変換を適用)、視覚補正(各ファセットが近視、遠視、乱視などの一般的な視覚問題を補償するシミュレーションされた光学的変換を適用))、色覚異常の補正(各ファセットは一般的な色覚異常の問題を補償する色変換を適用)、偏光(各ファセットはグレア低減を可能にする波動偏光をシミュレートする変換を適用します)、及びダイナミックレンジ低減(各ファセットは、高輝度領域(例:日光)を暗くし、低輝度領域(例えば、影)を明るくする)などの複数の機能を提供できる。更に、データ変換は各ファセットの論理ユニット層750に局所化されたままであるので、長い伝送ラインは無用とすることができる。これにより、クロストーク、シグナルインテグリティ、その他の問題を回避できる。更に、開示された実施形態は光学的透明性を必要としないので(代わりにエミュレートされた透明性を利用する)、センサとディスプレイファセットの間に不透明な処理層を配置することに対する機能的影響がない。
【0051】
幾つかの実施形態では、論理ユニット層750は、回路基板740上に直接形成される個別論理ユニット(例えば、トランジスタ)を含む。例えば、標準的なフォトリソグラフィー技術を使用して、回路基板740上に直接論理ユニット層750を形成することができる。他の実施形態では、各論理ユニット755は、センサファセット又はディスプレイファセットの何れかに、或いは回路基板740に直接的に結合される別個の集積回路(IC)である。本明細書で使用される場合、「ファセット」は、別個に製造されて、回路基板740に結合されるディスクリートユニットを指す。例えば、「ディスプレイファセット」は、電子ディスプレイ層760とディスプレイ側マイクロレンズアレイ720Bの組み合わせを含むユニットを指すことができ、「センサファセット」は、イメージセンサ層730及びセンサ側マイクロレンズアレイ720Aの組み合わせを含むユニットを指すことができる。幾つかの実施形態では、ディスプレイファセットは、単一のディスプレイユニット765を含むことができ、又は複数のディスプレイユニット765を含むことができる。同様に、センサファセットは、単一のセンサユニット735を含むことができ、又は複数のセンサユニット735を含むことができる。幾つかの実施形態では、論理ユニット755は、センサファセット又はディスプレイファセットの何れかに含むことができる。ロジックユニット755が(回路基板740上に直接形成されるのではなく)ディスプレイファセット又はセンサファセットの何れかに直接結合される個別のICである実施形態では、シリコン貫通ビアを使用した3D IC設計などの適切な技術を用いて、ロジックユニット755のICをファセットのウェーハに結合することができる。
【0052】
幾つかの実施形態では、論理ユニット層750は、特定用途向け集積回路(ASIC)又は算術論理ユニット(ALU)であるが、汎用プロセッサではない。これにより、ロジックユニットレイヤ750の電力効率を向上させることができる。更に、これにより、論理ユニット層750が冷却なしで動作することが可能になり、エミュレートされた透明アセンブリ710のコスト及び電力要件を更に削減する。
【0053】
幾つかの実施形態では、論理ユニット755は、センサユニット735及びディスプレイユニット765と同じプロトコルを使用して通信するように構成される。例えば、ロジックユニット755がディスクリートICである実施形態では、ICは、センサ及びディスプレイファセット(例えば、LVDS又はアイ・スクエアド・シー(I2C))と同じプロトコルで通信するように構成することができる。これにより、センサとディスプレイファセットの間で変換しなければならない問題が排除され、これにより電力及びコストが削減される。
【0054】
幾つかの実施形態では、論理ユニット層750は、出力信号を電子ディスプレイ層760に送信する前に、イメージセンサ層730から受信した信号に対して1又は2以上の動作を実行する。例えば、論理ユニット層750は、イメージセンサ層730から受信した信号を変換して、電子ディスプレイ層760上に表示するための拡張情報を含むことができる。これは、例えば、観察者へのARの提供に利用することができる。幾つかの実施形態では、論理ユニット層750は、イメージセンサ層730からの受信信号を、電子ディスプレイ層760上に表示するための代替情報で完全に置き換えることができる。これは、例えば、観察者にVRを提供するために使用することができる。
【0055】
図14は、特定の実施形態による、図12図13の層内信号処理システムを製造する方法1400を示す。方法1400は、ステップ1410で開始することができ、ここで複数のセンサユニットは、回路基板の第1の側に結合される。幾つかの実施形態では、センサユニットはセンサユニット735であり、回路基板は、回路基板740である。幾つかの実施形態では、各センサユニットは、ユニット取付ロケーション745などの複数のユニット取付ロケーションのうちの1つに結合される。各センサユニットは複数のセンサピクセルを含む。
【0056】
ステップ1420では、複数のディスプレイユニットが形成される。幾つかの実施形態では、ディスプレイユニットは、ディスプレイユニット765と論理ユニット755の組み合わせである。各ディスプレイユニットは、シリコン貫通ビアを使用して、電子ディスプレイとロジックユニットを単一の3D集積回路に組み合わせることによって形成することができる。各ディスプレイユニットは、複数のディスプレイピクセルを含む。
【0057】
ステップ1430では、ステップ1420の複数のディスプレイユニットが、第1の側とは反対側の回路基板の第2の側に結合される。幾つかの実施形態では、各論理ユニットは、ユニット取付ロケーションのうちのそれぞれに結合される。ステップ1430の後、方法1400は終了することができる。
【0058】
特定の実施形態は、必要に応じて、方法1400の1又は2以上のステップを繰り返すことができる。本開示は、方法1400の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法1400の任意の適切なステップを行うことを企図している。更に、本開示は、方法1400の特定のステップを含む例示的な層内信号処理システム製造方法を説明及び図示するが、本開示は、必要に応じて方法1100のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切な層内信号処理システム製造方法を企図している。更に、本開示は、方法1400の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法1400の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
【0059】
図15図17Cは、エミュレートされた透明アセンブリ710のマイクロレンズアレイ720A~B内で使用できるプレノプティックセル1510のアレイ1500の様々な図を示す。図15は、プレノプティックセルアセンブリ1500を示し、図16は、図15のプレノプティックセルアセンブリ1500の一部の断面を示し、図17A図17Cは、光の様々な入射フィールド及び出射フィールドと共に図15のプレノプティックセルアセンブリ1500の一部の断面を示している。
【0060】
標準的な電子ディスプレイは、典型的には、2次元のラスタライズされた画像を形成するピクセルの平面配置を含み、本質的に2次元データを伝達する。1つの制限は、伝達されるシーン内の異なる視点を知覚するために平面画像を回転できないことである。この画像を鮮明に見るためには、画像自体内に何が描かれているかに関係なく、観察者の目又はカメラのレンズが画面に合焦しなければならない。対照的に、現実世界から目に入る光の量により、目はその光の量内の何れかの点に必然的に合焦することが可能となる。この光のプレノプティック「フィールド」は、外部レンズによって単一の焦点面に合焦した虚像とは対照的に、自然に目に入るシーンからの光線を含む。既存のライトフィールドディスプレイは、この現象を再現できる可能性があるが、空間分解能と角分解能との間に大きなトレードオフが存在し、その結果、知覚される光の量はぼんやりと又は細部が不十分に見える。
【0061】
既存のライトフィールドディスプレイの問題及び制限を克服するために、本開示の実施形態は、入射するプレノプティック光量を記録して、電子的に再現できる結合ライトフィールドキャプチャ及びディスプレイシステムを提供する。キャプチャ及びディスプレイプロセスの両方は、大きな合成画像の小さなビューの記録又は表示を担当するプレノプティックセル1510の配置によって実現される。センサの各プレノプティックセル1510自体は、イメージセンサピクセルの高密度クラスターから構成され、ディスプレイの各プレノプティックセル自体は、ディスプレイピクセルの高密度クラスターから構成される。どちらの場合も、センサセルに入る光線又はディスプレイセルから出る光線は、1又は2以上の透明なレンズレット1512によって合焦され、準コリメート光線の正確に調整された分散を生成する。これは、基本的に入射ライトフィールドを記録し、アセンブリの反対側でこれを再現する。具体的には、センサの場合、このセルのレンズ(又は一連のレンズ)に入るある量の光は、各ピクセルがセル内の位置とレンズのプロファイルによって決定される一方向からのみ光を集めるように画像ピクセルに合焦する。これにより、ライトフィールド内の様々な角度光線のラスタライズされたエンコードが可能になり、セル内のピクセル数が記録された角分解能を決定付ける。ディスプレイの場合、ピクセルから放出された光は、同一レンズ(又は一連のレンズ)によって合焦され、センサによって記録されたものに一致する光の量に加えて、電子的拡張又は変更(例えば、上述のロジックユニット層750からの)を生成する。このセルからの放射光の円錐は、観察者のライトフィールドの形成を可能にするのに十分な間隔の角度で光線のサブセットを含み、各出力光線方向は、セル内の元のピクセルの位置とレンズのプロファイルによって決定される。
【0062】
プレノプティックセル1510は、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの両方によって利用することができる。例えば、複数のプレノプティックセル1510Aは、センサ側マイクロレンズアレイ720Aに含めることができ、各プレノプティックセル1510Aは、イメージセンサ1520に結合又は他の方法で隣接させることができる。イメージセンサ1520は、イメージセンサ層730の一部とすることができ、センシングピクセル1725を含むセンサピクセルアレイ1525を含むことができる。同様に、複数のプレノプティックセル1510Bをディスプレイ側マイクロレンズアレイ720Bに含めることができ、各プレノプティックセル1510Bは、ディスプレイ1530に結合又は他の方法で隣接させることができる。ディスプレイ1530は、電子ディスプレイ層760の一部とすることができ、ディスプレイピクセル1735を含むディスプレイピクセルアレイ1625を含むことができる。図18図20及びこれらに関連する、「イメージセンサ用のスタックされた透明なピクセル構造」という名称の米国特許出願第15/724,027号明細書に記載されているように、センシングピクセル1725は、センサピクセル1800とすることができ、本出願は、引用により全体が本明細書に組み込まれる。ディスプレイピクセル1735は、図1図4及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第15/724,004号明細書に記載されているようなディスプレイピクセル100とすることができ、本出願は、引用により全体が本明細書に組み込まれる。
【0063】
幾つかの実施形態では、プレノプティックセル1510は、透明なレンズレット1512及びセル壁1514を含む。具体的には、プレノプティックセル1510Aは、透明なレンズレット1512A及びセル壁1514Aを含み、プレノプティックセル1510Bは、透明なレンズレット1512B及びセル壁1514Bを含む。幾つかの実施形態では、透明なレンズレット1512は、3D形状を含み、3D形状の一方端にコリメートレンズを備える。例えば、図15に示されるように、透明なレンズレット1512は、直方体であってもよく、直方体の一方端にコリメートレンズを有する。他の実施形態では、透明なレンズレット1512の3D形状は、三角形の多面体、五角形の多面体、六角形の多面体、七角形の多面体、八角形の多面体、円柱、又は他の任意の適切な形状とすることができる。各プレノプティックセル1510Aは、入力視野(FOV)1610(例えば、30度)を含み、また、各プレノプティックセル1510Bは、出力FOV1620(例えば、30度)を含む。幾つかの実施形態では、入力FOV1610は、対応するプレノプティックセル1510の出力FOV1620と一致する。
【0064】
透明なレンズレット1512は、任意の適切な透明光学材料から形成することができる。例えば、透明なレンズレット1512は、ポリマー、シリカガラス、又はサファイアから形成することができる。幾つかの実施形態では、透明なレンズレット1512は、ポリカーボネート又はアクリルなどのポリマーから形成することができる。幾つかの実施形態では、透明なレンズレット1512は、ライトフィールドをキャプチャ及び/又は生成するために、導波路及び/又はフォトニック結晶で置き替えることができる。
【0065】
一般に、セル壁1514は、隣接するプレノプティックセル1510間の光学的クロストークを防ぐための障壁である。セル壁1514は、硬化すると可視光に対して不透明となる任意の適切な材料から形成することができる。幾つかの実施形態では、セル壁1514はポリマーから形成される。セル壁1514を使用した光学的クロストークの防止は、図17A及び17Cを参照して以下でより詳細に説明される。
【0066】
幾つかの実施形態では、イメージセンサ1520は、バックプレーン回路1630Aを含むか、又はこれに結合され、ディスプレイ1530は、バックプレーン回路1630Bを含むか、又はこれに結合される。一般に、バックプレーン回路1630A-Bは、画像データがイメージセンサ1520からディスプレイ1530に流れることを可能にする電気接続を提供する。幾つかの実施形態では、バックプレーン回路1630A及びバックプレーン回路1630Bは、単一のバックプレーンの両側である。幾つかの実施形態では、バックプレーン回路1630A及びバックプレーン回路1630Bは、回路基板740である。
【0067】
幾つかの実施形態では、光の出入りを特定の入射角に制限するために、フィルタ層1640を透明なレンズレット1512の一方端又は両端に含めることができる。例えば、第1のフィルタ層1640Aは、透明なレンズレット1512の凸状端部に含めることができ、及び/又は第2のフィルタ層1640Bは、透明なレンズレット1512の反対側の端部に含めることができる。セル壁1514と同様に、このようなコーティング又はフィルムはまた、隣接する透明なレンズレット1512間の画像のにじみを許容可能な量に制限することができる。フィルタ層1640は、セル壁1514に加えて又はその代わりに使用することができる。
【0068】
図17A図17Cは各々、センサ側マイクロレンズアレイ720A及び対応するディスプレイ側マイクロレンズアレイ720Bの7つの隣接するプレノプティックセル1510の断面図を示す。これらの図は、入射ライトフィールド701が、どのようにイメージセンサ1520によってキャプチャされて、実質的に同一のライトフィールドを放出するためにディスプレイ1530上で電子的に再現されるかを示している。図17Aでは、センサプレノプティックセル1510の真正面にある物体からの入射ライトフィールド1710は、センサプレノプティックセル1510の透明なレンズレット1512によって、中央センシングピクセル1725上に合焦される。次いで、対応する光は、対応するディスプレイプレノプティックセル1510の対応する中央ディスプレイピクセル1735によって透過される。透過した光は、ディスプレイプレノプティックセル1510の透明なレンズレット1512によって合焦され、放射ライトフィールド1711として放射される。放射ライトフィールド1711は、ゼロ度のソースライトフィールド(すなわち、入力ライトフィールド1710)と正確に一致する。更に、隣接するディスプレイプレノプティックセル1510を貫通するはずのロケーション1740にてセル壁1514に当たる放射光線は、不透明なセル壁1514によって遮断され、これにより光学的クロストークが防止される。
【0069】
図17Bでは、センサプレノプティックセル1510の軸から14度離れた物体からの入射ライトフィールド1720は、センサプレノプティックセル1510の透明なレンズレット1512によって上部センシングピクセル1725上に合焦される。次に、対応する光は、対応するディスプレイプレノプティックセル1510の対応する反対の(すなわち、底部)ディスプレイピクセル1735によって透過される。透過された光は、ディスプレイプレノプティックセル1510の透明なレンズレット1512によって合焦され、放射ライトフィールド1721として放射される。放射ライトフィールド1721は、14度のソースライトフィールド(すなわち、入力ライトフィールド1720)と正確に一致する。
【0070】
図17Cでは、センサプレノプティックセル1510の軸から25度離れた物体からの入射ライトフィールド1730は、センサプレノプティックセル1510の透明なレンズレット1512によって完全にセル壁1514上に合焦される。入射ライトフィールド1730は、センシングピクセル1725の代わりにセンサプレノプティックセル1510のセル壁1514に完全に合焦されるので、対応する光は、対応するディスプレイプレノプティックセル1510によって透過されない。更に、隣接するセンサプレノプティックセル1510を貫通するはずのロケーション1750でセル壁1514に当たる入射光線は、不透明なセル壁1514によって遮断され、これにより光学的クロストークが防止される。
【0071】
図18A-18Bは、特定の実施形態による、図15のプレノプティックセルアセンブリを製造する方法を示す図である。図18Aでは、マイクロレンズアレイ(MLA)シート1810が形成又は取得される。MLAシート1810は、図示のように複数のレンズレットを含む。図18Bでは、複数の溝1820が、MLAシート1810の複数のレンズレットの各々の周りに所定の深さまでカットされている。幾つかの実施形態では、溝1820は、所望の深さを達成するために複数のパスを使用してカットすることができる。幾つかの実施形態では、溝1820は、レーザーアブレーション、エッチング、リソグラフィープロセス、又は他の任意の適切な方法を使用してカットすることができる。溝1820を所望の深さにカットした後、溝は、光が溝1820を通って漏れないように構成された材料で充填される。幾つかの実施形態では、材料は、硬化されると光を吸収する材料(例えば、カーボンナノチューブ)又は不透明な材料(例えば、非反射性の不透明な材料又は着色ポリマー)である。溝1820を充填して硬化させた後に結果として得られるプレノプティックセルアセンブリが図20-21に示される。
【0072】
図19A-19Bは、特定の実施形態による、図15のプレノプティックセルアセンブリを製造する別の方法を示す図である。図19Aでは、ボイド1840を有する予め形成された格子1830が得られるか又は形成される。格子1830は、セル壁1514について上述したように、任意の適切な材料で作られる。格子1830は、限定ではないが、付加製造及びセル物質のアブレーションを含む、任意の適切な方法から形成することができる。
【0073】
図19Bでは、ボイド1840は、光学ポリマー1850で充填されている。光学ポリマー1850は、透明なレンズレット1512について上述したように、任意の適切な材料とすることができる。ボイド1840が光学ポリマー1850で充填された後、成形又はアブレーションを使用して最終的なレンズプロファイルが作成される。レンズが形成された後の結果として得られたプレノプティックセルアセンブリの実施例が図20図21に示される。
【0074】
図22図23は、特定の実施形態による、図7のエミュレートされた透明アセンブリ710によって回路基板740として使用できるフレキシブル回路基板2210を示す。一般に、球面又は半球面などの3D形状の周りにエレクトロニクスをラップすることは、重要な作業である。フレキシブルで伸縮可能でもある回路の様々な実施例が現在利用可能であるが、このようなエレクトロニクスを小半径(例えば、30~60mm)の球面又は半球面上に位置付ける場合には、克服すべき幾つかの障害がある。例えば、フレキシブルエレクトロニクス基板を一方向に曲げても、湾曲に必要なねじり力により関連する薄膜に損傷が与えられる可能性があるので、複合湾曲への適応性を本質的に示すものではない。別の実施例として、現在利用可能な伸縮可能なエレクトロニクスの伸縮度及び寿命についての疑問が依然としてある。
【0075】
現在の解決策の問題及び制限に対処するために、本開示の実施形態は、単一のフレキシブル回路上に構築された小さな剛体面のアレイからなるジオデシックファセット手法を用いた3D(例えば、球形又は半球形)エレクトロニクス製造方法を提示する。幾つかの実施形態では、フレキシブル回路は、特定のネットシェイプにカットされ、3D形状(例えば、球状又は半球状)にラップされ、所定位置にロックされて、繰り返しの屈曲による損耗を防ぐ。本方法は、ヘッドマウントのニアアイラップディスプレイに必要な狭い曲率半径(例えば、30~60mm)に対応するのに特に有用である。幾つかの実施形態では、アセンブリは、単一の基本的なフレキシブルプリント回路層を含み、フレキシブル回路の反対側に層状の剛性センサ及びディスプレイアレイが積層されている。センサ層及びディスプレイ層を含むアセンブリ全体は、標準的な平面半導体プロセス(例:スピンコーティング、フォトリソグラフィーなど)により製造することができる。剛性エレクトロニクス層をエッチングして個別のセンサ及びディスプレイユニット(すなわち、「ファセット」)を形成し、次いで、接続パッドによりフレキシブル回路に接続して、パターン化された導電性及び非導電性接着剤により接着することができる。これにより、フレキシブル回路が剛性ファセット間の縁部にて僅かに折り畳むことができる。幾つかの実施形態では、平面製造に続いて、完全に硬化した機能電子スタックが、最終硬質ポリマーケーシングの一方の側を型として使用して、所望の最終3D形状に形成される。このようにして、剛性エレクトロニクスファセットのアレイは変形せずに、単にこれらの型の所定位置に入り、フレキシブル回路は、定められた折り目/ギャップにて曲げられ、ケーシングのファセット内部に一致する。アセンブリは、剛性ケーシングの反対側の一致する側を使用して、最終的にキャップしてシールすることができる。
【0076】
本開示の実施形態は、球形又は半球形だけに限定されないが、このような形状は確実に企図される。開示された実施形態は、任意の複合曲率又は他の任意の回転形状に形成することができる。更に、開示された実施形態は、任意の不均一な湾曲、並びに非湾曲(すなわち、平坦な)表面に形成することができる。
【0077】
図22は、2つの異なる状態のフレキシブル回路基板2210、すなわち、平坦なフレキシブル回路基板2210A及び3D形状のフレキシブル回路基板2210Bを示す。フレキシブル回路基板2210は、ファセットロケーション2220を含み、これは、一般に、ファセット(例えば、以下で論じられるセンサファセット3735、ディスプレイファセット2665、又は論理ファセット2655)がフレキシブル回路基板2210上に取り付けることができるロケーションである。幾つかの実施形態では、フレキシブル回路基板2210はギャップ2215を含む。図22の下部に示すように、フレキシブル回路基板2210が平坦である場合、ファセットロケーション2220の少なくとも幾つかは、1又は2以上のギャップ2215によって1又は2以上の隣接するファセットロケーション2220から分離されている。図22の上部に示されるように、フレキシブル回路基板2210が3D形状に形成される場合、ギャップ2215は実質的に排除することができ、これにより、ファセットロケーション2220で結合されるファセットの少なくとも幾つかにわたって連続した表面が形成される(例えば、複数のセンサファセット3735にわたる連続的なセンシング面、又は複数のディスプレイファセット2665にわたる連続的なディスプレイ面)。
【0078】
一般に、ファセットロケーション2220は、任意の形状を有することができる。幾つかの実施形態では、ファセットロケーション2220は、多角形(例えば、三角形、正方形、矩形、五角形、六角形、七角形、又は八角形)の形状である。幾つかの実施形態では、ファセットロケーション2220は全て同一である。しかしながら、他の実施形態では、ファセットロケーション2220は全て同じ多角形形状を共有する(例えば、全てが六角形である)が、異なる寸法を有する。幾つかの実施形態では、ファセットロケーション2220は異種混在の形状を有する(例えば、幾つかは矩形であり、幾つかは六角形である)。任意の適切な形状のファセットロケーション2220を使用できる。
【0079】
幾つかの実施形態では、ファセットロケーション2220は、縦列2201に配置される。幾つかの実施形態では、ファセットロケーション2220は、追加的に又は代替的に横列2202に配置される。ファセットロケーション2220の特定のパターンが示されているが、ファセットロケーション2220の任意の適切なパターンを使用することができる。
【0080】
図23は、特定の実施形態による、フレキシブル回路基板2210の追加の詳細を示す。幾つかの実施形態では、各ファセットロケーション2220は、センサ又はディスプレイファセットをフレキシブル回路基板2210に結合するためのパッド及び/又はビアを含む。例として、フレキシブル回路基板2210の幾つかの実施形態は、各ファセットロケーション2220にてBGAパッド2240を含む。各ファセットロケーション2220には、適切なパターン及び数のパッド/ビアを含めることができる。
【0081】
一般に、各特定のファセットロケーション2220は、特定のファセットロケーションに結合された特定のセンサファセットと特定のファセットロケーションの反対側に結合された特定のディスプレイファセットとの間で信号を送信するように構成される。例えば、特定のファセットロケーション2220は、一方の側に結合されたセンサファセット3735と、その反対側に結合されたディスプレイファセット2665とを有することができる。特定のファセットロケーション2220は、センサファセット3735からの信号がディスプレイファセット2665に直接伝達可能にするのに必要な電気接続を提供し、これにより、ディスプレイファセット2665がセンサファセット3735によってキャプチャされた光に対応する光を表示できるようにする。
【0082】
幾つかの実施形態では、ファセットロケーション2220を電気的に接続するために、ワイヤトレース2230がフレキシブル回路基板2210上に含まれる。例えば、ワイヤトレース2230は、隣接するファセットロケーション2220を電気的に接続するために、各ファセットロケーション2220の相互接続パッド2250に接続することができる。幾つかの実施形態では、ファセットロケーション2220は、ワイヤトレース2230を介して連続的に接続される。例えば、図24は、特定の実施形態による、フレキシブル回路基板2210を通るシリアルデータフローを示している。この実施例では、各ファセットロケーション2220には、一意の識別子(例えば、「1」、「2」など)が割り当てられ、データは、図示のようにワイヤトレース2230を介してファセットロケーション2220をシリアルに流れる。このようにして、各ファセットロケーション2220は、その一意の識別子を使用して単一のプロセッサ又は論理ユニットによってアドレス指定することができる。適切なアドレッシングスキーム及びデータフローパターンを使用できる。
【0083】
図25は、特定の実施形態による、図22のフレキシブル回路基板2210を使用して電子アセンブリを製造する方法2500を示す。ステップ2510において、複数のファセットロケーションが、フレキシブル回路基板上に形成される。幾つかの実施形態では、ファセットロケーションは、ファセットロケーション2220であり、フレキシブル回路基板は、フレキシブル回路基板2210である。各ファセットロケーションは、複数のセンサファセットの1つ及び複数のディスプレイファセットの1つに対応する。センサファセットは、センサファセット3735であり、ディスプレイファセットは、ディスプレイファセット2665である。幾つかの実施形態では、複数のファセットロケーションは、縦列2201などの複数のファセット縦列に配置される。幾つかの実施形態では、複数のファセットロケーションは、追加的に又は代替として、横列2202などの複数のファセット横列に配置される。
【0084】
ステップ2520において、ステップ2510のフレキシブル回路基板は、フレキシブル回路基板が後で球形又は半球形などの3D形状に形成可能にするパターンにカット又は他の方法で成形される。フレキシブル回路基板が平坦な場合、ファセットロケーションの少なくとも一部は、ギャップ2215などの複数のギャップによって1又は2以上の隣接するファセットロケーションから分離される。フレキシブル基板が3D形状にされた場合、複数のギャップが実質的に排除される。
【0085】
ステップ2530において、第1の複数の剛性ファセットをフレキシブル回路基板の第1の側に結合することにより、電子アセンブリが組み立てられる。第1の複数の剛性ファセットは、センサファセット3735又はディスプレイファセット2665とすることができる。各剛性ファセットは、ファセットロケーションのそれぞれに結合される。幾つかの実施形態では、第1の複数の剛性ファセットは、パターン化された導電性及び非導電性接着剤を使用して、フレキシブル回路基板の第1の側で接続パッドに結合される。
【0086】
幾つかの実施形態では、ステップ2530の第1の複数の剛性ファセットは、センサファセット3735などの剛性センサファセットであり、方法2500は、ディスプレイファセット2665などの複数の剛性ディスプレイファセットを、第1の側の反対側にあるフレキシブル回路基板の第2の側に結合するステップを更に含む。この場合、特定の各ファセットロケーションは、特定のファセットロケーションに電気的に結合された特定の剛性センサファセットと、同じ特定のファセットロケーションに電気的に結合された特定の剛性ディスプレイファセットとの間で信号を送信するように構成される。これにより、対応する剛性センサファセットによりキャプチャされた光に対応する特定の剛性ディスプレイファセットから光を表示することができる。
【0087】
ステップ2540において、組み立てられた電子アセンブリは、所望の3D形状に形成される。幾つかの実施形態では、このステップは、結合された剛性ファセットを備えたフレキシブル回路基板を、所望の形状の剛性ケーシングの一方の側に配置することを含む。これにより、剛性ファセットがケーシングの定義されたスペースに入り、フレキシブル回路基板が剛性ファセット間の定義された折り目/ギャップにて曲がることができるようになる。結合された剛性ファセットを備えたフレキシブル回路基板を剛性ケーシングの一方の側に配置した後、剛性ケーシングの反対側の一致する側を第1の側に取り付けて、これによりアセンブリを目的の形状にシールすることができる。
【0088】
特定の実施形態は、必要に応じて、方法2500の1又は2以上のステップを繰り返すことができる。本開示は、方法2500の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法2500の任意の適切なステップを行うことを企図している。更に、本開示は、フレキシブル回路基板を使用して電子アセンブリを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法2500のステップの全て又は一部を含むか又は全く含まない場合がある、フレキシブル回路基板を使用して電子アセンブリを製造する任意の適切な方法を企図している。更に、本開示は、方法2500の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法2500の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
【0089】
図26図36は、特定の実施形態による、高密度ディスプレイ用の分散マルチスクリーンアレイを示す。一般に、人間の片目の視野全体をエミュレートできるニアアイディスプレイを提供するには、現在の一般的なディスプレイ画面よりも桁違いに高い分解能の高ダイナミックレンジ画像ディスプレイが必要である。このようなディスプレイは、人間の20/20の視力に対応するのに十分な角度及び空間分解能を有するライトフィールドディスプレイを提供可能であることが必要である。これは膨大な量の情報であり、100K~200Kの合計水平ピクセル数に相当する。これらのディスプレイはまた、人間の1つの目の視野全体(水平方向約160°及び垂直方向約130°)の周りをラップする必要がある。両眼視をレンダリングするためには、それぞれの目の周りの曲面全体に広がるこのようなディスプレイのペアが必要になる。しかしながら、現在入手可能な典型的なディスプレイは、これらの要件を満たすことができない。
【0090】
現在のディスプレイのこれら及び他の制限に対処するために、本開示の実施形態は、カスタムサイズ及び形状の小型の高分解能マイクロディスプレイ(例えば、ディスプレイファセット2665)のアレイを提供し、これら全てが形成された後、3D形状(例えば、半球面)に形成することができるより大きなフレキシブル回路基板2210上に組み立てられる。マイクロディスプレイは、半球状回路の内側に取り付けることができ、ここでTFTロジックユニット(例えば、ロジックユニット755)のアレイを含む別の層を含めて、電力及び信号管理を全て処理することができる。典型的には、各マイクロディスプレイに対して1つの論理ユニット755を含めることができる。各マイクロディスプレイは、ディスクリートユニットとして動作し、その背後のロジックユニットからのデータを表示する。追加の情報(例えば、AR、VR、又はMRアプリケーションのための外部ビデオなど)は、中央制御プロセッサを介してアレイ全体にわたすことができる。幾つかの実施形態では、外部データ信号は、1つのマイクロディスプレイから次のマイクロディスプレイへとパックドマルチプレックスストリームとしてシリアルに進行し、各ディスプレイに対するTFTロジックユニットは、読み取る信号のソースとセクションを決定する。これにより、各ユニットは、他のディスプレイとは独立して動作することができ、各々で独自のコンテンツを有して多くの高分解能ディスプレイの大型アレイを提供し、アセンブリ全体として本質的に単一の超高分解能ディスプレイを形成する。
【0091】
分解能、色の明瞭性、及び輝度出力の要件を満たすために、各マイクロディスプレイは、独自の高性能ピクセルアーキテクチャを有することができる。例えば、各マイクロディスプレイ画面は、図1図4及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第15/724,004号明細書に記載されているように、ディスプレイピクセル100のアレイを含むことができ、本出願は、引用により全体が本明細書に組み込まれる。マイクロディスプレイ画面は、適切な方法を使用して同じ基板上に組み立てることができる。標準的な半導体層形成及びフォトリソグラフィープロセスを使用したこのような同時製造により、多くの個別の画面の製造及びパッケージングに伴うオーバーヘッド及びコストが実質的に排除され、値頃感が大幅に向上する。
【0092】
図26は、特定の実施形態による、湾曲したマルチディスプレイアレイ2600の切り欠き図を示す。図26は、基本的に、図22のフレキシブル回路基板2210Bの裏側であり、ファセットロケーション2220にてフレキシブル回路基板2210Bに結合された論理ファセット2655及びディスプレイファセット2665が追加されている。一般に、各論理ファセット2655は、論理ユニット層750からの個別の論理ユニット755である。同様に、各ディスプレイファセット2665は、マイクロレンズアレイ720の一部と結合されたディスプレイ層760からの個別のディスプレイユニット765である。
【0093】
幾つかの実施形態では、各個別の論理ファセット2655は、フレキシブル回路基板2210に結合され、その後、各個別のディスプレイファセット2665は、論理ファセット2655のうちの1つに結合される。他の実施形態では、各論理ファセット2655は、最初にディスプレイファセット2665のうちの1つに結合され、その後、組み合わされたファセットは、フレキシブル回路基板2210に結合される。このような実施形態では、組み合わされた論理ファセット2655及びディスプレイファセット2665は、簡単にするためにディスプレイファセット2665と呼ぶことができる。本明細書で使用される「ディスプレイファセット」は、両方の実施形態(すなわち、個別のディスプレイファセット2665、又はディスプレイファセット2665と論理ファセット2655の組み合わせ)を指すことができる。
【0094】
一般に、各ディスプレイファセット2665は、(例えば、図示されていない中央制御プロセッサによって)個別にアドレス指定することができ、ディスプレイファセット2665の集合は、単一の集合体を形成する異種の動的集合を表すことができる。換言すると、マルチディスプレイアレイ2600は、全体として完全体を形成する個別のディスプレイファセット2665を通る画像を示すタイル状の電子ディスプレイシステムを提供する。各個別のディスプレイファセット2665は、複数の異なるディスプレイ分解能を提供でき、オンザフライでカスタマイズして、異なる分解能、色範囲、フレームレートなどを実行することができる。例えば、1つのディスプレイファセット2665が512x512の表示分解能を有することができ、隣接するディスプレイファセット2665(同じサイズ)が128x128の表示分解能を有しており、前者はより高濃度の画像データを表す。この実施例では、これら2つのディスプレイは異種であるが、個別に制御可能であり、一体となって作動して単一のディスプレイイメージを形成する。
【0095】
ディスプレイファセット2665の全体集合は、任意の曲面又は平面の構造に従うことができる。例えば、ディスプレイファセット2665は、半球面、円筒面、楕円球面、又は他の任意の形状の面に形成することができる。
【0096】
論理ファセット2655及びディスプレイファセット2665は、任意の適切な形状にすることができる。幾つかの実施形態では、論理ファセット2655及びディスプレイファセット2665の形状は、互いに及びファセットロケーション2220の形状に一致する。幾つかの実施形態では、論理ファセット2655及びディスプレイファセット2665は、三角形、四辺形、五角形、六角形、七角形、又は八角形などの多角形の形状である。幾つかの実施形態では、論理ファセット2655及びディスプレイファセット2665の一部又は全てが非多角形の形状を有する。例えば、アセンブリ全体の美観を高めるために湾曲したカットオフを有する場合があるので、フレキシブル回路基板2210の縁部上のディスプレイファセット2665は、多角形でない場合がある。
【0097】
選択可能/制御可能なディスプレイ分解能を有することに加えて、幾つかの実施形態において、各ディスプレイファセット2665はまた、複数の色範囲からの選択可能な色範囲及び/又は複数のフレームレートからの選択可能なフレームレートを有することができる。このような実施形態では、特定のフレキシブル回路基板2210のディスプレイファセット2665は、異種のフレームレート及び異種の色範囲を提供するように構成可能である。例えば、1つのディスプレイファセット2665が特定の色範囲を有することができ、別のディスプレイファセット2665は、異なる色範囲を有する。同様に、1つのディスプレイファセット2665は、特定のフレームレートを有することができ、別のディスプレイファセット2665は、異なるフレームレートを有する。
【0098】
図27は、特定の実施形態による、図26の湾曲したマルチディスプレイアレイ2600の分解図を示し、図28図29は、特定の実施形態による、論理ファセット2655及びディスプレイファセット2665の更なる詳細を示す図である。これらの図に示されるように、各論理ファセット2655は、隣接する論理ファセット2655の相互接続パッド2250に電気的に結合することができる相互接続パッド2850を含むことができる。これにより、ワイヤトレース2230を介してディスプレイファセット2665をシリアルに結合できるようになる。更に、各論理ファセット2655は、ディスプレイファセット2665の背面にあるパッド2940と一致するパターンのパッド2840を含むことができる。これにより、論理ファセット2655とディスプレイファセット2665は、当技術分野の適切な技術を使用して結合することができる。幾つかの実施形態では、パッド2840及びパッド2940は、BGAパッド又は他の適切な表面実装パッドである。
【0099】
図30及び32は、図22のフレキシブル回路基板2210の裏側を示し、また、図23を参照して説明したのと同様の詳細を示す。図31及び図33は、フレキシブル回路基板2210を通るシリアルデータフローを示し、また、図24を参照して説明したのと同様の詳細を示す。図34は、特定の実施形態による、半球形状に形成された論理ファセット2655のアレイを示している。この図では、明瞭にするために、フレキシブル回路基板2210とディスプレイファセット2665が削除されている。図35は、特定の実施形態による、図34の論理ファセット2655間の通信を示している。この図に示すように、各論理ファセット2655は、相互接続パッド2850を使用して隣接する論理ファセット2655と通信することができる。更に、各論理ファセット2655は、図35に示されているように、一意の識別情報を有することができる。これにより、各論理ファセット2655は、例えば中央処理装置によって一意的にアドレス指定することができる。
【0100】
図36は、特定の実施形態による、図26の湾曲したマルチディスプレイアレイを製造する方法3600を示す。方法3600は、ステップ3610で開始することができ、ここで回路基板上に複数のファセットロケーションが形成される。幾つかの実施形態では、ファセットロケーションはファセットロケーション2220であり、回路基板はフレキシブル回路基板2210である。幾つかの実施形態では、各ファセットロケーションは、ディスプレイファセット2665などの複数のディスプレイファセットのうちの1つに対応する。
【0101】
ステップ3620において、フレキシブル回路基板は、フレキシブル回路基板が後で3D形状に形成できるようにするパターンにカット又は他の方法で形成される。フレキシブル回路基板が平坦である場合、ファセットロケーションの少なくとも幾つかは、ギャップ2215などの複数のギャップによって1又は2以上の隣接するファセットロケーションから分離される。フレキシブル基板が3D形状に形成された場合、複数のギャップが実質的に排除される。
【0102】
ステップ3630において、複数の論理ファセットが、フレキシブル回路基板の第1の側に結合される。各論理ファセットは、ステップ3610のファセットロケーションのそれぞれに結合される。ステップ3640において、複数のディスプレイファセットが、ステップ3630の複数の論理ファセットのそれぞれに結合される。別の実施形態では、ディスプレイファセットは、論理ファセットをフレキシブル回路基板の第1の側に結合する前に、ウェーハレベルでステップ3630の論理ファセットに取り付けることができる。ステップ3650では、組み立てられた電子ディスプレイアセンブリが3D形状に形成される。幾つかの実施形態では、このステップは、上記の方法2500のステップ2540と同様とすることができる。ステップ3650の後、方法3600は終了することができる。
【0103】
特定の実施形態は、必要に応じて、方法3600の1又は2以上のステップを繰り返すことができる。本開示は、方法3600の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法3600の任意の適切なステップを行うことを企図している。更に、本開示は、湾曲したマルチディスプレイアレイを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法3600のステップの全て又は一部を含むか又は全く含まない場合がある、湾曲したマルチディスプレイアレイを製造する任意の適切な方法を企図している。更に、本開示は、方法3600の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法3600の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
【0104】
図37図42は、特定の実施形態による、分散型マルチアパーチャカメラアレイ3700を示す。一般に、人間の単一の目の視野全体のフルライトフィールドをキャプチャするには、現在入手可能な分解能よりも遙かに高い分解能を備えた大型の高ダイナミックレンジイメージセンサが必要である。このようなイメージセンサは、人間の20/20の視力に対応するのに十分な角度及び空間分解能を有するライトフィールドカメラを可能にする。これは膨大な量の情報であり、100K~200Kの合計水平ピクセル数に相当する。このマルチアパーチャイメージセンサはまた、人間の1つの目の視野全体の周りをラップする必要がある(水平方向約160°、垂直方向約130°)。両眼視の撮像には、両眼の曲面全体に広がるこのようなカメラが必要になる。現在入手可能な典型的なイメージセンサアセンブリは、これらの要件を満たすことができない。
【0105】
典型的なイメージセンサのこれら及び他の制限を克服するために、本開示の実施形態は、カスタムサイズ及び形状の小さなイメージセンサのアレイを提供し、これらの全ては、3D(例えば、半球状)形状に形成されるより大きなフレキシブル回路基板上に組み立てられる。イメージセンサ(例えば、センサファセット3735)は、フレキシブル回路基板2210の外側部に取り付けられ、ここでTFTロジックユニット(例えば、ロジックユニット755)のアレイを含む別の層を設けて、全ての電力及び信号管理、すなわち各ディスプレイに1つの論理ユニットを処理することができる。各イメージセンサは、読み出しデータをその背後のロジックユニットにわたすディスクリートユニットとして動作し(ロジックユニットを含む実施形態では)、ここで処理されてこれに応じてルーティングされる(例えば、幾つかの実施形態では、対応するディスプレイファセット2665に)。これにより、各センサファセット3735は、他の任意のセンサファセット3735から独立して動作することができ、各々で独自のコンテンツをキャプチャする多数のアパーチャの大きなアレイを提供し、アセンブリ全体が本質的にシームレスな極めて高い分解能のマルチノードカメラになる。幾つかの実施形態では、イメージセンサは、ペアのロジックユニットにデータをわたすことができるが、イメージセンサ自体の機能は必ずしもロジックユニットの結合を必要としない点に留意されたい。
【0106】
分解能、色の明瞭性、及び輝度出力の要件を満たすために、各マイクロセンサは、独自の高性能ピクセルアーキテクチャを有することができる。例えば、各マイクロセンサは、図18-20及びこれらに関連する、イメージセンサ用のスタックされた透明なピクセル構造」という名称の米国特許出願第15/724,027号明細書に記載されているように、センサピクセル1800のアレイを含むことができ、本出願は、引用により全体が本明細書に組み込まれる。マイクロセンサは、任意の適切な方法を使用して同じ基板上に組み立てることができる。標準的な半導体層形成及びフォトリソグラフィープロセスを使用したこのような同時製造により、多くの個別の画面の製造及びパッケージングに伴うオーバーヘッド及びコストが実質的に排除され、値頃感が大幅に向上する。
【0107】
分散型マルチアパーチャカメラアレイ3700の特定の実施形態の別の特徴は、異なるプレノプティックセル間の視差に基づく組み込みの奥行き知覚である。所与のセンサの両側のセルによって生成された画像を使用して、画像詳細のオフセットを計算することができ、ここでオフセット距離は、ディテールのセンサ表面への近接度と直接相関性がある。このシーン情報は、拡張ビデオ信号を重畳するときに中央プロセッサによって用いることができ、AR/MRコンテンツが観察者の前方に適切な深度で配置されることになる。この情報はまた、シミュレートされた被写界深度、空間エッジ検出、及び他の視覚効果を含む、様々な人工焦点ぼけ及び深度センシングタスクにおいて使用できる。
【0108】
図37は、特定の実施形態による、分散マルチアパーチャカメラアレイ3700の切り欠き図を示す。図37は、本質的に図22のフレキシブル回路基板2210Bであり、ファセットロケーション2220でフレキシブル回路基板2210Bに結合されたセンサファセット3735が付加されている。幾つかの実施形態では、各センサファセット3735は、イメージセンサ層730からの個別のセンサユニット735である。
【0109】
幾つかの実施形態では、各個別のセンサファセット3735は、フレキシブル回路基板2210に結合される。他の実施形態では、各個別のセンサファセット3735は、フレキシブル回路基板2210に結合されている論理ファセット2655のうちの1つに結合される。他の実施形態では、各論理ファセット2655は、最初にセンサファセット3735のうちの1つに結合され、その後、組み合わされたファセットは、フレキシブル回路基板2210に結合される。このような実施形態では、組み合わされた論理ファセット2655とセンサファセット3735は、簡単にするためにセンサファセット3735と呼ぶことができる。本明細書で使用される「センサファセット」は、両方の実施形態(すなわち、個別のセンサファセット3735、又はセンサファセット3735と論理ファセット2655の組み合わせ)を指すことができる。
【0110】
一般に、各センサファセット3735は、(例えば、図示されていない中央制御プロセッサによって)個別にアドレス指定することができ、センサファセット3735の集合は、単一の集合体を形成する異種の動的集合を表すことができる。換言すると、分散型マルチアパーチャカメラアレイ3700は、タイル状の電子センサシステムを提供し、全体として完全体を形成する個別のセンサファセット3735を通じてキャプチャされた画像を提供する。各個別のセンサファセット3735は、複数の異なる分解能で画像をキャプチャすることができ、オンザフライでカスタマイズして、異なる分解能、色範囲、フレームレートなどをキャプチャすることができる。例えば、1つのセンサファセット3735が512x512のキャプチャ分解能を有することができ、隣接するセンサファセット3735(同じサイズ)が128x128のキャプチャ分解能を有しており、前者はより高濃度の画像データを表す。この実施例では、これら2つのセンサは異種であるが、個別に制御可能であり、一体となって作動して単一のライトフィールドをキャプチャする。
【0111】
センサファセット3735の全体集合は、任意の曲面又は平面の構造に従うことができる。例えば、センサファセット3735は、半球面、円筒面、楕円球面、又は他の任意の形状の面に形成することができる。
【0112】
センサファセット3735は、任意の適切な形状にすることができる。幾つかの実施形態では、センサファセット3735の形状は、ディスプレイファセット2665の形状及びファセットロケーション2220の形状と一致する。幾つかの実施形態では、センサファセット3735は、三角形、四辺形、五角形、六角形、七角形、又は八角形などの多角形の形状である。幾つかの実施形態では、センサファセット3735の一部又は全部が非多角形の形状を有する。例えば、アセンブリ全体の美観を高めるために湾曲したカットオフを有する場合があるので、フレキシブル回路基板2210のエッジ上のセンサファセット3735は多角形でない場合がある。
【0113】
選択可能/制御可能な分解能を有することに加えて、幾つかの実施形態では、各センサファセット3735はまた、複数の色範囲からの選択可能な色範囲及び/又は複数のフレームレートからの選択可能なフレームレートを有することができる。このような実施形態では、特定のフレキシブル回路基板2210のセンサファセット3735は、異種のフレームレート及び異種の色範囲を提供するように構成可能である。例えば、1つのセンサファセット3735が特定の色範囲を有することができ、別のセンサファセット3735が異なる色範囲を有する。同様に、1つのセンサファセット3735は、特定のフレームレートを有することができ、別のセンサファセット3735は、異なるフレームレートを有する。
【0114】
図38図39は、特定の実施形態による、図37の分散型マルチアパーチャカメラアレイ3700の分解図を示す。これらの図に示されるように、各センサファセット3735は、フレキシブル回路基板2210のパッド2240又は論理ファセット2655のパッド2940と一致するパターンのパッド3940を含むことができる。これにより、センサファセット3735は、当技術分野の任意の適切な技術を使用して、論理ファセット2655又はフレキシブル回路基板2210に結合することができる。幾つかの実施形態では、パッド3940は、BGAパッド又は他の適切な表面実装パッドである。図40図40は、フレキシブル回路基板2210が3D形状に形成されていることを除いて、図23図24に示されるようなフレキシブル回路基板2210の同様の図を示す。
【0115】
図42は、特定の実施形態による、分散マルチアパーチャカメラアレイ3700を製造する方法4200を示す。方法4200は、ステップ4210で開始することができ、ここで回路基板上に複数のファセットロケーションが形成される。幾つかの実施形態では、ファセットロケーションは、ファセットロケーション2220であり、回路基板は、フレキシブル回路基板2210である。幾つかの実施形態では、各ファセットロケーションは、センサファセット3735などの複数のセンサファセットの1つに対応する。
【0116】
ステップ4220において、フレキシブル回路基板は、フレキシブル回路基板が後で3D形状に形成できるようにするパターンにカット又は他の方法で形成される。フレキシブル回路基板が平坦である場合、ファセットロケーションの少なくとも幾つかは、ギャップ2215などの複数のギャップによって1又は2以上の隣接するファセットロケーションから分離される。フレキシブル基板が3D形状に形成された場合、複数のギャップが実質的に排除される。
【0117】
ステップ4230において、複数のセンサファセットが、フレキシブル回路基板の第1の側に結合される。各センサファセットは、ステップ4210のファセットロケーションのそれぞれに結合される。ステップ4240では、組み立てられた電子カメラアセンブリが3D形状に形成される。幾つかの実施形態では、このステップは、上述の方法2500のステップ2540と同様とすることができる。ステップ4240の後、方法4200は終了することができる。
【0118】
特定の実施形態は、必要に応じて、方法4200の1又は2以上のステップを繰り返すことができる。本開示は、方法4200の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法4200の任意の適切なステップを行うことを企図している。更に、本開示は、分散型マルチアパーチャカメラアレイを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法4200のステップの全て又は一部を含むか又は全く含まない場合がある、分散型マルチアパーチャカメラアレイを製造する任意の適切な方法を企図している。更に、本開示は、方法4200の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法4200の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
【0119】
本明細書では、「又は」は、他に明示的に示されていないか、又は文脈によって他に示されていない限り、包括的であり排他的ではない。従って、本明細書では、「A又はB」は、特に明記されていない限り又は文脈によって別段に指定されていない限り、「A、B、又はその両方」を意味する。更に、「及び」は、特に明記されていない限り又は文脈によって別段に示されていない限り、共同及び別々の両方である。従って、本明細書では、「A及びB」は、特に明記されていない限り又は文脈によって別の方法で指定されていない限り、「A及びBは、共同又は別々に」を意味する。
【0120】
本開示の範囲は、当業者であれば理解するであろう、本明細書に記載又は例示される例示的な実施形態に対する全ての変更、置換、変形、代替、及び修正を包含する。本開示の範囲は、本明細書で説明又は図示される例示的な実施形態に限定されない。更に、本開示は、特定の構成要素、要素、機能、操作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び図示しているが、これらの実施形態の何れも、当業者が理解するであろう本明細書の任意の場所に記載又は図示されている構成要素、要素、機能、操作、又はステップの任意の組み合わせ又は置換を含むことができる。更に、特定の機能を実行するように適合、配置、実施可能、構成可能、有効、作動可能、又は作動する装置又はシステムもしくは装置又はシステムの構成要素への添付の特許請求の範囲における言及は、その特定の機能が起動、オン、又はロック解除されているかどうかにかかわらず、当該装置、システム、又は構成要素がそのように適合、配置、実施可能、構成、有効、動作可能、又は作動する限り、当該装置、システム、構成要素を包含する。
【0121】
本開示は、特定の構成要素、要素、機能、操作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び図示しているが、これらの実施形態の何れも、当業者が理解するであろう本明細書のどこかで記載又は例示される構成要素、要素、機能、操作、又はステップの任意の組み合わせ又は置換を含むことができる。
【0122】
更に、特定の機能を実行するように適合、配置、実施可能、構成可能、有効、作動可能、又は作動する装置又はシステムもしくは装置又はシステムの構成要素への添付の特許請求の範囲における言及は、その特定の機能が起動、オン、又はロック解除されているかどうかにかかわらず、当該装置、システム、又は構成要素がそのように適合、配置、実施可能、構成、有効、動作可能、又は作動する限り、当該装置、システム、構成要素を包含する。以下の本発明の実施態様を記載する。
(実施態様)電子ディスプレイアセンブリであって、回路基板と、前記回路基板の第1の側にあり、第1の複数のマイクロレンズを含む第1のマイクロレンズ層と、前記第1のマイクロレンズ層とは前記回路基板の反対側にあり、第2の複数のマイクロレンズを含む第2のマイクロレンズ層と、前記第1のマイクロレンズ層に隣接し、前記第1の複数のマイクロレンズを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、前記第2のマイクロレンズ層に隣接し、前記第2の複数のマイクロレンズを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、前記回路基板に結合された論理ユニット層であって、前記第1の複数のマイクロレンズを通って検出された前記入射光の角度に対応する角度で前記第2の複数のマイクロレンズから光を放出するように、前記複数のセンサピクセルから前記複数のディスプレイピクセルに信号を送信することにより透明性をエミュレートするように構成された1又は2以上の論理ユニットを含む論理ユニット層と、を備えた、電子ディスプレイアセンブリ。
(実施態様2)前記第1の複数のマイクロレンズは、第1の方向に向けられ、
前記第2の複数のマイクロレンズは、前記第1の方向から180度の第2の方向に向けられる、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様3)前記イメージセンサ層が、前記第1のマイクロレンズ層内に配置され、
前記ディスプレイ層が、前記第2のマイクロレンズ層内に配置される、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様4)前記回路基板がフレキシブルである、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様5)透明性をエミュレートすることが、前記電子ディスプレイアセンブリが存在しない場合に見えることになる画像と一致する画像が表示されるように前記第2の複数のマイクロレンズから光を放出させることを含む、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様6)前記論理ユニット層が、前記イメージセンサ層と前記回路基板との間にある、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様7)前記論理ユニット層が、前記ディスプレイ層と前記回路基板との間にある、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様8)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様9)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが更に、隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁を含む、実施態様8に記載の電子ディスプレイアセンブリ。
(実施態様10)電子ディスプレイアセンブリであって、回路基板と、前記回路基板の第1の側にあり、第1の複数のマイクロレンズを含む第1のマイクロレンズ層と、前記第1のマイクロレンズ層とは前記回路基板の反対側にあり、第2の複数のマイクロレンズを含む第2のマイクロレンズ層と、前記第1のマイクロレンズ層に隣接し、前記第1の複数のマイクロレンズを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、前記第2のマイクロレンズ層に隣接し、前記第2の複数のマイクロレンズを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、を備え、前記電子ディスプレイアセンブリは、前記第1の複数のマイクロレンズを通して検出された入射光の角度に対応する角度で前記第2の複数のマイクロレンズから光を放出することにより透明性をエミュレートするように構成されている、電子ディスプレイアセンブリ。
(実施態様11)前記第1の複数のマイクロレンズは、第1の方向に向けられ、
前記第2の複数のマイクロレンズは、前記第1の方向から180度の第2の方向に向けられる、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様12)前記イメージセンサ層が、前記第1のマイクロレンズ層内に配置され、前記ディスプレイ層が、前記第2のマイクロレンズ層内に配置される、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様13)前記回路基板がフレキシブルである、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様14)透明性をエミュレートすることが、前記電子ディスプレイアセンブリが存在しない場合に見えることになる画像と一致する画像が表示されるように前記第2の複数のマイクロレンズから光を放出させることを含む、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様15)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様16)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが更に、隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁を含む、実施態様15に記載の電子ディスプレイアセンブリ。
(実施態様17)電子ディスプレイを製造する方法であって、
回路基板上に複数のユニット取付ロケーションを形成するステップであって、前記ユニット取付ロケーションの各々が、複数のディスプレイユニットの1つ及び複数のセンサユニットの1つに対応する、ステップと、
前記複数のセンサユニットを前記回路基板の第1の側に結合するステップであって、前記センサユニットの各々が、前記ユニット取付ロケーションのそれぞれに結合される、ステップと、
前記複数のディスプレイユニットを前記第1の側とは反対側の前記回路基板の第2の側に結合するステップであって、前記ディスプレイユニットの各々が、前記ユニット取付ロケーションのそれぞれに結合される、ステップと、
第1の複数のマイクロレンズを前記複数のセンサユニットに結合するステップと、
第2の複数のマイクロレンズを前記複数のディスプレイユニットに結合するステップと、を含む、方法。
(実施態様18)前記回路基板と前記複数のディスプレイユニットとの間に複数の論理ユニットを結合するステップを更に含む、実施態様17に記載の電子ディスプレイを製造する方法。
(実施態様19)前記回路基板と前記複数のセンサユニットとの間に複数の論理ユニットを結合するステップを更に含む、実施態様17に記載の電子ディスプレイを製造する方法。
(実施態様20)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、
3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、3次元形状と、
隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁と、を含む、実施態様17に記載の電子ディスプレイを製造する方法。
【符号の説明】
【0123】
701 入射ライトフィールド
702 出射ライトフィールド
710 エミュレートされた透明アセンブリ
720A センサ側マイクロレンズアレイ
720B ディスプレイ側マイクロレンズアレイ
730 イメージセンサ層
735A~C センサユニット
740 回路基板
745A~C ユニット取付ロケーション
750 論理ユニット層
755A~C 論理ユニット
760 電子ディスプレイ層
765A~C ディスプレイユニット
図1A
図1B
図1C
図2A
図2B
図2C
図3A
図3B
図3C
図4A
図4B
図4C
図5A
図5B
図5C
図6A
図6B
図6C
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17A
図17B
図17C
図18A-21】
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42