IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シナプティクス インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】カメラのための光源
(51)【国際特許分類】
   H04N 23/57 20230101AFI20241107BHJP
   H04N 23/56 20230101ALI20241107BHJP
   H04N 23/45 20230101ALI20241107BHJP
   G03B 11/00 20210101ALI20241107BHJP
   G02B 3/00 20060101ALI20241107BHJP
   G03B 30/00 20210101ALI20241107BHJP
   G03B 15/02 20210101ALN20241107BHJP
【FI】
H04N23/57
H04N23/56
H04N23/45
G03B11/00
G02B3/00 A
G03B30/00
G03B15/02 P
【請求項の数】 10
(21)【出願番号】P 2022505340
(86)(22)【出願日】2020-06-02
(65)【公表番号】
(43)【公表日】2022-10-27
(86)【国際出願番号】 US2020035761
(87)【国際公開番号】W WO2021034369
(87)【国際公開日】2021-02-25
【審査請求日】2023-05-23
(31)【優先権主張番号】16/544,488
(32)【優先日】2019-08-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502161508
【氏名又は名称】シナプティクス インコーポレイテッド
(74)【代理人】
【識別番号】100205350
【弁理士】
【氏名又は名称】狩野 芳正
(74)【代理人】
【識別番号】100117617
【弁理士】
【氏名又は名称】中尾 圭策
(72)【発明者】
【氏名】ボネフ、ボイヤン・イワノフ
(72)【発明者】
【氏名】ミエンコ、マレク
【審査官】藏田 敦之
(56)【参考文献】
【文献】特開2014-238442(JP,A)
【文献】特開2012-070356(JP,A)
【文献】特開2017-098863(JP,A)
【文献】特開2017-175004(JP,A)
【文献】特開2004-094050(JP,A)
【文献】特開2007-235872(JP,A)
【文献】特開2017-201382(JP,A)
【文献】特開2012-098726(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/50 - 23/60
G03B 30/00
(57)【特許請求の範囲】
【請求項1】
ディスプレイと、
前記ディスプレイから分離されたレンズと、
第1方向に前記レンズを透過する可視光を検出するように構成された1以上の光センサを備える第1カメラと、
記ディスプレイを透過しないように、かつ、前記第1方向とは逆の第2方向に前記レンズを通過する赤外(IR)光を発するように構成された光源と、
前記ディスプレイの背後に配置され、前記第1方向に前記ディスプレイを透過する前記IR光の反射を検出するように構成された第2カメラと、
を備える、
デバイス。
【請求項2】
前記レンズが、前記可視光を前記1以上の光センサに合焦するように構成された
請求項1のデバイス。
【請求項3】
ディスプレイと、
前記ディスプレイから分離された第1表面を第1方向に透過する可視光を検出するように構成された1以上の光センサを備える第1カメラと、
前記ディスプレイを透過しないように、前記第1表面を前記第1方向と逆の第2方向に透過する赤外(IR)光を発するように構成された光源と、
前記ディスプレイの背後に配置され、前記第1方向に前記ディスプレイを透過する前記IR光の反射を検出するように構成された第2カメラと、
前記IR光を前記1以上の光センサから離れる方向に反射する一方、前記可視光を前記1以上の光センサへと伝達するように構成されたダイクロイック反射器と、
える、
バイス。
【請求項4】
ディスプレイと、
前記ディスプレイから分離された第1表面を第1方向に透過する可視光を検出するように構成された1以上の光センサを備える第1カメラと、
前記ディスプレイを透過しないように、前記第1表面を前記第1方向と逆の第2方向に透過する赤外(IR)光を発するように構成された光源と、
前記ディスプレイの背後に配置され、前記第1方向に前記ディスプレイを透過する前記IR光の反射を検出するように構成された第2カメラと、
前記IR光を前記第1表面へ指向するように構成された光ガイドと、
え、
前記第1表面が前記光ガイドの少なくとも一部を含む、
バイス。
【請求項5】
前記光ガイドの前記一部が、前記第1表面から発された前記IR光を拡散するように構成された拡散面又は複数のマイクロレンズを備える、
請求項4のデバイス。
【請求項6】
環境光センサを更に備え、
前記光ガイドが、前記第1表面を透過する環境光を前記環境光センサへ指向するように更に構成されている、
請求項4または5のデバイス。
【請求項7】
近接センサを更に備え、
前記光ガイドが、前記第1表面を透過する前記IR光の反射を前記近接センサへ指向するように更に構成されている、
請求項4から6のいずれか1項のデバイス。
【請求項8】
ディスプレイと、
前記ディスプレイから分離されたレンズと、
第1方向で前記レンズを透過する可視光を検出するように構成された1以上の光センサと、
前記第1方向とは逆の第2方向に前記ディスプレイを透過しないように、前記レンズを通して、前記第2方向に、赤外(IR)光を発するように構成された光源と、
前記可視光を前記1以上の光センサに伝達し、一方で前記IR光を前記1以上の光センサから離れる方向に反射するように構成された反射器と、
を備える、
デバイス。
【請求項9】
ディスプレイと、
記ディスプレイから分離された第1表面を第1方向に透過する可視光又は赤外(IR)光を検出するように構成された1以上の光センサと、
前記第1方向とは逆の第2方向に前記ディスプレイを透過しないように、前記第1表面を通して、前記第2方向に、光を発するように構成された光源と、
発せられた前記光を前記第1表面へ指向するように構成された光ガイドと
を備え、
前記第1表面が前記光ガイドの少なくとも一部を含む、
デバイス。
【請求項10】
前記光源によって発された前記光が前記可視光を含み、
前記光ガイドの前記一部が前記第1表面から発された前記可視光を拡散するように構成される、
請求項9のデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、一般には、カメラのための光源に関する。
【背景技術】
【0002】
スマートフォン、タブレット、ラップトップ、及び、その他のコンピューティングシステムといったいくつかの電子機器は、カメラとディスプレイを含む。カメラは多くの場合、デバイスのうちの環境への視界が遮蔽されない領域に配置される。よって、ディスプレイと同じ表面に統合される場合、カメラは、ディスプレイの周囲の大きくて見栄えの悪い黒い縁の内に、又は、ノッチ若しくは切り欠きの内部に、ディスプレイに隣接して配置される場合がある。
【発明の概要】
【0003】
この要約は、以下の詳細な説明において更に説明される概念の選択を、簡略な態様で紹介するために提供される。この要約は、請求された主題のキーとなる特徴、又は、必須の特徴を特定することを意図したものではなく、請求された主題の範囲を制限することを意図したものでもない。
【0004】
本開示の革新的な一側面は、第1方向で第1表面を透過する可視光を検出するように構成された1以上の光センサを備える第1カメラを備えるデバイスとして実装され得る。当該デバイスは、第1表面を通して、第1方向とは逆の第2方向に、赤外(infrared)(IR)光を発するように構成された光源を更に備える場合がある。当該デバイスは、IR光の反射を検出するように構成された第2カメラを更に備える場合がある。
【0005】
本開示の革新的な他の側面は、カメラアセンブリとして実装され得る。当該カメラアセンブリは、レンズと、第1方向でレンズを透過する可視光を検出するように構成された1以上の光センサと、を備える場合がある。当該カメラアセンブリは、第1方向とは逆の第2方向でレンズを通して光を発するように構成された光源を更に備える場合がある。
【0006】
本開示の革新的な他の側面は、カメラアセンブリとして実装され得る。当該カメラアセンブリは、第1方向でこのカメラアセンブリの第1表面を透過する可視光又は赤外(IR)光を検出するように構成された1以上の光センサを備える場合がある。当該カメラアセンブリは、第1表面を通して、第1方向とは逆の第2方向に、光を発するように構成された光源を更に備える場合がある。当該カメラアセンブリは、光を第1表面へ指向するように構成された光ガイドを更に備え、第1表面が光ガイドの少なくとも一部を備える場合がある。
【図面の簡単な説明】
【0007】
本実施形態は、例として示されており、添付の図面の図によって限定されることを意図するものではない。
【0008】
図1図1は、いくつかの実施形態に係る、例示的な電子システムを示す図である。
【0009】
図2図2は、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
【0010】
図3A図3Aは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
【0011】
図3B図3Bは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
【0012】
図3C図3Cは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
【0013】
図3D図3Dは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
【0014】
図3E図3Eは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
【0015】
図3F図3Fは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
【0016】
図3G図3Gは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
【0017】
図4A図4Aは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4B図4Bは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4C図4Cは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4D図4Dは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4E図4Eは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4F図4Fは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4G図4Gは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4H図4Hは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4I図4Iは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4J図4Jは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図4K図4Kは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
【0018】
図5図5は、いくつかの実施形態に係る、例示的な電子システムの断面図である。
【0019】
図6図6は、いくつかの実施形態に係る、例示的な電子システムの断面図である。
【0020】
図7図7は、いくつかの実施形態に係る、例示的な電子システムの断面図である。
【0021】
図8図8は、いくつかの実施形態に係る、例示的な電子システムの断面図である。
【0022】
図9図9は、いくつかの実施形態に係る、ディスプレイの下方に配置されたカメラによって撮影された例示的な画像を示す図である。
【0023】
図10図10は、いくつかの実施形態に係る、例示的な画像処理システムのブロック図である。
【0024】
図11A図11Aは、フィルタリング前の例示的な画像を示す図である。
【0025】
図11B図11Bは、フィルタリング後の例示的な画像を示す図である。
【発明を実施するための形態】
【0026】
以下の説明では、本開示の十分な理解を提供するために、具体的なコンポーネント、回路、及び、処理の例のような、多くの具体的な詳細が示される。本明細書で使われる「結合された」という言葉は、直接に接続されている、又は、仲介する1以上のコンポーネント又は回路を介して接続されていることを意味する。更に、以下の説明において、及び、説明を目的として、本開示の態様の十分な理解を提供するために、特定の命名法が用いられる。しかし、例示的な実施形態を実施するために、これらの具体的な詳細が必要でない場合があることが当業者には明らかであろう。他の例では、本開示が不明確になることを避けるために、周知の回路及びデバイスがブロック図の形式で示される。以下の詳細な説明のいくつかの部分は、過程、論理ブロック、処理、及び、コンピュータのメモリ内のデータビットへの操作を他の記号で表現したもの、という形で提示されている。回路素子又はソフトウェアブロック間の相互接続は、バス又は単一の信号線として示される場合がある。バスのそれぞれは、代替的に単一の信号線であってもよく、単一の信号線のそれぞれは、代替的にバスであっても良く、単一の信号線又はバスは、コンポーネント間の通信のための無数の物理的又は論理的なメカニズムのうちの任意の1以上を表し得る。
【0027】
後述の議論から明らかなように、特にそうでないと述べられていない場合には、本出願を通して、「アクセスする」、「受信する」、「送信する」、「用いる」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均する」、「モニタする」、「比較する」、「適用する」、「更新する」、「計測する」、「導出する」、等のような表現を用いて行われる議論は、コンピュータシステム(又は同様の電子計算デバイス)のアクション及び処理を参照していると認められる。これらのコンピュータシステム(又は同様の電子計算デバイス)は、コンピュータシステムのレジスタ及びメモリ内の物理的な(電子的な)量として示されるデータを、コンピュータシステムのメモリまたはレジスタ、又は他のそのような情報ストレージ、伝送器、又は表示デバイス内の物理量として同様に示される他のデータに操作及び変換する。
【0028】
本明細書で説明されている技術は、特定の方法で実施されると特に記載されない限り、ハードウェア、ソフトウェア、ファームウェア、又は、それらの任意の組み合わせで実施され得る。モジュール又はコンポーネントとして説明されている任意の構成は、集積ロジックデバイスにまとめて実装されるか、又は、個別に分離されているが相互運用が可能なロジックデバイスとして実装される場合もある。ソフトウェアで実装される場合、本技術は、実行されたときに上述の1以上の方法を実現する命令を含む、コンピュータ読取り可能な非一時的記憶媒体によって少なくとも部分的に実現される場合がある。コンピュータ読取り可能な非一時的記憶媒体は、コンピュータプログラム製品の一部を形成する場合がある。なお、コンピュータプログラム製品は、梱包材を含む場合がある。
【0029】
非一時的なプロセッサ読取り可能な記憶媒体は、同期ダイナミックランダムアクセスメモリ(synchronous dynamic random access memory)(SDRAM)のようなランダムアクセスメモリ(random access memory)(RAM)、リードオンリーメモリ(read only memory)(ROM)、不揮発性ランダムアクセスメモリ(non-volatile random access memory)(NVRAM)、電子的消去可能プログラマブルリードオンリーメモリ(electrically erasable programmable read-only memory)(EEPROM)、フラッシュメモリ、他の既知の記憶媒体等、を備える場合がある。本技術は追加的に、あるいは代替的に、少なくとも一部が、コードを命令又はデータ構造の形で伝達または通信し、かつ、コンピュータ又は他のプロセッサによってアクセス、読取り、及び/又は、実行が可能な、プロセッサ読取り可能な通信媒体によって実現され得る。
【0030】
本明細書で開示される実施形態に関して説明される様々な例示的な論理ブロック、モジュール、回路、及び、命令は、1以上のプロセッサによって実行され得る。本明細書で用いられる「プロセッサ」という言葉は、任意の汎用プロセッサ、従来のプロセッサ、コントローラ、マイクロコントローラ、及び/又は、メモリに記憶された1以上のソフトウェアプログラムのスクリプト又は命令を実行可能な状態機械、を示す場合がある。
【0031】
図1は、いくつかの実施形態に係る、例示的な電子システム100を示す。電子システム100は、ディスプレイ106と、カメラ102及びカメラ104を備える場合がある。
【0032】
ディスプレイ106は、表示ピクセル及び/又は表示サブピクセルの間に孔又はギャップを含む、有機発光ダイオード(organic light-emitting diode)(OLED)ディスプレイ、又は、マイクロ発光ダイオード(micro light-emitting diode)(マイクロLED)ディスプレイといった多孔性ディスプレイを含む場合がある。
【0033】
カメラ102及びカメラ104はそれぞれ、能動型のピクセルセンサ又は光センサのアレイ(例えば、フォトダイオード、相補的金属酸化物半導体(complementary metal oxide-semiconductor)(CMOS)の画像センサアレイ、電荷結合素子(charge coupled device)(CCD)のアレイ)、及び/又は、可視スペクトル、IRスペクトル(NIR又は短波IR)、若しくは、紫外線スペクトルの光の波長を検出可能な他の任意のセンサ)を備える場合がある。いくつかの実施形態では、カメラ102及びカメラ104はそれぞれ、NIR光を検出するように構成される場合がある。他の実施形態では、二個のカメラ102及びカメラ104のうちの一個は、可視光(例えば、光の赤色、緑色、青色(RGB)の成分)を検出するように構成され(“RGBカメラ”)、他方のカメラはNIR光を検出するように構成される場合がある。更に、いくつかの実施形態では、カメラ102及びカメラ104はそれぞれ、深度感知をサポートするように構成される場合がある。例えば、カメラ102及びカメラ104はそれぞれ、カメラの視野(field-of-view)(FOV)内の物体又は光景の画像を撮影するように構成される場合がある。当該画像は組み合わされ、組み合わされた画像から物体又は光景の深度情報が抽出される場合がある。深度感知の解像度は、カメラ102及びカメラ104間を分離する距離に依存する場合がある。言い換えると、当該分離する距離が大きいほど、カメラ102及びカメラ104によって撮影された画像から導出できる深度情報の量が大きくなる。
【0034】
いくつかの実施形態では、カメラ102及びカメラ104の一方又は両方は、ディスプレイ106の背後に配置される場合がある。例えば、カメラ102がディスプレイ106の背後に配置される場合、カメラのFOVはディスプレイ106の表示ピクセル及び/又は表示サブピクセルによって、部分的に遮蔽され得る。その結果、光がディスプレイ106を通過するとき、光の一部はピクセル及び/又はサブピクセルによって遮られ、一方で残りの光がカメラ102によって検出され得る。カメラ102は、この残りの光を画像に取り込み得るが、当該画像は、遮蔽によるノイズ、歪み、または干渉を含み得る。いくつかの実施形態では、画像が深度検知および/または他の画像処理に適するように、このノイズまたは干渉をフィルタリングにより除去するために、ニューラルネットワークモデルが用いられる場合がある。他の利点の中でも、ディスプレイ106の背後にカメラ102を配置することは、ディスプレイ106のベゼルにおける見苦しい黒い縁、切り欠き、又は、ノッチを不要にし得る。同様に、電子システム100の画面対本体比が高められる場合があり、電子システム100は、ベゼルの無いディスプレイをサポートし得る。
【0035】
いくつかの実施形態では、アンダーディスプレイカメラは、物体または光景の画像を撮影するために光源を必要とする場合がある。本開示の態様は、アンダーディスプレイカメラなどのカメラ、又は、カメラアセンブリ内蔵のカメラのために光を発するように構成されたカメラアセンブリ(図1では図示せず)を提供する。以下で更に説明するように、カメラアセンブリは、レンズ、カメラ、および光源を備える場合がある。更に、カメラアセンブリは、ディスプレイ106と隣接して配置される場合がある。いくつかの実施形態では、カメラアセンブリは、光源からレンズを通して放射された光を反射するように構成された反射器をさらに備える場合がある。他の実施形態では、カメラアセンブリは、光源によって発された光をカメラアセンブリの第1表面を通して指向するように構成された光ガイドをさらに備える場合がある。
【0036】
図2は、いくつかの実施形態に係る、例示的なカメラアセンブリ200を示す。カメラアセンブリ200は、光源210、反射器216、レンズ212、カメラ214、フィルタ218、近接センサ254、及び、ハウジング208を備える場合がある。
【0037】
光源210は、ハウジング208内、レンズ212の側に配置される。光源210は、LED、垂直共振器型面発光レーザー(vertical-cavity surface-emitting laser)(VCSEL)、レーザーダイオード、又は、NIRまたは短波赤外(short-wave infrared)(SWIR)を含むIRスペクトル(しかしこれらに限定されない)の光の波長を放射し得る他の光源を備える場合がある。
【0038】
反射器216は、光源210によって発されたIR光をカメラ214から離れる方向に反射し、可視光をレンズ212からカメラ214に伝達するように構成される。いくつかの実施形態では、反射器216は、反射板、ダイクロイック反射器、及び/又は、ダイクロイックミラーを含み得る。他の実施形態では、反射器216は、ビームスプリッタを備える場合がある。
【0039】
レンズ212は、可視光及び/又はIR光を透過するように構成された光学レンズまたはレンズの組立体である。より詳しくは、レンズ212は、内向き方向(または、第1方向)でカメラアセンブリ200の外側からカメラ214へ可視光222を透過するように構成される場合がある。いくつかの態様では、レンズ212は、可視光222をカメラ214に合焦するように構成される場合がある。レンズ212はまた、光源210によって放出され、反射器216によって反射されたIR光220を透過するように構成される場合がある。図2に示すように、IR光220は、可視光222の方向とは逆方向に、又は、カメラアセンブリ200から離れる外向き方向(または、第2方向)に、伝搬する場合がある。
【0040】
カメラ214は、能動型のピクセルセンサ又は光センサのアレイ(例えば、フォトダイオード、CMOSイメージセンサアレイ、CCDアレイ、及び/又は、可視スペクトル、IRスペクトル、若しくは、UVスペクトルの光の波長を検出可能な他の任意のセンサ)を備える場合がある。いくつかの実施形態では、カメラ214は、RGBカメラである場合がある。更に、カメラ214は、光源210がIR光220を発する間に、可視光222を検出するように構成される場合がある。さらにその上、カメラ214は、物体または光景が近景又は遠景のいずれでもイメージングされる広範囲イメージングを実行するように構成される場合がある。
【0041】
フィルタ218は、カメラ214とレンズ212との間に配置される。フィルタ218は、IRカットフィルタを含む場合がある。フィルタ218は、IR光がカメラ214に干渉しないように、光のIR波長(例えば、中赤外波長、NIR、又は、SWIR)を反射及び/又は遮断するように構成される場合がある。
【0042】
近接センサ254は、ハウジング208の内部に、光源210に近接して配置される。近接センサ254は、能動型のピクセルセンサまたは光センサのアレイ(例えば、フォトダイオード、CMOSイメージセンサアレイ、CCDアレイ、及び/又は、可視スペクトル、IRスペクトル、若しくは、UVスペクトルの光の波長を検出可能な他の任意のセンサ)を備える場合がある。更に、近接センサ254は、光源210によって発されたIR光220の反射を検出するように構成される。
【0043】
ハウジング208は、レンズ212を囲むと共に、光源210、反射器216、フィルタ218、及び、カメラ214を取り囲む構造を備える場合がある。図2に示すように、第1表面258は、ハウジング208の上部、レンズ212の上部、及び、レンズ212の側面の一部によって形成される。更に、長さLは、第1表面258におけるハウジング208の上部から、カメラ214の近くのハウジング208の基部までを計測した、ハウジング208の長さである。いくつかの実施形態では、ハウジング208の長さLを最小化することが有利であり得る。
【0044】
いくつかの実施形態では、作動中に、光源210は、IR(例えば、NIRまたはSWIR)光220を発する場合がある。IR光220は、反射器216で反射し、カメラアセンブリ200から離れる外向き方向(または第2方向)でレンズ212を透過する。IR光220は、カメラアセンブリ200及びカメラ214の前の光景を照らす場合がある。光景内の物体は、IR光220の少なくとも一部を、カメラアセンブリ200と、カメラアセンブリ200に近接して配置されたディスプレイと、に戻る方向に反射する場合がある。反射されたIR光220の一部は、ディスプレイ内のピクセル及び/又はサブピクセルによって遮られる一方、反射されたIR光220の残りは、表示ピクセル及び/又は表示サブピクセルの間の孔を通過する。反射され、孔を通過したIR光220は、反射されたIR光220を検出するように構成されたカメラ(「IRカメラ」)によって検出され得る。各IRカメラは、検出されたIR光220を画像に撮影する場合がある。当該撮影された画像は、深度感知に適している場合がある。
【0045】
他の実施形態では、作動中に、光源210は、IR(例えば、NIRまたはSWIR)光220を発する場合がある。IR光220は、反射器216で反射し、カメラアセンブリ200から離れる外向き方向でレンズ212を透過する。IR光220は、カメラアセンブリ200及びカメラ214の前の光景を照らす場合がある。光景内の物体は、IR光220の少なくとも一部を、カメラアセンブリ200に戻る方向に反射する場合がある。反射されたIR光220は、レンズ212を透過し、反射器216で反射し、近接センサ254によって検出され得る。このように、カメラアセンブリ200は、例えば、ユーザの存在を検出するために、IR光を放出可能、及び、感知可能である場合がある。
【0046】
図3Aは、いくつかの実施形態に係る、例示的なカメラアセンブリ300Aを示す。カメラアセンブリ300Aは、光源310、光ガイド324、ハウジング308、レンズ312、フィルタ318、及び、カメラ314を備える場合がある。
【0047】
光源310は、光ガイド324と結合され、IR光320を発するように構成される場合がある。光源310は、LED、VCSEL、レーザーダイオード、又は、可視スペクトル及び/又はNIR若しくはSWIRを含む(しかしこれらに限定されない)IRスペクトルの光の波長を放出可能な他の光源を含む場合がある。
【0048】
光ガイド324は、光源310によって発されたIR光320を、カメラアセンブリ300Aから外向き方向(又は第2方向)に指向するように構成される場合がある。いくつかの実施形態では、光ガイド324は、透明なポリカーボネートなどの透明な材料を含む場合がある。さらに、光ガイド324は、光を反射するように構成される場合がある。例えば、いくつかの実施形態では、光ガイド324は、光ガイド324の内面(ハウジング308の外面を含み得る)がハウジング308の内面の屈折率よりも大きい屈折率を有するところ、光を反射するように構成される場合がある。他の例として、光ガイド324は、光ガイド324の内面(ハウジング308の外面を含み得る)が反射面を含み、ハウジング308の内面が黒ずんだ表面、又は、可視光若しくはIR(例えば、NIR及び/又はSWIR)光を吸収可能な表面を含むところ、光を反射するように構成される場合がある。いくつかの実施形態では、光ガイド324は、光ファイバーを含む場合があり、他の実施形態では、光ガイド324は、ミラー及び/又は反射器を含む場合がある。更に、光ガイド324は、(例えば、成形体を介して)ハウジング308と結合される場合がある。
【0049】
レンズ312は、内向き方向(または第1方向)で、可視光322をカメラアセンブリ300Aの外側からカメラ314に伝達するように構成された光学レンズ又はレンズの組立体である。いくつかの態様では、レンズ312は、可視光322をカメラ314に合焦するように構成される場合がある。いくつかの実施形態では、レンズ312は、アクリルを含む場合がある。
【0050】
カメラ314は、能動型のピクセルセンサ又は光センサのアレイ(例えば、フォトダイオード、CMOSイメージセンサアレイ、CCDアレイ、及び/又は、可視スペクトル、IRスペクトル(例えば、NIR又はSWIR)、若しくは、紫外線スペクトルの波長の光を検出可能な他の任意のセンサ)を備える場合がある。いくつかの実施形態では、カメラ314はRGBカメラを含む場合がある。更に、カメラ314は、光源310がIR光320を発している間に可視光322を検出するように構成される場合がある。更に、カメラ314は、物体又は光景が近景又は遠景のいずれでもイメージングされる広範囲イメージングを実行するように構成される場合がある。
【0051】
フィルタ318は、カメラ314とレンズ312との間に配置される。フィルタ318は、IRカットフィルタを含む場合がある。フィルタ318は、IR光がカメラ314に干渉しないように、光のIR波長(例えば、中赤外波長、NIR、又は、SWIRの光)を反射及び/又は遮断するように構成される場合がある。
【0052】
ハウジング308は、レンズ312を囲み、フィルタ318及びカメラ314を取り囲む場合がある。上述のとおり、ハウジング308の内面(例えば、カメラ314に面する壁)は、黒ずんだ表面、又は、可視光若しくはIR(例えば、NIR及び/又はSWIR)光を吸収可能な表面を含む場合がある。図3Aに示すように、第1表面358は、ハウジング308の上部、レンズ312の上部、及び、光ガイド324の側面によって形成される。更に、長さLは、第1表面358におけるハウジング308の上部から、カメラ314の近くのハウジング308の基部までを計測した、ハウジング308の長さである。いくつかの実施形態では、ハウジング308の長さLを最小化することが有利であり得る。
【0053】
作動中に、光源310は、光ガイド324及び第1表面358を通って指向されるIR(例えば、NIRまたはSWIR)光320を発する場合がある。IR光320は、カメラアセンブリ300A及びカメラ314の前の光景を照らす場合がある。光景内の物体は、IR光320の少なくとも一部を、カメラアセンブリ300Aと、カメラアセンブリ300Aに近接して配置されたディスプレイと、に戻る方向に反射する場合がある。反射されたIR光320の一部は、表示ピクセル及び/又は表示サブピクセルの間の孔を通過し、ディスプレイの背後に配置されたIRカメラによって検出され得る。各IRカメラは、検出されたIR光を画像に撮影する場合がある。当該撮影された画像は、深度感知に適している場合がある。
【0054】
図3Aを参照して、いくつかの実施形態では、光源310は、IR(例えば、NIR又はSWIR)光320を発するように構成される場合があり、カメラ314は、IR光320及び/又は可視光322を検出するように構成される場合がある。更に、いくつかの実施形態では、光源310は、カメラ314がIR光320及び/又は可視光322を検出する間に、IR光320を発するように構成される場合がある。例えば、イメージング中に、光源310は、光ガイド324及び第1表面358を通ってカメラアセンブリ300Aの前面にガイドされる、IR光320を発する場合がある。IR光320の一部は、カメラアセンブリ300Aの前の物体又は造作物で反射し、レンズ312を透過してカメラ314に到達する場合がある。このように、カメラアセンブリ300Aは、イメージングのためにIR光を放出可能、かつ、感知可能である場合がある。
【0055】
他の実施形態では、光源310は、可視光を発するように構成される場合がある。イメージング中に、光源310は、光ガイド324および第1表面358を通ってカメラアセンブリ300Aの前面にガイドされる可視光を発する場合がある。可視光の一部は、カメラアセンブリ300Aの前の物体または造作物で反射し、そして、レンズ312を通過してカメラ314に到達する場合がある。このように、カメラアセンブリ300Aは、イメージングのために可視光を放出可能、かつ、感知可能である場合がある。
【0056】
図3Bは、いくつかの実施形態に係る、例示的なカメラアセンブリ300Bを示す。カメラアセンブリ300Bは、図3Aを参照して上記で説明されたカメラアセンブリ300Aの一実施形態であり得る。図3Bに示すように、カメラアセンブリ300Bは2個の光源310を備えるが、いくつかの実施形態では、カメラアセンブリ300Bは2個より多い光源を備える場合がある。各光源310は、光ガイド324に結合される場合がある。更に、各光源310は、LED、VCSEL、レーザーダイオード、又は、NIR若しくはSWIRを含むがこれに限定されないIRスペクトルの光の波長を放出可能な他の光源を含む場合がある。作動中、各光源310は、光ガイド324を通ってカメラアセンブリ300Bの前面に向かって伝搬するIR光320を発する場合がある。図2及び図3Aを参照して上記で説明されたように、IR(例えば、NIR又はSWIR)光320は、カメラアセンブリ300Bの前の物体又は造作物で反射し、深度感知及び画像処理のために、アンダーディスプレイIRカメラによって検出される場合がある。
【0057】
図3Cは、いくつかの実施形態に係る、例示的なカメラアセンブリ300Cを示す。カメラアセンブリ300Cは、図3A及び/又は図3Bを参照して上記で説明されたカメラアセンブリ300A及び/又はカメラアセンブリ300Bの一実施形態であり得る。図3Cに示すように、カメラアセンブリ300Cは可視スペクトルまたはIR(例えば、NIR又はSWIR)スペクトルの光の波長を検出可能なカメラ314を備える。更に、カメラアセンブリ300Cは、可視スペクトルまたはIR(例えば、NIR又はSWIR)スペクトルの光の波長を放出可能な光源310を備える。
【0058】
図3Cに示すように、カメラアセンブリ300Cはまた、光ガイド324を備える。光ガイド324は、拡散面326を備える。拡散面326は、光源310によって発された光320(例えば、可視光、NIR光、又は、SWIR光)を拡散し、広げ、又は、散乱するように構成される場合がある。拡散面326は、ハウジング308の周りにリングを形成する第1表面358の一部を含む場合がある。更に、拡散面326は、光ガイド324の一部を含む場合がある。例えば、拡散面326は、成形を介して光ガイド324と統合される場合がある。いくつかの実施形態では、拡散面326は、ある粗さを有する回折格子を含む場合がある。より詳細には、回折格子は、多数の微細な溝、スリット、又は、隆起を含み得る。いくつかの実施形態では、溝、スリット、及び/又は、隆起は、ランダムに配置される場合がある。あるいは、それらは、パターンを形成するために、平行又は均一な態様で配置される場合がある。このように、拡散面326は、光320の、均一な照明プロファイル、又は、調整された照明パターンを提供するように構成される場合がある。
【0059】
図3Dは、いくつかの実施形態に係る、例示的なカメラアセンブリ300Dを示す。カメラアセンブリ300Dは、図3A図3B、及び/又は、図3Cを参照して上記で説明されたカメラアセンブリ300A、カメラアセンブリ300B、及び/又は、カメラアセンブリ300Cの一実施形態であり得る。図3Dに示すように、光ガイド324は、レンズ及び/又はマイクロレンズ328(「マイクロレンズ328」)を含む。いくつかの実施形態では、複数のマイクロレンズ328は、ハウジング308の周りにリングを形成する第1表面358の一部に統合(例えば、成形)される場合がある。マイクロレンズ328は、光源310によって発されるIR光320を拡散及び/又は回折するように構成される場合がある。
【0060】
図3Eは、いくつかの実施形態に係る、例示的なカメラアセンブリ300Eを示す。カメラアセンブリ300Eは、図3A図3Dを参照して上記で説明されたカメラアセンブリ300A、カメラアセンブリ300B、カメラアセンブリ300C、及び/又は、カメラアセンブリ300Dの一実施形態であり得る。図3Eに示すように、光ガイド324は、ハウジング308の両側に配置された、2個のマイクロレンズ330を含む。いくつかの実施形態では、2個よりも多いマイクロレンズ330が、ハウジング308の各側面に、ハウジング308の周りにリングを形成する光ガイド324の表面に沿って配置され得る。マイクロレンズ330は、光源310によって発された光を拡散及び/又は回折するように構成される場合がある。
【0061】
図3Fは、いくつかの実施形態に係る、例示的なカメラアセンブリ300Fを示す。カメラアセンブリ300Fは、図3A図3Eを参照して上記で説明されたカメラアセンブリ300A、カメラアセンブリ300B、カメラアセンブリ300C、カメラアセンブリ300D、及び/又は、カメラアセンブリ300Eの一実施形態であり得る。いくつかの実施形態では、カメラアセンブリ300Fは、環境光センサ352を備える場合がある。環境光センサ352は、カメラアセンブリ300Fの前の環境光の量を検出するように構成される場合がある。感知中、カメラアセンブリ300Fの前の環境光350は、光ガイド324を通って環境光センサ352にガイドされ得る。そのため、カメラアセンブリ300Fは、例えば、カメラアセンブリ300Fに結合されたディスプレイスクリーンの輝度を調節するために、環境光を測定可能である場合がある。
【0062】
図3Gは、いくつかの実施形態に係る、例示的なカメラアセンブリ300Gを示す。カメラアセンブリ300Gは、図3A図3Fを参照して上記で説明されたカメラアセンブリ300A、カメラアセンブリ300B、カメラアセンブリ300C、カメラアセンブリ300D、カメラアセンブリ300E、及び/又は、カメラアセンブリ300Fの一実施形態であり得る。
【0063】
図3Gに示すように、カメラアセンブリ300Gは、光を反射するように構成される場合がある光ガイド324を備える。いくつかの実施形態では、光ガイド324は、光ガイド324の内面が、ハウジング308の内面の屈折率よりも大きい屈折率を有するところ、光を反射するように構成され得る。更に、いくつかの実施形態では、光ガイド324の内面が反射面を含む一方、ハウジング308の内面が、黒ずんだ表面、又は、可視光若しくはIR光(例えば、NIR光及び/又はSWIR光)を吸収可能な表面を含むところ、光を反射するように構成される場合がある。
【0064】
いくつかの実施形態では、カメラアセンブリ300Gは、近接センサ354を備える場合がある。近接センサ354は、光源310によって発されたIR(例えば、NIR又はSWIR)光320を検出するように構成される場合がある。感知中、光源310は、光ガイド324を通ってカメラアセンブリ300Gの前面にガイドされ得るIR光320を発する場合がある(簡単にするために、発されたIR光320は図示されていない)。IR光320の一部は、カメラアセンブリ300Gの前の物体又は造作物で反射し、光ガイド324を通って近接センサ354に戻るように伝搬する場合がある。そのため、カメラアセンブリ300Gは、例えばユーザの存在を検出するために、IR光を放出可能、及び、感知可能である場合がある。
【0065】
図4A-4Kは、いくつかの実施形態に係る、例示的な電子システム400A-400Kを示す。電子システム400A-400Kはそれぞれ、カメラアセンブリ432と、カメラ402及び/又はカメラ404と、ディスプレイ406と、を備える。カメラアセンブリ432は、図2及び図3A-3Gのカメラアセンブリ200、及び/又は、カメラアセンブリ300A-300Gの一実施形態であり得る。カメラ402及びカメラ404はそれぞれ、図1のカメラ102及び/又はカメラ104の一実施形態であり得る。更に、カメラ402及び404はそれぞれ、ディスプレイ406の下に配置され、深度感知のために画像を撮影するように構成される場合がある。
【0066】
図4Aに示すように、カメラアセンブリ432は、電子システム400Aの角の近くに配置される。また、カメラ402及びカメラ404は、長軸に沿って、電子システム400Aの端部の近辺に配置される。
【0067】
作動中、IR(例えば、NIR又はSWIR)光は、カメラアセンブリ432の光源によって放出され、カメラアセンブリ432の前方の光景を照らす場合がある。光景内の物体は、IR光の少なくとも一部を、カメラアセンブリ432およびディスプレイ406に向かって戻る方向に反射する場合がある。反射されたIR光の一部は、ディスプレイ406のピクセル及び/又はサブピクセル間の孔を通過し、ディスプレイ406の背後に配置されたIRカメラ402及びIRカメラ404によって検出され得る。カメラ402及びカメラ404のそれぞれは、検出されたIR光を画像に撮影する場合があり、撮影された画像は、深度感知に適している場合がある。
【0068】
図4Bでは、カメラアセンブリ432は、電子システム400Bの角の近くに配置される。また、カメラ402及びカメラ404は、長軸に沿って、電子システム400Bの中央領域近辺に配置される。図1を参照して上記で論じたように、2台のカメラ間の距離は、深度感知の解像度に影響を与える。言い換えると、カメラ間の距離が大きいほど、カメラによって撮影された画像から取得可能な深度情報の量が多くなる。図4Aと比べて、図4Bのカメラ402及びカメラ404は、より短い距離で隔たれている。その結果、図4Aのカメラ402及びカメラ404は、図4Bのカメラ402及びカメラ404よりも高い解像度の深度感知をサポートし得る。
【0069】
図4Cは、電子システム400Cの角の近くに配置されたカメラアセンブリ432と、短軸に沿って電子システム400Cの中央領域近辺に配置されたカメラ402及びカメラ404と、を示す。図4Dは、短軸に沿って、電子システム400Dの角の近くに配置されたカメラアセンブリ432と、電子システム400Dの上部に配置されたカメラ402及びカメラ404と、を示す。
【0070】
図4Eは、電子システム400Eの一端の近辺に配置されたカメラアセンブリ432を示す。カメラ402及びカメラ404は、カメラアセンブリ432と一列に並んで長軸に沿って配置される。図4Fでは、カメラアセンブリ432は、電子システム400Fの一端の近辺に配置される。カメラ402及びカメラ404は、カメラアセンブリ432と一列に並んで長軸に沿って配置される。図4Eと異なり、図4Fのカメラ402及びカメラ404は、より短い距離で隔たれている。その結果、図4Eのカメラ402及びカメラ404は、図4Fのカメラ402及びカメラ404よりも高い解像度の深度感知をサポートし得る。
【0071】
図4Gは、電子システム400Gの一端の近辺に配置されたカメラアセンブリ432を示す。カメラ402及びカメラ404は、短軸に沿って電子システム400Gの中央領域近辺に配置される。
【0072】
図4Hは、電子システム400Hの一端の近辺に配置されたカメラアセンブリ432と、電子システム400Hの他端の近辺に配置されたカメラ402と、を示す。いくつかの実施形態では、カメラアセンブリ432及びカメラ402の両方が、深度感知のための画像を撮影するように構成される場合がある。
【0073】
図4Iは、電子システム400Iの一端の近辺に配置されたカメラアセンブリ432と、電子システム400Iの中央領域の近辺に配置されたカメラ402と、を示す。いくつかの実施形態では、カメラアセンブリ432及びカメラ402の両方が、深度感知のための画像を撮影するように構成される場合がある。
【0074】
図4Jは、電子システム400Jの一つの角の近辺に配置されたカメラアセンブリ432と、電子システム400Jの端部の近辺に配置されたカメラ402と、を示す。いくつかの実施形態では、カメラアセンブリ432及びカメラ402の両方が、深度感知のための画像を撮影するように構成される場合がある。
【0075】
図4Kは、電子システム400Kの一つの角の近辺に配置されたカメラアセンブリ432と、電子システム400Kの中央領域近辺に配置されたカメラ402と、を示す。いくつかの実施形態では、カメラアセンブリ432及びカメラ402の両方が、深度感知のための画像を撮影するように構成される場合がある。
【0076】
図5は、いくつかの実施形態に係る、例示的な電子システム500の断面を示す。電子システム500は、図1及び図4A-4Gの電子システム100及び/又は電子システム400A-400Gの一実施形態であり得る。図5に示すように、電子システム500は、カメラアセンブリ532、ディスプレイ層506、及び、モジュール540を備える。カメラアセンブリ532は、図2及び図4A-4Gのカメラアセンブリ200及び/又はカメラアセンブリ432の一実施形態であり得る。モジュール540は、カメラ502及びカメラ504を備える。カメラ502及びカメラ504はそれぞれ、図1及び図4A-4Gのカメラ102、カメラ104、カメラ402、及び/又は、カメラ404の一実施形態であり得る。
【0077】
カメラアセンブリ532は、光源510、反射器516、レンズ512、カメラ514、フィルタ518、及び、ハウジング508を備える。更に、長さLは、第1表面558におけるハウジング508の上部から、カメラ514の近くのハウジング508の基部までを計測した、ハウジング508の長さである。いくつかの実施形態では、ハウジング508の長さLを最小化することが有利であり得る。長さLは、(ディスプレイ層506およびモジュール540の長さにわたる)長さLよりも短く見えるが、Lは長さLと比べて短い、等しい、又は、長い、といったほぼ任意の長さであり得る。加えて、カメラアセンブリ532は、ディスプレイ層506及びモジュール540に隣接して示されているが、実際の実装では、コンポーネント(図示せず)が、カメラアセンブリ532をディスプレイ層506及びモジュール540から分離する場合がある。
【0078】
ディスプレイ層506は、OLEDディスプレイまたはマイクロLEDディスプレイといった多孔性ディスプレイの複数の層を含む場合がある。図5に示すように、ディスプレイ層506は、ディスプレイ表面536及び発光層538を含む場合がある。いくつかの実施形態では、発光層538は、複数の表示ピクセル及び/又は表示サブピクセルを含み、各表示ピクセル及び/又は表示サブピクセルの間に穴、ギャップ、又は、空のスペースを有する場合がある。
【0079】
モジュール540は、ディスプレイ層506の下に配置され、カメラ502及びカメラ504と、対応するレンズ542と、を備える場合がある。カメラ502及びカメラ504は、物体または光景が近景又は遠景のいずれでもイメージングされる広範囲イメージングを実行するように構成されたIRのCMOSセンサを備える場合がある。カメラ502及びカメラ504は、指、手、及び、頭といった物体を迅速に感知するように更に構成される場合がある。更に、カメラ502及びカメラ504はそれぞれ、深度感知のために画像を撮影するように構成される場合がある。深度感知の解像度は、カメラ502とカメラ504の間の距離である分離Dに依存し得る。言い換えれば、距離Dが大きいほど、カメラ502及びカメラ504によって撮影された画像から導出可能な深度情報の量は大きくなる。
【0080】
作動中に、光源510は、IR(例えば、NIRまたはSWIR)光520を発する場合がある。IR光520は、反射器516で反射し、レンズ512を透過する。IR光520は、カメラアセンブリ532と、カメラ502及びカメラ504と、の前の光景を照らす場合がある。光景内の物体は、IR光520の少なくとも一部を、ディスプレイ層506に戻る方向に、例えば、反射光520(R)(1)及び反射光520(R)(2)として反射する場合がある。反射光520(R)(1)及び反射光520(R)(2)の一部は、発光層538内の表示ピクセル及び/又は表示サブピクセルによって遮られる一方、反射光520(R)(1)及び反射光520(R)(2)の残りは、表示ピクセル及び/又は表示サブピクセルの間の孔を通過する場合がある。孔とレンズ542を通過した反射光520(R)(1)及び反射光520(R)(2)は、カメラ502及びカメラ504によってそれぞれ検出され得る。カメラ502及びカメラ504のそれぞれは、これら反射されたIR光をそれぞれに別々の画像として撮影する場合がある。これらの撮影された画像は、深度感知のために組み合わせられる場合がある。
【0081】
図6は、いくつかの実施形態に係る、例示的な電子システム600の断面を示す。電子システム600は、図4H-4Kの電子システム400H-400Kのうちのいずれかの一実施形態であり得る。図6に示すように、電子システム600は、カメラアセンブリ632、ディスプレイ層606、及び、モジュール640を備える。カメラアセンブリ632は、図2図4A-4K、及び、図5のカメラアセンブリ200、カメラアセンブリ432、及び/又は、カメラアセンブリ532の一実施形態であり得る。ディスプレイ層606は、図5のディスプレイ層506の一実施形態であり得る。図6に示すように、モジュール640は、カメラ604を備える。カメラ604は、図1図4A-4K、及び、図5のカメラ102、カメラ104、カメラ402、カメラ404、カメラ502、及び/又は、カメラ504の一実施形態であり得る。
【0082】
作動中に、光源610は、IR(例えば、NIRまたはSWIR)光620を発する場合がある。IR光620は、反射器616で反射し、レンズ612を透過する。IR光620は、カメラアセンブリ632とカメラ604の前の光景を照らす場合がある。光景内の物体は、IR光620の少なくとも一部を、ディスプレイ層606に戻る方向に、例えば、反射光620(R)として反射する場合がある。反射光620(R)の一部は、ディスプレイ層606とレンズ642とを透過し、カメラ604によって検出され、画像として撮影される場合がある。いくつかの実施形態では、光源610がIR光620を放出するのと実質的に同時に、カメラ614は、光景内の物体で反射する(例えば、太陽又は他の光源からの)可視光622を検出し、当該可視光622を画像に撮影する場合がある。カメラ614及びカメラ604よって撮影された画像は、深度感知のために組み合わせられる場合がある。
【0083】
図7は、いくつかの実施形態に係る、例示的な電子システム700の断面を示す。電子システム700は、図1及び図4A-4Gの電子システム100、及び/又は、電子システム400A-400Gの一実施形態であり得る。図7に示すように、電子システム700は、カメラアセンブリ732、ディスプレイ層706、及び、モジュール740を備える。カメラアセンブリ732は、図3A-3Gにおける、カメラアセンブリ300A、及び/又は、カメラアセンブリ300B-300Gのいずれかの一実施形態であり得る。ディスプレイ層706は、図5及び図6のディスプレイ層506及び/又はディスプレイ層606の一実施形態であり得る。更に、モジュール740は、図5のモジュール540の一実施形態であり得る。
【0084】
カメラアセンブリ732は、光源710、光ガイド724、レンズ712、カメラ714、フィルタ718、及び、ハウジング708を備える。いくつかの実施形態では、カメラアセンブリ732は、図3B-3Gに示すように、追加的な光源、散乱面、マイクロレンズ、環境光センサ、及び/又は、近接センサを更に備える場合がある。
【0085】
長さLは、第1表面758におけるハウジング708の上部から、カメラ714の近くのハウジング708の基部までを計測した、ハウジング708の長さである。いくつかの実施形態では、ハウジング708の長さLを最小化することが有利であり得る。更に、長さLは、(ディスプレイ層706およびモジュール740の長さにわたる)長さLよりも短く見えるが、Lは長さLと比べて短い、等しい、又は、長い、といったほぼ任意の長さであり得る。加えて、カメラアセンブリ732は、ディスプレイ層706及びモジュール740に隣接して示されているが、実際の実装では、コンポーネント(図示せず)が、カメラアセンブリ732をディスプレイ層706及びモジュール740から分離する場合がある。
【0086】
作動中に、光源710は、IR(例えば、NIRまたはSWIR)光720を発する場合がある。IR光720は、光ガイド724と第1表面758を通って指向される場合がある。IR光720は、カメラ702、カメラ704、及び、カメラ714の前の光景を照らす場合がある。光景内の物体は、IR光720の少なくとも一部を、ディスプレイ層706に戻る方向に、例えば、反射されたIR光720(R)(1)及びIR光720(R)(2)として反射する場合がある。反射されたIR光720(R)(1)及びIR光720(R)(2)の一部は、ディスプレイ層706とレンズ742とを透過し、カメラ702及びカメラ704によってそれぞれに検出される場合がある。カメラ702及びカメラ704は、これらのIR光をそれぞれに別々の画像として撮影する場合があり、これらの画像は、深度感知のために組み合わせられる場合がある。
【0087】
図8は、いくつかの実施形態に係る、例示的な電子システム800の断面を示す。電子システム800は、図4H-4Kの電子システム400H-400Kのうちの任意のものの一実施形態であり得る。図8に示すように、電子システム800は、カメラアセンブリ832、ディスプレイ層806、及び、モジュール840を備える。カメラアセンブリ832は、図3A-3Gの、カメラアセンブリ300A、及び/又は、カメラアセンブリ300B-カメラアセンブリ300Gの一実施形態であり得る。ディスプレイ層806は、図5-7のディスプレイ層506、ディスプレイ層606、及び/又は、ディスプレイ層706の一実施形態であり得る。更に、モジュール840は、カメラ804を備える。カメラ804は、図1図4A-4K、及び、図5-7のカメラ102、カメラ104、カメラ402、カメラ404、カメラ502、カメラ504、カメラ604、カメラ702、及び/又は、カメラ704の一実施形態であり得る。いくつかの実施形態では、カメラ804は、IR(例えば、NIR又はSWIR)光を検出するように構成される場合があり、フィルタ818はカメラ804を可視光からシールドする場合がある。
【0088】
作動中に、光源810は、光ガイド824及び第1表面858を通って指向されるIR(例えば、NIRまたはSWIR)光820を発する場合がある。IR光820は、カメラ804及びカメラ814の前の光景を照らす場合がある。光景内の物体は、IR光820の少なくとも一部を、カメラアセンブリ800及びディスプレイ層806に戻る方向に、例えば、反射されたIR光820(R)(1)及びIR光820(R)(2)として反射する場合がある。反射光820(R)(1)の一部は、ディスプレイ層806とレンズ842とを透過し、カメラ804によって検出され、画像として撮影される場合がある。更に、反射光820(R)(2)の一部は、カメラ814へ向かってレンズ812及びフィルタ818を透過する場合があり、当該カメラ814は、反射光820(R)(2)を画像として撮影する場合がある。カメラ804及びカメラ814によって撮影された画像は、深度感知のために組み合わせられる場合がある。
【0089】
いくつかの実施形態では、カメラ814は可視光を検出するように構成される場合があり、フィルタ818はカメラ814をIR光からシールドする場合がある。作動中に、光源810は、光ガイド824及び第1表面858を通って指向されるIR(例えば、NIRまたはSWIR)光820を発する場合がある。IR光820は、カメラ804及びカメラ814の前の光景を照らす場合がある。光景内の物体は、IR光820(R)(1)の少なくとも一部を、例えば、反射光820(R)(1)として、ディスプレイ層806に戻る方向に反射する場合がある。反射光820(R)(1)の一部は、ディスプレイ層806とレンズ842とを透過し、カメラ804によって検出され、画像として撮影される場合がある。いくつかの実施形態では、光源810がIR光820を放出するのと実質的に同時に、カメラ814は、光景内の物体で反射する(例えば、太陽又は他の光源からの)可視光822を検出し、当該可視光822を画像に撮影する場合がある。カメラ814及びカメラ804よって撮影された各画像は、深度感知のために組み合わせられる場合がある。
【0090】
図9は、いくつかの実施形態に係る、ディスプレイの下に配置されたカメラによって撮影された例示的な画像900を示す。画像900は、例えば、図1図4A-4K、図5-8のカメラ102、カメラ104、カメラ402、カメラ404、カメラ502、カメラ504、カメラ604、カメラ702、カメラ704、又は、カメラ804といった、多孔性ディスプレイの背後または下に配置されたカメラによって撮影され得る。図9に示すように、画像900は、暗線及び明点のグリッド、又は、「スクリーンドア効果」を含む。暗線は、表示ピクセル及び/又は表示サブピクセルのパターンに対応する。暗線は、表示ピクセル及び/又は表示サブピクセルが、光の一部がディスプレイを通過することを妨げることにより生成される。一方、明点は、表示ピクセル及び/又は表示サブピクセル間のギャップ又は孔に対応する。明点は、下にあるカメラに向かってディスプレイの孔又はギャップを通過する光によって生成される。
【0091】
いくつかの実施形態では、アンダーディスプレイカメラによって撮影された画像は、スクリーンドアの複数の層(又はスクリーンドアの積層体)を通してアンダーディスプレイカメラが同時にイメージングしているかのように現れるグリッド、又は、スクリーンドア効果を含む場合がある。ここで、スクリーンドアの各層は異なるピッチ(例えば、孔のサイズ又は密度)を有する。このような実施形態では、光は、スクリーンドア層の表示ピクセル及び/又は表示サブピクセルの間の孔又はギャップを通過する場合がある。更に、光の各点は水平方向及び垂直方向の異なる位置に拡散される(例えば、点像分布関数として)。また、IR光の各点は画像にわたって同様の方法で拡散され、これは大きな歪みをもたらす場合がある。
【0092】
図9に示すように、画像900の一部は、ディスプレイの表示ピクセル及び/又は表示サブピクセルによって不明瞭になっている。言い換えれば、表示ピクセル及び/又は表示サブピクセルは、感知に利用可能な光の量を低減し、アンダーディスプレイカメラのFOVを事実上遮る場合がある。そのため、いくつかの実施形態では、スクリーンドア効果、歪み、又は他のアーティファクトを除去するために、撮影された画像をフィルタリング又は較正される場合がある。
【0093】
図10は、いくつかの実施形態に係る、画像処理システム1000のブロック図である。画像処理システム1000は、デバイスインタフェース1010、プロセッサ1020、及び、メモリ1030を備える。本明細書での議論の目的で、図10のプロセッサ1020は、デバイスインタフェース1010及びメモリ1030と結合されるものとして示されている。実際の実施形態では、デバイスインタフェース1010、プロセッサ1020、及び/又は、メモリ1030は、1以上のバス(簡略化のために図示せず)を用いて一緒に接続される場合がある。いくつかの実施形態では、画像処理システム1000は、図1図4A-4K、及び、図5-8を参照して説明された電子システム100、電子システム400A-400K、及び/又は、電子システム500-800の、特定用途向け集積回路(application specific integrated circuit)(ASIC)、又は、他の集積回路(integrated circuit)(IC)であってもよい。
【0094】
デバイスインタフェース1010は、1以上のカメラ、カメラアセンブリ、及び/又は、ディスプレイを含む(しかしこれらに限定されない)入力デバイスに信号を送信し、入力デバイスから信号を受信する場合がある。いくつかの実施形態では、デバイスインタフェース1010は、ディスプレイインタフェース1012を備える場合がある。ディスプレイインタフェース1012は、ディスプレイと通信するために、及び/又は、画像処理システム1000のユーザに視覚的なインタフェースを提供するために使用される場合がある。いくつかの実施形態では、デバイスインタフェース1010は、RGBカメラインタフェース1014と、IRカメラインタフェース1016及びIRカメラインタフェース1018と、を更に備える場合がある。RGBカメラインタフェース1014と、IRカメラインタフェース1016及びIRカメラインタフェース1018と、はそれぞれに異なるカメラと通信するために用いられる場合がある。例えば、RGBカメラインタフェース1014は、物体又は光景の画像を撮影するために、起動信号をカメラ514又はカメラ714に送信し、これらのカメラからセンサ情報を受信する場合がある。更に、IRカメラインタフェース1016及びIRカメラインタフェース1018は、物体及び/又は光景のIR画像を撮影するために、例えば、カメラ502、カメラ504、カメラ702、又は、カメラ704に起動信号を送信し、これらのカメラからセンサ情報を受信する場合がある。
【0095】
メモリ1030は、カメラインタフェース1014、カメラインタフェース1016、及び/又はカメラインタフェース1018を介して受信した画像を記憶するための画像バッファ1032を備える場合がある。メモリ1030はまた、少なくとも次のSWモジュールを記憶し得る、非一時的なコンピュータ読取り可能な媒体(例えば、EPROM、EEPROM、フラッシュメモリ、ハードドライブ等といった、1以上の不揮発性メモリ素子)を備える場合がある。
●IRカメラインタフェース1016及び/又はIRカメラインタフェース1018(又は、アンダーディスプレイカメラと通信する他のインタフェース)を介して受信した画像をフィルタリングする画像フィルタリングSWモジュール1034であり、画像フィルタリングSWモジュール1034は更に以下を備える:
〇IRカメラインタフェース1016及び/又はIRカメラインタフェース1018を介して受信した画像からノイズをフィルタリング、低減、又は、除去するニューラルネットワークモデル1035と、
●(i)IRカメラインタフェース1016及びIRカメラインタフェース1018の両方、又は、(ii)RGBカメラインタフェース1014と、IRカメラインタフェース1016又はIRカメラインタフェース1018のいずれか、を介して受信した画像を組み合わせ、例えば立体視を用いて画像から深度情報を抽出する、深度マップSWモジュール(又は、深度マップジェネレータ)1036。
【0096】
各ソフトウェアモジュールは、プロセッサ1020によって実行されると、対応する機能を画像処理システム1000に実行させる命令を含む。
【0097】
例えば、プロセッサ1020は、画像フィルタリングSWモジュール1034を実行して、IRカメラインタフェース1016及び/又はIRカメラインタフェース1018を介して受信した画像をフィルタリングする場合がある。画像フィルタリングSWモジュール1034を実行する際に、プロセッサ1020は、ニューラルネットワークモデル1035を用いて、IRカメラインタフェース1016及び/又はIRカメラインタフェース1018を介して受信した画像から(スクリーンドア効果のような)ノイズをフィルタリング、低減、又は、除去する場合がある。プロセッサ1020は、更に、深度マップSWモジュール1036を実行して、フィルタリングされた画像内の物体又は造作物の深度情報を決定する場合がある。例えば、深度マップジェネレータは、立体視を用いてフィルタリングされた画像を組み合わせて、当該組み合わされ、フィルタリングされた画像から深度情報を抽出する場合がある。深度マップジェネレータは、抽出された深度情報に少なくとも部分的に基づいて、物体又は造作物の深度マップを更に生成する場合がある。更に、プロセッサ1020は、深度情報に少なくとも部分的に基づいて、画像内の対象、物体、又は、造作物を認証する場合がある。
【0098】
図9及び図10を参照して上記で説明したように、アンダーディスプレイカメラによって撮影された画像は、スクリーンドア効果、又は、他のノイズ、歪み、若しくは、干渉を含み得る。本開示の態様は、光(例えば、IR、NIR、又は、SWIRの反射光)がディスプレイを通過し、光の一部がディスプレイのピクセル及び/又はサブピクセルによって遮蔽され、一方で残りの光がピクセル及び/又はサブピクセル間の孔を通過してアンダーディスプレイカメラによって画像に撮影される、スクリーンドア効果が発生することを認識している。深度検知又は他の応用を容易にするために、画像フィルタは、ニューラルネットワークモデルを用いて画像からスクリーンドア効果をフィルタリングにより除去する場合がある。
【0099】
図11Aは、フィルタリング前の、アンダーディスプレイカメラによって撮影された例示的な画像1110を示している。図10を参照して、画像1110は、アンダーディスプレイIRカメラから、例えば、IRカメラインタフェース1016に送信される場合がある。IRカメラインタフェース1016は、記憶するために、例示的な画像1110を画像バッファ1032に送信する場合がある。図11Aに示すように、画像1110は、スクリーンドア効果によって不明瞭になっている。深度検知又は他の応用をサポートするために、画像フィルタリングSWモジュール1034は、例示的な画像1110をフィルタリングして、歪みを取り除く場合がある。
【0100】
図11Bは、フィルタリング後の、例示的な画像1120を示す。例示的な画像1120は、図11Aの例示的な画像1110のフィルタ後バージョンであり得る。図10を参照して、画像バッファ1032は、例示的な画像1110を画像フィルタリングSWモジュール1034に送信する場合がある。画像フィルタリングSWモジュール1034は、ニューラルネットワークモデル1035を用いて、例示的な画像1110からスクリーンドア効果をフィルタリングにより除去する場合がある。図11Bに示すように、フィルタリングされた画像1120は人物をより明確に表しており、深度検知又は他の応用に適している場合がある。
【0101】
いくつかの実施形態では、ニューラルネットワークモデル1035は、撮影された画像からスクリーンドア効果又は他のノイズをフィルタリングにより除去するように学習されたCNNを含む場合がある。言い換えれば、CNNは、不明瞭な物体又は光景の画像から、元の物体若しくは光景の画像、又は、物体又は光景が明確な画像を推測するように学習される場合がある。いくつかの実施形態では、CNNは、元の物体又は光景の画像を少なくとも1つと、物体又は光景の不明瞭な画像を少なくとも1つと、を受信し、処理することによって学習され得る。いくつかの実施形態では、CNNの代わりに、又はCNNに加えて、点像分布逆関数変換を用いて画像をフィルタリングする場合がある。このように、画像フィルタリングSWモジュール1034は、ニューラルネットワークモデル1035及び/又は点像分布逆関数変換を用いて、アンダーディスプレイIRカメラからの画像をフィルタリングする場合がある。
【0102】
いくつかの撮影画像(例えば、不明瞭にされた、又は、フィルタリングされた画像)及び画像コンテンツ(例えば、深度情報、深度マップ、又は、識別された人物、物体、若しくは光景)は、図1図4A-4K、及び、図5-8の電子システム100、電子システム400A-400K、及び/又は、電子システム500-800上の安全なリポジトリ(例えば、信頼された環境)に記憶される場合がある。安全なリポジトリは、信頼される環境内にあるアプリケーション及び/又はハードウェアのみが安全なリポジトリに記憶されたデータにアクセスし得るように、電子システムの他の部分から仮想的及び/又は物理的に分離されている場合がある。いくつかの態様では、安全なリポジトリは、少なくとも部分的に、メモリ1030内に形成される場合がある。よって、特定の撮影画像と画像コンテンツは、メモリ1030のうちの安全なリポジトリ内(例えば、画像バッファ1032内)に記憶される場合がある。
【0103】
いくつかの実施形態では、ニューラルネットワークモデル1035は、少なくとも部分的に、図1図4A-4K、及び、図5-8の電子システム100、電子システム400A-400K、及び/又は、電子システム500-800内の、信頼される環境内に存在し得る。ニューラルネットワークモデル1035を信頼される環境内に置くことにより、ニューラルネットワークモデル1035は、保護された撮影画像及び画像コンテンツによって(例えば、CNNを用いた)機械学習が実行可能となる。
【0104】
当業者は、様々な異なる任意のテクノロジー及び技術を用いて、情報及び信号が表し得ることを理解するであろう。例えば、上述の説明を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、及び、チップは、電圧、電流、電磁波、磁界又は磁性粒子、光場又は光粒子、あるいは、これらの任意の組合せによって表し得る。
【0105】
さらに、当業者は、本明細書で開示された態様に関連して説明された様々な例示的な論理ブロック、モジュール、回路、及び、アルゴリズムのステップが、電気的なハードウェア、コンピュータソフトウェア、又は、両者の組合せとして実装し得ることを理解しよう。このハードウェアとソフトウェアの交換可能性を明確に図示するために、例示的な様々なコンポーネント、ブロック、モジュール、回路、及び、ステップが、一般に、その機能の観点で上述のように説明されてきた。このような機能がハードウェア又はソフトウェアの何れで実装されるかは、システム全体に要求される特定のアプリケーションとデザイン上の制約に依存する。当業者は説明された機能を特定のアプリケーション毎に様々な方法で実装し得るが、そのような実装上の決定が、本開示の範囲からの逸脱を引き起こすと解釈されてはならない。
【0106】
本明細書で開示された態様に関連して説明された方法、手順、又はアルゴリズムは、ハードウェアにより直接的に、プロセッサによって実行されるソフトウェアモジュールにより、あるいは、両者の組合せにより、具体化され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、又は、当技術分野において既知の他の形式の記憶媒体に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。あるいは、記憶媒体はプロセッサに統合されてもよい。
【0107】
前述の明細書では、その具体的な例を参照して実施形態が説明されてきた。しかしながら、添付の特許請求の範囲に提示されているように、本開示のより広い範囲を逸脱することなく、それらに対して様々な変形や変更が成し得ることは明らかであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で解釈される。
図1
図2
図3A
図3B
図3C
図3D
図3E
図3F
図3G
図4A
図4B
図4C
図4D
図4E
図4F
図4G
図4H
図4I
図4J
図4K
図5
図6
図7
図8
図9
図10
図11A
図11B