特許 7564828 アンダーディスプレイ画像センサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-01

(45)【発行日】2024-10-09

(54)【発明の名称】アンダーディスプレイ画像センサ

(51)【国際特許分類】

   G06T 5/70 20240101AFI20241002BHJP

   G06T 7/593 20170101ALI20241002BHJP

   H04N 13/239 20180101ALI20241002BHJP

   H04N 13/254 20180101ALI20241002BHJP

【ＦＩ】

G06T5/70

G06T7/593

H04N13/239

H04N13/254

【請求項の数】 10

(21)【出願番号】P 2021568800

(86)(22)【出願日】2020-05-22

(65)【公表番号】

(43)【公表日】2022-08-15

(86)【国際出願番号】 US2020034301

(87)【国際公開番号】W WO2020247195

(87)【国際公開日】2020-12-10

【審査請求日】2023-05-16

(31)【優先権主張番号】62/857,740

(32)【優先日】2019-06-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/654,290

(32)【優先日】2019-10-16

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502161508

【氏名又は名称】シナプティクス インコーポレイテッド

(74)【代理人】

【識別番号】100205350

【弁理士】

【氏名又は名称】狩野 芳正

(74)【代理人】

【識別番号】100117617

【弁理士】

【氏名又は名称】中尾 圭策

(72)【発明者】

【氏名】ゴーヴ、ロバート・ジェイ

【審査官】岡本 俊威

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１９８９８０（ＵＳ，Ａ１）

【文献】特開２０１０－２５０７８９（ＪＰ，Ａ）

【文献】特開２０１７－０４１７２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／００－ ５／９４

Ｇ０６Ｔ ７／５０－ ７／５９３

Ｈ０４Ｎ １３／２０－１３／２９６

(57)【特許請求の範囲】

【請求項1】

複数の表示ピクセルを備えるディスプレイと、
第１光を発するように構成された、前記ディスプレイと近接する第１光源と、
前記第１光の反射が前記複数の表示ピクセルによって部分的に遮られることによって生成される第２光を検出し、前記第２光に少なくとも部分的に基づく第１画像を撮影するように構成された、前記ディスプレイの背後に配置された第１カメラと、
前記ディスプレイに近接する、第２画像を撮影するように構成された第２カメラと、
前記第１カメラによって撮影された前記第１画像から前記複数の表示ピクセルによって生じるノイズの繰り返しのパターンをフィルタリングによって除去してフィルタリングされた画像を生成するように構成された画像フィルタと、
前記フィルタリングされた画像及び前記第２画像に少なくとも部分的に基づいて、前記第１カメラ及び前記第２カメラの視野（ＦＯＶ）内の１以上の物体についての深度情報を生成するように構成された深度マップ生成器と、
を備える、
デバイス。

【請求項2】

前記第１光が近赤外線（ＮＩＲ）光であり、
前記第１カメラ及び前記第２カメラのそれぞれが前記ＮＩＲ光を検出するように構成される、
請求項１のデバイス。

【請求項3】

前記第１光が近赤外線（ＮＩＲ）光であり、
前記第１カメラが前記ＮＩＲ光を検出するように構成され、前記第２カメラが可視光を検出するように構成される、
請求項１のデバイス。

【請求項4】

空のスペースが、前記複数の表示ピクセルの各表示ピクセルを他の表示ピクセルから分離し、
前記空のスペースは前記反射を伝達するように構成される、
請求項１のデバイス。

【請求項5】

前記第１カメラが、前記ディスプレイの前記複数の表示ピクセルに位置整合された複数の第１光学センサを備える、
請求項１のデバイス。

【請求項6】

前記複数の第１光学センサの各光学センサが前記ディスプレイの領域の表示ピクセルに位置整合され、
前記領域が、繰り返しのピクセルパターンを構成する複数の表示ピクセルを含む、
請求項５のデバイス。

【請求項7】

前記画像フィルタが、ニューラルネットワークモデルを用いて前記ノイズの繰り返しのパターンを前記第１カメラによって撮影された前記第１画像からフィルタリングによって除去する、
請求項１のデバイス。

【請求項8】

前記画像フィルタが、点像分布逆関数変換を用いて前記ノイズの繰り返しのパターンを前記第１カメラによって撮影された前記第１画像からフィルタリングによって除去する、
請求項１のデバイス。

【請求項9】

第１カメラによって撮像された第１画像であり、第１光源により発された第１光の反射が前記第１カメラの前に配置されたディスプレイの複数の表示ピクセルによって部分的に遮られることによって生成される第２光に少なくとも部分的に基づく第１画像を受信することと、
前記ディスプレイに近接する第２カメラによって撮影された第２画像を受信することと、
前記第１カメラによって撮影された前記第１画像から前記複数の表示ピクセルによって生じるノイズの繰り返しのパターンをフィルタリングによって除去してフィルタリングされた画像を生成することと、
前記フィルタリングされた画像及び前記第２画像に少なくとも部分的に基づいて、前記第１カメラ及び前記第２カメラの視野（ＦＯＶ）内の１以上の物体についての深度情報を生成することと、
を含む、
方法。

【請求項10】

処理システムであって、
プロセッサと、
メモリであって、前記プロセッサによって実行されたときに、前記処理システムに、
第１カメラによって撮像された第１画像であり、第１光源により発された第１光の反射が前記第１カメラの前に配置されたディスプレイの複数の表示ピクセルによって部分的に遮られることによって生成される第２光に少なくとも部分的に基づく第１画像を受信することと、
前記ディスプレイに近接する第２カメラによって撮影された第２画像を受信することと、
前記第１カメラによって撮影された前記第１画像から前記複数の表示ピクセルによって生じるノイズの繰り返しのパターンをフィルタリングによって除去してフィルタリングされた画像を生成することと、
前記フィルタリングされた画像及び前記第２画像に少なくとも部分的に基づいて、前記第１カメラ及び前記第２カメラの視野（ＦＯＶ）内の１以上の物体についての深度情報を生成することと、
を実行させる命令を記憶するメモリと、
を備える、
処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、一般には、イメージングのためのシステム及び方法に関し、具体的には、アンダーディスプレイ画像センサに関する。

【背景技術】

【0002】

スマートフォン、タブレット、ラップトップ、及び、その他のコンピューティングシステムといった多くの電子機器は、カメラとディスプレイを含む。多くの場合、カメラはデバイスのうちの、遮蔽されない環境のビューを提供する領域に配置される。よって、ディスプレイと同じ表面に統合される場合、カメラは、ノッチ又は切り欠きの内部に、ディスプレイに隣接して配置されることが多い。このことは、しばしば、大きく、見栄えの悪い黒い境界線をディスプレイの周囲に生じさせ、デバイスの外観を損ない、デバイスの画面と本体の比率が制限させる場合がある。

【発明の概要】

【0003】

この要約は、以下の詳細な説明において更に説明される概念の選択を、簡略な態様で紹介するために提供される。この要約は、請求された主題のキーとなる特徴、又は、必須の特徴を特定することを意図したものではなく、請求された主題の範囲を制限することを意図したものでもない。

【0004】

デバイスが開示される。このデバイスは、ディスプレイと、光を発するように構成された、ディスプレイと近接する第１光源と、を備える場合がある。このデバイスは、第１光源により発された光の反射を検出するように構成された、ディスプレイの背後に配置された第１カメラを更に含む場合がある。第１カメラは、ディスプレイに部分的に遮られる反射に少なくとも部分的に基づく第１画像を撮影するように更に構成される場合がある。デバイスは、ディスプレイに近接する、第２画像を撮影するように構成された第２カメラを更に含む場合がある。加えて、デバイスは、第１及び第２画像に少なくとも部分的に基づいて、第１及び第２カメラの視野（ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ）（ＦＯＶ）内の１以上の物体についての深度情報を生成するように構成された深度マップ生成器を含む場合がある。

【図面の簡単な説明】

【0005】

本実施形態は、例として示されており、添付の図面の図によって限定されることを意図するものではない。

【0006】

【図1】図１は、いくつかの実施形態に係る、電子デバイスのブロック図である。

【0007】

【図2】図２は、いくつかの実施形態に係る、電子デバイスのブロック図である。

【0008】

【図3A】図３Ａは、いくつかの実施形態に係る、例示的な電子システムを示す図である。

【0009】

【図3B】図３Ｂは、いくつかの実施形態に係る、例示的な電子システムを示す図である。

【0010】

【図3C】図３Ｃは、いくつかの実施形態に係る、例示的な電子システムを示す図である。

【0011】

【図3D】図３Ｄは、いくつかの実施形態に係る、例示的な電子システムを示す図である。

【0012】

【図4】図４は、いくつかの実施形態に係る、例示的な電子システムの断面を示す図である。

【0013】

【図5】図５は、いくつかの実施形態に係る、電子システムのディスプレイを示す図である。

【0014】

【図6】図６は、いくつかの実施形態に係る、ディスプレイの下部に配置されたカメラによって撮影された例示的な画像を示す図である。

【0015】

【図7】図７は、いくつかの実施形態に係る、表示ピクセル及び／又は表示サブピクセルと、光学センシング素子の例示的な配列を示す図である。

【0016】

【図8】図８は、いくつかの実施形態に係る、画像処理システムのブロック図である。

【0017】

【図9】図９は、いくつかの実施形態に係る、物体又は光景についての深度情報を生成するための例示的な動作を示す例示的なフローチャートである。

【0018】

【図10A】図１０Ａは、アンダーディスプレイカメラによって撮影された例示的な画像を示す図である。

【0019】

【図10B】図１０Ｂは、図１０Ａをフィルタリングした後の例示的な画像を示す図である。

【0020】

【図11】図１１は、いくつかの実施形態に係る、例示的な３Ｄ画像を示す図である。

【0021】

【図12】図１２は、いくつかの実施形態に係る、深度情報の応用例を示す図である。

【発明を実施するための形態】

【0022】

以下の説明では、本開示の十分な理解を提供するために、具体的なコンポーネント、回路、及び、処理の例のような、多くの具体的な詳細が示される。本明細書で使われる「結合された」という言葉は、直接に接続されている、又は、仲介する１以上のコンポーネント又は回路を介して接続されていることを意味する。更に、以下の説明において、及び、説明を目的として、本開示の態様の十分な理解を提供するために、特定の命名法が用いられる。しかし、例示的な実施形態を実施するために、これらの具体的な詳細が必要でない場合があることが当業者には明らかであろう。他の例では、本開示が不明確になることを避けるために、周知の回路及びデバイスがブロック図の形式で示される。以下の詳細な説明のいくつかの部分は、過程、論理ブロック、処理、及び、コンピュータのメモリ内のデータビットへの操作を他の記号で表現したもの、という形で提示されている。回路素子又はソフトウェアブロック間の相互接続は、バス又は単一の信号線として示される場合がある。バスのそれぞれは、代替的に単一の信号線であってもよく、単一の信号線のそれぞれは、代替的にバスであっても良く、単一の信号線又はバスは、コンポーネント間の通信のための無数の物理的又は論理的なメカニズムのうちの任意の１以上を表し得る。

【0023】

後述の議論から明らかなように、特にそうでないと述べられていない場合には、本出願を通して、「アクセスする」、「受信する」、「送信する」、「用いる」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均する」、「モニタする」、「比較する」、「適用する」、「更新する」、「計測する」、「導出する」、等のような表現を用いて行われる議論は、コンピュータシステム（又は同様の電子計算デバイス）のアクション及び処理を参照していると認められる。これらのコンピュータシステム（又は同様の電子計算デバイス）は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として示されるデータを、コンピュータシステムのメモリまたはレジスタ、又は他のそのような情報ストレージ、伝送器、又は表示デバイス内の物理量として同様に示される他のデータに操作及び変換する。

【0024】

本明細書で説明されている技術は、特定の方法で実施されると特に記載されない限り、ハードウェア、ソフトウェア、ファームウェア、又は、それらの任意の組み合わせで実施され得る。モジュール又はコンポーネントとして説明されている任意の構成は、集積ロジックデバイスにまとめて実装されるか、又は、個別に分離されているが相互運用が可能なロジックデバイスとして実装される場合もある。ソフトウェアで実装される場合、本技術は、実行されたときに上述の１以上の方法を実現する命令を含む、コンピュータ読取り可能な非一時的記憶媒体によって少なくとも部分的に実現される場合がある。コンピュータ読取り可能な非一時的記憶媒体は、コンピュータプログラム製品の一部を形成する場合がある。なお、コンピュータプログラム製品は、梱包材を含む場合がある。

【0025】

非一時的なプロセッサ読取り可能な記憶媒体は、同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＲＡＭ）、リードオンリーメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＮＶＲＡＭ）、電子的消去可能プログラマブルリードオンリーメモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）（ＥＥＰＲＯＭ）、フラッシュメモリ、他の既知の記憶媒体等、を備える場合がある。本技術は追加的に、あるいは代替的に、少なくとも一部が、コードを命令又はデータ構造の形で伝達または通信し、かつ、コンピュータ又は他のプロセッサによってアクセス、読取り、及び／又は、実行が可能な、プロセッサ読取り可能な通信媒体によって実現され得る。

【0026】

本明細書で開示される実施形態に関して説明される様々な例示的な論理ブロック、モジュール、回路、及び、命令は、１以上のプロセッサによって実行され得る。本明細書で用いられる「プロセッサ」という言葉は、任意の汎用プロセッサ、従来のプロセッサ、コントローラ、マイクロコントローラ、及び／又は、メモリに記憶された１以上のソフトウェアプログラムのスクリプト又は命令を実行可能な状態機械、を示す場合がある。

【0027】

本開示の態様は、電子システム又はデバイスのディスプレイの背後に実装可能なイメージングのためのシステム及び方法を提供する。いくつかの実施形態では、電子システムは、ディスプレイ、少なくとも１つの照明器（本明細書では「第１光源」とも呼ばれる）、及び、２以上のカメラ（本明細書では「カメラセンサ」とも呼ばれる）を含むイメージングシステムを備える場合がある。いくつかの実施形態では、ディスプレイは、例えば、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）（ＯＬＥＤ）ディスプレイ、又は、マイクロ発光ダイオード（ｍｉｃｒｏ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）（マイクロＬＥＤ）ディスプレイといった多孔性ディスプレイを含む場合がある。照明器は、ＮＩＲ発光ダイオード（ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）（ＬＥＤ）、又は、赤外線（ｉｎｆｒａｒｅｄ）（ＩＲ）スペクトルの光の波長を放射可能な他の光源を含む場合がある。該カメラは、ＩＲスペクトルの光を検出するように構成される場合がある（なお、これらのカメラは、本明細書では「ＮＩＲカメラ」とも呼ばれる）。更に、該カメラは、閾値距離だけ分離される場合がある。カメラどうしが分離された距離により、イメージングシステムはカメラのＦＯＶ内の物体についての深度情報を収集し得る。例えば、各カメラは物体の画像を撮影する場合がある。この画像から物体に関する深度情報を抽出するために、立体視が用いられ得る。

【0028】

いくつかの実施形態では、カメラがディスプレイの下に配置される場合がある。この構成においては、ディスプレイ内の表示ピクセル及び／又は表示サブピクセルによってカメラのＦＯＶが部分的に遮られる場合がある。しかしながら、本開示の態様は、少なくとも一部の光が透過するように、ディスプレイが、表示ピクセル及び／又はディスプレイサブピクセルの間に「孔」または空のスペースを含み得ることを認識している。いくつかの実施形態では、ニューラルネットワークモデル（例えば、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）（ＣＮＮ））を用いて、「スクリーンドア効果」といった、ディスプレイの表示ピクセル及び／又は表示サブピクセルによって引き起こされ得るノイズ又は干渉をフィルタリングにより除去する場合がある。得られた画像は、したがって、深度検知、及び／又は、他の画像処理に適するものである。これにより、他の利点の中でも、見栄えの悪い黒い境界線、切り欠き、またはノッチが、ディスプレイのベゼルに不要となる。さらに、電子システムの画面と本体の比率が向上する場合があり、電子システムがインフィニティディスプレイをサポートし得る。

【0029】

図１は、いくつかの実施形態に係る、電子デバイス１００（「デバイス１００」とも呼ばれる）のブロック図である。電子デバイス１００は、照明器１０８、ディスプレイ１０２、第１カメラ１０４、第２カメラ１０６、及び、深度マップ生成器１３４を備える。

【0030】

照明器１０８は、イメージングされる物体または光景を照明するように構成される。いくつかの実施形態では、照明器１０８は、ＩＲ光（例えば、ＮＩＲ光）を発するように構成される場合がある。さらに、照明器１０８は、ＬＥＤ（例えば、ＮＩＲのＬＥＤ）を含む場合がある。あるいは、照明器１０８は、ディスプレイ１０２内の表示ピクセル及び／又は表示サブピクセルを含む場合がある。さらに、いくつかの実施形態では、デバイス１００は、１より多い照明器１０８を含み得る。

【0031】

ディスプレイ１０２は、視覚情報をユーザに表示し、ユーザ入力を受信し、及び／又は、イメージングされる物体または光景からの光を第１カメラ１０４及び第２カメラ１０６へ伝達するように構成される。ディスプレイ１０２は、表示ピクセル及び／又は表示サブピクセルの間に孔又はギャップを含む、ＯＬＥＤディスプレイまたはマイクロＬＥＤディスプレイといった多孔性ディスプレイを備える場合がある。いくつかの実施形態では、ディスプレイ１０２は、イメージングされる物体または光景からの光を第１カメラ１０４及び第２カメラ１０６に伝達するように構成された透明層を備える場合がある。

【0032】

第１カメラ１０４及び第２カメラ１０６はそれぞれ、ディスプレイ１０２の前の物体又は光景の画像を撮影するように構成される。第１カメラ１０４及び第２カメラ１０６はそれぞれ、能動型ピクセルセンサのアレイ（例えば、フォトダイオード、相補的金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）（ＣＭＯＳ）の画像センサアレイ、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）（ＣＣＤ）のアレイ）、及び／又は、可視スペクトル、ＩＲスペクトル、又は、紫外線スペクトルの光の波長を検出可能な他の任意のセンサを備える場合がある。いくつかの実施形態では、第１カメラ１０４及び第２カメラ１０６はそれぞれに、ＩＲスペクトル又は非可視光のスペクトルの光を検出するように構成される場合がある。更に、第１カメラ１０４及び第２カメラ１０６はそれぞれ、ディスプレイ１０２によって放出及び／又は伝達される可視光をフィルタリングする、又は、排斥するように構成され得る。他の実施形態では、第１カメラ１０４及び第２カメラ１０６の両方が、可視光を検出するように構成される場合がある。あるいは、第１カメラ１０４はＮＩＲ光を検出するように構成される場合があり、第２カメラ１０６は可視光を検出するように構成される場合がある。

【0033】

図１に示すように、第１カメラ１０４及び第２カメラ１０６は共に、ディスプレイ１０２の背後に（又は、ディスプレイ１０２に近接して）配置される。この構成により、イメージングされる物体または光景からの光は、それがカメラ１０４及び１０６へ向かってディスプレイ１０２を通過するにあたり屈折又は曲がる場合がある。さらに、ディスプレイ１０２内の表示ピクセル及び／又は表示サブピクセルは、カメラのＦＯＶを部分的に遮蔽し得る。しかしながらそれでも、上記のように、ディスプレイ１０２が多孔性であることにより一部の光がディスプレイ１０２を通過してカメラに到達するので、第１カメラ１０４及び第２カメラ１０６はそれぞれディスプレイ１０２を通して物体または光景をイメージングし得る。更に、第１カメラ１０４及び第２カメラ１０６はそれぞれ、物体または光景が近景又は遠景のいずれでもイメージングされる広範囲イメージングを実行するように構成される場合がある。なお、図１の例では２つのカメラが示されているが、電子デバイス１００の他の実装では、１つのカメラのみを含む場合がある。あるいは、複数の実装では、２つより多くのカメラを含む場合がある。

【0034】

深度マップ生成器１３４は、第１カメラ１０４及び第２カメラ１０６によってイメージングされた物体又は光景についての深度情報を決定するように構成される場合がある。より詳しくは、深度マップ生成器１３４は、第１カメラ１０４及び第２カメラ１０６によって撮影された画像を受信するように構成される場合がある。また、深度マップ生成器１３４は、画像を結合し、画像から深度情報を抽出するために、立体視を用いる場合がある。

【0035】

動作している間、照明器１０８は、光１１６を発して、第１カメラ１０４及び第２カメラ１０６の前の光景を照明する場合がある。光景内の物体は、光１１６の少なくとも一部を反射して、例えば反射光１１６Ｒ（１）及び反射光１１６（Ｒ２）として、ディスプレイ１０２へと返す場合がある。反射光１１６Ｒ（１）及び反射光１１６Ｒ（２）の一部は、ディスプレイ１０２内の表示ピクセル及び／又は表示サブピクセルによって遮られる場合がある。一方、反射光１１６Ｒ（１）及び１１６Ｒ（２）の残りは、表示ピクセル及び／又は表示サブピクセルの間の孔またはギャップを通過し得る。孔を通過した反射光１１６Ｒ（１）及び反射光１１６Ｒ（２）は、それぞれ、第１カメラ１０４及び第２カメラ１０６によって検出され得る。第１カメラ１０４は、第１画像１４４として検出される反射光１１６Ｒ（１）を撮影し、第２カメラ１０６は、第２画像１６６として検出される反射光１１６Ｒ（２）を撮影する場合がある。更に、深度マップ生成器１３４は、第１画像１４４及び第２画像１６６を受信し、画像を組み合わせて、物体についての深度情報１３５を抽出する場合がある。

【0036】

図２は、いくつかの実施形態に係る、電子デバイス２００（「デバイス２００」とも呼ばれる）のブロック図である。電子デバイス２００は、図１の電子デバイス１００の実施形態である場合がある。図２に示すように、第１カメラ２０４は、ディスプレイ２０２の背後に配置され、第２カメラ２０６は、ディスプレイ２０２に近接して（又は、ディスプレイ２０２及び照明器２０８と同じ平面上に）配置される。いくつかの実施形態では、第１カメラ２０４は、ＮＩＲカメラである場合がある。また、第２カメラ２０６は、可視スペクトル（例えば、光の色成分である赤、緑、青（ＲＧＢ）を含む）の光を検出するように構成される場合がある（「ＲＧＢカメラ」）。他の実施形態では、第２カメラ２０６は、ＮＩＲカメラである場合がある。

【0037】

動作している間、照明器２０８は、光２１６を発して、第１カメラ２０４及び第２カメラ２０６の前の光景を照明する場合がある。光景内の物体は、光２１６の少なくとも一部を反射して、例えば反射光２１６（Ｒ）（１）及び反射光２１６（Ｒ）（２）として、ディスプレイ２０２へと返す場合がある。図２に示すように、反射光２１６（Ｒ）（１）（及び／又は、太陽又は他の照明器からの光）が第２カメラ２０６によって検出され、第２画像２６６として撮影される。更に、反射光２１６（Ｒ）（２）は、ディスプレイ２０２内の表示ピクセル及び／又は表示サブピクセルによって遮られる。一方、反射光２１６（Ｒ）（２）の残りは、表示ピクセル及び／又は表示サブピクセルの間の孔またはギャップを通過する。第１カメラ２０４によって検出された反射光２１６（Ｒ）（２）は、第１画像２４４として撮影される。図１を参照して上記で説明したように、深度マップ生成器２３４は、第１画像２４４及び第２画像２６６を受信し、これらを組み合わせて、物体についての深度情報２３５を抽出する場合がある。

【0038】

図３Ａは、いくつかの実施形態に係る、例示的な電子システム３００Ａを示す。電子システム３００Ａは、図１及び図２の電子デバイス１００、及び／又は、２００の実施形態であり得る。図３Ａに示すように、電子システム３００Ａは、ディスプレイ３０２と、カメラ３０４と、カメラ３０６と、を備える。

【0039】

ディスプレイ３０２は、ＯＬＥＤディスプレイ又はマイクロＬＥＤディスプレイのような、表示ピクセル及び／又は表示サブピクセル間に孔又はギャップを有する多孔性ディスプレイを備える場合がある。カメラ３０４及びカメラ３０６はそれぞれ、能動型ピクセルセンサのアレイ（例えば、フォトダイオード、ＣＭＯＳイメージセンサアレイ、ＣＣＤアレイ、及び／又は、可視スペクトル、赤外線スペクトル、又は紫外線スペクトルの波長の光を検出可能な他の任意のセンサ）を備える場合がある。更に、カメラ３０４及びカメラ３０６は、物体または光景が近景又は遠景のいずれでもイメージングされる広範囲イメージングを実行するように構成される場合がある。なお、図３Ａの例では２つのカメラが示されているが、電子システム３００Ａの他の実装では、図３Ａで示されたよりも少ない、あるいはより多いカメラを含む場合がある。いくつかの実施形態では、カメラ３０４及びカメラ３０６はそれぞれ、物体の画像を撮影することによる深度感知をサポートするように構成される場合がある。そして、物体の深度及び／又は３次元（３Ｄ）構造を感知するために画像を組み合わせるため、立体視が用いられる場合がある。更に、動作している間、電子システム３００Ａは、イメージングされる光景又は物体に対して垂直、水平、又は対角線の向きに配置あるいは取り付けられる場合があることに留意されたい。

【0040】

いくつかの実施形態では、カメラ３０４及びカメラ３０６は、ディスプレイ３０２の下に配置される場合がある。この構成においては、ディスプレイ３０２内の表示ピクセル及び／又は表示サブピクセルが、カメラのＦＯＶを部分的に遮蔽する場合がある。しかしながら、ディスプレイ３０２が多孔性であることにより、カメラ３０４及びカメラ３０６はディスプレイ３０２を通して物体または光景をイメージングし得る。言い換えると、ディスプレイ３０２は、ピクセル及び／又はサブピクセルの間に、孔又は空のスペースを有する場合がある。光が（後に更に説明される照明器３０８のような）光源から発されたときに、この光は電子システム３００Ａの前の物体又は構造に反射し、その後ディスプレイ３０２の孔又は空のスペースを通過してカメラ３０４及びカメラ３０６に到達し得る。いくつかの実施形態では、カメラ３０４及び／又はカメラ３０６のうち少なくとも１つは、ＩＲスペクトル又は非可視スペクトルの光を検出するように構成されたＮＩＲカメラである。このＮＩＲカメラは、ディスプレイ３０２によって放出される光などの可視光をフィルタリング又は排斥する場合がある。いくつかの他の実施形態では、カメラ３０４又はカメラ３０６の１つは、ＲＧＢカメラである場合がある。

【0041】

なお、ディスプレイ３０２内のピクセルがカメラ３０４及び／又はカメラ３０６へと透過する光を少なくとも部分的に遮断するため、これらのカメラによって撮影される画像は、ノイズ又は干渉（例えば、「スクリーンドア効果」）を含み得る。いくつかの実施形態では、カメラ３０４及びカメラ３０６によって撮影された画像のノイズ又は歪みをフィルタリングにより除去するために、ニューラルネットワークモデル（例えば、ＣＮＮ）が使用される場合がある。例えば、ＣＮＮは、ディスプレイ３０２の表示ピクセル及び／又は表示サブピクセルによって引き起こされるスクリーンドア効果について認識する、又は、推論を生成するために学習される場合がある。スクリーンドア効果を除去することにより、得られた画像は、深度感知、及び／又は、更なる画像分析に適する場合がある。

【0042】

図３Ｂは、いくつかの実施形態に係る、例示的な電子システム３００Ｂを示す。電子システム３００Ｂは、図１、２、及び３Ａを参照して説明された、電子デバイス１００及び／又は電子デバイス２００、及び／又は、電子システム３００Ａの実施形態である場合がある。図３Ｂに示すように、照明器３０８は、電子システム３００Ｂの角の近くに配置される場合がある。さらに、照明器３０８は、ディスプレイ３０２の下、ディスプレイ３０２と同じ平面上、ディスプレイ３０２のベゼル内、又は、これらの任意の組み合わせで配置され得る。いくつかの実施形態では、照明器３０８は、イメージングされる物体又は光景を照明するように構成される場合がある。例えば、照明器３０８は、ＩＲ光を用いて物体又は光景を照明するように構成された、ＬＥＤ（例えば、ＮＩＲのＬＥＤ）、表示ピクセル、及び／又は、表示サブピクセルを備える場合がある。

【0043】

図３Ｃは、いくつかの実施形態に係る、例示的な電子システム３００Ｃを示す。電子システム３００Ｃは、図１、２、３Ａ、及び３Ｂを参照して説明された、電子デバイス１００及び／又は２００、及び／又は、電子システム３００Ａ及び／又は３００Ｂの実施形態である場合がある。図３Ｃに示すように、カメラ３０４及びカメラ３０６は、電子システム３００Ｃの中央領域に、長軸に沿って配置される場合がある。図３Ｂと比べて、図３Ｃのカメラ３０４及びカメラ３０６は、より短い距離で分離されている。その結果、図３Ｃのカメラ３０４及びカメラ３０６が深度を感知する最大距離は、図３Ｂのカメラのそれよりも制限され得る。また、図３Ｃでは、カメラ３０４及びカメラ３０６のそれぞれの横に２つの照明器３０８が配置されることにも留意されたい。照明器３０８は、ディスプレイ３０２の下、ディスプレイ３０２と同じ平面上、ディスプレイ３０２のベゼル内、又は、これらの任意の組み合わせで配置される場合がある。いくつかの実施形態では、照明器３０８は、イメージングされる物体又は光景を照明するように構成される場合がある。例えば、照明器３０８は、ＩＲ光を用いて物体又は光景を照明するように構成されたＮＩＲのＬＥＤを備える場合がある。

【0044】

図３Ｄは、いくつかの実施形態に係る、例示的な電子システム３００Ｄを示す。電子システム３００Ｄは、図１、図２、図３Ａ－Ｃを参照して説明された、電子デバイス１００及び／又は２００、及び／又は電子システム３００Ａ－３００Ｃの実施形態である場合がある。図３Ｄに示すように、カメラ３０４及びカメラ３０６は、電子システム３００Ｄの中央領域に、短軸に沿って配置される場合がある。図３Ｃとは対照的に、図３Ｄのカメラ３０４及びカメラ３０６はより短い距離で分離されている。その結果、図３Ｄのカメラ３０４及びカメラ３０６が深度を感知する最大距離は、図３Ｃのカメラのそれよりも制限され得る。また、図３Ｄでは、照明器３０８は、電子システム３００Ｄの角の近くに、及び、電子システム３００Ｄの中央付近に、長軸に沿って配置されることにも留意されたい。照明器３０８は、ディスプレイ３０２の下、ディスプレイ３０２と同じ平面上、ディスプレイ３０２のベゼル内、又は、これらの任意の組み合わせで配置される場合がある。いくつかの実施形態では、照明器３０８は、イメージングされる物体又は光景を照明するように構成される場合がある。例えば、照明器３０８は、ＩＲ光を用いて物体又は光景を照明するように構成されたＮＩＲのＬＥＤを備える場合がある。

【0045】

図４は、いくつかの実施形態に係る、電子システム４００の断面を示す。図４に示すように、電子システム４００は、ディスプレイ層４０２、照明器４０８、及びカメラモジュール４１０を含む。電子システム４００は図１及び図３Ａ－Ｄを参照して説明された、電子デバイス１００、及び／又は電子システム３００Ａ－３００Ｄの例示的な実施形態である場合がある。

【0046】

ディスプレイ層４０２は、ＯＬＥＤディスプレイ又はマイクロＬＥＤディスプレイのような、多孔性ディスプレイの複数の層を含み得る。図４に示すように、ディスプレイ層４０２は、表示面４１４、及び、発光層４１８を備える場合がある。いくつかの実施形態では、発光層４１８は、複数の表示ピクセル、及び／又は、表示サブピクセルを備え、それぞれの表示ピクセル及び／又は表示サブピクセルの間には穴、ギャップ、又は、空のスペースを有する場合がある。いくつかの実施形態では、複数のディスプレイ層４０２のうち少なくとも１層は、イメージングされる物体又は光景からの光をカメラ４０４及びカメラ４０６へと伝達するように構成された透明層を備える場合がある。更に、図４に示すように、イメージングされる物体又は光景からの光は、光路４１６に沿って伝搬し、カメラ４０４及びカメラ４０６へ向かってそれがディスプレイ層４０２及びレンズ４１２を通過するにあたり屈折又は曲がる場合がある。

【0047】

いくつかの実施形態では、照明器４０８は、ディスプレイ層４０２に隣接して配置される場合がある。照明器４０８は、ディスプレイ層４０２の下、ディスプレイ層４０２と同じ平面上、電子システム４００のベゼル内、又は、これらの任意の組み合わせで配置される場合がある。照明器４０８は、イメージングされる物体又は光景を照明するように構成される場合がある。例えば、照明器４０８は、ＩＲ光を用いて物体又は光景を照明するように構成された、ＬＥＤ（例えば、ＮＩＲのＬＥＤ）、表示ピクセル、及び／又は、表示サブピクセルを備える場合がある。

【0048】

図４に示すように、カメラモジュール４１０は、ディスプレイ層４０２の下に配置され、カメラ４０４及びカメラ４０６と、レンズ４１２と、を備える場合がある。カメラ４０４及びカメラ４０６は、物体または光景を近景又は遠景のいずれでもイメージングされる広範囲イメージングのために構成されたＮＩＲのＣＭＯＳセンサを備える場合がある。カメラ４０４及びカメラ４０６は、指、手、及び、頭といった物体を迅速に感知するように更に構成される場合がある。更に、電子システム４００は２つのカメラを備えるため、カメラ４０４及びカメラ４０６は、深度感知をサポートするように構成され得る。深度感知の解像度は、カメラ４０４とカメラ４０６の間の距離である分離Ｄに依存し得る。言い換えれば、距離Ｄが大きいほど、カメラ４０４及びカメラ４０６から導出可能な深度情報の量は大きくなる。いくつかの実施形態では、カメラ４０４及びカメラ４０６は、周囲光感知（ａｍｂｉｅｎｔ ｌｉｇｈｔ ｓｅｎｓｉｎｇ）（ＡＬＳ）機能をサポートするために、低電力モードといった複数のモードで動作するように構成される場合がある。

【0049】

動作している間、照明器４０８は、電子システム４００の前の物体又は光景を照明する場合がある。例えば、照明器４０８は、ＩＲ光を発する場合がある。そして、この光は、物体又は光景で反射し、電子システム４００に戻ってくる場合がある。反射されたＩＲ光の移動経路が、光路４１６として図４に示されている。図４に示すように、光路４１６は、表示面４１４を通過して発光層４１８へ到達する。発光層４１８では、反射されたＩＲ光の一部がディスプレイ層４０２の表示ピクセル及び／又は表示サブピクセルで遮られ得る。しかし、反射されたＩＲ光の少なくとも一部は、表示ピクセル及び／又は表示サブピクセルの間の孔又は空のスペースを通過し得る。そして、残存したＩＲ光は、残りのディスプレイ層４０２及びレンズ４１２を通ってカメラ４０４及びカメラ４０６へ伝搬する。カメラ４０４及びカメラ４０６はそれぞれ、反射されたＩＲ光を別々の画像として撮影する場合がある。

【0050】

本開示の態様は、カメラ４０４及びカメラ４０６をディスプレイ層４０２の下に配置することにより、カメラ４０４及びカメラ４０６によって撮影された画像が「スクリーンドア効果」（図６に示される）、歪み、又は、ＩＲ光がディスプレイ層４０２を通過することによって引き起こされる他のアーティファクトを含み得ることを認識している。以下でより詳細に説明されるように、このような歪みをフィルタリングするために、ニューラルネットワークモデル（例えば、ＣＮＮ）が用いられる場合がある。撮影された画像がフィルタリングされると、撮影された画像から深度情報を抽出するために、立体視が用いられ得る。いくつかの態様において、深度情報は、深度マップを構築するために用いられる場合がある。いくつかの他の実施形態では、３Ｄ画像を生成するために、深度情報が用いられる場合がある。さらに、いくつかの態様では、深度情報は、生体識別、生体認証、又は、生体トラッキング、あるいは他のアプリケーションのために使用される場合がある。

【0051】

図５は、いくつかの実施形態に係る、電子システム５００のディスプレイを示す。電子システム５００は、図１、図２、図３Ａ－３Ｄ、及び、図４を参照して説明したように、電子デバイス１００及び／又は電子デバイス２００、及び／又は、電子システム３００Ａ－３００Ｄ又は電子システム４００の例示的な実施形態である場合がある。

【0052】

電子システム５００は、ディスプレイ５０２を備える場合がある。ディスプレイ５０２は、ＯＬＥＤディスプレイ又はマイクロＬＥＤディスプレイを含む多孔性ディスプレイである場合があるが、これに限定されない。言い換えると、ディスプレイ５０２は、孔、ギャップ、又は、空のスペースによって分離された表示ピクセル及び／又は表示サブピクセル（図５では灰色の長方形で示される）を含む場合がある。図５に示すように、表示ピクセル及び／又は表示サブピクセルのパターンは、ディスプレイ５０２の限定された領域５２２Ａにわたって変化し得る。しかしながら、本開示の態様は、パターンが、ディスプレイ５０２のより大きい領域５２２Ｂ及び領域５２２Ｃにわたり繰り返される場合があることを認識している。本開示の態様は、表示パターン及び／又は表示サブピクセルのパターンにおける変化のために、撮影された画像の歪みがランダムに、及び／又は、一貫性なく現れる場合があることをさらに認識している。しかしながら、アンダーディスプレイの光学センシング素子（例えば、図７の光学センシング素子７０４）を繰り返しのピクセルパターンで整列させることによって、歪みの変化は各光センシング要素にわたって同じとなり得る、あるいは、実質的に類似し得る。なお、表示ピクセル及び／又は表示サブピクセルは、形状及びサイズが異なる場合があり、それらは、行及び列、円形構成、又は別の構成で配置される場合がある。

【0053】

図６は、いくつかの実施形態に係る、ディスプレイの下に配置されたカメラによって撮影された例示的な画像６００を示す図である。画像６００は、例えば、図１、２、３Ａ－３Ｄ及び４のカメラ１０４、１０６、２０４、３０４、３０６、４０４又は４０６といった、多孔性ディスプレイの背後又は直下に配置されたカメラによって撮影され得る。図６に示すように、画像６００は、暗線及び明点のグリッド、又は、「スクリーンドア効果」を含む。暗線は、図５に示される表示ピクセルパターンと同様の、表示ピクセル及び／又は表示サブピクセルのパターンに対応する。暗線は、表示ピクセル及び/又は表示サブピクセルが、ＩＲ光の一部がディスプレイを通過することをブロックすることにより生成される。一方、明点は、表示ピクセル及び/又は表示サブピクセル間のギャップ又は孔に対応する。明点は、下にあるカメラに向かってディスプレイの孔又はギャップを通過するＩＲ光によって生成される。

【0054】

いくつかの実施形態では、アンダーディスプレイカメラによって撮影された画像は、スクリーンドアの複数の層（又はスクリーンドアの積層体）を通してアンダーディスプレイカメラが同時にイメージングしているかのように現れるグリッド、又は、スクリーンドア効果を含む場合がある。ここで、スクリーンドアの各層は異なるピッチ（例えば、孔のサイズ又は密度）を有する。このような実施形態では、ＩＲ光は、スクリーンドア層の表示ピクセル及び／又は表示サブピクセルの間の孔（又はギャップ）を通過する場合がある。更に、ＩＲ光の各点は水平方向及び垂直方向の異なる位置に拡散される（例えば、点像分布関数として）。また、ＩＲ光の各点は画像にわたって同様の方法で拡散され、これは大きな歪みをもたらす場合がある。

【0055】

図６に示すように、画像６００の一部は、ディスプレイの表示ピクセル及び／又は表示サブピクセルによって不明瞭になっている。言い換えれば、表示ピクセル及び／又は表示サブピクセルは、感知に利用可能なＩＲ光の量を低減し、アンダーディスプレイカメラのＦＯＶを事実上遮る場合がある。そのため、スクリーンドア効果、歪み、又は他のアーティファクトを除去するために、アンダーディスプレイカメラによって撮影された画像をフィルタリング又は較正することが望ましい場合がある。

【0056】

図７は、いくつかの実施形態に係る、表示ピクセル及び／又は表示サブピクセル７０２（「表示ピクセル７０２」）と、光学センシング素子７０４と、の例示的な配置７００を示す。表示ピクセル７０２はそれぞれ、図４、５、及び／又は、６に示される表示ピクセルの例示的な実施形態である場合がある。光学センシング素子７０４は、個別に、又は、まとめて、例えば、図１、２、３Ａ－３Ｄ、及び、４を参照して説明されたカメラ１０４、１０６、２０４、３０４、３０６、４０４、又は、４０６のようなカメラの実施形態である場合がある。

【0057】

いくつかの実施形態では、表示ピクセル７０２は、例えば、ＯＬＥＤディスプレイ又はマイクロＬＥＤディスプレイといった多孔性ディスプレイの一部である場合がある。光学センシング素子７０４はそれぞれ、ＮＩＲのＣＭＯＳセンサを含む場合がある。光学センシング素子７０４はそれぞれ、対応するマイクロレンズ７１２を有する場合がある。図７では、６つの表示ピクセル７０２のみが示されているが、実際の実施形態では、アンダーディスプレイイメージングシステム７００は、ほとんど如何なる数の表示ピクセル７０２（例えば、数百、数千、数百万、又は、それ以上）と、対応する数の光学センシング素子７０４及びマイクロレンズ７１２と、を含み得る。

【0058】

図７の例では、表示ピクセル７０２は、光学センシング素子７０４と位置整合される場合がある。いくつかの実施形態では、光学センシング素子７０４はそれぞれ、図５の例示的な領域５２２Ｂ又は領域５２２Ｃといった、繰り返しのピクセルパターンを含むディスプレイの領域に位置整合され得る。この配列により、スクリーンドア効果又は他の歪みは、光学センシング素子７０４によって撮影された画像において、均質なパターン、又は、繰り返しのパターンとして現れる場合がある。本開示の態様は、歪みの繰り返しのパターンが、撮影された画像からフィルタリングにより除去しやすい場合があるということを認識している。例えば、ニューラルネットワークモデルは、より簡単に、画像内の繰り返しのパターンを認識するように学習され得るものであり、パターンが繰り返しているときには、スクリーンドア効果に対するより強力なフィルタリングを提供し得る。

【0059】

本開示の態様は、更に、明るい環境、又は、日当たりの良い環境で物体がイメージングされると、表示ピクセル７０２はサチュレーションするか、又は、ウォッシュアウトする場合があることを認識している。結果として、一部の表示ピクセルは、明るい環境と暗い環境の両方でイメージングすることには適してない場合がある。いくつかの実施形態では、表示ピクセル７０２は、非線形型のピクセル、又は、対数型のピクセルを含む場合がある。このような対数ピクセルによって蓄積される電荷は、光の明度又は強度に対して非線形に変化するため、表示ピクセル７０２は、明暗両方の条件でのイメージングによく適している場合がある。

【0060】

図８は、いくつかの実施形態に係る、画像処理システム８００のブロック図である。画像処理システム８００は、デバイスインタフェース８１０、プロセッサ８２０、及び、メモリ８３０を備える。本明細書での議論の目的で、図８のプロセッサ８２０は、デバイスインタフェース８１０及びメモリ８３０と接続されるものとして示されている。実際の実施形態では、デバイスインタフェース８１０、プロセッサ８２０、及び／又は、メモリ８３０は、１以上のバス（簡略化のために図示せず）を用いて一緒に結合される場合がある。なお、いくつかの実施形態では、画像処理システム８００は、図１、２、３Ａ－３Ｄ、４、及び、５を参照して説明された電子デバイス１００及び／又は２００、及び／又は、電子システム３００Ａ－３００Ｄ、４００、及び／又は、５００のうちの任意の特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）（ＡＳＩＣ）、又は、他の集積回路（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）（ＩＣ）であってもよい。

【0061】

デバイスインタフェース８１０は、１以上のカメラ（簡略化のために図示せず）及び／又はディスプレイを含む（しかしこれらに限定されない）入力デバイスに信号を送信し、入力デバイスから信号を受信する場合がある。いくつかの実施形態では、デバイスインタフェース８１０は、カメラインタフェース８１４及びカメラインタフェース８１６を含み得る。カメラインタフェース８１４及びカメラインタフェース８１６はそれぞれ、異なるカメラと通信するために用いられる場合がある。例えば、第１カメラインタフェース８１４は、物体又は光景の画像を撮影するために、起動信号を第１カメラに送信し、第１カメラからセンサ情報を受信する場合がある。更に、第２カメラインタフェース８１６は、同じ物体及び／又は光景の画像を撮影するために、第２カメラに起動信号を送信し、第２カメラからセンサ情報を受信する場合がある。いくつかの実施形態では、デバイスインタフェース８１０は、ディスプレイインタフェース８１２をさらに含む場合がある。ディスプレイインタフェース８１２は、ディスプレイと通信するために、及び／又は、画像処理システム８００のユーザに視覚的なインタフェースを提供するために使用される場合がある。

【0062】

メモリ８３０は、カメラインタフェース８１４及び／又はカメラインタフェース８１６を介して受信した画像を記憶するための画像バッファ８３１を備える場合がある。メモリ８３０はまた、少なくとも次のＳＷモジュールを記憶し得る、非一時的なコンピュータ読取り可能な媒体（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードドライブ等といった、１以上の不揮発性メモリ素子）を備える場合がある。
●カメラインタフェース８１４及び／又はカメラインタフェース８１６を介して受信した画像をフィルタリングする画像フィルタリングＳＷモジュール８３２であり、画像フィルタリングＳＷモジュール８３２は更に以下を備える：
〇カメラインタフェース８１４及び／又はカメラインタフェース８１６を介して受信した画像からノイズをフィルタリング、低減、又は、除去するニューラルネットワークモデル８３３と、
●カメラインタフェース８１４及び／又はカメラインタフェース８１６を介して受信した画像内の物体又は造作物についての深度情報を決定する深度マップＳＷモジュール８３４であり、深度マップＳＷモジュール８３４は更に以下を備える：
〇カメラインタフェース８１４及び／又はカメラインタフェース８１６をそれぞれ介して受信した画像のペアから深度情報を抽出する立体視サブモジュール８３５；
〇深度情報に少なくとも部分的に基づいて３Ｄ画像を生成する３Ｄイメージングサブモジュール８３６；及び、
〇深度情報に少なくとも部分的に基づいて、対象又は物体を識別し、認証し、及び／又は、トラッキングする生体識別、生体認証、及び生体トラッキング（ｂｉｏｍｅｔｒｉｃ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ａｕｔｈｅｎｔｉｃａｔｉｏｎ，ａｎｄ ｔｒａｃｋｉｎｇ）（ＢＩＡＴ）サブモジュール８３７。

【0063】

各ＳＷモジュールは、プロセッサ８２０によって実行されると、画像処理システム８００に対応する機能を実行させる命令を含む。

【0064】

例えば、プロセッサ８２０は、画像フィルタリングＳＷモジュール８３２（又は「画像フィルタ」）を実行して、カメラインタフェース８１４及び／又はカメラインタフェース８１６を介して受信した画像をフィルタリングする場合がある。画像フィルタリングＳＷモジュール８３２を実行する際に、プロセッサ８２０は、ニューラルネットワークモデル８３３を用いて、カメラインタフェース８１４及び／又はカメラインタフェース８１６を介して受信した画像から（スクリーンドア効果のような）ノイズをフィルタリング、低減、又は、除去する場合がある。プロセッサ８２０は、更に、深度マップＳＷモジュール８３４を実行して、カメラインタフェース８１４及び／又はカメラインタフェース８１６を介して受信された画像内の物体又は造作物の深度情報を決定すること場合がある。深度マップＳＷモジュール８３４を実行する際に、プロセッサ８２０は、立体視サブモジュール８３５、３Ｄイメージングサブモジュール８３６、及び／又は、ＢＩＡＴサブモジュール８３７を用いる場合がある。例えば、プロセッサ８２０は、立体視サブモジュール８３５を実行して、カメラインタフェース８１４及びカメラインタフェース８１６を介してそれぞれに受信された画像のペアから深度情報を抽出する場合がある。プロセッサ８２０は更に、３Ｄイメージングサブモジュール８３６を実行して、深度情報に少なくとも部分的に基づいて、３Ｄ画像を生成する場合がある。プロセッサ８２０はまた、ＢＩＡＴサブモジュール８３７を実行して、深度情報に少なくとも部分的に基づいて、画像内の対象又は物体を識別、認証、及び／又は、トラッキングする場合がある。

【0065】

図９は、いくつかの実施形態に係る、物体又は光景に関する深度情報を生成するための例示的な動作９００を示す例示的なフローチャートを示す。図１を参照して、動作９００は、電子デバイス１００によって実行される場合がある。

【0066】

電子デバイス１００は、電子ディスプレイの背後に配置された第１カメラによって撮影された物体の第１画像を受信する場合がある（９１０）。第１画像は、少なくとも部分的に、照明器（又は、第１光源）によって発される光（例えば、ＮＩＲ光）の反射に基づく場合がある。

【0067】

電子デバイス１００はまた、電子ディスプレイに近接する第２カメラによって撮影された物体の第２画像を受信する場合がある（９２０）。いくつかの実施形態では、第２カメラは、図２に示されるように、電子ディスプレイ及び照明器と同じ平面上に配置される場合がある。

【0068】

電子デバイス１００が第１画像及び第２画像を受信した後、電子デバイス１００は、画像を処理して深度情報を生成する場合がある（９３０）。いくつかの実施形態では、第１画像及び第２画像のノイズ又は歪みは、１以上のニューラルネットワークモデルを用いてフィルタリングされる場合がある。上記で説明したように、深度情報は、第１カメラ及び第２カメラのＦＯＶ内の物体の距離又は深度を示す場合がある。また、深度情報は、少なくとも部分的に第１及び第２の画像に基づく場合がある。いくつかの実施形態では、電子デバイス１００は、第１画像及び第２画像を組み合わせて、物体に関する画像から深度情報を抽出する場合がある。

【0069】

図１０Ａは、アンダーディスプレイカメラによって撮影された例示的な画像１０１０を示している。図８を参照して、画像１０１０は、アンダーディスプレイカメラから、例えば、カメラインタフェース８１４に送信される場合がある。そして、カメラインタフェース８１４は、記憶するために、画像１０１０を画像バッファ８３１に送信する場合がある。図１０Ａに示すように、画像１０１０は、スクリーンドア効果によって不明瞭になっている。したがって、歪みを除去するために画像１０１０をフィルタリングすることが望ましい場合がある。

【0070】

図１０Ｂは、図１０Ａの画像１０１０のフィルタリング後の画像である例示的な画像１０２０を示す。図８を参照して、画像１０２０を生成するために、画像バッファ８３１は、画像１０１０を画像フィルタリングＳＷモジュール８３２に送信する場合がある。画像フィルタリングＳＷモジュール８３２は、ニューラルネットワークモデル８３３を用いて、画像１０１０からスクリーンドア効果をフィルタリングにより除去する場合がある。得られた画像が画像１０２０であり、図１０Ｂに示すように、この画像は人物をより明確に表している。

【0071】

いくつかの実施形態では、ニューラルネットワークモデル８３３は、撮影された画像からスクリーンドア効果又は他のノイズをフィルタリングにより除去するように学習されたＣＮＮを含む場合がある。言い換えれば、ＣＮＮは、不明瞭な物体又は光景の画像から、元の物体又は光景の画像、又は、物体又は光景が明確な画像を推測するように学習される場合がある。いくつかの実施形態では、ＣＮＮは、元の物体又は光景の画像を少なくとも１つと、物体又は光景の不明瞭な画像を少なくとも１つと、を受信し、処理することによって学習され得る。いくつかの実施形態では、ＣＮＮの代わりに、又はＣＮＮに加えて、点像分布逆関数変換を用いて画像をフィルタリングする場合がある。このように、画像フィルタリングＳＷモジュール８３２は、ニューラルネットワークモデル８３３及び／又は点像分布逆関数変換を用いて、アンダーディスプレイカメラからの画像をフィルタリングする場合がある。

【0072】

図１１は、いくつかの実施形態に係る、例示的な３Ｄ画像１１１０を示す。例示的な３Ｄ画像１１１０を生成するために、図８を参照して、２つのアンダーディスプレイカメラのそれぞれは、人々のグループの画像を同時に撮影する場合がある。撮影された画像は、カメラインタフェース８１４及びカメラインタフェース８１６にそれぞれ送信される場合がある。次に、カメラインタフェース８１４及びカメラインタフェース８１６は、記憶するために、画像を画像バッファ８３１に送信する場合がある。続いて、画像バッファ８３１は、画像を画像フィルタリングＳＷモジュール８３２に送信する場合がある。画像フィルタリングＳＷモジュール８３２は、ニューラルネットワークモデル８３３を用いて画像からスクリーンドア効果又は他の任意の歪みを除去する場合がある。そして、深度マップＳＷモジュール８３４は、立体視サブモジュール８３５を用いて、フィルタリングされた画像を組合わせ、画像から深度情報を抽出する場合がある。

【0073】

いくつかの実施形態では、深度マップＳＷモジュール８３４は立体視の代わりに、あるいは立体視に加えて、画像のペアから深度情報を決定するために他の方法を使用する場合がある。例えば、図４及び図８を参照して、カメラモジュール４１０は、特別な光学系を用いる場合がある。また、深度マップＳＷモジュール８３４は、深度情報を抽出するために、回折光学系、（あるカメラの絞り又はＦＯＶが別のカメラの絞りもしくはＦＯＶと異なるところの）多重開口若しくは多重ＦＯＶ、又は、符号化又は位相開口を有する特別なアルゴリズムを用いる場合がある。他の例として、深度マップＳＷモジュール８３４は、１つのカメラを用いて１つの範囲の波長（例えば、可視光）を感知し、別のカメラを用いて別の範囲の波長（例えば、ＩＲ光）を感知する場合がある。次に、深度マップＳＷモジュール８３４は、２つのカメラによって撮影された画像を三角測量して、深度情報を抽出する場合がある。

【0074】

深度情報が抽出されると、３Ｄイメージングサブモジュール８３６は、深度情報に少なくとも部分的に基づいて、図１１の３Ｄ画像１１１０を生成する場合がある。いくつかの実施形態では、３Ｄイメージングサブモジュール８３６によって処理される２つの画像のうちの１つは、標準的な光学ＲＧＢカメラからの色情報（又はＲＧＢ情報）を含み得る。３Ｄイメージングサブモジュール８３６は、色情報を３Ｄ画像に重ねて、カラー３Ｄ画像を生成する場合がある。

【0075】

いくつかの実施形態では、３Ｄイメージングサブモジュール８３６は、ディスプレイインタフェース８１２を介して、３Ｄ画像をディスプレイに投影するように構成される場合がある。更に、３Ｄイメージングサブモジュール８３６は、３Ｄ画像を修正又は回転するように構成される場合があり、これにより、ユーザが３Ｄ画像と相互作用することができるようになる。例えば、いくつかの態様では、３Ｄイメージングサブモジュール８３６は、ボケ焦点機能を提供するように構成され得る。言い換えれば、３Ｄ画像がディスプレイインタフェース８１２を介してディスプレイに投影されるとき、ユーザは、３Ｄ画像のうちどの部分に焦点を合わせて表示するか、及び、３Ｄ画像のうちどの部分をぼやけて、又は、焦点を外して表示するか、を決定可能である場合がある。任意のぼやけた部分に関して、ユーザは、ぼやけの程度又は種類を調整可能である場合がある。

【0076】

図１２は、いくつかの実施形態に係る、深度情報の応用例を示す。図８を参照して、深度マップＳＷモジュール８３４は、ＢＩＡＴサブモジュール８３７を用いて、深度情報に少なくとも部分的に基づいて、画像内の対象又は物体を識別、認証、及び／又はトラッキングする場合がある。例えば、図１２に示すように、イメージング１２１０の間に、カメラＡ及びカメラＢはそれぞれ人物の画像を撮影する場合がある。上記で説明したように、画像フィルタリングＳＷモジュール８３２は、ニューラルネットワークモデル８３３を用いて画像から歪みを除去する場合があり、深度マップＳＷモジュール８３４は、立体視サブモジュール８３５を用いて画像から深度情報を抽出する場合がある。次に、３Ｄイメージングサブモジュール８３６は、画像からの深度情報に少なくとも部分的に基づいて、３Ｄ画像１２２０といった３Ｄ画像を生成する場合がある。

【0077】

いくつかの実施形態では、ＢＩＡＴサブモジュール８３７は、例えば３Ｄ画像１２２０内の人物といった、３Ｄ画像内の任意の対象、物体、又は、造作物を識別する場合がある。例えば、ＢＩＡＴサブモジュール８３７は、３Ｄ画像１２２０を、記憶されたデータ（例えば、人物、及び／又は、ユーザの参照画像）と比較する場合がある。ＢＩＡＴサブモジュール８３７が３Ｄ画像１２２０と記憶されたデータとの間での一致を検出した場合、ＢＩＡＴサブモジュール８３７は、３Ｄ画像１２２０内の人物の身元を認証又は検証するか、又は、単に人物が３Ｄ画像１２２０内に存在すると決定する。これに応じて、深度情報に少なくとも部分的に基づく生体識別及び／又は認証を実行するために、ＢＩＡＴサブモジュール８３７が用いられる場合がある。

【0078】

いくつかの実施形態では、ＢＩＡＴサブモジュール８３７は、生体トラッキングを実行するように更に構成される場合がある。例えば、図１２を参照して、３Ｄ画像１２２０は、第１時刻にカメラによって撮影された２つの画像に対応し得る。ＢＩＡＴサブモジュール８３７は、３Ｄ画像１２２０内の人物の位置を決定し、次いで、その位置を、例えば、画像バッファ８３１に記憶する場合がある。次に、ＢＩＡＴサブモジュール８３７は、第２時刻にカメラによって撮影された２つの画像に基づく３Ｄ画像を受信する場合がある。ここで、第２時刻は、第１時刻に後続する。次に、ＢＩＡＴサブモジュール８３７は、第２時刻に対応する３Ｄ画像内の人物を識別及び／又は認証する場合がある。ＢＩＡＴサブモジュール８３７が、第２時刻に対応する３Ｄ画像内の人物が、第１時刻に対応する３Ｄ画像１２２０内の人物と同じであると決定した場合、ＢＩＡＴサブモジュール８３７は、第２時刻に対応する３Ｄ画像内の人物の位置を決定し、その位置を、例えば、画像バッファ８３１に記憶する場合がある。そして、ＢＩＡＴサブモジュール８３７は、時間の経過に伴う人物の位置又は動きをトラッキングするために、第１時刻及び第２時刻に対応する３Ｄ画像の記憶された位置を使用する場合がある。他の実施形態では、ＢＩＡＴサブモジュール８３７は、目、指、又は、手などの物体をトラッキングするように構成される場合があり、及び／又は、ＢＩＡＴサブモジュール８３７は、ジェスチャ認識及び／又は空中タッチを実行するように構成される場合がある。ＢＩＡＴサブモジュール８３７は、更に、心拍（すなわち、脈拍）又は血圧などの生体指標を識別及び／又は追跡するように構成され得る。

【0079】

いくつかの態様では、ＢＩＡＴサブモジュール８３７は、３Ｄ画像を記憶したデータと比較する前に、３Ｄ画像内の対象又は物体の距離を回転及び／又は変更することによって、より堅固な識別、認証、及び／又は、トラッキングを実行し得る。特定の認証アルゴリズムは、正確に分析するために、ユーザの顔を（例えば、カメラに直接向けるなど）カメラのＦＯＶのうち特定の方向や位置に配置することを必要とすることに留意されたい。そのため、図１２の３Ｄ画像１２２０を参照して、ＢＩＡＴサブモジュール８３７は、３Ｄ画像１２２０内の人の顔が、３Ｄ画像１２３０の方向のような望ましい方向（例えば、参照画像内の人の顔と同様の方向）に一致するように３Ｄ画像１２２０を回転させるように構成される場合がある。そして、ＢＩＡＴサブモジュール８３７は、（人の目、鼻、口、及び／又は、他の容易に識別可能な造作物の全体的な配置のような）３Ｄ画像１２３０内の特定のデータポイントを分析して、３Ｄ画像１２３０を記憶した参照画像と比較する場合がある。したがって、ＢＩＡＴサブモジュール８３７は、識別、認証、及び／又は、トラッキングをより効果的に実行し得る。

【0080】

なお、特定の撮影画像（例えば、不明瞭にされた、又は、フィルタリングされた画像）及び画像コンテンツ（例えば、３Ｄ画像又は識別された人物、物体、又は光景）は、図１、２、３Ａ－３Ｄ、４、５の、電子デバイス１００及び／又は２００のいずれか、及び／又は、電子システム３００Ａ－３００Ｄ、４００及び／又は５００のいずれかの内の安全なリポジトリ（例えば、信頼される環境）に記憶される場合がある。安全なリポジトリは、電子システムの他の部分から仮想的及び/又は物理的に分離されている場合があり、信頼される環境内にあるアプリケーション及び/又はハードウェアのみが安全なリポジトリに記憶されたデータにアクセスし得る。いくつかの態様では、安全なリポジトリは、少なくとも部分的に、メモリ８３０内に形成される場合がある。よって、特定の撮影画像と画像コンテンツは、メモリ８３０のうちの安全なリポジトリ内（例えば、画像バッファ８３１内）に記憶される場合がある。

【0081】

いくつかの実施形態では、ニューラルネットワークモデル８３３は、少なくとも部分的に、図１、２、３Ａ－３Ｄ、４、５の、電子デバイス１００及び／又は２００のいずれか、及び／又は、電子システム３００Ａ－３００Ｄ、４００及び／又は５００のいずれかの内の、信頼される環境内に存在し得る。ニューラルネットワークモデル８３３を信頼される環境内に置くことにより、ニューラルネットワークモデル８３３は、保護された撮影画像及び画像コンテンツによって（例えば、ＣＮＮを用いた）機械学習が実行可能となる。

【0082】

当業者は、様々な異なる任意のテクノロジー及び技術を用いて、情報及び信号が表し得ることを理解するであろう。例えば、上述の説明を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、及び、チップは、電圧、電流、電磁波、磁界又は粒子、光場又は粒子、あるいは、これらの任意の組合せによって表し得る。

【0083】

さらに、当業者は、本開示の態様に関連して説明された様々な例示的な論理ブロック、モジュール、回路、及び、アルゴリズムのステップが、電気的なハードウェア、コンピュータソフトウェア、又は、両者の組合せとして実装し得ることを理解しよう。このハードウェアとソフトウェアの交換可能性を明確に図示するために、例示的な様々なコンポーネント、ブロック、モジュール、回路、及び、ステップが、一般に、その機能の観点で上述のように説明されてきた。このような機能がハードウェア又はソフトウェアの何れで実装されるかは、システム全体に要求される特定のアプリケーションとデザイン上の制約に依存する。当業者は説明された機能を特定のアプリケーション毎に様々な方法で実装し得るが、そのような実装上の決定が、本開示の範囲からの逸脱を引き起こすと解釈されてはならない。

【0084】

本開示の態様に関連して説明された方法、手順、又はアルゴリズムは、ハードウェアにより直接的に、プロセッサによって実行されるソフトウェアモジュールにより、あるいは、両者の組合せにより、具体化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は、当技術分野において既知の他の形式の記憶媒体に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに接続される。あるいは、記憶媒体はプロセッサに統合されてもよい。

【0085】

前述の明細書では、その具体的な例を参照して実施形態が説明されてきた。しかしながら、添付の特許請求の範囲に提示されているように、本開示のより広い範囲を逸脱することなく、それらに対して様々な変形や変更が成し得ることは明らかであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で解釈される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】