特許 7413453 アンダーディスプレイカメラシステムとその操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-04

(45)【発行日】2024-01-15

(54)【発明の名称】アンダーディスプレイカメラシステムとその操作方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240105BHJP

   H04N 25/13 20230101ALI20240105BHJP

   H04N 25/70 20230101ALI20240105BHJP

   H04N 23/54 20230101ALI20240105BHJP

   H04N 23/55 20230101ALI20240105BHJP

【ＦＩ】

H04N23/60

H04N25/13

H04N25/70

H04N23/54

H04N23/55

【請求項の数】 12

(21)【出願番号】P 2022114659

(22)【出願日】2022-07-19

(65)【公開番号】P2023163105

(43)【公開日】2023-11-09

【審査請求日】2022-07-19

(31)【優先権主張番号】17/731,158

(32)【優先日】2022-04-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507296388

【氏名又は名称】采▲ぎょく▼科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】Ｎｏ．１２，Ｄｕｓｉｎｇ Ｒｄ．１， Ｈｓｉｎｃｈｕ Ｓｃｉｅｎｃｅ Ｐａｒｋ，Ｈｓｉｎ－Ｃｈｕ Ｃｉｔｙ，Ｔａｉｗａｎ

(74)【代理人】

【識別番号】100102532

【弁理士】

【氏名又は名称】好宮 幹夫

(74)【代理人】

【識別番号】100194881

【弁理士】

【氏名又は名称】小林 俊弘

(74)【代理人】

【識別番号】100215142

【弁理士】

【氏名又は名称】大塚 徹

(72)【発明者】

【氏名】王俊元

(72)【発明者】

【氏名】郭安立

(72)【発明者】

【氏名】郭信宏

(72)【発明者】

【氏名】塗宗儒

(72)【発明者】

【氏名】張育淇

(72)【発明者】

【氏名】呉翰林

(72)【発明者】

【氏名】蔡鴻仁

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２０２２－０４１８８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／００６７８８９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

生データを提供するように構成されたピクセルアレイであって、
前記ピクセルアレイは、複数の第１のフォトダイオードにそれぞれ配置され、前記生データに従って色情報を生成するように構成された複数のカラーフィルタ、および、
複数の第２のフォトダイオードにそれぞれ配置され、前記生データに従って第１の狭帯域情報を生成するように構成された複数の第１の狭帯域フィルタを含み、前記複数の第１の狭帯域フィルタの第１のスペクトル線幅は５ｎｍ～７０ｎｍの範囲である、ピクセルアレイと、
複数の回折パターンを格納するように構成された点像分布関数のデータベースユニットと、
前記ピクセルアレイから前記第１の狭帯域情報を受け取り、前記点像分布関数のデータベースユニットに電気的に接続され、前記点像分布関数のデータベースユニットによって提供される複数の回折パターンのうちの１つに基づいて、前記第１の狭帯域情報からエッジ情報を再構築するように構成された第１のモデルユニットと、
前記第１のモデルユニットおよび前記ピクセルアレイに電気的に接続され、前記エッジ情報を前記色情報と組み合わせることによって画像を取得するように構成された第２のモデルユニットと、
を備えることを特徴とするアンダーディスプレイカメラシステム。

【請求項2】

前記複数の第１の狭帯域フィルタは第１の単一波長に対応し、前記第１の単一波長は４００ｎｍ～１０００ｎｍの範囲にあり、前記複数のカラーフィルタのスペクトル線幅は１５０ｎｍ～２００ｎｍの範囲にあり、前記ピクセルアレイ内の前記複数の第１の狭帯域フィルタの面積率は６．２５％～２５％の範囲にあることを特徴とする請求項１に記載のアンダーディスプレイカメラシステム。

【請求項3】

前記複数の第１の狭帯域フィルタのうちの隣接する２つが併合し、前記複数の第１の狭帯域フィルタが前記複数のカラーフィルタに囲まれることを特徴とする請求項１に記載のアンダーディスプレイカメラシステム。

【請求項4】

前記複数の第１の狭帯域フィルタのそれぞれは、第１の部分と前記第１の部分上に配置された第２の部分を含み、前記第１の部分は前記複数のカラーフィルタのうちの１つと同じ第１のスペクトルに対応し、前記第２の部分は前記第１のスペクトルとは異なる第２のスペクトルに対応することを特徴とする請求項１に記載のアンダーディスプレイカメラシステム。

【請求項5】

前記ピクセルアレイはさらに、前記生データに従って第２の狭帯域情報を生成するように構成された複数の第２の狭帯域フィルタを含み、
前記第１のモデルユニットはさらに、前記複数の回折パターンのうちの別の１つに基づいて前記第２の狭帯域情報から前記エッジ情報を再構築し、前記複数の第２の狭帯域フィルタの第２のスペクトル線幅は５ｎｍ～７０ｎｍの範囲にあり、前記第１のスペクトル線幅とは異なることを特徴とする請求項１に記載のアンダーディスプレイカメラシステム。

【請求項6】

前記ピクセルアレイはさらに、前記生データに従って第２の狭帯域情報を生成するように構成された複数の第２の狭帯域フィルタを含み、
前記第１のモデルユニットはさらに、前記複数の回折パターンのうちの別の１つに基づいて前記第２の狭帯域情報から前記エッジ情報を再構築し、前記複数のカラーフィルタの１つは、前記複数の第１の狭帯域フィルタと前記複数の第２の狭帯域フィルタとの間に配置されることを特徴とする請求項１に記載のアンダーディスプレイカメラシステム。

【請求項7】

前記ピクセルアレイはさらに、前記生データに従って第２の狭帯域情報を生成するように構成された複数の第２の狭帯域フィルタを含み、
前記第１のモデルユニットはさらに、前記複数の回折パターンのうちの別の１つに基づいて前記第２の狭帯域情報から前記エッジ情報を再構築し、前記複数の第２の狭帯域フィルタは前記複数の第１の狭帯域フィルタに隣接し、前記複数の第２の狭帯域フィルタは前記複数のカラーフィルタに囲まれることを特徴とする請求項１に記載のアンダーディスプレイカメラシステム。

【請求項8】

ピクセルアレイにより生データを提供し、
前記ピクセルアレイの複数の第１のフォトダイオード上にそれぞれ配置された複数のカラーフィルタにより、前記生データに従って色情報を生成し、
前記ピクセルアレイの複数の第２のフォトダイオード上にそれぞれ配置された複数の第１の狭帯域フィルタにより、前記生データに従って第１の狭帯域情報を生成し、前記複数の第１の狭帯域フィルタのスペクトル線幅は５ｎｍ～７０ｎｍの範囲であり、
点像分布関数のデータベースユニットによって提供される複数の回折パターンのうちの１つに基づいて前記第１の狭帯域情報からエッジ情報を再構築し、
前記エッジ情報と前記色情報を組み合わせることにより画像を取得する、
ことを含むことを特徴とするアンダーディスプレイカメラシステムの操作方法。

【請求項9】

前記ピクセルアレイの複数の第２の狭帯域フィルタにより、前記生データに従って第２の狭帯域情報を生成し、
前記エッジ情報の再構築にはさらに、前記複数の回折パターンのうちの別の１つに基づいて前記第２の狭帯域情報から前記エッジ情報を再構築することを含むことを特徴とする請求項８に記載の方法。

【請求項10】

前記点像分布関数のデータベースユニットが、
ディスプレイをそれぞれ通過する複数の単一波長によって生成された前記複数の回折パターンのそれぞれにタグを付け、
前記複数の回折パターンを保存する、
ことにより構築されることを特徴とする請求項８に記載の方法。

【請求項11】

前記エッジ情報の再構築が第１のモデルユニットによって実行され、前記第１のモデルユニットを、
ディスプレイを通過する単一波長によって生成される第１の画像と、前記ディスプレイを通過する前記単一波長の回折情報を含む前記点像分布関数の式に関連する第２の画像と、および前記ディスプレイを通過させずに前記単一波長によって生成される第３の画像とを提供し、
前記第１の画像と前記第２の画像を組み合わせることによって第４の画像を再構築し、
前記第３の画像を前記第４の画像と比較し、
前記第４の画像が前記第３の画像と実質的に類似していない場合は、前記式のフィッティングパラメータを調整する、
ことにより訓練することを特徴とする請求項８に記載の方法。

【請求項12】

前記画像の取得が第２のモデルユニットによって実行され、前記第２のモデルユニットを、
前記第４の画像と、前記ディスプレイを通過する複数の波長によって生成される第５の画像と、前記ディスプレイを通過させずに前記複数の波長によって生成される第６の画像とを提供し、
前記第４の画像と前記第５の画像を組み合わせることによって第７の画像を再構築し、
前記第６の画像を前記第７の画像と比較する、
ことにより訓練することを特徴とする請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、アンダーディスプレイカメラシステム及びそのアンダーディスプレイカメラシステムの操作方法に関する。

【背景技術】

【0002】

一般に、アンダーディスプレイカメラシステムは、通常、ディスプレイと画像センサとを有し、ディスプレイは画像センサの上方に位置する。画像センサによって生成された画像は、光がディスプレイを通過するときに回折が問題を生じる。この回折の問題により、画像が強くぼやける。近年、点像分布関数（ＰＳＦ）と組み合わせたディープニューラルネットワークが、回折によってぼやけた画像を復元するために使用されている。この点像分布関数は、コヒーレント光（狭帯域光など）によって定義される。しかし、自然光はインコヒーレント（ｉｎｃｏｈｅｒｅｎｔ：不可干渉）である。そのため、点像分布関数の具体的な情報は、インコヒーレント光の波長の全てを合計すると失われるおそれがある。この失われた情報により、画像を復元するプロセスが困難になり、最終的にはアンダーディスプレイカメラシステムの解像度が低下する。したがって、失われた情報を見つけることは、より良い画像を復元することでアンダーディスプレイカメラシステムのパフォーマンスを向上させる可能性がある。

【発明の概要】

【0003】

コヒーレント光（狭帯域光など）は回折情報を維持できる。画像センサに狭帯域フィルタを追加すると、従来の画像センサで消失している狭帯域情報を検出する新たな機能を提供することができる。狭帯域情報は、画像のエッジ情報を再構築するため、モデルユニット（ディープニューラルネットワークなど）に送信される。画像の再構築されたエッジ情報は、画像を復元するため、カラーフィルタから導出された色情報と組み合わせるべく別のモデルユニット（ディープニューラルネットワークなど）に送信される。

【0004】

本開示の一態様は、アンダーディスプレイカメラシステムに関する。

【0005】

本開示の一実施形態によれば、アンダーディスプレイカメラシステムは、ピクセルアレイと、点像分布関数のデータベースユニットと、第１のモデルユニットと、第２のモデルユニットとを備える。ピクセルアレイは、生データを提供するように構成されている。ピクセルアレイは、複数のカラーフィルタおよび複数の第１の狭帯域フィルタを含む。複数のカラーフィルタは、それぞれ複数の第１のフォトダイオード上に配置され、生データに従って色情報を生成するように構成されている。複数の第１の狭帯域フィルタは、それぞれ複数の第２のフォトダイオード上に配置され、生データに従って第１の狭帯域情報を生成するように構成されている。複数の第１の狭帯域フィルタの第１のスペクトル線幅は、５ｎｍ～７０ｎｍの範囲にある。点像分布関数のデータベースユニットは、複数の回折パターンを格納するように構成されている。第１のモデルユニットは、ピクセルアレイから第１の狭帯域情報を受け取り、点像分布関数のデータベースユニットに電気的に接続されている。第１のモデルユニットは、点像分布関数のデータベースユニットによって提供される複数の回折パターンのうちの１つに基づいて、第１の狭帯域情報からエッジ情報を再構築するように構成されている。第２のモデルユニットは、第１のモデルユニットとピクセルアレイとに電気的に接続されている。第２のモデルユニットは、エッジ情報を色情報と組み合わせて画像を取得するように構成されている。

【0006】

本開示の一実施形態において、複数の第１の狭帯域フィルタは、第１の単一波長に対応し、かつ、第１の単一波長は、４００ｎｍ～１０００ｎｍの範囲にある。

【0007】

本開示の一実施形態において、複数のカラーフィルタのスペクトル線幅は、１５０ｎｍ～２００ｎｍの範囲にある。

【0008】

本開示の一実施形態において、ピクセルアレイ内の複数の第１の狭帯域フィルタの面積率は、６．２５％～２５％の範囲にある。

【0009】

本開示の一実施形態において、複数の第１の狭帯域フィルタのうちの隣接する２つが併合している。

【0010】

本開示の一実施形態において、複数の第１の狭帯域フィルタのそれぞれは、第１の部分と第１の部分上に配置された第２の部分を含む。

【0011】

本開示の一実施形態において、第１の部分は、複数のカラーフィルタのうちの１つと同じ第１のスペクトルに対応し、第２の部分は、第１のスペクトルとは異なる第２のスペクトルに対応する。

【0012】

本開示の一実施形態において、複数の第１の狭帯域フィルタは、複数のカラーフィルタで囲まれている。

【0013】

本開示の一実施形態において、ピクセルアレイはさらに、複数の第２の狭帯域フィルタを含む。複数の第２の狭帯域フィルタは、生データに従って第２の狭帯域情報を生成するように構成されている。第１のモデルユニットはさらに、複数の回折パターンのうちの別の１つに基づいて第２の狭帯域情報からエッジ情報を再構築する。

【0014】

本開示の一実施形態において、複数の第２の狭帯域フィルタの第２のスペクトル線幅は５ｎｍ～７０ｎｍの範囲にあり、第１のスペクトル線幅とは異なる。

【0015】

本開示の一実施形態において、複数のカラーフィルタの１つは、複数の第１の狭帯域フィルタと複数の第２の狭帯域フィルタとの間に配置される。

【0016】

本開示の一実施形態において、複数の第２の狭帯域フィルタは、複数の第１の狭帯域フィルタに隣接し、複数の第２の狭帯域フィルタは、複数のカラーフィルタに囲まれている。

【0017】

本開示の一実施形態において、ピクセルアレイにおける複数の第１の狭帯域フィルタの面積率は、ピクセルアレイにおける複数の第２の狭帯域フィルタの面積率と同じである。

【0018】

本開示の一実施形態において、アンダーディスプレイカメラシステムの操作方法は、以下を含む。ピクセルアレイにより生データを提供する。ピクセルアレイの複数の第１のフォトダイオード上にそれぞれ配置された複数のカラーフィルタにより、生データに従って色情報を生成する。ピクセルアレイの複数の第２のフォトダイオード上にそれぞれ配置された複数の第１の狭帯域フィルタにより、生データに従って第１の狭帯域情報を生成し、このときの複数の第１の狭帯域フィルタのスペクトル線幅が５ｎｍ～７０ｎｍの範囲である。点像分布関数のデータベースユニットによって提供される複数の回折パターンのうちの１つに基づいて、第１の狭帯域情報からエッジ情報を再構築する。エッジ情報と色情報を組み合わせて画像を取得する。

【0019】

本開示の一実施形態において、複数の第１の狭帯域フィルタは、複数の回折パターンのうちの１つと同じ波長に対応する。

【0020】

本開示の一実施形態において、この方法は、さらに、ピクセルアレイの複数の第２の狭帯域フィルタにより、生データに従って第２の狭帯域情報を生成することを含む。

【0021】

本開示の一実施形態において、エッジ情報を再構築することには、さらに、複数の回折パターンのうちの別の一つに基づいて第２の狭帯域情報からエッジ情報を再構築することを含む。

【0022】

本開示の一実施形態において、点像分布関数のデータベースユニットは、ディスプレイをそれぞれ通過する複数の単一波長によって生成された複数の回折パターンのそれぞれにタグを付け、複数の回折パターンを保存することによって構築される。

【0023】

本開示の一実施形態において、エッジ情報の再構築は、第１のモデルユニットによって実行され、第１のモデルユニットを、以下の方法によって訓練する。ディスプレイを通過する単一波長によって生成された第１の画像と、点像分布関数の式に関連する第２の画像と、ディスプレイを通過させずに単一波長によって生成される第３の画像とを提供し、第１の画像と第２の画像を組み合わせることによって第４の画像を再構築し、第３の画像を第４の画像と比較し、第４の画像が第３の画像と実質的に類似していない場合は式のフィッティングパラメータを調整する。

【0024】

本開示の一実施形態において、画像の取得は、第２のモデルユニットによって実行され、第２のモデルユニットを、以下の方法によって訓練する。第４の画像と、ディスプレイを通過する複数の波長によって生成される第５の画像と、ディスプレイを通過させずに複数の波長によって生成される第６の画像とを提供し、第４の画像と第５の画像を組み合わせることによって第７の画像を再構築し、第６の画像を第７の画像と比較する。

【0025】

本開示の上述の実施形態において、ピクセルアレイは、第１の狭帯域情報を生成するように構成された複数の第１の狭帯域フィルタを含む。第１のモデルユニットは、点像分布関数のデータベースユニットによって提供される複数の回折パターンの一つに基づいて、第１の狭帯域情報からエッジ情報を再構築できる。また、第２のモデルユニットは、画像を得るために複数のカラーフィルタによって提供される色情報とエッジ情報とを組み合わることができる。第１のモデルユニットと、複数の第１の狭帯域フィルタと、点像分布関数のデータベースユニットとの組み合わせによって回折の問題を解決することで、高い解像度の画像が得られる。その結果、アンダーディスプレイカメラシステムの性能が向上する。

【図面の簡単な説明】

【0026】

【図1】本開示の一実施形態によるアンダーディスプレイカメラシステムのブロック図である。

【図2A】本開示の一実施形態によるピクセルアレイの上面図である。

【図2B】図２Ａの線分２Ｂ－２Ｂに沿ったピクセルアレイの断面図である。

【図2C】本開示の他の実施形態によるピクセルアレイの上面図である。

【図2D】図２Ｃの線分２Ｄ－２Ｄに沿ったピクセルアレイの断面図である。

【図2E】本開示のいくつかの実施形態によるピクセルアレイの上面図である。

【図2F】本開示のいくつかの実施形態によるピクセルアレイの上面図である。

【図2G】本開示のいくつかの実施形態によるピクセルアレイの上面図である。

【図2H】本開示のいくつかの実施形態によるピクセルアレイの上面図である。

【図3A】本開示の他の実施形態によるピクセルアレイの上面図である。

【図3B】本開示の他の実施形態によるピクセルアレイの上面図である。

【図3C】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4A】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4B】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4C】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4D】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4E】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4F】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4G】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4H】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4I】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4J】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4K】本開示の他の実施形態によるピクセルアレイの上面図である。

【図4L】本開示の他の実施形態によるピクセルアレイの上面図である。

【図5】本開示の一実施形態によるアンダーディスプレイカメラシステムの操作方法のフローチャートである。

【図6】本開示の一実施形態による異なる波長に対応する回折パターンの原理を示す図である。

【図7】本開示の一実施形態による狭帯域光と広帯域光との間の回折パターンの違いを示す図である。

【図8】本開示の一実施形態によるアンダーディスプレイカメラシステムの操作に関する模式図である。

【図9】本開示の一実施形態によるデータベースユニットを構築する方法のフローチャートである。

【図10】本開示の一実施形態による第１のモデルユニットを訓練する方法のフローチャートである。

【図11】本開示の一実施形態による第２のモデルユニットを訓練する方法のフローチャートである。

【発明を実施するための形態】

【0027】

以下の開示は、提供された主題の異なる特徴を実施するための多くの異なる実施形態又は実施例を提供する。本開示を単純化するために構成要素および配置の具体例を以下に記載する。これらは、もちろん、単なる例であり、限定することを意図するものではない。加えて、本開示は、種々の実施例において参照番号および／または文字を繰り返してもよい。この繰り返しは、単純化および明瞭化を目的としており、それ自体では、説明される様々な実施形態および／または構成間の関係を示すものではない。

【0028】

上や下など（「下」、「下方」、「下部」、「上方」、「上部」、「前方」、「後方」など）の空間的に相対的な用語は、図に例示されるように、ある要素または構成と別の要素または構成との関係を記述するためのものであり、説明を容易にするために本明細書で使用され得る。空間的に相対的な用語は、図に描かれた向きに加えて、使用中または動作中の装置の異なる向きを包含することを意図する。装置は、他の方向を向いていてもよく（９０度または他の向きに回転してもよく）、本明細書で使用される空間的に相対的な記述子（ｄｅｓｃｒｉｐｔｏｒｓ）も同様に解されてもよい。

【0029】

図１は、本開示の一実施形態によるアンダーディスプレイカメラシステム１０のブロック図を示す。アンダーディスプレイカメラシステム１０は、ピクセルアレイ１００と、データベースユニット２００と、第１のモデルユニット３００と、第２のモデルユニット４００とを含む。ピクセルアレイ１００は、生データを提供するように構成されている。また、点像分布関数のデータベースユニット２００は、複数の回折パターンを保存するように構成されている。また、点像分布関数のデータベースユニット２００は、波長依存性が有り得る。例えば、点像分布関数は、ディスプレイを通過する単一波長の回折情報を含むことができる。また、点像分布関数のデータベースユニット２００は、研究室で訓練されることも有り得る。第１のモデルユニット３００は、ピクセルアレイ１００、データベースユニット２００及び第２のモデルユニット４００と電気的に接続されている。第１のモデルユニット３００は、ディープニューラルネットワーク（ＤＮＮ）であってもよい。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）や、その他の複数のタイプのニューラルネットワーク、および複数の最適化アルゴリズムと組み合わせることが考えられる。例えば、ニューラルネットワークは、回折によってぼやけた十分な数の画像と、対応する点像分布関数とを一緒に用いて訓練する必要がある。第２のモデルユニット４００は、ピクセルアレイ１００及び第１のモデルユニット３００と電気的に接続されている。第２のモデルユニット４００は、第１のモデルユニット３００とは異なる入力を有する別のディープニューラルネットワークであってもよい。

【0030】

図２Ａは、図１のピクセルアレイ１００の上面図を示す。図２Ｂは、図２Ａのピクセルアレイ１００の線分２Ｂ－２Ｂに沿った断面図を示す。図１、図２Ａ及び図２Ｂを参照して、ピクセルアレイ１００は、半導体基板１１０、複数の第１の狭帯域フィルタ１２２、複数のカラーフィルタ１２４、及びマイクロレンズ層１３０を備える。複数のカラーフィルタ１２４は、それぞれ複数の第１のフォトダイオード１１４上に配置され、生データに従って色情報を生成するように構成されている。例えば、複数のカラーフィルタ１２４は、異なる波長（赤色光、緑色光及び青色光の波長など）に対応してもよい。複数の第１の狭帯域フィルタ１２２は、それぞれ複数の第２のフォトダイオード１１２上に配置され、生データに従って第１の狭帯域情報を生成するように構成されている。複数のカラーフィルタ１２４のスペクトル線幅は、１５０ｎｍ～２００ｎｍの範囲にある。なお、複数の第１の狭帯域フィルタ１２２の第１のスペクトル線幅は、５ｎｍ～７０ｎｍの範囲にある。複数の第１の狭帯域フィルタ１２２は、第１の単一波長に対応し、かつ、第１の単一波長は、４００ｎｍから１０００ｎｍの範囲にある。第１の単一波長は、複数の回折パターンの一つに対応する波長と同じである。

【0031】

また、第１のモデルユニット３００は、ピクセルアレイ１００から第１の狭帯域情報を受信する。第１のモデルユニット３００は、点像分布関数のデータベースユニット２００によって提供される複数の回折パターンの一つに基づいて第１の狭帯域情報からエッジ情報を再構築するように構成されている。第２のモデルユニット４００は、エッジ情報と色情報とを組み合わせて画像を得るように構成されている。

【0032】

具体的には、ピクセルアレイ１００は、第１の狭帯域情報を生成するように構成された複数の第１の狭帯域フィルタ１２２を含む。第１のモデルユニット３００は、点像分布関数のデータベースユニット２００によって提供される複数の回折パターンの一つに基づいて、第１の狭帯域情報からエッジ情報を再構築し得る。また、画像を取得するために、第２のモデルユニット４００は、エッジ情報と、複数のカラーフィルタ１２４が提供する色情報とを組み合わせることができる。第１のモデルユニット３００と、複数の第１の狭帯域フィルタ１２２と、点像分布関数のデータベースユニット２００との組み合わせにより、回折の問題を解決し得るため、より高い解像度の画像が得られる。その結果、アンダーディスプレイカメラシステム１０の性能が向上する。

【0033】

マイクロレンズ層１３０は、ピクセルアレイ１００上に配置され、光Ｌを複数の第１の狭帯域フィルタ１２２及び複数のカラーフィルタ１２４に伝送するように構成されている。マイクロレンズ層１３０は、複数のマイクロレンズ１３４を含む。複数のマイクロレンズ１３４は、複数の第１の狭帯域フィルタ１２２及び複数のカラーフィルタ１２４と重なっている。グリッド１２５が、複数の第１狭帯域フィルタ１２２の１つと複数のカラーフィルタ１２４の１つとの間に位置している。いくつかの実施形態では、グリッド１２５は、複数のカラーフィルタ１２４の隣接する２つの間に位置してもよい。複数の第１の狭帯域フィルタ１２２の各々は、第１の部分１２１と、第１の部分１２１上に配置された第２の部分１２３とを含む。第１の部分１２１は、複数のカラーフィルタ１２４のうちの１つと同じ第１のスペクトルに対応し、第２の部分１２３は、第１のスペクトルとは異なる第２のスペクトルに対応する。

【0034】

また、もし第１の部分１２１の第１のスペクトルが緑色光の波長に対応し、第２の部分１２３の第２のスペクトルが赤色光の波長に対応する場合、複数の第１の狭帯域フィルタ１２２の第１のスペクトル線幅は４２ｎｍで有り得る。もし第１の部分１２１の第１のスペクトルが緑色光の波長に対応し、第２の部分１２３の第２のスペクトルが青色光の波長に対応する場合、複数の第１の狭帯域フィルタ１２２の第１のスペクトル線幅は５２ｎｍで有り得る。いくつかの実施形態では、ピクセルアレイ１００は、保護層１４０および遮蔽素子１５０をさらに含む。保護層１４０は、マイクロレンズ層１３０の上面１３２を覆う。遮蔽素子１５０は、複数の第１のフォトダイオード１１４と第２のフォトダイオード１１２からの干渉を回避するように構成されている。

【0035】

なお、前述の各要素の接続関係は繰り返さない。以下の説明では、他の種類のピクセルアレイについて説明する。

【0036】

図２Ｃは、本開示の他の実施形態に係るピクセルアレイ１００ａの上面図を示す。図２Ｄは、図２Ｃのピクセルアレイ１００ａの線分２Ｄ－２Ｄに沿った断面図を示す。図２Ｃ及び図２Ｄの両方を参照すると、ピクセルアレイ１００ａは、複数の第１の狭帯域フィルタ１２２の隣接する２つの間にグリッド１２５が無い点で、図２Ａ及び図２Ｂに示すピクセルアレイ１００と相違し、これにより、複数の第２のフォトダイオード１１２の光を吸収する効率を向上し得る。また、複数の第１の狭帯域フィルタ１２２の隣接する２つが併合している。

【0037】

図２Ｅ～図２Ｈは、本開示のいくつかの実施形態によるピクセルアレイの上面図を示す。図２Ｅを参照すると、ピクセルアレイ１００ｃはさらに、複数の第２の狭帯域フィルタ１２６を含む。複数の第２の狭帯域フィルタ１２６は、生データに従って第２の狭帯域情報を生成するように構成されている。第１のモデルユニット３００（図１参照）は、さらに、点像分布関数のデータベースユニット２００（図１参照）によって提供される複数の回折パターンのうちの別の１つに基づいて、第２の狭帯域情報からエッジ情報を再構築する。複数の第２の狭帯域フィルタ１２６は、第２の単一波長に対応し、かつ、第２の単一波長は、複数の回折パターンの他の１つに対応する波長と同じである。なお、複数の第２の狭帯域フィルタ１２６の第２のスペクトル線幅は５ｎｍ～７０ｎｍの範囲にあり、第１のスペクトル線幅とは異なる点に注意されたい。本実施形態では、複数のカラーフィルタ１２４のうちの１つは、複数の第１の狭帯域フィルタ１２２と複数の第２の狭帯域フィルタ１２６との間に位置している。図２Ｆを参照すると、ピクセルアレイ１００ｄは、複数の第２の狭帯域フィルタ１２６が複数の第１の狭帯域フィルタ１２２に隣接している点で、図２Ｅに示されたピクセルアレイ１００ｃと相違している。

【0038】

図２Ｇを参照すると、ピクセルアレイ１００ｅは８ｘ８アレイであり、ピクセルアレイ１００ｅにおける複数の第１の狭帯域フィルタ１２２の面積率は、ピクセルアレイ１００ｅにおける複数の第２の狭帯域フィルタ１２６の面積率と同じである。図２Ｈを参照すると、ピクセルアレイ１００ｆは、複数の第１の狭帯域フィルタ１２２の隣接する２つの間にグリッドが無い点、および複数の第２の狭帯域フィルタ１２６の隣接する２つの間にグリッドが無い点で、図２Ｇに示すピクセルアレイ１００ｅと相違している。また、複数の第１の狭帯域フィルタ１２２の隣接する２つが併合し、複数の第２の狭帯域フィルタ１２６の隣接する２つが併合している。

【0039】

図３Ａ～図３Ｃは、本開示の他の実施形態によるピクセルアレイの上面図を示す。図３Ａを参照すると、ピクセルアレイ３００ａは６ｘ６マトリックスであり、ピクセルアレイ３００ａにおける複数の第１の狭帯域フィルタ１２２の面積率は２５％である。図３Ｂを参照すると、ピクセルアレイ３００ｂは、複数の第１の狭帯域フィルタ１２２および複数のカラーフィルタ１２４を含む。本実施形態では、複数の第１の狭帯域フィルタ１２２は、複数のカラーフィルタ１２４に囲まれている。図３Ｃを参照すると、ピクセルアレイ３００ｃは、複数の第１の狭帯域フィルタ１２２の隣接する２つの間にグリッドが無い点で、図３Ｂに示すピクセルアレイ３００ｂと相違している。本実施形態では、ピクセルアレイ３００ｃにおける複数の第１の狭帯域フィルタ１２２の面積率は約１１％である。

【0040】

図４Ａ～図４Ｌは、本開示の他の実施形態によるピクセルアレイの上面図を示す。図４Ａを参照すると、図４Ａに示すピクセルアレイ４００ａは８ｘ８マトリックスであり、ピクセルアレイ４００ａにおける複数の第１の狭帯域フィルタ１２２の面積率は２５％である。図４Ｂを参照すると、ピクセルアレイ４００ｂは、複数の第１の狭帯域フィルタ１２２および複数の第２の狭帯域フィルタ１２６を含む。ピクセルアレイ４００ｂにおける複数の第１の狭帯域フィルタ１２２の面積率は、ピクセルアレイ４００ｂにおける複数の第２の狭帯域フィルタ１２６の面積率と同じである。

【0041】

図４Ｃを参照すると、ピクセルアレイ４００ｃは８ｘ８アレイであり、ピクセルアレイ４００ｃにおける複数の第１の狭帯域フィルタ１２２の面積率は約６．２５％である。図４Ｄを参照すると、ピクセルアレイ４００ｄは、複数の第１の狭帯域フィルタ１２２の隣接する２つの間にグリッドが無い点で、図４Ｃに示すピクセルアレイ４００ｃと相違している。

【0042】

図４Ｅを参照すると、ピクセルアレイ４００ｅは８ｘ８アレイであり、複数の第１の狭帯域フィルタ１２２は、複数のカラーフィルタ１２４に囲まれている。図４Ｆを参照すると、ピクセルアレイ４００ｆは、複数の第１の狭帯域フィルタ１２２の隣接する２つの間にグリッドが無い点で、図４Ｅに示すピクセルアレイ４００ｅと相違している。

【0043】

図４Ｇを参照すると、ピクセルアレイ４００ｇは８ｘ８アレイであり、複数の第１の狭帯域フィルタ１２２及び第２の狭帯域フィルタ１２６を含む。本実施形態では、複数の第１の狭帯域フィルタ１２２及び第２の狭帯域フィルタ１２６は、複数のカラーフィルタ１２４に囲まれている。図４Ｈを参照すると、ピクセルアレイ４００ｈは、複数の第１の狭帯域フィルタ１２２の隣接する２つの間にグリッドが無く、複数の第２の狭帯域フィルタ１２６の隣接する２つの間にグリッドが無い点で、図４Ｇに示すピクセルアレイ４００ｇと相違している。

【0044】

図４Ｉを参照すると、ピクセルアレイ４００ｉは、８ｘ８アレイであり、複数の第１の狭帯域フィルタ１２２を含む。本実施形態では、複数の第１の狭帯域フィルタ１２２は、複数のカラーフィルタ１２４に囲まれている。図４Ｊを参照すると、ピクセルアレイ４００ｊは、複数の第１の狭帯域フィルタ１２２の隣接する２つの間にグリッドが無い点で、図４Ｉに示すピクセルアレイ４００ｉと相違している。

【0045】

図４Ｋを参照すると、ピクセルアレイ４００ｋは８ｘ８アレイであり、複数の第１の狭帯域フィルタ１２２および第２の狭帯域フィルタ１２６を含む。本実施形態では、複数のカラーフィルタ１２４は、複数の第１の狭帯域フィルタ１２２と第２の狭帯域フィルタ１２６との間に位置している。複数の第１の狭帯域フィルタ１２２および第２の狭帯域フィルタ１２６が、複数のカラーフィルタ１２４に囲まれている。図４Ｌを参照すると、ピクセルアレイ４００ｌは、複数の第１の狭帯域フィルタ１２２の隣接する２つの間にグリッドが無く、かつ複数の第２の狭帯域フィルタ１２６の隣接する２つの間にグリッドが無い点で、図４Ｋに示すピクセルアレイ４００ｋと相違している。

【0046】

以下の説明では、アンダーディスプレイカメラの操作方法について説明する。

【0047】

図５は、本開示の一実施形態によるアンダーディスプレイカメラシステムの操作方法のフローチャートを示す。アンダーディスプレイカメラシステムの操作方法には、以下に概説するようなステップが含まれる。ステップ５１０では、ピクセルアレイによって生データを提供する。ステップ５２０では、ピクセルアレイの複数の第１のフォトダイオード上にそれぞれ配置された複数のカラーフィルタにより、生データに従って色情報を生成する。ステップ５３０では、ピクセルアレイの複数の第２のフォトダイオード上にそれぞれ配置された複数の第１の狭帯域フィルタにより、生データに従って第１の狭帯域情報を生成する。ここで複数の第１の狭帯域フィルタのスペクトル線幅は５ｎｍ～７０ｎｍの範囲である。ステップ５４０では、点像分布関数のデータベースユニットによって提供される複数の回折パターンのうちの１つに基づいて、第１の狭帯域情報からエッジ情報を再構築する。ステップ５５０では、エッジ情報と色情報とを組み合わせることにより画像を取得する。以下の説明において、前述のステップを詳細に説明する。

【0048】

図６は、本開示の一実施形態による、異なる波長に対応する回折パターンの原理を示す。図７は、本開示の一実施形態による、狭帯域光と広帯域光との回折パターンの違いを示す。図６と図７の両方を参照すると、回折によって画像の解像度が低下することは、画像復元における課題である。波長が異なると、図６に示すように同じ回折構造を用いたとしても、異なる回折パターンを生じ得る。例えば、光Ｌが孔Ｈを通過するとき、光Ｌは、赤色光と青色光に対応する異なる回折パターンを生成し得る。図７に狭帯域の回折パターンと広帯域の回折パターンの例を示す。全ての波長情報を合計すると、図７に示すように広帯域の回折パターンが生成される。広帯域の回折パターンでは、狭帯域の回折パターンと比較して、詳細情報が失われる。狭帯域の回折パターンには広帯域の回折パターンよりも多くの情報が含まれており、狭帯域の回折パターンは、全体的なパフォーマンスを向上させるため、より高い解像度で画像を復元することに役立つことができる。

【0049】

図８は、本開示の一実施形態によるアンダーディスプレイカメラシステムの操作に関する概略図を示す。図１、図２Ｂおよび図８を参照すると、第１のモデルユニット３００は、ディープニューラルネットワーク（ＤＮＮ）であってもよい。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）や、その他の複数のタイプのニューラルネットワーク、および複数の最適化アルゴリズムと組み合わせることが考えられる。第１のモデルユニット３００は、点像分布関数のデータベースユニット２００に電気的に接続されている。第２のモデルユニット４００は、ピクセルアレイ１００と第１のモデルユニット３００とに電気的に接続されている。

【0050】

ピクセルアレイ１００は、第１の狭帯域情報を生成するように構成された複数の第１の狭帯域フィルタ１２２を含む。第１のモデルユニット３００は、点像分布関数のデータベースユニット２００によって提供される複数の回折パターンのうちの１つに基づいて、第１の狭帯域情報からエッジ情報を再構築できる。いくつかの実施形態では、複数の第１の狭帯域フィルタ１２２は、複数の回折パターンのうちの１つと同じ波長に対応する。また、第２のモデルユニット４００は、画像を取得するために、エッジ情報と複数のカラーフィルタ１２４によって提供される色情報とを組み合わせることができる。第１のモデルユニット３００と、複数の第１の狭帯域フィルタ１２２と、点像分布関数のデータベースユニット２００との組み合わせにより回折の問題を解決することができるので、より高い解像度の画像が得られる。その結果、アンダーディスプレイカメラシステム１０の性能が向上する。

【0051】

この方法はさらに、図２Ｅに示すようにピクセルアレイ１００ｃの複数の第２の狭帯域フィルタ１２６により、生データに従って第２の狭帯域情報を生成することを含む。また、エッジ情報を再構築することは、さらに、複数の回折パターンのうちの別の１つに基づいて第２の狭帯域情報からエッジ情報を再構築することを含む。異なる回折パターンを、異なる波長に対応させることができる。第１の狭帯域情報と第２の狭帯域情報とを組み合わせることによって、第１のモデルユニット３００で、より高解像度でエッジ情報を生成することができる。

【0052】

図８及び図９の両方を参照すると、図９は、本開示の一実施形態によるデータベースユニット２００を構築する方法のフローチャートを示す。データベースユニット２００の構築方法は、以下に概説するようなステップを含む。ステップ９１０では、ディスプレイをそれぞれ通過する複数の単一波長によって生成された複数の回折パターンのそれぞれにタグを付ける。ステップ９２０では、複数の回折パターンを保存する。例えば、単一波長がディスプレイを通過すると、その単一波長によって生成された回折パターンが保存され、複数の回折パターンはそれぞれ複数の単一波長のそれぞれに対応する。さらに、複数の第１の狭帯域フィルタ１２２（図２Ａ参照）は、第１の単一波長に対応し、第１の単一波長は、複数の回折パターンのうちの１つに対応する波長と同じである。

【0053】

図８及び図１０の両方を参照すると、図１０は、本開示の一実施形態による第１のモデルユニット３００を訓練する方法のフローチャートを示す。いくつかの実施形態では、エッジ情報の再構築は、第１のモデルユニット３００によって実行される。第１のモデルユニット３００を訓練する方法は、以下に概説するようなステップを含む。ステップ１０１０では、ディスプレイを通過する単一波長によって生成される第１の画像と、点像分布関数の式に関連する第２の画像と、ディスプレイを通過させずに単一波長によって生成される第３の画像とを提供する。ステップ１０２０では、第１の画像と第２の画像とを組み合わせて第４の画像を再構築する。ステップ１０３０では、第３の画像を、第４の画像と比較する。ステップ１０４０では、第４の画像が第３の画像と実質的に類似していない場合は、式のフィッティングパラメータを調整する。第２の画像と組み合わされた第１の画像は、第１のモデルユニット３００の入力とみなすことができ、第４の画像は、第１のモデルユニット３００の出力とみなすことができる。第１のモデルユニット３００は、第１の画像と第２の画像とを結合し、第４の画像が第３の画像と実質的に類似していない場合には、式のフィッティングパラメータを調整することにより、第４の画像の再構築方法を学習することができる。

【0054】

図２Ａ、図８及び図１１を参照すると、図１１は、本開示の一実施形態による第２のモデルユニット４００を訓練する方法のフローチャートを示す。いくつかの実施形態では、画像の取得は、第２のモデルユニット４００によって行われる。第２のモデルユニット４００を訓練する方法は、以下に概説するようなステップを含む。ステップ１１１０では、第４の画像と、ディスプレイを通過する複数の波長によって生成される第５の画像と、ディスプレイを通過させずに複数の波長によって生成される第６の画像とを提供する。ステップ１１２０では、第４の画像と第５の画像とを組み合わせて第７の画像を再構築する。ステップ１１３０では、第６の画像を、第７の画像と比較する。第２のモデルユニット４００は、第１のモデルユニット３００とは異なる入力と出力を有する。例えば、第１のモデルユニット３００の入力は、データベースユニット２００によって提供される複数の回折パターンのうちの１つと、複数の第１の狭帯域フィルタ１２２によって提供される第１の狭帯域情報である。第２のモデルユニット４００の入力は、第１のモデルユニット３００によって供給されるエッジ情報と、複数のカラーフィルタ１２４によって提供される色情報である。第５の画像は、色情報を含んでいてもよく、第４の画像は、エッジ情報を含んでいてもよい。第２のモデルユニット４００は、エッジ情報と色情報を組み合わせて第７の画像を再構築し、第６の画像と第７の画像とを比較することにより、画像の復元方法を学習することができる。

【0055】

以上のように、ピクセルアレイは、第１の狭帯域情報を生成するように構成された複数の第１の狭帯域フィルタを含む。複数の第１の狭帯域フィルタのスペクトル線幅は、５ｎｍ～７０ｎｍの範囲である。第１のモデルユニットは、点像分布関数のデータベースユニットによって提供される複数の回折パターンのうちの１つに基づいて、第１の狭帯域情報からエッジ情報を再構築できる。また、第２のモデルユニットは、画像を取得するために、エッジ情報と、複数のカラーフィルタによって提供される色情報とを組み合わせることができる。第１のモデルユニットと、複数の第１の狭帯域フィルタと、点像分布関数のデータベースユニットとの組み合わせにより、回折の問題を解決し得るため、より高い解像度の画像を取得できる。その結果、アンダーディスプレイカメラシステムの性能が向上する。

【0056】

上記は、当業者が本開示の態様をよりよく理解し得るように、いくつかの実施形態の特徴を概説している。当業者は、本明細書で紹介した実施形態の同じ目的を実行し、かつ／または同じ利点を達成するために、他のプロセスおよび構造を設計または修正するための基礎として、本開示を容易に使用し得ることを理解すべきである。当業者はまた、そのような同等の構成が本開示の精神および範囲から逸脱しないこと、および同業者が本開示の精神および範囲から逸脱することなく、様々な変更、置換、および変更を行い得ることを認識すべきである。

【符号の説明】

【0057】

１０ アンダーディスプレイカメラシステム
１００、１００ａ、１００ｃ、１００ｄ、１００ｅ、１００ｆ、３００ａ、３００ｂ、３００ｃ、４００ａ、４００ｂ、４００ｃ、４００ｄ、４００ｅ、４００ｆ、４００ｇ、４００ｈ、４００ｉ、４００ｊ、４００ｋ、４００ｌ ピクセルアレイ
１１２ 第２のフォトダイオード
１１４ 第１のフォトダイオード
１２１ 第１の部分
１２２ 第１の狭帯域フィルタ
１２３ 第２の部分
１２４ カラーフィルタ
１２６ 第２の狭帯域フィルタ
２００ データベースユニット
３００ 第１のモデルユニット
４００ 第２のモデルユニット
５１０、５２０、５３０、５４０、５５０、９１０、９２０、１０１０、１０２０、１０３０、１０４０、１１１０、１１２０、１１３０ ステップ

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図2H】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図4G】

【図4H】

【図4I】

【図4J】

【図4K】

【図4L】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】