特表 2024-530635 カラー画像用のメタレンズを組み込んだマルチチャネル高解像度撮像デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-23

(54)【発明の名称】カラー画像用のメタレンズを組み込んだマルチチャネル高解像度撮像デバイス

(51)【国際特許分類】

   H04N 23/12 20230101AFI20240816BHJP

   G01J 3/36 20060101ALI20240816BHJP

   G01J 3/51 20060101ALI20240816BHJP

   G01J 3/26 20060101ALI20240816BHJP

   G03B 15/00 20210101ALI20240816BHJP

【ＦＩ】

H04N23/12

G01J3/36

G01J3/51

G01J3/26

G03B15/00 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024506510

(86)(22)【出願日】2022-07-29

(85)【翻訳文提出日】2024-03-26

(86)【国際出願番号】 EP2022071474

(87)【国際公開番号】W WO2023012078

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】63/228,327

(32)【優先日】2021-08-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522359833

【氏名又は名称】ニル・テクノロジー・アンパルトセルスカブ

【氏名又は名称原語表記】ＮＩＬ ＴＥＣＨＮＯＬＯＧＹ ＡＰＳ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】アイラートセン，ジェイムズ

(72)【発明者】

【氏名】ヨハンセン，ビラーズ・エジド

(72)【発明者】

【氏名】マティンソン，フレドリク

(72)【発明者】

【氏名】フランソワ，オリビエ

(72)【発明者】

【氏名】クアーデ，ウルリヒ

【テーマコード（参考）】

2G020

【Ｆターム（参考）】

2G020CB43

2G020CC26

2G020CC63

2G020CD04

2G020CD06

2G020CD24

2G020CD33

2G020CD37

(57)【要約】

装置は、いくつかの実装形態では、少なくとも１つの画像センサと、複数のメタレンズと、読出しおよび処理回路とを備える。少なくとも１つの画像センサはピクセルアレイを含み、ピクセルアレイの各々は、それぞれの色の入射光線を検出するように構成された複数の光チャネルのうちの異なる１つとそれぞれ関連付けられる。光チャネルごとの色は、他の光チャネルのうちの少なくとも１つの色と異なる。メタレンズの各々は、光チャネルのうちの異なる１つにそれぞれ配置され、ピクセルアレイのうちの異なる１つに入射光線をそれぞれ集束させるように構成される。読出しおよび処理回路は、ピクセルアレイから信号を読み出し、光チャネルの各々についてそれぞれの低解像度画像を生成し、低解像度画像を処理して高解像度マルチカラー画像を取得するように動作可能である。動作の方法も同様に記載される。

【特許請求の範囲】

【請求項1】

複数のピクセルアレイを含む少なくとも１つの画像センサであって、前記ピクセルアレイの各々が、それぞれの色の入射光線を検出するように構成された複数の光チャネルのうちの異なる１つとそれぞれ関連付けられ、光チャネルごとの前記色が、前記他の光チャネルのうちの少なくとも１つの色とは異なる、画像センサと、
複数のメタレンズの各々が前記複数の光チャネルのうちの異なる１つにそれぞれ配置され、前記ピクセルアレイのうちの異なる１つに入射光線をそれぞれ集束させるように構成された複数のメタレンズと、
前記複数のピクセルアレイから信号を読み出し、前記光チャネルの各々についてそれぞれの低解像度画像を生成し、前記低解像度画像を処理して高解像度マルチカラー画像を取得するように動作可能な読出しおよび処理回路と
を備える、装置。

【請求項2】

前記複数のメタレンズの各々が、異なるそれぞれの波長の、または異なるそれぞれの波長範囲内にある入射光線を前記ピクセルアレイのうちのそれぞれの１つに集束させるように構成される、請求項１に記載の装置。

【請求項3】

前記複数の光チャネルのうちの各特定の１つが、前記特定のチャネルに関連付けられたそれぞれの色の入射光線が通過するのを可能にするように構成されたそれぞれの光学フィルタを含む、請求項１～２のいずれか１項に記載の装置。

【請求項4】

前記光学フィルタの各々が、前記画像センサと前記メタレンズのうちの異なるそれぞれの１つとの間に配置される、請求項３に記載の装置。

【請求項5】

前記光学フィルタの各々が、前記メタレンズのうちの異なるそれぞれの１つの上に配置される、請求項３に記載の装置。

【請求項6】

前記ピクセルアレイの各々がシーンの画像を取得するように動作可能であり、前記ピクセルアレイのうちの第１のピクセルアレイによって取得された前記画像には、前記ピクセルアレイのうちの第２のピクセルアレイによって取得された前記画像に対してサブピクセルシフトが存在する、請求項１～５のいずれか１項に記載の装置。

【請求項7】

前記少なくとも１つの画像センサが複数の画像センサを含み、それらの各々が前記ピクセルアレイのうちの異なるそれぞれの１つを含む、請求項１～６のいずれか１項に記載の装置。

【請求項8】

前記少なくとも１つの画像センサが、前記ピクセルアレイの各々を含む単一の画像センサである、請求項１～７のいずれか１項に記載の装置。

【請求項9】

それぞれ、赤色光、緑色光、および青色光の波長に関連付けられた少なくとも３つの光チャネルを含む、請求項１～８のいずれか１項に記載の装置。

【請求項10】

前記読出しおよび処理回路が、超解像プロトコルを使用して、前記低解像度画像を処理して高解像度マルチカラー画像を取得するように動作可能である、請求項１～９のいずれか１項に記載の装置。

【請求項11】

撮像デバイスの異なるそれぞれの光チャネルに関連付けられた複数のピクセルアレイの各々により、シーンのそれぞれの低解像度画像を取得することであって、前記低解像度画像の各々が、前記光チャネルのうちのそれぞれの１つの中のそれぞれのメタレンズを通過する光線に基づき、前記光チャネルの各々が異なる色の光に対してそれぞれ構成される、取得することと、
前記取得された低解像度画像を表す信号を前記ピクセルアレイから読み出すことと、
超解像プロトコルを使用して、前記低解像度画像に基づいて前記シーンの高解像度マルチカラー画像を取得することと
を含む、方法。

【請求項12】

前記高解像度マルチカラー画像をコンピューティングデバイスの表示画面上に表示することを含む、請求項１１に記載の方法。

【請求項13】

前記高解像度マルチカラー画像をスマートフォンの表示画面上に表示することを含む、請求項１１に記載の方法。

【請求項14】

前記複数のメタレンズの各それぞれの１つが、異なるそれぞれの波長の、または異なるそれぞれの波長範囲内にある入射光線を前記ピクセルアレイのうちのそれぞれの１つに集束させる、請求項１１～１３のいずれか１項に記載の方法。

【請求項15】

前記メタレンズの各々が、前記それぞれの波長に対応する固定周波数で共振するように配置されたメタ原子を含む、請求項１４に記載の方法。

【請求項16】

前記ピクセルアレイのうちの第１のピクセルアレイによって取得された前記低解像度画像には、前記ピクセルアレイのうちの別のピクセルアレイによって取得された前記低解像度画像に対するサブピクセルシフトが存在する、請求項１１～１５のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示分野
本開示は、マルチチャネル撮像デバイスに関する。

【背景技術】

【0002】

背景
マルチチャネル撮像デバイスは、画像センサを使用して画像を取得することができる。例えば、画像デバイスの一端にある開口部を通って入射する光は、受信された光の検知に応答して信号を生成するピクセルを含む１つまたは複数の画像センサに向けられる。撮像デバイスは、スマートフォンなどのハンドヘルド電子デバイスまたは他のポータブル電子デバイスに組み込まれることがある。しかしながら、そのようなポータブルデバイス内のスペースは貴重であることが多い。したがって、撮像デバイスのサイズまたは寸法を縮小することは、そのような用途にとって重要であり得る。

【発明の概要】

【課題を解決するための手段】

【0003】

概要
本開示は、メタレンズを組み込んだマルチチャネル高解像度撮像デバイスを記載する。

【0004】

一態様では、例えば、本開示は、少なくとも１つの画像センサと、複数のメタレンズと、読出しおよび処理回路とを備える装置を記載する。少なくとも１つの画像センサはピクセルアレイを含み、ピクセルアレイの各々は、それぞれの色の入射光線を検出するように構成された複数の光チャネルのうちの異なる１つとそれぞれ関連付けられる。光チャネルごとの色は、他の光チャネルのうちの少なくとも１つの色と異なる。メタレンズの各々は、光チャネルのうちの異なる１つにそれぞれ配置され、ピクセルアレイのうちの異なる１つに入射光線をそれぞれ集束させるように構成される。読出しおよび処理回路は、ピクセルアレイから信号を読み出し、光チャネルの各々についてそれぞれの低解像度画像を生成し、低解像度画像を処理して高解像度マルチカラー画像を取得するように動作可能である。

【0005】

いくつかの実装形態は、以下の特徴のうちの１つまたは複数を含む。例えば、場合によっては、メタレンズの各々は、異なるそれぞれの波長の、または異なるそれぞれの波長範囲内にある入射光線をピクセルアレイのそれぞれの１つに集束させるように構成される。場合によっては、光チャネルのうちの各特定の１つは、特定のチャネルに関連付けられたそれぞれの色の入射光線が通過するのを可能にするように構成されたそれぞれの光学フィルタを含む。場合によっては、光学フィルタの各々は、画像センサとメタレンズのうちの異なるそれぞれの１つとの間に配置されるが、場合によっては、光学フィルタの各々は、メタレンズのうちの異なるそれぞれの１つの上に配置される。

【0006】

いくつかの実装形態では、ピクセルアレイの各々は、シーンの画像を取得するように動作可能であり、ピクセルアレイのうちの第１のピクセルアレイによって取得された画像には、ピクセルアレイのうちの第２のピクセルアレイによって取得された画像に対してサブピクセルシフトが存在する。いくつかの実装形態では、少なくとも１つの画像センサは複数の画像センサを含み、それらの各々はピクセルアレイのうちの異なるそれぞれの１つを含む。場合によっては、少なくとも１つの画像センサは、ピクセルアレイの各々を含む単一の画像センサである。いくつかの実装形態では、装置は、それぞれ、赤色光、緑色光、および青色光の波長に関連付けられた少なくとも３つの光チャネルを含む。

【0007】

いくつかの実装形態では、読出しおよび処理回路は、超解像プロトコルを使用して、低解像度画像を処理して高解像度マルチカラー画像を取得するように動作可能である。

【0008】

本開示はまた、撮像デバイスの異なるそれぞれの光チャネルに関連付けられた複数のピクセルアレイの各々により、シーンのそれぞれの低解像度画像を取得することを含む方法を記載する。低解像度画像の各々は、光チャネルのうちのそれぞれの１つの中のそれぞれのメタレンズを通過する光線に基づき、光チャネルの各々は異なる色の光に対してそれぞれ構成される。方法は、取得された低解像度画像を表す信号をピクセルアレイから読み出すことと、超解像プロトコルを使用して、低解像度画像に基づいてシーンの高解像度マルチカラー画像を取得することと、を含む。

【0009】

いくつかの実装形態は、以下の特徴のうちの１つまたは複数を含む。例えば、場合によっては、方法は、高解像度マルチカラー画像をコンピューティングデバイスの表示画面（例えば、スマートフォンの表示画面）上に表示することを含む。

【0010】

いくつかの実装形態は、メタレンズのうちの各それぞれの１つは、異なるそれぞれの波長の、または異なるそれぞれの波長範囲内にある入射光線をピクセルアレイのうちのそれぞれの１つに集束させる。場合によっては、メタレンズの各々は、それぞれの波長に対応する固定周波数で共振するように配置されたメタ原子を含む。場合によっては、ピクセルアレイのうちの第１のピクセルアレイによって取得された低解像度画像には、ピクセルアレイのうちの別のピクセルアレイによって取得された低解像度画像に対するサブピクセルシフトが存在する。

【0011】

いくつかの実装形態は、以下の利点のうちの１つまたは複数を含む。例えば、メタレンズを使用することは、それらが比較的平坦、超薄、軽量、および／またはコンパクトであり得るので有利であり得る。さらに、少なくともいくつかの実装形態では、色収差を低減するために垂直スタックに配置された一連のメタレンズを使用せずにカラー画像を取得することができる。したがって、本開示に記載されたメタレンズを使用することは、撮像デバイスの総トラック長（TTL）を短縮するのに役立つことができる。さらに、いくつかの実装形態では、メタレンズは、高解像度マルチカラー画像が取得されることを可能にする方法で、１つまたは複数の比較的低コストの低解像度画像センサと組み合わせて使用することができる。

【0012】

１つまたは複数の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の態様、特徴、および利点は、以下の詳細な説明、添付の図面、および特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0013】

【図1】マルチチャネル撮像デバイスの第１の例を示す図である。

【図1A】マルチチャネル撮像デバイスの上面図である。

【図2】撮像デバイスの第２の例を示す図である。

【図3】撮像デバイスの第３の例を示す図である。

【図4】撮像デバイスの第４の例を示す図である。

【図5】図１～図４の撮像デバイスの動作のための例示的な方法のフローチャートである。

【発明を実施するための形態】

【0014】

詳細な説明
図１の例に示されたように、マルチチャネル撮像デバイス１００は、異なるチャネルに関連付けられ、１つまたは複数の画像センサの一部であるそれぞれのピクセルアレイ１０２A、１０２Bによって画像を取り込むように動作可能である。図１には２つの光チャネル１０６A、１０６Bのみが示されているが、デバイス１００はより多数のチャネルを含むことができる。例えば、図１Ａに示されたように、４つの光チャネル１０６A、１０６B、１０６C、１０６Dが存在してもよく、それらの各々はそれに関連付けられたそれぞれのピクセルアレイを有する。

【0015】

図示された例では、単一の画像センサ１０４が示され、光チャネルの各々のためのピクセルアレイを含む。いくつかの実装形態では、各ピクセルアレイ（例えば、１０２A、１０２B）は、単一のより大きい画像センサではなく、異なるそれぞれの小さい画像センサの一部である。いずれにしても、各画像センサは、例えば、比較的低コストで低解像度のCCD（charge-coupled device、電荷結合素子）画像センサまたはCMOS（complementary metal-oxide-semiconductor、相補型金属酸化膜半導体）画像センサとして実装することができる。すなわち、より高価な高解像度画像センサを採用することができるが、そうする必要はない。

【0016】

各光チャネルは、それぞれの特定の波長またはそれぞれの特定の波長範囲の入射光線を検出するように構成される。チャネルごとに、ピクセルアレイ１０２A、１０２Bのうちのそれぞれ１つに入射光線を集束させるために、それぞれのメタレンズが設けられる。すなわち、第１のメタレンズ１０８Aは、第１のピクセルアレイ１０２Aを含む画像センサ１０４の第１の部分の上に配置され、第２のメタレンズ１０８Bは、第２のピクセルアレイ１０２Bを含む画像センサ１０４の第２の部分の上に配置される。３つ以上のチャネルが存在する場合、それぞれのメタレンズは、ピクセルアレイの各々の上に配置することができる。

【0017】

各メタレンズ１０８A、１０８Bはメタ表面を有し、メタ表面は、特定の方法で光と相互作用するように配置された分散小構造（例えば、メタ原子）を有する表面を指す。例えば、メタ構造と呼ばれる場合もあるメタ表面は、ナノ構造の分散アレイを有する表面であり得る。ナノ構造は、入射光波の局所振幅、局所位相、またはその両方を変化させるように、光波と個別的にまたは集合的に相互作用するように構成される。

【0018】

メタ原子（例えば、ナノ構造）は、比較的鋭角の帯域幅を有する固定周波数で共振するメタレンズとして作用するように配置することができる。すなわち、メタ原子の寸法（例えば、直径および長さ）、形状、ならびに材料は、特定のスポットに入射波を集束させるように、特定の波長の入射波に位相遅延を誘発するように設計することができる。メタレンズ１０８A、１０８Bの各々は、異なる特定の波長または狭帯域の波長に対して構成することができる。例えば、いくつかの実装形態では、メタレンズ１０８A、１０８Bの各々は、スペクトルの可視部分の異なるそれぞれの波長または狭帯域の波長に対して構成され、ピクセルアレイのうちのそれぞれの１つに入射光線を集束させるように構成される。したがって、例えば、第１のチャネル１０６A内のメタレンズ１０８Aのうちの第１のメタレンズは、可視スペクトルの第１の部分（例えば、赤色）に対して構成することができ、可視スペクトルの第１の部分の入射光線を第１のピクセルアレイ１０２A上に集束させるように構成することができる。第２のチャネル１０６B内のメタレンズ１０８Bのうちの第２のメタレンズは、可視スペクトルの異なる第２の部分（例えば、緑色）に対して構成することができ、可視スペクトルの第２の部分の入射光線を第２のピクセルアレイ１０２B上に集束させるように構成することができる。他のチャネル（例えば、１０６C、１０６D）も同様に、スペクトルの可視部分のそれぞれの波長または狭帯域の波長に対して構成されたメタレンズを含むことができ、スペクトルの特定の部分の入射光線を特定のチャネルに関連付けられたそれぞれのピクセルアレイに集束させるように構成することができる。

【0019】

いくつかの実装形態では、デバイス１００は、それぞれ、赤色、緑色、青色、および緑色の光向けに設計された４つの光チャネル１０６A～１０６Dを含む。チャネルは、光の色の他の組合せ向けに設計されてもよく、場合によっては、チャネルのうちの少なくとも１つは、非可視光（例えば、赤外線）向けに構成することができる。いずれにしても、メタレンズの各々は、それぞれの特定の波長の入射光線、または特定の波長を中心とする波長のそれぞれの特定の（例えば、狭い）範囲内にある入射光線を、ピクセルアレイのうちのそれぞれの１つに集束させるように構成することができる。

【0020】

メタレンズ１０８A、１０８Bは、例えば、ガラスまたは他の基板１１０によって支持することができる。図１の例は、基板１１０の上面にメタレンズ１０８A、１０８Bを示しているが、場合によっては、メタレンズは、図２に示されたように、基板１１０の下面に配置される。場合によっては、メタレンズは、基板１１０の両側に配置されてもよい。

【0021】

上述されたように、光チャネルの各々は、少なくとも１つの他のチャネルによって取得された画像の色とは異なる特定の色の実質的に単色の画像を取得するように構成される。詳細には、第１のピクセルアレイ１０２Aは、第１の光チャネル１０６Aを通過する光線に基づいて画像を取り込むことができ、第２のピクセルアレイ１０２Bは、第２の光チャネル１０６Bを通過する光線に基づいて画像を取り込むことができる。同様に、デバイス１００がさらなるチャネル（例えば、１０６Cおよび１０６D）を含む場合、第３のピクセルアレイは、第３の光チャネル１０６Cを通過する光線に基づいて画像を取り込むことができ、第４のピクセルアレイは、第４の光チャネル１０６Dを通過する光線に基づいて画像を取り込むことができる。さらに、各ピクセルアレイは、他のピクセルアレイの視点とわずかに異なる視点からシーンの画像を取得するように動作可能である。すなわち、ピクセルアレイのうちの特定の１つによって取得されたシーンの画像は、他のピクセルアレイによって取得された同じシーンの画像とは若干異なる。視点のわずかな違いは、ピクセルアレイによって取得されたシーンの画像の小さいシフト（すなわち、「動き」と呼ばれることがある）をもたらす。シフトのサイズは、例えば、サブピクセルであってもよい。

【0022】

一方、本明細書に記載されたように撮像デバイスにメタレンズを導入することは、メタレンズが、一般に、比較的大きい色収差を示すことが知られており、メタレンズが、通常、比較的小さい画像を生成し、それらは、場合によっては、標準的な画像センサのアクティブ領域全体を使用することを困難にするので、常識に反する。それにもかかわらず、各メタレンズを画像センサの全ピクセルの一部分のみを包含する光チャネルと関連付け、単一の波長または比較的狭い帯域の波長に対して撮像デバイス内の光チャネルの各々を構成することにより、撮像デバイス１００は、メタレンズが提供することができる利点を利用することができる。詳細には、撮像デバイス１００において他のタイプのレンズ（例えば、屈折レンズ）ではなくメタレンズ１０８A、１０８Bを使用することは、メタレンズが比較的平坦、超薄、軽量、およびコンパクトであり得るので、有利であり得る。さらに、以下で説明されるように、色収差を低減するために垂直スタックに配置された一連のメタレンズを使用せずにカラー画像を取得することができる。したがって、メタレンズを使用することは、撮像デバイス１００の総トラック長（TTL）またはz軸高さを短縮するのに役立つことができる。さらに、以下で説明されるように、メタレンズは、比較的高解像度のカラー画像が取得されることを可能にする方法で、１つまたは複数の比較的低コストの低解像度画像センサ１０４と組み合わせて使用することができる。

【0023】

場合によっては、光チャネルの各々に光学フィルタを含めることが有益であり得る。フィルタは、存在する可能性がある光学ノイズを除去または低減するのに役立つことができる。例えば、チャネル１０６Aが赤色放射を検出するように設計されている場合、図３に示されたように、赤色フィルタ１２０Aをチャネルに含めることができる。同様に、チャネル１０６Bが緑色放射を検出するように設計されている場合、緑色フィルタ１２０Bをチャネルに含めることができる。いくつかのチャネルは、スペクトルの可視部分の別の一部（例えば、青色）またはスペクトルの非可視部分（例えば、赤外線）向けに設計された色フィルタを含む場合がある。図３は、画像センサ１０４上、すなわち、画像センサ１０４とメタレンズ１０８A、１０８Bとの間に配置されているフィルタ１２０A、１２０Bを示す。いくつかの実装形態では、フィルタ１２０A、１２０Bは、図４に示されたように、メタレンズ１０８A、１０８Bの上に配置することができる。

【0024】

撮像デバイス１００は、１つまたは複数の物体を含むシーン１１２の画像を取得するように画像センサ１０４を制御するように動作可能な制御回路１１１（例えば、ロジック）を含むことができる。いくつかの実装形態では、制御回路１１１は、ユーザ入力に応答する場合がある（例えば、ユーザは、制御回路に結合されたスマートフォンまたは他のコンピューティングデバイスのユーザインターフェースと対話するか、またはそうでない場合入力を提供する）。

【0025】

撮像デバイス１００はまた、例えば、マイクロプロセッサと、マイクロプロセッサによる実行のための命令を記憶する１つまたは複数の関連するメモリとを含むことができる読出しおよび処理回路１１４を含むことができる。制御回路１１１は、例えば、ピクセル信号を読み出すためのタイミング信号および制御信号を提供するために、読出しおよび処理回路１１４に結合することができる。したがって、撮像デバイス１００の様々なチャネル１０６A、１０６B内のピクセルアレイ１０２A、１０２Bからの信号は、例えば、適切なデジタルロジックならびに／または他のハードウェア構成要素（例えば、読出しレジスタ、増幅器、アナログデジタル変換器、クロックドライバ、タイミングロジック、および／もしくは信号処理回路）を有する１つまたは複数の半導体チップ内の１つまたは複数の集積回路を含むことができる読出しおよび処理回路１１４によって読み出すことができる。

【0026】

実装形態に応じて、読出し回路は、例えば、ピクセルごとにアクティブなMOS読出し増幅器を含むことができる。いくつかの実装形態では、読出し回路は、相関二重サンプリング（CDS：correlated double sampling）を実現するためにピクセル内増幅器とともにピクセル内電荷転送のために動作可能である。読出し回路は、場合によっては、行および列の選択を有するソースフォロアまたは電荷増幅器を含むことができる。場合によっては、読出し回路は、デジタル読出し集積回路（DROIC：digital readout integrated circuit）またはデジタルピクセル読出し集積回路（DPROIC：digital pixel readout integrated circuit）を含む。場合によっては、ピクセルは復調ピクセルである。いくつかの実装形態では、他のピクセル読出し回路を使用することができる。

【0027】

読出しおよび処理回路１１４は、ピクセル信号を処理し、例えば、チャネルごとに小さい低解像度画像（例えば、１１３A、１１３B）を生成するように動作可能である。したがって、読出しおよび処理回路１１４は、ピクセルアレイ（例えば、１０２A、１０２B）内のピクセルの各々から信号を読み出すように動作可能であり、ピクセルアレイのうちの特定の１つの中のピクセルからの信号は、シーン１１２の比較的小さい低解像度画像に対応する。

【0028】

読出しおよび処理回路１１４はまた、例えば、超解像プロトコル１１５を使用して、低解像度画像を処理して高解像度単色画像１１８を取得するように動作可能である。超解像復元は、一般に、複数の低解像度画像からの情報を組み合わせて高解像度画像を取得するプロセスを指す。この場合、超解像プロトコル１１５は、低解像度画像（例えば、１１３A、１１３B）から高解像度マルチカラー画像を生成するように動作可能である。様々な超解像技法を使用することができる。例えば、その開示が参照により本明細書に組み込まれる米国特許第１０，１４７，１６７号は、超解像復元画像を生成する方法を記載している。方法は、本開示の文脈において、低解像度画像から高解像度マルチカラー画像を生成するのに適している。

【0029】

超解像方法は、例えば、シーンの取得された単色低解像度画像から高周波数帯域ルーマ成分を抽出することと、取得された画像についての高周波数帯域ルーマ成分および動きデータを使用して高解像度ルーマ画像を生成することと、超解像復元カラー画像を取得するために、取得された単色画像から生成されたアップサンプリングされたカラー画像のルーマデータを高解像度ルーマ画像の高解像度ルーマデータと置き換えることとを含むことができる。

【0030】

場合によっては、高周波数帯域ルーマ成分を抽出することは、ガウシアンフィルタ処理された画像を取得するためにガウシアンフィルタを使用してシーンの単色画像の生の単色画像データを畳み込むことと、ガウシアンフィルタ処理された画像から生の単色画像データを減算することとを含む。

【0031】

超解像技法は、場合によっては、取得された画像に基づいて生の単色画像データを含む生の単色画像のアレイを構築することを含むことができる。高周波数帯域ルーマ成分を抽出することは、ガウシアンフィルタ処理された画像から生の単色画像データを減算した後に極性差を除去することをさらに含むことができる。極性差を除去することは、ガウシアンフィルタ処理された画像から生の単色画像データを減算することによって以前取得された差の絶対値を計算することを含むことができる。高周波数帯域ルーマ成分を抽出することは、極性差を除去した後、高周波数帯域ルーマ成分の強度の大きさを均等化すること、および／またはシグモイド関数を適用することをさらに含むことができる。

【0032】

超解像技法は、さらなる動きデータを取得するために、高周波数帯域ルーマ成分に基づいて、かつ生の単色画像データ内の共通チャネルに基づいて動き推定プロトコルを実行することと、線形変換における高周波数ルーマ成分およびさらなる動きデータに基づいて高解像度ルーマ画像を取得するために超解像プロトコルを実行することとを含むことができる。場合によっては、抽出された高周波数帯域ルーマ成分は、エッジ位置またはテクスチャ特徴のうちの少なくとも１つに対応する。超解像技法は、低解像度クロマ画像を取得するために、単色画像の生の単色画像データに基づいてカラー画像融合を実行することと、アップサンプリングされたカラー画像を取得するために、低解像度クロマ画像をアップサンプリングすることとを含む場合がある。

【0033】

いくつかの実装形態では、他の超解像技法を使用することができる。
読出しおよび処理回路１１４によって生成された超解像復元カラー画像は、例えば、超解像復元カラー画像を表示するディスプレイ１１６に提供することができる。ディスプレイ１１６は、例えば、コンピューティングデバイス（例えば、スマートフォン、タブレット、パーソナルコンピュータ、または他の小型コンピューティングデバイス）の画面を含むことができる。

【0034】

撮像デバイス１００は、例えば、スマートフォンおよび他のハンドヘルドまたはポータブルコンピューティングデバイスのカメラ、ならびに医療撮像、衛星撮像、監視、顔認識、高精細テレビなどを含む広範囲の用途のいずれかで使用することができる。場合によっては、撮像デバイス１００用の読出しおよび処理回路１１４の少なくとも一部分は、スマートフォンまたは他のコンピューティングデバイスの独自の処理回路に統合されてもよい。他の例では、読出しおよび処理回路１１４は、コンピューティングデバイス内のそのような回路とは別個であってもよい。

【0035】

図５は、図１、図２、図３、または図４の撮像デバイス１００を使用する方法の一例を示す。２００によって示されたように、撮像デバイスの異なるそれぞれの光チャネルに関連付けられた２つ以上のピクセルアレイの各々は、１つまたは複数の物体を含むシーンのそれぞれの低解像度画像を取得する。各低解像度画像は、光チャネルのうちのそれぞれ１つの中のそれぞれのメタレンズを通過する光線に（少なくとも部分的に）基づく。光チャネルへの低解像度画像は実質的に単色であり、各チャネルは、他のチャネルのうちの少なくとも１つとは異なるそれぞれの色（例えば、波長または狭い範囲の波長）の光に基づいて画像を取得する。場合によっては、低解像度画像は、ユーザ入力（例えば、対話型ユーザインターフェースを介してユーザによって提供された入力）に応答して取得される。２０２によって示されたように、取得された低解像度画像を表す信号がピクセルアレイから読み出される。次いで、２０４によって示されたように、低解像度画像に基づいてシーンの高解像度カラー画像を取得するために超解像プロトコルが使用される。場合によっては、高解像度カラー画像は、例えば、２０６によって示されたように、スマートフォンまたは他のコンピューティングデバイスの表示画面に表示される。

【0036】

本明細書に記載された主題および機能動作の様々な態様は、本明細書に開示された構造およびそれらの構造的均等物を含むデジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェア、またはそれらの１つもしくは複数の組合せに実装することができる。したがって、本明細書に記載された主題の態様は、１つまたは複数のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するためにコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装することができる。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝搬信号をもたらす物質の組成物、またはそれらの１つもしくは複数の組合せであり得る。装置は、ハードウェアに加えて、問題のコンピュータプログラム用の実行環境を作成するコード、例えば、プロセッサファームウェアを構成するコードを含むことができる。

【0037】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている）は、コンパイル言語またはインタプリタ言語を含む任意の形態のプログラミング言語で記述することができ、それは、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして、を含む任意の形態で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するとは限らない。プログラムは、他のプログラムもしくはデータ（例えば、マークアップ言語文書に記憶された１つもしくは複数のスクリプト）を保持するファイルの一部分、問題のプログラム専用の単一ファイル、または複数の協調ファイル（例えば、１つもしくは複数のモジュール、サブプログラム、もしくはコードの部分を記憶するファイル）に記憶することができる。１つまたは複数のメモリに命令として記憶され得るコンピュータプログラムは、１つのコンピュータまたは複数の相互接続されたコンピュータ上で実行されるように展開することができる。

【0038】

本明細書に記載されたプロセスおよび論理フローは、１つまたは複数のコンピュータプログラムを実行して、入力データに対して動作し出力を生成することによって機能を実行する１つまたは複数のプログラマブルプロセッサによって実行することができる。専用論理回路、例えばFPGA（field programmable gate array、フィールドプログラマブルゲートアレイ）またはASIC（application specific integrated circuit、特定用途向け集積回路）によってプロセスおよび論理フローを実行することもでき、専用論理回路として装置を実装することもできる。

【0039】

コンピュータプログラムの実行に適したプロセッサには、例として、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサが含まれる。一般に、プロセッサは、読取り専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受け取る。コンピュータの必須要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを記憶するための１つまたは複数のメモリデバイスである。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体には、例として、半導体メモリデバイス、例えばEPROM、EEPROM、およびフラッシュメモリデバイス；磁気ディスク、例えば内蔵ハードディスクまたはリムーバブルディスク；光磁気ディスク；ならびにCD－ROMディスクおよびDVD－ROMディスクを含む、すべての形態の不揮発性メモリ、媒体、およびメモリデバイスが含まれる。プロセッサおよびメモリは、専用論理回路によって補完され得るか、または専用論理回路に組み込まれ得る。

【0040】

前述の詳細な説明および図面から、様々な修正形態が容易に明らかになるであろう。したがって、他の実装形態も特許請求の範囲内である。

【図1】

【図1A】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】