特表 2025-506306 色分割メタ光学計算カメラを使用した高品質撮像のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-03-07

(54)【発明の名称】色分割メタ光学計算カメラを使用した高品質撮像のためのシステム及び方法

(51)【国際特許分類】

   H04N 23/951 20230101AFI20250228BHJP

   G03B 19/06 20210101ALI20250228BHJP

   G03B 15/00 20210101ALI20250228BHJP

   G03B 11/00 20210101ALI20250228BHJP

   H04N 23/16 20230101ALI20250228BHJP

   H04N 25/13 20230101ALI20250228BHJP

【ＦＩ】

H04N23/951

G03B19/06

G03B15/00 H

G03B11/00

H04N23/16

H04N25/13

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024570590

(86)(22)【出願日】2023-02-14

(85)【翻訳文提出日】2024-10-02

(86)【国際出願番号】 US2023062549

(87)【国際公開番号】W WO2023154946

(87)【国際公開日】2023-08-17

(31)【優先権主張番号】63/309,911

(32)【優先日】2022-02-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】524303854

【氏名又は名称】ツノプティクス，インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ザン，アラン

(72)【発明者】

【氏名】コルバーン，シェーン アレクサンダー

(72)【発明者】

【氏名】フィヨル，ジョン ジョセフ

【テーマコード（参考）】

2H054

2H083

5C122

【Ｆターム（参考）】

2H054BB07

2H083AA02

2H083AA04

2H083AA10

2H083AA19

2H083AA26

2H083AA41

5C122DA09

5C122EA22

5C122EA31

5C122EA37

5C122EA54

5C122EA61

5C122FA18

5C122FB02

5C122FB03

5C122FB16

5C122FB17

5C122FF03

5C122FH02

5C122FH04

5C122FH06

5C122FH07

5C122FH18

5C122FH23

5C122HA35

5C122HA42

5C122HB01

5C122HB05

(57)【要約】

一実施形態では、システムは、スペクトル応答を有する第１のフィルタ、第１のメタ光学レンズ及び第１のセンサを含む第１のカメラを含む。システムは、第１のフィルタのスペクトル応答と異なるスペクトル応答を有する第２のフィルタ、第２のメタ光学レンズ及び第２のセンサを含む第２のカメラを含む。システムは、プロセッサも含み、プロセッサは、第１のカメラによって捕捉されたシーンの第１の画像の表現を受信することと、第２のカメラによって捕捉されたシーンの第２の画像の表現を受信することと、第１の画像の表現及び第２の画像の表現に基づいて、シーンの重畳画像の表現を生成することとを行うように構成され、重畳画像の表現は、第１の画像の表現の収差及び第２の画像の表現の収差よりも小さい収差を有する。

【特許請求の範囲】

【請求項1】

スペクトル応答を有する第１のフィルタ、第１のメタ光学レンズ及び第１のセンサを含む第１のカメラと、
前記第１のフィルタの前記スペクトル応答と異なるスペクトル応答を有する第２のフィルタ、第２のメタ光学レンズ及び第２のセンサを含む第２のカメラと、
プロセッサと
を含むシステムであって、前記プロセッサは、
前記第１のカメラによって捕捉されたシーンの第１の画像の表現を受信することと、
前記第２のカメラによって捕捉された前記シーンの第２の画像の表現を受信することと、
前記第１の画像の前記表現及び前記第２の画像の前記表現に基づいて、前記シーンの重畳画像の表現を生成することであって、前記重畳画像の前記表現は、前記第１の画像の前記表現の収差及び前記第２の画像の前記表現の収差よりも小さい収差を有する、ことと
を行うように構成されている、システム。

【請求項2】

前記第１のフィルタの前記スペクトル応答及び前記第２のフィルタの前記スペクトル応答と異なる第３のスペクトル応答を有する第３のフィルタ、第３のメタ光学レンズ及び第３のセンサを含む第３のカメラを更に含み、前記プロセッサは、前記第３のカメラによって捕捉された前記シーンの第３の画像の表現を受信することと、前記第３の画像の前記表現に更に基づいて、前記シーンの前記重畳画像の前記表現を生成することとを行うように更に構成されている、請求項１に記載のシステム。

【請求項3】

（１）前記第１のフィルタの前記スペクトル応答、前記第２のフィルタの前記スペクトル応答及び前記第３のフィルタの前記スペクトル応答と異なる第４のスペクトル応答を有する第４のフィルタ、（２）第４のメタ光学レンズ、及び（３）第４のセンサを含む第４のカメラを更に含み、前記プロセッサは、前記第４のカメラによって捕捉された前記シーンの第４の画像の表現を受信することと、前記第４の画像の前記表現に更に基づいて、前記シーンの前記重畳画像の前記表現を生成することとを行うように更に構成されている、請求項２に記載のシステム。

【請求項4】

前記第１のフィルタの前記スペクトル応答は、赤を含み、前記第２のフィルタの前記スペクトル応答は、緑を含み、及び前記第３のフィルタの前記スペクトル応答は、青を含む、請求項２に記載のシステム。

【請求項5】

前記第１のカメラ、前記第２のカメラ及び前記第３のカメラは、共通の平面に配設され、前記第２のカメラは、前記第１のカメラと前記第３のカメラとの間に配設される、請求項２に記載のシステム。

【請求項6】

（１）前記第１のフィルタの前記スペクトル応答と実質的に同様であるが、前記第２のフィルタの前記スペクトル応答と実質的に同様ではない第３のスペクトル応答を有する第３のフィルタ、（２）第３のメタ光学レンズ、及び（３）第３のセンサを含む第３のカメラを更に含み、前記プロセッサは、前記第３のカメラによって捕捉された前記シーンの第３の画像の表現を受信することと、前記第３の画像の前記表現に更に基づいて、前記シーンの前記重畳画像の前記表現を生成することとを行うように更に構成され、前記第１の画像の前記表現及び前記第３の画像の前記表現は、前記重畳画像の前記表現の生成中、視差補正及びノイズ低減のために使用される、請求項１に記載のシステム。

【請求項7】

反射防止コーティングは、前記第１のメタ光学レンズ又は前記第２のメタ光学レンズの少なくとも一方に配設される、請求項１に記載のシステム。

【請求項8】

赤外線コーティングは、前記第１のメタ光学レンズ又は前記第２のメタ光学レンズの少なくとも一方に配設される、請求項１に記載のシステム。

【請求項9】

（１）前記第１のメタ光学レンズと前記第１のセンサとの間、及び（２）前記第２のメタ光学レンズと前記第２のセンサとの間に配置された少なくとも１つのアパーチャストップを更に含む、請求項１に記載のシステム。

【請求項10】

（１）前記第１のメタ光学レンズと前記第１のフィルタとの間、及び（２）前記第２のメタ光学レンズと前記第２のフィルタとの間に配置された少なくとも１つのアパーチャストップを更に含む、請求項１に記載のシステム。

【請求項11】

シーンの複数の画像の表現を生成するように構成された複数のカメラであって、前記複数のカメラからの各カメラは、それぞれの残りのカメラのフィルタのスペクトル応答と異なるスペクトル応答を有するフィルタ、メタ光学レンズ及びセンサを含む、複数のカメラと、
プロセッサと
を含むシステムであって、前記プロセッサは、
前記シーンの前記複数の画像の前記表現を受信することと、
前記複数の画像の前記表現に基づいて、前記シーンの重畳画像の表現を生成することと
を行うように構成されている、システム。

【請求項12】

前記プロセッサは、
視差補正又はデコンボリューションの少なくとも一方を前記複数の画像の前記表現に実行して、複数の重畳画像の表現を生成することと、
前記複数の重畳画像の前記表現を重畳して、前記重畳画像の前記表現を形成することと
により、前記重畳画像の前記表現を生成するように構成されている、請求項１１に記載のシステム。

【請求項13】

前記プロセッサは、
歪み補正又はアップサンプリングの少なくとも一方を前記複数の画像に実行して、複数の重畳画像の表現を生成することと、
前記複数の重畳画像の前記表現を重畳して、前記重畳画像の前記表現を形成することと
により、前記重畳画像の前記表現を生成するように構成されている、請求項１１に記載のシステム。

【請求項14】

前記複数のカメラは、第１のカメラ及び第２のカメラのみを含み、及び
前記複数の画像の前記表現は、第１の画像及び第２の画像のみを含む、請求項１１に記載のシステム。

【請求項15】

前記複数のカメラは、第１のカメラ、第２のカメラ及び第３のカメラのみを含み、及び前記複数の画像の前記表現は、第１の画像、第２の画像及び第３の画像を含む、請求項１１に記載のシステム。

【請求項16】

前記複数のカメラは、第１のカメラ、第２のカメラ、第３のカメラ及び第４のカメラのみを含み、及び前記複数の画像の前記表現は、第１の画像、第２の画像、第３の画像及び第４の画像を含む、請求項１１に記載のシステム。

【請求項17】

複数のカメラによって捕捉されたシーンの複数の画像の表現を受信することであって、前記複数のカメラからの各カメラは、フィルタ、メタ光学レンズ及びセンサを含み、
前記複数のカメラからの各カメラについて、前記カメラの前記フィルタのスペクトル応答は、前記複数のカメラからのそれぞれの残りのカメラの前記フィルタのスペクトル応答と異なる、受信することと、
前記複数の画像の前記表現に基づいて、前記シーンの重畳された補正画像の表現を生成することと
を含む方法。

【請求項18】

前記複数のカメラは、第１のカメラ、第２のカメラ、第３のカメラ及び第４のカメラを含む、請求項１７に記載の方法。

【請求項19】

前記第１のカメラの前記フィルタの前記スペクトル応答は、赤を含み、前記第２のカメラの前記フィルタの前記スペクトル応答は、緑を含み、前記第３のカメラの前記フィルタの前記スペクトル応答は、青を含み、及び前記第４のカメラの前記フィルタの前記スペクトル応答は、黄色を含む、請求項１８に記載の方法。

【請求項20】

前記第１のカメラの前記フィルタの前記スペクトル応答は、赤を含み、前記第２のカメラの前記フィルタの前記スペクトル応答は、緑を含み、前記第３のカメラの前記フィルタの前記スペクトル応答は、青を含み、及び前記第４のカメラの前記フィルタは、赤外線フィルタである、請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001] 本願は、２０２２年２月１４日付けで出願された「SYSTEMS AND METHODS FOR HIGH QUALITY IMAGING USING A COLOR-SPLITTING META-OPTICAL COMPUTATION CAMERA」という名称の米国特許出願第６３／３０９，９１１号の利益及び優先権を主張するものであり、これは、全体的に参照により本明細書に援用される。

【0002】

分野
[0002] １つ以上の実施形態では、メタ光学計算カメラは、色分割を実行して、少なくとも１つの高品質画像を生成することができる。

【背景技術】

【0003】

背景
[0003] より小型のカメラ（例えば、超薄型の電話又はラップトップ用）を生産しようとするとき、そのようなカメラの性能が犠牲になることがある。メタ光学系は、レンズが（湾曲するよりもむしろ）平坦であるため、光学系を小型化するための潜在的な１つの解決策であり得る。しかしながら、メタ光学系は、光学的に全ての収差を常に補正できるわけではない（例えば、高度に制約されたシステムの場合）。したがって、より小型のカメラを改良する必要性が存在している。

【発明の概要】

【課題を解決するための手段】

【0004】

概要
[0004] １つ以上の実施形態では、システムは、スペクトル応答を有する第１のフィルタ、第１のメタ光学レンズ及び第１のセンサを含む第１のカメラを含む。システムは、第１のフィルタのスペクトル応答と異なるスペクトル応答を有する第２のフィルタ、第２のメタ光学レンズ及び第２のセンサを含む第２のカメラも含む。システムは、プロセッサも含み、プロセッサは、第１のカメラによって捕捉されたシーンの第１の画像の表現を受信することと、第２のカメラによって捕捉されたシーンの第２の画像の表現を受信することと、第１の画像の表現及び第２の画像の表現に基づいて、シーンの重畳画像の表現を生成することとを行うように構成され、重畳画像の表現は、第１の画像の表現の収差及び第２の画像の表現の収差よりも小さい収差を有する。

【0005】

[0005] １つ以上の実施形態では、システムは、シーンの複数の画像の表現を生成するように構成された複数のカメラを含み、複数のカメラからの各カメラは、それぞれの残りのカメラのフィルタのスペクトル応答と異なるスペクトル応答を有するフィルタ、メタ光学レンズ及びセンサを含む。システムは、プロセッサも含み、プロセッサは、シーンの複数の画像の表現を受信することと、複数の画像の表現に基づいて、シーンの重畳画像の表現を生成することとを行うように構成される。

【0006】

[0006] １つ以上の実施形態では、方法は、複数のカメラによって捕捉されたシーンの複数の画像の表現を受信することを含み、複数のカメラからの各カメラは、フィルタ、メタ光学レンズ及びセンサを含む。複数のカメラからの各カメラについて、そのカメラのフィルタのスペクトル応答は、複数のカメラからのそれぞれの残りのカメラのフィルタのスペクトル応答と異なる。複数の画像の表現に基づいて、シーンの重畳された補正画像の表現が生成される。

【図面の簡単な説明】

【0007】

図面の簡単な説明

【図1】[0007]一実施形態による、個々のメタ光学レンズを使用してそれぞれ捕捉された複数の収差あり画像の表現に基づいて、収差なし画像を生成するシステムを示す。

【図2】[0008]一実施形態による、バッフル及び複数のメタ光学レンズを有するカメラ系を示す。

【図3】[0009]一実施形態による、メタ光学レンズを使用してそれぞれ捕捉された複数の画像の表現に基づいて画像を生成する方法のフローチャートを示す。

【発明を実施するための形態】

【0008】

詳細な説明
[0010] 本明細書で論じられる技法は、複数のメタ光学レンズ並びに回路及び／又はソフトウェアを使用して、撮像性能も維持及び／又は強化しながら、カメラ系のサイズを低減する（光学系のトラック長を低減する）ことに関する。同様に言えば、本明細書で論じられる技法は、カメラ系のサイズを低減することができるメタ光学系を使用するが、メタ光学系に依存して全ての収差を光学的に直接補正するわけではない。むしろ、メタ光学系は、回路及び／又はソフトウェアと共に動作して、高品質（例えば、収差なしの）画像を生成することができる。

【0009】

[0011] 複数のメタ光学系を使用することができ、各メタ光学系は、全スペクトル範囲の部分範囲（例えば、色）に対して適合される。各メタ光学レンズは、例えば、各色チャネル（即ちスペクトル部分範囲）で視野にわたってほぼ不変の高品質ブラーカーネルを付与することができる。したがって、狭帯域の別個のスペクトル窓専用の各メタ光学レンズを用いて、各メタ光学系に課される制約を軽減することができる。

【0010】

[0012] 図１は、一実施形態による、カメラ１１０Ａ、１１０Ｂ、１１０Ｃによって捕捉された画像１５０Ａ、１５０Ｂ、１５０Ｃの表現に基づいて画像１９０（例えば、形成画像又は画像の表現）を生成することができるカメラ系１００の図を示す。一部の実装形態では、カメラ１１０Ａ、１１０Ｂ、１１０Ｃを互いに隣接して（例えば、図１に示されるように横に並べて）置くことで、カメラ系１００の厚さ及び／又はトラック長を低減することができる。一部の実装形態では、カメラ系１００のトラック全長は、例えば、１ミリメートル未満である。一部の実装形態では、カメラ１１０Ａ、１１０Ｂ、１１０Ｃは、互いに対してわずかに斜めであり得る（例えば、三角形フォーメーションにおいて）。一部の実装形態では、カメラ系１００は、カメラ、ウェブカム、ラップトップ、タブレット、電話、テレビ、スマート眼鏡、スマートウォッチ、車両又は任意の他の画像捕捉デバイス（図示せず）であり得、及び／又はそれに含まれ得る。各カメラ１１０Ａ、１１０Ｂ、１１０Ｃは、単一のメタ光学レンズ１３０Ａ、１３０Ｂ、１３０Ｃを含み得る。

【0011】

[0013] フィルタ１２０Ａ、１２０Ｂ、１２０Ｃ、メタ光学レンズ１３０Ａ、１３０Ｂ、１３０Ｃ及びセンサ１４０Ａ、１４０Ｂ、１４０Ｃは、筐体１０２に含まれ得る。一部の実装形態では、回路１６０は、筐体１０２に含まれる。一部の実装形態では、回路１６０は、筐体１０２に含まれず、その場合、筐体１０２内のセンサ１４０Ａ、１４０Ｂ、１４０Ｃによって生成される画像１５０Ａ、１５０Ｂ、１５０Ｃの電子表現は、例えば、センサ１０４Ａをプロセッサ１７０及び／又はメモリ１８０に接続するトレース、センサ１４０Ｂをプロセッサ１７０及び／又はメモリ１８０に接続するトレース及びセンサ１４０Ｃをプロセッサ１７０及び／又はメモリ１８０に接続するトレースを経由して回路１６０に送信され得る。更に、入射光が筐体１０２の穴を透過し、フィルタ１２０Ａ、１２０Ｂ、１２０Ｃに接触し得る。

【0012】

[0014] 一部の実装形態では、筐体１０２は、概ね（例えば、１０％以内）、６ｍｍ、５ｍｍ、４．５ｍｍ、４ｍｍ、３．５ｍｍ又は３ｍｍの少なくとも１つ未満の長さを有する。一部の実装形態では、筐体１０２は、概ね（例えば、１０％以内）、２ｍｍ、１．５ｍｍ、１．４ｍｍ、１．３ｍｍ、１．２ｍｍ、１．１ｍｍ、１ｍｍ、０．９ｍｍ、０．８ｍｍ、０．７ｍｍ、０．６ｍｍ又は０．５ｍｍの少なくとも１つ未満の幅を有する。一部の実装形態では、筐体１０２は、概ね（例えば、１０％以内）、１．５ｍｍ、１．１ｍｍ、１ｍｍ、０．９ｍｍ、０．８ｍｍ、０．７ｍｍ、０．６ｍｍ又は０．５ｍｍの少なくとも１つ未満の高さを有する。一部の実装形態では、筐体１０２の寸法（長さ×幅×高さ）は、概ね（例えば、１０％以内）、１ｍｍ×５ｍｍ×１．４ｍｍである。

【0013】

[0015] 筐体１０２内では、フィルタ１２０Ａ、１２０Ｂ、１２０Ｃは、それぞれ互いに対して実質的に同様のサイズを有し得るか、互いに対して実質的に異なるサイズを有し得るか（例えば、異なる所定のサンプリングレートに基づく）、又はそれらの組合せ（例えば、あるフィルタと同様のサイズであるが、別のフィルタと異なるサイズ）であり得る。筐体１０２内では、メタ光学レンズ１３０Ａ、１３０Ｂ、１３０Ｃは、それぞれ互いに対して実質的に同様のサイズを有し得るか、互いに対して実質的に異なるサイズを有し得るか（例えば、異なる所定のサンプリングレートに基づく）、又はそれらの組合せ（例えば、あるフィルタと同様のサイズであるが、別のフィルタと異なるサイズ）であり得る。筐体１０２内では、センサ１４０Ａ、１４０Ｂ、１４０Ｃは、互いに対して実質的に同様の全体サイズ、ピクセルカウント及び／又はピクセルサイズを有し得るか、互いに対して実質的に異なる全体サイズ、ピクセルカウント及び／又はピクセルサイズを有し得るか（例えば、異なる所定のサンプリングレートに基づく）、又はそれらの組合せ（例えば、あるフィルタと同様の全体サイズ、ピクセルカウント及び／又はピクセルサイズであるが、別のフィルタと異なる全体サイズ、ピクセルカウント及び／又はピクセルサイズ）であり得る。

【0014】

[0016] 図１は、形成画像として画像１５０Ａ、１５０Ｂ、１５０Ｃを示すことに留意されたい。しかしながら、画像１５０Ａ、１５０Ｂ、１５０Ｃは、センサ１４０Ａ、１４０Ｂ、１４０Ｃによって回路１６０にそれぞれ提供される電子表現（例えば、人間が見ることができない形態）であり、形成画像に変換される必要が決してなく、及び／又は回路１６０で形成画像（例えば、人間が見ることができる形態）に変換され得ることを理解することができる。画像１５０Ａ、１５０Ｂ、１５０Ｃは、センサ１４０Ａ、１４０Ｂ、１４０Ｃによって捕捉された表現が一部の実装形態でどのように見え得るかの認識を提供するために示されている。更に、画像１９０は、画像１９０の表現及び／又は画像１９０の形成バージョンとして回路１６０によって生成され得る。

【0015】

[0017] 第１のカメラ１１０Ａは、フィルタ１２０Ａ、メタ光学レンズ１３０Ａ及びセンサ１４０Ａ（「検出器」とも呼ばれる）を含む。シーン（例えば、人間及びその背景）からの光（例えば、白色光）は、フィルタ１２０Ａを通過し、メタ光学レンズ１３０Ａを通過し、センサ１４０Ａに入射して、画像１５０Ａ（例えば、画像１５０Ａを表す電子信号）の表現を生成することができる。

【0016】

[0018] 一部の実装形態では、フィルタ１２０Ａは、カラーフィルタであり得る。フィルタ１２０Ａは、赤、青、黄色、緑、シアン、マゼンタ又はそれらの組合せ等の任意の色であり得る。一部の実装形態では、フィルタ１２０Ａは、赤、緑又は青の１つであり得る。一部の実装形態では、フィルタ１２０Ａは、赤、緑、青又は黄色の１つであり得る。カラーフィルタの使用により、メタ光学レンズ１３０Ａは、可視スペクトル全体よりも狭い波長範囲に対処し得、それにより、メタ光学レンズ１３０Ａは、視野（ＦｏＶ）不変ブラーカーネルをより容易に提供できるようになる。

【0017】

[0019] 一部の実装形態では、メタ光学レンズ１３０Ａは、実質的に平坦であり、可視及び赤外線波長で透明であり（即ち、メタ光学レンズ１３０Ａは、可視及び赤外線波長で実質的に均一なスペクトル応答を有する）、及び／又はシングルステージリソグラフィプロセスと均等である。メタ光学レンズ１３０Ａは、例えば、異なる幅の範囲を有するパターン化誘電層を含み得、一部の実装形態では、誘電体は、窒化ガリウム、窒化ケイ素及び／又は二酸化チタンであり得る。メタ光学レンズ１３０Ａの形状は、実質的に凸形でもなければ、実質的に凹形でもない。「実質的に」という用語は、生じ得るばらつき（例えば、製造ばらつき、環境的ばらつき等）を考慮するために使用される。

【0018】

[0020] 一部の実装形態では、センサ１４０Ａは、画像（例えば、画像１５０Ａ）を表す電子信号に光画像を変換することができる。一部の実装形態では、センサ１４０Ａは、イメージセンサ（例えば、電荷結合素子、アクティブピクセルセンサ等）である。光は、フィルタ１２０Ａ及びメタ光学レンズ１３０Ａを通過した後、センサ１４０Ａに接触することができる。その後、センサ１４０Ａは、画像１５０Ａの表現を生成する。一部の実装形態では、センサ１４０Ａは、ベイヤーフィルタセンサではない。

【0019】

[0021] 一部の実装形態では、フィルタ１２０Ａがカラーフィルタである場合、画像１５０Ａの表現（例えば、形成画像に変換される場合）は、フィルタ１２０Ａと同じ色相を有する。例えば、フィルタ１２０Ａが赤であった場合、画像１５０Ａも赤の色相を有する。別の例として、フィルタ１２０Ａが緑であった場合、画像１５０Ａも緑の色相を有する。別の例として、フィルタ１２０Ａが青であった場合、画像１５０Ａも青の色相を有する。更に、画像１５０Ａの表現（例えば、形成画像に変換される場合）は、少なくとも１つの収差を含み得る。一部の実装形態では、画像１５０Ａの表現は、ぼやけが多い（例えば、形成画像に変換される場合）（即ち、第１のカメラ１１０Ａによって捕捉されるシーンは、画像１５０Ａで明確でないか又は明瞭に見えない）。

【0020】

[0022] 第２のカメラ１１０Ｂ及び第３のカメラ１１０Ｃは、それぞれカメラ１１０Ａと同様及び／又は同一であり得、少なくとも１つの違いは、第１のカメラ１１０Ａのフィルタ１２０Ａ、第２のカメラ１１０Ｂのフィルタ１２０Ｂ、第３のカメラ１１０Ｃのフィルタ１２０Ｃがそれぞれ互いに異なることである。例えば、各フィルタ１２０Ａ、１２０Ｂ及び１２０Ｃは、他のフィルタ１２０Ａ、１２０Ｂ及び１２０Ｃのスペクトル部分範囲と相互に排他的なスペクトル部分範囲を有し得る。別の例では、各フィルタ１２０Ａ、１２０Ｂ及び１２０Ｃは、他のフィルタ１２０Ａ、１２０Ｂ及び１２０Ｃのスペクトル部分範囲と異なるが、場合により部分的に重なるスペクトル部分範囲を有し得る。一部の実装形態では、フィルタ１２０Ａ、１２０Ｂ、１２０Ｃの各々は、異なる色に関連付けられる。例えば、フィルタ１２０Ａは、赤カラーフィルタであり得、フィルタ１２０Ｂは、緑カラーフィルタであり得、フィルタ１２０Ｃは、青カラーフィルタであり得る。

【0021】

[0023] 他の場合、第１のカメラ１１０Ａの場合のように、同じシーンからの光は、フィルタ１２０Ｂ及び１２０Ｃを通過し、メタ光学レンズ１３０Ｂ及び１３０Ｃを通過し、センサ１４０Ｂ及び１４０Ｃに入射して、画像１５０Ｂ及び１５０Ｃの表現をそれぞれ生成し得る。フィルタ１２０Ｂ、１２０Ｃがカラーフィルタである画像１５０Ａの場合のように、画像１５０Ｂ、１５０Ｃの各表現（例えば、形成画像に変換される場合）は、関連するフィルタ１２０Ｂ、１２０Ｃと同じ色相を有することができる。画像１５０Ｂ、１５０Ｃの表現（例えば、形成画像に変換される場合）の各々は、少なくとも１つの収差を含み得、及び／又はそれに関連付けられ得、その場合、例えば、画像１５０Ａ、１５０Ｂ及び１５０Ｃの各表現の少なくとも１つの収差は、同じタイプ（例えば、ぼやけが多い、ノイズが多い等）のものであるが、程度が異なり得る（例えば、スペクトル応答差に起因して）。一部の実装形態では、画像１５０Ｂ、１５０Ｃの表現（例えば、形成画像に変換される場合）は、ぼやけが多い（即ち、第２のカメラ１１０Ｂ及び／又は第３のカメラ１１０Ｃによって捕捉されるシーンは、画像１５０Ｂ、１５０Ｃで明確でないか又は明瞭に見えない）。

【0022】

[0024] 画像１５０Ａ、１５０Ｂ、１５０Ｃの表現は、回路１６０に送信され、回路１６０によって受信され得、回路１６０は、プロセッサ１７０と、プロセッサ１７０に動作可能に結合（例えば、システムバスを介して）されるメモリ１８０とを含む。任意選択的に、回路１６０は、画像１５０Ａ、１５０Ｂ、１５０Ｃの表現を形成画像に変換するために使用され得る。回路１６０は、画像１９０の生成（例えば、形成画像及び／又は電子表現として）に使用され得、画像１９０は、画像１５０Ａ、１５０Ｂ、１５０Ｃよりも収差が少なく、及び／又は収差が実質的にない（例えば、ぼやけがないか又はぼやけが多くない）。

【0023】

[0025] プロセッサ１７０は、例えば、ハードウェアベースの集積回路（ＩＣ）又は命令セット若しくはコードを走らせ、及び／又は実行するように構成された任意の他の適した処理デバイスであり得る。例えば、プロセッサ１７０は、汎用プロセッサ、中央演算処理装置（ＣＰＵ）、アクセラレーテッド処理ユニット（ＡＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）、複合プログラマブル論理デバイス（ＣＰＬＤ）及び／又はプログラマブル論理コントローラ（ＰＬＣ）等であり得る。一部の実装形態では、プロセッサ１７０は、本明細書で論じられる方法のいずれか及び／又は方法の部分を実行するように構成され得る。

【0024】

[0026] メモリ１８０は、例えば、ランダムアクセスメモリ（ＲＡＭ）、メモリバッファ、ハードドライブ、読み取り専用メモリ（ＲＯＭ）及び／又は消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）等であり得る。メモリ１８０は、本明細書で論じられる技法を実行するためにプロセッサ１７０によって使用される任意のデータを記憶するように構成され得る。一部の場合、メモリ１８０は、例えば、プロセッサ１７０に１つ以上のプロセス及び／又は機能等を実行させる命令を含み得る１つ以上のソフトウェアプログラム及び／又はコードを記憶することができる。一部の実装形態では、メモリ１８０は、増分的に追加し、使用することができる拡張可能記憶ユニットを含み得る。一部の実装形態では、メモリ１８０は、プロセッサ１７０に動作可能に結合され得るポータブルメモリ（例えば、フラッシュドライブ及び／又はポータブルハードディスク等）であり得る。一部の場合、メモリ１８０は、計算デバイス（図１に示されていない）と遠隔で動作可能に結合され得る。

【0025】

[0027] 図１に示されていないが、メモリ１８０は、ソフトウェアモデルを記憶し得る。プロセッサ１７０は、ソフトウェアモデルを使用して、センサ１４０Ａ、１４０Ｂ、１４０Ｃによって生成された画像１５０Ａ、１５０Ｂ、１５０Ｃの表現を形成画像１５０Ａ、１５０Ｂ、１５０Ｃに変換し得る。一部の実装形態では、ソフトウェアモデルは、画像１５０Ａ、１５０Ｂ、１５０Ｃの収差が少なくなり、及び／又はもはや収差がなくなる（例えば、ぼやけがより少なくなるか又はなくなる）ように、視差補正、デコンボリューション、歪み補正及び／又はアップサンプリングを画像１５０Ａ、１５０Ｂ、１５０Ｃ（又は画像１５０Ａ、１５０Ｂ、１５０Ｃに基づいて生成された変換）の各々に対して実行する。一部の実装形態では、画像１５０Ａ、１５０Ｂ、１５０Ｃの表現は、最初に別個にデコンボリューションされて、デコンボリューション画像の表現を生成する。画像（画像１５０Ａ、１５０Ｂ、１５０Ｃ等）の表現をデコンボリューションして、デコンボリューション画像の表現を生成することに関する更なる詳細は、“Neural nano-optics for high-quality thin lens imaging”(Tseng, E., Colburn, S., Whitehead, J. et al. Neural nano-optics for high-quality thin lens imaging. Nat Commun 12, 6493 (2021))に見出すことができ、この内容は、全体的に参照により本明細書に援用される。その後、デコンボリューションされた画像のこれらの各表現は、カメラ系１００内の単一のカメラ及びカメラ系１００内の複数（例えば、全て）のカメラと整列（即ち視差補正）される。単一のカメラへの視差補正に関する更なる詳細は、“Disparity Estimation for Image Fusion in a Multi-aperture Camera”(Mustaniemi J., Kannala J., Heikkilae J. (2015) Disparity Estimation for Image Fusion in a Multi-aperture Camera. In: Azzopardi G., Petkov N. (eds) Computer Analysis of Images and Patterns. CAIP 2015. Lecture Notes in Computer Science, vol 9257. Springer, Cham.)に見出すことができ、この内容は、全体的に参照により本明細書に援用される。複数のカメラへの視差補正に関する更なる詳細は、“A unified framework for multi-sensor HDR video reconstruction”(Joel Kronander, Stefan Gustavson, Gerhard Bonnet, Anders Ynnerman, Jonas Unger, A unified framework for multi-sensor HDR video reconstruction, Signal Processing: Image Communication, Volume 29, Issue 2, 2014, Pages 203-215, ISSN 0923-5965に見出すことができ、この内容は、全体的に参照により本明細書に援用される。

【0026】

[0028] その後、ソフトウェアモデルは、画像１５０Ａ、１５０Ｂ、１５０Ｃの非収差バージョンの各々の表現を互いに重畳して、画像１９０を形成することができる。一部の実装形態では、画像１９０は、ＲＧＢ（即ち（赤、緑、青））画像である。一部の実装形態では、先に論じた視差補正及びデコンボリューションを実行した後、ソフトウェアモデルによってデモザイク処理が実行されて、画像１９０を生成することができる。画像１９０を生成するために実行することができるデモザイク処理に関する更なる詳細については、“HIGH-QUALITY LINEAR INTERPOLATION FOR DEMOSAICING OF BAYER-PATTERNED COLOR IMAGES”(H. S. Malvar, Li-wei He and R. Cutler,“High-quality linear interpolation for demosaicing of Bayer-patterned color images,”2004 IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004, pp. iii-485)に見出すことができ、この内容は、全体的に参照により本明細書に援用される。

【0027】

[0029] 一部の実装形態では、画像１９０の表現は、メモリ１８０に記憶される。一部の実装形態では、画像１９０の表現は、カメラ系１００に通信可能に結合された（例えば、有線若しくは無線接続又はネットワークを介して）計算デバイス（図１に示されていない）に送られる。一部の実装形態では、画像１９０の表現は、形成画像に変換され、ディスプレイ（図１に示されていない）を介して表示される。画像１９０は、例えば、カメラ系１００と関連するユーザ（例えば、カメラ系１００を使用しているか又はカメラ系１００にアクセスすることができる）に表示され得る。

【0028】

[0030] 先に論じたカメラ系１００は、３つのカメラ１１０Ａ、１１０Ｂ、１１０Ｃを含んだが、一部の実装形態では、２つのカメラが使用され得る。他の実装形態では、４つ以上のカメラが使用され得る。各カメラは、メタ光学レンズ、センサ及び独自のカラーフィルタを含み得る。各カメラは、収差あり画像（例えば、画像１５０Ａ、１５０Ｂ、１５０Ｃ）の表現、収差あり画像から収差が実質的にない画像（例えば、画像１９０）の表現及び／又は収差あり画像から、収差あり画像よりも収差がより少ない画像（例えば、画像１９０）を生成するように構成された回路（例えば、回路１６０）にも動作可能に結合され得る。

【0029】

[0031] ２つのカメラが使用される一部の実装形態では、第１のカメラは、第１のスペクトル部分範囲（例えば、赤、オレンジ及び黄色）に関連付けられ得、第２のカメラは、第２のスペクトル部分範囲（例えば、緑、青、インディゴ及び紫）に関連付けられ得る。一部の実装形態では、カメラ系１００は、２つのチャネル（即ちＶＩＳチャネル及びＮＩＲチャネル）を有する可視／近赤外線（ＶＩＳ／ＮＩＲ）結合カメラであり、そのような状況では、第１のチャネル（例えば、カメラ）は、ＶＩＳフィルタを含み得、第２のチャネル（例えば、カメラ）は、ＮＩＲフィルタを含み得る。４つのカメラが使用される一部の実装形態では、第１のカメラは、赤カラーフィルタを含み得、第２のカメラは、緑カラーフィルタを含み得、第３のカメラは、青カラーフィルタを含み得、第４のカメラは、黄色カメラフィルタを含み得る。

【0030】

[0032] 一部の実装形態では、２つのカメラは、実質的に（例えば、少なくとも９５％類似、少なくとも９９％類似等）同じスペクトル範囲に関連付けられ得る。例えば、カメラ１１０Ａのフィルタ１２０Ａは、図１に示されていないカメラのフィルタと実質的に同じスペクトル範囲を有することができる（例えば、両方のフィルタとも緑、両方のフィルタとも赤、両方のフィルタとも青及び／又は両方のフィルタとも黄色等である）。同じスペクトル応答を有するが、互いにわずかに（例えば、１～２ミリメートル）オフセットする（例えば、デバイス上のカメラの自然に並んだ位置決めに起因して）２つのカメラは、２つの実質的に同様の画像間の差がスペクトル差に起因せず、２つのカメラの物理的なオフセットに起因するため、視差誤差の補正に使用され得る。加えて、２つの画像は、画像１９０を生成するとき、信号対雑音比（ＳＮＲ）を改善するために使用され得る。例えば、２つの殆ど同一の画像（例えば、視差が補正された後）は、２つの「ノイズの多い」画像の平均をとることによってノイズを低減できるようにし、平均におけるノイズがより少なくなる（例えば、一方の画像中の１つのピクセルにおけるノイズの多い信号値は、他方の画像中のそのピクセルにおけるノイズのより少ない信号値によって低減されることになる － ノイズの多い値及びノイズの少ない値は、真の値により近くなる）。

【0031】

[0033] 図１におけるカメラ１１０Ａ、１１０Ｂ及び１１０Ｃは、それぞれ単一のメタ光学レンズ１３０Ａ、１３０Ｂ及び１３０Ｃをそれぞれ含んだが、他の実装形態では、カメラ１１０Ａ、１１０Ｂ又は１１０Ｃの少なくとも１つは、複数のメタ光学レンズを含み得る。例えば、カメラ（例えば、カメラ１１０Ａ）は、第１のメタ光学レンズ（例えば、メタ光学レンズ１３０Ａ）及び第２のメタ光学レンズ（図１に示されていない）を含み得、第２のメタ光学レンズは、フィルタ（例えば、フィルタ１２０Ａ）の前方若しくは後方及び／又は第１のメタ光学レンズの前方若しくは後方に配置され得る。

【0032】

[0034] 図１に示されていないが、各カメラ１１０Ａ、１１０Ｂ及び１１０Ｃは、少なくとも１つのアパーチャを含み得（例えば、迷光及び／又は実質的にオフアングルの光を遮断するために）、少なくとも１つのアパーチャは、収集角及び／又は主光線角等を管理するためにそのカメラのメタ光学レンズの前方及び／又は後方に配置され得る。例えば、一部の実装形態では、各カメラ１１０Ａ、１１０Ｂ及び１１０Ｃは、２つのアパーチャを含み得、一方のアパーチャは、そのカメラのメタ光学レンズの前方に配置され、他方のアパーチャは、メタ光学レンズの後方に配置される。そのような実装形態では、所与のカメラのメタ光学レンズの前方に配置されたアパーチャは、そのカメラのメタ光学レンズの後方に配置されたアパーチャより小さくてもよい（即ちより小さい開口部）。カメラ１１０Ａ、１１０Ｂ、１１０Ｃのアパーチャは、同じサイズ、異なるサイズ又はそれらの組合せを有し得る。一部の実装形態では、カメラ１１０Ａ、１１０Ｂ、１１０Ｃのアパーチャは、単一の共通の平面に配置され得る。一部の実装形態では、カメラ１１０Ａ、１１０Ｂ、１１０Ｃのアパーチャは、互いに対してわずかに斜め（例えば、センサが三角形フォーメーションである実装形態では三角形フォーメーションで）であり得る。

【0033】

[0035] 図１に示されていないが、各１１０Ａ、１１０Ｂ及び１１０Ｃは、収差を補正及び／又は低減するために少なくとも１つの屈折要素（即ち屈折レンズ）を含み得、その場合、少なくとも１つの屈折要素は、そのカメラのメタ光学レンズ及び／又はそのカメラのフィルタの前方及び／又は後方に配置され得る。例えば、入射光は、カメラ（例えば、カメラ１１０Ａ）のアパーチャを通過し、その後、屈折要素を通過し、その後、フィルタ（例えば、フィルタ１２０Ａ）を通過し、その後、メタ光学レンズ（例えば、メタ光学レンズ１３０Ａ）を通過し、その後、センサ（例えば、センサ１４０Ａ）に入射して、画像１５０Ａの表現を生成し得る。

【0034】

[0036] 図１に示されていないが、一部の実装形態では、赤外線（ＩＲ）フィルタを使用し得る。一部の実装形態では、カメラ１１０Ａ、１１０Ｂ又は１１０Ｃの少なくとも１つは、ＩＲフィルタを含み得る。ＩＲフィルタは、そのカメラのセンサの前方に配置され得る（例えば、センサの真上、メタ光学レンズの真上、カラーフィルタの真上等）。一部の実装形態では、第４のカメラ（図１に示されていない）は、カメラ系１００に含まれ得る。第４のカメラは、カメラ１１０Ａ、１１０Ｂ、１１０Ｃと殆ど同一の構造を有するが、カラーフィルタの代わりにＩＲフィルタを使用し得る。他の場合、カメラ１１０Ａ、１１０Ｂ、１１０Ｃの場合のように、同じシーンからの光は、ＩＲフィルタを通過し、第４のカメラに含まれるメタ光学レンズを通過し、第４のカメラに含まれるセンサに入射して、画像の表現を生成し得る。第４のカメラによって生成された画像の表現は、画像１９０の表現を生成するために、回路１６０によって画像１５０Ａ、１５０Ｂ、１５０Ｃの表現に加えて使用され得る。

【0035】

[0037] 図１は、３つのセンサ１４０Ａ、１４０Ｂ、１４０Ｃを示すが、一部の実装形態では、単一のセンサ（図１に示されていない）が使用され得る。同様に言えば、一部の実装形態では、カメラ系１００は、複数のメタ光学レンズ及び複数のフィルタを含み得るが、単一のセンサのみを含み得る。換言すれば、一部の実装形態では、単一のセンサは、複数の異なるメタ光学レンズ及びフィルタと関連する（例えば、それらを通過した）光を受け取ることができる。複数のメタ光学レンズからの各メタ光学レンズを通過した光は、センサの異なるセクションに入射することができる（幾つかのセクション間に幾らかの重複があることもあれば又はないこともある）。例えば、メタ光学レンズ１３０Ａを通過した光は、単一のセンサの左部に入射することができ、メタ光学レンズ１３０Ｂを通過した光は、単一のセンサの中央部に入射することができ、メタ光学レンズ１３０Ｃを通過した光は、単一のセンサの右部に入射することができ、一部の実装形態では、中央部の一部は、左部と部分的に重複し、中央部の異なる一部は、右部と部分的に重複する。

【0036】

[0038] 図１に示されるフィルタ１２０Ａ、１２０Ｂ及び１２０Ｃは、それぞれメタ光学レンズ１３０Ａ、１３０Ｂ及び１３０Ｃの前方にある（例えば、メタ光学レンズと接触して）が、フィルタ１２０Ａ、１２０Ｂ、１２０Ｃの場所は、他の実装形態では変わり得る。例えば、フィルタ（例えば、フィルタ１２０Ａ又はＩＲフィルタ）は、センサ（例えば、センサ１４０Ａ）の前方（例えば、その真上）に配置され得る。別の例として、アパーチャがメタ光学レンズ（例えば、メタ光学レンズ１３０Ａ）とセンサ（例えば、センサ１４０Ａ）との間に配置される場合、フィルタ（例えば、フィルタ１２０Ａ又はＩＲフィルタ）は、（１）メタ光学レンズとアパーチャとの間（例えば、アパーチャの真上）、又は（２）アパーチャとセンサとの間（例えば、センサの真上）に配置され得る。

【0037】

[0039] 図１に示されていないが、一部の実装形態では、反射防止（ＡＲ）コーティング及び／又は赤外線（ＩＲ）コーティングがカメラ系１００で使用され得る。一部の実装形態では、ＡＲコーティング及び／又はＩＲコーティングは、メタ光学レンズ（例えば、レンズ全体、レンズの片面等）に配設及び／又は塗布され得る。一部の実装形態では、ＡＲコーティング及び／又はＩＲコーティングは、フィルタ（例えば、フィルタ全体、フィルタの片面等）に塗布及び／又は配設され得る。

【0038】

[0040] 第１の物体が第２の物体の「前方」に配置されることは、第１の物体が、第２の物体よりも、カメラ１１０Ａ、１１０Ｂ、１１０Ｃに入る入射光に近いことを指し得る。第１の物体が第２の物体の「後方」に配置されることは、第２の物体が、第１の物体よりも、カメラ１１０Ａ、１１０Ｂ、１１０Ｃに入る入射光に近いことを指し得る。第１の物体及び／又は第２の物体は、例えば、メタ光学レンズ、カラーフィルタ、ＩＲフィルタ、屈折要素、フィルタ又はセンサであり得る。

【0039】

[0041] 一実施形態では、カメラ系は、スペクトル応答（例えば、赤、緑又は青の１つ）を有する第１のフィルタ（例えば、フィルタ１２０Ａ）、第１のメタ光学レンズ（例えば、メタ光学レンズ１３０Ａ）及び第１のセンサ（例えば、センサ１４０Ａ）を含む第１のカメラ（例えば、カメラ１１０Ａ）を含む。カメラ系は、第１のフィルタのスペクトル応答と異なるスペクトル応答（例えば、赤、緑又は青の１つ）を有する第２のフィルタ（例えば、フィルタ１２０Ｂ）、第２のメタ光学レンズ（例えば、メタ光学レンズ１３０Ｂ）及び第２のセンサ（例えば、センサ１４０Ｂ）を含む第２のカメラ（例えば、カメラ１１０Ｂ）も含む。カメラ系は、第１のカメラによって捕捉されたシーンの第１の画像（例えば、画像１５０Ａ）の表現を受信することと、第２のカメラによって捕捉されたシーンの第２の画像（例えば、画像１５０Ｂ）の表現を受信することと、第１の画像の表現及び第２の画像の表現に基づいて、シーンの重畳画像（例えば、画像１９０）の表現を生成することとを行うように構成されたプロセッサ（例えば、プロセッサ１７０）も含み、重畳画像の表現は、第１の画像の表現の収差及び第２の画像の表現の収差よりも小さい収差を有する。一部の実装形態では、重畳画像の表現は、形成画像に変換され、ディスプレイを介して表示される。

【0040】

[0042] 一部の実装形態では、カメラ系は、第１のフィルタのスペクトル応答及び第２のフィルタのスペクトル応答と異なる第３のスペクトル応答（例えば、赤、緑又は青の１つ）を有する第３のフィルタ、第３のメタ光学レンズ（例えば、メタ光学レンズ１３０Ｃ）及び第３のセンサ（例えば、センサ１４０Ｃ）を含む第３のカメラ（例えば、カメラ１１０Ｃ）を更に含み、そのような実装形態では、プロセッサは、第３のカメラによって捕捉されたシーンの第３の画像（例えば、画像１５０Ｃ）の表現を受信するように更に構成され得、その場合、シーンの重畳画像の表現を生成することは、第３の画像の表現に更に基づき得る。

【0041】

[0043] 一部の実装形態では、カメラ系は、第１のフィルタのスペクトル応答と実質的に同様であるが、第２のフィルタのスペクトル応答と実質的に同様ではない第３のスペクトル応答（例えば、赤、緑又は青の１つ）を有する第３のフィルタ、第３のメタ光学レンズ（例えば、メタ光学レンズ１３０Ｃ）及び第３のセンサ（例えば、センサ１４０Ｃ）を含む第３のカメラ（例えば、カメラ１１０Ｃ）を更に含み、そのような実装形態では、プロセッサは、第３のカメラによって捕捉されたシーンの第３の画像（例えば、画像１５０Ｃ）の表現を受信するように更に構成され得、その場合、第１の画像の表現及び第３の画像の表現は、重畳画像の表現の生成中、視差補正及びノイズ低減のために使用される。

【0042】

[0044] 一部の実装形態では、第１のフィルタのスペクトル応答は、赤を含み、第２のフィルタのスペクトル応答は、緑を含み、及び第３のフィルタのスペクトル応答は、青を含む。一部の実装形態では、第１のカメラ、第２のカメラ及び第３のカメラは、共通の平面に配設され（例えば、横に並べて）、第２のカメラは、第１のカメラと第２のカメラとの間に配設される。

【0043】

[0045] 一部の実装形態では、反射防止コーティングが第１のメタ光学レンズのみ、第２のメタ光学レンズのみ又は第１のメタ光学レンズと第２のメタ光学レンズとの両方に配設される。一部の実装形態では、赤外線コーティングが第１のメタ光学レンズのみ、第２のメタ光学レンズのみ又は第１のメタ光学レンズと第２のメタ光学レンズとの両方に配設される。

【0044】

[0046] 一部の実装形態では、カメラ系は、（１）第１のメタ光学レンズと第１のフィルタとの間、及び（２）第２のメタ光学レンズと第２のフィルタとの間に配置された少なくとも１つのアパーチャストップを更に含む。一部の実装形態では、カメラ系は、（１）第１のメタ光学レンズと第１のセンサとの間、及び（２）第２のメタ光学レンズと第２のセンサとの間に配置された少なくとも１つのアパーチャストップを更に含む。

【0045】

[0047] 一部の実装形態では、カメラ系は、第１のフィルタのスペクトル応答、第２のフィルタのスペクトル応答及び第３のフィルタのスペクトル応答と異なる第４のスペクトル応答を有する第４のフィルタ（例えば、黄色カラーフィルタ）、第４のメタ光学レンズ及び第４のセンサを含む第４のカメラ（図１に示されていない）を更に含み、そのような実装形態では、プロセッサは、第４のカメラによって捕捉されたシーンの第４の画像の表現を受信するように更に構成され得、その場合、シーンの重畳画像の表現を生成することは、第４の画像の表現に更に基づき得る。

【0046】

[0048] 一実施形態では、カメラ系は、シーンの複数の画像（例えば、画像１５０Ａ、１５０Ｂ又は１５０Ｃの少なくとも２つ）の表現を生成するように構成された複数（例えば、２、３、４、５つ等）のカメラ（例えば、カメラ１１０Ａ、１１０Ｂ又は１１０Ｃの少なくとも２つ）を含み、複数のカメラからの各カメラは、それぞれの残りのカメラのフィルタのスペクトル応答と異なるスペクトル応答を有するフィルタ（例えば、フィルタ１２０Ａ、１２０Ｂ又は１２０Ｃ）、メタ光学レンズ（例えば、メタ光学レンズ１３０Ａ、１３０Ｂ又は１３０Ｃ）及びセンサ（例えば、センサ１４０Ａ、１４０Ｂ又は１４０Ｃ）を含む。カメラ系は、シーンの複数の画像の表現を受信することと、複数の画像の表現に基づいて、シーンの重畳画像（例えば、画像１９０）の表現を生成することとを行うように構成されたプロセッサ（例えば、プロセッサ１７０）を更に含む。

【0047】

[0049] 一部の実装形態では、重畳画像の表現を生成することは、視差補正、デコンボリューション、歪み補正及び／又はアップサンプリングを複数の画像の表現に実行して、複数の重畳画像の表現を生成することと、複数の重畳画像の表現を重畳して、重畳画像の表現を形成することとを含み得る。

【0048】

[0050] 一部の実装形態では、カメラ系は、２つのみのカメラを含む。そのような場合、複数の画像は、少なくとも第１の画像及び第２の画像を含み得る（一部の実装形態では追加の画像はない）。一部の実装形態では、カメラ系は、３つのみのカメラを含む。そのような場合、複数の画像は、少なくとも第１の画像、第２の画像及び第３の画像を含み得る（一部の実装形態では追加の画像はない）。一部の実装形態では、カメラ系は、４つのみのカメラを含む。そのような実施形態では、複数の画像は、少なくとも第１の画像、第２の画像、第３の画像及び第４の画像を含み得る（一部の実装形態では追加の画像はない）。

【0049】

[0051] 一部の実装形態では、カメラ系１００は、バッフルを含む。例えば、バッフルは、光が、メタ光学レンズ１３０Ａ、１３０Ｂ、１３０Ｃを通過する前にバッフルを通過するようにメタ光学レンズ１３０Ａ、１３０Ｂ、１３０Ｃの上方に配置され得る。一部の実装形態では、バッフルは、メタ光学レンズから遠い端部でより広く、メタ光学レンズに近いほど狭くなり、高角度光線をなくす。一部の実装形態では、バッフルは、アパーチャストップに取り付けられ、アパーチャストップとしても作用する。一部の実装形態では、バッフルは、カメラ系１００の長さに沿って垂直に突出する。バッフルは、所与のカメラ１１０Ａ、１１０Ｂ、１１０Ｃが光を受け取れるようにしながら、他のカメラ１１０Ａ、１１０Ｂ、１１０Ｃへの光を遮断する（その光は、他のカメラ１１０Ａ、１１０Ｂ、１１０Ｃの始点から高角度光と見なすことができる）ことにより、クロストークをなくし、及び／又は低減することができる。

【0050】

[0052] 図２は、一実施形態による、バッフル及び複数のメタ光学レンズを有するカメラ系を示す。フィルタ２０６は、４つのフィルタを含む － 赤フィルタ２０６Ａ、緑フィルタ２０６Ｂ、緑フィルタ２０６Ｃ及び青フィルタ２０６Ｄ。メタ光学レンズ２０４は、４つのメタ光学レンズを含む － メタ光学レンズ２０４Ａ、メタ光学レンズ２０４Ｂ、メタ光学レンズ２０４Ｃ及びメタ光学レンズ２０４Ｄ。バッフル２０２は、４つの開口部を含む － 開口部２０２Ａ、開口部２０２Ｂ、開口部２０２Ｃ及び開口部２０２Ｄ。光は、開口部２０２Ａを通過し、メタ光学レンズ２０４Ａを通過し、及びフィルタ２０６Ａを通過してイメージセンサに到達することができる。光は、開口部２０２Ｂを通過し、メタ光学レンズ２０４Ｂを通過し、及びフィルタ２０６Ｂを通過してイメージセンサに到達することもできる。光は、開口部２０２Ｃを通過し、メタ光学レンズ２０４Ｃを通過し、及びフィルタ２０６Ｃを通過してイメージセンサに到達することができる。光は、開口部２０２Ｄを通過し、メタ光学レンズ２０４Ｄを通過し、及びフィルタ２０６Ｄを通過してイメージセンサに到達することができる。

【0051】

[0053] 図２は、バッフル２０２を有し、別個のアパーチャストップがないカメラ系を示しているが、バッフル２０２は、アパーチャストップとして作用するように構成され得る。例えば、開口部２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの各上部の外周は、カメラ系の他の寸法に対するその外周のサイズに応じてアパーチャストップとして作用することができる。代替的に、開口部２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの各下部の外周は、カメラ系の他の寸法に対するその外周のサイズに応じてアパーチャストップとして作用することができる。加えて又は代わりに、別個のアパーチャストップが含まれ得る。

【0052】

[0054] 図３は、一実施形態による、それぞれメタ光学レンズ及び独自のカラーフィルタを使用して捕捉された複数の画像の表現に基づいて画像の表現を生成する方法のフローチャートを示す。一部の実装形態では、図３に関して論じられる方法は、プロセッサ１７０によって／プロセッサ１７０において実行され得る。

【0053】

[0055] ３０２では、複数のカメラ（例えば、カメラ１１０Ａ、１１０Ｂ、１１０Ｃ）によって捕捉されたシーンの複数（例えば、２、３、４、５つ）の画像（例えば、画像１５０Ａ、１５０Ｂ、１５０Ｃ）の表現を受信し、複数のカメラからの各カメラは、フィルタ（例えば、フィルタ１２０Ａ、１２０Ｂ又は１２０Ｃ）、メタ光学レンズ（例えば、メタ光学レンズ１３０Ａ、１３０Ｂ又は１３０Ｃ）及びセンサ（例えば、センサ１４０Ａ、１４０Ｂ又は１４０Ｃ）を含む。複数のカメラからの各カメラについて、カメラのフィルタのスペクトル応答は、複数のカメラからのそれぞれの残りのカメラのフィルタのスペクトル応答と異なる。３０４では、複数の画像の表現に基づいて、シーンの重畳された補正画像（例えば、画像１９０）の表現を生成する。一部の実装形態では、３０４において、複数の画像の表現が複数の重畳画像の表現に変換され（例えば、視差補正、デコンボリューション、歪み補正及び／又はアップサンプリングソフトウェアを介して）、複数の重畳画像の表現が重畳されて、重畳された補正画像の表現を生成する。一部の実装形態では、３０４において、重畳された補正画像の表現が形成画像に変換され、重畳された補正画像の表現の生成に応答してディスプレイに表示される（例えば、自動的に及び更なる人間による入力を必要とすることなく）。

【0054】

[0056] 一部の実装形態では、複数のカメラは、２つのみのカメラを含む。一部の実装形態では、複数のカメラは、３つのみのカメラを含む。一部の実装形態では、複数のカメラは、４つのみのカメラを含む。一部の実装形態では、複数のカメラは、５つ以上のカメラを含む。

【0055】

[0057] 一部の実装形態では、複数のカメラが４つのカメラを含む場合、第１のカメラのフィルタのスペクトル応答は、赤を含み、第２のカメラのフィルタのスペクトル応答は、緑を含み、第３のカメラのフィルタのスペクトル応答は、青を含み、及び第４のカメラのフィルタのスペクトル応答は、赤、緑及び青と異なる色（例えば、黄色、シアン、マゼンタ等）を含む。

【0056】

[0058] 一部の実装形態では、複数のカメラが４つのカメラを含む場合、第１のカメラのフィルタのスペクトル応答は、赤を含み、第２のカメラのフィルタのスペクトル応答は、緑を含み、第３のカメラのフィルタのスペクトル応答は、青を含み、及び第４のカメラのフィルタは、赤外線フィルタである。

【0057】

[0059] 一部の実装形態では、複数のカメラは、任意の数のカメラ（例えば、少なくとも５つのカメラ、少なくとも１０個のカメラ、少なくとも２０個のカメラ等）を含む。一部の実装形態では、複数のカメラからの各カメラは、異なるスペクトル応答に関連付けられ得る。一部の実装形態では、複数のカメラからの２つ以上のカメラは、同じスペクトル応答を有することができる。一部の実装形態では、複数のカメラからの２つ以上のカメラは、同じスペクトル応答を有し、複数のカメラからの残りのカメラは、残りのカメラからの他の全てのカメラと異なるスペクトル応答に関連付けられ、例えば、第１のカメラは、緑を含むスペクトル応答に関連付けられ、第２のカメラは、緑を含むスペクトル応答に関連付けられ、第３のカメラは、赤を含むスペクトル応答に関連付けられ、第４のカメラは、青を含むスペクトル応答に関連付けられ、第５のカメラは、黄色を含むスペクトル応答に関連付けられる。

【0058】

[0060] 上記の概念及び本明細書で論じられる追加の概念の全ての組合せ（そのような概念が相互に矛盾しない場合）は、本明細書に開示される趣旨の一部であるものとして企図される。参照により援用される任意の開示にも出現し得る、本明細書で明示的に用いられる用語は、本明細書に開示される特定の概念と最も合致する意味に従うべきである。

【0059】

[0061] 当業者は、図面が主に例示を目的し、本明細書に記載される趣旨の範囲の限定を意図しないことを理解するであろう。図面は、必ずしも一定の縮尺ではなく、本明細書に開示される趣旨の種々の態様は、異なる特徴の理解を促進するために、図面で誇張又は拡大されて示されていることがある。図面では、同様の参照符号は、一般に、同様の特徴（例えば、機能的に同様及び／又は構造的に同様の要素）を指す。

【0060】

[0062] 種々の問題に対処し、技術を進めるために、本願全体（カバーページ、タイトル、見出し、背景、概要、図面の簡単な説明、詳細な説明、実施形態、要約書、図、付録等）は、例示として、実施形態が実施され得る種々の実施形態を示している。本願の利点及び特徴は、実施形態の代表的な実例にすぎず、網羅的及び／又は排他的ではない。むしろ、それらは、理解を促進し、実施形態を教示するために提示されており、全ての実施形態を代表するものではない。したがって、本開示の特定の態様は、本明細書で論じられていない。革新の特定の部分についての代替の実施形態が提示されていない場合があること又は説明されていない更なる代替の実施形態が一部分について利用可能であり得ることは、そのような代替の実施形態を本開示の範囲から除外するものとして見なされるべきではない。それらの説明されていない実施形態の多くは、同じ革新原理を組み込んでおり、他の実施形態も均等であることが理解されるであろう。したがって、本開示の範囲及び／又は本開示の趣旨から逸脱することなく、他の実施形態が利用可能であり、機能的、論理的、動作的、組織的、構造的及び／又はトポロジー的な修正形態がなされ得ることを理解されたい。したがって、全ての例及び／又は実施形態は、本開示全体を通して非限定的であると見なされる。

【0061】

[0063] 本明細書で説明される実施形態について、本明細書で説明されていない実施形態に関してスペース及び繰り返しを減らすためにそのようになっている以外、推論を引き出すべきでもない。例えば、図及び／又は全体を通して記載されているような任意のプログラム構成要素（構成要素の集合）、他の構成要素及び／又は任意の現在の特徴セットの任意の組合せの論理的及び／又はトポロジー的構造は、固定された動作順序及び／又は配置に限定されず、むしろ、任意の開示された順序は、例示的であり、順序に関係なく、全ての均等物が本開示によって企図されることを理解されたい。

【0062】

[0064] 種々の概念が１つ以上の方法として実施され得、その少なくとも１つの例が提供されている。方法の一環として実行される行為は、任意の適した方法で順序付けられ得る。したがって、例示的な実施形態では、連続した動作として示されているにもかかわらず、幾つかの行為を同時に実施することを含み得る、例示されたものと異なる順序で行為が実行される実施形態が構成され得る。別の言い方をすれば、そのような特徴は、必ずしも特定の実行順序に限定されず、むしろ、本開示と一致するように、連続、非同期、同時、並列、同時及び／又は同期等で実行され得る任意の数のスレッド、プロセス、サービス及び／又はサーバ等であることを理解されたい。したがって、これらの特徴の幾つかは、それらが単一の実施形態に同時に存在することができない点で相互に矛盾し得る。同様に、一部の特徴は、革新のある態様に適用可能であり、他のものに適用できないものもある。

【0063】

[0065] 更に、本開示は、現在説明されていない他の革新を含み得る。本出願人は、そのような革新を実施し、追加出願、継続出願、一部継続出願及び／又は分割出願等の権利を含む、そのような革新における全ての権利を留保する。このように、本開示の利点、実施形態、例、機能、特徴、論理的、動作的、組織的、構造的、トポロジー的及び／又は他の態様は、実施形態によって規定される本開示に対する限定又は実施形態の均等物に対する限定と見なされるべきではないことを理解されたい。個人及び／又は企業ユーザの特定の要望及び／又は特性、データベース構成及び／又はリレーショナルモデル、データタイプ、データ伝送及び／又はネットワークフレームワーク及び／又は構文構造等に応じて、本明細書に開示される技術の種々の実施形態は、本明細書に記載されるように、多大な柔軟性及びカスタマイズを可能にするように実施され得る。

【0064】

[0066] 本明細書で定義及び使用される全ての定義は、辞書定義、参照により援用される文献中の定義及び／又は定義された用語の通常の意味よりも優先されると理解されるものとする。

【0065】

[0067] 本明細書で使用される場合、特定の実施形態では、数値の前にある場合、「約」又は「およそ」という用語は、値プラス又はマイナス１０％の範囲を示す。値の範囲が提供される場合、文脈が明確にそうでないことを指示しない限り、下限の単位の１０分の１まで、その範囲の上限と下限との間の各介在値と、その記述された範囲内の任意の他の記述された値又は介在値とが本開示内に包含されることを理解されたい。これらのより小さい範囲の上限及び下限は、独立して、より小さい範囲に含まれ得、所定の範囲の任意の具体的に除外される限界値の対象となり、本開示内に包含される。記述された範囲が限界の一方又は両方を含む場合、それらの含まれた限界の一方又は両方を除外する範囲も本開示に含まれる。

【0066】

[0068] 本明細書及び実施形態で使用される場合、明確にそれに反して示されない限り、不定冠詞「１つの（a）」及び「１つの（an）」は、「少なくとも１つ」を意味すると理解されたい。

【0067】

[0069] 本明細書及び実施形態において本願で使用される場合、「及び／又は」という語句は、そのように結合された要素、即ち場合により連結的に存在し、他の場合には分離的に存在する要素の「いずれか又は両方」を意味すると理解されたい。「及び／又は」で列挙される複数の要素は、同じ様式、即ちそのように結合された要素の「１つ以上」として解釈されたい。「及び／又は」節によって具体的に特定される要素以外の他の要素は、具体的に特定されるそれらの要素に関連するか又はしないかにかかわらず、任意選択的に存在し得る。したがって、非限定的な例として、「Ａ及び／又はＢ」への言及は、「含む」等のオープンエンド言語と併用される場合、一実施形態ではＡのみ（任意選択的にＢ以外の要素を含む）、別の実施形態ではＢのみ（任意選択的にＡ以外の要素を含む）、また別の実施形態ではＡ及びＢの両方（任意選択的に他の要素を含む）等を指し得る。

【0068】

[0070] 本明細書及び実施形態において本願で使用される場合、「又は」は、上記で定義された「及び／又は」と同じ意味を有すると理解されたい。例えば、リスト内の項目を区切る場合、「又は」又は「及び／又は」は、包括的であると解釈され、即ち要素の数又はリストの少なくとも１つを含むが、２つ以上及び任意選択的に追加のリストされていない項目を含むと解釈される。例えば、「～の１つのみ」若しくは「～の正確に１つ」又は実施形態で使用される場合には「からなる」等、反対に明確に示される用語のみが要素の数又はリストの正確に１つの要素の包含を指すであろう。一般に、本明細書で使用される場合、「又は」という用語は、排他性の用語、例えば「いずれか」、「～の１つ」、「～の１つのみ」又は「～の正確に１つ」が先行する場合にのみ、排他的代替（即ち「一方又は他方であるが、両方ではない」）を示すものとして解釈されたい。「本質的に～からなる」は、実施形態で使用される場合、特許法の分野で使用される通常の意味を有するものとする。

【0069】

[0071] 本明細書及び実施形態において本願で使用される場合、１つ以上の要素のリストを参照した「少なくとも１つ」という語句は、要素のリスト内の要素の任意の１つ以上から選択される少なくとも１つの要素を意味すると理解されるべきであるが、必ずしも要素のリスト内に具体的に列記されるあらゆる要素の少なくとも１つを含むものではなく、要素のリスト内の要素の任意の組合せを除外しない。この定義では、具体的に識別される要素に関連するかどうかにかかわらず、「少なくとも１つ」という語句が指す要素のリスト内で具体的に識別される要素以外の要素が任意選択的に存在し得ることも可能である。したがって、非限定的な例として、「Ａ及びＢの少なくとも１つ」（又は均等に「Ａ又はＢの少なくとも１つ」若しくは均等に「Ａ及び／又はＢの少なくとも１つ」）は、一実施形態では、少なくとも１つ、任意選択的に２つ以上のＡを含み、Ｂが存在せず（及び任意選択的にＢ以外の要素を含む）、別の実施形態では、少なくとも１つ、任意選択的に２つ以上のＢを含み、Ａが存在せず（及び任意選択的にＡ以外の要素を含む）、また別の実施形態では、少なくとも１つ、任意選択的に２つ以上のＡ及び少なくとも１つ、任意選択的に２つ以上のＢを含む（及び任意選択的に他の要素を含む）ことなどを指し得る。

【0070】

[0072] 実施形態及び上記の本明細書では、「含む」、「包含する」、「担持する」、「有する」、「含有する」、「伴う」、「保持する」、「構成される」等の全ての移行句は、開形式であること、即ち「含むが、限定されない」を意味することを理解されたい。United States Patent Office Manual of Patent Examining Proceduresの２１１１．０３項に記載されるように、「からなる」及び「から本質的になる」という移行句のみがそれぞれ閉形式又は半閉形式の移行句でなければならない。

【0071】

[0073] 一部の実施形態及び／又は方法は、ソフトウェア（ハードウェア上で実行される）、ハードウェア又はそれらの組合せによって実行され得る。ハードウェアモジュールは、例えば、プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又は特定用途向け集積回路（ＡＳＩＣ）を含み得る。ソフトウェアモジュール（ハードウェア上で実行される）は、プロセッサに動作可能に結合されたメモリに格納された命令を含み得、C、C++、Java（商標）、Ruby、Visual Basic（商標）及び／又は他のオブジェクト指向、手続き型又は他のプログラミング言語及び開発ツールを含む多様なソフトウェア言語（例えば、コンピュータコード）で表現され得る。コンピュータコードの例として、マイクロコード又はマイクロ命令、コンパイラによって生成されたものなどのマシン命令、ウェブサービスを生成するために使用されるコード及びインタプリタを使用してコンピュータによって実行されるより高水準命令を内包するファイルが挙げられるが、これらに限定されない。例えば、実施形態は、命令型プログラミング言語（例えば、C、Fortran等）、関数型プログラミング言語（Haskell、Erlang等）、論理プログラミング言語（例えば、Prolog）、オブジェクト指向プログラミング言語（例えば、Java、C++等）又は他の好適なプログラミング言語及び／又は開発ツールを使用して実装され得る。コンピュータコードの追加の例として、制御信号、暗号化コード及び圧縮コードが挙げられるが、これらに限定されない。

【0072】

[0074] 「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械等を包含するように広く解釈されるべきである。一部の状況では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等を指し得る。「プロセッサ」という用語は、処理デバイスの組合せ、例えばＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと併せた１つ以上のマイクロプロセッサ又は任意の他のそのような構成を指し得る。

【0073】

[0075] 「メモリ」という用語は、電子情報を格納することができる任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光学データ記憶装置、レジスタ等の種々のタイプのプロセッサ可読媒体を指し得る。プロセッサがメモリから情報を読み取ることができる場合及び／又はメモリに情報を書き込むことができる場合、メモリは、プロセッサと電子通信すると言われる。プロセッサに不可欠なメモリは、プロセッサと電子通信する。

【0074】

[0076] 「命令」及び「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むように広く解釈されるべきである。例えば、「命令」及び「コード」という用語は、１つ以上のプログラム、ルーチン、サブルーチン、関数、プロシージャ等を指し得る。「命令」及び「コード」は、単一のコンピュータ可読ステートメント又は多くのコンピュータ可読ステートメントを含み得る。

【0075】

[0077] 本開示の特定の実施形態を上記で概説したが、多くの代替形態、修正形態及び変形形態が当業者に明らかであろう。したがって、実施形態は、本明細書に記載されるように、限定するものではなく、例示的であることが意図される。本開示の趣旨及び範囲から逸脱することなく、種々の変更形態がなされ得る。

【図1】

【図2】

【図3】

【国際調査報告】