特許 7527368 より深い被写界深度の分割ピクセルデータの合併

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-25

(45)【発行日】2024-08-02

(54)【発明の名称】より深い被写界深度の分割ピクセルデータの合併

(51)【国際特許分類】

   H04N 23/958 20230101AFI20240726BHJP

   G02B 7/34 20210101ALI20240726BHJP

【ＦＩ】

H04N23/958

G02B7/34

【請求項の数】 15

(21)【出願番号】P 2022528667

(86)(22)【出願日】2021-02-24

(65)【公表番号】

(43)【公表日】2023-05-11

(86)【国際出願番号】 US2021019390

(87)【国際公開番号】W WO2022182340

(87)【国際公開日】2022-09-01

【審査請求日】2022-08-31

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ガーグ，ラフル

(72)【発明者】

【氏名】ワドワ，ニール

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２０１９－１２９３７４（ＪＰ，Ａ）

【文献】特開２０１９－０７１５９６（ＪＰ，Ａ）

【文献】特開２０１５－１１９４１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／９５８

Ｇ０２Ｂ ７／３４

(57)【特許請求の範囲】

【請求項1】

コンピュータ実施方法であって、
分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含み、前記分割ピクセルカメラは、画像センサを含み、前記画像センサの複数のピクセルの各ピクセルは、第１のフォトサイトと第２のフォトサイトとを有し、前記分割ピクセル画像データは、前記第１のフォトサイトによって生成される画像データに対応する第１の部分画像と前記第２のフォトサイトによって生成される画像データに対応する第２の部分画像とを含み、
前記分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、前記分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することと、
前記複数のピクセルの各ピクセルによって示された前記シーン特徴の前記対応する位置に基づいて、前記複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することとを含み、前記１つ以上の焦点外れピクセルによって示されたシーン特徴は、前記被写界深度の外側に位置し、
前記１つ以上の焦点外れピクセルの各焦点外れピクセルについて、前記第１の部分画像の第１のピクセルに対応する第１の値および／または前記第２の部分画像の第２のピクセルに対応する第２の値に基づいて、増加された鮮明度を有する対応するピクセル値を決定することを含み、前記対応するピクセル値への前記第１および第２の値の各々の寄与は、（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置と、（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの位置と、（ｉｉｉ）前記第１の部分画像および前記第２の部分画像のうち、前記各焦点外れピクセルに関連してより高い周波数コンテンツを含む特定の部分画像との間のマッピングに基づいて決定され、前記特定の部分画像に含まれる前記第１または前記第２のピクセルは、前記特定の部分画像に含まれない前記ピクセルよりも大きい寄与を有し、
決定された前記各焦点外れピクセルの前記対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することとを含む、コンピュータ実施方法。

【請求項2】

前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、前記各焦点外れピクセルの前記対応する第１のピクセルまたは前記対応する第２のピクセルのうちの１つを、前記各焦点外れピクセルのソースピクセルとして選択することと、
前記ソースピクセルの値に基づいて、前記各焦点外れピクセルの前記対応するピクセル値を決定することとを含む、請求項１に記載のコンピュータ実施方法。

【請求項3】

コンピュータ実施方法であって、
分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含み、前記分割ピクセルカメラは、画像センサを含み、前記画像センサの複数のピクセルの各ピクセルは、特定の方向に沿って配置される、第１のフォトサイトおよび第２のフォトサイトを有し、前記第１のフォトサイトは、前記複数のピクセルの各ピクセルにおいて、前記特定の方向の上流側に位置し、前記第２のフォトサイトは、前記複数のピクセルの各ピクセルにおいて、前記特定の方向の下流側に位置し、前記分割ピクセル画像データは、前記第１のフォトサイトによって生成される画像データに対応する第１の部分画像と前記第２のフォトサイトによって生成される画像データに対応する第２の部分画像とを含み、
前記分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、前記分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することと、
前記複数のピクセルの各ピクセルによって示された前記シーン特徴の前記対応する位置に基づいて、前記複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することとを含み、前記１つ以上の焦点外れピクセルによって示されたシーン特徴は、前記被写界深度の外側に位置し、
（ｉ）前記１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの位置、および（ｉｉｉ）前記第１の部分画像内の対応する第１のピクセルの第１の値または前記第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、前記各焦点外れピクセルの対応するピクセル値を決定することと、
決定された前記各焦点外れピクセルの前記対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することとを含み、
前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、前記各焦点外れピクセルの前記対応する第１のピクセルまたは前記対応する第２のピクセルのうちの１つを、前記各焦点外れピクセルのソースピクセルとして選択することと、
前記ソースピクセルの値に基づいて、前記各焦点外れピクセルの前記対応するピクセル値を決定することとを含み、
前記分割ピクセル画像データにおける、前記特定の方向の前記上流側に位置する第１の半分に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第１のピクセルは、前記ソースピクセルとして選択され、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第２のピクセルは、前記ソースピクセルとして選択され、
前記分割ピクセル画像データにおける、前記特定の方向の前記下流側に位置する第２の半分に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第２のピクセルは、前記ソースピクセルとして選択され、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第１のピクセルは、前記ソースピクセルとして選択される、コンピュータ実施方法。

【請求項4】

前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、前記各焦点外れピクセルの前記対応する第１のピクセルの第１の重みおよび前記対応する第２のピクセルの第２の重みを決定することと、
（ｉ）前記対応する第１のピクセルの前記第１の重みと前記第１の値の第１の積、および（ｉｉ）前記対応する第２のピクセルの前記第２の重みと前記第２の値の第２の積に基づいて、前記各焦点外れピクセルの前記対応するピクセル値を決定することとを含む、請求項１に記載のコンピュータ実施方法。

【請求項5】

コンピュータ実施方法であって、
分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含み、前記分割ピクセルカメラは、画像センサを含み、前記画像センサの複数のピクセルの各ピクセルは、特定の方向に沿って配置される、第１のフォトサイトおよび第２のフォトサイトを有し、前記第１のフォトサイトは、前記複数のピクセルの各ピクセルにおいて、前記特定の方向の上流側に位置し、前記第２のフォトサイトは、前記複数のピクセルの各ピクセルにおいて、前記特定の方向の下流側に位置し、前記分割ピクセル画像データは、前記第１のフォトサイトによって生成される画像データに対応する第１の部分画像と前記第２のフォトサイトによって生成される画像データに対応する第２の部分画像とを含み、
前記分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、前記分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することと、
前記複数のピクセルの各ピクセルによって示された前記シーン特徴の前記対応する位置に基づいて、前記複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することとを含み、前記１つ以上の焦点外れピクセルによって示されたシーン特徴は、前記被写界深度の外側に位置し、
（ｉ）前記１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの位置、および（ｉｉｉ）前記第１の部分画像内の対応する第１のピクセルの第１の値または前記第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、前記各焦点外れピクセルの対応するピクセル値を決定することと、
決定された前記各焦点外れピクセルの前記対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することとを含み、
前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、前記各焦点外れピクセルの前記対応する第１のピクセルの第１の重みおよび前記対応する第２のピクセルの第２の重みを決定することと、
（ｉ）前記対応する第１のピクセルの前記第１の重みと前記第１の値の第１の積、および（ｉｉ）前記対応する第２のピクセルの前記第２の重みと前記第２の値の第２の積に基づいて、前記各焦点外れピクセルの前記対応するピクセル値を決定することとを含み、
前記分割ピクセル画像データにおける、前記特定の方向の前記上流側に位置する第１の半分に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第１のピクセルの前記第１の重みは、前記対応する第２のピクセルの前記第２の重みよりも大きく、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第２のピクセルの前記第２の重みは、前記対応する第１のピクセルの前記第１の重みよりも大きく、
前記分割ピクセル画像データにおける、前記特定の方向の前記下流側に位置する第２の半分に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第２のピクセルの前記第２の重みは、前記対応する第１のピクセルの前記第１の重みよりも大きく、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第１のピクセルの前記第１の重みは、前記対応する第２のピクセルの前記第２の重みよりも大きい、コンピュータ実施方法。

【請求項6】

コンピュータ実施方法であって、
分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含み、前記分割ピクセルカメラは、画像センサを含み、前記画像センサの複数のピクセルの各ピクセルは、第１のフォトサイトと第２のフォトサイトとを有し、前記分割ピクセル画像データは、前記第１のフォトサイトによって生成される画像データに対応する第１の部分画像と前記第２のフォトサイトによって生成される画像データに対応する第２の部分画像とを含み、
前記分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、前記分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することと、
前記複数のピクセルの各ピクセルによって示された前記シーン特徴の前記対応する位置に基づいて、前記複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することとを含み、前記１つ以上の焦点外れピクセルによって示されたシーン特徴は、前記被写界深度の外側に位置し、
（ｉ）前記１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの位置、および（ｉｉｉ）前記第１の部分画像内の対応する第１のピクセルの第１の値または前記第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、前記各焦点外れピクセルの対応するピクセル値を決定することと、
決定された前記各焦点外れピクセルの前記対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することとを含み、
前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、前記各焦点外れピクセルの前記対応する第１のピクセルの第１の重みおよび前記対応する第２のピクセルの第２の重みを決定することと、
（ｉ）前記対応する第１のピクセルの前記第１の重みと前記第１の値の第１の積、および（ｉｉ）前記対応する第２のピクセルの前記第２の重みと前記第２の値の第２の積に基づいて、前記各焦点外れピクセルの前記対応するピクセル値を決定することとを含み、 前記第１の重みおよび前記第２の重みを決定することは、
前記分割ピクセル画像データ内に存在する複数の空間周波数の各空間周波数に対して、（ｉ）前記第１の部分画像内の前記各空間周波数の第１の大きさ、および（ｉｉ）前記第２の部分画像内の前記各空間周波数の第２の大きさを決定することと、
各空間周波数の前記第１の大きさと前記第２の大きさとの間の差を決定することと、
各空間周波数の前記第１の大きさの前記第１の重みおよび前記第２の大きさの前記第２の重みを決定することとを含み、
閾値周波数を上回り、閾値を超える差に関連する各空間周波数の前記第１の重みは、前記第２の重みとは異なり、前記第１の重みおよび前記第２の重みは、前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置に依存しており、
（ｉ）前記閾値周波数を下回る各空間周波数、または（ｉｉ）前記閾値周波数を上回り、前記閾値を超えない差に関連する各空間周波数の前記第１の重みは、前記第２の重みに等しく、
（ｉ）各焦点外れピクセルの前記対応する第１のピクセルの前記第１の値によって示された各空間周波数の前記第１の重みと前記第１の大きさとの第１の複数の積と、（ｉｉ）各焦点外れピクセルの前記対応する第２のピクセルの前記第２の値によって示された各空間周波数の前記第２の重みと前記第２の大きさとの第２の複数の積との和に基づいて、各焦点外れピクセルの前記対応するピクセル値を決定することを含む、コンピュータ実施方法。

【請求項7】

前記画像センサの前記複数のピクセルの各ピクセルは、前記第１のフォトサイトと前記第２のフォトサイトと第３のフォトサイトと第４のフォトサイトとを有し、前記分割ピクセル画像データは、前記第１の部分画像と、前記第２の部分画像と、前記第３のフォトサイトによって生成される画像データに対応する第３の部分画像と、前記第４のフォトサイトによって生成される画像データに対応する第４の部分画像とを含み、
前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、前記第１の部分画像内の前記対応する第１のピクセル、前記第２の部分画像内の前記対応する第２のピクセル、前記第３の部分画像内の対応する第３のピクセル、または前記第４の部分画像内の対応する第４のピクセルのうちの１つを、前記各焦点外れピクセルのソースピクセルとして選択することと、
前記ソースピクセルの値に基づいて、前記各焦点外れピクセルの前記対応するピクセル値を決定することとを含む、請求項１に記載のコンピュータ実施方法。

【請求項8】

コンピュータ実施方法であって、
分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含み、前記分割ピクセルカメラは、画像センサを含み、前記画像センサの複数のピクセルの各ピクセルは、当該ピクセルの第１象限、第２象限、第３象限および第４象限にそれぞれに位置する第１のフォトサイト、第２のフォトサイト、第３のフォトサイトおよび第４のフォトサイトを有し、前記分割ピクセル画像データは、前記第１のフォトサイトによって生成される画像データに対応する第１の部分画像と、前記第２のフォトサイトによって生成される画像データに対応する第２の部分画像と、前記第３のフォトサイトによって生成される画像データに対応する第３の部分画像と、前記第４のフォトサイトによって生成される画像データに対応する第４の部分画像とを含み、
前記分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、前記分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することと、
前記複数のピクセルの各ピクセルによって示された前記シーン特徴の前記対応する位置に基づいて、前記複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することとを含み、前記１つ以上の焦点外れピクセルによって示されたシーン特徴は、前記被写界深度の外側に位置し、
（ｉ）前記１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの位置、および（ｉｉｉ）前記第１の部分画像内の対応する第１のピクセルの第１の値または前記第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、前記各焦点外れピクセルの対応するピクセル値を決定することと、
決定された前記各焦点外れピクセルの前記対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することとを含み、
前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、前記第１の部分画像内の前記対応する第１のピクセル、前記第２の部分画像内の前記対応する第２のピクセル、前記第３の部分画像内の対応する第３のピクセル、または前記第４の部分画像内の対応する第４のピクセルのうちの１つを、前記各焦点外れピクセルのソースピクセルとして選択することと、
前記ソースピクセルの値に基づいて、前記各焦点外れピクセルの前記対応するピクセル値を決定することとを含み、
前記分割ピクセル画像データの第１象限に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第１のピクセルは、前記ソースピクセルとして選択され、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第４のピクセルは、前記ソースピクセルとして選択され、
前記分割ピクセル画像データの第２象限に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第２のピクセルは、前記ソースピクセルとして選択され、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第３のピクセルは、前記ソースピクセルとして選択され、
前記分割ピクセル画像データの第３象限に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第３のピクセルは、前記ソースピクセルとして選択され、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第２のピクセルは、前記ソースピクセルとして選択され、
前記分割ピクセル画像データの第４象限に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第４のピクセルは、前記ソースピクセルとして選択され、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第１のピクセルは、前記ソースピクセルとして選択される、コンピュータ実施方法。

【請求項9】

前記画像センサの前記複数のピクセルの各ピクセルは、前記第１のフォトサイトと前記第２のフォトサイトと第３のフォトサイトと第４のフォトサイトとを有し、前記分割ピクセル画像データは、前記第１の部分画像と、前記第２の部分画像と、前記第３のフォトサイトによって生成される画像データに対応する第３の部分画像と、前記第４のフォトサイトによって生成される画像データに対応する第４の部分画像とを含み、
前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、各焦点外れピクセルに対して、前記対応する第１のピクセルの第１の重み、前記対応する第２のピクセルの第２の重み、前記第３の部分画像内の対応する第３のピクセルの第３の重み、および前記第４の部分画像内の対応する第４のピクセルの第４の重みを決定することと、
（ｉ）前記対応する第１のピクセルの前記第１の重みと前記第１の値との第１の積、（ｉｉ）前記対応する第２のピクセルの前記第２の重みと前記第２の値との第２の積、（ｉｉｉ）前記対応する第３のピクセルの前記第３の重みと前記対応する第３のピクセルの第３の値との第３の積、および（ｉｖ）前記対応する第４のピクセルの前記第４の重みと前記対応する第４のピクセルの第４の値との第４の積に基づいて、各焦点外れピクセルの前記対応するピクセル値を決定することとを含む、請求項１に記載のコンピュータ実施方法。

【請求項10】

コンピュータ実施方法であって、
分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含み、前記分割ピクセルカメラは、画像センサを含み、前記画像センサの複数のピクセルの各ピクセルは、当該ピクセルの第１象限、第２象限、第３象限および第４象限にそれぞれに位置する第１のフォトサイト、第２のフォトサイト、第３のフォトサイトおよび第４のフォトサイトを有し、前記分割ピクセル画像データは、前記第１のフォトサイトによって生成される画像データに対応する第１の部分画像と、前記第２のフォトサイトによって生成される画像データに対応する第２の部分画像と、前記第３のフォトサイトによって生成される画像データに対応する第３の部分画像と、前記第４のフォトサイトによって生成される画像データに対応する第４の部分画像とを含み、
前記分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、前記分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することと、
前記複数のピクセルの各ピクセルによって示された前記シーン特徴の前記対応する位置に基づいて、前記複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することとを含み、前記１つ以上の焦点外れピクセルによって示されたシーン特徴は、前記被写界深度の外側に位置し、
（ｉ）前記１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの位置、および（ｉｉｉ）前記第１の部分画像内の対応する第１のピクセルの第１の値または前記第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、前記各焦点外れピクセルの対応するピクセル値を決定することと、
決定された前記各焦点外れピクセルの前記対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することとを含み、
前記対応するピクセル値を決定することは、
（ｉ）前記各焦点外れピクセルによって示された、前記被写界深度に対する前記シーン特徴の前記対応する位置、および（ｉｉ）前記分割ピクセル画像データ内の前記各焦点外れピクセルの前記位置に基づいて、各焦点外れピクセルに対して、前記対応する第１のピクセルの第１の重み、前記対応する第２のピクセルの第２の重み、前記第３の部分画像内の対応する第３のピクセルの第３の重み、および前記第４の部分画像内の対応する第４のピクセルの第４の重みを決定することと、
（ｉ）前記対応する第１のピクセルの前記第１の重みと前記第１の値との第１の積、（ｉｉ）前記対応する第２のピクセルの前記第２の重みと前記第２の値との第２の積、（ｉｉｉ）前記対応する第３のピクセルの前記第３の重みと前記対応する第３のピクセルの第３の値との第３の積、および（ｉｖ）前記対応する第４のピクセルの前記第４の重みと前記対応する第４のピクセルの第４の値との第４の積に基づいて、各焦点外れピクセルの前記対応するピクセル値を決定することとを含み、
前記分割ピクセル画像データの第１象限に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第１のピクセルの前記第１の重みは、前記対応する第２のピクセルの前記第２の重み、前記対応する第３のピクセルの前記第３の重み、および前記対応する第４のピクセルの前記第４の重みよりも大きく、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第４のピクセルの前記第４の重みは、前記対応する第１のピクセルの前記第１の重み、前記対応する第２のピクセルの前記第２の重み、および前記対応する第３のピクセルの前記第３の重みよりも大きく、
前記分割ピクセル画像データの第２象限に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第２のピクセルの前記第２の重みは、前記対応する第１のピクセルの前記第１の重み、前記対応する第３のピクセルの前記第３の重み、および前記対応する第４のピクセルの前記第４の重みよりも大きく、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第３のピクセルの前記第３の重みは、前記対応する第１のピクセルの前記第１の重み、前記対応する第２のピクセルの前記第２の重み、および前記対応する第４のピクセルの前記第４の重みよりも大きく、
前記分割ピクセル画像データの第３象限に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第３のピクセルの前記第３の重みは、前記対応する第１のピクセルの前記第１の重み、前記対応する第２のピクセルの前記第２の重み、および前記対応する第４のピクセルの前記第４の重みよりも大きく、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第２のピクセルの前記第２の重みは、前記対応する第１のピクセルの前記第１の重み、前記対応する第３のピクセルの前記第３の重み、および前記対応する第４のピクセルの前記第４の重みよりも大きく、
前記分割ピクセル画像データの第４象限に位置する焦点外れピクセルに対して、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の後方に位置するときに、前記対応する第４のピクセルの前記第４の重みは、前記対応する第１のピクセルの前記第１の重み、前記対応する第２のピクセルの前記第２の重み、および前記対応する第３のピクセルの前記第３の重みよりも大きく、
前記各焦点外れピクセルによって示された前記シーン特徴が前記被写界深度の前方に位置するときに、前記対応する第１のピクセルの前記第１の重みは、前記対応する第２のピクセルの前記第２の重み、前記対応する第３のピクセルの前記第３の重み、および前記対応する第４のピクセルの前記第４の重みよりも大きい、コンピュータ実施方法。

【請求項11】

前記分割ピクセル画像データの各部分画像は、前記分割ピクセルカメラの対応するフォトサイトによって、単一露光の一部として撮影される、請求項１から１０のいずれか一項に記載のコンピュータ実施方法。

【請求項12】

前記複数のピクセルの各ピクセルによって示された前記シーン特徴の前記対応する位置に基づいて、前記複数のピクセルのうちの１つ以上の合焦ピクセルを特定することをさらに含み、前記１つ以上の合焦ピクセルによって示されたシーン特徴は、前記被写界深度内に位置し、
前記第１の部分画像内の前記対応する第１のピクセルの前記第１の値と前記第２の部分画像内の前記対応する第２のピクセルの前記第２の値とを加算することによって、前記１つ以上の合焦ピクセルの各合焦ピクセルの対応するピクセル値を決定することをさらに含み、前記増強画像は、決定された各合焦ピクセルの前記対応するピクセル値にさらに基づいて生成される、請求項１から１１のいずれか一項に記載のコンピュータ実施方法。

【請求項13】

前記各ピクセルによって示された、前記分割ピクセルカメラの前記被写界深度に対する前記シーン特徴の前記対応する位置を決定することは、
前記分割ピクセル画像データの前記複数のピクセルの各ピクセルに対して、前記第１の部分画像内の前記対応する第１のピクセルと前記第２の部分画像内の前記対応する第２のピクセルとの間の差を決定することと、
前記差に基づいて、前記分割ピクセル画像データの前記複数のピクセルの各ピクセルの前記対応する位置を決定することとを含む、請求項１から１２のいずれか一項に記載のコンピュータ実施方法。

【請求項14】

システムであって、
プロセッサと、
前記プロセッサによって実行されると、前記プロセッサに請求項１から１３のいずれか一項に記載の動作を実行させる命令を記憶する非一時的なコンピュータ可読媒体とを含む、システム。

【請求項15】

コンピューティング装置によって実行されると、前記コンピューティング装置に請求項１から１３のいずれか一項に記載の動作を実行させるプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
シーンの対応する一部が画像を撮影するカメラ装置の被写界深度の外側に位置することによって、当該画像の一部は、ぼける可能性がある。ぼけの度合いは、被写界深度に対するシーンの対応する一部の位置に依存すると共に、ぼけ量は、シーンの対応する一部がカメラに向かう方向またはカメラから離れる方向のいずれかに沿って被写界深度から遠ざかることにつれて増加する。場合によって、画像のぼけは、望ましくないため、様々な画像処理技術、画像処理モデルおよび／または画像処理アルゴリズムを用いて調整または補正されてもよい。

【発明の概要】

【0002】

概要
分割ピクセルカメラは、複数の部分画像を含む分割ピクセル画像データを生成するように構成されてもよい。分割ピクセル画像データの焦点外れピクセルの場合、部分画像の周波数コンテンツは、（ｉ）画像データ内の焦点外れピクセルの位置と、（ｉｉ）焦点外れピクセルによって示された、分割ピクセルカメラの被写界深度（すなわち、ピクセル深度）に対するシーン特徴の位置との関数として変化することができる。具体的には、特定の焦点外れピクセルの場合、部分画像のうちの１つの部分画像は、特定の焦点外れピクセルに関連する位置および深度に応じて、他の部分画像に比べてより鮮明に見えることがある。したがって、ピクセル位置と、ピクセル深度と、部分画像周波数コンテンツとの間の関係は、分割ピクセルカメラに特徴付けられ、分割ピクセル画像データの一部の鮮明度を改善するために使用されてもよい。特に、部分画像のピクセルを合計するまたは等しく重み付けるのではなく、低周波数成分のみを含む部分画像ピクセルに比べて、低周波数成分および高周波数成分の両方を含む部分画像ピクセルにより大きな重みを付与することによって、得られた画像の見かけ鮮明度を高めることができる。

【0003】

第１の例示的な実施形態において、方法は、分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含んでもよい。分割ピクセル画像データは、第１の部分画像と第２の部分画像とを含んでもよい。また、この方法は、分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することを含んでもよい。さらに、この方法は、複数のピクセルの各ピクセルによって示されたシーン特徴の対応する位置に基づいて、複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することを含んでもよい。１つ以上の焦点外れピクセルは、被写界深度の外側に位置する。この方法は、（ｉ）１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置、および（ｉｉｉ）第１の部分画像内の対応する第１のピクセルの第１の値または第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、各焦点外れピクセルの対応するピクセル値を決定することを含んでもよい。この方法は、決定された各焦点外れピクセルの対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することをさらに含んでもよい。

【0004】

第２の例示的な実施形態において、システムは、プロセッサと、プロセッサによって実行されると、プロセッサに以下の動作を実行させる命令を記憶する非一時的なコンピュータ可読媒体とを含んでもよい。動作は、分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含んでもよい。分割ピクセル画像データは、第１の部分画像と第２の部分画像とを含んでもよい。また、動作は、分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することを含んでもよい。動作は、複数のピクセルの各ピクセルによって示されたシーン特徴の対応する位置に基づいて、複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することをさらに含んでもよい。１つ以上の焦点外れピクセルは、被写界深度の外側に位置する。動作は、（ｉ）１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置、および（ｉｉｉ）第１の部分画像内の対応する第１のピクセルの第１の値または第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、各焦点外れピクセルの対応するピクセル値を決定することを含んでもよい。動作は、決定された各焦点外れピクセルの対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することをさらに含んでもよい。

【0005】

第３の例示的な実施形態において、非一時的なコンピュータ可読媒体は、コンピューティング装置によって実行されると、コンピューティング装置に以下の動作を実行させる命令を記憶することができる。動作は、分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含んでもよい。分割ピクセル画像データは、第１の部分画像と第２の部分画像とを含んでもよい。また、動作は、分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することを含んでもよい。動作は、記複数のピクセルの各ピクセルによって示されたシーン特徴の対応する位置に基づいて、複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することをさらに含んでもよい。１つ以上の焦点外れピクセルは、被写界深度の外側に位置する。動作は、（ｉ）１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置、および（ｉｉｉ）第１の部分画像内の対応する第１のピクセルの第１の値または第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、各焦点外れピクセルの対応するピクセル値を決定することを含んでもよい。動作は、決定された各焦点外れピクセルの対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することをさらに含んでもよい。

【0006】

第４の例示的な実施形態において、システムは、分割ピクセルカメラによって撮影された分割ピクセル画像データを取得するための手段を含んでもよい。分割ピクセル画像データは、第１の部分画像と第２の部分画像とを含んでもよい。また、このシステムは、分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定するための手段を含んでもよい。さらに、このシステムは、複数のピクセルの各ピクセルによって示されたシーン特徴の対応する位置に基づいて、複数のピクセルのうちの１つ以上の焦点外れピクセルを特定するための手段を含んでもよい。１つ以上の焦点外れピクセルは、被写界深度の外側に位置する。このシステムは、（ｉ）１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置、および（ｉｉｉ）第１の部分画像内の対応する第１のピクセルの第１の値または第２の部分画像内の対応する第２のピクセルの第２の値うちの少なくとも１つに基づいて、各焦点外れピクセルの対応するピクセル値を決定するための手段を含んでもよい。このシステムは、決定された各焦点外れピクセルの対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成するための手段をさらに含んでもよい。

【0007】

これらの実施形態および他の実施形態の態様、利点、および代替例は、添付の図面を適宜参照しながら、以下の詳細な説明を読むことによって当業者に明らかになるであろう。また、本明細書に記載された概要、他の説明および図面は、単なる例として実施形態を例示することを意図しており、多数の変形が可能である。例えば、特許請求される実施形態の範囲を逸脱することなく、構造要素および処理ステップを再配置、結合、分散、削除、または変更することができる。

【図面の簡単な説明】

【0008】

【図1】本明細書に記載の例に従ったコンピューティング装置を示す図である。

【図2】本明細書に記載の例に従ったコンピューティングシステムを示す図である。

【図3】本明細書に記載の例に従ったデュアルピクセル画像センサを示す図である。

【図4】本明細書に記載の例に従って、分割ピクセル画像データに関連する点像分布関数を示す図である。

【図5】本明細書に記載の例に従ったシステムを示す図である。

【図6A】本明細書に記載の例に従って、デュアルピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図6B】本明細書に記載の例に従って、デュアルピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図6C】本明細書に記載の例に従って、デュアルピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図6D】本明細書に記載の例に従って、デュアルピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図6E】本明細書に記載の例に従って、デュアルピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図6F】本明細書に記載の例に従って、デュアルピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図6G】本明細書に記載の例に従って、図６Ａ、６Ｂ、６Ｃ、６Ｄ、６Ｅ、および６Ｆに示された関係を要約する表である。

【図7A】本明細書に記載の例に従って、クワッドピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図7B】本明細書に記載の例に従って、クワッドピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図7C】本明細書に記載の例に従って、クワッドピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図7D】本明細書に記載の例に従って、クワッドピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図7E】本明細書に記載の例に従って、クワッドピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図7F】本明細書に記載の例に従って、クワッドピクセル画像データのピクセル深度とピクセル位置との異なる組み合わせに対応するピクセルソースを示す図である。

【図7G】本明細書に記載の例に従って、図７Ａ、７Ｂ、７Ｃ、７Ｄ、７Ｅ、および７Ｆに示された関係を要約する表である。

【図8】本明細書に記載の例に従ったフローチャートを示す図である。

【発明を実施するための形態】

【0009】

詳細な説明
本明細書において、例示的な方法、装置、およびシステムを説明する。理解すべきことは、「例示」および「例示的な」という用語が、本明細書において、「例示、事例、または実例として機能する」という意味で使用されることである。本明細書において、「例示的な」、「例証的な」、および／または「実例的な」ものとして記載された任意の実施形態または特徴は、特に明記しない限り、必ずしも他の実施形態または特徴よりも好ましいまたは有利であると解釈されるべきではない。したがって、本明細書に記載された主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。

【0010】

したがって、本明細書に記載された例示的実施形態は、限定的であることを意味していない。本明細書において概して説明され、図示された本開示の態様は、様々な異なる構成で配置、置換、結合、分離、および設計され得ることが容易に理解されるであろう。

【0011】

また、文脈が他の意味を示唆しない限り、各図面に示された特徴は、互いに組み合わせて使用されてもよい。したがって、図面は、１つ以上の実施形態の全体的な構成要素の態様として概してみなすべきであり、各実施形態は、図示された全ての特徴を必要するとは限らないことを理解すべきである。

【0012】

さらに、本明細書または特許請求の範囲内の要素、ブロック、またはステップの列挙は、明確にする目的である。したがって、このような列挙は、これらの要素、ブロック、またはステップを特定の配置に配置することまたは特定の順序で実行することを要求または暗示すると解釈すべきではない。特に断りのない限り、図面は、縮尺通りに描かれていない。

【0013】

Ｉ．概要
分割ピクセルカメラを用いて、２つ以上の部分画像を含む分割ピクセル画像データを生成することができる。各部分画像は、分割ピクセルカメラのフォトサイトの対応するサブセットによって生成される。例えば、分割ピクセルカメラは、デュアルピクセル（dual-pixel）画像センサを含んでもよく、デュアルピクセル画像センサの各ピクセルは、２つのフォトサイトで構成される。したがって、分割ピクセル画像データは、ピクセルの左フォトサイトによって生成された第１の部分画像と、ピクセルの右フォトサイトによって生成された第２の部分画像とを含むデュアルピクセル画像データであってもよい。別の例において、分割ピクセルカメラは、クワッドピクセル（quad-pixel）画像センサを含んでもよく、クワッドピクセル画像センサの各ピクセルは、４つのフォトサイトで構成される。したがって、分割ピクセル画像データは、ピクセルの左上のフォトサイトによって生成された第１の部分画像と、ピクセルの右上のフォトサイトによって生成された第２の部分画像と、ピクセルの左下のフォトサイトによって生成された第３の部分画像と、ピクセルの右下のフォトサイトによって生成された第４の部分画像とを含むクワッドピクセル画像データであってもよい。

【0014】

分割ピクセルカメラを用いて焦点外れ（すなわち、分割ピクセルカメラの被写界深度の外側に位置する）シーン特徴（例えば、物体またはその一部）の画像を撮影する場合、部分画像の周波数コンテンツが異なり得る。具体的には、各焦点外れピクセルに対して、高周波数ピクセルソースと呼ばれる、分割ピクセル画像データの少なくとも１つの分割ピクセル部分画像は、低周波数ピクセルソースと呼ばれる、分割ピクセル画像データの他の分割ピクセル部分画像によって示されない、閾値周波数を上回る空間周波数を示すことができる。部分画像の周波数コンテンツの差は、（ｉ）被写界深度（したがって、カメラの焦点深度に対するシーン特徴を示す画像の位置）に対するシーン特徴（例えば、物体またはその一部）の位置と、（ｉｉ）（例えば、画像内の座標によって示された）画像センサの領域に対するシーン特徴を示す焦点外れピクセルの位置との関数であってもよい。

【0015】

これらの２つの部分画像を加算して分割ピクセル画像を生成する場合、部分画像のうちの１つのみに示された閾値周波数を上回る空間周波数に起因して、高周波数ピクセルソースの鮮明度の一部が失われる可能性がある。したがって、（単に部分画像を合計するではなく）低周波数ピクセルソースに比べて高周波数ピクセルソースに強い重みを付けることにより、閾値周波数を上回る空間周波数をブーストすることによって、部分画像を合成することによって得られる分割ピクセル画像の全体的な鮮明度を増強することができる。

【0016】

場合によって、高周波数ピクセルソースおよび低周波数ピクセルソースは、画像空間において合併されてもよい。一例において、各焦点外れピクセルは、部分画像内の空間的に対応するピクセルの加重和であってもよい。この場合、空間的に対応する低周波数ピクセルソースに比べて、空間的に対応する高周波数ピクセルソースにより大きな重みを付与する。別の例において、部分画像の空間的に対応するピクセルから、各焦点外れピクセルの対応するソースピクセルを選択してもよい。具体的には、空間的に対応する高周波数ピクセルソースは、ソースピクセルとして選択されてもよく、空間的に対応する低周波数ピクセルソースは、破棄されてもよい。

【0017】

他の場合では、高周波数ピクセルソースおよび低周波数ピクセルソースは、周波数空間において合併されてもよい。具体的には、高周波数ピクセルソースおよび低周波数ピクセルソースの各々には、周波数固有の重みを割り当てもよい。例えば、閾値周波数を上回る周波数の場合、高周波数ピクセルソースに存在するが低周波数ピクセルソースに存在しないまたは低周波数ピクセルソースに過小表現される周波数をブーストすることによって、得られる増強画像の鮮明度を増加することができる。閾値周波数を下回る周波数および／または高周波数ピクセルソースと低周波数ピクセルソースとの両方に存在する周波数に等しい重みを付けることによって、これらの周波数の両方の部分画像のコンテンツを維持することができる。

【0018】

部分画像の周波数コンテンツの差は、分割ピクセルカメラ装置の光路に存在する光学的欠陥から起因する可能性がある。したがって、場合によって、周波数コンテンツとピクセル深度とピクセル位置との間の関係は、カメラごとにおよび／またはカメラモデルごとに決定されてもよく、その後、対応するカメラおよび／またはカメラモデルに関連して使用され、撮影された分割ピクセル画像の鮮明度を高めることができる。

【0019】

ＩＩ．例示的なコンピューティング装置およびシステム
図１は、例示的なコンピューティング装置１００を示す。コンピューティング装置１００は、携帯電話のフォームファクタ（form factor）で示されている。しかしながら、代替的に、コンピューティング装置１００は、他の可能性の中でも特に、ラップトップコンピュータ、タブレットコンピュータ、および／またはウェアラブルコンピューティング装置として実装されてもよい。コンピューティング装置１００は、様々な要素、例えば、本体１０２、ディスプレイ１０６、およびボタン１０８、１１０を含むことができる。コンピューティング装置１００は、１つ以上のカメラ、例えば、前面カメラ１０４および背面カメラ１１２をさらに含むことができる。１つ以上のカメラは、デュアルピクセル（dual-pixel）画像データを生成するように構成されてもよい。

【0020】

前面カメラ１０４は、一般的に動作中ユーザに面する本体１０２の側面（例えば、ディスプレイ１０６と同じ側面）に配置されてもよい。背面カメラ１１２は、前面カメラ１０４の反対側の本体１０２の側面に配置されてもよい。前面カメラおよび背面カメラは、任意であり、コンピューティング装置１００は、本体１０２の様々な側面にそれぞれ配置された複数のカメラを含むことができる。

【0021】

ディスプレイ１０６は、陰極線管（ＣＲＴ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶（ＬＣＤ）ディスプレイ、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または当技術分野で知られている任意の他の種類のディスプレイを示すことができる。いくつかの例において、ディスプレイ１０６は、前面カメラ１０４および／または背面カメラ１１２によって撮影されている現在の画像、これらのカメラのうちの１つ以上によって撮影され得る画像、またはこれらのカメラのうちの１つ以上によって撮影された最近の画像、および／またはこれらの画像の１つ以上の修正版のデジタル表現を表示することができる。したがって、ディスプレイ１０６は、カメラのビューファインダとして機能することができる。また、ディスプレイ１０６は、任意の態様のコンピューティング装置１００の設定および／または構成を調整することができるタッチスクリーン機能をサポートすることができる。

【0022】

前面カメラ１０４は、画像センサと、レンズなどの関連光学要素とを含んでもよい。前面カメラ１０４は、ズーム機能を提供することができ、または固定の焦点距離を有することができる。他の例において、交換可能なレンズを前面カメラ１０４に使用することができる。前面カメラ１０４は、可変な機械絞り、機械シャッタおよび／または電子シャッタを有してもよい。また、前面カメラ１０４は、静止画像、ビデオ画像、または両方を取得するように構成されてもよい。また、前面カメラ１０４は、例えば、平面視カメラであってもよい。背面カメラ１１２は、同様に配置されてもよく、または異なって配置されてもよい。さらに、前面カメラ１０４および／または背面カメラ１１２のうちの１つ以上は、１つ以上のカメラからなるアレイであってもよい。

【0023】

前面カメラ１０４および／または背面カメラ１１２のうちの１つ以上は、目標物体を照明するように、光照射野を提供する照明要素を含んでもよく、またはそれに関連付けられてもよい。例えば、照明要素は、目標物体のフラッシュ照明または連続照明を提供することができる。また、照明要素は、構造化光、偏光、および特定のスペクトル成分を有する光のうちの１つ以上を含む光照射野を提供するように構成されてもよい。公知であり、物体から３次元（３Ｄ）モデルを復元するために使用される他の種類の光照射野は、本明細書の例示に使用されてもよい。

【0024】

また、コンピューティング装置１００は、周囲光センサを含むことができ、周囲光センサは、カメラ１０４および／または１１２を用いて撮影することができるシーンの周囲輝度を連続的にまたは断続的に決定することができる。いくつかの実装形態において、周囲光センサを用いて、ディスプレイ１０６の表示輝度を調整することができる。また、周囲光センサを用いて、カメラ１０４または１１２のうちの１つ以上の露光時間を決定することができ、または露光時間の決定を支援することができる。

【0025】

コンピューティング装置１００は、ディスプレイ１０６、前面カメラ１０４および／または背面カメラ１１２を用いて、目標物体の画像を撮影するように構成されてもよい。撮影された画像は、複数の静止画像であってもよく、またはビデオストリームであってもよい。画像の撮影は、ボタン１０８を作動することによって、ディスプレイ１０６上のソフトキーを押すことによって、または何らかの他の機構によってトリガされてもよい。実装に応じて、画像は、例えば、ボタン１０８を押すことによって、目標物体の適切な照明条件に応じて、デジタルカメラ装置１００を所定の距離に移動することによって、または所定の撮影スケジュールに従って、特定の間隔で自動的に撮影されてもよい。

【0026】

図２は、例示的なコンピューティングシステム２００の一部の構成要素を示す概略ブロック図である。限定ではなく一例として、コンピューティングシステム２００は、セルラー携帯電話（例えば、スマートフォン）、コンピュータ（例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、またはハンドヘルドコンピュータ）、ホーム自動化装置、デジタルビデオレコーダ（ＤＶＲ）、デジタルテレビ、リモートコントロール、ウェアラブルコンピューティング装置、ゲームコンソール、ロボット装置、車両、または他の種類の装置であってもよい。コンピューティングシステム２００は、例えば、コンピューティング装置１００の特性を示してもよい。

【0027】

図２に示すように、コンピューティングシステム２００は、通信インターフェイス２０２と、ユーザインターフェイス２０４と、プロセッサ２０６と、データ記憶装置２０８と、カメラ要素２２４とを含んでもよい。これらの全ての要素は、システムバス、ネットワーク、または他の接続機構２１０によって通信可能に連結されてもよい。コンピューティングシステム２００は、少なくともいくつかの画像取得能力および／または画像処理能力を備えてもよい。なお、コンピューティングシステム２００は、物理的な画像処理システム、画像感知および処理アプリケーションがソフトウェアとして動作する特定の物理的なハードウェアプラットフォーム、または画像の取得機能および／または処理機能を実行するように構成されたハードウェアとソフトウェアとの他の組み合わせであってもよい。

【0028】

通信インターフェイス２０２を介して、コンピューティングシステム２００は、アナログまたはデジタル変調を用いて、他の装置、アクセスネットワーク、および／またはトランスポートネットワークと通信することができる。したがって、通信インターフェイス２０２は、回線交換通信および／またはパケット交換通信、例えば、ＰＯＴＳ（plain old telephone service）通信および／またはＩＰ（Internet protocol）通信または他のパケット通信を容易にすることができる。例えば、通信インターフェイス２０２は、無線アクセスネットワークまたはアクセスポイントとワイヤレス通信するように構成されたチップセットおよびアンテナを含むことができる。また、通信インターフェイス２０２は、イーサネット（登録商標）、ユニバーサルシリアルバス（ＵＳＢ）、または高解像度マルチメディアインターフェイス（ＨＤＭＩ（登録商標））ポートなどの有線インターフェイスであってもよく、またはそれを含んでもよい。また、通信インターフェイス２０２は、Ｗｉ－Ｆｉ（登録商標）、ブルートゥース（登録商標）、全地球測位システム（ＧＰＳ）、または広域ワイヤレスインターフェイス（例えば、ＷｉＭＡＸまたは３ＧＰＰ（登録商標）ロングタームエボリューション（ＬＴＥ））などのワイヤレスインターフェイスであってもよく、またはそれを含むことができる。しかしながら、通信インターフェイス２０２を介して、他の形態の物理層インターフェイスおよび他の種類の標準通信プロトコルまたは専用通信プロトコルを使用してもよい。さらに、通信インターフェイス２０２は、複数の物理通信インターフェイス（例えば、Ｗｉ－Ｆｉ（登録商標）インターフェイス、ブルートゥース（登録商標）インターフェイス、および広域無線インターフェイス）を含んでもよい。

【0029】

ユーザインターフェイス２０４を介して、コンピューティングシステム２００は、人間または非人間ユーザと対話すること、例えば、ユーザから入力を受信することができ、ユーザに出力を提供することができる。したがって、ユーザインターフェイス２０４は、入力要素、例えば、キーパッド、キーボード、タッチ感知パネル、コンピュータマウス、トラックボール、ジョイスティック、およびマイクロフォンを含んでもよい。また、ユーザインターフェイス２０４は、１つ以上の出力要素、例えば、タッチ感知パネルと組み合わせられ得るディスプレイスクリーンを含んでもよい。ディスプレイスクリーンは、ＣＲＴ、ＬＣＤ、および／またはＬＥＤ技術、もしくは現在知られているまたは将来に開発され得る他の技術に基づくことができる。また、ユーザインターフェイス２０４は、スピーカ、スピーカジャック、オーディオ出力ポート、オーディオ出力装置、イヤホン、および／または他の類似装置を介して、可聴出力を生成するように構成されてもよい。さらに、ユーザインターフェイス２０４は、マイクロフォンおよび／または他の類似装置を介して、可聴発話、ノイズ、および／または信号を受信および／または取得するように構成されてもよい。

【0030】

いくつかの例において、ユーザインターフェイス２０４は、コンピューティングシステム２００によってサポートされている静止カメラ機能および／またはビデオカメラ機能のビューファインダとして動作するディスプレイを含むことができる。また、ユーザインターフェイス２０４は、カメラ機能の構成および焦点合わせならびに画像の取得を容易にする１つ以上のボタン、スイッチ、ノブ、および／またはダイヤルを含んでもよい。これらのボタン、スイッチ、ノブ、および／またはダイヤルの一部または全ては、タッチ感知パネルによって実装されてもよい。

【0031】

プロセッサ２０６は、１つ以上の汎用プロセッサ（例えば、マイクロプロセッサ）および／または１つ以上の専用プロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）、浮動小数点ユニット（ＦＰＵ）、ネットワークプロセッサ、または特定用途向け集積回路（ＡＳＩＣ））を含んでもよい。場合によって、専用プロセッサは、他の可能性の中でも特に、画像の処理、画像の整列、および画像の結合を行うことができる。データ記憶装置２０８は、１つ以上の揮発性および／または不揮発性記憶要素、例えば、磁気記憶要素、光学記憶要素、フラッシュ記憶要素、または有機記憶要素を含むことができ、その一部または全体がプロセッサ２０６と一体化されてもよい。データ記憶装置２０８は、取り外し可能な要素および／または取り外せない要素を含むことができる。

【0032】

プロセッサ２０６は、データ記憶装置２０８に記憶されたプログラム命令２１８（例えば、コンパイルされたプログラム論理および／または機械コードまたはコンパイルされていないプログラム論理および／または機械コード）を実行することによって、本明細書に記載された様々な機能を実行することができる。したがって、データ記憶装置２０８は、プログラム命令を記憶する非一時的なコンピュータ可読媒体を含むことができ、これらのプログラム命令は、コンピューティングシステム２００によって実行されると、コンピューティングシステム２００に本明細書および／または添付図面に開示された方法、プロセス、または動作のいずれかを実行させる。プロセッサ２０６によるプログラム命令２１８の実行は、プロセッサ２０６によって使用されるデータ２１２を生成することができる。

【0033】

一例として、プログラム命令２１８は、オペレーティングシステム２２２（例えば、オペレーティングシステムカーネル、装置ドライバ、および／または他のモジュール）と、コンピューティングシステム２００にインストールされた１つ以上のアプリケーションプログラム２２０（例えば、カメラ機能、アドレス帳、電子メール、ウェブブラウジング、ソーシャルネットワーキング、音声テキスト変換機能、テキスト変換機能、および／またはゲームアプリケーション）とを含むことができる。同様に、データ２１２は、オペレーティングシステムデータ２１６と、アプリケーションデータ２１４とを含むことができる。オペレーティングシステムデータ２１６は、主にオペレーティングシステム２２２によってアクセス可能であり、アプリケーションデータ２１４は、主に１つ以上のアプリケーションプログラム２２０によってアクセス可能である。アプリケーションデータ２１４は、コンピューティングシステム２００のユーザに可視であるまたはユーザから隠されているファイルシステムに配置されてもよい。

【0034】

アプリケーションプログラム２２０は、１つ以上のアプリケーションプログラミングインターフェイス（ＡＰＩ）を介して、オペレーティングシステム２２２と通信することができる。これらのＡＰＩは、例えば、アプリケーションプログラム２２０が、アプリケーションデータ２１４を読み取るおよび／または書き込むこと、通信インターフェイス２０２を介して情報を送信または受信すること、ユーザインターフェイス２０４上で情報を受信および／または表示することを容易にすることができる。

【0035】

場合によって、アプリケーションプログラム２２０は、略して「アプリ」と呼ばれてもよい。また、アプリケーションプログラム２２０は、１つ以上のオンラインアプリケーションストアまたはアプリケーションマーケットから、コンピューティングシステム２００にダウンロードされてもよい。しかしながら、アプリケーションプログラムは、他の方法で、例えば、ウェブブラウザを介して、またはコンピューティングシステム２００上の物理インターフェイス（例えば、ＵＳＢポート）を介して、コンピューティングシステム２００上にインストールされてもよい。

【0036】

カメラ要素２２４は、絞り、シャッタ、記録面（例えば、写真フィルムおよび／または画像センサ）、レンズ、シャッタボタン、赤外線プロジェクタ、および／または可視光プロジェクタを含むことができるが、これらに限定されない。カメラ要素２２４は、可視光スペクトル（例えば、３８０～７００ｎｍの波長を有する電磁放射線）で画像を取得するように構成された要素と、赤外光スペクトル（例えば、７０１ｎｍ～１ｍｍの波長を有する電磁放射線）で画像を取得するように構成された要素とを含むことができる。カメラ要素２２４は、プロセッサ２０６によって実行されるソフトウェアによって少なくとも部分的に制御されてもよい。

【0037】

ＩＩＩ．例示的なデュアルピクセル画像センサ
図３は、分割ピクセル画像データを生成するように構成された分割ピクセル画像センサ３００を示す。具体的には、分割ピクセル画像センサ３００は、列３０２、３０４、３０６、および３０８～３１０（すなわち、列３０２～３１０）ならびに行３１２、３１４、３１６、および３１８～３２０（すなわち、行３１２～３２０）を含むグリッドに配置された複数のピクセルを含むデュアルピクセル画像センサとして示されている。各ピクセルは、ハッチング領域として示される第１の（例えば、左）フォトサイトと、白塗り領域として示される第２の（例えば、右）フォトサイトとに分割されるように示されている。したがって、列３０２および行３１２に位置するピクセルの右半分は、右フォトサイトを示すように「Ｒ」と標記され、ピクセルの左半分は、左フォトサイトを示すように「Ｌ」と標記される。

【0038】

各ピクセルのフォトサイトは、各ピクセルを２つの等しい垂直半分に分割するように示されているが、代替的には、フォトサイトは、他の方法で各ピクセルを分割してもよい。例えば、各ピクセルを上方のフォトサイトおよび下方のフォトサイトに分割してもよい。フォトサイトの面積は、等しくなくてもよい。さらに、分割ピクセル画像センサ３００は、ピクセルごとに２つのフォトサイトを含むデュアルピクセル画像センサとして示されているが、代替的には、分割ピクセル画像センサ３００は、各ピクセルを異なる数のフォトサイトに分割するように実装されてもよい。例えば、分割ピクセル画像センサ３００は、各ピクセルを、４つの象限（例えば、（第１の）左上象限、（第２の）右上象限、（第３の）左下象限、および（第４の）右下象限）を画定する４つのフォトサイトに分割するクワッドピクセル画像センサとして実装されてもよい。

【0039】

特定のピクセルの各フォトサイトは、対応するフォトダイオードを含んでもよく、当該フォトダイオードの出力信号は、他のフォトダイオードから独立して読み出されてもよい。さらに、分割ピクセル画像センサ３００の各ピクセルは、対応するカラー（例えば、赤色、緑色、または青色）フィルタに関連付けられてもよい。デモザイク処理アルゴリズムを分割ピクセル画像センサ３００の出力に適用することによって、カラー画像を生成することができる。場合によって、分割ピクセル画像センサ３００の全てのピクセルよりも少ないピクセルを複数のフォトサイトに分割してもよい。例えば、緑色フィルタに関連付けられた各ピクセルは、２つの独立したフォトサイトに分割されてもよく、赤色または青色フィルタに関連付けられた各ピクセルは、単一のフォトサイトを含んでもよい。場合によって、分割ピクセル画像センサ３００を用いて、前面カメラ１０４および／または背面カメラ１１２を実装することができ、カメラ要素２２４の一部を形成することができる。

【0040】

分割ピクセル画像センサ３００は、分割ピクセル画像データを生成するように構成されてもよい。一例において、分割ピクセル画像データは、第１セットのフォトサイト（例えば、左のフォトサイトのみ）によって生成された第１の部分画像と、第２セットのフォトサイト（例えば、右のフォトサイトのみ）によって生成された第２の部分画像とを含むデュアルピクセル画像データであってもよい。別の例において、分割ピクセル画像データは、第１セットのフォトサイト（例えば、左上のフォトサイトのみ）によって生成された第１の部分画像と、第２セットのフォトサイト（例えば、右上のフォトサイトのみ）によって生成された第２の部分画像と、第３セットのフォトサイト（例えば、左下のフォトサイトのみ）によって生成された第３の部分画像と、第４セットのフォトサイト（例えば、右下のフォトサイトのみ）によって生成された第４の部分画像とを含むクワッドピクセル画像データであってもよい。

【0041】

部分画像は、単一露光の一部として生成されてもよい。例えば、部分画像は、実質的に同時に撮影されてもよく、１つの部分画像の撮影時間は、別の部分画像の撮影時間の閾値時間内にある。特定のピクセルの各フォトサイトによって生成された信号を単一の出力信号に合成することによって、従来の（例えば、ＲＧＢ）画像データを生成することができる。

【0042】

シーン特徴、例えば、撮像されている前景物体、背景物体、環境および／またはその一部が合焦している（すなわち、シーン特徴がカメラの被写界深度内にあり、および／またはシーン特徴から反射された光がカメラの焦点深度に合焦される）場合、特定のピクセルの各フォトサイトによって生成された各信号は、実質的に同じであり得る（例えば、分割ピクセルの信号は、互いの閾値内にあり得る）。撮像されているシーン特徴の焦点が外れている（すなわち、シーン特徴がカメラの被写界深度の前または後方にあり、および／またはシーン特徴から反射された光がカメラの被写界深度の前または後方に合焦される）場合、特定のピクセルの第１のフォトサイトによって生成された信号は、特定のピクセルの他のフォトサイトによって生成された信号とは異なり得る。この差は、ピンぼけの度合いに比例し、被写界深度に対するシーン特徴の位置（シーン特徴から反射された光が被写界深度に対して合焦される位置）を示すことができる。したがって、分割ピクセル画像データを用いて、撮影されているシーン特徴がカメラ装置の被写界深度内にあるか、被写界深度の前方にあるか、および／または被写界深度の後方にあるかを判定することができる。

【0043】

ＩＶ．分割ピクセル画像データの例示的な点像分布関数
図４は、焦点外れ平面を撮像することに関連するデュアルピクセル画像センサ（例えば、分割ピクセル画像センサ３００）の点像分布関数（ＰＳＦ）の例示的な空間変動を示す。具体的には、図４は、各々がデュアルピクセル画像センサの領域に対応する領域４００、４０２および４０４を示す。焦点外れ平面を撮像している間に、領域４０２に位置するＰＳＦは、左の部分画像に関連するＰＳＦの空間変動を示し、領域４０４に位置するＰＳＦは、右の部分画像に関連するＰＳＦの空間変動を示し、領域４００に位置するＰＳＦは、デュアルピクセル画像の全体に関連するＰＳＦの空間変動を示す。図４に示すように、デュアルピクセル画像全体のＰＳＦは、左の部分画像と右の部分画像とのＰＳＦの合計に等しい。デュアルピクセル画像センサのサイズに対するＰＳＦのサイズスケールは、説明を明確にするために選択されたものであり、様々な実装形態では異なってもよい。

【0044】

領域４００、４０２および４０４の各領域は、行４１０、４１２、４１４および４１６ならびに列４２０、４２２、４２４および４２６に配列された１６個のＰＳＦを含む。また、破線は、各領域の垂直中央線を示し、各領域を２つの等しい半分、すなわち、左半分および右半分に分割する。ＰＳＦの濃淡パターンの差によって示されているように、領域４０２の左半分は、領域４０２の右半分のＰＳＦよりも大きな範囲の空間高周波情報の取得を可能にするＰＳＦを含む。具体的には、領域４０２の列４２０および４２２に位置するＰＳＦは、領域４０２の列４２４および４２６に位置するＰＳＦよりも高いカットオフ空間周波数を有する。同様に、ＰＳＦの濃淡パターンの差によって示されているように、領域４０４の右半分は、領域４０４の左半分のＰＳＦよりも大きな範囲の空間高周波情報の取得を可能にするＰＳＦを含む。具体的には、領域４０４の列４２４および４２６に位置するＰＳＦは、領域４０４の列４２０および４２２に位置するＰＳＦよりも高いカットオフ空間周波数を有する。

【0045】

したがって、シーンの焦点外れ領域を撮像するときに、領域４０２に対応する第１の部分画像の左半分は、領域４０４に対応する（ｉ）第１の部分画像の右半分および（ｉｉ）第２の部分画像の左半分よりも鮮明に見える。同様に、シーンの焦点外れ領域を撮像するときに、領域４０４に対応する第２の部分画像の右半分は、領域４０２に対応する（ｉ）第２の部分画像の左半分および（ｉｉ）第１の部分画像の右半分よりも鮮明に見える。

【0046】

分割ピクセル部分画像全体の周波数コンテンツの空間変動性は、デュアルピクセルカメラ装置の光路における様々な実際の欠陥によって引き起こされ、理想化された光学モデルからは明らかでない可能性がある。場合によって、空間変動性は、カメラモデルごとに経験的に特徴付けられ、その後、そのカメラモデルによって撮影された画像の増強画像を生成するために使用されてもよい。

【0047】

第１の部分画像および第２の部分画像を合計すると、結果として得られたデュアルピクセル画像の全体は、領域４００に対応する。すなわち、結果として得られたデュアルピクセル画像は、領域４００のＰＳＦに関連するデュアルピクセル画像センサを用いて生成されたように見える。したがって、（領域４０２に対応する）第１の部分画像の左半分の比較的鮮明なコンテンツは、（領域４０４に対応する）第２の部分画像の左半分のコンテンツに合成され、（領域４０４に対応する）第２の部分画像の左半分のコンテンツによってぼやけられる。同様に、（領域４０４に対応する）第２の部分画像の右半分の比較的鮮明なコンテンツは、（領域４０２に対応する）第１の部分画像の右半分のコンテンツに合成され、（領域４０２に対応する）第１の部分画像の右半分のコンテンツによってぼやけられる。

【0048】

具体的には、領域４０２の右半分および／または領域４０４の左半分に位置するＰＳＦの第１のカットオフ周波数までの周波数は、領域４０２および４０４の各々の両方の半分に示される。しかしながら、領域４０２の左半分および／または領域４０４の右半分に位置するＰＳＦの（ｉ）第１のカットオフ周波数と（ｉｉ）第２のカットオフ周波数との間の周波数は、領域４０２の左半分および領域４０４の右半分に示されているが、領域４０２の右半分および領域４０４の左半分には示されていない。したがって、領域４０２および４０４のＰＳＦを合計して領域４００のＰＳＦを形成するときに、第１のカットオフ周波数と第２のカットオフ周波数との間の周波数は、第１のカットオフ周波数を下回る周波数に比べて過小表現される（例えば、それらの相対パワーがより低い）。したがって、部分画像のピクセル値を合計することは、部分画像の異なる部分に存在する空間周波数成分の差を利用しない。

【0049】

図４のＰＳＦは、焦点面および／または被写界深度の第１側（例えば、（ｉ）カメラ装置と（ｉｉ）焦点面および／または被写界深度との間）に位置する焦点外れ面に対応する。焦点外れ面が焦点面の第２側（例えば、焦点面の向こう側）に位置する場合、図４に示されるＰＳＦのパターンは、異なる可能性がある。例えば、ＰＳＦのパターンは、反転される可能性があり、位置を交換した領域４０２および領域４０４のＰＳＦによって近似される可能性がある。対応するＰＳＦ変動は、代わりに各分割ピクセルを上方フォトサイトおよび下方フォトサイトに分割するときに、および／または他の可能性の中でも、各分割ピクセルを４つの象限に分割する４つのフォトサイトに分割するときに、追加的にまたは代替的に観察されてもよい。画像センサの全体領域のＰＳＦカットオフ周波数と被写界深度に対するシーン特徴の位置との間の関係は、カメラモデル間で異なる可能性があるため、カメラモデルごとに経験的に決定されてもよい。

【0050】

Ｖ．増強画像を生成するための例示的なシステム
分割ピクセル部分画像の異なる部分に存在する高周波空間情報を用いて、分割ピクセル画像の鮮明度を改善し、対応する被写界深度を効果的に拡張することによって、分割ピクセル画像を増強することができる。具体的には、図５は、分割ピクセル部分画像の一部に存在する高周波情報を利用して増強画像を生成するための例示的なシステムを示す。図５は、分割ピクセル画像データ５０２に基づいて増強画像５２８を生成するように構成されたシステム５００を示す。システム５００は、ピクセル深度計算器５０８と、ピクセル深度分類器５１２と、ピクセル周波数分類器５２０と、ピクセル値合併器５２６とを含んでもよい。システム５００の構成要素は、ハードウェア、ソフトウェア、またはそれらの組み合わせとして実装されてもよい。

【0051】

分割ピクセル画像データ５０２は、部分画像５０４～部分画像５０６（すなわち、部分画像５０４～５０６）を含むことができる。分割ピクセル画像データ５０２は、分割ピクセル画像センサ３００を用いて撮影されてもよい。部分画像５０４～５０６の各部分画像は、分割ピクセル画像データ５０２と同じ解像度を有してもよく、単一露光の一部として撮影されてもよい。したがって、分割ピクセル画像データ５０２の各ピクセルは、部分画像５０４～５０６の各部分画像における対応するピクセルに関連付けられてもよい。一例において、分割ピクセル画像データ５０２は、２つの部分画像を含むことができ、したがって、デュアルピクセル画像データと呼ぶことができる。別の例において、分割ピクセル画像データ５０２は、４つの部分画像を含むことができ、したがって、クワッドピクセル画像データと呼ぶことができる。

【0052】

分割ピクセル画像データ５０２が分割ピクセルカメラの被写界深度の外側に位置する（その結果、対応する光が分割ピクセルカメラの焦点深度の外側に集束させる）シーン特徴を示すときに、部分画像５０４～５０６の一部の部分画像は、部分画像５０４～５０６の他の部分画像に存在しない可能性がある高周波空間情報を含む可能性がある。用語「高周波」および／またはその変形は、本明細書において、閾値周波数を上回る周波数を指すために使用される。この場合、第１の分割ピクセル部分画像は、閾値周波数を上回る周波数コンテンツを含むが、対応する第２の分割ピクセル部分画像は、閾値周波数を上回る周波数コンテンツを含まない。逆に、用語「低周波数」および／またはその変形は、本明細書において、閾値周波数より低い周波数および閾値周波数を含む周波数を指すために使用される。閾値周波数は、他の要因の中でも、分割ピクセルカメラおよび／または撮影されているシーンに応じて変動することができる。

【0053】

ピクセル深度計算器５０８は、分割ピクセル画像データ５０２の複数のピクセルのピクセル深度５１０を決定するように構成されてもよい。例えば、ピクセル深度５１０は、分割ピクセル画像データ５０２の全てのピクセルまたは分割ピクセル画像データ５０２の一部のピクセルに対応してもよい。ピクセル深度５１０は、分割ピクセルカメラの被写界深度に対して対応するシーン特徴（例えば、物体および／またはその一部）の深度、および／または分割ピクセルカメラの焦点深度に対して、シーン特徴に対応する画像の深度を示してもよい。いくつかの実装形態において、ピクセル深度５１０は、例えば、対応するシーン特徴に関連する深度のバイナリ表現を含んでもよい。このバイナリ表現は、対応するシーン特徴が分割ピクセルカメラの被写界深度の後方（例えば、第１側）に位置するかまたは分割ピクセルカメラの被写界深度の前方（例えば、第２側）に位置するかを示す。場合によって、ピクセル深度は、例えば、対応するシーン特徴が分割ピクセルカメラの被写界深度に位置するおよび／または合焦されていることを示すようにさらに構成された３元表現を含んでもよい。

【0054】

他の実装形態において、ピクセル深度５１０は、３つより多くの値をとることができ、したがって、例えば、対応するシーン特徴が被写界深度の前方に位置する距離および／または被写界深度の後方に位置する距離を示すことができる。シーン特徴が分割ピクセルカメラの被写界深度の外側（すなわち、レンズの前方の領域（この領域に位置するシーン特徴が充分に合焦されているように見える画像を生成する））に位置するときに、対応する画像（すなわち、対応するシーン特徴を示す光）は、分割ピクセルカメラの被写界深度（すなわち、画像が充分に合焦されているように見えるレンズの後方の領域）の外側に位置する（すなわち、合焦される）ことを理解されたい。

【0055】

ピクセル深度計算器５０８は、（ｉ）部分画像５０４～５０６の第１の部分画像内の対応する第１のピクセルと、（ｉｉ）部分画像５０４～５０６の第２の部分画像内の対応する第２のピクセルとの間の信号視差に基づいて、各ピクセルの深度値を決定するように構成されてもよい。具体的には、シーン特徴が被写界深度の第１側に位置するときに、信号視差は、正であってもよく、シーン特徴が被写界深度の第２側に位置するときに、信号視差は、負であってもよい。したがって、視差の符号は、被写界深度に対する各ピクセルの深度値の方向を示すことができ、視差の大きさは、深度値の大きさを示すことができる。クワッドピクセル画像データの場合、深度値は、追加的にまたは代替的に、部分画像５０４～５０６の第３の部分画像内の対応する第３のピクセル、および部分画像５０４～５０６の第４の部分画像内の対応する第４のピクセルに基づくことができる。

【0056】

ピクセル深度分類器５１２は、ピクセル深度５１０に基づいて、（ｉ）分割ピクセル画像データ５０２の合焦ピクセル５１４と、（ｉｉ）分割ピクセル画像データ５０２の焦点外れピクセル５１６とを特定するように構成されてもよい。合焦ピクセル５１４は、被写界深度内（例えば、焦点面の両側の閾値距離内）に位置し、被写界深度および／または鮮明度増強を受ける必要がないシーン特徴を示すことができる。焦点外れピクセル５１６は、被写界深度の外側（例えば、焦点面の両側の閾値距離の外側）に位置し、被写界深度および／または鮮明度増強を受ける必要があるシーン特徴を示すことができる。焦点外れピクセル５１６の各焦点外れピクセルは、例えば、分割ピクセル画像データ５０２内の各焦点外れピクセルの座標を示すピクセル位置５１８の対応するピクセル位置に関連付けられてもよい。また、各焦点外れピクセルは、ピクセル深度５１０の対応するピクセル深度に関連付けられてもよい。

【0057】

ピクセル周波数分類器５２０は、焦点外れピクセル５１６の各焦点外れピクセルの高周波数ピクセルソース５２２および低周波数ピクセルソース５２４を特定するように構成されてもよい。具体的には、ピクセル周波数分類器５２０は、分割ピクセル画像データ５０２内の各ピクセルの位置および各ピクセルに関連する深度値に基づいて、高周波数ピクセルソース５２２および低周波数ピクセルソース５２４を特定するように構成されてもよい。各焦点外れピクセルの高周波数ピクセルソース５２２は、第１サブセットの部分画像５０４～５０６の位置に対応するピクセルを含むことができ、各焦点外れピクセルの低周波数ピクセルソース５２４は、第２サブセットの部分画像５０４～５０６の位置に対応するピクセルを含むことができる。各ピクセルに対して決定された第１サブセットおよび第２サブセットは、互いに排他的であってもよい。

【0058】

デュアルピクセル画像データの場合、高周波数ピクセルソース５２２は、例えば、部分画像５０４が各ピクセルに対してより鮮明な（すなわち、より高周波数の）画像コンテンツを含むことを示すことができ、低周波数ピクセルソース５２４は、部分画像５０６が各ピクセルに対してより鮮明でない（すなわち、より低周波数の）画像コンテンツを含むことを示すことができる。クワッドピクセル画像データの場合、高周波数ピクセルソース５２２は、例えば、部分画像５０６が各ピクセルに対してより鮮明な画像コンテンツを含むことを示すことができ、低周波数ピクセルソース５２４は、部分画像５０４を含む全ての他の部分画像が各ピクセルに対してより鮮明でない画像コンテンツを含むことを示すことができる。ピクセルソースの選択は、図６Ａ～７Ｇに示され、図６Ａ～７Ｇに関してより詳細に説明される。

【0059】

ピクセル値合併器５２６は、（ｉ）合焦ピクセル５１４と、（ｉｉ）焦点外れピクセル５１６の各焦点外れピクセルについて決定された高周波数ピクセルソース５２２および低周波数ピクセルソース５２４とに基づいて、増強画像５２８を生成するように構成されてもよい。具体的には、ピクセル値合併器５２６は、部分画像５０４～５０６の空間的に対応するピクセル値を合計することによって、合焦ピクセル５１４の各ピクセル値を生成するように構成されてもよい。焦点外れピクセル５１６の場合、ピクセル値合併器５２６は、（少なくともいくつかの周波数に関して）低周波数ピクセルソース５２４よりも高周波数ピクセルソース５２２により大きな重みを付与することにより、分割ピクセル画像データ５０２の対応する部分の見かけ鮮明度および／または被写界深度を増加させることによって、各ピクセル値を生成するように構成されてもよい。

【0060】

ＶＩ．ピクセル深度と、ピクセル位置と、部分画像の周波数コンテンツとの間の例示的な関係
図６Ａ～６Ｆは、デュアルピクセル画像データ内の各ピクセルの位置と、各ピクセルに関連する深度値と、高周波画像コンテンツを含む部分画像との間の例示的なマッピングを示す。具体的には、図６Ａ～６Ｆの各々は、左側において、対応する深度で標記された４つの象限に分割されたデュアルピクセル画像の領域を示し、右側において、対応する深度が与えられた場合、デュアルピクセル画像の各象限に対して高周波コンテンツを提供する対応する部分画像の象限を示す。

【0061】

画像の象限は、画像フレームの４分の１まで広がり、画像フレームの水平二等分および垂直二等分から由来する矩形領域であってもよい。したがって、４つの象限は、画像フレームの全体に広がり、画像フレームを４つの等しい分限に分割することができる。同様に、画像の半分は、２つの隣接する象限の和集合であってもよい。例えば、２つの水平に隣接する象限の和集合は、上半分または下半分を画定することができ、２つの垂直に隣接する象限の和集合は、左半分または右半分を画定することができる。言い換えれば、画像の上半分および下半分は、画像の水平二等分によって２つの等しい矩形領域に画定されてもよく、画像の左半分および右半分は、画像の垂直二等分によって２つの等しい矩形領域に画定されてもよい。全体的な分割ピクセル画像（例えば、画像データ５０２）、部分画像（例えば、部分画像５０４～５０６）、および／または増強画像（例えば、増強画像５２８）の各々は、対応する半分および／または象限に分割されてもよい。

【0062】

図６Ａは、デュアルピクセル画像センサの象限６００、６０２、６０４および６０６の各々を用いて、深度－１で示されたように、被写界深度の第１側（例えば、後方）に位置する平面（すなわち、分割ピクセルカメラに対して一定の深度を有するシーン）を撮像することを示す。したがって、（ｉ）第１のデュアルピクセル部分画像の象限６１０は、対応して配置された第２のデュアルピクセル部分画像の象限６２０に比べて、象限６００のより高い周波数コンテンツを含み、（ｉｉ）第２の部分画像の象限６２２は、対応して配置された第１の部分画像の象限６１２に比べて、象限６０２のより高い周波数コンテンツを含み、（ｉｉｉ）第１の部分画像の象限６１４は、対応して配置された第２の部分画像の象限６２４に比べて、象限６０４のより高い周波数コンテンツを含み、（ｉｖ）第２の部分画像の象限６２６は、対応して配置された第１の部分画像の象限６１６に比べて、象限６０６のより高い周波数コンテンツを含む。

【0063】

図６Ｂは、デュアルピクセル画像センサの象限６００、６０２、６０４および６０６の各々を用いて、深度＋１で示されたように、被写界深度の第２側（例えば、前方）に位置する平面を撮像することを示す。したがって、（ｉ）第２の部分画像の象限６２０は、対応して配置された第１の部分画像の象限６１０に比べて、象限６００のより高い周波数コンテンツを含み、（ｉｉ）第１の部分画像の象限６１２は、対応して配置された第２の部分画像の象限６２２に比べて、象限６０２のより高い周波数コンテンツを含み、（ｉｉｉ）第２の部分画像の象限６２４は、対応して配置された第１の部分画像の象限６１４に比べて、象限６０４のより高い周波数コンテンツを含み、（ｉｖ）第１の部分画像の象限６１６は、対応して配置された第２の部分画像の象限６２６に比べて、象限６０６のより高い周波数コンテンツを含む。

【0064】

図６Ｃは、象限６００および６０４の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像すること、および象限６０２および象限６０６の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像することを示している。したがって、第１の部分画像の象限６１０、６１２、６１４、および６１６の各々は、第２の部分画像の象限６２０、６２２、６２４、および６２６の各々に比べて、象限６００、６０２、６０４、および６０６の各々のより高い周波数コンテンツを含む。

【0065】

図６Ｄは、象限６００および６０４の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像すること、および象限６０２および６０６の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像することを示している。したがって、第２の部分画像の象限６２０、６２２、６２４、および６２６の各々は、第１の部分画像の象限６１０、６１２、６１４、および６１６の各々に比べて、象限６００、６０２、６０４、および６０６の各々のより高い周波数コンテンツを含む。

【0066】

図６Ｅは、象限６００および６０２の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像すること、および象限６０４および６０６の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像することを示している。したがって、（ｉ）第１の部分画像の象限６１２および６１４の各々は、第２の部分画像の象限６２２および６２４の各々に比べて、象限６０２および６０４の各々のより高い周波数コンテンツを含み、（ｉｉ）第２の部分画像の象限６２０および６２６の各々は、第１の部分画像の象限６１０および６１６の各々に比べて、象限６００および６０６の各々のより高い周波数コンテンツを含む。

【0067】

図６Ｆは、象限６００および６０２の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像すること、および象限６０４および象限６０６の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像することを示している。したがって、（ｉ）第１の部分画像の象限６１０および６１６の各々は、第２の部分画像の象限６２０および６２６の各々に比べて、象限６００および６０６の各々のより高い周波数コンテンツを含み、（ｉｉ）第２の部分画像の象限６２２および６２４の各々は、第１の部分画像の象限６１２および６１４の各々に比べて、象限６０２および６０４の各々のより高い周波数コンテンツを含む。

【0068】

図６Ｇは、図６Ａ～６Ｆの例示的なピクセル位置とピクセル深度との組み合わせによって示される関係を要約する表６３０を示す。具体的には、シーン特徴が被写界深度内に位置する（すなわち、シーン深度＝０）ときに、第１の部分画像の周波数コンテンツは、第２の部分画像の周波数コンテンツと実質的におよび／またはほぼ同じである（例えば、周波数ごとの信号パワーは、閾値以下で異なる）。したがって、鮮明度を向上させるために、第１の部分画像のピクセル値および第２の部分画像のピクセル値に不均等な重みを適用することなく、これらのピクセル値を加算することによって、合焦ピクセルのピクセル値を求めることができる。

【0069】

シーン特徴が被写界深度の第１側に位置するとき（すなわち、シーン深度＝－１）に、第１（例えば、左）の部分画像は、デュアルピクセル画像の第１（例えば、左）の半分（例えば、象限６００および６０４）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供すると共に、第２（例えば、右）の部分画像は、デュアルピクセル画像の第２（例えば、右）の半分（例えば、象限６０２および６０６）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供する。シーン特徴が被写界深度の第２側に位置するとき（すなわち、シーン深度＝＋１）に、第２の部分画像は、デュアルピクセル画像の第１の半分に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供すると共に、第１の部分画像は、デュアルピクセル画像の第２の半分に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供する。

【0070】

図７Ａ～７Ｆは、クワッドピクセル画像データ内の各ピクセルの位置と、各ピクセルに関連する深度値と、高周波画像コンテンツを含む部分画像との間の例示的なマッピングを示す。具体的には、図７Ａ～７Ｆの各々は、左側において、対応する深度で標記された象限に分割されたクワッドピクセル画像の領域を示し、右側において、対応する深度が与えられた場合、クワッドピクセル画像の各象限に対して高周波コンテンツを提供する部分画像の象限を示す。

【0071】

図７Ａは、クワッドピクセル画像センサの象限７００、７０２、７０４、および７０６の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像することを示す。したがって、（ｉ）第１のクワッドピクセル部分画像の象限７１０は、３つの他のクワッドピクセル部分画像の対応する象限（例えば、対応して配置された第４のクワッドピクセル部分画像の象限７４０）に比べて、象限７００のより高い周波数コンテンツを含み、（ｉｉ）第２のクワッドピクセル部分画像の象限７２２は、３つの他のクワッドピクセル部分画像の対応する象限（例えば、対応して配置された第３のクワッドピクセル部分画像の象限７３２）に比べて、象限７０２のより高い周波数コンテンツを含み、（ｉｉｉ）第３のクワッドピクセル部分画像の象限７３４は、３つの他のクワッドピクセル部分画像の対応する象限（例えば、対応して配置された第２のクワッドピクセル部分画像の象限７２４）に比べて、象限７０４のより高い周波数コンテンツを含み、（ｉｖ）第４のクワッドピクセル部分画像の象限７４６は、３つの他のクワッドピクセル部分画像の対応する象限（例えば、対応して配置された第１のクワッドピクセル部分画像の象限７１６）に比べて、象限７０６のより高い周波数コンテンツを含む。

【0072】

図７Ｂは、クワッドピクセル画像センサの象限７００、７０２、７０４、および７０６の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像することを示す。したがって、（ｉ）第４の部分画像の象限７４０は、象限７００に対して、３つの他の部分画像の対応する象限（例えば、対応して配置された第１の部分画像の象限７１０）よりも高い周波数コンテンツを含み、（ｉｉ）第３の部分画像の象限７３２は、３つの他の部分画像の対応する象限（例えば、象限７００について、第２の部分画像の象限７２２）に比べて、象限７０２のより高い周波数コンテンツを含む。（ｉｉｉ）第２の部分画像の象限７２４は、３つの他の部分画像の対応する象限（例えば、第３の部分画像の象限７３４）に比べて、象限７０４のより高い周波数コンテンツを含み、（ｉｖ）第１の部分画像の象限７１６は、３つの他の部分画像の対応する象限（例えば、対応して配置された第４の部分画像の象限７４６）に比べて、象限７０６のより高い周波数コンテンツを含む。

【0073】

図７Ｃは、象限７００および７０４の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像すること、および象限７０２および象限７０６の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像することを示している。したがって、（ｉ）第１の部分画像の象限７１０および７１６の各々は、３つの他の部分画像の対応する象限（例えば、第４の部分画像の象限７４０および７４６の各々）に比べて、象限７００および７０６の各々のより高い周波数コンテンツを含み、（ｉｉ）第３の部分画像の象限７３２および７３４の各々は、３つの他の部分画像の対応する象限（例えば、第２の部分画像の象限７２２および７２４の各々）に比べて、高い象限７０２および７０４の各々のより高い周波数コンテンツを含む。

【0074】

図７Ｄは、象限７００および７０４の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像すること、および象限７０２および７０６の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像することを示している。したがって、（ｉ）第４の部分画像の象限７４０および７４６の各々は、３つの他の部分画像の対応する象限（例えば、第１の部分画像の象限７１０および７１６の各々）に比べて、象限７００および７０６の各々のより高い周波数コンテンツを含み、（ｉｉ）第２の部分画像の象限７２２および７２４の各々は、３つの他の部分画像の対応する象限（例えば、第３の部分画像の象限７３２および７３４の各々）に比べて、象限７０２および７０４の各々のより高い周波数コンテンツを含む。

【0075】

図７Ｅは、象限７００および７０２の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像すること、および象限７０４および７０６の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像することを示している。したがって、（ｉ）第４の部分画像の象限７４０および７４６の各々は、３つの他の部分画像の対応する象限（例えば、第１の部分画像の象限７１０および７１６の各々）に比べて、象限７００および７０６の各々のより高い周波数コンテンツを含み、（ｉｉ）第３の部分画像の象限７３２および７３４の各々は、３つの他の部分画像の対応する象限（例えば、第２の部分画像の象限７２２および７２４の各々）に比べて、象限７０２および７０４の各々のより高い周波数コンテンツを含む。

【0076】

図７Ｆは、象限７００および７０２の各々を用いて、深度－１で示されたように、被写界深度の第１側に位置する平面を撮像すること、および象限７０４および象限７０６の各々を用いて、深度＋１で示されたように、被写界深度の第２側に位置する平面を撮像することを示している。したがって、（ｉ）第１の部分画像の象限７１０および７１６の各々は、３つの他の部分画像の対応する象限（例えば、第４の部分画像の象限７４０および７４６の各々）に比べて、象限７００および７０６の各々のより高い周波数コンテンツを含み、（ｉｉ）第３の部分画像の象限７２２および７２４の各々は、３つの他の部分画像の対応する象限（例えば、第３の部分画像の象限７３２および７３４の各々）に比べて、象限７０２および７０４の各々のより高い周波数コンテンツを含む。

【0077】

図７Ｇは、図７Ａ～７Ｆの例示的なピクセル位置とピクセル深度との組み合わせによって示される関係を要約する表７５０を示す。具体的には、シーン特徴が被写界深度内に位置する（すなわち、シーン深度＝０）ときに、第１の部分画像の周波数コンテンツと、第２の部分画像の周波数コンテンツと、第３の部分画像の周波数コンテンツと、第４の部分画像の周波数コンテンツとは、実質的におよび／またはほぼ同じである。したがって、鮮明度を向上させるために、第１の部分画像～第４の部分画像内の対応するピクセル値に不均等な重みを適用することなく、これらのピクセル値を加算することによって、合焦ピクセルのピクセル値を求めることができる。

【0078】

シーン特徴が被写界深度の第１側に位置する（すなわち、シーン深度＝－１）ときに、第１の部分画像は、クワッドピクセル画像の第１の象限（例えば、象限７００）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供し、第２の部分画像は、クワッドピクセル画像の第２の象限（例えば、象限７０２）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供し、第３の部分画像は、クワッドピクセル画像の第３の象限（例えば、象限７０４）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供し、第４の部分画像は、クワッドピクセル画像の第４の象限（例えば、象限７０６）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供する。

【0079】

シーン特徴が被写界深度の第２側に位置する（すなわち、シーン深度＝＋１）ときに、第４の部分画像は、デュアルピクセル画像の第１の象限（例えば、象限７００）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供し、第３の部分画像は、デュアルピクセル画像の第２の象限（例えば、象限７０２）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供し、第２の部分画像は、デュアルピクセル画像の第３の象限（例えば、象限７０４）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供し、第１の部分画像は、デュアルピクセル画像の第４の象限（例えば、象限７０６）に位置する焦点外れピクセルに対してより高い周波数コンテンツを提供する。

【0080】

図６Ａ～６Ｇおよび図７Ａ～７Ｇは、（例示を明確にするために）ピクセル位置と、ピクセル深度と、高周波データソースとの間の関係を象限レベルごとに示すが、実際には、高周波数ピクセルソースの決定は、ピクセルレベルごとに（ピクセルごとの位置およびピクセルごとの深度に基づいて）行われてもよい。したがって、特定のピクセルの高周波源は、（ｉ）特定のピクセルの対応する深度、および（ｉｉ）特定のピクセルが位置する分割ピクセル画像の半分（デュアルピクセル画像の場合）または象限（クワッドピクセル画像の場合）に基づいて、図６Ａ～６Ｇおよび／または７Ａ～７Ｇに示された関係を用いて決定されてもよい。したがって、図６Ａ～６Ｆおよび図７Ａ～７Ｆは、それぞれ図６Ｇおよび図７Ｇに示す関係の例示を目的としてピクセル深度の特定の構成を示すが、実際には、ピクセル深度の異なる分布および／または組み合わせを使用してもよい。図６Ｇおよび図７Ｇに示された関係を用いて、分割ピクセル画像内の各ピクセルに対して、他の分割ピクセル画像には存在していない可能性がある高周波情報を含む対応する部分画像を特定することができる。

【0081】

ＶＩＩ．例示的なピクセル値の合併
図５に戻って、ピクセル値合併器５２６は、複数の方法で高周波数ピクセルソース５２２の対応するピクセル値および低周波数ピクセルソース５２４の対応するピクセル値を合成するように構成されてもよい。特に、焦点外れピクセル５１６の場合、ピクセル値合併器５２６は、低周波数ピクセルソース５２４よりも高周波数ピクセルソース５２２に特権を付与するまたはより大きな重みを与えるように構成されてもよい。場合によって、全ての周波数に関して、低周波数ピクセルソース５２４よりも高周波数ピクセルソース５２２により大きな重みを与えてもよい。他の場合に、閾値周波数（例えば、異なる部分画像の周波数成分を分離するカットオフ周波数）を上回る周波数に関して、低周波数ピクセルソース５２４よりも高周波数ピクセルソース５２２に大きな重みを与えてもよく、閾値周波数以下の周波数に等しい重みを与えてもよい。

【0082】

【数1】

【0083】

【数2】

【0084】

【数3】

【0085】

【数4】

【0086】

【数5】

【0087】

【数6】

【0088】

閾値周波数は、低周波数ピクセルソースのカットオフ周波数に基づいてもよい（例えば、カットオフ周波数に等しい）。閾値差は、異なる周波数で部分画像に存在すると予想されるノイズレベルに基づいてもよい（例えば、ノイズレベルの平均値または最大値の２倍より大きい）。したがって、焦点外れピクセルの場合、（低周波数ピクセルソースに存在していない）高周波数ピクセルソース５２２の高周波数コンテンツは、分割ピクセル画像を鮮明化するためにブーストされてもよく、ピクセルソース５２２および５２４の両方に存在する低周波数コンテンツは、これらの周波数で両方のソースのコンテンツを維持するために等しく重み付けられてもよい。

【0089】

【数7】

【0090】

別の例において、ピクセル値の合成は、画像焦点スタックを合併するように構成された１つ以上のアルゴリズムを用いて実行されてもよい。具体的には、画像焦点スタックは、複数の画像を含んでもよく、各画像は、異なる焦点（したがって、焦点深度および／または被写界深度の異なる位置）で撮影される。したがって、画像焦点スタックの異なる画像は、異なる合焦部分および焦点外れ部分を含んでもよい。画像焦点スタックを合併するように構成されたアルゴリズムは、例えば、（ｉ）ピクセルのコントラストに基づいて各ピクセルの重みを計算し、各ピクセルの重みを用いて焦点スタックの画像を合成することと、（ｉｉ）焦点スタック内の各画像の深度マップを決定し、深度マップを用いて焦点スタック内の最も鮮明なピクセル値を特定することと、および／または（ｉｉｉ）他の可能性の中でも、ピラミッドベースの手法を用いて最も鮮明なピクセルを特定することとを含んでもよい。

【0091】

非分割ピクセル画像データの場合、画像焦点スタック内の異なる画像が異なる時間に撮影されるため、画像焦点スタックは、動きぼけ（motion blur）を含んでもよい。したがって、動きを含むシーンの場合、鮮明度が向上した画像の再構成は、困難であり得る。

【0092】

分割ピクセル画像データの場合、分割ピクセル画像データの複数の部分画像を用いて、画像焦点スタックを形成することができる。分割ピクセル画像データの焦点外れ領域内の部分画像の空間周波数コンテンツの変動は、異なる焦点レベル（したがって、異なる焦点深度および被写界深度位置）を概算することができる。分割ピクセルカメラの焦点距離の明示的な調整を行うことなく、部分画像の空間周波数コンテンツ変動を達成できるため、分割ピクセル部分画像は、単一露光の一部として撮影されてもよく、したがって、動きぼけを含まない（少なくとも比較可能な非分割ピクセル画像焦点スタックよりも少ない動きぼけを含む）ことができる。したがって、分割ピクセル部分画像は、１つ以上の焦点スタッキングアルゴリズムを用いて合併され、静的シーンおよび／または動的シーンの増強画像を生成するために使用されてもよい。

【0093】

ＶＩＩＩ．さらなる例示的な動作
図８は、増強された鮮明度および／または被写界深度を有する画像の生成に関連する動作のフローチャートを示す。これらの動作は、他の可能性の中でも、コンピューティング装置１００、コンピューティングシステム２００、および／またはシステム５００によって実行されてもよい。図８の実施形態は、図示された特徴のうち、任意の１つ以上を除去することによって、簡略化されてもよい。さらに、これらの実施形態は、さらに、これらの実施形態は、前述した図面または本明細書に記載された特徴、特性および／または実装例と組み合わせられてもよい。

【0094】

ブロック８００は、分割ピクセルカメラによって撮影された分割ピクセル画像データを取得することを含んでもよい。分割ピクセル画像データは、第１の部分画像と第２の部分画像とを含む。

【0095】

ブロック８０２は、分割ピクセル画像データの複数のピクセルの各ピクセルによって示された、分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することを含んでもよい。

【0096】

ブロック８０４は、複数のピクセルの各ピクセルによって示されたシーン特徴の対応する位置に基づいて、複数のピクセルのうちの１つ以上の焦点外れピクセルを特定することを含んでもよい。１つ以上の焦点外れピクセルは、被写界深度の外側に位置する。

【0097】

ブロック８０６は、（ｉ）１つ以上の焦点外れピクセルの各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置、および（ｉｉｉ）第１の部分画像内の対応する第１のピクセルの第１の値または第２の部分画像内の対応する第２のピクセルの第２の値のうちの少なくとも１つに基づいて、各焦点外れピクセルの対応するピクセル値を決定することを含んでもよい。

【0098】

ブロック８０８は、決定された各焦点外れピクセルの対応するピクセル値に基づいて、拡張被写界深度を有する増強画像を生成することを含んでもよい。

【0099】

いくつかの実施形態において、対応するピクセル値を決定することは、（ｉ）各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、および（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置に基づいて、対応する第１のピクセルまたは対応する第２のピクセルのうちの１つを各焦点外れピクセルのソースピクセルとして選択することと、ソースピクセルの値に基づいて、各焦点外れピクセルの対応するピクセル値を決定することとを含んでもよい。

【0100】

いくつかの実施形態において、分割ピクセル画像データの第１の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第１のピクセルは、ソースピクセルとして選択されてもよい。各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第２のピクセルは、ソースピクセルとして選択されてもよい。分割ピクセル画像データの第２の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第２のピクセルは、ソースピクセルとして選択されてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第１のピクセルは、ソースピクセルとして選択されてもよい。

【0101】

いくつかの実施形態において、各焦点外れピクセルのソースピクセルを選択することは、分割ピクセル画像データの第１の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することを含んでもよい。また、各焦点外れピクセルのソースピクセルを選択することは、分割ピクセル画像データの第１の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、対応する第１のピクセルをソースピクセルとして選択することを含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、対応する第２のピクセルをソースピクセルとして選択することを含んでもよい。

【0102】

各焦点外れピクセルに対してソースピクセルを選択することは、分割ピクセル画像データの第２の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することをさらに含んでもよい。各焦点外れピクセルのソースピクセルを選択することは、分割ピクセル画像データの第２の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、対応する第２のピクセルをソースピクセルとして選択することをさらに含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、対応する第１のピクセルをソースピクセルとして選択することをさらに含んでもよい。

【0103】

いくつかの実施形態において、対応するピクセル値を決定することは、（ｉ）各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、および（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置に基づいて、各焦点外れピクセルの対応する第１のピクセルの第１の重みおよび対応する第２のピクセルの第２の重みを決定することと、（ｉ）対応する第１のピクセルの第１の重みと第１の値の第１の積、および（ｉｉ）対応する第２のピクセルの第２の重みと第２の値の第２の積に基づいて、各焦点外れピクセルの対応するピクセル値を決定することとを含んでもよい。

【0104】

いくつかの実施形態において、分割ピクセル画像データの第１の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第１のピクセルの第１の重みは、対応する第２のピクセルの第２の重みよりも大きくてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第２のピクセルの第２の重みは、対応する第１のピクセルの第１の重みよりも大きくてもよい。分割ピクセル画像データの第２の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第２のピクセルの第２の重みは、対応する第１のピクセルの第１の重みよりも大きくてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第１のピクセルの第１の重みは、対応する第２のピクセルの第２の重みよりも大きくてもよい。

【0105】

いくつかの実施形態において、第１の重みおよび第２の重みを決定することは、分割ピクセル画像データの第１の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することを含んでもよい。また、第１の重みおよび第２の重みを決定することは、分割ピクセル画像データの第１の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、第２の重みよりも大きい第１の重みを決定することを含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、第１の重みよりも大きい第２の重みを決定することを含んでもよい。

【0106】

第１の重みおよび第２の重みを決定することは、分割ピクセル画像データの第２の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することをさらに含んでもよい。第１の重みおよび第２の重みを決定することは、分割ピクセル画像データの第２の半分に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、第１の重みよりも大きい第２の重みを決定することをさらに含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、第２の重みよりも大きい第１の重みを決定することをさらに含んでもよい。

【0107】

いくつかの実施形態において、第１の重みおよび第２の重みを決定することは、分割ピクセル画像データ内に存在する複数の空間周波数の各空間周波数に対して、（ｉ）第１の部分画像内の各空間周波数の第１の大きさ、および（ｉｉ）第２の部分画像内の各空間周波数の第２の大きさを決定することと、各空間周波数の第１の大きさと第２の大きさとの間の差を決定することと、各空間周波数の第１の大きさの第１の重みおよび第２の大きさの第２の重みを決定することとを含んでもよい。閾値周波数を上回り、閾値を超える差に関連する各空間周波数の第１の重みは、第２の重みとは異なってもよく、第１の重みおよび第２の重みは、各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置に依存してもよい。（ｉ）閾値周波数を下回る各空間周波数、または（ｉｉ）閾値周波数を上回り、閾値を超えない差に関連する各空間周波数の第１の重みは、第２の重みに等しくてもよい。（ｉ）各焦点外れピクセルの対応する第１のピクセルの第１の値によって示された各空間周波数の第１の重みと第１の大きさとの第１の複数の積と、（ｉｉ）各焦点外れピクセルの対応する第２のピクセルの第２の値によって示された各空間周波数の第２の重みと第２の大きさとの第２の複数の積との和に基づいて、各焦点外れピクセルの対応するピクセル値を決定してもよい。

【0108】

いくつかの実施形態において、分割ピクセル画像データは、第１の部分画像と、第２の部分画像と、第３の部分画像と、第４の部分画像とを含んでもよい。対応するピクセル値を決定することは、（ｉ）各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、および（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置に基づいて、対応する第１の部分画像内の第１のピクセル、対応する第２の部分画像内の第２のピクセル、対応する第３の部分画像内の第３のピクセル、または対応する第４の部分画像内の第４のピクセルのうちの１つを、各焦点外れピクセルのソースピクセルとして選択することと、ソースピクセルの値に基づいて、各焦点外れピクセルの対応するピクセル値を決定することとを含んでもよい。

【0109】

いくつかの実施形態において、分割ピクセル画像データの第１象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第１のピクセルは、ソースピクセルとして選択されてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第４のピクセルは、ソースピクセルとして選択されてもよい。分割ピクセル画像データの第２象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第２のピクセルは、ソースピクセルとして選択されてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第３のピクセルは、ソースピクセルとして選択されてもよい。分割ピクセル画像データの第３象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第３のピクセルは、ソースピクセルとして選択されてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第２のピクセルは、ソースピクセルとして選択されてもよい。分割ピクセル画像データの第４象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第４のピクセルは、ソースピクセルとして選択されてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第１のピクセルは、ソースピクセルとして選択されてもよい。

【0110】

いくつかの実施形態において、各焦点外れピクセルのソースピクセルを選択することは、分割ピクセル画像データの第１の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することを含んでもよい。また、各焦点外れピクセルのソースピクセルを選択することは、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、分割ピクセル画像データの第１の象限に位置する焦点外れピクセルに対して、対応する第１のピクセルをソースピクセルとして選択することを含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、対応する第４のピクセルをソースピクセルとして選択することを含んでもよい。

【0111】

各焦点外れピクセルに対してソースピクセルを選択することは、分割ピクセル画像データの第２象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することをさらに含んでもよい。各焦点外れピクセルのソースピクセルを選択することは、分割ピクセル画像データの第２の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、対応する第２のピクセルをソースピクセルとして選択することをさらに含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、対応する第３のピクセルをソースピクセルとして選択することをさらに含んでもよい。

【0112】

各焦点外れピクセルに対してソースピクセルを選択することは、分割ピクセル画像データの第３象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することをさらに含んでもよい。各焦点外れピクセルのソースピクセルを選択することは、分割ピクセル画像データの第３の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、対応する第３のピクセルをソースピクセルとして選択することをさらに含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、対応する第２のピクセルをソースピクセルとして選択することをさらに含んでもよい。

【0113】

各焦点外れピクセルに対してのソースピクセルを選択することは、分割ピクセル画像データの第４象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することをさらに含んでもよい。各焦点外れピクセルのソースピクセルを選択することは、分割ピクセル画像データの第４象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、対応する第４ピクセルをソースピクセルとして選択することをさらに含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、対応する第１のピクセルをソースピクセルとして選択することをさらに含んでもよい。

【0114】

いくつかの実施形態において、分割ピクセル画像データは、第１の部分画像と、第２の部分画像と、第３の部分画像と、第４の部分画像とを含んでもよい。対応するピクセル値を決定することは、（ｉ）各焦点外れピクセルによって示された、被写界深度に対するシーン特徴の対応する位置、および（ｉｉ）分割ピクセル画像データ内の各焦点外れピクセルの位置に基づいて、各焦点外れピクセルの対応する第１のピクセルの第１の重み、各焦点外れピクセルの対応する第２のピクセルの第２の重み、各焦点外れピクセルの対応する第３の部分画像内の第３のピクセルの第３の重み、および各焦点外れピクセルの対応する第４の部分画像内の第４のピクセルの第４の重みを決定することと、（ｉ）各焦点外れピクセルの対応する第１のピクセルの第１の重みと第１の値との第１の積、（ｉｉ）各焦点外れピクセルの対応する第２のピクセルの第２の重みと第２の値との第２の積、（ｉｉｉ）各焦点外れピクセルの対応する第３のピクセルの第３の重みと第３の値との第３の積、および（ｉｖ）各焦点外れピクセルの対応する第４のピクセルの第４の重みと第４の値との第４の積に基づいて、各焦点外れピクセルの対応するピクセル値を決定することとを含んでもよい。

【0115】

いくつかの実施形態において、分割ピクセル画像データの第１の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第１のピクセルの第１の重みは、対応する第２のピクセルの第２の重み、対応する第３のピクセルの第３の重み、および対応する第４のピクセルの第４の重みよりも大きくてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第４のピクセルの第４の重みは、対応する第１のピクセルの第１の重み、対応する第２のピクセルの第２の重み、および対応する第３のピクセルの第３の重みよりも大きくてもよい。分割ピクセル画像データの第２象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第２のピクセルの第２の重みは、対応する第１のピクセルの第１の重み、対応する第３のピクセルの第３の重み、および対応する第４のピクセルの第４の重みよりも大きくてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第３のピクセルの第３の重みは、対応する第１のピクセルの第１の重み、対応する第２のピクセルの第２の重み、および対応する第４のピクセルの第４の重みよりも大きくてもよい。分割ピクセル画像データの第３象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第３のピクセルの第３の重みは、対応する第１のピクセルの第１の重み、対応する第２のピクセルの第２の重み、および対応する第４のピクセルの第４の重みよりも大きくてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第２のピクセルの第２の重みは、対応する第１のピクセルの第１の重み、対応する第３のピクセルの第３の重み、および対応する第４のピクセルの第４の重みよりも大きくてもよい。分割ピクセル画像データの第４象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するときに、対応する第４のピクセルの第４の重みは、対応する第１のピクセルの第１の重み、対応する第２のピクセルの第２の重み、および対応する第３のピクセルの第３の重みよりも大きくてもよく、各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するときに、対応する第１のピクセルの第１の重みは、対応する第２のピクセルの第２の重み、対応する第３のピクセルの第３の重み、および対応する第４のピクセルの第４の重みよりも大きてもよい。

【0116】

いくつかの実施形態において、第１の重み、第２の重み、第３の重み、および第４の重みを決定することは、分割ピクセル画像データの第１の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することを含んでもよい。また、第１の重み、第２の重み、第３の重み、および第４の重みを決定することは、分割ピクセル画像データの第１の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、第２の重み、第３の重み、および第４の重みよりも大きい第１の重みを決定することを含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、第１の重み、第２の重み、および第３の重みよりも大きい第４の重みを決定することを含んでもよい。

【0117】

第１の重み、第２の重み、第３の重み、および第４の重みを決定することは、分割ピクセル画像データの第２の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することをさらに含んでもよい。第１の重み、第２の重み、第３の重み、および第４の重みを決定することは、分割ピクセル画像データの第２の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、第１の重み、第３の重み、および第４の重みよりも大きい第２の重みを決定することを含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、第１の重み、第２の重み、および第４の重みよりも大きい第３の重みを決定することを含んでもよい。

【0118】

第１の重み、第２の重み、第３の重み、および第４の重みを決定することは、分割ピクセル画像データの第３の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することをさらに含んでもよい。第１の重み、第２の重み、第３の重み、および第４の重みを決定することは、分割ピクセル画像データの第３の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、第１の重み、第２の重み、および第４の重みよりも大きい第３の重みを決定することをさらに含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいておよび／またはそれに応答して、第１の重み、第３の重み、および第４の重みよりも大きい第２の重みを決定することを含んでもよい。

【0119】

第１の重み、第２の重み、第３の重み、および第４の重みを決定することは、分割ピクセル画像データの第４の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するかまたは被写界深度の前方に位置するかを判断することをさらに含んでもよい。第１の重み、第２の重み、第３の重み、および第４の重みを決定することは、分割ピクセル画像データの第４の象限に位置する焦点外れピクセルに対して、各焦点外れピクセルによって示されたシーン特徴が被写界深度の後方に位置するという判断に基づいておよび／またはそれに応答して、第１の重み、第２の重み、および第３の重みよりも大きい第４の重みを決定することをさらに含んでもよく、または各焦点外れピクセルによって示されたシーン特徴が被写界深度の前方に位置するという判断に基づいて、および／またはそれに応答して、第２の重み、第３の重み、および第４の重みよりも大きい第１の重みを決定することをさらに含んでもよい。

【0120】

いくつかの実施形態において、分割ピクセル画像データの各部分画像は、分割ピクセルカメラの対応するフォトサイトによって、単一露光の一部として撮影されてもよい。

【0121】

いくつかの実施形態において、複数のピクセルの各ピクセルによって示されたシーン特徴の対応する位置に基づいて、複数のピクセルのうちの１つ以上の合焦ピクセルを特定することができる。１つ以上の合焦ピクセルによって示されたシーン特徴は、被写界深度内に位置してもよい。第１の部分画像内の対応する第１のピクセルの第１の値と第２の部分画像内の対応する第２のピクセルの第２の値とを加算することによって、１つ以上の合焦ピクセルの各合焦ピクセルの対応するピクセル値を決定することができる。増強画像は、決定された各合焦ピクセルの対応するピクセル値にさらに基づいて生成されてもよい。

【0122】

いくつかの実施形態において、各ピクセルによって示された、分割ピクセルカメラの被写界深度に対するシーン特徴の対応する位置を決定することは、分割ピクセル画像データの複数のピクセルの各ピクセルに対して、第１の部分画像内の対応する第１のピクセルと第２の部分画像内の対応する第２のピクセルとの間の差を決定することと、その差に基づいて、分割ピクセル画像データの複数のピクセルの各ピクセルの対応する位置を決定することとを含んでもよい。

【0123】

ＩＸ．結び
本開示は、本明細書に記載された特定の実施形態に限定されない。これらの実施形態は、様々な態様の例示として意図される。当業者には明らかなように、本開示の範囲から逸脱することなく、多くの修正および変形を行うことができる。本明細書に記載されるものに加えて、本開示の範囲と機能的に等価な方法および装置は、前述した説明から当業者には明らかであろう。このような修正および変形は、添付の特許請求の範囲に含まれることが意図される。

【0124】

上記の詳細な説明は、添付の図面を参照して、開示されたシステム、装置および方法の様々な特徴および動作を説明する。図面において、文脈上別段の説明がない限り、同様の記号は、一般的に同様の構成要素を特定する。本明細書および図面に記載の例示的な実施形態は、限定的であることを意味していない。本明細書に記載された主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で概して説明され、図示された本開示の態様は、多種多様の異なる構成で配置、置換、結合、分離、および設計され得ることが容易に理解される。

【0125】

本明細書に記載され、図面に示されたメッセージフロー図、シナリオ、およびフローチャートのいずれかまたは全てに関して、各ステップ、ブロック、および／または通信は、例示的な実施形態に従って、情報の処理および／または情報の送信を示すことができる。代替的な実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替的な実施形態において、ステップ、ブロック、伝送、通信、要求、応答、および／またはメッセージとして記載された動作は、例えば、必要とする機能に応じて、図示または記載された順序とは異なる順序で、例えば実質的に同時にまたは逆の順序で実行されてもよい。また、より多いまたはより少ないブロックおよび／または動作は、本明細書に記載されたメッセージフロー図、シナリオ、およびフローチャートのいずれかと共に使用されてもよく、これらのメッセージフロー図、シナリオ、およびフローチャートの一部または全体は、互いに組み合わせられてもよい。

【0126】

情報の処理を示すステップまたはブロックは、本明細書に記載された方法または技法の特定のロジック機能を実行するように構成された回路に対応してもよい。代替的または追加的に、情報の処理を示すブロックは、モジュール、セグメント、または（関連データを含む）プログラムコードの一部に対応してもよい。プログラムコードは、方法または技法の特定のロジック演算または動作を実行するためのプロセッサによって実行可能な１つ以上の命令を含んでもよい。プログラムコードおよび／または関連データは、任意の種類のコンピュータ可読媒体、例えば、ランダムアクセスメモリ（ＲＡＭ）を含む記憶装置、ディスクドライブ、ソリッドステートドライブ、または別の記憶媒体に記憶されてもよい。

【0127】

また、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体、例えば、レジスタメモリ、プロセッサキャッシュ、およびＲＡＭなどのデータを短期間で記憶するコンピュータ可読媒体を含んでもよい。コンピュータ可読媒体は、プログラムコードおよび／またはデータを長期間で記憶する非一時的なコンピュータ可読媒体を含んでもよい。したがって、コンピュータ可読媒体は、二次記憶装置または持続的長期記憶装置、例えば、読取り専用メモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、ソリッドステートドライブ、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）を含むことができる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、または有形記憶装置であってもよい。

【0128】

さらに、１つ以上の情報送信を示すステップまたはブロックは、同じ物理装置内のソフトウェアモジュールおよび／またはハードウェアモジュール間の情報送信に対応してもよい。しかしながら、他の情報伝送は、異なる物理的装置内のソフトウェアモジュールおよび／またはハードウェアモジュール間で行われてもよい。

【0129】

図面に示された特定の配置は、限定的であると見なされるべきではない。なお、他の実施形態は、所定の図に示された要素よりも多くまたは少ない要素を含んでもよい。また、図示された要素の一部は、結合されてもよく、または省略されてもよい。さらに、例示的な実施形態は、図示されていない要素を含んでもよい。

【0130】

本明細書は、様々な態様および実施形態を開示したが、当業者には他の態様および実施形態が明らかであろう。本明細書に開示された様々な態様および実施形態は、例示を目的としており、限定することを意図しておらず、真の範囲は、以下の特許請求の範囲によって示される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】

【図6G】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図7G】

【図8】