(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-31
(54)【発明の名称】複数の深度のオブジェクトがあるシーンの画像融合
(51)【国際特許分類】
H04N 23/45 20230101AFI20240124BHJP
H04N 23/60 20230101ALI20240124BHJP
H04N 23/61 20230101ALI20240124BHJP
H04N 23/695 20230101ALI20240124BHJP
【ＦＩ】
H04N23/45
H04N23/60 500
H04N23/61
H04N23/698
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023539173
(86)(22)【出願日】2022-01-18
(85)【翻訳文提出日】2023-06-26
(86)【国際出願番号】 US2022070230
(87)【国際公開番号】W WO2022165462
(87)【国際公開日】2022-08-04
(31)【優先権主張番号】17/161,355
(32)【優先日】2021-01-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】ウェン－チュン・フェン
(72)【発明者】
【氏名】シュアン－ミン・リュウ
(72)【発明者】
【氏名】ユ－レン・ライ
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122EA67
5C122FA06
5C122FA18
5C122FB06
5C122FD01
5C122FH09
5C122FH11
5C122FH14
5C122FH18
5C122FH22
5C122HB01
(57)【要約】
画像キャプチャデバイスによりキャプチャされた画像に実行される画像処理は、より大きい口径レンズを有するデバイス、およびいくつかの特定の例では、より大きい口径レンズを有するモバイルデバイスからキャプチャされた画像を含む、デバイスからキャプチャされた画像に関する問題のいくつかを改善するために使用され得る。複数の画像がキャプチャデバイスによってキャプチャされ、複数の画像の融合により単一の画像を生成するための処理が適用され得る。複数の画像の融合によって得られる1つの潜在的な利点は、キャプチャデバイスから取得される単一の画像において利用可能なものよりも大きい有効焦点深度(DOF)を有する単一の画像である。融合画像のDOFは、単一の画像よりも大きく、および/または複数の別個のフォーカス焦点距離を含み得、一方、単一のキャプチャデバイスからの単一の画像は、単一のフォーカス焦点距離のみを有する。
【特許請求の範囲】
【請求項1】
第1の焦点距離でキャプチャされたシーンを表す第1の画像フレームを受信するステップと、前記シーンの第1の部分についての前記第1の焦点距離に対応する第1の深度と、前記シーンの第2の部分についての第2の深度との間の差がしきい値を超えるかどうかを決定するステップと、
前記差が前記しきい値を超えたとき、
前記第1の焦点距離とは異なる第2の焦点距離でキャプチャされた前記シーンを表す第2の画像フレームを受信するステップと、
前記第1の画像フレームおよび前記第2の画像フレームに基づいて出力画像フレームを決定するステップと
を含む方法。
【請求項2】
前記差が前記しきい値を超えたとき、前記出力画像フレームを前記第1の部分と前記第2の部分とにセグメント化するステップと、
ぼかしアルゴリズムを、前記第1の部分ではなく、前記第2の部分内のピクセルに適用するステップと
をさらに含む、請求項1に記載の方法。
【請求項3】
前記出力画像フレームを決定するステップが、前記第2の深度に対応する前記第2の画像フレームのセグメントを決定するステップと、
前記出力画像フレームを取得するために、前記セグメントを前記第1の画像フレームとマージするステップと
を含む、請求項1に記載の方法。
【請求項4】
前記セグメントを前記第1の画像フレームとマージするステップが、前記第1の画像フレームの第1の部分から前記出力画像フレームに、第1の組のピクセルに対応する第1の画像データをコピーするステップと、
前記セグメントから前記出力画像フレームに、第2の組のピクセルに対応する第2の画像データをコピーするステップと、
前記第1の組のピクセルと前記第2の組のピクセルとの間の境界領域内の第3の組のピクセルに対応する前記出力画像フレームの第3の画像データを決定するステップであり、前記第3の画像データが、前記第1の画像フレームと、前記第2の画像フレームと、重み付け値とに基づいて決定される、決定するステップと
を含む、請求項3に記載の方法。
【請求項5】
前記第3の組のピクセル内のあるピクセルに対応する前記第1の画像フレームにおけるコントラスト値、前記第3の組のピクセル内のあるピクセルに対応する前記第2の画像フレームにおけるコントラスト値、または
前記第3の組のピクセル内のあるピクセルから、前記第1の組のピクセルまたは前記第2の組のピクセルのうちの少なくとも一方内のあるピクセルまでの距離に対応する距離値
のうちの少なくとも1つに基づいて、前記重み付け値を決定するステップをさらに含む、請求項4に記載の方法。
【請求項6】
前記第1の画像フレームの第1の勾配および前記第2の画像フレームの第2の勾配に基づいて、前記重み付け値を決定するステップをさらに含む、請求項4に記載の方法。
【請求項7】
前記重み付け値が、第1の対応するピクセルにおける勾配が第2の対応するピクセルよりも大きいかどうかに基づいて、前記第1の組のピクセルにおける前記第1の対応するピクセルまたは前記第2の組のピクセルにおける前記第2の対応するピクセルから、前記第3の組のピクセルのうちのあるピクセルについての値を選択することに対応する、請求項4に記載の方法。
【請求項8】
前記第1の深度を決定するステップが、前記深度データに基づいて、ヒストグラムの第1のピークに対応する深度を決定するステップを含み、前記第2の深度を決定するステップが、前記ヒストグラムの第2のピークに対応する深度を決定するステップを含む、
請求項1に記載の方法。
【請求項9】
前記第2の深度に対応する前記第2の焦点距離で前記第2の画像フレームをキャプチャするためのコマンドを送信するステップをさらに含む、請求項8に記載の方法。
【請求項10】
前記コマンドを送信する前記ステップが、オートフォーカスアルゴリズムに前記第2の焦点距離をシードするステップを含む、請求項9に記載の方法。
【請求項11】
前記第1の画像フレームの第3の部分の第3の深度を決定するステップと、前記第2の深度と前記第3の深度との間の第2の差が第2のしきい値を超えるかどうかを決定するステップと、
前記第2の差が前記第2のしきい値を超えると、前記第2の焦点距離とは異なる第3の焦点距離で第3の画像フレームを受信するステップと、
前記第1の画像フレーム、前記第2の画像フレーム、および前記第3の画像フレームに基づいて出力画像フレームを決定するステップと
をさらに含む、請求項1に記載の方法。
【請求項12】
前記第1の画像フレームを受信する前記ステップが、f/2.2よりも大きい口径を有する画像センサから前記第1の画像フレームを受信するステップを含む、請求項1に記載の方法。
【請求項13】
前記第2の画像フレームを受信する前記ステップが、第2のセンサによってキャプチャされた前記第2の画像フレームを受信するステップを含む、請求項1に記載の方法。
【請求項14】
前記第1の深度と前記第2の深度との間の差が前記しきい値を超えるかどうかを決定する前に、オブジェクト検出アルゴリズムに基づいて、前記第1の画像フレームにおける第1の関心オブジェクトおよび第2の関心オブジェクトを決定するステップと、
前記第1の深度として、前記第1の関心オブジェクトの深度を決定するステップと、
前記第2の深度として、前記第2の関心オブジェクトの深度を決定するステップと
をさらに含む、請求項1に記載の方法。
【請求項15】
デバイスであって、プロセッサと、
前記プロセッサに結合され、前記プロセッサによって実行されると、前記デバイスに動作を実行させる命令を記憶するメモリであり、前記動作は、
第1の焦点距離でキャプチャされたシーンを表す第1の画像フレームを受信することと、
前記シーンの第1の部分についての前記第1の焦点距離に対応する第1の深度と、前記シーンの第2の部分についての第2の深度との間の差がしきい値を超えるかどうかを決定することと、
前記差が前記しきい値を超えたとき、
前記第1の焦点距離とは異なる第2の焦点距離でキャプチャされた前記シーンを表す第2の画像フレームを受信することと、
前記第1の画像フレームおよび前記第2の画像フレームに基づいて出力画像フレームを決定することと
を含む、メモリと
を備えるデバイス。
【請求項16】
前記命令が、前記デバイスに、前記出力画像フレームを前記第1の部分と前記第2の部分とにセグメント化することと、
ぼかしアルゴリズムを、前記第1の部分ではなく、前記第2の部分内のピクセルに適用することと
を含む動作を実行させる、請求項15に記載のデバイス。
【請求項17】
前記出力画像フレームを決定することが、前記第2の深度に対応する前記第2の画像フレームのセグメントを決定することと、
前記出力画像フレームを取得するために、前記セグメントを前記第1の画像フレームとマージすることと
を含む、請求項15に記載のデバイス。
【請求項18】
前記セグメントを前記第1の画像フレームとマージすることが、前記第1の画像フレームの第1の部分から前記出力画像フレームに、第1の組のピクセルに対応する第1の画像データをコピーすることと、
前記セグメントから前記出力画像フレームに、第2の組のピクセルに対応する第2の画像データをコピーすることと、
前記第1の組のピクセルと前記第2の組のピクセルとの間の境界領域内の第3の組のピクセルに対応する前記出力画像フレームの第3の画像データを決定することであり、前記第3の画像データが、前記第1の画像フレームと、前記第2の画像フレームと、重み付け値とに基づいて決定される、決定することと
を含む、請求項17に記載のデバイス。
【請求項19】
前記命令が、前記デバイスに、前記第3の組のピクセル内のあるピクセルに対応する前記第1の画像フレームにおけるコントラスト値、
前記第3の組のピクセル内のあるピクセルに対応する前記第2の画像フレームにおけるコントラスト値、または
前記第3の組のピクセル内のあるピクセルから、前記第1の組のピクセルまたは前記第2の組のピクセルのうちの少なくとも一方内のあるピクセルまでの距離に対応する距離値
のうちの少なくとも1つに基づいて、前記重み付け値を決定すること
を含む動作を実行させる、請求項18に記載のデバイス。
【請求項20】
前記命令が、前記デバイスに、前記第1の画像フレームの第1の勾配および前記第2の画像フレームの第2の勾配に基づいて、前記重み付け値を決定することを含む動作を実行させる、請求項18に記載のデバイス。
【請求項21】
前記重み付け値が、第1の対応するピクセルにおける勾配が第2の対応するピクセルよりも大きいかどうかに基づいて、前記第1の組のピクセルにおける前記第1の対応するピクセルまたは前記第2の組のピクセルにおける前記第2の対応するピクセルから、前記第3の組のピクセルのうちのあるピクセルについての値を選択することに対応する、請求項18に記載のデバイス。
【請求項22】
前記第1の深度を決定することが、前記深度データに基づいて、ヒストグラムの第1のピークに対応する深度を決定することを含み、前記第2の深度を決定することが、前記ヒストグラムの第2のピークに対応する深度を決定することを含む、
請求項15に記載のデバイス。
【請求項23】
前記命令が、前記デバイスに、前記第2の深度に対応する前記第2の焦点距離で前記第2の画像フレームをキャプチャするためのコマンドを送信することを含む動作を実行させる、請求項22に記載のデバイス。
【請求項24】
前記コマンドを送信する前記ステップが、オートフォーカスアルゴリズムに前記第2の焦点距離をシードすることを含む、請求項23に記載のデバイス。
【請求項25】
前記命令が、前記デバイスに、前記第1の画像フレームの第3の部分の第3の深度を決定することと、
前記第2の深度と前記第3の深度との間の第2の差が第2のしきい値を超えるかどうかを決定することと、
前記第2の差が前記第2のしきい値を超えると、前記第2の焦点距離とは異なる第3の焦点距離で第3の画像フレームを受信することと、
前記第1の画像フレーム、前記第2の画像フレーム、および前記第3の画像フレームに基づいて出力画像フレームを決定することと
を含む動作を実行させる、請求項15に記載のデバイス。
【請求項26】
画像センサと、前記画像センサに結合されたレンズとをさらに備え、前記画像センサが、f/2.2よりも大きい口径を備える、請求項15に記載のデバイス。
【請求項27】
前記第2の画像フレームを前記受信することが、第2のセンサによってキャプチャされた前記第2の画像フレームを受信することを含む、請求項15に記載のデバイス。
【請求項28】
前記命令が、前記デバイスに、オブジェクト検出アルゴリズムに基づいて、前記第1の画像フレームにおける第1の関心オブジェクトおよび第2の関心オブジェクトを決定することと、
前記第1の深度として、前記第1の関心オブジェクトの深度を決定することと、
前記第2の深度として、前記第2の関心オブジェクトの深度を決定することと
を含む動作を実行させる、請求項15に記載のデバイス。
【請求項29】
デバイスのプロセッサによって実行されると、前記デバイスに動作を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記動作は、第1の焦点距離でキャプチャされたシーンを表す第1の画像フレームを受信することと、
前記シーンの第1の部分についての前記第1の焦点距離に対応する第1の深度と、前記シーンの第2の部分についての第2の深度との間の差がしきい値を超えるかどうかを決定することと、
前記差が前記しきい値を超えたとき、
前記第1の焦点距離とは異なる第2の焦点距離でキャプチャされた前記シーンを表す第2の画像フレームを受信することと、
前記第1の画像フレームおよび前記第2の画像フレームに基づいて出力画像フレームを決定することと
を含む、非一時的コンピュータ可読媒体。
【請求項30】
デバイスのプロセッサによって実行されると、前記デバイスに動作を実行させる命令をさらに含み、前記動作は、前記出力画像フレームを前記第1の部分と前記第2の部分とにセグメント化することと、
ぼかしアルゴリズムを、前記第1の部分ではなく、前記第2の部分内のピクセルに適用することと
を含む、請求項29に記載の非一時的コンピュータ可読媒体。
【請求項31】
前記出力画像フレームを決定することが、前記第2の深度に対応する前記第2の画像フレームのセグメントを決定することと、
前記出力画像フレームを取得するために、前記セグメントを前記第1の画像フレームとマージすることと
を含む、請求項29に記載の非一時的コンピュータ可読媒体。
【請求項32】
前記セグメントを前記第1の画像フレームとマージすることが、前記第1の画像フレームの第1の部分から前記出力画像フレームに、第1の組のピクセルに対応する第1の画像データをコピーすることと、
前記セグメントから前記出力画像フレームに、第2の組のピクセルに対応する第2の画像データをコピーすることと、
前記第1の組のピクセルと前記第2の組のピクセルとの間の境界領域内の第3の組のピクセルに対応する前記出力画像フレームの第3の画像データを決定することであり、前記第3の画像データが、前記第1の画像フレームと、前記第2の画像フレームと、重み付け値とに基づいて決定される、決定することと
を含む、請求項31に記載の非一時的コンピュータ可読媒体。
【請求項33】
デバイスのプロセッサによって実行されると、前記デバイスに動作を実行させる命令をさらに含み、前記動作は、前記第3の組のピクセル内のあるピクセルに対応する前記第1の画像フレームにおけるコントラスト値、
前記第3の組のピクセル内のあるピクセルに対応する前記第2の画像フレームにおけるコントラスト値、または
前記第3の組のピクセル内のあるピクセルから、前記第1の組のピクセルまたは前記第2の組のピクセルのうちの少なくとも一方内のあるピクセルまでの距離に対応する距離値
を含む、請求項32に記載の非一時的コンピュータ可読媒体。
【請求項34】
デバイスのプロセッサによって実行されると、前記デバイスに動作を実行させる命令をさらに含み、前記動作は、前記第1の画像フレームの第1の勾配および前記第2の画像フレームの第2の勾配に基づいて、前記重み付け値を決定することを含む、請求項32に記載の非一時的コンピュータ可読媒体。
【請求項35】
前記重み付け値が、第1の対応するピクセルにおける勾配が第2の対応するピクセルよりも大きいかどうかに基づいて、前記第1の組のピクセルにおける前記第1の対応するピクセルまたは前記第2の組のピクセルにおける前記第2の対応するピクセルから、前記第3の組のピクセルのうちのあるピクセルについての値を選択することに対応する、請求項32に記載の非一時的コンピュータ可読媒体。
【請求項36】
前記第1の深度を決定することが、前記深度データに基づいて、ヒストグラムの第1のピークに対応する深度を決定することを含み、前記第2の深度を決定することが、前記ヒストグラムの第2のピークに対応する深度を決定することを含む、
請求項29に記載の非一時的コンピュータ可読媒体。
【請求項37】
デバイスのプロセッサによって実行されると、前記デバイスに動作を実行させる命令をさらに含み、前記動作は、前記第2の深度に対応する前記第2の焦点距離で前記第2の画像フレームをキャプチャするためのコマンドを送信することを含む、請求項36に記載の非一時的コンピュータ可読媒体。
【請求項38】
前記コマンドを送信する前記ステップが、オートフォーカスアルゴリズムに前記第2の焦点距離をシードすることを含む、請求項37に記載の非一時的コンピュータ可読媒体。
【請求項39】
デバイスのプロセッサによって実行されると、前記デバイスに動作を実行させる命令をさらに含み、前記動作は、前記第1の画像フレームの第3の部分の第3の深度を決定することと、
前記第2の深度と前記第3の深度との間の第2の差が第2のしきい値を超えるかどうかを決定することと、
前記第2の差が前記第2のしきい値を超えると、前記第2の焦点距離とは異なる第3の焦点距離で第3の画像フレームを受信することと、
前記第1の画像フレーム、前記第2の画像フレーム、および前記第3の画像フレームに基づいて出力画像フレームを決定することと
を含む、請求項29に記載の非一時的コンピュータ可読媒体。
【請求項40】
前記第2の画像フレームを前記受信することが、第2のセンサによってキャプチャされた前記第2の画像フレームを受信することを含む、請求項29に記載の非一時的コンピュータ可読媒体。
【請求項41】
デバイスのプロセッサによって実行されると、前記デバイスに動作を実行させる命令をさらに含み、前記動作は、オブジェクト検出アルゴリズムに基づいて、前記第1の画像フレームにおける第1の関心オブジェクトおよび第2の関心オブジェクトを決定することと、
前記第1の深度として、前記第1の関心オブジェクトの深度を決定することと、
前記第2の深度として、前記第2の関心オブジェクトの深度を決定することと
を含む、請求項29に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その全体が参照により本明細書に明確に組み込まれる、2021年1月28日に出願された、「IMAGE FUSION FOR SCENES WITH OBJECTS AT MULTIPLE DEPTHS」と題する米国特許出願第17/161,355号の利益を主張する。
本出願は、その全体が参照により本明細書に明確に組み込まれる、2021年1月28日に出願された、「IMAGE FUSION FOR SCENES WITH OBJECTS AT MULTIPLE DEPTHS」と題する米国特許出願第17/161,355号の利益を主張する。
【0002】
本開示の態様は、一般に、画像処理に関する。本開示のいくつかの特徴は、画像キャプチャデバイスからの出力の画像信号プロセッサによる処理の改善を可能にし、提供し得る。
【背景技術】
【0003】
画像キャプチャデバイスは、写真用の静止画像であろうと、ビデオ用の画像のシーケンスであろうと、1つまたは複数のデジタル画像をキャプチャすることができるデバイスである。キャプチャデバイスは、様々なデバイスに組み込むことができる。例として、画像キャプチャデバイスは、スタンドアロンのデジタルカメラまたはデジタルビデオカムコーダ、たとえば携帯電話、セルラーもしくは衛星無線電話などカメラを備えたワイヤレス通信デバイスハンドセット、携帯情報端末(PDA)、パネルもしくはタブレット、ゲームデバイス、ウェブカムなどのコンピュータデバイス、ビデオ監視カメラ、またはデジタル撮影もしくはビデオ能力をもつ他のデバイスを備えてもよい。
【0004】
画像キャプチャデバイスによってキャプチャされた画像の品質は、画像キャプチャデバイスの1つまたは複数の画像センサで大口径レンズを使用することによって改善することができる。より大きい口径レンズは、屋内および夜間の撮影に有益であり得るより良好な低光性能、およびポートレート写真に有益であり得るより良好なボケブラーを含む多くの利益を有する。しかしながら、大口径レンズはまた、短い焦点深度(DOF)を有し、その結果、キャプチャされた画像の中でフォーカスされている部分が限られ、画像の残りの部分には様々な程度のぼけがある。シーンが様々な距離にある多くのオブジェクトを含むとき、大口径レンズを有する画像キャプチャデバイスは、それらのオブジェクトのうちの一部はフォーカスされていない画像をキャプチャする。これは、特に、フォーカスされていないオブジェクトが他の人々を含むとき、望ましくない場合がある。
【0005】
ここで言及される短所は、代表的なものにすぎず、本発明者らが既存のデバイスに関して識別し、改善を求めてきた問題を強調するために含まれる。以下で説明するデバイスの態様は、欠点のいくつかまたはすべて、ならびに当技術分野で知られている他のものに対処し得る。以下に説明する改善されたデバイスの態様は、上記で説明したもの以外の利点を提示し得、かつ上記で説明したもの以外の用途において使用され得る。
【発明の概要】
【課題を解決するための手段】
【0006】
画像キャプチャデバイスによりキャプチャされた画像に実行される画像処理は、より大きい口径レンズを有するデバイス、およびいくつかの特定の例では、より大きい口径レンズを有するモバイルデバイスからキャプチャされた画像を含む、デバイスからキャプチャされた画像に関する問題のいくつかを改善するために使用され得る。複数の画像がキャプチャデバイスによってキャプチャされ、複数の画像の融合により単一の画像を生成するための処理が適用され得る。複数の画像の融合によって得られる1つの潜在的な利点は、キャプチャデバイスから取得される単一の画像において利用可能なものよりも大きい有効焦点深度(DOF)を有する単一の画像である。融合画像のDOFは、単一の画像よりも大きく、および/または複数の別個のフォーカス焦点距離を含み得、一方、単一のキャプチャデバイスからの単一の画像は、単一のフォーカス焦点距離のみを有する。複数の画像の融合は、マージ、コピー、セグメント化、およびブレンドなど、説明される1つまたは複数の画像処理技法を含み得る。複数の画像の融合は、キャプチャされた画像内で満たされる特定の条件を含む基準に基づいて開始され得る。一実施形態では、デフォルトの画像キャプチャは、キャプチャデバイスからの第1の入力フレームを処理することを含み得る。深度データヒストグラムにおいて十分なしきい値によって分離された2つ以上のピークなど、第1の画像フレームにおいて条件が識別されたとき、第1の画像フレームと追加の画像フレームとの融合を含む処理のために、追加の画像フレームが取り出される。追加のフレームを取り出すことによって、画像キャプチャデバイスからの追加の画像キャプチャがトリガされ得る。
【0007】
以下は、説明する技術の基本的理解を与えるために本開示のいくつかの態様を要約する。本概要は、本開示のすべての企図される特徴の広範な概要ではなく、本開示のすべての態様の主要または重要な要素を識別するものでもなく、本開示のいずれかまたはすべての態様の範囲を定めるものでもない。その唯一の目的は、後で提示するより詳細な説明の前置きとして、本開示の1つまたは複数の態様のいくつかの概念を要約の形態で提示することである。
【0008】
異なる実施形態では、デジタルカメラのハードウェアおよび/またはソフトウェアは、画像のキャプチャ、画像の処理、画像融合のトリガ、および/またはキャプチャされた画像の融合を行い得、いくつかのハードウェアおよび/またはソフトウェアは、画像のキャプチャと融合画像の生成との間の複数のステップを実行する。いくつかの実施形態では、デジタルカメラのハードウェアは、キャプチャされた画像を処理し、融合処理がトリガされるべきであると決定し、追加の画像をキャプチャし、画像を融合することによる処理を含むさらなる処理のために、それらの追加の画像を画像信号プロセッサおよび/またはアプリケーションプロセッサに渡すことができる。融合処理のトリガは、ハードウェアによって決定されるあらかじめ定められた基準(たとえば、関心オブジェクトの焦点距離の差がしきい値を超える)に基づいて実行され得、固定機能ハードウェアおよび/または汎用プロセッサにおいて実行され得る。他の実施形態では、融合処理のトリガは、代替的に、画像処理機能がCPU上で実行されることに応答して、ユーザ入力が融合処理キャプチャモードをアクティブ化したことに応答して、固定機能融合ノードによる決定に応答して、または画像信号プロセッサによる決定に応答して、たとえばCPUによって、デバイス内の別の構成要素からの要求に基づいて実行されてもよい。いくつかの実施形態では、画像信号プロセッサは、実際の画像キャプチャ構成要素(たとえば、画像センサおよびレンズ)とは別のデバイス内にあり得、融合ノード、中央処理ユニット、メモリ、および/またはストレージのうちの1つまたは複数とシステムオンチップ(SoC)に統合され得る。
【0009】
シーンを表す出力フレームが、複数の画像フレームを融合することによって生成された後、シーンのビューは、デバイスディスプレイ上に表示され、ピクチャまたはピクチャのシーケンスとしてビデオとして記憶デバイスに保存され、ネットワークを介して送信され、および/または出力媒体に印刷され得る。たとえば、画像信号プロセッサは、1つまたは複数の画像センサからの1つまたは複数の画像フレームから画像データの入力フレーム(たとえば、ピクセル値)を取得し、次いで、画像データの対応する出力フレーム(たとえば、プレビュー表示フレーム、静止画像キャプチャ、ビデオのフレームなど)を生成するように構成され得る。他の例では、画像信号プロセッサは、3Aパラメータ同期、出力フレームを介したビデオファイルの生成、表示用のフレームの構成、記憶用のフレームの構成のためなど、さらなる処理のために、画像データのフレームを様々な出力デバイスおよび/またはカメラモジュールに出力し得る。すなわち、画像信号プロセッサは、各々が1つまたは複数のカメラレンズに結合された1つまたは複数の画像センサから入ってくるフレームを取得し、次いで、出力フレームのフローを生成し、様々な出力先に出力し得る。
【0010】
本開示の一形態では、方法は、第1の焦点距離で第1の焦点でキャプチャされたシーンを表す第1の画像フレームを受信するステップと、シーンの第1の部分についての第1の深度と、シーンの第2の部分についての第2の深度との間の差がしきい値を超えるかどうかを決定するステップとを含む。差がしきい値を超えたとき、方法は、引き続き、第1の焦点距離とは異なる第2の焦点距離でキャプチャされた第2の画像フレームを受信するステップと、第1の画像フレームおよび第2の画像フレームに基づいて出力画像フレームを決定するステップとを実行し得る。出力画像フレームを決定するための方法は、出力画像フレームを第1の部分と第2の部分とにセグメント化するステップ、および/またはぼかしアルゴリズムを、第1の部分ではなく、第2の部分内のピクセルに適用するステップを含み得る。出力画像フレームを決定するための方法は、追加または代替として、第2の深度に対応する第2の画像フレームのセグメントを決定するステップ、および/または出力画像フレームを取得するために、セグメントを第1の画像フレームとマージするステップを含み得る。出力画像フレームを決定するための方法は、追加または代替として、第1の画像フレームの第1の部分から出力画像フレームに、第1の組のピクセルに対応する第1の画像データをコピーするステップ、第2の画像フレームのセグメントから出力画像フレームに、第2の組のピクセルに対応する第2の画像データをコピーするステップ、および/または第1の組のピクセルと第2の組のピクセルとの間の第3の組のピクセルに対応する出力画像フレームの第3の画像データを決定するステップであり、第3の画像データが、第1の画像フレームと、第2の画像フレームと、重み付け値とに基づいて決定される、決定するステップを含み得る。重み付け値は、第1の画像フレームのコントラスト値、第3の組のピクセル内のあるピクセルから、第1の組のピクセルまたは第2の組のピクセルのうちの少なくとも一方内のあるピクセルまでの距離に対応する距離値、第1の画像フレームの第1の勾配、および/または第2の画像フレームの第2の勾配のうちの少なくとも1つに基づいて決定され得る。いくつかの実施形態では、重み付け値は、第1の対応するピクセルにおける勾配が第2の対応するピクセルよりも大きいかどうかに基づいて、第1の組のピクセルにおける第1の対応するピクセルまたは第2の組のピクセルにおける第2の対応するピクセルから、第3の組のピクセルのうちのあるピクセルについての値を選択することに対応する。
【0011】
方法は、2つより多い画像フレームに対して同様の動作を行うことを含み得る。たとえば、方法は、深度データに基づいて、第1の画像フレームの第3の部分の第3の深度を決定するステップ、第2の深度と第3の深度との間の第2の差が第2のしきい値を超えるかどうかを決定するステップ、第2の差が第2のしきい値を超えると、第2の焦点距離とは異なる第3の焦点距離で第3の画像フレームをキャプチャするためのコマンドを送信するステップ、第3の焦点距離でキャプチャされた第3の画像フレームを受信するステップ、および/または第1の画像フレーム、第2の画像フレーム、および第3の画像フレームに基づいて出力画像フレームを決定するステップを含み得る。
【0012】
本開示の追加の態様では、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに結合されたメモリとを含む装置が開示される。少なくとも1つのプロセッサは、本明細書で説明する方法または技法のいずれかを実行するように構成される。たとえば、少なくとも1つのプロセッサは、キャプチャデバイスからの第1の画像フレームを分析するステップと、追加の画像フレームのキャプチャを取り出すおよび/もしくはトリガするかどうかを決定するステップ、および/または出力フレームを生成するために2つ以上の画像フレームを融合するステップを含むステップを実行するように構成され得る。少なくとも1つのプロセッサは、カメラ制御および/または処理のための特定の機能を含む、画像信号プロセッサまたはプロセッサを含み得る。少なくとも1つのプロセッサは、アプリケーションプロセッサも含み得る、または代替として含み得る。本明細書で説明する方法および技法は、画像信号プロセッサまたはアプリケーションプロセッサによって完全に実行され得るか、または様々な動作が、画像信号プロセッサとアプリケーションプロセッサ、およびいくつかの実施形態では、追加のプロセッサとの間で分割され得る。
【0013】
本開示の追加の態様では、画像キャプチャのために構成されたデバイスが開示される。装置は、第1の焦点距離で第1の焦点でキャプチャされたシーンを表す第1の画像フレームを受信するための手段、シーンの第1の部分についての第1の深度と、シーンの第2の部分についての第2の深度との間の差がしきい値を超えるかどうかを決定するための手段、第1の焦点距離とは異なる第2の焦点距離でキャプチャされたシーンを表す第2の画像フレームを受信するための手段、および/または第1の画像フレームおよび第2の画像フレームに基づいて出力画像フレームを決定するための手段を含む。出力画像フレームを決定するための手段は、セグメント化するための手段、マージするための手段、勾配マップを決定するための手段、ヒストグラム深度データを決定するための手段、および/またはブレンドするための手段を含み得る。装置は、画像センサ(電荷結合素子(CCD)、ベイヤーフィルタセンサ、赤外線(IR)検出器、紫外線(UV)検出器、相補型金属酸化膜半導体(CMOS)センサを含む)、飛行時間検出器など、シーンを表すデータをキャプチャするための1つまたは複数の手段をさらに含む。装置は、光線を1つまたは複数の画像センサに蓄積および/または集束させるための1つまたは複数の手段(単純レンズ、複合レンズ、球面レンズ、および非球面レンズを含む)をさらに含み得る。
【0014】
本開示の追加の態様では、非一時的コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、本明細書で説明する方法および技法に記載のものを含む動作を実行させる命令を記憶する。たとえば、動作は、第1の焦点距離で第1の焦点でキャプチャされたシーンを表す第1の画像フレームを受信することと、シーンの第1の部分についての第1の深度と、シーンの第2の部分についての第2の深度との間の差がしきい値を超えるかどうかを決定することとを含み得、差がしきい値を超えたとき、命令は、引き続き、第1の焦点距離とは異なる第2の焦点距離でキャプチャされた第2の画像フレームを受信することと、第1の画像フレームおよび第2の画像フレームに基づいて出力画像フレームを決定することとを実行し得る。
【0015】
本開示の追加の態様では、モバイルデバイスは、画像センサと、画像信号プロセッサと、固定機能融合ノードと、アプリケーションプロセッサ(AP)として機能する中央処理ユニット(CPU)とを含み得る。シーン検出方式は、モバイルデバイス上で実行されるカメラアプリケーションのプレビュー動作中に、本明細書で説明する深度情報を使用するなどして、複数の関心領域の存在を検出するためにAP上で実行され得る。ユーザがシャッタボタンをクリックするなどしてキャプチャ要求が行われると、深度ヒストグラム上の複数のピークが検出されたとき、APは、さらなる処理のために複数の画像および複数の焦点面をキャプチャするために、カメラハードウェアに信号を送信する。画像センサ、レンズ、オートフォーカス(AF)システムなどのカメラハードウェアは、2つの画像をキャプチャするためにAFブラケット方式を実行する。これらの画像は、個々の画像を強調するように画像信号プロセッサによって処理され得、両方の画像は、ISPから融合ノードに送信される。融合ノードは、たとえば、本明細書で説明する結合輪郭マップ、重み付け、および合成に基づいて、対応する深度データを有するこれらの2つの画像を処理する。融合ノードは、次いで、単一の画像ファイルを、カメラアプリケーションにおける表示のためにAPに出力し、ギャラリーアプリケーションにおける後の表示のためにモバイルデバイスのストレージに記憶し、またはそうでなければ送信され、記憶され、もしくはさらに処理される。
【0016】
本開示の追加の態様では、装置は、画像センサと、画像センサに結合されたオートフォーカス(AF)回路とを備えるデジタルカメラを含み得、AF回路は、画像センサを第1の焦点面にフォーカスさせ、第1の焦点面において画像センサから第1の画像データを受信し、第1の画像データ内のオブジェクト間の距離を決定し、距離がしきい値を超えると決定し、画像センサを第2の焦点面にフォーカスさせ、第2の焦点面において画像センサから第2の画像データを受信するように構成される。いくつかの態様では、オブジェクト間の距離は、深度データヒストグラムのピークを決定し、ピーク間の距離をオブジェクト間の距離として決定することによって決定され得る。深度データヒストグラムは、たとえば、画像センサとは別の深度センサ、異なる視野でシーンをキャプチャする第2の画像センサからの対応する第2の画像データ、および/または画像センサの重複しない部分からの対応する第2の画像データから受信され得る。第1および第2の画像データは、第1および第2の画像データに対して融合処理を実行するために、画像信号プロセッサおよび/またはアプリケーションプロセッサなど、他の処理回路に渡され得る。
【0017】
添付の図とともに特定の例示的な態様の以下の説明を検討すれば、他の態様、特徴、および実装形態が当業者に明らかとなろう。特徴は、以下のいくつかの態様および図に関連して説明されることがあるが、様々な態様は、本明細書で説明される有利な特徴のうちの1つまたは複数を含むことができる。言い換えれば、1つまたは複数の態様は、いくつかの有利な特徴を有するものとして説明されることがあるが、そのような特徴のうちの1つまたは複数はまた、様々な態様に従って使用され得る。同様に、例示的な態様について、デバイス態様、システム態様、または方法態様として以下で説明する場合があるが、そのような例示的な態様は、様々なデバイス、システム、および方法において実装され得る。
【0018】
上記は、以下の「発明を実施するための形態」がよりよく理解され得るように、本発明の実施形態のいくつかの特徴と技術的利点とをかなり広範に概説している。本発明の特許請求の範囲の主題を形成するさらなる特徴および利点について、以下で説明する。開示された構想および特定の実施形態は、同一または類似の目的を果たすための他の構造を変更または設計するための基礎として容易に利用できることを、当業者は理解されたい。そのような等価な構成が、添付の特許請求の範囲に記載されている本発明の趣旨および範囲から逸脱しないことも、当業者は認識されたい。追加の特徴は、添付の図面と関連して考慮されるとき、以下の説明からよりよく理解されるであろう。しかしながら、図の各々は例示および説明のために提供されるにすぎず、本発明を限定するものではないことを明確に理解されたい。
【0019】
本開示の本質および利点のさらなる理解は、以下の図面を参照することによって実現することができる。添付の図面では、同様の構成要素または特徴は、同じ参照ラベルを有することがある。さらに、同じタイプの様々な構成要素が、参照ラベルの後に、ダッシュおよび類似の構成要素を区別する第2のラベルを続けることによって区別されることがある。第1の参照ラベルのみが本明細書において使用される場合、説明は、第2の参照ラベルにかかわらず、同じ第1の参照ラベルを有する同様の構成要素のうちのいずれにも適用可能である。
【図面の簡単な説明】
【0020】
【図1】本開示で説明する例示的な技法の1つまたは複数を実行するように構成されるコンピューティングデバイスのブロック図である。
【図2】本開示の実施形態による、出力画像フレームを取得するための複数の画像の融合を示すブロック図である。
【図3】本開示のいくつかの実施形態による、融合ロジックを実行することに関する例示的な決定を示すブロック図である。
【図4】本開示のいくつかの実施形態による、融合ロジックで画像フレームを処理する方法のフローチャートである。
【図5】本開示のいくつかの実施形態による、出力画像フレームを決定するための2つの画像フレームからの画像データのセグメント化およびマージを示すブロック図である。
【図6】本開示のいくつかの実施形態による、輪郭マップを使用した画像データのセグメント化を示すフローチャートである。
【図7】本開示のいくつかの実施形態による、重み付け値に基づいて融合出力画像フレームを決定するための画像データのマージを示すフローチャートである。
【図8】本開示のいくつかの実施形態による、2つの画像フレームを融合するための勾配マップに基づく重み値の生成を示すフローチャートである。
【発明を実施するための形態】
【0021】
様々な図面における同様の参照番号および名称は、同様の要素を示す。
【0022】
添付の図面に関して以下に記載する詳細な説明は、様々な構成の説明として意図されており、本開示の範囲を限定することを意図しない。むしろ、詳細な説明は、本発明の主題の完全な理解を与えるために具体的な詳細を含む。これらの具体的な詳細がすべての場合において必要とされるとは限らないこと、ならびにいくつかの事例では、提示を明快にするために、よく知られている構造および構成要素がブロック図の形態で示されることが、当業者に明らかになろう。
【0023】
本開示は、シーンの複数の画像をキャプチャすることによって画像キャプチャデバイスからの改善された画質をサポートするシステム、装置、方法、およびコンピュータ可読媒体を提供する。改善された方法は、融合ロジックを使用して複数の画像を合成することによって、シーンのキャプチャされた複数の画像を処理することを説明する。これらの画像は、同じデバイス設定を有する同じキャプチャデバイスを使用してキャプチャされ得、異なるデバイス設定を有する同じキャプチャデバイスを使用してキャプチャされ得、および/または異なるキャプチャデバイスを使用してキャプチャされ得、その結果、各画像は、シーンの他のキャプチャされた画像とは異なるシーンに関する異なる情報を提供する。異なる画像キャプチャのための異なる設定は、第1のセンサがシーンの異なるビューをキャプチャするように、キャプチャ中にデバイスを再構成した結果であり得る。たとえば、第1のセンサは、2つの異なる焦点距離でフォーカスするように構成されてもよい。いくつかの実施形態では、本明細書で説明する融合処理に入力される画像フレームは、それ自体、画像キャプチャデバイスの複数のセンサから出力される画像の融合である。
【0024】
本開示の態様は、画像キャプチャデバイスの複数の画像センサを使用して画像フレームをキャプチャするために使用され得る。複数の画像センサは、超広角(高視野(FOV))、広角、望遠、および超望遠(低FOV)センサの組合せを含み得る。すなわち、各画像センサは、ハードウェア構成および/またはソフトウェア設定を通して、画像の異なる部分にフォーカスしているシーンの画像を取得するように構成され得る。画像信号プロセッサ112および/またはプロセッサ104内など、画像キャプチャデバイス内の融合ロジックは、シーンの複数の画像を組み合わせて、複数の焦点距離を含む改善された画像を取得し、融合画像内で異なる焦点距離のオブジェクトがフォーカスされることを可能にすることができる。これは、たとえば、画像キャプチャデバイスが大口径レンズを有し、その結果、単一の画像キャプチャにおいてシーン内のいくつかのオブジェクトがピンぼけになってしまうときなど、画質を向上させるのに有益であり得る。
【0025】
スマートフォンなどの画像フレームをキャプチャするための例示的なデバイスは、デバイスの背面(たとえば、ユーザディスプレイの反対側)または前面(たとえば、ユーザディスプレイと同じ側)に、1つ、2つ、3つ、4つ、またはそれを上回るカメラの構成を含み得る。デバイスは、1つもしくは複数の画像信号プロセッサ、コンピュータビジョンプロセッサ(CVP)、または1つもしくは複数の画像センサによってキャプチャされた画像を処理するための他の適切な回路を含み得る。1つまたは複数の画像信号プロセッサは、符号化または他の操作などのさらなる処理のために、処理された画像フレームをメモリおよび/またはプロセッサ(アプリケーションプロセッサ、画像フロントエンド(IFE)、画像処理エンジン(IPE)、または他の適切な処理回路など)に提供し得る。
【0026】
本明細書で使用される場合、画像センサは、画像センサ自体、および画像センサに結合された任意の他の適切な構成要素を指し得る。たとえば、画像センサはまた、シャッタ、バッファ、または他の読み出し回路を含む、カメラの他の構成要素を指し得る。画像センサはさらに、アナログ信号をフレームのデジタル表現に変換するためのアナログフロントエンドまたは他の回路を指し得る。したがって、本明細書における「画像センサ」という用語は、メモリ、プロセッサ、画像信号プロセッサ、または他の論理回路もしくはメモリ回路のうちの少なくとも1つへの画像フレームのキャプチャおよび読み出しのための任意の適切な構成要素を指し得る。
【0027】
以下の説明では、本開示を完全に理解できるように特定の構成要素、回路、およびプロセスの例など多数の特定の詳細事項が記載されている。本明細書で使用する「結合される」という用語は、直接接続されるか、または1つもしくは複数の介在する構成要素もしくは回路を介して接続されることを意味する。さらに、以下の説明では、説明の目的で、本開示の完全な理解を与えるために具体的な名称が記載される。しかしながら、これらの具体的な詳細が本明細書に開示された教示を実践するのに必要ではないことがあることは当業者には明らかであろう。他の事例では、本開示の教示を不明瞭にすることを避けるために、よく知られている回路およびデバイスが、ブロック図の形態で示されている。以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する動作の手順、論理ブロック、処理、および他の記号表現で提示される。本開示では、手順、論理ブロック、プロセスなどは、所望の結果をもたらすステップまたは命令の自己矛盾のないシーケンスであると考えられる。ステップは、物理量の物理的操作を必要とするものである。必ずしもそうとは限らないが、一般に、これらの量は、コンピュータシステムにおいて記憶、転送、合成、比較、および他の方法で操作されることが可能な電気信号または磁気信号の形態をとる。
【0028】
しかしながら、これらの用語および同様の用語のすべては適切な物理量と関連付けられるべきであり、これらの量に適用される便宜的な呼び方にすぎないことを念頭に置く必要がある。以下の説明から特に明白でない限り、本出願全体を通して、「アクセスする」、「受信する」、「送る」、「使用する」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均する」、「監視する」、「比較する」、「適用する」、「更新する」、「測定する」、「導出する」、「決済する」、「生成する」などの用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを操作し、コンピュータシステムのレジスタ、メモリ、または他のそのような情報記憶、送信、または表示デバイス内の物理量として同様に表される他のデータに変換するコンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスを指すことを諒解されたい。
【0029】
図では、単一のブロックは、機能を実行するものとして説明され得るが、実際には、そのブロックによって実行される機能は、単一の構成要素において、もしくは複数の構成要素にわたって実行され得、および/またはハードウェア、ソフトウェア、もしくはハードウェアとソフトウェアとの組合せを使用して実行され得る。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップは、概してそれらの機能に関して以下で説明される。そのような機能がハードウェアとして実装されるのかまたはソフトウェアとして実装されるのかは、具体的な適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を具体的な適用例ごとに様々な方法で実装してもよいが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。また、例示的なデバイスは、プロセッサ、メモリなどのよく知られている構成要素を含む、図示されたもの以外の構成要素を含み得る。
【0030】
本開示の態様は、画像フレーム(または「フレーム」)をキャプチャすることが可能な2つ以上の画像センサを含む、またはそれに結合された任意の適切な電子デバイスに適用可能である。さらに、本開示の態様は、同じまたは異なる能力および特性(解像度、シャッタ速度、センサタイプなど)の画像センサを有する、またはそれに結合されたデバイスにおいて実装され得る。
【0031】
「デバイス」および「装置」という用語は、1つまたは特定の数の物理的オブジェクト(たとえば、1つのスマートフォン、1つのカメラコントローラ、1つの処理システムなど)に限定されない。本明細書で使用される場合、デバイスは、本開示の少なくともいくつかの部分を実装し得る1つまたは複数の部分を有する任意の電子デバイスであり得る。以下の説明および例は、本開示の様々な態様を説明するために「デバイス」という用語を使用するが、「デバイス」という用語は、特定の構成、タイプ、またはオブジェクトの数に限定されない。本明細書で使用される場合、装置は、説明される動作を実行するためのデバイスまたはデバイスの一部分を含み得る。
【0032】
図1は、複数の画像センサから画像キャプチャを実行するための例示的なデバイス100のブロック図を示す。デバイス100は、第1の画像センサ101および第2の画像センサ102などの複数の画像センサからの画像フレームを処理するための画像信号プロセッサ112を含むか、またはそうでなければそれに結合され得る。いくつかの実装形態では、デバイス100はまた、プロセッサ104、および命令108を記憶するメモリ106を含むか、またはそれらに結合される。デバイス100はまた、ディスプレイ114およびいくつかの入力/出力(I/O)構成要素116を含むか、またはそれに結合され得る。デバイス100は、バッテリまたはデバイス100をエネルギー源に結合するための構成要素など、デバイス100のための電源118をさらに含むか、またはそれに結合され得る。デバイス100はまた、図示されていない追加の特徴または構成要素を含むか、またはそれらに結合され得る。一例では、いくつかのトランシーバとベースバンドプロセッサとを含み得るワイヤレスインターフェースが、ワイヤレス通信デバイスのために含まれ得る。別の例では、1つまたは複数の他のセンサ(ジャイロスコープまたは全地球測位システム(GPS)受信機など)が、デバイスに含まれ得るか、またはそれに結合され得る。さらなる例では、アナログ画像フレームデータをデジタル画像フレームデータに変換するためのアナログフロントエンドが、画像センサ101および102と画像信号プロセッサ112との間に結合され得る。
【0033】
画像信号プロセッサ112は、画像センサ101および/または102へのローカルバス接続から、または、外部画像センサへのワイヤインターフェースまたは遠隔画像センサへのワイヤレスインターフェースなどの他の接続によって、画像データを受信することができる。いくつかの実施形態では、デバイス100は、第1の画像センサ101と、対応する第1のレンズ131と、オートフォーカスロジック141とを備える第1のカメラ130と、第2の画像センサ102と、対応する第2のレンズ132と、オートフォーカスロジック142とを備える第2のカメラ140とを含み得る。オートフォーカスロジック141および142は、オートフォーカスロジック141および142のアルゴリズムによって決定された特定の焦点面にフォーカスした画像フレームをそれぞれ画像センサ101および102から取得するために、レンズ131および132をそれぞれ調整するための専用ハードウェアであってもよい。いくつかの実施形態では、デバイス100は、デバイス100から離れて配置された画像センサ101および102から画像データを受信するためのインターフェースを含み得る。デバイス100は、デバイス100内またはデバイス100から離れて配置された画像センサの組合せからの画像データに対して画像処理を実行し得る。
【0034】
第1の画像センサ101および第2の画像センサ102は、1つまたは複数の画像フレームをキャプチャするように構成される。たとえば、第1の画像センサ101および第2の画像センサ102は、1つまたは複数のカメラ構成(スマートフォンまたは他の適切なデバイスのためのデュアルカメラ構成、トリプルカメラ構成など)に含まれ得る。画像センサ101および102はまた、集光のための1つもしくは複数のレンズ、受光のための1つもしくは複数の口径、露光窓の外側にあるときに光を遮断するための1つもしくは複数のシャッタ、特定の周波数範囲の外側の光をフィルタリングするための1つもしくは複数のカラーフィルタアレイ(CFA)、アナログ測定値をデジタル情報に変換するための1つもしくは複数のアナログフロントエンド、または撮像のための他の好適な構成要素を含むか、またはそれらに結合され得る。たとえば、第1の画像センサ101は、第1のレンズ131に結合され得、第2の画像センサ102は、第2のレンズ132に結合され得る。第1のレンズ131が超広角(UW)レンズであり、第2のレンズ132が広角(W)レンズであるときなど、第1のレンズ131および第2のレンズ132は、異なる視野を有し得る。デバイス100はまた、フラッシュ、深度センサ、GPS、または撮像のための他の適切な構成要素を含み得るか、またはそれに結合され得る。マルチイメージキャプチャデバイス内のセンサ101および102を含むセンサの一例の構成は、UTセンサよりも大きいFOVを有するTセンサよりも大きいFOVを有するWセンサよりも大きいFOVを有するUWセンサである。たとえば、広角FOVのために構成されたセンサは、64～84度の範囲の視野をキャプチャし、超広角FOVのために構成されたセンサは、100～140度の範囲の視野をキャプチャし、望遠FOVのために構成されたセンサは、10～30度の範囲の視野をキャプチャし、超望遠FOVのために構成されたセンサは、1～8度の範囲の視野をキャプチャし得る。
【0035】
画像信号プロセッサ112は、画像センサ101および102によってキャプチャされた画像フレームを処理する。図1は、デバイス100を、画像信号プロセッサ112に結合された2つの画像センサ101および102を含むものとして示すが、任意の数の画像センサが画像信号プロセッサ112に結合されてもよい。加えて、任意の数の追加の画像センサまたは画像信号プロセッサが、デバイス100のために存在し得る。いくつかの実施形態では、画像信号プロセッサ112は、メモリ106からの命令108、画像信号プロセッサ112に結合されたもしくはそれに含まれる別個のメモリに記憶された命令、またはプロセッサ104によって提供される命令など、メモリからの命令を実行することができる。追加または代替として、画像信号プロセッサ112は、本開示で説明する1つもしくは複数の動作を実行するために、ソフトウェアを実行し得、かつ/または特定のハードウェア(1つまたは複数の集積回路(IC)など)を含み得る。
【0036】
いくつかの実装形態では、メモリ106は、本開示で説明する1つまたは複数の動作のすべてまたは一部を実行するためのコンピュータ実行可能命令108を記憶する非一時的コンピュータ可読媒体を含み得る。いくつかの実装形態では、命令108は、画像またはビデオを生成するためにデバイス100によって実行されるべきカメラアプリケーション(または他の適切なアプリケーション)を含む。命令108はまた、画像またはビデオ生成以外のオペレーティングシステムおよび特定のアプリケーションなど、デバイス100によって実行される他のアプリケーションまたはプログラムを含み得る。プロセッサ104などによるカメラアプリケーションの実行は、デバイス100に、画像センサ101および102ならびに画像信号プロセッサ112を使用して画像を生成させ得る。メモリ106はまた、処理されたフレームを記憶するために画像信号プロセッサ112によってアクセスされ得るか、または処理されたフレームを取得するためにプロセッサ104によってアクセスされ得る。いくつかの実施形態では、デバイス100は、メモリ106を含まない。たとえば、デバイス100は、画像信号プロセッサ112を含む回路であり、メモリは、デバイス100の外部にあってもよい。デバイス100は、メモリに結合され、表示または長期記憶のために出力フレームを書き込むためにメモリにアクセスするように構成され得る。
【0037】
いくつかの実施形態では、プロセッサ104は、メモリ106内に記憶された命令108など、1つまたは複数のソフトウェアプログラムのスクリプトまたは命令を実行することが可能な「コア」と呼ばれることがある1つまたは複数の汎用プロセッサを含み得る。たとえば、プロセッサ104は、メモリ106に記憶されたカメラアプリケーション(または画像またはビデオを生成するための他の適切なアプリケーション)を実行するように構成された1つまたは複数のアプリケーションプロセッサを含み得る。カメラアプリケーションの実行において、プロセッサ104は、画像信号プロセッサ112に、画像センサ101または102を参照して1つまたは複数の動作を実行するように指示するように構成され得る。たとえば、プロセッサ104上で実行されるカメラアプリケーションは、グラフィカルユーザインターフェース(GUI)のボタンをタップすることによってシャッタキャプチャコマンドを受信し、1つまたは複数の画像フレームをキャプチャするように画像信号プロセッサ112に指示し得る。プロセッサ104によるカメラアプリケーションの外部での命令108の実行は、デバイス100に任意の数の機能または動作を実行させることもできる。いくつかの実施形態では、プロセッサ104は、本明細書で説明する動作など、デバイス100にいくつかの機能または動作を実行させるためのソフトウェアを実行する能力に加えて、ICまたは他のハードウェアを含み得る。いくつかの他の実施形態では、デバイス100は、説明される機能のすべてが画像信号プロセッサ112内に構成されるときなど、プロセッサ104を含まない。いくつかの実施形態では、いくつかの画像処理および/またはカメラ機能は、本明細書で説明する実施形態に従って複数の画像を融合するために、プロセッサ104に統合され得るか、またはデバイス100内の他の場所に含まれ得る融合ノード144などの固定機能回路に統合され得る。
【0038】
いくつかの実施形態では、画像信号プロセッサ112またはプロセッサ104のうちの少なくとも1つは、本明細書で説明する様々な動作を実行するための命令を実行することができる。たとえば、命令の実行は、画像信号プロセッサ112に、第1の焦点距離で第1のズームで第1の画像フレームをキャプチャし、その後、第2の焦点距離で第1のズームで第2の画像フレームをキャプチャするように指示することができる。特定の焦点距離で画像フレームをキャプチャするための命令は、画像信号プロセッサ112によって解釈されて、画像フレームをキャプチャする前に、オートフォーカスアルゴリズムに、指示された焦点距離をシードすることができる。
【0039】
いくつかの実施形態では、ディスプレイ114は、画像センサ101および102によってキャプチャされている画像フレームのプレビューなど、ユーザ対話および/またはユーザへのアイテムの提示を可能にする1つまたは複数の適切なディスプレイまたはスクリーンを含み得る。いくつかの実施形態では、ディスプレイ114は、タッチセンサ式ディスプレイである。I/O構成要素116は、ユーザから入力(コマンドなど)を受信し、ユーザに出力を提供するための任意の適切な機構、インターフェース、もしくはデバイスであってもよく、またはそれらを含んでもよい。たとえば、I/O構成要素116は、グラフィカルユーザインターフェース(GUI)、キーボード、マウス、マイクロフォン、スピーカ、スクイーズ可能なベゼル、1つまたは複数のボタン(電源ボタンなど)、スライダ、スイッチなどを含み得る(ただし、これらに限定されない)。
【0040】
プロセッサ104を介して互いに結合されるように示されているが、プロセッサ104、メモリ106、画像信号プロセッサ112、ディスプレイ114、およびI/O構成要素116は、簡略化のために示されていない1つまたは複数のローカルバスなどを介して、他の様々な構成で互いに結合され得る。画像信号プロセッサ112は、プロセッサ104とは別個のものとして示されているが、画像信号プロセッサ112は、アプリケーションプロセッサユニット(APU)である、システムオンチップ(SoC)に含まれる、またはそうでなければプロセッサ104に含まれるプロセッサ104のコアであり得る。デバイス100は、本開示の態様を実行するために本明細書の例において参照されるが、いくつかのデバイス構成要素は、本開示の態様を不明瞭にすることを防ぐために、図1に示されない場合がある。さらに、他の構成要素、構成要素の数、または構成要素の組合せが、本開示の態様を実行するための適切なデバイスに含まれ得る。したがって、本開示は、デバイス100を含む特定のデバイスまたは構成要素の構成に限定されない。
【0041】
図1の実施形態など、本開示の実施形態で説明する画像キャプチャデバイスからキャプチャされた画像フレームを処理する方法は、シーンおよびシーン内のオブジェクトの改善された画像を取得するために使用され得る。たとえば、画像フレームを融合するための方法によって、画像キャプチャデバイスから異なる距離にある複数のオブジェクトがフォーカスされている、より深い焦点深度を有するシーンの画像を取得することができる。そのような融合処理の1つの利点は、融合によって、より大きい口径およびより短い焦点深度を有するキャプチャデバイスを有する画像キャプチャデバイスの使用が可能になり得ることである。f/2.2よりも大きい口径(f/2.0、f/1.8、f/1.4、および/またはf/1.2の口径を含む)を有するレンズなど、これらのより大きい口径レンズは、焦点深度の損失で、低光状況などの特定の状況において、改善された画質を提供し得る。本明細書の実施形態で開示される融合処理は、たとえば、フォーカスされている関心オブジェクトを含む出力画像フレームを生成することによって、焦点深度の損失が低減されるかまたは損失のない改善された画質を取得することを可能にする。これは、本明細書で説明する融合ロジックが、多くまたはすべての人々がフォーカスされている画像を生成することができるので、関心のある複数の人々を含むシーンをキャプチャするときに特に望ましい場合がある。さらに、大口径レンズの使用は、ボケブラーまたは浅い被写界深度効果と呼ばれることもある、ぼやけた背景を含む画像を生成する。より大きい口径レンズからの複数の画像を融合することは、多くの撮影者によって望まれるぼやけた背景を含む、複数のオブジェクトがフォーカスされている画像を生成することができる。
【0042】
本開示のいくつかの実施形態における融合ロジックは、いくつかの条件下でトリガされ得、これは、画像の不必要な処理を低減する。処理の量を低減することは、バッテリなどの限られた電源で動作するモバイルデバイスにとって特に有益であり得る。融合ロジックは、シーンの第1のキャプチャされた画像に複数の関心対象が存在することを示す基準に基づいて、さらなる画像キャプチャおよび複数の画像の処理およびマージをトリガし得る。たとえば、複数の関心対象を示す1つの基準は、シーンからの深度データのヒストグラムが複数の関心オブジェクトが存在することを示すことを決定することである。ヒストグラムは、複数のヒストグラムピークが検出され、現在のカメラ構成の予測される焦点深度よりも大きいしきい値によって分離されたときに、複数の対象を示し得る。別の例として、複数の関心対象を示す基準は、人工知能(AI)機械学習アルゴリズムによる複数の顔または複数のオブジェクトの検出である。さらなる例として、複数の関心対象を示す1つの基準は、融合ロジックが適用されるべきであることを指定する、および/またはシーン内の複数の関心オブジェクトを指定するユーザ入力の受信である。たとえば、ユーザは、モバイルデバイス上に表示されたシーンの第1の画像上のいくつかの場所をタップすることができ、それらのタップされた場所に対応する焦点深度は、シーンの追加の画像フレームをキャプチャするための焦点深度として使用され得る。いくつかの実施形態では、これらの基準の組合せが、融合画像処理をトリガするために使用され得る。1つの例示的な組合せとして、深度データのヒストグラムを使用して、複数の潜在的な関心オブジェクトを決定することができ、これらの潜在的な関心オブジェクトの各々は、顔検出アルゴリズムに入力されて、潜在的な関心オブジェクトが人々に対応するかどうかを決定し、次いで、検出された顔の周囲の第1の画像フレームのディスプレイ上にボックスを表示して、検出された顔のうちのどれが実際の関心オブジェクトに対応するかを指定するユーザ入力をユーザが提供することを可能にする。別の例示的な組合せとして、顔またはオブジェクト検出アルゴリズムを使用して、潜在的な関心オブジェクト、および深度データのヒストグラム上のピークと比較して、それらの潜在的な関心オブジェクトの焦点深度を決定し、潜在的なオブジェクトが、追加の画像のキャプチャをトリガするのに十分な距離離れているかどうかを決定することができる。さらなる例示的な組合せとして、深度情報に基づくポートレートセグメント化アルゴリズム(ポートレート認識を含む)を使用して、潜在的な関心オブジェクト、および深度データのヒストグラム上のピークと比較して、それらの潜在的な関心オブジェクトの焦点深度を決定し、潜在的なオブジェクトが、追加の画像のキャプチャをトリガするのに十分な距離離れているかどうかを決定することができる。複数の潜在的な関心対象が検出された後、融合ロジックは、シーンおよび/またはオートフォーカスシステムの深度データの組合せを使用して決定された追加の焦点距離での追加の画像のキャプチャを命令し得る。これらの基準が満たされない場合、融合ロジックは、画像キャプチャデバイスならびに関連する処理およびメモリ回路によって実行される動作の数を低減するために、追加の画像のキャプチャおよびそれらの画像の後続の処理をトリガしない。追加の画像をキャプチャした後に、類似の基準を再評価して、追加の画像のうちのどれを一緒に融合するかを決定し得る。たとえば、異なる焦点距離でキャプチャされたすべての画像がディスプレイ上に表示され、ユーザは、融合のためにいくつかの画像を選択することができる。別の例として、異なる焦点距離でキャプチャされた画像は、認識された顔または物体として潜在的な関心オブジェクトを確認または拒否するために、顔またはオブジェクト検出処理に再び入力され得る。
【0043】
図2は、本開示の実施形態による、出力画像フレームを取得するための複数の画像の融合を示すブロック図である。シーン202は、画像キャプチャデバイスから異なる距離にある複数のオブジェクト204、206、および208を含み得る。画像キャプチャデバイス130は、シーン202をキャプチャする第1の画像フレーム210を生成し得る。第1の画像フレーム210は、オブジェクト204の近くの焦点距離でフォーカスされ得る。その結果、オブジェクト204はフォーカスされており、オブジェクト206はぼやけて見える。画像キャプチャデバイス130は、シーン202をキャプチャする第2の画像フレーム220を生成し得る。第2の画像フレーム220は、オブジェクト206の近くの焦点距離でフォーカスされ得る。その結果、オブジェクト206はフォーカスされており、オブジェクト204はぼやけて見えるか、またはフォーカスされていない。異なる画像フレーム210および220は、画像キャプチャデバイス130のオートフォーカス(AF)アルゴリズムに、オブジェクト204および206に対応する焦点距離をシードすることによって、異なる焦点距離でキャプチャされ得る。画像キャプチャデバイス130のAFアルゴリズムは、オブジェクト204および206の近くの焦点距離で画像フレーム210および220を取得するために、ローカルコントラストまたは深度データなど他の基準を処理し得る。同じ画像キャプチャデバイス130が画像フレーム210および220をキャプチャするように示されているが、2つの画像フレーム210および220をキャプチャするために異なる画像キャプチャデバイスが使用され得る。
【0044】
融合ロジック240は、画像フレーム210および220を組み合わせて、さらに処理され、ユーザに表示され、メモリに記憶され、および/または他のユーザに送信され得る出力画像フレーム250を取得するために使用され得る。融合ロジック240によって生成された出力フレーム250は、フォーカスされているオブジェクト204とフォーカスされているオブジェクト206とを有し得る。出力フレーム250は、画像フレーム210および220が有するオブジェクト204と206の両方がフォーカスされていないにもかかわらず、複数の焦点距離でフォーカスされたオブジェクトを含む。フォーカスされたオブジェクト206を含む画像フレーム220を処理することは、画像フレーム220をセグメント化してオブジェクト206を抽出し、セグメント化されたオブジェクト206を画像フレーム210にマージすることを含み得る。融合ロジック240は、カメラ130および/または140内のハードウェア(AF141および/または142など)、画像信号プロセッサ112、プロセッサ104、固定機能回路を備える融合ノード144、および/またはプロセッサ104上で実行するソフトウェアのうちの1つまたは複数からの機能を含み得る。
【0045】
図2を参照して説明したように、複数の画像フレームおよび融合プロセスに基づいてシーンを表す画像フレームを生成することは、より長くかかり、追加の処理時間およびバッテリ充電レベルを消費する。図2の融合プロセスは、いくつかのシーンの画像フレームをキャプチャするために有益であり得る。いくつかの実施形態によれば、同じシーンの複数の画像が有益であるかどうかは、キャプチャされた画像フレームに対応するデータを検査し、追加の画像フレーム、および追加の画像フレームの数が出力画像を改善する可能性があるかどうかを決定することによって、決定され得る。シーンの追加の画像フレームをキャプチャするかどうかを決定する1つの方法は、画像内のオブジェクト間の距離を決定することによる。
【0046】
図3は、本開示のいくつかの実施形態による、融合ロジックを実行することに関する例示的な決定を示すブロック図である。画像キャプチャデバイス130は、シーン202に対応する深度データ300をキャプチャする。たとえば、深度データ300は、異なる視点からシーン202をキャプチャする複数の画像フレームから決定され得る。別の例として、深度データ300は、飛行時間(TOF)センサなどの深度センサ、異なる位置にある2つの異なる画像センサなどの異なる視点からキャプチャされたシーンの2つ以上の画像フレームを含むステレオ画像、および/またはレーザー照明源を使用する光検出および測距(ライダー)から決定され得る。いくつかの実施形態では、深度データ300をキャプチャする画像キャプチャデバイス130は、図2の画像フレーム210および220をキャプチャする同じ画像キャプチャデバイスであり得る。そのような実施形態では、オートフォーカスロジック141および142は、深度データ300から、追加の画像をキャプチャするかどうかを決定し、オートフォーカスロジックへの入力として深度データ300を使用して、第2のまたは他の後続の画像フレームにフォーカスして、キャプチャするための新しい焦点面を選択することができる。いくつかの実施形態では、深度データ300をキャプチャするための画像キャプチャデバイスは、異なるキャプチャデバイスであり得、または深度データ300は、メモリから記憶された深度データ300を取り出すことおよび/または他のデバイスから深度データ300を受信することなどによって、画像キャプチャデバイスを使用せずに受信され得る。そのような実施形態では、画像信号プロセッサ(ISP)および/またはアプリケーションプロセッサ(AP)は、深度データ300を使用して、さらなる画像がキャプチャされるべきであると判断し、1つまたは複数のカメラ130および/または140を制御して、出力画像フレームを取得するために融合処理で使用されるべき第2のまたは後続の画像フレームを取得することができる。
【0047】
深度データ300は、融合ロジック240に入力され、画像フレームをキャプチャするための関心焦点距離を決定するために分析され得る。たとえば、深度データ300のヒストグラムは、画像キャプチャデバイスからの様々な距離のピクセルの数を決定することによって、または画像キャプチャデバイスによってキャプチャされた画像に基づいて、画像またはダウンサンプリングされた画像内の画像ピクセルの特定の割合を決定することによって、決定され得る。融合ロジック240は、関心焦点距離を決定するために、ヒストグラム内のピークを決定し得る。たとえば、深度データ300は、ヒストグラムピーク302および304を有し得る。ピーク302および304の中心は、ピークがしきい値幅および/または値を超えるなどの特定の基準を満たすとき、人などのオブジェクトの焦点距離を示し得る。ピーク302と304との間の距離は、複数の画像フレームがキャプチャされるべきかどうかを決定するために使用され得る。たとえば、融合ロジック240は、検出されたピーク302と304との間の距離の差がしきい値よりも大きいかどうかを決定し得る。距離の差は、ピーク302および304に対応するシーン内のオブジェクトが、画像キャプチャデバイス130からキャプチャされた単一の画像フレーム内で両方ともフォーカスされていない可能性があることを示し得る。
【0048】
第1の画像フレームは、画像キャプチャデバイス130からキャプチャされ、融合ロジック240において分析されて、融合ロジック240が複数の画像フレームのキャプチャをトリガすべきかどうかを決定し得る。決定は、シーンの深度データから取得されたヒストグラムにおけるピークの距離に基づき得る。図4は、本開示のいくつかの実施形態による、融合ロジックで画像フレームを処理する方法のフローチャートを示す。方法400は、ブロック402において、シーンの第1の画像データおよびシーンの深度データを受信することから始まる。第1の画像データは、第1の焦点距離でキャプチャされたシーンに対応し得る。たとえば、オートフォーカス(AF)アルゴリズムは、コントラスト検出および/または距離検出に基づいて、画像キャプチャデバイスがシーン内のオブジェクトにフォーカスするようにすることができる。ブロック402において受信された深度データは、第1の画像データに対応し得る。たとえば、深度データは、第1の画像データ内の各ピクセルの深度の2次元マップであってもよい。
【0049】
ブロック404において、深度データヒストグラムにおけるピークが、ピーク間の距離とともに決定される。いくつかの画像では、各ピークは、第1の画像データ内でキャプチャされたシーン内の関心オブジェクトを示し得る。いくつかの画像では、最も高いピークは、背景などの最も遠い領域を示し得、残りのピークは各々、シーン内の関心オブジェクトを示し得る。したがって、ピークの数は、追加の画像フレームがシーンからキャプチャされるかどうか、およびいくつの追加の画像フレームがキャプチャされるべきかどうかを決定するために使用され得る。第1の例として、ヒストグラム内の2つのピークが決定され、ピーク間の距離が決定され得る。別の例として、ヒストグラムにおける3つのピークが決定され得、各ピークと他のピークとの間の距離が、合計6つの距離について決定され得る。
【0050】
ブロック406において、ピーク間の距離が評価されて、ピークの任意のペアの距離が融合しきい値を超えたかどうかが決定される。ブロック404で計算された距離の各々は、融合しきい値と比較され得る。融合しきい値は、あらかじめ定められた値であってもよい。融合しきい値は、ブロック402において取り出された第1の画像データを生成した画像キャプチャデバイスの特性に基づいてあらかじめ決定されていてもよい。たとえば、融合しきい値は、画像キャプチャデバイスから取得された画像フレームの焦点深度(DOF)に対応する値であってもよい。複数のレンズが画像キャプチャデバイス上で利用可能であるとき、融合しきい値は、ブロック402の第1の画像データを取得するために使用されるレンズに基づいて決定され得る。したがって、望遠(T)レンズからキャプチャされた画像の融合しきい値は、超広角(UW)レンズからキャプチャされた画像の融合しきい値よりも低くなり得る。融合しきい値は、テーブルに記憶されてもよく、テーブルは、ブロック402において第1の画像データを受信し、ブロック406においてデータを評価するとき、ルックアップ動作において使用される。
【0051】
ブロック404において決定されたシーン内のピーク間の距離は、追加の画像フレームがキャプチャされるべきかどうか、およびどの焦点距離で画像フレームがキャプチャされるべきかを決定するために使用され得る。融合しきい値を超える距離に基づいて融合ロジックがアクティブ化されるとき、方法400は、ブロック408および410に続く。ブロック408において、第2の焦点距離でキャプチャされたシーンに対応する第2の画像データが受信される。第2の画像データは、ブロック402で受信された第1の画像データに対応する第1の焦点距離とは異なる第2の焦点距離でシーンの第2の画像フレームを取得するために、画像キャプチャデバイスに送信されたコマンドに応答して受信され得る。たとえば、コマンドは、画像キャプチャデバイスにおけるオートフォーカス(AF)アルゴリズムに、ブロック404において決定されたヒストグラムのピークのうちの1つに対応し得る第2の焦点距離をシードし得る。いくつかの実施形態では、AFアルゴリズムは、ブロック408において受信された第2の画像データをキャプチャする前に、第2の焦点距離を精緻化することができる。いくつかの実施形態では、コマンドは、第2の画像フレームをキャプチャするために同じまたは異なる画像センサを指定し得る。
【0052】
ブロック410において、第1の画像データおよび第2の画像データに基づいて、融合ロジックによって出力画像フレームが生成される。たとえば、融合ロジックは、第1の画像データおよび第2の画像データからオブジェクトをセグメント化し、第1および第2の画像データからのフォーカスされたオブジェクトを、第1および第2の画像データの一方または両方からの背景と組み合わせることができる。融合ロジックは、本明細書で説明するように、出力画像フレームを出力するための他の動作を実行し得る。
【0053】
融合ロジックによって、および/または融合ロジックの外部で、出力画像フレームに対して追加の処理が実行されてもよい。例示的な追加の処理は、出力画像フレームの部分へのぼかしの適用を含み得る。ぼかしアルゴリズムは、セグメンテーションデータ、深度データ、および/または入力画像フレームのうちの1つもしくは複数の他の特性に基づいて、出力画像フレームのいくつかの部分に適用され得る。たとえば、ぼかしは、深度データに基づいて識別された背景ピクセルに適用され得る。別の例として、前景セグメントが顔に対応するときなど、入力画像フレームのうちの1つの前景セグメントに対応するピクセルの一部分にぼかしが適用され得る。ぼかしは、顔を不明瞭にするために実行される重いぼかしであってもよく、または顔の美しさを改善するために実行される軽いぼかしであってもよい。追加の処理の他の例は、色フィルタリング、色マッピング、レンズ効果、変換、および/または照明効果を含み得る。いくつかの実施形態では、ぼかしは、第1の部分ではなく第2の部分のピクセルに適用され得る。
【0054】
2つの入力画像フレームから出力画像フレームを決定する1つの方法を図5に示す。図5は、本開示のいくつかの実施形態による、出力画像フレームを決定するための2つの画像フレームからの画像データのセグメント化およびマージを示すブロック図である。第1の入力フレーム210および第2の入力フレーム220がキャプチャされ、融合ロジック240に入力され得る。いくつかの実施形態では、融合ロジック240は、第1の入力フレーム210および/または第2の入力フレーム220のキャプチャを命令し得る。入力フレーム210および220が融合ロジック240内で処理されて、出力画像フレーム250が取得され得る。出力画像フレーム250は、画像キャプチャデバイスからの焦点深度が異なる複数のフォーカス領域を有し得る。たとえば、出力画像フレーム250は、入力画像フレーム210および220のいずれかまたは両方を取得する画像キャプチャデバイスの焦点深度を超える異なる深度の2つのフォーカスされたオブジェクトを有し得る。
【0055】
融合ロジック240は、セグメント化およびマージ動作を使用して、入力画像フレーム210および220から出力画像フレーム250を決定し得る。たとえば、セグメント化510動作は、画像フレーム210にマージするための画像フレーム220のピクセルの一部分を決定し得る。ピクセルの決定された部分は、画像フレーム220内の特定のオブジェクトに対応するものとして識別されたピクセル、画像フレーム220の前景部分として識別されたピクセル、および/または画像フレーム220のフォーカス部分として識別されたピクセルを含み得る。ピクセルの決定された部分は、画像フレーム220から抽出され得、たとえば、ピクセルの決定された部分から構成されるセグメント512が得られる。いくつかの実施形態では、セグメント512は、ピクセルの単一の連続領域に限定され得る。他の実施形態では、セグメント512は、ピクセルの複数の領域を含み得、各領域は、セグメント化510動作中に適用される特定の基準を満たす。セグメント化510動作は、局所コントラスト値を分析すること、画像フレーム220が取得されるシーンに対応する深度データを分析すること、画像フレーム220上で顔、オブジェクト、またはポートレート認識を実行すること、および/または画像フレーム220に人工知能(AI)機械学習アルゴリズムを適用することによって、セグメント512と画像フレーム220の残りとの間の境界を決定し得る。
【0056】
セグメント512は、セグメント512を画像フレーム210上にマージするためのマージ516動作に入力され得る。いくつかの実施形態では、マージ516動作は、画像フレーム210の対応するピクセルをセグメント512からのデータで上書きし得る。いくつかの実施形態では、マージ516動作は、セグメント512から画像フレーム210にピクセルをコピーすること、セグメント512から画像フレーム210にピクセルをブレンドすること、セグメント512と画像フレーム210の残りとの間の継ぎ目を低減するために、セグメント512に基づいて画像フレーム210内のセグメント512の周りのピクセルをブレンドすること、および/または他の動作の組合せを含み得る、他のマージアルゴリズムを実行し得る。マージ516動作は、複数のフォーカスされたオブジェクトを含む出力画像フレーム250を生成し得る。たとえば、セグメント化510動作は、フォーカスされたオブジェクト206を含むセグメント512を生成し、その後のマージ516動作は、画像フレーム210内のフォーカスされていないオブジェクト206をフォーカスされたセグメント512で上書きし得る。したがって、出力画像フレーム250は、オブジェクト204および206を含む2つのフォーカス領域を含む。
【0057】
図5の例は、異なる焦点距離に対応する追加の入力フレームに拡張され得る。たとえば、画像フレーム210および220の処理は、しきい値差を超える深度データヒストグラムにおける2つのピークの検出によってトリガされ得る。深度データヒストグラム内の第3のピークを検出すると、シーンの第3の画像フレームがキャプチャされ得る。たとえば、シーンは、オブジェクト204および206とは異なる焦点距離にある第3のオブジェクトを含み得る。第3の画像フレームは、第3のオブジェクトが第3の画像フレーム内でフォーカスされるように、第3のオブジェクトの焦点距離とほぼ同じまたは同じ焦点距離でキャプチャされてもよい。第3の画像フレームのフォーカス部分は、セグメント512におけるオブジェクト206のセグメント化510およびマージ516と同様に、セグメント化され、第1の入力フレームとマージされ得る。
【0058】
図5の実施形態または本開示の他の実施形態におけるセグメント化510動作を実行する1つの例示的な方法は、輪郭マップに基づくセグメント化を含み得る。図6は、本開示のいくつかの実施形態による、輪郭マップを使用した画像データのセグメント化を示すフローチャートである。セグメント化方法600は、ブロック602において、第1の画像フレームに対応する第1の深度データを受信し、ブロック604において、第2の画像フレームに対応する第2の深度データを受信することから始まり得る。ブロック606において、第1の深度マップ輪郭および第2の深度マップ輪郭が、それぞれ第1の深度データおよび第2の深度データから抽出され得る。ブロック606の輪郭抽出は、2値化マップを決定するために、第1および第2の深度データの各々にしきい値処理を適用することを含み得る。
【0059】
ブロック608において、第1および第2の深度マップ輪郭が一体化される。ブロック608の一体化は、ブロック606の2つの2値化された深度マップを結合して、前景部分またはピクセルの他の部分の抽出された輪郭を拡大することを含み得、これは、融合ロジックにおける他の動作中のアーチファクトを回避し得る。ブロック610において、ブロック608の一体化された深度マップ輪郭に基づいて、第1の画像フレームの第1の画像データからピクセルの一部分がセグメント化され得る。2つの深度マップの一体化は、255(1)および0として2値化された2つのセグメント化された深度を入力として受信するAND演算に基づき得、「1」は、(背景に対応する)白色領域を示し得、「0」は、(前景またはポートレートに対応する)黒色領域を示し得る。2つの深度マップからの対応するピクセルがすべて背景であり、他の領域が前景の黒い領域として一体化されているとき、和集合のAND演算の出力は「1」であり得る。ピクセルのセグメント化された部分は、図5のセグメント512に対応し得る。セグメント化は、ブロック606および608から生成された精緻化された深度マップ輪郭、および/または深度データにおける他の動作に基づき得る。
【0060】
図5の実施形態または本開示の他の実施形態におけるマージ516動作を実行する1つの例示的な方法は、2つ以上の入力画像フレームからのデータを位置合わせして、2つの画像フレーム間の対応するピクセルを識別することを可能にするレジストレーション動作を含み得る。図7は、本開示のいくつかの実施形態による、重み付け値に基づいて融合出力画像フレームを決定するための画像データのマージを示すフローチャートである。マージ方法700は、ブロック702において、ホモグラフィ行列を使用して、第2の画像フレームからの第2の画像データを第1の画像フレームからの第1の画像データにレジストレーションすることから始め得る。いくつかの実施形態では、第2の画像データは、図5の実施形態におけるセグメント512など、第2の画像フレームの一部分のみであってもよい。いくつかの実施形態では、第2の画像データは、第2の画像フレームのデータセット全体であってもよい。第1の画像データの第2の画像データへのレジストレーションは、第2の画像データの対応するピクセルを第1の画像データのピクセルと相関させることができる。レジストレーションは、たとえば、シーン内のオブジェクトが、第1の画像データのキャプチャから第2の画像データのキャプチャまでフレーム内で移動した場合に有用であり得る。ブロック704において、ブロック702のレジストレーションに基づいて、ピクセルの前景部分またはピクセルの他の部分を識別するためのセグメント化マップが生成される。ブロック706において、第1の画像データは、セグメント化マップに基づいて第2の画像データとマージされる。
【0061】
ブロック706の1つの例示的なマージ動作が、ブロック712、714、および716に示されている。出力画像フレームを決定する際、ブロック712において、第1のシーンの第1の部分から出力画像フレームに、第1の組のピクセルに対応する第1の画像データがコピーされる。この第1の画像データは、たとえば、背景内のピクセルおよび/またはオブジェクト206の周りでフォーカスされたピクセルなど、たとえば、セグメント512の外側にある入力画像フレーム210の領域に対応し得る。ブロック714において、フラグメント512として識別された第2の組のピクセルに対応する第2の画像データが、出力画像フレームにコピーされる。ブロック712および714におけるデータのコピーは、第1および第2の入力画像フレームから、マージされた焦点領域を有する出力画像フレームを生成し得る。しかしながら、第1および第2の組のピクセルの境界およびその周囲のピクセルに、一部のアーチファクトが残ることがある。
【0062】
アーチファクトを除去することが望まれる場合、アーチファクトを低減または除去するために追加の処理が実行され得る。たとえば、境界または境界付近のピクセルに対応する第3の画像データは、第1の画像データと、第2の画像データと、重み付け値とに基づいて決定されてもよい。いくつかの実施形態では、第3の画像データは、境界または境界付近の各ピクセルについて、重み付け値に従って第1の画像データおよび第2の画像データからの対応するピクセル値を組み合わせることによって、ブレンド値として計算され得る。たとえば、境界領域ピクセルpbは、pb=∝p1+(1-∝)p2として計算され得、p1は第1の画像データ内の対応するピクセルからの値であり、p2は第2の画像データ内の対応するピクセルからの値であり、αは重み付け値である。いくつかの実施形態では、境界領域ピクセルpbは、第1の画像データからの対応するピクセルと、マッチングされたピクセルの周りのピクセルを含む第2の画像データとに基づいて計算され得、これは、融合結果をより自然に見えるようにする境界におけるぼかしまたは継ぎ目の接続性を追加し得る。たとえば、(x,y)における境界ピクセルpbは、第1の画像データからのピクセル(x,y)、第2の画像データからのピクセル(x,y)、第1の画像データからのピクセル(x-1,y)、第1の画像データからのピクセル(x+1,y)、第1の画像データからのピクセル(x,y-1)、第1の画像データからのピクセル(x,y+1)、第2の画像データからのピクセル(x-1,y)、第2の画像データからのピクセル(x+1,y)、第2の画像データからのピクセル(x,y-1)、および/または第2の画像データからのピクセル(x,y+1)に基づいて決定され得る。第3の画像データを計算する際に、第1の画像データからのピクセルの各々に重み付け値αを乗算し、第2の画像データからのピクセルの各々に(1-α)を乗算してもよい。
【0063】
ブロック716で決定された第3の画像データは、出力画像フレームにコピーされ、そうでなければ出力画像フレームに含まれることになる第1または第2の画像データを上書きするために使用され得る。いくつかの実施形態では、これらの技法から決定される出力画像フレームは、前景にフォーカスされた入力画像フレームからピクセル値をコピーすることによって前景にフォーカスする第1の領域と、背景にフォーカスされた入力画像フレームからピクセル値をコピーすることによって背景にフォーカスする第2の領域と、前景にフォーカスされた入力画像フレームと背景にフォーカスされた入力画像フレームとからピクセル値が融合される第3の領域とを含み得る。
【0064】
重み付け値αは、いくつかの実施形態では、第1および第2の入力画像フレームからの勾配マップに基づいて決定され得る。重み付け値を決定する1つの方法を図8に示す。図8は、本開示のいくつかの実施形態による、2つの画像フレームを融合するための勾配マップに基づく重み値の生成を示すフローチャートである。ブロック802において、第1の画像データに基づいて第1の勾配マップが決定される。ブロック804において、第2の画像データに基づいて第2の勾配マップが決定される。ブロック802および/またはブロック804などにおいて、画像データから勾配マップを決定するための1つの方法は、ラプラシアンフィルタおよび/またはボックスフィルタを適用して、前景画像および/または背景画像の勾配マップを決定することを含む。
【0065】
ブロック806において、第1の勾配マップおよび第2の勾配マップに基づいて、出力画像フレームのピクセルについての重み付け値が決定される。重み付け値は、たとえば、第1および第2の勾配マップ値間の差を[0…1]間の値または[0…255]などの別の正規化値に正規化することによって、勾配マップから決定され得る。あるいは、重み付け値は、重み付け値が第1の勾配マップからの正規化値であるか、第2の勾配マップからの正規化値であるかを示す、0または1などのバイナリ値であってもよい。バイナリ値は、画像データの組のうちの1つからの寄与をゼロとして効果的に重み付けすることによって、第1の画像データからの画像データを使用するか、または第2の画像データからの画像データを使用するかを示し得る。この2値化によって、第1の画像データにおける対応するピクセルにおける勾配が第2の画像データにおける対応するピクセルにおける勾配よりも大きいかどうかに基づいて、第1の組のピクセルにおける対応するピクセルまたは第2の組のピクセルにおける対応するピクセルから、第3の組のピクセルのうちのあるピクセルについての値が選択され得る。すなわち、2値化は、ピクセルの近傍において最も高い変化率を有することに基づいて、第1の画像データまたは第2の画像データのいずれかから、ピクセルのデータを選択し得る。別の例では、重み付け値は、勾配マップ内の値とピクセルからのそれらの値の距離との組合せに基づいて決定され得る。
【0066】
いくつかの実施形態では、出力画像フレームピクセル値の決定に複数の重み付け値が使用され得る。たとえば、出力画像フレームにおけるピクセルYは、以下の式によって決定され得る。
Y=(W0*Wa*Y(FG))+(W1*Wb*Y(BG))
式中、W0は、前景ピクセルの正規化された勾配(たとえば、「0」と「1」との間)を示し、W1は、背景ピクセルの正規化された勾配(たとえば、「0」と「1」との間)を示し、Waは、出力画像フレームにおける融合ピクセルとセグメント化境界との間の距離に比例し、Wbは、融合ピクセルとセグメント化境界との間の距離に比例する。融合処理は、しきい値ピクセル数によって決定される前景と背景との間の結合深度マップ輪郭に適用され得る。重みW0、W1、Wa、およびWbは、以下の式に従って決定され得る。
Y=(W0*Wa*Y(FG))+(W1*Wb*Y(BG))
式中、W0は、前景ピクセルの正規化された勾配(たとえば、「0」と「1」との間)を示し、W1は、背景ピクセルの正規化された勾配(たとえば、「0」と「1」との間)を示し、Waは、出力画像フレームにおける融合ピクセルとセグメント化境界との間の距離に比例し、Wbは、融合ピクセルとセグメント化境界との間の距離に比例する。融合処理は、しきい値ピクセル数によって決定される前景と背景との間の結合深度マップ輪郭に適用され得る。重みW0、W1、Wa、およびWbは、以下の式に従って決定され得る。
【0067】
【数1】
【0068】
式中、Dist(P)は境界からのピクセルPの距離であり、Grad(BG)は背景画像フレームからのピクセルPにおける勾配マップ値であり、Grad(FG)は前景画像フレームからのピクセルPにおける勾配マップ値であり、Thresholdは、セグメント化された結合前景の輪郭とともに融合領域の幅に対応する20ピクセルなどの値であり得る。他の2つの領域、前景および背景上のピクセルは、合成することなく、元の第1および第2の画像フレームからコピーされ得る。これらの例示的な式における重みWaおよびWbの計算は、他の式に基づき得る。他の例示的な式は、同様に、接続された前景ピクセルに類似する前景の近くの融合ピクセルについては、Waが1に近づき、Wbがゼロに近づくように、また、融合ピクセルが融合領域上の背景ピクセルの近隣であるとき、Wbが1に近づき、Waがゼロに近づくように、0と1との間で正規化された融合処理のための重みを決定することができる。
【0069】
本開示の実施形態で説明する画像キャプチャデバイスからキャプチャされた画像フレームを処理する方法は、シーンおよびシーン内のオブジェクトの改善された画像を取得するために使用され得る。たとえば、画像フレームを融合するための方法によって、画像キャプチャデバイスから異なる距離にある複数のオブジェクトがフォーカスされている、より深い焦点深度を有するシーンの画像を取得することができる。そのような融合処理の1つの利点は、融合によって、より大きい口径およびより短い焦点深度を有するキャプチャデバイスを有する画像キャプチャデバイスの使用が可能になり得ることである。f/2.2よりも大きい口径(f/2.0、f/1.8、f/1.4、および/またはf/1.2の口径を含む)を有するレンズなど、これらのより大きい口径レンズは、焦点深度の損失で、低光状況などの特定の状況において、改善された画質を提供し得る。本明細書の実施形態で開示される融合処理は、たとえば、フォーカスされている関心オブジェクトを含む出力画像フレームを生成することによって、焦点深度の損失が低減されるかまたは損失のない改善された画質を取得することを可能にする。これは、本明細書で説明する融合ロジックが、多くまたはすべての人々がフォーカスされている画像を生成することができるので、関心のある複数の人々を含むシーンをキャプチャするときに特に望ましい場合がある。さらに、大口径レンズの使用は、ボケブラーと呼ばれることもある、ぼやけた背景を有する画像を生成する。より大きい口径レンズからの複数の画像を融合することは、多くの撮影者によって望まれるぼやけた背景を含む、複数のオブジェクトがフォーカスされている画像を生成することができる。
【0070】
本開示のいくつかの実施形態における融合ロジックは、いくつかの条件下でトリガされ得、これは、画像の不必要な処理を低減する。処理の量を低減することは、バッテリなどの限られた電源で動作するモバイルデバイスにとって特に有益であり得る。融合ロジックは、シーンの第1のキャプチャされた画像に複数の関心対象が存在することを示す基準に基づいて、さらなる画像キャプチャおよび複数の画像の処理およびマージをトリガし得る。たとえば、シーンからの深度データのヒストグラムが、現在のカメラ構成について予測される焦点深度よりも大きいしきい値によって分離されたヒストグラムピークがあるときなど、複数の関心対象があることを示すとき、融合ロジックは、シーンの深度データおよび/またはオートフォーカスシステムの組合せを使用して決定された追加の焦点距離での追加の画像のキャプチャを命令し得る。これらの基準が満たされない場合、融合ロジックは、画像キャプチャデバイスならびに関連する処理およびメモリ回路によって実行される動作の数を低減するために、追加の画像のキャプチャおよびそれらの画像の後続の処理をトリガしない。
【0071】
情報および信号が様々な異なる技術および技法のうちのいずれかを使用して表されてもよいことを、当業者は理解されよう。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表されてもよい。
【0072】
図1に関して本明細書で説明した構成要素、機能ブロックおよびモジュールは、他の例の中でも、プロセッサ、電子デバイス、ハードウェアデバイス、電子構成要素、論理回路、メモリ、ソフトウェアコード、ファームウェアコードなど、またはそれらの任意の組合せを含む。さらに、本明細書で論じられる特徴は、専用プロセッサ回路を介して、実行可能命令を介して、またはそれらの組合せによって実装され得る。
【0073】
さらに、本明細書で本開示に関連して説明した様々な例示的論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを当業者は理解されよう。ハードウェアとソフトウェアとのこの互換性について明確に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、上で全般にそれらの機能性に関して説明された。そのような機能性が、ハードウェアとして実装されるのか、それともソフトウェアとして実装されるのかは、具体的な適用例および全体的なシステムに課される設計制約によって決まる。当業者は、説明された機能性を具体的な適用例ごとに様々な方法で実現することができるが、そのような実装形態の決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。当業者はまた、本明細書で説明する構成要素、方法、または相互作用の順序または組合せは例にすぎないことと、本開示の様々な態様の構成要素、方法、または相互作用は本明細書で図示し説明する方法以外の方法で組み合わされるかまたは実行される場合があることとを容易に認識されよう。
【0074】
本明細書で開示する実装形態に関連して説明した様々な例示的な論理、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装されてよい。ハードウェアとソフトウェアの互換性について、概して機能性に関して説明し、上記で説明した様々な例示的な構成要素、ブロック、モジュール、回路およびプロセスにおいて例示した。そのような機能性がハードウェアに実装されるか、ソフトウェアに実装されるかは、具体的な適用例および全体的なシステムに課された設計制約によって決まる。
【0075】
本明細書で開示する態様に関して説明した様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用シングルチップもしくは汎用マルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行されてよい。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくはステートマシンであってよい。いくつかの実装形態では、プロセッサは、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成など、コンピューティングデバイスの組合せとして実装され得る。いくつかの実装形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実行され得る。
【0076】
1つまたは複数の態様では、説明する機能は、本明細書で開示する構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。また、本明細書で説明する主題の実装形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置による実行のための、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして、実装され得る。
【0077】
ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶され得るか、またはコンピュータ可読媒体を介して送信されてもよい。本明細書で開示する方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュールにおいて実装され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能にされてよい任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または所望のプログラムコードを命令もしくはデータ構造の形態で記憶するために使用され得るとともにコンピュータによってアクセスされ得る、任意の他の媒体を含み得る。また、任意の接続がコンピュータ可読媒体と適切に呼ばれてよい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-rayディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。加えて、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せもしくはセットとして、コンピュータプログラム製品に組み込まれ得る機械可読媒体およびコンピュータ可読媒体上に存在し得る。
【0078】
本開示で説明する実装形態に対する様々な変更形態が当業者には容易に明らかになる場合があり、本明細書で定義する一般原理は、本開示の趣旨または範囲から逸脱することなく、いくつかの他の実装形態に適用される場合がある。したがって、特許請求の範囲は、本明細書で示されている実装形態に限定されるものではなく、本開示、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
【0079】
加えて、「上側(upper)」および「下側(lower)」という用語が図の説明を容易にするために使用されることがあり、適切に配向されたページ上の図の配向に対応する相対的な位置を示し、実装された任意のデバイスの適切な配向を反映しない場合があることを当業者は容易に諒解されよう。
【0080】
また、本明細書において別個の実装形態の文脈で説明するいくつかの特徴は、単一の実装形態において組み合わせて実装され得る。逆に、単一の実装形態の文脈で説明する様々な特徴もまた、複数の実装形態において別個に実装されるか、または任意の好適な部分組合せで実装され得る。その上、特徴は、上記では、いくつかの組合せで作用するものとして説明されることがあり、最初にそのようなものとして請求されることもあるが、請求される組合せからの1つまたは複数の特徴は、場合によっては、組合せから削除され得、請求される組合せは、部分組合せまたは部分組合せの変形形態を対象とし得る。
【0081】
同様に、動作は特定の順序で図面に示されるが、このことは、望ましい結果を達成するために、そのような動作が、示された特定の順序でもしくは順次に実行されること、またはすべての図示された動作が実行されることを必要とするものとして理解されるべきでない。さらに、図面は、1つまたは複数の例示的なプロセスを流れ図の形で概略的に示す場合がある。しかしながら、示されていない他の動作が、概略的に示されている例示的なプロセスに組み込まれる場合がある。たとえば、示された動作のいずれかの前に、その後に、それと同時に、またはそれらの間に、1つまたは複数の追加の動作が実行され得る。いくつかの状況では、マルチタスキングおよび並列処理が有利であり得る。その上、上記で説明した実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきでなく、説明したプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品の中で一緒に統合されてよく、または複数のソフトウェア製品の中にパッケージ化されてもよいことを理解されたい。加えて、いくつかの他の実装形態は以下の特許請求の範囲内に入る。場合によっては、特許請求の範囲に記載されているアクションは、異なる順序で実行されてよく、やはり望ましい結果を達成してよい。
【0082】
特許請求の範囲内を含む本明細書で使用される「または」という用語は、2つ以上の項目のリストにおいて使用されるとき、列挙された項目のいずれか1つが単独で採用され得ること、または、列挙された項目のうちの2つ以上の任意の組合せが採用され得ることを意味する。たとえば、装置が構成要素A、B、またはCを含むものとして説明される場合、装置は、Aのみ、Bのみ、Cのみ、AとBとの組合せ、AとCとの組合せ、BとCとの組合せ、またはAとBとCとの組合せを含むことができる。また、特許請求の範囲内を含む本明細書で使用される「のうちの少なくとも1つ」で終わる項目の列挙において使用される「または」は、たとえば、「A、B、またはCのうちの少なくとも1つ」という列挙が、AまたはBまたはCまたはABまたはACまたはBCまたはABC(すなわち、AおよびBおよびC)、あるいはそれらの任意の組合せにおけるこれらのいずれかを意味するような、選言的な列挙を示す。「実質的に」という用語は、当業者によって理解されるように、大部分が指定されたものであるが、必ずしも全体が指定されたものではないものとして定義される(および指定されているものを含み、たとえば、実質的に90度は90度を含み、実質的に平行は平行を含む)。任意の開示される実装形態では、「実質的に」という用語は、指定されるもの「の[パーセンテージ]内」で置換されてもよく、パーセンテージは、0.1、1、5、または10パーセントを含む。
【0083】
本開示の以上の説明は、いかなる当業者も本開示を作成または使用することが可能となるように提供される。本開示の様々な変更が当業者に容易に明らかになり、本明細書で定義される一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用され得る。したがって、本開示は、本明細書で説明した例および設計に限定されるものでなく、本明細書で開示した原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
【符号の説明】
【0084】
100 デバイス
101 第1の画像センサ
102 第2の画像センサ
104 プロセッサ
106 メモリ
108 命令
112 画像信号プロセッサ
114 ディスプレイ
116 入力/出力(I/O)構成要素
118 電源
130 第1のカメラ
131 第1のレンズ
132 第2のレンズ
140 第2のカメラ
141 オートフォーカスロジック
142 オートフォーカスロジック
144 融合ノード
202 シーン
204 オブジェクト
206 オブジェクト
208 オブジェクト
210 第1の画像フレーム
220 第2の画像フレーム
240 融合ロジック
250 出力画像フレーム
300 深度データ
302 ヒストグラムピーク
304 ヒストグラムピーク
510 セグメント化
512 セグメント
516 マージ
700 マージ方法
101 第1の画像センサ
102 第2の画像センサ
104 プロセッサ
106 メモリ
108 命令
112 画像信号プロセッサ
114 ディスプレイ
116 入力/出力(I/O)構成要素
118 電源
130 第1のカメラ
131 第1のレンズ
132 第2のレンズ
140 第2のカメラ
141 オートフォーカスロジック
142 オートフォーカスロジック
144 融合ノード
202 シーン
204 オブジェクト
206 オブジェクト
208 オブジェクト
210 第1の画像フレーム
220 第2の画像フレーム
240 融合ロジック
250 出力画像フレーム
300 深度データ
302 ヒストグラムピーク
304 ヒストグラムピーク
510 セグメント化
512 セグメント
516 マージ
700 マージ方法
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】