特表 2024-524035 シーン完全性の向上のための時間フィルタリングリスタート

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-05

(54)【発明の名称】シーン完全性の向上のための時間フィルタリングリスタート

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240628BHJP

   H04N 25/626 20230101ALI20240628BHJP

【ＦＩ】

H04N23/60 500

H04N25/626

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023575604

(86)(22)【出願日】2022-06-09

(85)【翻訳文提出日】2023-12-07

(86)【国際出願番号】 US2022072852

(87)【国際公開番号】W WO2022272212

(87)【国際公開日】2022-12-29

(31)【優先権主張番号】17/353,506

(32)【優先日】2021-06-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ユリ・ドルギン

(72)【発明者】

【氏名】コスティア・パルフェニエフ

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CX11

5C024CY26

5C024HX04

5C122DA03

5C122EA22

5C122FG15

5C122FH12

5C122FH23

5C122GA01

5C122HA13

5C122HA35

5C122HB01

5C122HB06

5C122HB09

(57)【要約】

時間フィルタリング動作は、前の入力フレームからの寄与を低減してゴースト発生および他のアーティファクトを低減するために、画像フレーム内のいくつかのピクセル向けにリセットされ得る。リセットは、直ちに、または所定の時間期間(たとえば、ある特定の数のフレーム)内に、寄与を、たとえば、ゼロまで低減する。画像フレームのピクセル向けの時間フィルタリングをリセットするかどうかに関する決定は、そのピクセルに割り当てられた確率に基づき得る。確率は、1つまたは複数の基準をもつ規則に基づき得る。確率を調節するための1つの例示的因子が、ピクセル向けの時間フィルタリング決定に関する信頼性レベルであり、決定において、ピクセルのランダムリセットについての確率は、それらのピクセルについての時間フィルタリング決定に関する信頼性レベルに基づく。

【特許請求の範囲】

【請求項1】

第1の画像フレーム、および前記第1の画像フレームに時間的に先行する第2の画像フレームを受信するステップと、
前記第1の画像フレームおよび前記第2の画像フレームに基づいて第3の画像フレームを決定するステップとを含む方法であって、前記決定するステップは、
前記第3の画像フレーム内の第3の複数のピクセル内の第1の複数のピクセルおよび第2の複数のピクセルに時間フィルタリングを適用すると決定するステップと、
前記第1の画像フレームの対応するピクセルを前記第2の画像フレームと合成することによって、時間フィルタリングを使って前記第1の複数のピクセルを決定するステップと、
前記第2の画像フレームの対応するピクセルを参照せずに、前記第1の画像フレームの対応するピクセルに基づいて、前記第2の複数のピクセルを決定するステップとを含む、方法。

【請求項2】

リセット重み付けマップを決定するステップをさらに含み、前記第2の複数のピクセルは、前記リセット重み付けマップに基づいて確率的に選択される、請求項1に記載の方法。

【請求項3】

前記第3の画像フレームを決定するステップは、
前記第1の複数のピクセルおよび前記第2の複数のピクセルに時間フィルタリングを適用するという前記決定に関連付けられた信頼性レベルを決定するステップをさらに含み、
前記リセット重み付けマップの前記決定は前記信頼性レベルに基づく、請求項2に記載の方法。

【請求項4】

前記第2の画像フレームから前記第1の画像フレームまでの、前記第1の画像フレーム中のピクセルの空間的動きに対応する動き因子を決定するステップをさらに含み、前記リセット重み付けマップは前記動き因子に基づく、請求項2に記載の方法。

【請求項5】

前記動き因子を決定するステップは、前記第2の画像フレームと前記第1の画像フレームとの間の動きベクトルを決定するステップを含み、前記リセット重み付けマップは前記動きベクトルに基づく、請求項4に記載の方法。

【請求項6】

前記リセット重み付けマップを決定するステップは、前記第1の画像フレーム中のオブジェクトの第1のロケーションを決定するステップを含み、前記リセット重み付けマップは、前記オブジェクトの前記第1のロケーションに基づく、請求項2に記載の方法。

【請求項7】

前記第2の複数のピクセルは、前記第3の複数のピクセルのうちのランダムに選択されたピクセルである、請求項1に記載の方法。

【請求項8】

前記第2の画像フレームは、前記第1の画像フレームよりも各々が時間的に早い第4の画像フレームと第5の画像フレームの合成に基づく、時間フィルタリングされた画像フレームを含む、請求項1に記載の方法。

【請求項9】

前記第3の画像フレームを決定する前に、前記第2の画像フレームに動き補償を適用するステップをさらに含む、請求項1に記載の方法。

【請求項10】

プロセッサと、
前記プロセッサに結合され、命令を記憶するメモリとを備え、前記命令は、前記プロセッサによって実行されると、前記デバイスに動作を実施させ、前記動作は、
第1の画像フレーム、および前記第1の画像フレームに時間的に先行する第2の画像フレームを受信することと、
前記第1の画像フレームおよび前記第2の画像フレームに基づいて第3の画像フレームを決定することとを含み、前記決定することは、
前記第3の画像フレーム内の第3の複数のピクセル内の第1の複数のピクセルおよび第2の複数のピクセルに時間フィルタリングを適用すると決定することと、
前記第1の画像フレームの対応するピクセルを前記第2の画像フレームと合成することによって、時間フィルタリングを使って前記第1の複数のピクセルを決定することと、
前記第2の画像フレームの対応するピクセルを参照せずに、前記第1の画像フレームの対応するピクセルに基づいて、前記第2の複数のピクセルを決定することとを含む、デバイス。

【請求項11】

前記命令は、前記プロセッサによって実行されると、前記デバイスにさらなる動作を実施させ、前記動作は、リセット重み付けマップを決定することを含み、前記第2の複数のピクセルは、前記リセット重み付けマップに基づいて確率的に選択される、請求項10に記載のデバイス。

【請求項12】

前記第3の画像フレームを決定することは、
前記第1の複数のピクセルおよび前記第2の複数のピクセルに時間フィルタリングを適用するという前記決定に関連付けられた信頼性レベルを決定することをさらに含み、
前記リセット重み付けマップの前記決定は前記信頼性レベルに基づく、請求項11に記載のデバイス。

【請求項13】

前記命令は、前記プロセッサによって実行されると、前記デバイスにさらなる動作を実施させ、前記動作は、前記第2の画像フレームから前記第1の画像フレームまでの、前記第1の画像フレーム中のピクセルの空間的動きに対応する動き因子を決定することを含み、前記リセット重み付けマップは前記動き因子に基づく、請求項11に記載のデバイス。

【請求項14】

前記動き因子を決定することは、前記第2の画像フレームと前記第1の画像フレームとの間の動きベクトルを決定することを含み、前記リセット重み付けマップは前記動きベクトルに基づく、請求項13に記載のデバイス。

【請求項15】

前記リセット重み付けマップを決定することは、前記第1の画像フレーム中のオブジェクトの第1のロケーションを決定することを含み、前記リセット重み付けマップは、前記オブジェクトの前記第1のロケーションに基づく、請求項11に記載のデバイス。

【請求項16】

前記第2の複数のピクセルは、前記第3の複数のピクセルのうちのランダムに選択されたピクセルである、請求項10に記載のデバイス。

【請求項17】

デバイスのプロセッサによって実行されると、前記デバイスに動作を実施させる命令を記憶する非一時的コンピュータ可読媒体であって、前記動作は、
第1の画像フレーム、および前記第1の画像フレームよりも時間的に先行する第2の画像フレームを受信することと、
前記第1の画像フレームおよび前記第2の画像フレームに基づいて第3の画像フレームを決定することとを含み、前記決定することは、
前記第3の画像フレーム内の第3の複数のピクセル内の第1の複数のピクセルおよび第2の複数のピクセルに時間フィルタリングを適用すると決定することと、
前記第1の画像フレームの対応するピクセルを前記第2の画像フレームと合成することによって、時間フィルタリングを使って前記第1の複数のピクセルを決定することと、
前記第2の画像フレームの対応するピクセルを参照せずに、前記第1の画像フレームの対応するピクセルに基づいて、第2の複数のピクセルを決定することとを含む、非一時的コンピュータ可読媒体。

【請求項18】

前記命令は、前記プロセッサによって実行されると、前記デバイスにさらなる動作を実施させ、前記動作は、リセット重み付けマップを決定することを含み、前記第2の複数のピクセルは、前記リセット重み付けマップに基づいて確率的に選択される、請求項17に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記第3の画像フレームを決定することは、
前記第1の複数のピクセルおよび前記第2の複数のピクセルに時間フィルタリングを適用するという前記決定に関連付けられた信頼性レベルを決定することをさらに含み、
前記リセット重み付けマップの前記決定は前記信頼性レベルに基づく、請求項18に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記命令は、前記プロセッサによって実行されると、前記デバイスにさらなる動作を実施させ、前記動作は、前記第2の画像フレームから前記第1の画像フレームまでの、前記第1の画像フレーム中のピクセルの空間的動きに対応する動き因子を決定することを含み、前記リセット重み付けマップは前記動き因子に基づく、請求項18に記載の非一時的コンピュータ可読媒体。

【請求項21】

前記動き因子を決定することは、前記第2の画像フレームと前記第1の画像フレームとの間の動きベクトルを決定することを含み、前記リセット重み付けマップは前記動きベクトルに基づく、請求項20に記載の非一時的コンピュータ可読媒体。

【請求項22】

前記リセット重み付けマップを決定することは、前記第1の画像フレーム中のオブジェクトの第1のロケーションを決定することを含み、前記リセット重み付けマップは、前記オブジェクトの前記第1のロケーションに基づく、請求項18に記載の非一時的コンピュータ可読媒体。

【請求項23】

前記第2の複数のピクセルは、前記第3の複数のピクセルのうちのランダムに選択されたピクセルである、請求項17に記載の非一時的コンピュータ可読媒体。

【請求項24】

前記命令は、前記プロセッサによって実行されると、前記デバイスにさらに動作を実施させ、前記動作は、前記第3の画像フレームを決定する前に、前記第1の画像フレームに動き補償を適用することを含む、請求項17に記載の非一時的コンピュータ可読媒体。

【請求項25】

第1の画像センサーと、
前記第1の画像センサーに結合されたプロセッサと、
前記プロセッサに結合されたメモリとを備えるデバイスであって、
前記プロセッサは、
第1の画像フレーム、および前記第1の画像フレームよりも時間的に先行する第2の画像フレームを受信することと、
前記第1の画像フレームおよび前記第2の画像フレームに基づいて第3の画像フレームを決定することとを含むステップを実施するように構成され、前記決定することは、
前記第3の画像フレーム内の第3の複数のピクセル内の第1の複数のピクセルおよび第2の複数のピクセルに時間フィルタリングを適用すると決定することと、
前記第1の画像フレームの対応するピクセルを前記第2の画像フレームと合成することによって、時間フィルタリングを使って前記第1の複数のピクセルを決定することと、
前記第2の画像フレームの対応するピクセルを参照せずに、前記第1の画像フレームの対応するピクセルに基づいて、前記第2の複数のピクセルを決定することとを含む、デバイス。

【請求項26】

前記プロセッサは、リセット重み付けマップを決定することを含むステップを実施するようにさらに構成され、前記第2の複数のピクセルは、前記リセット重み付けマップに基づいて確率的に選択される、請求項25に記載のデバイス。

【請求項27】

前記第3の画像フレームを決定することは、
前記第1の複数のピクセルおよび前記第2の複数のピクセルに時間フィルタリングを適用するという前記決定に関連付けられた信頼性レベルを決定することをさらに含み、
前記リセット重み付けマップの前記決定は前記信頼性レベルに基づく、請求項26に記載のデバイス。

【請求項28】

前記プロセッサは、前記第2の画像フレームから前記第1の画像フレームまでの、前記第1の画像フレーム中のピクセルの空間的動きに対応する動き因子を決定することを含むステップを実施するようにさらに構成され、前記リセット重み付けマップは前記動き因子に基づく、請求項26に記載のデバイス。

【請求項29】

前記デバイスはコンピュータビジョン(CV)プロセッサをさらに備え、前記リセット重み付けマップを決定することは、前記CVプロセッサによって、前記第1の画像フレーム中のオブジェクトの第1のロケーションを決定することを含み、前記リセット重み付けマップは、前記オブジェクトの前記第1のロケーションに基づく、請求項26に記載のデバイス。

【請求項30】

前記第2の画像フレームは、前記第1の画像フレームよりも各々が時間的に早い第4の画像フレームと第5の画像フレームの合成に基づく、時間フィルタリングされた画像フレームを含む、請求項25に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その全体が参照により本明細書に明確に組み込まれる、2021年6月21日に出願された「TEMPORAL FILTERING RESTART FOR IMPROVED SCENE INTEGRITY」と題する米国特許出願第17/353,506号の利益を主張する。

【0002】

本開示の態様は概して、画像処理に関する。本開示のいくつかの特徴は、計算写真学における画像の処理の改善を可能にし、提供することができる。

【背景技術】

【0003】

画像キャプチャデバイス、すなわち、静止画像写真であろうと、ビデオ用の画像のシーケンスであろうと、1つまたは複数のデジタル画像をキャプチャすることができるデバイスは、多種多様なデバイスに組み込まれ得る。例として、画像キャプチャデバイスは、スタンドアロンデジタルカメラもしくはデジタルビデオカムコーダ、モバイル電話、セルラーもしくは衛星無線電話、携帯情報端末(PDA)、パネルもしくはタブレット、ゲームデバイスなどのカメラ付きワイヤレス通信デバイスハンドセット、ウェブカム、ビデオ監視カメラなどのコンピュータデバイス、またはデジタル撮像もしくはビデオ能力を有する他のデバイスを含み得る。

【0004】

画像キャプチャデバイスは、その形態にかかわらず、キャプチャされた画像の画像品質に、いくつかの固有の制限を有する。いくつかの状況において、特に低光シーンにおいて画像品質を向上するために、画像キャプチャデバイスによってキャプチャされた画像フレームに対して時間フィルタが適用され得る。時間フィルタは、先行フレーム中のピクセルについての値に少なくとも部分的に基づいて、画像フレームにおける少なくとも1つのピクセル値を修正する。時間フィルタは、1枚の画像フレームよりも高い品質であり得る出力画像フレームを取得するために、異なるときにキャプチャされた2つの画像フレームからの情報を使う。ただし、得られる画像品質を低減し得る、時間フィルタリングに関連した問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

時間フィルタリングは、いくつかの状況下で、フィルタリングされた画像の中にアーティファクトを生じる可能性がある。たとえば、動いたり、シーンから消えたりするオブジェクトは、時間フィルタリングされた画像が、そのオブジェクトを含んでいた前の画像フレームに基づくせいで、時間フィルタリングされた画像出力の中に長時間留まる場合がある。画像中のこれらの残留オブジェクトは、オブジェクトがシーンを出たにもかかわらず、画像にオブジェクトが現れることにより、「ゴースト」と呼ばれ得る。ゴーストは、低コントラスト(たとえば、信号対ノイズ比(SNR)が1未満の)画像を時間フィルタリングするときなど、他の状況下でも現れる場合がある。ゴースト発生の影響は、より積極的な時間フィルタリングが適用されるときに、より顕著であり得る。これらの時間フィルタリングアーティファクトのどれもが、出力画像フレームにおけるシーン完全性問題をもたらす。より積極的なフィルタリングは、より長い時間期間からの画像フレームを使い、結果として、ゴーストオブジェクトがより長く、またはより顕著に現れる。関連付けられたより長い時間期間が低光シーン中のノイズを低減することができる低光状況において、より積極的な時間フィルタリングが有用であり得る。

【課題を解決するための手段】

【0006】

本開示のいくつかの実施形態による、時間フィルタリングを改善するための1つの技法は、時間フィルタリングプロセスによって生成された画像の画像品質を向上するために、画像フレーム中のいくつかのピクセル向けの時間フィルタリングをリセットするものである。時間フィルタをリセットすることで、前の入力フレームが出力画像フレームに対してより少ない影響を有するように、時間フィルタにおける、前の画像フレームからの寄与を低減することができる。リセットすることで、寄与を、直ちに、または所定の時間期間(たとえば、ある特定の数のフレーム)内に、たとえば、ゼロまで低減し得る。リセットは、写真におけるゴーストアーティファクトの出現を低減し得る。画像フレームのピクセル向けの時間フィルタリングをリセットするかどうかに関する決定は、そのピクセルに割り当てられた確率に基づき得る。確率は、1つまたは複数の基準をもつ規則に基づき得る。確率を調節するための1つの例示的因子が、ピクセル向けの時間フィルタリング決定に関する信頼性レベルであり、決定において、ピクセルのランダムリセットについての確率は、そのピクセルについての時間フィルタリング決定に関する信頼性レベルに基づく。

【0007】

時間フィルタリングは、画像フレーム中のいくつかのピクセルに適用され、画像フレーム中の他のピクセルには適用されなくてよく、いくつかのピクセルに適用される時間フィルタリングの量は、時間フィルタリング中に変えられてもよい。特定のピクセルに時間フィルタリングを適用するかどうかに関する決定は、1つまたは複数の基準を各々がもつ1つまたは複数の規則に基づき得る。時間フィルタリング決定は、ピクセルが画像の静的領域それとも動的領域に対応するかという決定に基づき得る。静的領域は、画像フレームの間の時間差分が一定の閾値を下回るかどうかに基づいて決定されてよく、ここで閾値は、画像フレーム中の予想時間ノイズに対応し得る。時間フィルタリング決定に関する信頼性レベルが決定されてよく、その信頼性レベルは、時間フィルタリング処理中にピクセルをリセットするかどうかを決定するのに使われてよい。

【0008】

時間フィルタにおけるピクセルリセットレートは、そのピクセルについての時間フィルタリング決定の信頼性レベルに基づき得る。信頼性レベルが高いピクセルに対して、ピクセルリセットのレートが低減され、またはリセットが実施されない場合がある。ピクセルリセットのレートは、信頼性レベルに比例して調節することもできる。たとえば、領域中のピクセルについての信頼性レベルが高閾値を上回る領域においては、ピクセルリセットが実施されなくてよく、領域中のピクセルについての信頼性レベルがミドル閾値を上回る領域においては、低レートのリセット(たとえば、20個のピクセルで1度)が実施されてよく、信頼性レベルがミドル閾値を下回る領域においては、通常レートのリセット(たとえば、10個のピクセルで1度)が実施されてよい。時間フィルタリング決定の信頼性レベルは、1つまたは複数の基準に基づき得る。たとえば、高い信頼性レベルは、画像の領域中で、十分に高い信号対ノイズ比(SNR)を有することに関連付けられ得る。別の例では、高い信頼性レベルは、画像の領域中で強いテクスチャの存在を検出すること、および同時に、画像フレーム中のピクセルの間の低い時間差分が時間フィルタに入力されることに関連付けられる。ピクセルリセットレートは、ピクセルのリセットの確率を示すリセット重み付けマップと、その確率によって、そうでなければ時間フィルタリングが実施されるべきであると決定される個々のピクセルをリセットするか、それともリセットしないかを決定するように修正されたランダム関数とを使って実装され得る。

【0009】

本明細書に記載する時間フィルタリングは、画像センサーの出力に対して直接、または記憶された一連の画像フレームに対して、2つ以上の画像フレームを処理することによって実装され得る。いくつかの実施形態では、1つの画像フレームは、現在処理されている、一連の画像フレーム中の画像フレームを参照する現在の画像フレームである。リアルタイムの画像キャプチャデバイスでは、現在の画像フレームは、画像センサーによってキャプチャされた直近の画像フレームであってよい。時間フィルタリングは、画像フレームが画像センサーによって時間がより早くキャプチャされるなど、1つまたは複数の前の画像フレームが一連の画像フレーム中でより早く発生したことに基づいて、現在の画像フレームのピクセルを修正し得る。いくつかの実施形態では、時間フィルタは無限インパルス応答(IIR)フィルタであってよく、IIRフィルタは、それ自体が時間フィルタリングされる前の画像フレームを使って、現在の画像フレームを処理する。IIRフィルタは、より低い帯域幅、より低い計算リソース、およびより少ない電力を使って時間フィルタリングを提供する。IIRフィルタはしたがって、バッテリーなどの限られた電源から動作するデバイスにおいて、またはデバイスモビリティ要因により低下した処理能力で動作するデバイスにおいて有益であり得る。

【0010】

いくつかの実施形態では、時間フィルタリングは、ブレンディングに先行して動き補償が適用されることなく、画像フレームに適用されてよい。いくつかの実施形態では、時間フィルタリングは、時間フィルタにおける、他のフレームとのブレンディングに先行して動き補償が適用されて、画像フレームに適用されてよい。時間フィルタリングの前に動き補償が適用される実施形態では、画像フレームのブレンディングは、静的エリア(たとえば、ある画像フレームから別の画像フレームへのピクセルの変化が閾値量を下回るエリア)の中で実施され得る。

【0011】

この概要は、説明される技術の基本的理解を与えるために、本開示のいくつかの態様について記載する。この概要は、本開示のすべての企図された特徴の広範な概観ではなく、本開示のすべての態様の主要または重要な要素を識別するものでもなく、本開示のいずれかまたはすべての態様の範囲を定めるものでもない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、本開示の1つまたは複数の態様のいくつかの概念を要約の形態で提示することである。

【0012】

概して、本開示は、画像センサーおよび画像信号プロセッサ(ISP)を有するデジタルカメラを伴う画像処理技法について説明する。画像信号プロセッサは、1つまたは複数の画像センサーからの画像フレームのキャプチャを制御し、1つまたは複数の画像センサーからの画像フレームを処理して、補正された画像フレーム中でシーンのビューを生成するように構成されてよく、ここで、補正された画像フレームを生じるためのプロセスの一部として、1つまたは複数の画像センサーからキャプチャされた2つ以上の画像フレームをブレンドするために、時間フィルタリングが適用され得る。一例では、画像信号プロセッサは、CPU上でのカメラアプリケーションなどのソフトウェアのローディングに応答して、画像フレームのシーケンスをキャプチャするための命令を受信し得る。画像信号プロセッサは、画像センサーからのそれぞれの補正画像に基づいて、出力フレームの単一のフローを生成するように構成され得る。出力フレームの単一のフローは、たとえば時間フィルタリングによって補正された、画像センサーからの画像データを含む画像フレームを含み得る。補正された画像フレームは、本開示の時間フィルタリングの態様を、ハイダイナミックレンジ(HDR)写真術またはマルチフレームノイズ低減(MFNR)など、他の計算写真学技法と組み合わせることによって生じ得る。

【0013】

本明細書における様々な実施形態において記載される時間フィルタリングを使って、シーンを表す出力フレームが画像信号プロセッサによって決定された後、シーンのビューは、デバイスディスプレイ上に表示され、ピクチャもしくはビデオとしてのピクチャのシーケンスとして記憶デバイスに保存され、ネットワークを介して送信され、かつ/または出力媒体に印刷され得る。たとえば、画像信号プロセッサは、異なる画像センサーから画像データの入力フレーム(たとえば、ピクセル値)を取得し、次に、画像データの対応する出力フレーム(たとえば、プレビュー表示フレーム、静止画像キャプチャ、ビデオのフレームなど)を生成するように構成され得る。他の例では、画像信号プロセッサは、3Aパラメータ同期(たとえば、自動焦点(AF)、自動ホワイトバランス(AWB)、および自動露出制御(AEC))、出力フレームを介してビデオファイルを生成する、表示用のフレームを構成する、記憶用のフレームを構成する、ネットワーク接続を通してフレームを送信するためなどの、さらなる処理のために、画像データのフレームを様々な出力デバイスおよび/またはカメラモジュールに出力し得る。すなわち、画像信号プロセッサは、各々が1つまたは複数のカメラレンズに結合された1つまたは複数の画像センサーからの入来フレームを取得し得、次に、出力フレームのフローを生成し、様々な出力宛先に出力し得る。そのような例では、画像信号プロセッサは、ピクセルリセットでの時間フィルタリングの改善により、ゴースト発生または他のアーティファクトを低減させた可能性がある出力フレームのフローを生じるように構成されてよい。

【0014】

本開示の一態様では、画像処理のための方法は、第1の画像フレームおよび第2の画像フレームを受信するステップを含む。方法は続いて、時間フィルタリングを適用して第1の画像フレームと第2の画像フレームを合成することによって、第1の画像フレームおよび第2の画像フレームに基づいて第3の画像フレームを決定し得る。時間フィルタリングは、いくつかのピクセル(たとえば、「第1の複数のピクセル」)について、第1の画像フレームおよび第2の画像フレームの対応するピクセルの合成として、第3の画像フレームのピクセルを決定することを含み得る。時間フィルタリングは、他のピクセル(たとえば、「第2の複数のピクセル」)について、第1の画像フレームに基づいて、および第2の画像フレームに基づかずに、第3の画像フレームのピクセルを決定することによって、時間フィルタをリセットすることを含み得る。リセットは、前の画像フレームから第3の画像フレームへの寄与をなくすことができ、代わりに、第3の画像フレームのピクセルは、現在の画像フレームのみに基づき得る。第3の画像フレームのいくつかのピクセルのこのリセットは、第3の画像フレームにおけるゴーストおよび他のアーティファクトの存在を低減することができ、そうすることによって、シーン完全性を向上し、シーンのより正確な表現を生じ、ユーザ向けにより高品質の写真またはビデオを生じる。

【0015】

いくつかの実施形態では、リセットされる、第3の画像フレームのピクセルは、各フレーム向けにランダムに選択される。いくつかの実施形態では、ランダムピクセルは、ピクセルについての時間フィルタリング(TF)決定に関連付けられた信頼性レベルに基づいて重み付けされる。いくつかの実施形態では、時間フィルタリングは、時間フィルタにおける合成のために使われる第2の画像フレーム入力自体が、第1の画像フレームおよび第2の画像フレームに先行する少なくとも1つの画像フレームに基づく、時間フィルタリングされた画像フレームである無限インパルス応答(IIR)フィルタであってよい。いくつかの実施形態では、時間フィルタリングは、第1の(「現在の」)画像フレームを第1の前の画像フレームおよび第2の前の画像フレームと合成する時間フィルタなど、2つより多い画像フレームに対して作用する時間フィルタであってよい。2つより多い入力画像フレームを合成する時間フィルタをリセットすることは、出力画像フレームを現在の画像フレームに基づかせること、および出力画像フレームを、前の画像フレームのうちの少なくとも1つまたは前の画像フレームすべてに基づかせることを伴い得る。

【0016】

いくつかの態様では、方法は、異なる露出時間、異なる開口、異なるレンズ、または2つの画像フレームが合成されるときに融合画像のダイナミックレンジを改善し得る他の異なる特性を使って第1の画像フレームおよび第2の画像フレームがキャプチャされるHDR写真術のために実施され得る。いくつかの態様では、方法は、同じまたは異なる露出時間を使って第1の画像フレームおよび第2の画像フレームがキャプチャされるMFNR写真術のために実施され得る。

【0017】

本開示の追加の態様では、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに結合されたメモリとを含む装置が開示される。少なくとも1つのプロセッサは、本明細書で説明する方法または技法のいずれかを実施するように構成される。たとえば、少なくとも1つのプロセッサは、第1の画像フレームおよび第2の画像フレームを受信することを含むステップを実施するように構成され得る。少なくとも1つのプロセッサは、時間フィルタリングを適用して第1の画像フレームと第2の画像フレームを合成することによって、第1の画像フレームおよび第2の画像フレームに基づいて第3の画像フレームを決定するようにも構成され得る。時間フィルタリングは、いくつかのピクセル(たとえば、「第1の複数のピクセル」)について、第1の画像フレームおよび第2の画像フレームの対応するピクセルの合成として、第3の画像フレームのピクセルを決定することを含み得る。時間フィルタリングは、他のピクセル(たとえば、「第2の複数のピクセル」)について、第1の画像フレームに基づいて、および第2の画像フレームに基づかずに、第3の画像フレームのピクセルを決定することによって、時間フィルタをリセットすることを含み得る。リセットは、前の画像フレームから第3の画像フレームへの寄与をなくすことができ、代わりに、第3の画像フレームのピクセルは、現在の画像フレームのみに基づき得る。第3の画像フレームのいくつかのピクセルのこのリセットは、第3の画像フレームにおけるゴーストおよび他のアーティファクトの存在を低減することができ、そうすることによって、シーン完全性を向上し、シーンのより正確な表現を生じ、ユーザ向けにより高品質の写真またはビデオを生じる。

【0018】

少なくとも1つのプロセッサは、時間フィルタリングおよび/または動き補償を有効または無効にするなど、カメラ制御および/または処理のための特定の機能性を含む、画像信号プロセッサまたはプロセッサを含み得る。少なくとも1つのプロセッサは、同じくまたは代替的に、アプリケーションプロセッサを含み得る。本明細書で説明する方法および技法は、画像信号プロセッサもしくはアプリケーションプロセッサによって完全に実施され得るか、または様々な動作は、画像信号プロセッサとアプリケーションプロセッサとの間で分割され、いくつかの態様では、追加のプロセッサにわたって分割され得る。

【0019】

装置は、1つ、2つ、またはそれよりも多い画像センサーを含んでよく、たとえば第1の画像センサーを含む。複数の画像センサーが存在するとき、第1の画像センサーは、第2の画像センサーよりも大きい視野(FOV)を有してよく、または第1の画像センサーは、第2の画像センサーとは異なる感度もしくは異なるダイナミックレンジを有してもよい。一例では、第1の画像センサーは広角画像センサーであってよく、第2の画像センサーは望遠画像センサーであってよい。別の例では、第1のセンサーは、第1の光軸を有する第1のレンズを通して画像を取得するように構成され、第2のセンサーは、第1の光軸とは異なる第2の光軸を有する第2のレンズを通じて画像を取得するように構成される。追加または代替として、第1のレンズは第1の倍率を有してよく、第2のレンズは第1の倍率とは異なる第2の倍率を有してよい。この構成は、複数の画像センサーおよび関連するレンズがモバイルデバイスの表面または背面上のオフセットロケーションに配置されている場合などに、モバイルデバイス上のレンズクラスタを用いて行われ得る。より大きい視野、より小さい視野、または同じ視野を有する追加の画像センサーが含まれ得る。本明細書で説明する画像補正技法は、マルチセンサーデバイスにおける画像センサーのいずれかからキャプチャされた画像フレームに適用され得る。

【0020】

本開示の追加の態様では、画像処理および/または画像キャプチャ用に構成されたデバイスが開示される。デバイスは、画像フレームをキャプチャするための手段を含む。デバイスは、画像センサー(電荷結合素子(CCD)、ベイヤーフィルタセンサー、赤外線(IR)検出器、紫外線(UV)検出器、相補型金属酸化膜半導体(CMOS)センサーを含む)、飛行時間検出器など、シーンを表すデータをキャプチャするための1つまたは複数の手段をさらに含む。デバイスは、光線を1つまたは複数の画像センサーに蓄積および/または集束させるための1つまたは複数の手段(単純レンズ、複合レンズ、球面レンズ、および非球レンズを含む)をさらに含み得る。これらの構成要素は、本明細書に記載する画像処理技法に入力された第1および/または第2の画像フレームをキャプチャするように制御され得る。

【0021】

本開示の追加の態様では、非一時的コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、本明細書で説明する方法および技法に記載のものを含む動作を実施させる命令を記憶する。たとえば、動作は、第1の画像フレームおよび第2の画像フレームを受信することを含み得る。動作は、時間フィルタリングを適用して第1の画像フレームと第2の画像フレームを合成することによって、第1の画像フレームおよび第2の画像フレームに基づいて第3の画像フレームを決定することも含み得る。時間フィルタリングは、いくつかのピクセル(たとえば、「第1の複数のピクセル」)について、第1の画像フレームおよび第2の画像フレームの対応するピクセルの合成として、第3の画像フレームのピクセルを決定することを含み得る。時間フィルタリングは、他のピクセル(たとえば、「第2の複数のピクセル」)について、第1の画像フレームに基づいて、および第2の画像フレームに基づかずに、第3の画像フレームのピクセルを決定することによって、時間フィルタをリセットすることを含み得る。リセットは、前の画像フレームから第3の画像フレームへの寄与をなくすことができ、代わりに、第3の画像フレームのピクセルは、現在の画像フレームのみに基づき得る。第3の画像フレームのいくつかのピクセルのこのリセットは、第3の画像フレームにおけるゴーストおよび他のアーティファクトの存在を低減することができ、そうすることによって、シーン完全性を向上し、シーンのより正確な表現を生じ、ユーザ向けにより高品質の写真またはビデオを生じる。

【0022】

添付の図とともに特定の例示的な態様の以下の説明を検討すれば、他の態様、特徴、および実装形態が当業者に明らかとなろう。特徴は、以下のいくつかの態様および図に関連して説明されることがあるが、様々な態様は、本明細書で説明する有利な特徴のうちの1つまたは複数を含み得る。言い換えれば、1つまたは複数の態様は、いくつかの有利な特徴を有するものとして説明されることがあるが、そのような特徴のうちの1つまたは複数はまた、様々な態様に従って使用され得る。同様に、例示的な態様は、デバイス態様、システム態様、または方法態様として以下で説明されることがあるが、例示的な態様は、様々なデバイス、システム、および方法において実装され得る。

【0023】

方法は、プロセッサに方法のステップを実施させる命令を含むコンピュータプログラムコードとしてコンピュータ可読媒体中に埋め込まれ得る。いくつかの実施形態では、プロセッサは、複数のネットワーク接続のうちの第1のネットワーク接続を介して、画像またはビデオなどのデータを、記録として、またはストリーミングデータとして送信するように構成された第1のネットワークアダプタと、第1のネットワークアダプタおよびメモリに結合されたプロセッサとを含むモバイルデバイスの一部であり得る。プロセッサは、5G NR通信ネットワークなどのワイヤレス通信ネットワークを介して、本明細書に記載する、時間フィルタリングされた画像フレームの送信を引き起こし得る。

【0024】

上記は、以下の「発明を実施するための形態」がよりよく理解され得るように、本発明の実施形態のいくつかの特徴と技術的利点とをかなり広範に概説している。本発明の特許請求の範囲の主題を形成する追加の特徴および利点について、以下で説明する。開示する概念および特定の実施形態は、同じまたは同様の目的を遂行するための他の構造を修正または設計するための基礎として容易に利用され得ることを、当業者は諒解されたい。そのような等価な構成は、添付の特許請求の範囲に記載されている本発明の趣旨および範囲から逸脱しないことも、当業者は認識されたい。追加の特徴は、添付の図とともに考慮されると、以下の説明からより良く理解されよう。しかしながら、図の各々は例示および説明のために提供されるにすぎず、本発明を限定するものではないことを明確に理解されたい。

【0025】

本開示の本質および利点のさらなる理解は、以下の図面を参照することによって実現することができる。添付の図面では、同様の構成要素または特徴は、同じ参照ラベルを有することがある。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、同様の構成要素を区別する第2のラベルとを続けることによって区別されることがある。第1の参照ラベルのみが本明細書で使用される場合、説明は、第2の参照ラベルにかかわらず、同じ第1の参照ラベルを有する同様の構成要素のいずれか1つに適用可能である。

【図面の簡単な説明】

【0026】

【図1】本開示の実施形態で説明する例示的な技法の1つまたは複数を実施するように構成されたコンピューティングデバイスのブロック図である。

【図2】本開示のいくつかの実施形態による、時間フィルタリングをリセットすることを伴う、画像フレームを時間フィルタリングする方法を示すフローチャートである。

【図3】本開示のいくつかの実施形態による、いくつかのピクセルの中でフィルタをリセットすることを伴う、無限インパルス応答(IIR)フィルタを使う時間フィルタリングの実装形態を示すブロック図である。

【図4】本開示のいくつかの実施形態による、無限インパルス応答(IIR)フィルタ用のリセット論理の実装形態を示すブロック図である。

【図5】本開示のいくつかの実施形態において記載する、時間フィルタリングのランダムなリセットを用いて画像フレームを時間フィルタリングする方法を示すフローチャートである。

【図6】本開示のいくつかの実施形態による、ピクセルの特性に基づいて決定されたリセットを用いて画像フレームを時間フィルタリングする方法を示すフローチャートである。

【図7】本開示のいくつかの実施形態による、時間フィルタのランダムなリセットを行うための、画像フレームのピクセルについての重みを示すブロック図である。

【図8】本開示のいくつかの実施形態による、信頼性レベルに基づいて、画像フレームのピクセル用に時間フィルタリングをリセットするための確率を決定する方法を示すフローチャートである。

【図9】本開示のいくつかの実施形態による、時間差分メトリックに基づいて、画像フレームのピクセル用に時間フィルタリングをリセットするための確率を決定する方法を示すグラフである。

【発明を実施するための形態】

【0027】

様々な図面における同様の参照番号および名称は、同様の要素を示す。

【0028】

添付の図面に関して以下に記載する詳細な説明は、様々な構成の説明として意図されており、本開示の範囲を限定することを意図しない。むしろ、詳細な説明は、本発明の主題の完全な理解を与えるための具体的な詳細を含む。これらの具体的な詳細がすべての場合に必要であるとは限らないこと、および、いくつかの事例では、提示を明確にするために、よく知られている構造および構成要素がブロック図の形態で示されることは当業者に明らかであろう。

【0029】

本開示は、写真術およびビデオのための、キャプチャされた画像フレームの画像処理と、特に、ゴースト発生を低減し、画像フレーム中でのシーンの表現におけるシーンの完全性を向上するための、画像フレームの時間フィルタリングとをサポートするシステム、装置、方法、およびコンピュータ可読媒体を提供する。本開示において記載する主題の特定の実装形態は、たとえば、低光シーンにおいて取得される画像フレームのシーケンス中でアーティファクトを低減することによる画像品質の向上など、潜在的利点または利益を実現するために実装され得る。システム、装置、方法、およびコンピュータ可読媒体は、モバイルフォン、タブレットコンピューティングデバイス、ラップトップコンピューティングデバイス、他のコンピューティングデバイス、またはデジタルカメラなどの画像キャプチャデバイスの中に埋め込まれ得る。

【0030】

スマートフォンなど、1つまたは複数の画像センサーを使用して画像フレームをキャプチャするための例示的なデバイスは、デバイスの背面(たとえば、ユーザディスプレイの反対側)または表面(たとえば、ユーザディスプレイと同じ側)に、2つ、3つ、4つ、またはそれ以上のカメラの構成を含み得る。複数の画像センサーを有するデバイスは、1つもしくは複数の画像信号プロセッサ(ISP)、コンピュータビジョンプロセッサ(CVP)、または画像センサーによってキャプチャされた画像を処理するための他の適切な回路構成を含む。1つまたは複数の画像信号プロセッサは、符号化、記憶、送信、または他の操作のためなど、さらなる処理のために、処理された画像フレームをメモリおよび/または(アプリケーションプロセッサ、画像フロントエンド(IFE)、画像処理エンジン(IPE)、または他の適切な処理回路構成などの)プロセッサに提供し得る。

【0031】

本明細書で使用する限り、画像センサーは画像センサー自体、および画像信号プロセッサもしくは他の論理回路構成による処理、または短期バッファであろうとも長期不揮発性メモリであろうともメモリでの記憶のために画像フレームを生成するのに使われる、画像センサーに結合された任意のいくつかの他の構成要素を指す場合がある。たとえば、画像センサーは、シャッター、バッファ、または画像センサーの個々のピクセルにアクセスするための他の読出し回路構成を含む、カメラの他の構成要素を含むことがある。画像センサーはさらに、アナログフロントエンド、またはアナログ信号を、画像センサーに結合されたデジタル回路構成に与えられる、画像フレームのデジタル表現に変換するための他の回路構成を指すことがある。

【0032】

以下の説明では、本開示を完全に理解できるように特定の構成要素、回路、およびプロセスの例など多数の特定の詳細事項が記載されている。本明細書で使用する「結合された」という用語は、1つもしくは複数の介在する構成要素もしくは回路に直接接続されること、またはそれらを通して接続されることを意味する。また、以下の説明では説明の目的で、本開示の完全な理解を与えるために、具体的な名称が記載されている。しかしながら、これらの具体的な詳細が本明細書で開示する教示を実践するために必要とされない場合があることは当業者に明らかであろう。他の事例では、本開示の教示を不明瞭にすることを避けるために、よく知られている回路およびデバイスはブロック図の形態で示されている。

【0033】

以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する動作の手順、論理ブロック、処理、および他の記号表現に関して提示される。本開示では、手順、論理ブロック、プロセスなどは、所望の結果をもたらすステップまたは命令の自己矛盾のないシーケンスであると考えられる。ステップは、物理量の物理的操作を必要とするものである。通常、必ずしもそうとは限らないが、これらの量は、コンピュータシステムにおいて記憶されること、転送されること、合成されること、比較されること、および他の方法で操作されることが可能な電気信号または磁気信号の形態をとる。

【0034】

図では、単一のブロックは、1つまたは複数の機能を実施するものとして説明されることがある。そのブロックによって実施される1つまたは複数の機能は、単一の構成要素においてもしくは複数の構成要素にわたって実施されてよく、かつ/またはハードウェア、ソフトウェア、もしくはハードウェアとソフトウェアの組合せを使用して実施されてよい。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、それらの機能性に関して概略的に以下で説明する。そのような機能性がハードウェアそれともソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能性を特定の適用例ごとに様々な方法で実施し得るが、そのような実装決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。また、例示的なデバイスは、プロセッサ、メモリなどのよく知られている構成要素を含む、図示のもの以外の構成要素を含み得る。

【0035】

本開示の態様は、画像フレーム(または「フレーム」)をキャプチャすることが可能な2つ以上の画像センサーを含む、またはそれに結合された任意の適切な電子デバイスに適用可能である。さらに、本開示の態様は、(解像度、シャッター速度、センサータイプなどの)同じまたは異なる能力および特性の画像センサーを有するかまたはそれらに結合されたデバイスにおいて実装され得る。さらに、本開示の態様は、デバイスが画像センサーを含むかまたはそれらに結合されているかどうかにかかわらず、クラウドコンピューティングシステム中に存在する処理デバイスを含む、記憶された画像を処理のために取り出し得る処理デバイスなど、画像フレームを処理するためのデバイスにおいて実装され得る。

【0036】

別段に明記されていない限り、以下の説明から明らかなように、本出願全体を通して、「アクセスする」、「受信する」、「送る」、「使用する」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均する」、「監視する」、「比較する」、「適用する」、「更新する」、「測定する」、「導出する」、「解決する」、「生成する」などの用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを操作し、そのデータをコンピュータシステムのレジスタ、メモリ、または他のそのような情報記憶、送信、もしくは表示デバイス内の物理量として同様に表される他のデータに変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスを指すことを諒解されたい。

【0037】

「デバイス」および「装置」という用語は、1つまたは特定の数の物理的オブジェクト(たとえば、1つのスマートフォン、1つのカメラコントローラ、1つの処理システムなど)に限定されない。本明細書で使用する場合、デバイスは、本開示の少なくともいくつかの部分を実装し得る1つまたは複数の部品を有する任意の電子デバイスであり得る。以下の説明および例は、本開示の様々な態様について説明するために「デバイス」という用語を使用するが、「デバイス」という用語は、特定の構成、タイプ、またはオブジェクトの数に限定されない。本明細書で使用する場合、装置は、説明する動作を実施するためのデバイスまたはデバイスの一部分を含み得る。

【0038】

図1は、1つまたは複数の画像センサーからの画像キャプチャを実施するための例示的なデバイス100のブロック図を示す。デバイス100は、第1の画像センサー101、第2の画像センサー102、および深度センサー140など、1つまたは複数の画像センサーからの画像フレームを処理するための画像信号プロセッサ112を含み得るか、またはそうでなければそれに結合され得る。いくつかの実装形態では、デバイス100はまた、プロセッサ104、および命令108を記憶するメモリ106を含むか、またはそれらに結合される。デバイス100はまた、ディスプレイ114と、タッチスクリーンインターフェースおよび/または物理ボタンなどのいくつかの入力/出力(I/O)構成要素116とを含み得るか、またはそれらに結合され得る。デバイス100は、バッテリーまたはデバイス100をエネルギー源に結合するための構成要素などの、デバイス100用の電源118をさらに含み得るか、またはそれに結合され得る。デバイス100はまた、図1に示されていない追加の特徴または構成要素を含み得るか、またはそれらに結合され得る。一例では、いくつかのトランシーバとベースバンドプロセッサとを含み得るワイヤレスインターフェースは、ワイヤレス通信デバイス用に含まれ得る。さらなる例では、アナログ画像フレームデータをデジタル画像フレームデータに変換するためのアナログフロントエンド(AFE)が、画像センサー101および102と画像信号プロセッサ112との間に結合され得る。

【0039】

デバイスは、デバイス100の移動に関するデータ、デバイス100の周辺の環境に関するデータ、および/または他の非カメラセンサーデータを受信するためにセンサーとインターフェースするためのセンサーハブ150を含み得るか、またはそれに結合され得る。そのような非カメラセンサーは、いくつかの実施形態では、デバイス100に統合され得る。1つの例示的非カメラセンサーは、動きデータを生成するために回転、配向、および/または角速度を測定するように構成されたデバイスであるジャイロスコープである。別の例示的な非カメラセンサーは、加速度を測定するために構成されたデバイスである加速度計であり、加速度計は、測定加速度を適宜に積分することによって速度および移動距離を決定するために使用されることもあり、加速度、速度、および/または距離のうちの1つまたは複数が、生成される動きデータに含まれてよい。いくつかの態様では、電子画像安定化システム(EIS)の中のジャイロスコープが、センサーハブに結合されるか、または画像信号プロセッサ112に直接結合されてよい。別の例では、非カメラセンサーは、全地球測位システム(GPS)受信機であってよい。

【0040】

画像信号プロセッサ112は、画像フレームを形成するのに使われるような画像データを受信し得る。一実施形態では、ローカルバス接続が、画像信号プロセッサ112を、第1および第2のカメラの、それぞれ画像センサー101および102に結合する。別の実施形態では、ワイヤーインターフェースが、画像信号プロセッサ112を外部の画像センサーに結合する。さらに別の実施形態では、ワイヤレスインターフェースが、画像信号プロセッサ112を画像センサー101、102に結合する。

【0041】

第1のカメラは、第1の画像センサー101および対応する第1のレンズ131を含み得る。第2のカメラは、第2の画像センサー102および対応する第2のレンズ132を含み得る。レンズ131および132の各々は、それぞれ、関連するオートフォーカス(AF)システム133および134を有してもよく、AFシステム133および134は、画像センサー101および102からの一定のシーン深度において特定の焦点面に焦点を合わせるためにレンズ131および132を調節する。AFシステム133および134は、深度センサー140によって支えられ得る。AFシステム133および134の焦点深度は、画像シーンに関する深度情報を、ISP112など、デバイス100の他の構成要素に、画像センサー101および102によってキャプチャされた画像フレームに関連付けられたメタデータを通して提供し得る。デバイス100は、デバイス100内にまたはデバイス100から離れて配置された画像センサーの組合せからの画像データに対して画像処理を実施し得る。

【0042】

第1の画像センサー101および第2の画像センサー102は、1つまたは複数の画像フレームをキャプチャするように構成される。レンズ131および132は、それぞれ、画像センサー101および102に、受光するための1つもしくは複数の開口、露光窓の外側にあるときに遮光するための1つもしくは複数のシャッター、特定の周波数レンジの外側の光をフィルタリングするための1つもしくは複数のカラーフィルタアレイ(CFA)、アナログ測定値をデジタル情報に変換するための1つもしくは複数のアナログフロントエンド、および/または撮像のための他の適切な構成要素を通して光を集める。第1のレンズ131および第2のレンズ132は、シーンの異なる表現をキャプチャするための異なる視野を有し得る。たとえば、第1のレンズ131は超広角(UW)レンズであってよく、第2のレンズ132は広角(W)レンズであってよい。複数の画像センサーは、超広角(高視野(FOV))、広角、望遠、および超望遠(低FOV)センサーの組合せを含み得る。すなわち、各画像センサーは、異なるが重複する視野を取得するように、ハードウェア構成および/またはソフトウェア設定を通して構成され得る。一構成では、画像センサーは、異なる視野をもたらす異なる倍率を有する異なるレンズで構成される。センサーは、UWセンサーがWセンサーよりも大きいFOVを有するように構成されてもよく、WセンサーはTセンサーよりも大きいFOVを有し、TセンサーはUTセンサーよりも大きいFOVを有する。たとえば、広角FOV用に構成されたセンサーは、64～84度の範囲の視野をキャプチャすることができ、超広角FOV用に構成されたセンサーは、100～140度の範囲の視野をキャプチャすることができ、望遠FOV用に構成されたセンサーは、10～30度の範囲の視野をキャプチャすることができ、超望遠FOV用に構成されたセンサーは、1～8度の範囲の視野をキャプチャすることができる。

【0043】

画像信号プロセッサ112は、画像センサー101および102によってキャプチャされた画像フレームを処理する。図1は、デバイス100を、画像信号プロセッサ112に結合された2つの画像センサー101および102を含むものとして示すが、任意の数(たとえば、1つ、2つ、3つ、4つ、5つ、6つ、など)の画像センサーが画像信号プロセッサ112に結合されてよい。いくつかの態様では、深度センサー140などの深度センサーが画像信号プロセッサ112に結合され、深度センサーからの出力が、画像センサー101および102のものと同様に処理され得る。加えて、任意の数の追加の画像センサーまたは画像信号プロセッサが、デバイス100のために存在し得る。いくつかの実施形態では、画像信号プロセッサ112は、メモリ106からの命令108などの、メモリからの命令、画像信号プロセッサ112に結合されたもしくはそれに含まれる別個のメモリに記憶された命令、またはプロセッサ104によって提供される命令を実行し得る。追加として、または代替として、画像信号プロセッサ112は、本開示で説明する1つまたは複数の動作を実施するように構成された(1つまたは複数の集積回路(IC)などの)特定のハードウェアを含み得る。たとえば、画像信号プロセッサ112は、2つ以上の画像フレームを時間フィルタリングするように特に構成された回路構成、無限インパルス応答(IIR)フィルタを実装するように特に構成された回路構成、および/または画像フレームに動き補償を適用するように特に構成された回路構成を含み得る。

【0044】

いくつかの実装形態では、メモリ106は、本開示で説明する1つまたは複数の動作の全部または一部分を実施するためのコンピュータ実行可能命令108を記憶する非一過性(non-transient)または非一時的(non-transitory)コンピュータ可読媒体を含み得る。いくつかの実装形態では、命令108は、画像またはビデオを生成するためにデバイス100によって実行されるべきカメラアプリケーション(または他の適切なアプリケーション)を含む。命令108はまた、オペレーティングシステムまたは画像もしくはビデオ生成用以外の特定のアプリケーションなどの、デバイス100によって実行される他のアプリケーションまたはプログラムを含み得る。プロセッサ104などによるカメラアプリケーションの実行は、デバイス100に、画像センサー101および102ならびに画像信号プロセッサ112を使用して画像を生成させ得る。メモリ106はまた、処理されたフレームを記憶するために画像信号プロセッサ112によってアクセスされ得るか、または処理されたフレームを取得するためにプロセッサ104によってアクセスされ得る。いくつかの実施形態では、デバイス100はメモリ106を含まない。たとえば、デバイス100は、画像信号プロセッサ112を含む回路であってよく、メモリは、デバイス100の外部にあってよい。デバイス100は、外部メモリに結合され、表示または長期記憶のために出力フレームを書き込むためにメモリにアクセスするように構成され得る。いくつかの実施形態では、デバイス100は、画像信号プロセッサ112、プロセッサ104、センサーハブ150、メモリ106、および入力/出力構成要素116を単一のパッケージに組み込むシステムオンチップ(SoC)である。

【0045】

いくつかの実施形態では、画像信号プロセッサ112またはプロセッサ104のうちの少なくとも1つは、時間フィルタリングの合成動作を含む、本明細書で説明する様々な動作を実施するための命令を実行する。たとえば、命令の実行は、画像フレームまたは画像フレームのシーケンスをキャプチャするのを開始または終了するように画像信号プロセッサ112に命令することができ、ここでキャプチャは、本明細書における実施形態において記載される時間フィルタリングを含む。いくつかの実施形態では、プロセッサ104は、メモリ106内に記憶された命令108などの、1つまたは複数のソフトウェアプログラムのスクリプトまたは命令を実行することが可能な1つまたは複数の汎用プロセッサを含み得る。たとえば、プロセッサ104は、メモリ106に記憶されたカメラアプリケーション(または画像もしくはビデオを生成するための他の適切なアプリケーション)を実行するように構成された1つまたは複数のアプリケーションプロセッサを含み得る。カメラアプリケーションを実行する際に、プロセッサ104は、画像センサー101または102に関する1つまたは複数の動作を実施するように画像信号プロセッサ112に命令するように構成され得る。たとえば、カメラアプリケーションはキャプチャコマンドを受信する場合があり、このコマンドが受信されると、画像フレームのシーケンスを含むビデオがキャプチャされ、処理される。時間フィルタリングが、シーケンス中の1つまたは複数の画像フレームに適用されてよい。カメラアプリケーションにより、時間フィルタリングを有効にし、無効にすること、ならびに/あるは時間フィルタリングにおける合成用の画像フレームの数、時間フィルタリングの適用を決定するためのパラメータ、および/または画像フレームごとに実施するべきランダムなリセットの絶対もしくは相対数など、時間フィルタリングのパラメータを構成することができる。カメラアプリケーションの外部でのプロセッサ104による命令108の実行はまた、デバイス100に、任意の数の機能または動作を実施させ得る。いくつかの実施形態では、プロセッサ104は、デバイス100に、本明細書で説明する動作などのいくつかの機能または動作を実施させるためのソフトウェアを実行するための能力に加えて、ICまたは他のハードウェアを含み得る。いくつかの他の実施形態では、デバイス100は、説明する機能性のすべてが画像信号プロセッサ112において構成されるときなどに、プロセッサ104を含まない。

【0046】

いくつかの実施形態では、ディスプレイ114は、画像センサー101および102によってキャプチャされている画像フレームのプレビューなど、ユーザ対話および/またはユーザへのアイテムの提示を可能にする1つまたは複数の適切なディスプレイまたはスクリーンを含み得る。いくつかの実施形態では、ディスプレイ114はタッチセンシティブディスプレイである。I/O構成要素116は、ユーザから(コマンドなどの)入力を受信するための、およびディスプレイ114を通して出力をユーザに提供するための任意の適切な機構、インターフェース、またはデバイスであってよく、またはそれらを含んでよい。たとえば、I/O構成要素116は、グラフィカルユーザインターフェース(GUI)、キーボード、マウス、マイクロフォン、スピーカ、スクイーズ可能なベゼル、1つまたは複数のボタン(電源ボタンなど)、スライダ、スイッチなどを含み得る(ただし、これらに限定されない)。

【0047】

プロセッサ104を介して互いに結合されるように示されているが、構成要素(プロセッサ104、メモリ106、画像信号プロセッサ112、ディスプレイ114、およびI/O構成要素116など)は、簡単にするために図示されていない1つまたは複数のローカルバスなどを介して、他の様々な構成において互いに結合されてよい。画像信号プロセッサ112は、プロセッサ104とは別個のものとして示されているが、画像信号プロセッサ112は、アプリケーションプロセッサユニット(APU)である、システムオンチップ(SoC)に含まれる、またはそうでなければプロセッサ104に含まれるプロセッサ104のコアであり得る。デバイス100は、本開示の態様を実施するために本明細書の例において参照されるが、いくつかのデバイス構成要素は、本開示の態様を不明瞭にすることを防ぐために、図1に示されない場合がある。加えて、他の構成要素、多数の構成要素、または構成要素の組合せが、本開示の態様を実施するための適切なデバイスに含まれ得る。したがって、本開示は、デバイス100を含む特定のデバイスまたは構成要素の構成に限定されない。

【0048】

時間フィルタリングが有効にされているとき、出力画像フレーム中でアーティファクトを作成する条件が存在し得る。たとえば、動いたり、シーンから消えたりするオブジェクトは、時間フィルタリングされた画像が、そのオブジェクトを含んでいた前の画像フレームに基づくせいで、時間フィルタリングされた出力の中に長時間留まる場合がある。ディスプレイ中のこれらの残留オブジェクトは、オブジェクトがシーンから出たのにもかかわらず、画像にオブジェクトが現れることにより、「ゴースト」と呼ばれることがある。ゴーストは、低コントラスト(たとえば、SNRが1未満の)画像を時間フィルタリングするときなど、他の状況下でも現れる場合がある。ゴースト発生の影響は、より積極的な時間フィルタリングが適用されるときに、より顕著であり得る。これらのアーティファクトのどれもが、シーン表現の正確さを低減させ、ユーザエクスペリエンスを低下させる、出力画像フレームについてのシーン完全性問題をもたらす。ここで述べた欠点は、代表的なものにすぎず、本発明者らが既存のデバイスに関して特定し、改善しようと努めてきた問題を強調するために含まれる。以下で説明するデバイスの態様は、欠点の一部または全部、ならびに当技術分野で知られている他のものに対処し得る。本明細書で説明する改善されたデバイスの態様は、上記で説明したもの以外の利益を提示し、上記で説明したもの以外の用途において使用されることがある。

【0049】

デバイス100の一態様では、画像センサー101および102のうちの1つまたは複数からキャプチャされた画像フレームが、たとえば画像フレームのいくつかのピクセル向けのリセットを伴う時間フィルタリングで修正され得る。たとえば、第1の画像センサーからの第1の画像フレームが、第1の画像フレームの部分を、第1のセンサーまたは異なる第2のセンサーから受信された第2の画像フレームの部分と合成することによって時間フィルタリングされ得る。ピクセルのリセットを伴う時間フィルタリングについては、図2、図3、図4、図5、図6、図7、および/または図8の態様を参照して、異なる実施形態において記載する。

【0050】

図2は、本開示のいくつかの実施形態において記載する、時間フィルタリングをリセットすることを用いる、画像フレームを時間フィルタリングする方法を示すフローチャートである。画像処理のための方法200は、ブロック202において、第1の画像フレームおよび第2の画像フレームを受信することを含む。いくつかの実施形態では、第1および第2の画像フレームは、メモリから受信され得る。いくつかの実施形態では、第1の画像フレームは画像センサーから受信されてよく、第2の画像フレームはメモリから受信されてよい。いくつかの実施形態では、第1および第2の画像フレームは、同じまたは異なる画像センサーから受信されてよい。いくつかの実施形態では、第1の画像フレームは、メモリまたは画像センサーから受信された画像フレームであり、第2の画像フレームは、ブロック204の時間フィルタリングの出力である。第1および第2の画像フレームのみが、ブロック202において受信されるように記述されているが、追加の画像フレームが、202において受信され、ブロック204の時間フィルタリングにおいて使われてよい。

【0051】

ブロック204において、方法200は、時間フィルタリングを適用して第1の画像フレームと第2の画像フレームを合成することによって、第1の画像フレームおよび第2の画像フレームに基づいて、第3の画像フレーム(「時間フィルタリングされた」画像フレーム)を決定するステップを含む。第3の画像フレームは、写真としての記憶のためにメモリに出力されてよく、ビデオとしての記憶のための画像フレームのシーケンス中での使用のためにメモリに出力されてよく、ディスプレイデバイスに表示されてよく、リモートビューアに送信されてよく、リモート記憶デバイスに送信されてよく、かつ/またはリアルタイムでリモートディスプレイに送信されてよい。

【0052】

ブロック204の時間フィルタリングのリセットは、第3の画像フレームのピクセルに対して異なる処理を実施することを含み得る。第3の画像フレームのいくつかのピクセル(たとえば、「第3の複数のピクセル」)は、ブロック202の、第1の画像フレームおよび第2の画像フレームを使う時間フィルタリングの結果に基づいて決定され得る。これらのピクセルは、第3の画像フレーム中の全ピクセルのすべてまたはサブセット(たとえば、「第4の複数のピクセル」)であってよい。時間フィルタリングを使って決定されるべきである第3の複数のピクセルのいくつかは、たとえば、ゴースト発生を低減することによって、画像品質を向上するためにリセットされてよい。これにより、決定された第3の複数のピクセルが、第1の画像フレームの対応するピクセルを第2の画像フレームと合成することによって決定された第1の複数のピクセルに、および第2の複数のピクセルがリセットされたことに基づいて第2の画像フレームの対応するピクセルを参照せずに第1の画像フレームの対応するピクセルに基づいて決定された第2の複数のピクセルに分割される。第1および第2の画像フレームの対応するピクセルは、画像フレームに相対した同じ位置におけるピクセルまたはシーンに相対した同じ位置におけるピクセルを指し得る。第2の複数のピクセルのリセットは、第2の画像フレームなど、前の画像フレームから第3の画像フレームへの寄与をなくすか、または低減し得る。そうではなく、第2の複数のピクセルは、第1の(または「現在の」)画像フレームのみに基づき得る。第3の画像フレームのいくつかのピクセルのこのリセットは、第3の画像フレームにおけるゴーストおよび他のアーティファクトの存在を低減することができ、そうすることによって、シーン完全性を向上する。1つまたは複数の基準が、第1の複数のピクセルとして処理されるべきピクセルの選択を決定するのに、および第2の複数のピクセルとして処理されるべきピクセルの選択を決定するのに使われ得る。これらの1つまたは複数の基準は、第2の複数のピクセルが確率的に選択されるように、時間フィルタリングがリセットされる第2の複数のピクセルにいくつかのピクセルが含められるために選択される確率に影響し得る。たとえば、各時間フィルタリングされた画像フレーム中で、少なくとも一定の割合または一定の数のピクセルがリセットされるように、ピクセルがランダムに決定され得る。

【0053】

いくつかの実施形態における時間フィルタリング中の、いくつかのピクセルのリセットが、図3に示されている。図3は、本開示のいくつかの実施形態による、いくつかのピクセルの中でフィルタをリセットすることを伴う、無限インパルス応答(IIR)フィルタを使う時間フィルタリングの実装形態を示すブロック図である。画像センサー101が、時間フィルタ310に入力される現在の画像フレーム302を生成し得る。時間フィルタ310は、前の画像フレーム304も受信する。前の画像フレーム304は、無限インパルス応答(IIR)フィルタ用の、時間フィルタ310の出力からのフィードバックであってよい。前の画像フレーム304は代替として、時間フィルタ310の他の実施形態では、現在の画像フレーム302のキャプチャに先行して、画像センサー101または別の画像センサーによってキャプチャされた画像フレームであってよい。時間フィルタ310は、現在の画像フレーム302のいくつかのピクセルを、前の画像フレーム304の対応するピクセルと合成することによって現在の画像フレーム302のピクセルを修正することによって、出力画像フレーム306を決定し得る。

【0054】

いくつかのピクセル312が、出力画像フレーム306への画像フレーム304の寄与を低減するか、またはなくすことによって、時間フィルタ310における画像フレーム302および304の合成においてリセットされ得る。たとえば、ピクセル312が、前の画像フレーム304の対応するピクセルに基づかずに画像フレーム302の対応するピクセルに基づくように、ピクセル312は、ランダムに選択され、リセットされ得る。出力画像フレーム306内のピクセル312のロケーションは、ある出力画像フレームから別の出力画像フレームにリセットピクセルが変化するように、出力画像フレーム内で、およびそれらの間でランダム化され得る。出力画像フレーム内でのランダムピクセル312のロケーションは、ピクセルの特性、ピクセルの周辺の領域、および/または全体としての画像フレームに基づいて重み付けされてよい。同様に、出力画像フレーム内のランダムピクセル312の数は、ピクセルの特性、ピクセルの領域、全体としての画像フレーム、または画像キャプチャデバイスの他のセンサーによって測定される他のパラメータに基づいて、あるフレームから次のフレームに対して変わり得る。いくつかの実施形態では、(たとえば、画像フレームのキャプチャ中に収集された)画像フレームに対応するジャイロスコープおよび/または加速度計データが、静止カメラ(たとえば、三脚に登載されたカメラ)を決定するのに使われてよく、決定に基づいて、リセットの確率を低下させ、または各フレーム中のリセットピクセルの量を低下させる場合がある。

【0055】

合成およびリセットを伴う時間フィルタ処理について、図4に関してより詳しく記載する。図4は、本開示のいくつかの実施形態による、無限インパルス応答(IIR)フィルタ用のリセット論理の実装形態を示すブロック図である。時間フィルタ310は、現在の画像フレーム302および前の画像フレーム304を受信する。時間フィルタ310は、現在の画像フレーム302をピクセルごとに修正し得る。合成器406が、現在の画像フレーム302の1つのピクセルを、前の画像フレーム304の対応するピクセルと合成し得る。合成は、たとえば、現在の画像フレーム302および前の画像フレーム304の対応するピクセルの強度値を平均することを含み得る。合成器406は、重みブロック404によって与えられた重み値を使って、対応するピクセルの加重平均を実施し得る。重みブロック404は、現在の画像フレーム302から前の画像フレーム304への、シーンの空間的動きから決定された動き因子に基づいて、前の画像フレーム304の中の対応するピクセルの重み付けを決定し得る。リセット論理402は、リセットのためのいくつかのピクセルを決定し、重みブロック404に、ピクセルをリセットするためのゼロの重みを合成器406へ出力させてよく、これにより、そのピクセルについての、出力画像フレーム306に対する、前の画像フレーム304の寄与が取り消される。ピクセルごとの動作について記載しているが、動作は、代替として、画像フレーム中のピクセルのグループ、画像フレームの領域、または画像フレーム中のオブジェクトに対して実施されてよい。

【0056】

一実施形態では、リセット論理402は、図5に示す方法に従って時間フィルタ310が動作するように、リセットのためのピクセルをランダムに選択し得る。図5は、本開示のいくつかの実施形態において記載する、時間フィルタリングのランダムなリセットを用いる、画像フレームを時間フィルタリングする方法を示すフローチャートである。方法500は、ブロック502において始まり、第1の画像フレーム(たとえば、現在の画像フレーム302)および第2の画像フレーム(たとえば、前の画像フレーム304)を受信する。ブロック504において、方法500は、第1の画像フレームおよび第2の画像フレームを時間フィルタリングすることによって第3の画像フレームを決定するステップを含み、第3の画像フレームのいくつかのピクセルのための時間フィルタリングがランダムにリセットされる。ブロック504において決定された第3の画像フレームは、ユーザに対して表示され、かつ/または写真もしくはビデオシーケンス中のフレームとして記憶されてよい。

【0057】

別の実施形態では、リセット論理402は、いくつかのピクセルを、他のピクセルよりもリセットされる見込みを高めさせるリセット重み付け値に基づいて、リセットするべき特定のピクセルを決定し得る。リセット重み付け値は、画像フレーム中のピクセルの特性、画像フレーム中のピクセルの周辺のエリア、または他の特性に基づいて決定されてよい。いくつかのピクセルが、これらの特性に基づいて、たとえば、画像フレームの対応する部分が静的である、すなわち、時間が経っても比較的変わらないか、それとも動的である、すなわち、時間とともに高速で変わっているかに基づいて、他のピクセルよりもリセットすることが有益であるように決定されてよい。いくつかの実施形態では、特定のピクセルについてのランダム確率は、ピクセルがリセットされるのを防止するためにゼロまで低減されるか、またはピクセルリセットを強制するために1まで増大され得る。図6は、本開示のいくつかの実施形態による、ピクセルの特性に基づいて決定されたリセットを用いて画像フレームを時間フィルタリングする方法を示すフローチャートである。方法600は、ブロック602において始まり、第1の画像フレームおよび第2の画像フレームを受信する。ブロック604において、第1の画像フレームおよび第2の画像フレームを時間フィルタリングすることによって、第3の画像フレームが決定され、第3の画像フレームのいくつかのピクセルのための時間フィルタリングが、ピクセルの特性に基づいてリセットされる。

【0058】

リセット重み付け値を調節するための、ピクセルの1つの例示的特性は、そのピクセルがオブジェクトに関連付けられているかどうかである。たとえばコンピュータビジョン(CV)プロセッサの中で実行するオブジェクト検出アルゴリズムを通してのオブジェクト検出が、顔、木、道路、動物、植物、地面などのようなオブジェクトを識別するために、第1または第2の画像フレームに対して実施され得る。ピクセルは、オブジェクトと、一緒に調節される、オブジェクトに対応するピクセルについてのリセット重み付け値とに関連付けられ得る。たとえば、リセット重み付け値は、画像フレームのその領域に対応するピクセル中の静的オブジェクト(たとえば、木)の識別に基づいて、リセットを防止するためにゼロであってよい。代替または追加として、ピクセルについての動きベクトルは、画像フレーム中のオブジェクトを識別するように相関され得る。同様の動きベクトルをもつピクセルについてのリセット重み付け値が一緒に調節されるように、同様の動きベクトルをもつ近隣ピクセルが関連付けられてよい。

【0059】

リセット重み付け値を調節するためのピクセルのさらなる例示的特性は、ピクセルに関連付けられた動き因子である。動き因子は、空間差分および/または時間差分を示し得る。たとえば、高速で動いているオブジェクトは、オブジェクトが、第1の画像フレームと第2の画像フレームとの間の大きく異なるロケーションにあるので、高い時間差分を有し得る。高速で動いているオブジェクトは、ゴースト発生または他のアーティファクトを作成する見込みがより高く、高い時間的動きに関連付けられたピクセルについてのリセット重み付け値は、リセット重み付け値を増大することによって、より頻繁に、ランダムにリセットされ得る。いくつかの実施形態では、ピクセルについての動き因子は、ピクセルについての動きベクトルに基づいて決定されてよい。動きベクトルの規模は、ピクセルについての動き因子として使われ、ピクセルに対応するリセット重み付け値は、動きベクトル規模に基づいて調節されてよい。

【0060】

ブロック604の決定のためのピクセルの別の例示的特性は、ピクセルについての時間フィルタリング決定に関連付けられた信頼性レベルである。特定のピクセルに時間フィルタリングを適用するかどうかに関する決定は、1つまたは複数の基準をもつ規則に基づいてよい。時間フィルタリング決定は、ピクセルが画像の静的領域それとも動的領域に対応するかという決定に基づき得る。静的領域は、画像フレームの間の時間差分が、画像フレーム中の予想時間ノイズに対応し得る一定の閾値を下回るかどうかに基づいて決定されてよい。ピクセル向けの時間フィルタリング決定に関する信頼性レベルが決定され、その信頼性レベルは、部分的に、時間フィルタリング処理中にピクセルをリセットするかどうかを決定するのに使われてよい。信頼性レベルは、ピクセルが静的もしくは動的であるという決定が正しい見込み、またはより一般的には、時間フィルタを適用するか、もしくは適用しないという決定が正しい見込みを反映する。信頼性レベルは、ピクセルの領域における信号対ノイズ比(SNR)および局所コントラストに基づいて決定され得る。たとえば、近隣ピクセルが非常に異なることを示す高い局所コントラストは、画像フレーム中のノイズである見込みが低い、強いテクスチャを示す。高い空間差分と低い時間差分の組合せをもつピクセルについては、高い信頼性レベルがセットされてよい。低い空間差分および高い時間差分をもつピクセルについては、低い信頼性レベルがセットされてよい。

【0061】

時間フィルタリング決定に関する信頼性レベルが高いピクセルに対して、ピクセルリセットのレートは低減されるか、またはリセットが実施されなくてよい。いくつかの実施形態では、ピクセルリセットのレートは、信頼性レベルに比例して調節することができる。たとえば、領域中のピクセルについての信頼性レベルが高閾値を上回る領域においては、ピクセルリセットが実施されなくてよく、領域中のピクセルについての信頼性レベルがミドル閾値を上回る領域においては、低レートのリセット(たとえば、20個のピクセルで1度)が実施されてよく、信頼性レベルがミドル閾値を下回る領域においては、通常レートのリセット(たとえば、10個のピクセルで1度)が実施されてよい。時間フィルタリング決定の信頼性レベルは、1つまたは複数の基準に基づき得る。たとえば、高い信頼性レベルは、画像の領域中で、十分に高い信号対ノイズ比(SNR)を有することに関連付けられ得る。別の例では、高い信頼性レベルは、画像の領域中で強いテクスチャの存在を検出すること、および同時に、画像フレーム中のピクセルの間の低い時間差分が時間フィルタに入力されることに関連付けられる。信頼性レベルを決定するための他の因子は、輝度、空間差分、および/または時間差分を含む。

【0062】

ピクセルをリセットすることは、リセット重み付け値に基づいてよく、ランダムにリセットされるどの特定のピクセルの見込みも、特定のピクセルについての重み付けに基づく。リセット重み付けマップが、時間フィルタによって補正された各画像フレーム向けに決定され、リセットのためのランダムピクセルの決定中に、重み付けマップが適用されてよい。そのようなリセット重み付けマップは、各ピクセルに対応する、ゼロから1の範囲の値の配列を含んでよく、ゼロは、対応するピクセルについてリセットの可能性がないことを表し、1は、対応するピクセルについての保証されたリセットを表す。リセット重み付けマップは、各ピクセルが時間フィルタによってランダムにリセットされる見込みが等しいように、全ピクセルについて、0.50という値などの等しい値で初期化されてよい。リセット重み付けマップは、画像フレームの各ピクセル向けに実行されるランダム関数が、画像フレーム中で所望の平均的数のピクセルをリセットさせるように、他のパラメータと組み合わせて使われてよい。例示的リセット重み付けマップを、図7に示す。

【0063】

図7は、本開示のいくつかの実施形態による、時間フィルタのランダムなリセットを行うための、画像フレームのピクセルについての重みを示すブロック図である。テーブル700は、時間フィルタリングの適用中にリセットされる、入力画像フレーム内のいくつかのピクセルの確率を修正するためのリセット重み付け値を含む。いくつかの実施形態では、テーブル700が入力画像の解像度と次元が同じであるように、テーブル700は、値と画像フレームのピクセルとの間の1:1相関を有し得る。ピクセルがリセットされると、そのピクセルに対応する、テーブル700の値は、ピクセルがあまりに頻繁にリセットされるのを防止するために低減されてよい。いくつかの実施形態では、テーブル700が入力画像の解像度よりも小さくなるように、テーブル700は、値と画像フレームのピクセルとの間のN:1相関を有し得る。ゼロ値をもつ領域702は、検出されたオブジェクトに関連付けられたピクセル向けに時間フィルタリングリセットが実施されないように、本質的に静的である、検出されたオブジェクトに対応し得る。

【0064】

図8は、本開示のいくつかの実施形態による、信頼性レベルに基づいて、画像フレームのピクセルについてのリセット重み付け値を決定する方法を示すフローチャートである。方法800はブロック802において始まり、時間フィルタリング(TF)をピクセルに適用するかどうかを決定する。信頼性レベルは、TF決定に関連付けられ得る。ブロック804において、TF決定についての信頼性レベルが閾値よりも大きい場合、方法800は続いて、ブロック808において、TF決定に対応するピクセルをリセットする低確率をセットする。ブロック804において、TF決定についての信頼性レベルが閾値未満の場合、方法800は続いて、ブロック806において、TF決定に対応するピクセルをリセットする高確率をセットする。たとえば、ブロック806は、いくつかのピクセルを、0.7のリセット確率(第1の確率値)を有するようにセットしてよく、ブロック808は、いくつかのピクセルを、0.3のリセット確率(第2の確率値)を有するようにセットしてよい。いくつかの実施形態では、ピクセルについての確率値は、ピクセルがN個の前のフレームのうちの1つにおいてリセットされたかどうか、またはM個の前のフレームにおいてピクセルが何度リセットされたかなど、他の因子に基づいて修正されてよい。追加または代替として、確率値は、現在または前の画像フレームについてのリセット重み付けマップに基づいて、将来の(たとえば、次の)画像フレームについてのリセット重み付けマップを形成することによって、時間とともに増大または低下されてよい。方法800は、図7に示すような、リセット重み付けマップを生成するために画像フレームのピクセルに適用され、図6の時間フィルタリング方法中に適用されてよい。

【0065】

図6の時間フィルタリングにおけるピクセルリセットの決定は、他の特性に基づいてもよい。図9は、本開示のいくつかの実施形態による、時間差分メトリックに基づいて、画像フレームのピクセル用に時間フィルタリングをリセットするための確率を決定する方法を示すグラフである。グラフ900は、x軸上の輝度値に対する、y軸上の時間差分メトリック値を示す。時間差分メトリックは、ピクセルおよび/もしくはある画像フレームから次の画像フレームまでの、そのピクセルの周辺の領域についての値、または時間に伴う、ピクセルの値のダイナミシティ、もしくは変化のレートを反映する別の値における差分を反映する。より動的なピクセルが、アーティファクトを作成する見込みがより高く、時間フィルタリングの品質を向上するために、より高いリセット重み付け値を有するなどして、より頻繁にリセットされ得る。ピクセルについての時間差分メトリックおよび輝度値は、第1の閾値902を上回り、第1の閾値902を下回るが第2の閾値904を上回り、または第2の閾値904を下回る場合がある。ピクセルの特性と閾値902および904の関係は、図7に示すようなリセット重み付けマップを調節するのに使われ得る。グラフ900のx-y空間における第1の閾値902を上回る特性値を有するピクセルは、リセット重み付け値を、おそらく1に増大するなどして、頻繁にリセットされるようにセットされてよい。第2の閾値904を下回る特性値を有するピクセルは、リセット重み付け値をゼロにセットするなどして、決してリセットしないようにセットされてよい。閾値902および904の間の特性値を有するピクセルは、閾値902により近いピクセルが、現在の画像フレームからの、前の画像フレームよりも大きい寄与を有するように、時間フィルタにおいて画像フレームの合成に適用される重み付けを有し得る。

【0066】

1つまたは複数の態様では、以下でまたは本明細書の他の箇所で説明する1つもしくは複数の他のプロセスもしくはデバイスに関して説明する、任意の単一の態様または態様の任意の組合せなど、画像処理を強化するための技法。1つまたは複数の態様において、画像処理は、第1の画像フレーム、および第1の画像フレームに時間的に先行する第2の画像フレームを受信するステップを含む方法を実施することを含み得る。方法は、第1の画像フレームおよび第2の画像フレームに基づいて第3の画像フレームを決定するステップも含み得る。方法は、第3の画像フレーム内の第3の複数のピクセル内の第1の複数のピクセルおよび第2の複数のピクセルに時間フィルタリングを適用すると決定するステップをさらに含み得る。方法は、第1の画像フレームの対応するピクセルを第2の画像フレームと合成することによって、時間フィルタリングを使って第1の複数のピクセルを決定するステップも含み得る。方法は、第2の画像フレームの対応するピクセルを参照せずに、第1の画像フレームの対応するピクセルに基づいて、第2の複数のピクセルを決定するステップをさらに含み得る。いくつかの実装形態では、第2の複数のピクセルは、第3の複数のピクセルのうちのランダムに選択されたピクセルである。さらに、方法は、ユーザ機器(UE)などのワイヤレスデバイスを含む装置によって実施され得る。いくつかの実装形態では、装置は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含み得る。プロセッサは、装置に関して本明細書で説明する動作を実施するように構成され得る。いくつかの他の実装形態では、方法は、非一時的コンピュータ可読媒体の中に、そこに記録されたプログラムコードで埋め込まれてよく、プログラムコードは、装置に関して本明細書で説明する動作をコンピュータに実施させるためにコンピュータによって実行可能であり得る。いくつかの実装形態では、方法は、本明細書で説明する動作を実行するように構成された1つまたは複数の手段によって実施され得る。いくつかの実装形態では、ワイヤレス通信の方法は、装置に関して本明細書で説明する1つまたは複数の動作を含み得る。

【0067】

第2の態様では、第1の態様との組合せで、第3の画像フレームを決定するために第3の画像フレームに対応するリセット重み付けマップを決定するステップであって、第2の複数のピクセルは、リセット重み付けマップに基づいて選択された、第3の画像フレーム内のピクセルである。

【0068】

第3の態様では、第1の態様または第2の態様のうちの1つまたは複数との組合せで、第3の画像フレームを決定するステップは、時間フィルタリングを、第1の複数のピクセルに、および第2の複数のピクセルに適用すると決定するステップ、ならびに/または時間フィルタリングを適用すると決定したことに関連付けられた信頼性レベルを決定するステップを含んでよく、第2の複数のピクセルは、信頼性レベルに基づいて、時間フィルタリングをリセットするためにランダムに選択される。

【0069】

第4の態様では、第1から第3の態様のうちの1つまたは複数との組合せで、方法は、第2の画像フレームから第1の画像フレームまでの、第1の画像フレーム中のピクセルの空間的動きに対応する動き因子を決定するステップを含んでよく、リセット重み付けマップは動き因子に基づく。

【0070】

第5の態様では、第1から第4の態様のうちの1つまたは複数との組合せで、動き因子を決定するステップは、第2の画像フレームと第1の画像フレームとの間の動きベクトルを決定するステップを含み、リセット重み付けマップは、動きベクトルの規模に基づく。

【0071】

第6の態様では、第1から第5の態様のうちの1つまたは複数との組合せで、リセット重み付けマップを決定するステップは、第1の画像フレーム中のオブジェクトの第1のロケーションを決定するステップを含み、リセット重み付けマップは、オブジェクトの第1のロケーションに基づく。

【0072】

第7の態様では、第1から第6の態様のうちの1つまたは複数との組合せで、第2の複数のピクセルは、第3の画像フレーム内のランダムに選択されたピクセルである。

【0073】

第8の態様では、第1から第7の態様のうちの1つまたは複数との組合せで、第2の画像フレームは、フィルタがIIRフィルタであるときなど、第1の画像フレームよりも各々が時間的に早い第4の画像フレームと第5の画像フレームの合成に基づく、時間フィルタリングされた画像フレームを含む。

【0074】

第9の態様では、第1から第8の態様のうちの1つまたは複数との組合せで、方法は、第3の画像フレームを決定する前に、第2の画像フレームに動き補償を適用するステップを含む。

【0075】

1つまたは複数の態様において、プロセッサと、プロセッサに結合され、命令を記憶するメモリとを含むデバイスをサポートするための技法であって、命令は、プロセッサによって実行されると、デバイスに、以下で、または本明細書における他の箇所で記載する1つまたは複数の他のプロセスまたはデバイスに関して説明する、任意の単一の態様または態様の任意の組合せなどの追加態様を含み得る動作を実施させる。第10の態様では、画像処理をサポートすることは、装置が、第1の画像フレーム、および第1の画像フレームに時間的に先行する第2の画像フレームを受信するために構成されることを含み得る。装置は、第1の画像フレームおよび第2の画像フレームに基づいて第3の画像フレームを決定するためにさらに構成され得る。装置は、第3の画像フレーム内の第3の複数のピクセル内の第1の複数のピクセルおよび第2の複数のピクセルに時間フィルタリングを適用すると決定すること、第1の画像フレームの対応するピクセルを第2の画像フレームと合成することによって、時間フィルタリングを使って第1の複数のピクセルを決定すること、ならびに/または第2の画像フレームの対応するピクセルを参照せずに、第1の画像フレームの対応するピクセルに基づいて、第2の複数のピクセルを決定することのためにさらに構成され得る。いくつかの実装形態では、第2の複数のピクセルは、第3の複数のピクセルのうちのランダムに選択されたピクセルである。加えて、装置は、以下で説明するように、1つもしくは複数の態様を実施し得るか、または1つもしくは複数の態様に従って動作し得る。いくつかの実装形態では、装置は、ユーザ機器(UE)もしくは基地局(BS)などのワイヤレスデバイス、またはクラウドベースのサーバなどのインフラストラクチャ構成要素を含む。いくつかの実装形態では、装置は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含み得る。プロセッサは、装置に関して本明細書で説明する動作を実施するように構成され得る。いくつかの他の実装形態では、装置は、プログラムコードを記録した非一時的コンピュータ可読媒体を含み得、プログラムコードは、装置に関して本明細書で説明する動作をコンピュータに実施させるためにコンピュータによって実行可能であり得る。いくつかの実装形態では、装置は、本明細書で説明する動作を実施するように構成された1つまたは複数の手段を含み得る。

【0076】

第11の態様では、第10の態様との組合せで、装置は、第3の画像フレームを決定するために第3の画像フレームに対応するリセット重み付けマップを決定するための命令などで構成され、第2の複数のピクセルは、リセット重み付けマップに基づいて選択された、第3の画像フレーム内のピクセルである。

【0077】

第12の態様では、第10から第11の態様のうちの1つまたは複数との組合せで、第3の画像フレームを決定することは、時間フィルタリングを、第1の複数のピクセルに、および第2の複数のピクセルに適用すると決定すること、ならびに/または時間フィルタリングを適用すると決定したことに関連付けられた信頼性レベルを決定することをさらに含み、第2の複数のピクセルは、信頼性レベルに基づいて、時間フィルタリングをリセットするためにランダムに選択される。

【0078】

第13の態様では、第10から第12の態様のうちの1つまたは複数との組合せで、装置は、第2の画像フレームから第1の画像フレームまでの、第1の画像フレーム中のピクセルの空間的動きに対応する動き因子を決定するための命令などで構成され、リセット重み付けマップは動き因子に基づく。

【0079】

第14の態様では、第10から第13の態様のうちの1つまたは複数との組合せで、動き因子を決定することは、第2の画像フレームと第1の画像フレームとの間の動きベクトルを決定することを含み、リセット重み付けマップは、動きベクトルの規模に基づく。

【0080】

第15の態様では、第10から第14の態様のうちの1つまたは複数との組合せで、リセット重み付けマップを決定することは、第1の画像フレーム中のオブジェクトの第1のロケーションを決定することを含み、リセット重み付けマップは、オブジェクトの第1のロケーションに基づく。

【0081】

第16の態様では、第10から第15の態様のうちの1つまたは複数との組合せで、第2の複数のピクセルは、第3の画像フレーム内のランダムに選択されたピクセルである。

【0082】

1つまたは複数の態様では、デバイスのプロセッサによって実行されると、デバイスに動作を実施させる命令を記憶する非一時的コンピュータ可読媒体をサポートするための技法は、以下で、または本明細書の他の箇所で説明する1つまたは複数の他のプロセスまたはデバイスに関して説明する、任意の単一の態様または態様の任意の組合せなどの追加態様を含み得る。第17の態様では、画像処理をサポートすることは、デバイスのプロセッサによって実行されると、デバイスに動作を実施させる命令を非一時的コンピュータ可読媒体が記憶することを含んでよく、動作は、第1の画像フレーム、および第1の画像フレームに時間的に先行する第2の画像フレームを受信すること、第1の画像フレームおよび第2の画像フレームに基づいて第3の画像フレームを決定すること、第3の画像フレーム内の第3の複数のピクセル内の第1の複数のピクセルおよび第2の複数のピクセルに時間フィルタリングを適用すると決定すること、第1の画像フレームの対応するピクセルを第2の画像フレームと合成することによって、時間フィルタリングを使って第1の複数のピクセルを決定すること、ならびに/または第2の画像フレームの対応するピクセルを参照せずに、第1の画像フレームの対応するピクセルに基づいて、第2の複数のピクセルを決定することを含む。いくつかの実装形態では、第2の複数のピクセルは、第3の複数のピクセルのうちのランダムに選択されたピクセルである。さらに、命令は装置に、以下で説明するように、1つもしくは複数の態様を実施させ、または1つもしくは複数の態様に従って動作させ得る。いくつかの実装形態では、装置は、基地局(BS)もしくはユーザ機器(UE)などのワイヤレスデバイスを含み、またはクラウドベースのサーバなどのインフラストラクチャデバイスを含む。いくつかの実装形態では、装置は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含み得る。いくつかの態様では、プロセッサは、本明細書に記載する他の画像機能を実施するように構成された回路構成をさらに含む画像信号プロセッサである。プロセッサは、装置に関して本明細書で説明する動作を実施するように構成され得る。いくつかの他の実装形態では、プログラムコードを記録した非一時的コンピュータ可読媒体またはプログラムコードは、装置に関して本明細書で説明する動作をコンピュータに実施させるためにコンピュータによって実行可能であり得る。

【0083】

第18の態様では、第17の態様との組合せで、命令は、プロセッサによって実行されると、デバイスにさらなる動作を実施させ、動作は、第3の画像フレームを決定するために、第3の画像フレームに対応するリセット重み付けマップを決定することを含み、第2の複数のピクセルは、リセット重み付けマップに基づいて選択された、第3の画像フレーム内のピクセルである。

【0084】

第19の態様では、第17から第18の態様のうちの1つまたは複数との組合せで、第3の画像フレームを決定することは、時間フィルタリングを、第1の複数のピクセルに、および第2の複数のピクセルに適用すると決定すること、ならびに/または時間フィルタリングを適用すると決定したことに関連付けられた信頼性レベルを決定することをさらに含み、第2の複数のピクセルは、信頼性レベルに基づいて、時間フィルタリングをリセットするためにランダムに選択される。

【0085】

第20の態様では、第17から第19の態様のうちの1つまたは複数との組合せで、命令は、プロセッサによって実行されると、デバイスにさらなる動作を実施させ、動作は、第2の画像フレームから第1の画像フレームまでの、第1の画像フレーム中のピクセルの空間的動きに対応する動き因子を決定することを含み、リセット重み付けマップは動き因子に基づく。

【0086】

第21の態様では、第17から第20の態様のうちの1つまたは複数との組合せで、動き因子を決定することは、第2の画像フレームと第1の画像フレームとの間の動きベクトルを決定することを含み、リセット重み付けマップは、動きベクトルの規模に基づく。

【0087】

第22の態様では、第17から第21の態様のうちの1つまたは複数との組合せで、リセット重み付けマップを決定することは、第1の画像フレーム中のオブジェクトの第1のロケーションを決定することを含み、リセット重み付けマップは、オブジェクトの第1のロケーションに基づく。

【0088】

第23の態様では、第17から第22の態様のうちの1つまたは複数との組合せで、第2の複数のピクセルは、第3の画像フレーム内のランダムに選択されたピクセルである。

【0089】

第24の態様では、第17から第23の態様のうちの1つまたは複数との組合せで、命令は、プロセッサによって実行されると、デバイスにさらに動作を実施させ、動作は、第3の画像フレームを決定する前に、第1の画像フレームに動き補償を適用することを含む。

【0090】

1つまたは複数の態様において、画像キャプチャおよび画像処理をサポートするための技法は、デバイスの中で、またはデバイスによって実装されてよく、デバイスは、第1の視野を有して構成された第1の画像センサーと、第1の画像センサーに結合されたプロセッサと、プロセッサに結合されたメモリとを含む。プロセッサは、以下で、または本明細書における他の箇所で記載する1つまたは複数の他のプロセスまたはデバイスに関して説明する、任意の単一の態様または態様の任意の組合せなどの追加態様を含むステップを実施するように構成される。第25の態様では、画像キャプチャをサポートすることは、第1の時間にキャプチャされた第1の画像フレームおよび第2の時間にキャプチャされた第2の画像フレームを受信するようにデバイスが構成されることを含み得る。デバイスは、第1の画像フレーム、および第1の画像フレームに時間的に先行する第2の画像フレームを受信すること、第1の画像フレームおよび第2の画像フレームに基づいて第3の画像フレームを決定すること、第3の画像フレーム内の第3の複数のピクセル内の第1の複数のピクセルおよび第2の複数のピクセルに時間フィルタリングを適用すると決定すること、第1の画像フレームの対応するピクセルを第2の画像フレームと合成することによって、時間フィルタリングを使って第1の複数のピクセルを決定すること、ならびに/または第2の画像フレームの対応するピクセルを参照せずに、第1の画像フレームの対応するピクセルに基づいて、第2の複数のピクセルを決定することを含む処理を実施するようにさらに構成される。いくつかの実装形態では、第2の複数のピクセルは、第3の複数のピクセルのうちのランダムに選択されたピクセルである。さらに、デバイスは、以下で説明するように、1つもしくは複数の態様を実施し得るか、または1つもしくは複数の態様に従って動作し得る。いくつかの実装形態では、デバイスは、基地局(BS)もしくはユーザ機器(UE)などのワイヤレスデバイス、またはクラウドベースのサーバなどのインフラストラクチャデバイスを含む。いくつかの実装形態では、デバイスは、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含んでよく、プロセッサは、デバイスに関して本明細書に記載する動作を実施するように構成されてよい。いくつかの他の実装形態では、デバイスは、プログラムコードを記録した非一時的コンピュータ可読媒体を含んでよく、プログラムコードは、デバイスに関して本明細書で説明する動作をデバイスに実施させるためにデバイスによって実行可能であり得る。いくつかの実装形態では、デバイスは、本明細書で説明する動作を実施するように構成された1つまたは複数の手段を含み得る。

【0091】

第26の態様では、第25の態様との組合せで、プロセッサは、第1の画像フレームに対応するリセット重み付けマップを決定することを含むステップを実施するようにさらに構成され、第3の画像フレーム内のランダムに選択されたピクセルは、リセット重み付けマップに基づく。

【0092】

第27の態様では、第25から第26の態様のうちの1つまたは複数との組合せで、第3の画像フレームを決定することは、時間フィルタリングを、第1の複数のピクセルに、および第2の複数のピクセルに適用すると決定すること、ならびに/または時間フィルタリングを適用すると決定したことに関連付けられた信頼性レベルを決定することをさらに含み、第2の複数のピクセルは、信頼性レベルに基づいて、時間フィルタリングをリセットするためにランダムに選択される。

【0093】

第28の態様では、第25から第27の態様との組合せで、プロセッサは、第2の画像フレームから第1の画像フレームまでの、第1の画像フレーム中のピクセルの空間的動きに対応する動き因子を決定することを含むステップを実施するようにさらに構成され、リセット重み付けマップは動き因子に基づく。

【0094】

第29の態様では、第25から第28の態様との組合せで、デバイスは、コンピュータビジョン(CV)プロセッサをさらに備え、リセット重み付けマップを決定することは、CVプロセッサによって、第1の画像フレーム中のオブジェクトの第1のロケーションを決定することを含み、リセット重み付けマップは、オブジェクトの第1のロケーションに基づく。

【0095】

第30の態様では、第25から第29の態様との組合せで、第2の画像フレームは、第1の画像フレームよりも各々が時間的に早い第4の画像フレームと第5の画像フレームの組合せに基づく、時間フィルタリングされた画像フレームを含む。

【0096】

様々な異なる技術および技法のいずれかを使用して情報および信号が表現され得ることを当業者なら理解されよう。たとえば、上記の説明全体にわたって言及されることがあるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表されてよい。

【0097】

図1、図3、および図4に関して本明細書で説明した構成要素、機能ブロック、およびモジュールは、例の中でも、プロセッサ、電子デバイス、ハードウェアデバイス、電子構成要素、論理回路、メモリ、ソフトウェアコード、ファームウェアコード、またはそれらの任意の組合せを含む。加えて、本明細書で説明する特徴は、専用プロセッサ回路構成を介して、実行可能命令を介して、またはそれらの組合せで実装され得る。

【0098】

さらに、本明細書の開示に関して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は理解されよう。ハードウェアとソフトウェアとのこの互換性について明確に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記で概してそれらの機能性に関して説明した。そのような機能性がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の用途およびシステム全体に課される設計の制約によって決まる。当業者は、説明する機能性を特定の適用例ごとに様々な方法で実装し得るが、そのような実装決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。当業者はまた、本明細書に記載された構成要素、方法、または相互作用の順序または組合せが例にすぎないこと、ならびに本開示の様々な態様の構成要素、方法、または相互作用が本明細書に図示および記載された以外の方法で組合せまたは実施され得ることを容易に認識されよう。

【0099】

本明細書で開示する実装形態に関して説明する様々な例示的な論理、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアの互換性について、概して機能性に関して説明し、上記で説明した様々な例示的な構成要素、ブロック、モジュール、回路およびプロセスにおいて例示した。そのような機能性がハードウェアに実装されるか、ソフトウェアに実装されるかは、具体的な適用例および全体的なシステムに課された設計制約によって決まる。

【0100】

本明細書で開示する態様に関して説明する様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用シングルチッププロセッサもしくは汎用マルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別のハードウェア構成要素、または、本明細書で説明する機能を実施するように設計されたそれらの任意の組合せで実装または実施され得る。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくはステートマシンであってよい。いくつかの実装形態では、プロセッサは、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成など、コンピューティングデバイスの組合せとして実装され得る。いくつかの実装形態では、特定のプロセスおよび方法は、所定の機能に特有の回路構成で実施することができる。

【0101】

1つまたは複数の態様では、説明された機能は、本明細書において開示された構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路構成、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実現することができる。本明細書で説明する主題の実装形態はまた、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のための、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上で符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。

【0102】

ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶され得るか、またはコンピュータ可読媒体を介して送信され得る。本明細書で開示する方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュールにおいて実装され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能にされ得る任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または所望のプログラムコードを命令もしくはデータ構造の形態で記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を含み得る。また、いかなる接続も、コンピュータ可読媒体と適切に呼ばれ得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。加えて、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せもしくはセットとして、コンピュータプログラム製品に組み込まれ得る機械可読媒体およびコンピュータ可読媒体上に存在し得る。

【0103】

本開示で説明する実装形態に対する様々な変更形態が当業者には容易に明らかになる場合があり、本明細書で定義する一般原理は、本開示の趣旨または範囲から逸脱することなく、いくつかの他の実装形態に適用される場合がある。したがって、特許請求の範囲は、本明細書で示されている実装形態に限定されるものではなく、本開示、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。

【0104】

加えて、「上側(upper)」および「下側(lower)」という用語は、図の説明を簡単にするために使用されることがあり、適切に配向されたページ上の図の配向に対応する相対位置を示し、実装された任意のデバイスの適切な配向を反映しない場合があることを、当業者は容易に諒解されよう。

【0105】

また、本明細書において別個の実装形態の文脈で説明するいくつかの特徴は、単一の実装形態において組み合わせて実装され得る。逆に、単一の実装形態の文脈で説明する様々な特徴はまた、複数の実装形態において別々にまたは任意の適切な部分組合せで実装され得る。さらに、特徴は、いくつかの組合せで働くものとして上記で説明されることがあり、最初にそのようなものとして請求されることさえあるが、請求される組合せからの1つまたは複数の特徴は、場合によっては、その組合せから削除されることがあり、請求される組合せは、部分組合せまたは部分組合せの変形形態を対象とすることがある。

【0106】

同様に、動作は特定の順序で図面に示されるが、このことは、望ましい結果を達成するために、そのような動作が、示された特定の順序もしくは連続した順序で実施されること、または図示されたすべての動作が実施されることを必要とするものとして理解されるべきでない。さらに、図面は、1つまたは複数の例示的なプロセスを流れ図の形で概略的に示す場合がある。しかしながら、示されていない他の動作が、概略的に示されている例示的なプロセスに組み込まれる場合がある。たとえば、図示した動作のいずれかの前に、その後に、それと同時に、またはそれらの間に、1つまたは複数の追加の動作が実施され得る。いくつかの状況では、マルチタスキングおよび並列処理が有利な場合がある。その上、上記で説明した実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきでなく、説明したプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品の中で一緒に統合されてよく、または複数のソフトウェア製品の中にパッケージ化されてよいことを理解されたい。加えて、いくつかの他の実装形態は、以下の特許請求の範囲内に入る。場合によっては、特許請求の範囲で具陳するアクションは、異なる順序で実施され、依然として望ましい結果を達成することがある。

【0107】

特許請求の範囲内を含む本明細書で使用される「または」という用語は、2つ以上の項目のリストにおいて使用されるとき、列挙された項目のいずれか1つが単独で採用され得ること、または、列挙された項目のうちの2つ以上の任意の組合せが採用され得ることを意味する。たとえば、組成物が構成要素A、B、またはCを含むものとして説明される場合、組成物は、Aのみ、Bのみ、Cのみ、AとBの組合せ、AとCの組合せ、BとCの組合せ、またはAとBとCの組合せを含み得る。また、特許請求の範囲内を含めて本明細書で使用する場合、「のうちの少なくとも1つ」で終わる項目のリストにおいて使用される「または」は、たとえば、「A、B、またはCのうちの少なくとも1つ」のリストが、AまたはBまたはCまたはABまたはACまたはBCまたはABC(すなわち、AおよびBおよびC)またはそれらの任意の組合せにおけるこれらのいずれかを意味するような、選言的リストを示す。「実質的に」という用語は、当業者によって理解されるように、必ずしも指定されるものの全体ではないがその大部分として定義される(かつ指定されるものを含む、たとえば、実質的に90度は90度を含み、実質的に平行は平行を含む)。任意の開示する実装形態では、「実質的に」という用語は、指定されるもの「の[パーセンテージ]以内」で置換されてもよく、パーセンテージは、0.1、1、5、または10パーセントを含む。

【0108】

本開示の上記の説明は、あらゆる当業者が本開示を作成または使用することを可能にするように構成されている。本開示の様々な変更が当業者に容易に明らかになり、本明細書で定義される一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形に適用され得る。したがって、本開示は、本明細書で説明された例および設計に限定されるものでなく、本明細書で開示された原理および新規の特徴と一致する最も広い範囲を与えられるべきである。

【符号の説明】

【0109】

100 デバイス
101 第1の画像センサー、画像センサー
102 第2の画像センサー、画像センサー
104 プロセッサ
106 メモリ
108 命令
112 画像信号プロセッサ、ISP
114 ディスプレイ
116 入力/出力(I/O)構成要素
118 電源
131 第1のレンズ、レンズ
132 第2のレンズ、レンズ
133 オートフォーカス(AF)システム
134 オートフォーカス(AF)システム
140 深度センサー
150 センサーハブ
302 現在の画像フレーム
304 前の画像フレーム
306 出力画像フレーム
310 時間フィルタ
312 ピクセル
402 リセット論理
404 重みブロック
406 合成器
902 第1の閾値
904 第2の閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】