特表 2024-528958 画像捕捉のための露出制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-01

(54)【発明の名称】画像捕捉のための露出制御

(51)【国際特許分類】

   H04N 23/73 20230101AFI20240725BHJP

   G06T 7/00 20170101ALI20240725BHJP

   H04N 23/45 20230101ALI20240725BHJP

   H04N 23/60 20230101ALI20240725BHJP

   H04N 23/63 20230101ALI20240725BHJP

   H04N 23/745 20230101ALI20240725BHJP

【ＦＩ】

H04N23/73

G06T7/00 350B

G06T7/00 610Z

H04N23/45

H04N23/60 500

H04N23/63

H04N23/745

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024506480

(86)(22)【出願日】2021-08-02

(85)【翻訳文提出日】2024-02-16

(86)【国際出願番号】 US2021044185

(87)【国際公開番号】W WO2023014344

(87)【国際公開日】2023-02-09

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】シー，イーチャン

(72)【発明者】

【氏名】ガオ，ジンルン

(72)【発明者】

【氏名】ベラルデ，ルベン・マニュエル

(72)【発明者】

【氏名】フン，スゼッポ・ロバート

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA09

5C122EA13

5C122EA14

5C122EA67

5C122FA18

5C122FF09

5C122FF18

5C122FF23

5C122FH11

5C122FH18

5C122HA75

5C122HB01

5L096BA03

5L096CA02

5L096DA02

5L096EA05

5L096FA17

5L096HA11

5L096KA04

(57)【要約】

本文書は、画像を捕捉するための露出制御のための技術および装置を記述している。本技術および装置は、センサデータを利用して場面を解析し、この解析に基づいて、場面の捕捉された画像中の露出関連欠陥の可能性を決定する。本技術は、この可能性に基づいて、複数の画像捕捉デバイスのための複数の異なる露出時間を決定する。次に、画像併合モジュールが、異なる露出時間を使用して捕捉されたこれらの異なる画像を結合して、露出関連欠陥が少ない単一の画像を生成する。

【特許請求の範囲】

【請求項1】

方法であって、
捕捉されたセンサデータに基づいて、複数の画像捕捉デバイスによって捕捉される場面の中の露出関連欠陥の可能性を決定することを備え、
前記露出関連欠陥は、ぼやけ欠陥および高雑音欠陥を含み、
前記方法は、
前記決定された可能性に基づいて、前記ぼやけ欠陥を少なくするための第１の露出時間、および前記高雑音欠陥を少なくするための、前記第１の露出時間より長い第２の露出時間を決定することと、
前記複数の画像捕捉デバイスのうちの第１の画像捕捉デバイスに、前記第１の露出時間を使用して前記場面の第１の画像を捕捉させ、また、前記複数の画像捕捉デバイスのうちの第２の画像捕捉デバイスに、前記第２の露出時間を使用して前記場面の第２の画像を捕捉させることと、
第１の画像捕捉物および第２の画像捕捉物を画像併合モジュールに提供し、前記第１の画像捕捉物および前記第２の画像捕捉物から単一の画像を生成することと
を備える方法。

【請求項2】

１つまたは複数の追加画像捕捉デバイスを使用して、前記場面の１つまたは複数の追加画像捕捉物が捕捉され、前記第１の画像捕捉物および前記第２の画像捕捉物を提供することは、前記画像併合モジュールに前記追加画像捕捉物を提供する、請求項１に記載の方法。

【請求項3】

前記露出関連欠陥の前記可能性を決定することは、少なくとも部分的に、先行する画像捕捉物に基づく機械学習を介して決定される、請求項１に記載の方法。

【請求項4】

前記第１の露出時間または前記第２の露出時間を決定することは、少なくとも部分的に、異なる露出時間を使用して捕捉された先行する画像捕捉物に基づく機械学習を介して決定される、請求項１に記載の方法。

【請求項5】

前記第１の画像捕捉物および前記第２の画像捕捉物は同じ輝度で捕捉され、前記輝度はセンサ利得および露出時間の乗算値で定義される、請求項１に記載の方法。

【請求項6】

前記センサデータは、捕捉される前記場面の動きを測定するために使用可能なレーダシステムから収集された非画像化データを含む、請求項１に記載の方法。

【請求項7】

前記センサデータは、捕捉される前記場面中のバンディング欠陥を測定するために使用可能なフリッカーセンサから収集された非画像化データを含む、請求項１に記載の方法。

【請求項8】

前記第２の画像捕捉デバイスに前記第２の露出時間で前記第２の画像を捕捉させることにより、前記第２の露出時間が捕捉される前記場面内の光のちらつきの周波数と関連付けられた時間より長くなり、前記周波数は前記フリッカーセンサによって収集される、請求項７に記載の方法。

【請求項9】

前記第２の露出時間は８．３３ミリ秒以上であり、前記第２の画像は帯がない画像である、請求項８に記載の方法。

【請求項10】

前記センサデータは前記画像捕捉デバイスによって収集される画像化データである、請求項１に記載の方法。

【請求項11】

前記センサデータに基づいて焦点の対象を決定することをさらに備え、
前記画像併合モジュールを使用して、焦点の前記対象に対する前記第１の画像捕捉物を組み込み、かつ、前記場面の残りの背景部分に対する前記第２の画像捕捉物を組み込むことによって前記場面の前記単一の画像を生成することをさらに備える、請求項１に記載の方法。

【請求項12】

前記第２の画像捕捉物が組み込まれて前記背景部分に動き場面が生成され、前記背景部分の前記動き場面は前記場面内の動きを示すぼやけた画像捕捉物である、請求項１１に記載の方法。

【請求項13】

前記第１の画像捕捉物および前記第２の画像捕捉物は多重フレーム画像捕捉物であり、前記画像併合モジュールによって生成される前記単一の画像は多重フレーム画像であり、前記多重フレーム画像は、連続的に捕捉された複数の単一フレーム画像捕捉物を含む、請求項１または請求項１１に記載の方法。

【請求項14】

前記画像併合モジュールから生成された前記単一の画像を表示することをさらに含む、先行する請求項のいずれかに記載の方法。

【請求項15】

１つまたは複数のプロセッサと、
１つまたは複数の画像捕捉デバイスと、
１つまたは複数のセンサであって、捕捉されるセンサデータを捕捉することができるセンサと、
前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサが先行する請求項のいずれかの前記方法を実現することになる命令を記憶するメモリと
を備えるコンピューティングデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

背景
モバイルコンピューティングデバイスは、しばしば、場面の画像を捕捉するための、相補型金属酸化膜半導体（ＣＭＯＳ）センサを使用しているカメラなどの画像捕捉デバイスを含む。捕捉される画像の品質は常に改善されているが、従来の画像捕捉デバイスは多くの課題を抱えている。例えばいくつかの画像捕捉デバイスは、場面内の要素が動いていると、その場面の適切な画像を捕捉することができない。いくつかの解決法を使用して、単一の態様における画像品質を改善することができるが、これらの解決法は、しばしば追加画像品質問題をもたらしている。

【発明の概要】

【0002】

概要
本文書は、画像を捕捉するための露出制御のための技術および装置を記述している。本技術および装置は、センサデータを利用して場面を解析し、この解析に基づいて、１つまたは複数の画像捕捉デバイスによって捕捉される場面中の露出関連欠陥（exposure-related defects）の可能性を決定する。本技術は、この可能性に基づいて、複数の画像捕捉デバイスのための複数の異なる露出時間を決定する。次に、画像併合モジュールが、異なる露出時間を使用して捕捉された異なる画像を結合して、露出関連欠陥が少ない単一の画像を生成する。

【0003】

態様では、コンピューティングデバイスにおける露出制御のための方法が開示される。方法は、捕捉されたセンサデータを利用して、１つまたは複数の画像捕捉デバイスによって捕捉される場面中の露出関連欠陥の可能性を決定する露出制御装置を含む。これらの露出関連欠陥は、それらに限定されないが、画像捕捉物の部分に画像捕捉物がぼやけて出現するぼやけ欠陥、および、画像捕捉物の部分が雑音だらけ、すなわち鮮明性を欠いて出現し得る雑音欠陥を含み得る。このような雑音欠陥は、本明細書においては高雑音欠陥とも称される。

【0004】

態様では、露出制御装置は、露出関連欠陥の決定された可能性に基づいて、ぼやけ欠陥を少なくするための第１の露出時間、および第１の露出時間より長い、高雑音欠陥を少なくするための第２の露出時間を決定することができる。さらに、露出制御装置は、１つまたは複数の画像捕捉デバイスのうちの第１の画像捕捉デバイスに、第１の露出時間を使用して場面の第１の画像を捕捉させることができる。また、露出制御装置は、１つまたは複数の画像捕捉デバイスのうちの第２の画像捕捉デバイスに、第２の露出時間を使用して場面の第２の画像を捕捉させることができる。

【0005】

態様では、画像併合モジュールに第１の画像捕捉物および第２の画像捕捉物を提供することができる。画像併合モジュールは、１つまたは複数の画像を受け取り、かつ、受け取った画像を利用して、場面の１つまたは複数の画像捕捉物から単一の画像を生成することができる。

【0006】

本明細書において説明されている技術および装置を使用することにより、画像捕捉デバイスのための露出制御を使用して、複数の画像捕捉物から生成される単一の画像中の露出関連欠陥を最小化することができる。

【0007】

以上の概要は、多重カメラ露出制御のための技術および装置の簡略化された概念を紹介するために提供されたものであり、それらの概念については、以下の詳細な説明および図面の中でさらに説明される。以上の概要には、特許請求される主題の本質的な特徴を識別すること、また、特許請求される主題の範囲を決定するために使用されることは意図されていない。

【0008】

以下、画像捕捉のための露出制御の１つまたは複数の態様について詳細に説明する。説明および図における異なる実例の中の同じ参照番号の使用は同様の要素を示している。

【図面の簡単な説明】

【0009】

【図1】画像捕捉デバイスのための露出制御を実施するコンピューティングデバイスの例示的実施態様を示す図である。

【図2】図１の例示的実施態様のための画像併合モジュールの態様を示す図である。

【図3】画像捕捉デバイスのための露出制御を実現することができる例示的動作環境を示す図である。

【図4】センサデータを収集するために使用することができるセンサの複数の例を示す図である。

【図5】画像捕捉デバイスのための露出制御の動き場面（motion-scene）態様の例示的実施態様を示す図である。

【図6】図５の動き場面実施態様の画像併合モジュールの態様を示す図である。

【図7】画像捕捉デバイスのための露出制御のアンチバンディング態様（anti-banding aspect）の例示的実施態様を示す図である。

【図8】図７のアンチバンディング実施態様のための画像併合モジュールの態様を示す図である。

【図9】画像捕捉デバイスのための露出制御の例示的方法を示す図である。

【発明を実施するための形態】

【0010】

画像を捕捉するための露出制御のための説明される技術および装置の特徴および概念は、任意の数の異なる環境で実現することができるが、態様は以下の例の文脈で説明される。

【0011】

詳細な説明
概説
本文書は、画像を捕捉するための露出制御のための技術および装置を記述している。本明細書において説明される露出制御は、捕捉されたセンサデータを利用して露出関連欠陥の可能性を決定し、それにより露出コントローラは、画像を捕捉するために使用する１つまたは複数の露出時間を決定することができる。

【0012】

例えば露出コントローラは、捕捉されたセンサデータを利用して、１つまたは複数の画像捕捉デバイスによって捕捉される場面中のぼやけおよび高雑音欠陥を含む露出関連欠陥の可能性を決定することができる。露出コントローラは、露出関連欠陥の決定された可能性に基づいて、ぼやけ欠陥を少なくするための第１の露出時間、および高雑音欠陥を少なくするためのより長い第２の露出時間を決定することができる。露出コントローラは、決定された第１の露出時間および第２の露出時間を使用して、第１の画像捕捉デバイスおよび第２の画像捕捉デバイスに、第１の露出時間を使用して場面の第１の画像を捕捉させ、また、第２の露出時間を使用して場面の第２の画像を捕捉させる。露出コントローラは、次に、１つまたは複数の画像捕捉物を画像併合モジュールに提供することができ、画像併合モジュールは、この１つまたは複数の画像捕捉物を使用して場面の単一の画像を生成することができる。このようにして露出コントローラは露出関連欠陥を少なくする。

【0013】

説明される、画像捕捉デバイスのための露出制御のための技術および装置の特徴および概念は、任意の数の異なる環境で実現することができるが、態様は以下の例の文脈で説明される。

【0014】

例示的デバイス
図１は、本明細書において説明される技術による画像捕捉デバイスのための露出制御を実施する、コンピューティングデバイス１０２の例示的実施態様１００を示したものである。示されているコンピューティングデバイス１０２は、１つまたは複数のセンサ１０４、第１の画像捕捉デバイス１０６および第２の画像捕捉デバイス１０８を含むことができる。示されているように、コンピューティングデバイス１０２を使用して、捕捉される場面１１０が捕捉される。捕捉される場面１１０は、１つまたは複数の画像捕捉デバイス（例えば第１の画像捕捉デバイス１０６および第２の画像捕捉デバイス１０８）によって捕捉することができ、これらの画像捕捉デバイスは、１つまたは複数の画像（例えば第１の画像１１２および第２の画像１１４）を捕捉することができる。第１の画像１１２または第２の画像１１４は、ぼやけ欠陥１１６および高雑音欠陥１１８を含む露出関連欠陥を含み得る。

【0015】

コンピューティングデバイス１０２は、センサデータを捕捉するための１つまたは複数のセンサ１０４を含むか、または１つまたは複数のセンサ１０４と結合されており、センサデータを使用して、捕捉される場面１１０中の露出関連欠陥の可能性を決定することができる。例示的露出関連欠陥は、ぼやけ欠陥１１６および高雑音欠陥１１８を含むが、以下で言及されるバンディング欠陥などの他の欠陥も同じく存在し得る。

【0016】

必ずしもその必要はないが、本技術は、先行する画像捕捉物に基づく機械学習を使用して露出関連欠陥の可能性を決定することができる。例えば機械学習の使用は、パーセプトロン、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク、放射基底関数ニューラルネットワークまたは回帰型ニューラルネットワークを含むニューラルネットワークの使用を介した教師あり学習または教師なし学習を含むことができる。例えば露出関連欠陥の可能性は、教師あり機械学習を介して決定することができる。教師あり機械学習では、画像と結合した特徴を識別する、先行する画像捕捉物のラベルが振られたセットを与えて、それらの露出関連欠陥（例えばぼやけ欠陥、高雑音欠陥またはバンディング欠陥）に基づいてラベルが振られた非画像化データ（例えば加速度計データ、フリッカーセンサデータ）および画像化データなどの機械－学習モデルを構築することができる。この教師あり機械学習を介して、関連する特徴に基づくそれらの露出関連欠陥によって将来の画像捕捉物を分類することができる。さらに、将来の画像捕捉物をデータセットにフィードバックして、機械－学習モデルをさらに訓練することができる。

【0017】

別法として、または機械学習に加えて、本技術は、重み付き方程式を介して、または捕捉されたセンサデータに基づくデシジョンツリーを介して露出関連欠陥の可能性を決定することも可能である。

【0018】

例示的実施態様１００では、２つの画像捕捉デバイス（例えば第１の画像捕捉デバイス１０６および第２の画像捕捉デバイス１０８）が、それぞれ第１の露出時間およびより長い第２の露出時間を使用して捕捉される場面の画像（例えば第１の画像１１２および第２の画像１１４）を捕捉している。しかしながら１つまたは複数の追加画像捕捉デバイスを使用して、捕捉される場面１１０の１つまたは複数の追加画像捕捉物を捕捉することも可能である。

【0019】

画像捕捉デバイスのセンサ利得を調整して、同じ輝度またはほぼ同様の輝度で各画像を捕捉することができる。画像捕捉物の輝度は、利得値×露出時間として定義される。一例では、より長い第２の露出時間を使用する第２の画像捕捉デバイス１０８は、第１の画像１１２を捕捉するためのより低い利得値で第２の画像１１４を捕捉し、かつ、同じ輝度値で第２の画像１１４を捕捉することになる。

【0020】

また、１つまたは複数の画像捕捉デバイスを使用して、１つまたは複数の多重フレーム画像捕捉物を捕捉することも可能である。１つまたは複数の多重フレーム画像捕捉物は、画像再生デバイスが多重フレーム画像からビデオを生成することができるよう、連続的に捕捉することができる。

【0021】

画像捕捉デバイス１０６および１０８は、広角画像捕捉デバイス、望遠画像捕捉デバイス、赤外線画像捕捉デバイス、等々などの様々なタイプの画像捕捉デバイスであってよい。

【0022】

図２は、図１のコンピューティングデバイス１０２に使用される画像併合モジュール２０２の例示的実施態様２００を示したものである。示されているように、画像併合モジュール２０２は、捕捉される場面（例えば捕捉される場面１１０）の単一の画像２０４を生成するために、第１の画像１１２および第２の画像１１４の両方またはそれらの部分を組み込んでいる。単一の画像２０４は、コンピューティングデバイス１０２のディスプレイ２０６にデジタル表示することができ、別のデバイスに提供することができ、および／または記憶することができる。

【0023】

言及したように、画像併合モジュール２０２は、ぼやけ欠陥１１６の可能性を有することが決定されている捕捉される場面（例えば捕捉される場面１１０）の部分に対する第１の画像１１２、および高雑音欠陥１１８を有することが決定されている捕捉される場面（例えば捕捉される場面１１０）の部分に対する第２の画像１１４を使用している。そのようにすることにより、画像併合モジュール２０２は、これらの画像捕捉物から、露出関連欠陥が少ない単一の画像２０４を生成する。図２は、単一の画像２０４をコンピューティングデバイス１０２のディスプレイ２０６にデジタル表示することができる例を同じく示している。画像併合モジュール２０２に、場面（例えば捕捉される場面１１０）の追加画像捕捉物を提供することができる。画像併合モジュールは、次に、これらの追加画像を第１の画像１１２および第２の画像１１４と組み合わせて使用して、場面（例えば捕捉される場面１１０）の単一の画像２０４を生成することができる。別の態様では、画像併合モジュール２０２に、複数の多重フレーム画像を提供することができる。次に、画像併合モジュール２０２を使用して、複数の多重フレーム画像から単一の多重フレーム画像を生成することができる。

【0024】

図３は、画像捕捉デバイスのための露出制御を実現することができる例示的動作環境３００を示したものである。本文書は、モバイルデバイス（例えばスマートフォン）上で実施される画像捕捉デバイスのための露出制御の特定の態様を開示しているが、画像捕捉デバイスのための露出制御は、それらに限定されないが、モバイルコンピューティングデバイス１０２－１、タブレット１０２－２、ラップトップまたはパーソナルコンピュータ１０２－３、イメージングアイウェア１０２－４、車両１０２－５、等々を含む任意のコンピューティングデバイスを使用して実施することができることに留意されたい。

【0025】

図３に示されている例示的動作環境３００は、１つまたは複数のプロセッサ３０２、コンピュータ可読媒体３０４、センサデータを捕捉することができる１つまたは複数のセンサ３１６、ユーザインタフェース３１８、１つまたは複数の画像捕捉デバイス３２０およびディスプレイ３２２を含む。コンピュータ可読媒体３０４は、本文書において説明されている露出コントローラ３０６を含むことができる。露出コントローラ３０６はメモリ３０８を含むことができ、メモリ３０８は、機械学習構成要素３１０を組み込むことができ、また、プロセッサ３０２によって実行されると、そのプロセッサ３０２が本文書において説明されている画像捕捉デバイスのための露出制御の方法を実現することになる制御命令３１２を記憶することができる。さらに、コンピュータ可読媒体３０４は、画像併合モジュール２０２、および画像捕捉アプリケーションまたは画像表示アプリケーションなどのアプリケーション３１４を含むことができ、これらは、本文書において説明されている画像捕捉デバイスのための露出制御の方法と協同して動作することができる。

【0026】

図４は、センサデータを収集するために使用することができるセンサ３１６の複数の例を示したものである。例えばコンピューティングデバイス（例えばコンピューティングデバイス１０２）は、画像化センサ４１０または非画像化センサ４０２を含むことができる。画像化センサ４１０は調整可能利得値を含むことができ、また、相補型金属酸化膜半導体（ＣＭＯＳ）センサ４１２、等々を含むことができる。同様に、非画像化センサ４０２も調整可能利得値を含むことができ、また、加速度計４０４、フリッカーセンサ４０６、捕捉される場面中の動きを測定することができるレーダシステム４０８、または露出関連欠陥の可能性を決定するためのセンサデータを提供することができる任意の他のセンサを含むことができる。

【0027】

図５は、画像捕捉デバイスのための露出制御の動き場面態様の例示的実施態様５００を示したものである。示されているように、コンピューティングデバイス１０２は、センサ１０４、第１の画像捕捉デバイス１０６および第２の画像捕捉デバイス１０８を利用して、捕捉される場面５０２の第１の画像５０４および第２の画像５０６を捕捉することができる。捕捉される場面５０２は、背景５０８として識別される部分、および焦点の対象５１０として識別される部分を含むことができる。さらに、捕捉される場面５０２の部分に対するコンピューティングデバイス１０２の相対的な動き５１２によって動き場面５１８を生成することができる。

【0028】

この実施態様では、画像捕捉デバイスは、捕捉される場面５０２の部分に対して移動することができる。図５では、相対的な動き５１２は矢印で示されている。センサ１０４は、捕捉される場面５０２を記述しているセンサデータを収集し、露出コントローラ３０６は、次にこのセンサデータを使用して露出関連欠陥の可能性を決定する。しかしながらセンサデータを同じく使用して、捕捉される場面５０２内の焦点の対象５１０を識別することも可能である。さらに、コンピューティングデバイス１０２は、センサデータを使用して、捕捉される場面５０２の残りの部分を背景部分５０８として識別することができる。

【0029】

画像捕捉デバイスのための露出制御の例示的実施態様５００では、コンピューティングデバイス１０２は、２つの画像捕捉デバイス（例えば第１の画像捕捉デバイス１０６および第２の画像捕捉デバイス１０８）を利用している。第１の画像捕捉デバイス１０６は、露出関連欠陥の決定された可能性に基づいて決定された第１の露出時間を使用して、捕捉される場面５０２の第１の画像５０４を捕捉する。第１の露出時間は、捕捉される場面５０２中のぼやけ欠陥５１４が少なくなるように決定され、例えば高速露出される。露出の速度は、決定されたぼやけ欠陥５１４の大きさに関連付けることができ、例えばより大きいぼやけに対して露出をより速くすることができる（例えば動きが速いほど露出が速くなる）。

【0030】

同様に、第２の画像捕捉デバイス１０８は、露出関連欠陥の可能性に基づいて決定された、より長い第２の露出時間を使用して、捕捉される場面５０２の第２の画像５０６を捕捉する。第２の露出時間は、捕捉される場面５０２中の雑音欠陥５１６が少なくなるように決定される。さらに、第２の画像は、捕捉される場面５０２の背景部分５０８に、捕捉される場面５０２内の動きを示すぼやけた画像捕捉物である動き場面５１８を含むことができる。この場合、動き場面５１８を含むことにより、捕捉される場面５０２内の動きの現実的表現（a realistic indication）が生成される。

【0031】

図６は、図５の動き場面実施態様５００のための画像併合モジュール２０２の例示的態様６００を示したものである。示されているように、画像併合モジュール２０２は、興味のある対象５１０に対する第１の画像５０４を受け取り、かつ、組み込んでぼやけ欠陥５１４を少なくし、また、背景部分５０８に対する第２の画像５０６を受け取り、かつ、組み込んで雑音欠陥５１６を少なくし、かつ、捕捉される場面（例えば捕捉される場面５０２）の単一の画像６０２中に動き場面５１８を生成する。捕捉される場面（例えば捕捉される場面５０２）の単一の画像６０２は、デジタル表示し、提供し、等々を実施することができる（例えばコンピューティングデバイス１０２のディスプレイ２０６に表示することができる）。

【0032】

より詳細には、画像併合モジュール２０２は、焦点の対象５１０に対する第１の画像５０４を組み込み、かつ、捕捉される場面（例えば捕捉される場面５０２）の残りの背景部分５０８に対する第２の画像５０６を組み込むことによって、捕捉される場面（例えば捕捉される場面５０２）の単一の画像６０２を生成する。示されているように、単一の画像６０２は雑音欠陥５１６およびぼやけ欠陥５１４が減少され、その一方で動き場面５１８における場面の動きを示している。

【0033】

図７は、画像捕捉デバイスのための露出制御のアンチバンディング態様の例示的実施態様７００を示したものである。示されているように、コンピューティングデバイス１０２は、センサ１０４を利用して、捕捉される場面７０２中の露出関連欠陥の可能性を決定することができる。捕捉される場面７０２中の露出関連欠陥の可能性はバンディング欠陥７１０を含むことができる。バンディング欠陥は、場面を照明する光が動作する周波数によってもたらされ得る。コンピューティングデバイス１０２は、第１の画像捕捉デバイス１０６および第２の画像捕捉デバイス１０８を利用して、捕捉される場面７０２の第１の画像７０４および第２の画像７０６を捕捉することができる。さらに、長い露出時間のため、１つまたは複数の画像中にぼやけ欠陥が存在し得る。

【0034】

コンピューティングデバイス１０２は、センサ１０４を介して、捕捉される場面７０２を記述しているセンサデータを捕捉する。この例では、所定の周波数でちらつく光の存在を検出するためには、フリッカーセンサがとりわけ有用であり得る。センサデータを使用して、捕捉される場面７０２中の露出関連欠陥の可能性を決定することができる。露出関連欠陥はバンディング欠陥７１０を含むことができ、このバンディング欠陥は、蛍光照明などの光が動作する周波数による、捕捉される場面７０２内の光のちらつきに起因する画像中の暗い帯であり得る。

【0035】

上で言及したように、露出コントローラ３０６は、図７のバンディングのような露出関連欠陥の可能性に基づいて、第１の露出時間およびより長い第２の露出時間を決定する。露出コントローラ３０６は、次に、第１の画像捕捉デバイス１０６および第２の画像捕捉デバイス１０８に、それぞれの露出時間を使用して第１の画像７０４および第２の画像７０６を捕捉させる。

【0036】

第１の露出時間は、捕捉される場面７０２の部分におけるぼやけ欠陥７０８を少なくするように決定された短い露出時間であってもよい。ぼやけ欠陥７０８の一例は、より長い露出時間を使用して捕捉された場合に、照明によってもたらされる、鮮明性が乏しい状態で出現する場面の部分であり得る。第２の露出時間は、捕捉される場面７０２の部分におけるバンディング欠陥７１０を少なくするように決定された、少なくとも８．３３ミリ秒（ｍｓ）のより長い露出時間であってもよい。８．３３ｍｓ以上の露出時間は、ほとんどの光の標準動作周波数に基づいて、バンディング欠陥がない画像を捕捉するには十分であるように決定されている。そのようにすることにより、露出コントローラ３０６は、画像併合モジュール２０２と共に動作して、帯がない画像を提供する。

【0037】

図８は、図７のアンチバンディング実施態様７００のための画像併合モジュール２０２の態様８００を示したものである。示されているように、画像併合モジュール２０２は、第１の画像７０４を受け取り、かつ、組み込んでぼやけ欠陥７０８を少なくし、また、第２の画像７０６を受け取り、かつ、組み込んで、捕捉される場面（例えば捕捉される場面７０２）の単一の画像８０２中のバンディング欠陥７１０を少なくする。

【0038】

態様では、第１の画像７０４および第２の画像７０６は画像併合モジュール２０２に提供されている。画像併合モジュール２０２は、第１の画像５０４を組み込んでぼやけ欠陥７０８を少なくし、また、第２の画像７０６を組み込んでバンディング欠陥７１０を少なくすることによって、捕捉される場面（例えば捕捉される場面７０２）の単一の画像８０２を生成する。

【0039】

例示的方法
図９は、画像捕捉デバイスのための露出制御の例示的方法９００を示したものである。コンピューティングデバイスは、９０２で、露出コントローラを使用して、複数の画像捕捉デバイスによって捕捉される場面中の露出関連欠陥の可能性を決定する。この例では、露出関連欠陥はぼやけ欠陥および高雑音欠陥を含むことができるが、本技術によってバンディング欠陥などの他の欠陥を少なくし、あるいは修正することも可能である。

【0040】

９０４で、露出コントローラは、決定された露出関連欠陥の可能性に基づいて、ぼやけ効果を小さくするための第１の露出時間、および高雑音欠陥を少なくするためのより長い第２の露出時間を決定することができる。

【0041】

一態様では、露出関連欠陥の可能性または露出時間のいずれかの決定は、機械学習を介して実施することができる。別の態様では、先行するステップは、デシジョンツリーまたは任意の他のコンピューテーション方法を介して実施することができる。

【0042】

９０６で、第１の露出時間および第２の露出時間を決定することにより、第１の画像捕捉デバイスおよび第２の画像捕捉デバイスに、それぞれ第１の露出時間および第２の露出時間を使用して場面の第１の画像および第２の画像を捕捉させることができる。

【0043】

９０８で、第１の画像および第２の画像が画像併合モジュールに提供され、画像併合モジュールは、それらの第１の画像および第２の画像を使用して単一の画像を生成することができる。任意選択で、追加画像捕捉デバイスを使用して、追加露出時間を使用して追加画像を捕捉することができる。この例では、すべての追加画像捕捉物を画像併合モジュールに提供することができ、また、それらを使用して単一の画像を生成することができる。

【0044】

別の例では、露出関連欠陥の可能性を決定することにより、画像内のバンディング欠陥の可能性を決定することができる。したがって第２の画像は、第２の画像捕捉デバイスを使用して、少なくとも８．３３ｍｓの第２の露出時間を使用して捕捉された、帯のない画像であってもよい。この露出時間は、ほとんどの光が動作する周波数に起因するバンディング欠陥を除去する最低要求事項に合致する。

【0045】

別の例では、露出関連欠陥の可能性を決定することによって焦点の対象を決定することができる。この例では、第２の画像を使用して、場面の背景部分に動き場面を生成することができる。

【0046】

一般に、本明細書において説明されている構成要素、モジュール、方法および操作は、すべて、ソフトウェア、ファームウェア、ハードウェア（例えば固定論理回路機構）、手動処理またはそれらの任意の組合せを使用して実現することができる。例示的方法のいくつかの操作は、コンピュータ処理システムに対して局所および／または遠隔であるコンピュータ可読記憶メモリ上に記憶されている実行可能命令の一般的な文脈で記述することができ、また、実施態様は、ソフトウェアアプリケーション、プログラム、機能、等々を含むことができる。選択的にまたは追加的に、本明細書において説明されている機能性は、すべて、少なくとも部分的に、それらに限定されないが、書替え可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システム－オン－ア－チップシステム（ＳｏＣ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、等々を含む１つまたは複数のハードウェア論理構成要素によって実施することができる。

【0047】

以下、いくつかの例について説明する。
例１ 方法は、捕捉されたセンサデータに基づいて、複数の画像捕捉デバイスによって捕捉される場面中の露出関連欠陥の可能性を決定することを備える。露出関連欠陥は、ぼやけ欠陥および高雑音欠陥を含む。方法は、決定された可能性に基づいて、ぼやけ欠陥を少なくするための第１の露出時間、および高雑音欠陥を少なくするための、第１の露出時間より長い第２の露出時間を決定することと、複数の画像捕捉デバイスのうちの第１の画像捕捉デバイスに、第１の露出時間を使用して場面の第１の画像を捕捉させ、また、複数の画像捕捉デバイスのうちの第２の画像捕捉デバイスに、第２の露出時間を使用して場面の第２の画像を捕捉させることと、第１の画像捕捉物および第２の画像捕捉物を画像併合モジュールに提供し、それらの第１の画像捕捉および第２の画像捕捉から単一の画像を生成することとを備える。

【0048】

例２ 例１に記載されている方法であって、追加画像捕捉デバイスを使用して、場面の１つまたは複数の追加画像捕捉物を捕捉することをさらに備える。第１の画像捕捉物および第２の画像捕捉物を提供することは、画像併合モジュールに追加画像捕捉物を提供する。

【0049】

例３ 例１に記載されている方法であって、露出関連欠陥の可能性を決定することは、少なくとも部分的に、先行する画像捕捉物に基づく機械学習を介して決定される。

【0050】

例４ 例１に記載されている方法であって、第１の露出時間または第２の露出時間を決定することは、少なくとも部分的に、異なる露出時間を使用して捕捉された先行する画像捕捉物に基づく機械学習を介して決定される。

【0051】

例５ 例１に記載されている方法であって、露出関連欠陥の可能性を決定することは、捕捉されたセンサデータに基づいて露出関連欠陥の可能性を決定するために使用されるデシジョンツリーによって決定される。

【0052】

例６ 例１に記載されている方法であって、第１の露出時間または第２の露出時間を決定することは、露出関連欠陥の可能性に基づいて第１の露出時間または第２の露出時間を決定するために使用することができるデシジョンツリーによって決定される。

【0053】

例７ 例１に記載されている方法であって、第１の画像捕捉および第２の画像捕捉は同じ輝度で捕捉され、輝度はセンサ利得および露出時間の乗算値で定義される。

【0054】

例８ 例１に記載されている方法であって、センサデータは、加速度計から収集された非画像化データを含む。

【0055】

例９ 例１に記載されている方法であって、センサデータは、レーダシステムから収集されたレーダデータを含む。レーダデータは、捕捉される場面の動きを測定するために使用可能である。

【0056】

例１０ 例１に記載されている方法であって、センサデータは、捕捉される場面中のバンディング欠陥を測定するために使用可能なフリッカーセンサから収集された非画像化データを含む。

【0057】

例１１ 例１０に記載されている方法であって、第２の画像捕捉デバイスに第２の露出時間で第２の画像を捕捉させることにより、第２の露出時間が捕捉される場面内の光のちらつきの周波数と関連付けられた時間より長くなる。周波数はフリッカーセンサによって収集される。

【0058】

例１２ 例１１に記載されている方法であって、第２の露出時間は８．３３ミリ秒以上である。第２の画像は帯がない画像である。

【0059】

例１３ 例１に記載されている方法であって、センサデータは、複数の画像捕捉デバイスのうちの１つまたは複数によって収集される画像化データである。

【0060】

例１４ 例１３に記載されている方法であって、センサデータに基づいて焦点の対象を決定することと、画像併合モジュールを使用して、焦点の対象に対する第１の画像捕捉物を組み込み、かつ、場面の残りの背景部分に対する第２の画像捕捉物を組み込むことによって場面の単一の画像を生成することとをさらに含む。

【0061】

例１５ 例１または例１４に記載されている方法であって、第２の画像捕捉物が組み込まれて背景部分に動き場面が生成される。背景部分の動き場面は場面内の動きを示すぼやけた画像捕捉物である。

【0062】

例１６ 例１に記載されている方法であって、第１の画像捕捉物および第２の画像捕捉物は多重フレーム画像捕捉物である。また、画像併合モジュールによって生成される単一の画像は多重フレーム画像である。この多重フレーム画像は、連続的に捕捉された複数の単一フレーム画像捕捉物を含む。

【0063】

例１７ 先行する例のいずれかに記載されている方法であって、画像併合モジュールから生成された単一の画像をデジタル表示することをさらに含む。

【0064】

例１８ コンピューティングデバイスは、１つまたは複数のプロセッサと、１つまたは複数の画像捕捉デバイスと、１つまたは複数のセンサであって、捕捉されるセンサデータを捕捉することができるセンサと、１つまたは複数のプロセッサによって実行されると、その１つまたは複数のプロセッサが本文書の中で説明されている方法を実現することになる命令を記憶するメモリとを備える。

【0065】

結論
以上、画像捕捉のための露出制御の態様について、特徴および／または方法に特化された言語で説明したが、添付の特許請求の範囲の主題は、必ずしも説明されている特定の特徴または方法に限定されない。そうではなく、特定の特徴および方法は、画像捕捉デバイスのための特許請求される露出制御の例示的実施態様として開示されており、他の等価特徴および方法も、添付の特許請求の範囲の範囲内であることが意図されている。さらに、様々な態様が説明されており、説明されている各態様は、独立して実現することができ、あるいは１つまたは複数の他の説明されている態様と関連して実現することができることを認識されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-06-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

方法であって、
捕捉されたセンサデータに基づいて、複数の画像捕捉デバイスによって捕捉される場面の中の露出関連欠陥の可能性を決定することを備え、
前記露出関連欠陥は、ぼやけ欠陥および高雑音欠陥を含み、
前記方法は、
前記決定された可能性に基づいて、前記ぼやけ欠陥を少なくするための第１の露出時間、および前記高雑音欠陥を少なくするための、前記第１の露出時間より長い第２の露出時間を決定することと、
前記複数の画像捕捉デバイスのうちの第１の画像捕捉デバイスに、前記第１の露出時間を使用して前記場面の第１の画像を捕捉させ、また、前記複数の画像捕捉デバイスのうちの第２の画像捕捉デバイスに、前記第２の露出時間を使用して前記場面の第２の画像を捕捉させることと、
第１の画像捕捉物および第２の画像捕捉物を画像併合モジュールに提供し、前記第１の画像捕捉物および前記第２の画像捕捉物から単一の画像を生成することと
を備える方法。

【請求項2】

１つまたは複数の追加画像捕捉デバイスを使用して、前記場面の１つまたは複数の追加画像捕捉物が捕捉され、前記第１の画像捕捉物および前記第２の画像捕捉物を提供することは、前記画像併合モジュールに前記追加画像捕捉物を提供する、請求項１に記載の方法。

【請求項3】

前記露出関連欠陥の前記可能性を決定することは、少なくとも部分的に、先行する画像捕捉物に基づく機械学習を介して決定される、請求項１に記載の方法。

【請求項4】

前記第１の露出時間または前記第２の露出時間を決定することは、少なくとも部分的に、異なる露出時間を使用して捕捉された先行する画像捕捉物に基づく機械学習を介して決定される、請求項１に記載の方法。

【請求項5】

前記第１の画像捕捉物および前記第２の画像捕捉物は同じ輝度で捕捉され、前記輝度はセンサ利得および露出時間の乗算値で定義される、請求項１に記載の方法。

【請求項6】

前記センサデータは、捕捉される前記場面の動きを測定するために使用可能なレーダシステムから収集された非画像化データを含む、請求項１に記載の方法。

【請求項7】

前記センサデータは、捕捉される前記場面中のバンディング欠陥を測定するために使用可能なフリッカーセンサから収集された非画像化データを含む、請求項１に記載の方法。

【請求項8】

前記第２の画像捕捉デバイスに前記第２の露出時間で前記第２の画像を捕捉させることにより、前記第２の露出時間が捕捉される前記場面内の光のちらつきの周波数と関連付けられた時間より長くなり、前記周波数は前記フリッカーセンサによって収集される、請求項７に記載の方法。

【請求項9】

前記第２の露出時間は８．３３ミリ秒以上であり、前記第２の画像は帯がない画像である、請求項８に記載の方法。

【請求項10】

前記センサデータは前記画像捕捉デバイスによって収集される画像化データである、請求項１に記載の方法。

【請求項11】

前記センサデータに基づいて焦点の対象を決定することをさらに備え、
前記画像併合モジュールを使用して、焦点の前記対象に対する前記第１の画像捕捉物を組み込み、かつ、前記場面の残りの背景部分に対する前記第２の画像捕捉物を組み込むことによって前記場面の前記単一の画像を生成することをさらに備える、請求項１に記載の方法。

【請求項12】

前記第２の画像捕捉物が組み込まれて前記背景部分に動き場面が生成され、前記背景部分の前記動き場面は前記場面内の動きを示すぼやけた画像捕捉物である、請求項１１に記載の方法。

【請求項13】

前記第１の画像捕捉物および前記第２の画像捕捉物は多重フレーム画像捕捉物であり、前記画像併合モジュールによって生成される前記単一の画像は多重フレーム画像であり、前記多重フレーム画像は、連続的に捕捉された複数の単一フレーム画像捕捉物を含む、請求項１または請求項１１に記載の方法。

【請求項14】

前記画像併合モジュールから生成された前記単一の画像を表示することをさらに含む、請求項１～１３のいずれか１項に記載の方法。

【請求項15】

１つまたは複数のプロセッサと、
１つまたは複数の画像捕捉デバイスと、
１つまたは複数のセンサであって、捕捉されるセンサデータを捕捉することができるセンサと、
前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサが請求項１～１４のいずれか１項に記載の方法を実現することになる命令を記憶するメモリと
を備えるコンピューティングデバイス。

【国際調査報告】