特表 2024-528006 低光条件下での計算写真撮影

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-26

(54)【発明の名称】低光条件下での計算写真撮影

(51)【国際特許分類】

   G06V 10/70 20220101AFI20240719BHJP

   G06T 7/80 20170101ALI20240719BHJP

   G06T 7/20 20170101ALI20240719BHJP

   G06T 5/92 20240101ALI20240719BHJP

   G06T 5/60 20240101ALI20240719BHJP

   G06T 5/00 20240101ALI20240719BHJP

【ＦＩ】

G06V10/70

G06T7/80

G06T7/20 100

G06T5/92

G06T5/60

G06T5/00 700

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024505108

(86)(22)【出願日】2021-07-29

(85)【翻訳文提出日】2024-01-26

(86)【国際出願番号】 US2021043767

(87)【国際公開番号】W WO2023009128

(87)【国際公開日】2023-02-02

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ガオ，ジンルン

(72)【発明者】

【氏名】ベラルデ，ルベン・マニュエル

(72)【発明者】

【氏名】フン，スゼッポ・ロバート

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057BA02

5B057BA12

5B057CA16

5B057CB16

5B057CC01

5B057CE03

5B057CE11

5B057CE17

5L096CA02

5L096CA17

5L096DA01

5L096GA59

5L096HA11

5L096JA18

5L096MA03

(57)【要約】

本文書は、モバイルコンピューティングデバイス上の画像取込デバイスのための低光条件下での計算写真撮影の技術および装置について説明する。態様では、フラッシュ写真撮影を可能にするか、または低光条件下でフラッシュを使用せずにシーンの複数の画像を取り込むかを判定する際に、画像取込デバイスがセンサデータを利用するための技術および装置が説明される。他の態様では、画像取込デバイスは、フラッシュ写真撮影を可能にするか、または低光条件下でフラッシュを使用せずにシーンの複数の画像を取り込むかを判定する際にデバイスデータを利用してよい。本開示の技術および装置は、モバイルコンピューティングデバイス上の画像取込デバイスのために、低光条件下で改良された計算写真撮影を提供し得る。

【特許請求の範囲】

【請求項1】

モバイルコンピューティングデバイスが、シーンの低光条件時に、前記シーンの周囲条件に関するセンサデータを受信することと、
前記シーンの前記周囲条件に関する受信された前記センサデータに基づいて、前記モバイルコンピューティングデバイスの１つまたは複数の画像取込デバイスを使用して、フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することと、
前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことに応じて、前記シーンの前記複数の画像を使用して１つの計算後画像を生成することと、
前記計算後画像を提供することと、を含む、方法。

【請求項2】

前記方法は、前記モバイルコンピューティングデバイス上の電力消費に関するデバイスデータを受信することをさらに含み、前記フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することは、前記電力消費にさらに基づく、請求項１に記載の方法。

【請求項3】

前記電力消費は、
前記１つまたは複数の画像取込デバイスの前記フラッシュを生成し、
前記１つまたは複数の画像取込デバイスのシャッターを調整し、
前記１つまたは複数の画像取込デバイスのレンズを調整し、または
前記計算後画像を生成するための電力を含む、請求項２に記載の方法。

【請求項4】

前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを選択することは、機械学習を行い、前記機械学習を、前記シーンの周囲条件、前記シーンの前記低光条件、および前記計算後画像の画質もしくは前記フラッシュを使用して取り込まれた画質の機械学習による期待値に関する前記センサデータに基づいて行う、請求項１に記載の方法。

【請求項5】

前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを選択することは、機械学習を行い、前記機械学習を、周囲条件、低光条件、および非フラッシュ取込画像もしくはフラッシュ取込画像に対する人間が選択した選好に関するセンサデータを含む訓練データを使用して作成された機械学習モデルを利用して行う、請求項１に記載の方法。

【請求項6】

前記機械学習モデルは、畳み込みニューラルネットワークを含み、前記畳み込みニューラルネットワークは、画素値によって識別された幾何学的形状分類を含む第１の畳み込み層を有する、請求項５に記載の方法。

【請求項7】

前記畳み込みニューラルネットワークは、第２の畳み込み層を含み、前記第２の畳み込み層は、前記第１の畳み込み層内の前記幾何学的形状分類に基づいて判定されたシーン要素を含む、請求項６に記載の方法。

【請求項8】

前記センサデータは輝度データを含み、前記センサデータは、少なくとも部分的に、前記モバイルコンピューティングデバイスと統合された分光センサから受信され、前記フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することは、前記輝度データに基づく、請求項１～請求項７のいずれか１項に記載の方法。

【請求項9】

前記センサデータは、動き検出データを含み、前記センサデータは、少なくとも部分的に、事前フラッシュ設定における分光センサから受信され、前記フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することは、前記動き検出データに基づく、請求項１～請求項８のいずれか１項に記載の方法。

【請求項10】

前記センサデータは、シーンタイプデータを含み、前記センサデータは、少なくとも部分的に、前記モバイルコンピューティングデバイスと統合された分光センサから受信され、前記フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することは、前記シーンタイプデータに基づく、請求項１～請求項９のいずれか１項に記載の方法。

【請求項11】

前記センサデータは距離データを含み、前記フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することは、前記距離データに基づく、請求項１～請求項１０のいずれか１項に記載の方法。

【請求項12】

前記センサデータは、物体反射率データを含み、前記フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することは、前記物体反射率データに基づく、請求項１～請求項１１のいずれか１項に記載の方法。

【請求項13】

前記センサデータは、加速度計から収集された非撮像データを含み、前記加速度計から収集された前記データは、前記画像取込デバイスが、前記フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することのために必要な安定性を維持するかどうかを示す、請求項１～請求項１２のいずれか１項に記載の方法。

【請求項14】

前記フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することは、加重和方程式に基づき、前記加重和方程式は、
２つ以上のデバイスデータに割り当てられた加重値を含み、前記２つ以上のデバイスデータは、
前記１つまたは複数の画像取込デバイスのためのフラッシュを生成し、
前記１つまたは複数の画像取込デバイスのシャッターを調整し、
前記１つまたは複数の画像取込デバイスのレンズを調整し、または
計算後画像を生成するための電力消費を含み、
前記加重値は合計を生成し、フラッシュを使用せずに前記シーンの複数の画像を取り込むことを前記選択することは、しきい値を超える前記合計に基づく、請求項１～請求項１３のいずれか１項に記載の方法。

【請求項15】

プロセッサと、
１つまたは複数のセンサ、画像センサ、またはフラッシュ生成器と、
前記プロセッサによる実行に応じて、前記プロセッサに請求項１～請求項１４のいずれかの方法を実行させる命令を格納したコンピュータ可読記憶媒体と、を備える、モバイルコンピューティングデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

背景
モバイルコンピューティングデバイスには、多くの場合、シーンの画像を取り込むために、カメラなどの画像取込デバイスを含む。低光条件下で動作する従来の画像取込デバイスには、多くの課題がある。例えば、一部の画像取込デバイスが、低光条件下で、生産するシーンの画像の質が低い。フラッシュ写真撮影などの一部の解決策が、単一の態様で画像の質を改良するために使用されることがあるが、これらの解決策は、多くの場合、追加の画像の質の問題を作る。

【0002】

この背景説明は、開示の文脈を一般的に提示する目的で行われる。本明細書に別段の記載がない限り、本セクションに説明される材料は、本開示または添付の特許請求の範囲に対する先行技術であると明示的にも黙示的にも認められない。

【発明の概要】

【0003】

概要
この文書は、低光条件下での計算写真撮影の技術および装置を説明する。技術および装置は、画像取込デバイスおよびセンサを有するモバイルコンピューティングデバイスを利用してセンサデータを受信する。センサデータに基づいて、本技術はフラッシュを使用せずにシーンの複数の画像を取り込み、次に、複数の取り込まれた画像に基づいて計算後画像を生成することを選択する。

【0004】

態様では、低光条件下での計算写真撮影の方法が開示され、シーンに対する低光条件時にシーンの周囲条件に関するセンサデータを受信するモバイルコンピューティングデバイスを含む。モバイルコンピューティングデバイスは、シーンの周囲条件に関する受信されたセンサデータに基づいて、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択する。モバイルコンピューティングデバイスの１つまたは複数の画像取込デバイスが、シーンを取り込むために使用されてよい。モバイルコンピューティングデバイスは、計算後画像を生成かつ提供する。

【0005】

他の態様では、システム、コンピュータ可読媒体、および低光条件下での計算写真撮影の方法を行う方法が開示される。

【0006】

本要約は、低光条件下での計算写真撮影のための技術および装置の簡略化された概念を紹介するために提供され、その概念は、以下の詳細な説明および図面においてさらに説明される。

【0007】

低光条件下での計算写真撮影の１つまたは複数の態様の詳細が以下に説明される。説明および図の異なる例に同じ参照番号を使用することにより、同様の要素を示す。

【図面の簡単な説明】

【0008】

【図1】低光条件下で計算写真撮影を行うモバイルコンピューティングデバイスの例示的実施を示す図である。

【図2】低光条件下での計算写真撮影が実施されてよい例示的動作環境を示す図である。

【図3A】低光条件下で計算写真撮影を行う際に使用されるセンサおよびデータの例を示す図である。

【図3B】低光条件下で計算写真撮影を行う際に使用されるセンサおよびデータの例を示す図である。

【図4】低光条件下で計算写真撮影を行うために使用される非撮像データの例を示す図である。

【図5】低光条件下で計算写真撮影を行うために距離データを集めるモバイルコンピューティングデバイスの例示的実施を示す図である。

【図6】低光条件下での計算写真撮影の例示的な加重和方程式を示す図である。

【図7】低光条件下での計算写真撮影の例示的な機械学習モデルを示す図である。

【図8】低光条件下での計算写真撮影の例示的な方法を示す図である。

【発明を実施するための形態】

【0009】

低光条件下での計算写真撮影のための説明された技術および装置の特徴および概念が、任意の数の異なる環境で実施できるが、態様は、以下の実施例の文脈で説明される。

【0010】

詳細な説明
概説
この文書は、画像取込デバイスの低光条件下での計算写真撮影のための技術および装置を説明する。低光条件下での計算写真撮影は、そこからより高い質の単一の計算後画像が生成され得るフラッシュを使わずに、異なる設定で複数の画像を取り込むかを自動的に判定する。自動化された判定は、モバイルコンピューティングデバイスのユーザのために判定する際に、モバイルコンピューティングデバイスの電力制約および画質などの複数の要因のバランスを取り、それによって、モバイルコンピューティングデバイスの経験の浅いユーザを補助し、モバイルコンピューティングデバイスの経験豊富なユーザのために設定を手動で調整するのに費やされる時間を節約する。

【0011】

本明細書に記載の低光条件下での計算写真撮影は、センサデータまたはデバイスデータを利用してよく、モバイルコンピューティングデバイスは、計算写真撮影を行うかを選択できる。センサデータまたはデバイスデータに基づいて、モバイルデバイスは、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択し、計算後画像を生成し、計算後画像を提供する。

【0012】

モバイルコンピューティングデバイスのユーザは、低光条件下で写真をとるのに苦労することがよくある。これらのユーザは、高質の画像を取り込むことを望んで、モバイルコンピューティングデバイス上のフラッシュ設定ならびに他の画質設定を手動で調整しようとすることがある。しかしながら、熟練した写真家でさえ、低光条件下でカメラの変数を適切に較正して高質画像を生成するのに苦労する。低光条件は、写真家が、手動でフラッシュを発光させるか、またはフラッシュなしで複数の画像をとり、複数の画像を組み合わせて計算後写真撮影方法により単一の画像にするかを決定する際、選ばなければならないため、特に困難である。低光条件下での計算写真撮影のための説明された技術は、このように決定することによって写真家の問題を解決できるだけではなく、処理資源または電池電力などのコンピューティング資源を節約できる。そうするために、本技術は、ユーザが試行錯誤のアプローチで画像取込デバイス上の設定を手動で調整すること、または本技術を使用して取り込まれるよりも低質の画像を取り込むことのいずれかを必要とするのではなく、自動化された決定の一部として複数の要因を分析する。

【0013】

画像取込デバイスのための低光条件下での計算写真撮影のための説明された技術および装置の特徴および概念は、任意の数の異なる環境で実施でき、態様は、以下の実施例の文脈で説明される。

【0014】

例示的デバイス
図１は、本明細書に記載の技術により低光条件下で計算写真撮影を行うモバイルコンピューティングデバイス１０２の例示的実施１００を示す。図示のモバイルコンピューティングデバイス１０２は、１つまたは複数のセンサ１０４、第１の画像取込デバイス１０６、および第２の画像取込デバイス１０８を含んでよい。例示されたように、モバイルコンピューティングデバイス１０２は、シーン１１０を取り込むために使用される。シーン１１０は、１つまたは複数の画像取込デバイス（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）によって取り込まれてよく、これらのデバイスは、より質の高い計算後画像１１４を生成するために、シーン１１０の１つまたは複数の画像１１２を取り込んでよい。換言すれば、モバイルコンピューティングデバイス１０２は、シーン１１０の複数の画像１１２を取り込み、それらの個々の画像は、様々なレベルの質を有する。例えば、ある画像は高いレベルの物体反射率を有するが、別の画像はシーン内の物体移動からの歪みを有することがある。モバイルコンピューティングデバイス１０２は、望ましくない特性（例えば、シーンの歪み、グレア、色あせた外観）を除去しながら、最も望ましい質（例えば、最適なシーンの輝度、最適な物体の動き、最適なシーンタイプ、最適な物体範囲、および最適な物体の反射性）を選択するように、これらの複数の画像１１２を処理できる。一旦、工程により選択されると、モバイルコンピューティングデバイス１０２は、単独の複数の画像１１２の各々よりも質の高い単一の計算後画像１１４を生産する。

【0015】

モバイルコンピューティングデバイス１０２は、センサデータを取り込む１つまたは複数のセンサ１０４を含み、センサデータは、取り込まれるシーン１１０において条件を判定するために使用されてよい。例えば、センサデータは、画像が取り込まれることが意図されているシーンのタイプを判定する基準となるシーンタイプデータを含んでよい。このシーンタイプデータは、例えば、モバイルコンピューティングデバイス１０２と統合された分光センサから受信できる。このシーンタイプデータと他のセンサデータは、フラッシュで画像を取り込むかを判定する技術によって使用される。

【0016】

センサ１０４は、各シーンにおける周囲光のレベルを示す周囲光センサを含んでよい。周囲光のレベルは、低光条件１１６の存在の判定、ならびにシーンにおける周囲光の少なさの判定に役立つことがある。低光条件１１６は、霧、雨、煙、雪、屋内、夜間などを含むが、これらに限定されない多くの異なる環境に適用してよい。低光条件１１６は、夕暮れおよび夜明けを含む多くの異なる時間帯に適用してもよい。例えば、シーンは、自然光がシーンから消えるにつれて日没後に屋外で生じる。別の例では、シーンは室内照明の量が少ない屋内で生じる。

【0017】

別の態様では、フラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択することは、シーンの条件に関する受信されたセンサデータ、およびモバイルコンピューティングデバイス１０２の１つまたは複数の画像取込デバイス（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）を使用することに基づく。このように、この判定は、取り込まれたセンサデータに基づいて、決定木、加重和方程式、または機械学習モデルを使用して、されることができる。

【0018】

さらに別の態様では、フラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択することは、上述したように、モバイルコンピューティングデバイス１０２上の電力消費に関するデバイスデータ、またはセンサデータに基づく。

【0019】

例示的実施１００では、２つの画像取込デバイス（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）が、取り込まれるシーン１１０の１つまたは複数の画像１１２を取り込む。加えて、センサ１０４は、シーンに関するセンサデータ（例えば、シーンの輝度、物体の動き、シーンタイプ、物体範囲、および物体の反射性）を収集してよい。２つの画像取込デバイス（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）およびセンサ１０４は、モバイルコンピューティングデバイス１０２上に格納されたデータ（例えば、輝度データ、物体の動きデータ、シーンタイプデータ、物体範囲データ、および物体反射性データ）を収集する。

【0020】

一態様では、フラッシュなしでシーン１１０の複数の画像１１２を取り込むことを選択することは、少なくとも部分的に、計算後画像１１４の質に対する人間が選択した選好または人間以外が選択する選好に基づく機械学習により判定されてよい。他の態様では、フラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択することには、シーン１１０の周囲条件、シーン１１０の低光条件１１６、および計算後画像の画質もしくはフラッシュを使用して取り込まれた画質の機械学習された期待値に関するセンサデータに基づいて機械学習を行う。例えば、画質の機械学習された期待値は、モバイルコンピューティングデバイス１０２のユーザが、画像が取り込まれた後に画像を削除することを選ぶことに基づく。別の例では、画質の機械学習された期待値は、個々の画素値などの画像の分析に基づく。画素値は、画像が「色あせた」または反射率が高いかへの洞察を提供し、それによって画質が悪いことを示し、機械学習モデルにより、計算写真撮影の代替設定を提案する。

【0021】

必要とされていないが、本技術は、ユーザまたは他のユーザによってなされた以前の画像取込を使用して訓練された機械学習モデルを使用してよい。例えば、機械学習の使用は、パーセプトロン、順伝播型ニューラルネットワーク、畳み込みニューラルネットワーク、放射基底関数ニューラルネットワーク、または回帰型ニューラルネットワークを含むニューラルネットワークの使用による教師あり学習または教師なし学習を含んでよい。フラッシュを使用する、またはフラッシュを使用しない露光に関連した欠陥の可能性は、教師あり機械学習によっても判定できる。教師あり機械学習では、画像に関連付けられた特徴を識別する以前の画像取込のラベル付きセットが、低光条件１１６時に取り込まれた画像に対するそれらの影響（例えば、ぼかし欠陥、高ノイズ欠陥、またはバンディング欠陥）に基づいてラベル付けされた、非撮像データ（例えば、加速度計データ、フリッカセンサデータ、ジャイロスコープデータ、レーダデータ）および撮像データなどの機械学習モデルを構築するために与えられることができる。この教師あり機械学習により、将来の画像取込は、関連する特徴に基づいて、露光に関連した欠陥によって分類されてよい。さらに、将来の画像取込は、データセット内へフィードバックして、機械学習モデルをさらに訓練してよい。機械学習モデルは、フラッシュを使用して単一の画像を取り込むか、またはより質の高い単一の計算後画像が生成されるフラッシュなしで、異なる設定下で複数の画像を取り込むかを自動的に判定し、それによって、モバイルコンピューティングデバイス１０２の経験の浅いユーザを補助し、モバイルコンピューティングデバイス１０２の経験のあるユーザのために設定を手動で調整するのに費やす時間を節約する。

【0022】

図２は、ユーザデバイス１０２のための低光条件１１６下での計算写真撮影が実施されてよい例示的な動作環境２００を示す。本文書は、モバイルコンピューティングデバイス１０２（例えば、スマートフォン）上で行われる画像取込デバイス（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）のための低光条件１１６下での計算写真撮影のいくつかの態様を開示するが、画像取込デバイスのための低光条件１１６下での計算写真撮影は、モバイルコンピューティングデバイス１０２－１、タブレット１０２－２、ラップトップもしくはパーソナルコンピュータ１０２－３、テレビ１０２－４、腕時計１０２－５、撮像アイウェア１０２－６などを含むが、これらに限定されない任意のコンピューティングデバイスを使用して行われてもよいことに留意されたい。

【0023】

図２に示される例示的な動作環境２００は、１つまたは複数のプロセッサ２０２と、１つまたは複数のプロセッサ２０２によって実行されると、１つまたは複数のプロセッサ２０２に、本文書に説明されるように低光条件下での計算写真撮影の方法を実施させる、機械学習構成要素２０８、デバイスデータ２１０、または画像併合構成要素２１２を組み込んでもよい、メモリ２０６を含むコンピュータ可読媒体２０４とを含む。例示的動作環境２００はまた、ユーザインターフェース２１４、１つまたは複数の画像取込デバイス２１６（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）、センサデータを取り込むことができる１つまたは複数のセンサ１０４、ディスプレイ２１８、およびフラッシュ生成器２２０を含む。低光条件１１６下でのシーン１１０の複数の取込画像１１２は、画像併合構成要素２１２によって利用されて低光条件下での計算写真撮影の方法を実施する。低光条件１１６下でのシーン１１０の複数の取込画像１１２の各々は、異なる露光設定または照明設定（例えば、露光積み重ね）で取り込まれることができ、画像併合構成要素２１２は、複数の取込画像１１２を組み合わせて、より質の高い単一の計算後画像１１４にする。

【0024】

図３Ａは、センサデータを収集するために使用できるセンサ（１つまたは複数）１０４の例を示す。例えば、モバイルコンピューティングデバイス１０２は、非撮像データを生産することができる非撮像センサ３０２と、他のタイプのデータに加えて撮像データを生産することができる撮像センサ３０４とを含んでよい。非撮像センサ３０２は、加速度センサ３０６、フリッカセンサ３０８、ジャイロスコープ３１０、およびレーダシステム３１２を含む。加速度計３０６およびジャイロスコープ３１０は、モバイルコンピューティングデバイス１０２の移動に起因して取り込まれるシーン１１０内の移動を判定できることがある。換言すれば、移動があり、モバイルコンピューティングデバイスが安定性を欠く場合は、低光条件１１６下での計算写真撮影がフラッシュ写真撮影よりも好まれる可能性が高い、または低いことがある。他の態様では、フリッカセンサ３０８は、輝度の急速な変化を測定してよい。輝度が高度に可変である場合は、複数の画像１１２に対する計算写真撮影が単一画像のフラッシュ写真撮影よりも好まれることがある。追加の態様では、レーダシステム３１２は、取り込まれるシーン内の移動がモバイルコンピューティングデバイス１０２で実施されてよいことを判定することができる。さらに追加の態様では、低光条件１１６下で計算写真撮影を実施する可能性を判定するためにセンサデータを提供することができる任意の他のセンサが利用されてよい。

【0025】

センサデータは、モバイルコンピューティングデバイス１０２の１つまたは複数の画像取込デバイス（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）を含む撮像センサ３０４によって取り込まれた撮像データであってよい。画像取込デバイスの撮像センサ３０４は、相補性金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ３１４などを含む。例えば、ＣＭＯＳセンサ３１４は、シーン１１０の物体反射率を示すデータを提供してよい。物体の反射率が高い場合では、複数の画像１１２に対して低光条件１１６下で計算写真撮影を行うことが、単一の画像の取込のためのフラッシュ写真撮影よりも好まれることがある。

【0026】

図３Ｂは、低光条件下での計算写真撮影に使用できるデバイスデータ２１０の例を示す。例は、フラッシュの生成に関連する電力消費３１６、１つまたは複数の画像取込デバイスのシャッターの調整に関連する電力消費３１８、１つまたは複数の画像取込デバイスのレンズの調整に関連する電力消費３２０、および複数の画像を取り込み、それらの画像を後処理することに関連する電力消費３２２を含む。例えば、本技術は、デバイスデータ２１０の各々の電力消費コストを判定し、バランスをとること、例えば、フラッシュを行うことが、フラッシュで複数の画像を取り込み、次にそれらの画像を後処理することよりも、電力を費やすと判定することができる（例えば、３１６を３２２と比較する）。

【0027】

図４は、非撮像データ４０２（センサ１０４により受信されたのが示されている）に基づいて、低光条件１１６下で計算写真撮影を行うモバイルコンピューティングデバイス１０２の例４００を示す。一例では、非撮像データは、モバイルコンピューティングデバイス１０２の移動に起因して取り込まれるシーン内の移動を判定することができる加速度計３０６またはジャイロスコープ３１０（図示せず）によって提供される。モバイルコンピューティングデバイス１０２の移動は、矢印４０４、４０６、４０８、および４１０でそれぞれ示される。加速度計３０６またはジャイロスコープ３１０から収集されたデータは、画像取込デバイス（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）がフラッシュ４１２を使用せずにシーン１１０の複数の画像１１２を取り込むことを選択するために必要な安定性を維持するかどうかを示し、フラッシュ画像より質の高い計算後画像１１４を提供する。画像取込デバイス１０６および１０８が加速している（例えば、急に引く、急速な移動変化を有する）とき、処理して単一の画像にするために複数の画像取込を行うよりも、フラッシュを行うことに対して大きな重みが与えられ得る。

【0028】

図５は、モバイルコンピューティングデバイス１０２から物体５０２までの距離（例えば、距離データ）が計算される環境５００を示す。シーン１１０の複数の画像１１２を取り込むことを選択することは、部分的に、距離５０４に基づいてよい。ここで、モバイルコンピューティングデバイス１０２は、レーザセンサ５０６を使用して距離５０４を決定するが、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８からのデータに基づく他のセンサなども使用できる。

【0029】

より詳細には、モバイルコンピューティングデバイス１０２と統合されたレーザセンサ５０６は、シーン内の物体５０２上へ赤外線５０８を発し、次いで、物体５０２から反射された赤外線５１０を受信できる。次に、モバイルコンピューティングデバイス１０２は、赤外線を発することと受信することとの間の時間差に基づいて距離５０４を計算する。

【0030】

図６は、画像取込デバイス（例えば、第１の画像取込デバイス１０６および第２の画像取込デバイス１０８）に対して低光条件１１６下での計算写真撮影において利用される例示的な加重和方程式６００を示す。加重和方程式６００は、それらの対応する特徴値が乗算された他の加重値に加えられた重み値６０４が乗算された特徴値６０２を含む。最終的な合計（決定６０６）がしきい値を超えると、本技術はフラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択する。

【0031】

追加の態様では、特徴値６０２の各々は、シーンの輝度、物体の動き、シーンタイプ、距離データ、または物体の反射率（６００で複数の他の特徴および重みとともに示される）などのセンサデータを含むことができる。他の態様では、特徴値６０２の各々は、フラッシュを生成する、シャッターを調整する、１つまたは複数の画像取込デバイスのレンズを調整する、または複数の画像を取り込み、それらの画像上に後処理を行うために必要とされる電力消費などのデバイスデータを含むことができる。

【0032】

例えば、低電力で動作するモバイルコンピューティングデバイス１０２上のフラッシュの生成に関連する電力消費３１６は、単一画像のフラッシュ写真撮影よりも、複数の画像１１２に対して低光条件１１６下で計算写真撮影を行うことに有利に働くことがある。別の例では、低電力で動作するモバイルコンピューティングデバイス１０２上の１つまたは複数の画像取込デバイスのシャッターの調整に関連する電力消費３１８は、単一画像のフラッシュ写真撮影よりも、複数の画像１１２に対して低光条件１１６下で計算写真撮影を行うことに有利に働くことがある。さらに別の例では、低電力で動作するモバイルコンピューティングデバイス１０２上の１つまたは複数の画像取込デバイスのレンズの調整に関連する電力消費３２０は、単一の画像のフラッシュ写真撮影よりも、複数の画像１１２に対して低光条件１１６下で計算写真撮影を行うことに有利に働くことがある。さらに別の例では、低電力で動作するモバイルコンピューティングデバイス１０２上の１つまたは複数の画像取込デバイスの計算後画像１１４を生成することに関連する電力消費は、単一画像のフラッシュ写真撮影よりも、複数の画像１１２に対して低光条件１１６下で計算写真撮影を行うことに不利に働くことがある。

【0033】

図７は、機械学習を使用して低光条件１１６下で計算写真撮影を行うための例示的な畳み込みニューラルネットワーク７００を示す。描かれた構成では、畳み込みニューラルネットワーク７００は、低光条件１１６下で計算写真撮影を実施する。畳み込みニューラルネットワーク７００の一般的な動作は、隠れ層７１０内の神経単位７０８に入力層７０６として提供されるセンサデータ７０２またはデバイスデータ７０４を受信することを含む。異なる角度ビン７１２の確率は、出力層７１４で生成される。

【0034】

態様では、フラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択することは、周囲条件、低光条件１１６、および非フラッシュ取込画像もしくはフラッシュ取込画像に対する人間が選択もしくは人間以外が選択した選好に関するセンサデータ７０２（例えば、シーンの輝度、物体の動き、シーンタイプ、距離データ、または物体の反射率）を含む訓練データを利用する。例えば、モバイルコンピューティングデバイス１０２の人間のユーザは、画像の質が低かったというユーザの決定により、フラッシュでとられた写真をモバイルコンピューティングデバイス１０２から削除してよい。別の例では、モバイルコンピューティングデバイス１０２上のデータにアクセスする人間以外（例えば、ソフトウェア）は、フラッシュの有無にかかわらず、とられたモバイルコンピューティングデバイス１０２からの写真が、明瞭さ、解像度、白バランス、色、または画質の他の測定値の低下など、質が低いことを分析かつ判定してよい。これらの画質の判定は、畳み込みニューラルネットワーク７００などの機械学習モデルを構築または改良するために使用できる。

【0035】

特に、隠れ層７１０は、畳み込み層７１６、プーリング層７１８、および全結合層７２０を含む。態様では、畳み込み層７１６は、画素値によって識別される幾何学的形状を有する第１の畳み込み層を含む。画素値は、前に取り込まれた画像の他の提供されたセンサデータ（例えば、加速度計、フリッカセンサ、ジャイロスコープ）に加えて、前に取り込まれた画像（例えば、前のシーンの計算後画像）に由来することがある。一例では、フィルタが、幾何学的形状（例えば、正方形、円、線、楕円）について選択するために、センサデータ７０２に適用されてよい。追加の態様では、畳み込み層７１６は、第１の畳み込み層内の幾何学的形状分類に基づいて判定されたシーン要素を含む、第２の畳み込み層を含んでよい。例えば、第１の畳み込み層は、水平線の上の２つの円を識別する幾何学的形状を含んでよい。第２の畳み込み層は、水平線の上にある２つの円を人間の顔として分類できる。別の例では、第２の畳み込み層は、月、木、または崖縁などのシーン１１０からの要素を含んでよい。さらに別の例では、第２の畳み込み層は、ほんの数例を挙げると、顔の特徴、物体間の距離、スタジアム、または山の風景などのシーン要素を識別できる。さらにさらなる態様では、畳み込み層７１６は、前のシーンについて取り込まれた前の計算後画像を削除するために、人間が選択する、または人間以外が選択する選好に関するデータを有する第３の畳み込み層を含んでよい。前のシーンで取り込まれた画像を削除するという人間が選択した選好は、機械学習モデルを訓練するために使用されてよい。人間は、前の計算後画像またはフラッシュ画像が十分な質を欠くと判定し、その後、画像を削除することがある。あるいは、機械学習モデルは、画像を別のデバイスに送ること、それをソーシャルメディアにアップロードすること、それを格納することなどを選択することなど、前の画像との人間による積極的な相互作用に基づいて訓練できる。

【0036】

畳み込み層７１６は、学習されたフィルタ（例えば、カーネル）を使用して、着信データ上に畳み込み演算を行ってセンサデータ７０２の特徴を抽出する。プーリング層７１８は、前の層の複数の神経単位７０８の出力を集約し（例えば、組み合わせ）、その結果を次の層の単一の神経単位に渡す。プーリング層７１８は、例えば、加重和演算または最大演算を行うことができる。

【0037】

追加の態様では、訓練データは、シーンの輝度、物体の動き、シーンタイプ、距離データ、または物体の反射率を含むセンサデータ７０２であり、フラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択することは、シーンの輝度、物体の動き、シーンタイプ、距離データ、または物体の反射率を含む訓練データを使用して構築された機械学習モデルに基づく。あるいは、訓練データは、機械学習を行うための電力を含む、電力消費に関するデータなどのデバイスデータ７０４を含み、フラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択することは、機械学習を行うための電力を含む電力消費に関するデータを含む訓練データを使用して構築された機械学習モデルに基づく。これは、本技術が、フラッシュで取り込まれた画像と、フラッシュなしで取り込まれ次いで処理されて１つの画像にされる複数の画像と、どちらの画像がより質が高い可能性があるかを判定するだけではなく、機械学習の信頼度が低い場合、または加重和のしきい値にかろうじて、またはもう少しで達する場合に、代わりに、電力消費に基づいて選択することを判定する１つのやり方にすぎない。

【0038】

例示的方法
図８は、低光条件下での計算写真撮影の例示的方法８００を示す。この例では、本方法は、フラッシュを使用して単一の画像を取り込むか、またはフラッシュなしで複数の画像を取り込み、そこから単一の計算後画像を生成するかを自動的に判定する。自動化された判定は、判定をする際に、モバイルコンピューティングデバイス１０２の電力制約および画質などの複数の要因のバランスをとる。この判定は、モバイルコンピューティングデバイス１０２のユーザが、低光条件下でよりよく画像を取り込むのを助ける。

【0039】

８０２で、１つまたは複数のセンサにより、モバイルコンピューティングデバイスが、シーンの低光条件時のシーンの周囲条件に関するセンサデータを受信する。一例では、センサデータは、シーンタイプデータを含んでよく、センサデータは、少なくとも部分的に、モバイルコンピューティングデバイス１０２と統合された分光センサから受信される。別の例では、センサデータは使用されて、シーン内の物体５０２から、赤外線レーザの使用などにより、モバイルコンピューティングデバイス１０２までの距離５０４を測定できる。例えば、本技術は、レーザセンサ５０６から赤外線５０８をシーン内の物体５０２上へ発する時間を測定することによって、取り込まれるシーン内の物体５０２からの距離５０４を判定し、次に、物体５０２から反射された反射赤外線５１０を受信できる。

【0040】

８０４で、モバイルコンピューティングデバイスは、反射率または動き検出データなどのセンサデータに基づいて、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択する。例えば、モバイルコンピューティングデバイス１０２は、図５に関連して説明される距離データに基づいて、フラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択してよい。別の例では、選択は、決定木、図６に関連して説明される加重和方程式、またはこれらの判定方式の組合せにより判定される。さらに別の例では、モバイルコンピューティングデバイス１０２は、図７に関連して説明される、機械学習によって分析されると、センサデータに基づいて、フラッシュを使用せずにシーン１１０の複数の画像１１２を取り込むことを選択してよい。

【0041】

８０６で、シーンの複数の画像が組み合わされて計算後画像を生成する。後処理を行う例示的な方式は、１つまたは複数のプロセッサ２０２によって実行されると、１つまたは複数のプロセッサ２０２に、この文書で説明されるように低光条件下での計算写真撮影の方法を実施させる画像併合構成要素２１２を含む。低光条件１１６下でのシーン１１０の複数の取込画像１１２は、画像併合構成要素２１２によって利用されて低光条件下での計算写真撮影の方法を実施する。低光条件１１６下でのシーン１１０の複数の取込画像１１２の各々は、同じまたは異なる露光設定または照明設定（例えば、露光積み重ね）で取り込まれることができ、画像併合構成要素２１２は、複数の取込画像１１２を組み合わせて質の高い単一の計算後画像１１４にする。

【0042】

８０８で、計算後画像は、モバイルコンピューティングデバイス１０２上の表示または格納などにより提供される。

【0043】

しかしながら、上述したように、本技術は、上述した様々な基準に基づいて、フラッシュを使用して画像を取り込むことを判定してよい。そのような場合、８１０で、モバイルコンピューティングデバイスは、フラッシュ生成器２２０に提供させることなどによって、フラッシュを使用してシーンの画像を取り込むことを選択し、１つまたは複数の画像取込デバイス２１６とのタイミングで、フラッシュを使用してシーンの画像を取り込む。８１２で、本技術は、フラッシュ取込画像を生成し、この画像は、次に、８１４で本技術によって提供される。

【0044】

しかしながら、いくつかの代替または追加の場合では、本技術は、フラッシュを使用せずにシーンの複数の画像を取り込み、フラッシュでシーンの１つの画像を取り込むことを選択してよい（例えば、フラッシュの前および／または後に非フラッシュ画像を取り込む）。そのような場合、本技術は、８０８で計算後画像、８１４でフラッシュ取込画像、または両方の後処理された組合せのいずれかを提供することを選択する。一方または他方を選択する際に、本技術は、提供する２つの画像のうちどちらがより良いかを判定するが、両方とも、ユーザによる選択のために格納または提示されてよい。

【0045】

しかしながら、両方を組み合わせるために、８１６で、本技術は、計算後画像およびフラッシュ取込画像の部分を組み合わせることを選択する。本技術は、ぼかしもしくはノイズの欠陥などの一方または両方の画像における何らかの欠陥、または（例えば、上記のように取り込む前に）ノイズもしくはぼかしの可能性を示すセンサデータに基づいて、選択してよい。１つの例示的組合せでは、フラッシュなしで、とられた計算後画像の部分が使用されてそれらの部分内のノイズを低減する一方で、移動があり、そうでなければ動きのためにぼかされて見える可能性のあるフラッシュ取込画像の部分が次に組み合わされる。したがって、８１８で、画像が組み合わされ、８２０で、フラッシュでおよびフラッシュなしで取り込まれたシーンの部分を有する単一の画像が提供される。

【0046】

一般に、本明細書に記載の構成要素、モジュール、方法、および動作のいずれかは、ソフトウェア、ファームウェア、ハードウェア（例えば、固定論理回路）、手動処理、またはそれらの任意の組合せを使用して実施できる。例示的方法のいくつかの動作は、コンピュータ処理システムに対して局所および／または遠隔であるコンピュータ可読記憶メモリに格納された実行可能命令の一般的な文脈で記述されてよく、実施は、ソフトウェア用途、プログラム、機能などを含むことができる。代替でまたは加えて、本明細書に記載の機能性のいずれかは、少なくとも部分的に、現場でプログラム可能なゲート配列（ＦＰＧＡｓ：Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、特定用途向け集積回路（ＡＳＩＣｓ：Ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、特定用途向け標準製品（ＡＳＳＰｓ：Ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔｓ）、システムオンチップシステム（ＳｏＣｓ：Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ ｓｙｓｔｅｍｓ）、複合のプログラム可能な論理デバイス（ＣＰＬＤｓ：Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）などを含むが限定されない、１つまたは複数のハードウェア論理構成要素によって行われることができる。

【0047】

いくつかの例が以下に説明される。
例１：モバイルコンピューティングデバイスが、シーンの低光条件時に、シーンの周囲条件に関するセンサデータを受信することと、シーンの周囲条件に関する受信されたセンサデータに基づいて、モバイルコンピューティングデバイスの１つまたは複数の画像取込デバイスを使用して、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することと、フラッシュを使用せずにシーンの複数の画像を取り込むことに応じて、シーンの複数の画像を使用して１つの計算後画像を生成することと、計算後画像を提供することとを含む方法。

【0048】

例２：例１に記載された方法であって、モバイルコンピューティングデバイス上での電力消費に関するデバイスデータを受信することが、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択する決定を判定してよい。

【0049】

例３：例２に記載された方法であって、電力消費は、１つまたは複数の画像取込デバイスのためのフラッシュを生成し、１つまたは複数の画像取込デバイスのシャッターを調整し、１つまたは複数の画像取込デバイスのレンズを調整し、または、計算後画像を生成するための電力を含む。

【0050】

例４：例１に記載された方法であって、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、機械学習を行い、機械学習を、シーンの周囲条件、シーンの低光条件、および計算後画像の画質もしくはフラッシュを使用して取り込まれた画質の機械学習による期待値に関するセンサデータに基づいて行う。

【0051】

例５：例４に記載された方法であって、機械学習は、電力消費に関するデバイスデータを含み、電力消費は、機械学習を行うための電力を含む。

【0052】

例６：例１に記載された方法であって、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、機械学習を行い、機械学習を、周囲条件、低光条件、および非フラッシュ取込画像もしくはフラッシュ取込画像に対する人間が選択した選好に関するセンサデータを含む訓練データを使用して作成された機械学習モデルを利用して行う。

【0053】

例７：例６に記載された方法であって、機械学習モデルは、畳み込みニューラルネットワークを含み、畳み込みニューラルネットワークは、画素値によって識別された幾何学的形状分類を含む第１の畳み込み層を有する。

【0054】

例８：例７に記載された方法であって、畳み込みニューラルネットワークは、第２の畳み込み層を含み、第２の畳み込み層は、第１の畳み込み層内の幾何学的形状の分類に基づいて判定されたシーン要素を含む。

【0055】

例９：例８に記載された方法であって、第２の畳み込み層は、顔の特徴、物体間の距離、スタジアム、または山の風景を含むシーン要素を含む。

【0056】

例１０：例８または例９に記載された方法であって、畳み込みニューラルネットワークは、第３の畳み込み層を含み、第３の畳み込み層は、前のシーンについて取り込まれた前の計算後画像を削除するために人間が選択した選好に関するデータを含む。

【0057】

例１１：例１に記載された方法であって、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、機械学習を行い、機械学習を、周囲条件、低光条件、および非フラッシュ取込画像もしくはフラッシュ取込画像に対する人間以外が選択する選好に関するセンサデータを含む訓練データを使用して作成された機械学習モデルを利用して行う。

【0058】

例１２：例１に記載された方法であって、センサデータは輝度データを含み、センサデータは、少なくとも部分的に、モバイルコンピューティングデバイスと統合された分光センサから受信され、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、輝度データに基づく。

【0059】

例１３：例１に記載された方法であって、センサデータは、動き検出データを含み、センサデータは、少なくとも部分的に、事前フラッシュ設定における分光センサから受信され、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、動き検出データに基づく。

【0060】

例１４：例１に記載された方法であって、センサデータはシーンタイプデータを含み、センサデータは、少なくとも部分的に、モバイルコンピューティングデバイスと統合された分光センサから受信され、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、シーンタイプデータに基づく。

【0061】

例１５：例１に記載された方法であって、センサデータは距離データを含み、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、距離データに基づく。

【0062】

例１６：例１５に記載された方法であって、距離データは、少なくとも部分的に、１つまたは複数の画像取込デバイスのうちの２つの画像取込デバイスから受信される。

【0063】

例１７：例１５に記載された方法であって、距離データは、少なくとも部分的に、モバイルコンピューティングデバイスと統合されたレーザセンサから受信され、モバイルコンピューティングデバイスは、１つまたは複数の画像取込デバイスからシーン内の物体までの距離を計算するように構成される。

【0064】

例１８：例１７に記載された方法であって、レーザセンサは、シーン内の物体上へ赤外線を投じ、レーザセンサは、物体から反射された赤外線を受信する。

【0065】

例１９：例１８に記載された方法であって、レーザセンサがシーン内の物体上へ赤外線を発する第１の時間、およびレーザセンサが反射された赤外線を受信する第２の時間が、赤外線の速度が乗算されて距離データを提供する。

【0066】

例２０：例１に記載された方法であって、センサデータは、物体反射率データを含み、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、物体反射率データに基づく。

【0067】

例２１：例１に記載された方法であって、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、センサデータのうちの２つ以上に割り当てられた加重値を含む加重和方程式に基づき、センサデータのうちの２つ以上は、シーンの輝度、物体の動き、シーンタイプ、距離データ、または物体の反射率を含む。

【0068】

例２２：例２１に記載された方法であって、加重値は合計を生成し、合計は、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することを可能にするしきい値を超えなければならない。

【0069】

例２３：例１に記載された方法であって、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、加重和方程式に基づき、加重和方程式は、２つ以上のデバイスデータに割り当てられた加重値を含み、２つ以上のデバイスデータは、１つまたは複数の画像取込デバイスのためのフラッシュを生成し、１つまたは複数の画像取込デバイスのシャッターを調整し、１つまたは複数の画像取込デバイスのレンズを調整し、または計算後画像を生成するための電力消費を含み、加重値は合計を生成し、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、しきい値を超える合計に基づく。

【0070】

例２４：例１に記載された方法であって、センサデータは、シーンの輝度、物体の動き、シーンタイプ、距離データ、または物体の反射率を含み、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択することは、シーンの輝度、物体の動き、シーンタイプ、距離データ、または物体の反射率を含む訓練データを使用して構築された機械学習モデルに基づく。

【0071】

例２５：例１に記載された方法であって、センサデータは非撮像データを含む。
例２６：例２５に記載された方法であって、非撮像データは、加速度計から収集されたデータを含み、加速度計から収集されたデータは、画像取込デバイスが、フラッシュを使用せずにシーンの複数の画像を取り込むことを選択するために必要な安定性を維持するかどうかを示す。

【0072】

例２７：例１に記載された方法であって、センサデータは、モバイルコンピューティングデバイスの１つまたは複数の画像取込デバイスによって取り込まれた撮像データである。

【0073】

例２８：プロセッサと、１つまたは複数のセンサ、画像センサ、またはフラッシュ生成器と、プロセッサによる実行に応じて、プロセッサに例１～例２７のいずれかの方法を実行させる命令を格納したコンピュータ可読記憶媒体と、を備えるモバイルコンピューティングデバイス。

【0074】

結び
画像取込デバイスの低光条件下での計算写真撮影の態様は、特徴および／または方法に特化した言語で説明されたが、添付の特許請求の範囲の主題は、記載された特定の特徴または方法に必ずしも限定されるものではない。むしろ、特定の特徴および方法は、画像取込デバイスのための低光条件下での請求項の計算写真撮影の例示的実施として開示され、他の同等の特徴および方法は、添付の特許請求の範囲内にあることが意図される。さらに、種々の態様が記載され、記載された各態様は、独立して、または１つもしくは複数の他の記載された態様と関連して実施できることが理解できる。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2024-02-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

モバイルコンピューティングデバイスが、シーンの低光条件時に、前記シーンの周囲条件に関するセンサデータを受信することと、
前記シーンの前記周囲条件に関する受信された前記センサデータに基づいて、前記モバイルコンピューティングデバイスの１つまたは複数の画像取込デバイスを使用して、フラッシュを使用せずに前記シーンの複数の画像を取り込むことを選択することと、
前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことに応じて、前記シーンの前記複数の画像を使用して１つの計算後画像を生成することと、
前記計算後画像を提供することと、を含む、方法。

【請求項2】

前記方法は、前記モバイルコンピューティングデバイス上の電力消費に関するデバイスデータを受信することをさらに含み、前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを選択することは、前記電力消費にさらに基づく、請求項１に記載の方法。

【請求項3】

前記電力消費は、
前記１つまたは複数の画像取込デバイスの前記フラッシュを生成し、
前記１つまたは複数の画像取込デバイスのシャッターを調整し、
前記１つまたは複数の画像取込デバイスのレンズを調整し、または
前記計算後画像を生成するための電力を含む、請求項２に記載の方法。

【請求項4】

前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、機械学習を行い、前記機械学習を、前記シーンの周囲条件、前記シーンの前記低光条件、および前記計算後画像の画質もしくは前記フラッシュを使用して取り込まれた画質の機械学習による期待値に関する前記センサデータに基づいて行う、請求項１に記載の方法。

【請求項5】

前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、機械学習を行い、前記機械学習を、周囲条件、低光条件、および非フラッシュ取込画像もしくはフラッシュ取込画像に対する人間が選択した選好に関するセンサデータを含む訓練データを使用して作成された機械学習モデルを利用して行う、請求項１に記載の方法。

【請求項6】

前記機械学習モデルは、畳み込みニューラルネットワークを含み、前記畳み込みニューラルネットワークは、画素値によって識別された幾何学的形状分類を含む第１の畳み込み層を有する、請求項５に記載の方法。

【請求項7】

前記畳み込みニューラルネットワークは、第２の畳み込み層を含み、前記第２の畳み込み層は、前記第１の畳み込み層内の前記幾何学的形状分類に基づいて判定されたシーン要素を含む、請求項６に記載の方法。

【請求項8】

前記センサデータは輝度データを含み、前記センサデータは、少なくとも部分的に、前記モバイルコンピューティングデバイスと統合された分光センサから受信され、前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、前記輝度データに基づく、請求項１～請求項７のいずれか１項に記載の方法。

【請求項9】

前記センサデータは、動き検出データを含み、前記センサデータは、少なくとも部分的に、事前フラッシュ設定における分光センサから受信され、前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、前記動き検出データに基づく、請求項１～請求項８のいずれか１項に記載の方法。

【請求項10】

前記センサデータは、シーンタイプデータを含み、前記センサデータは、少なくとも部分的に、前記モバイルコンピューティングデバイスと統合された分光センサから受信され、前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、前記シーンタイプデータに基づく、請求項１～請求項９のいずれか１項に記載の方法。

【請求項11】

前記センサデータは距離データを含み、前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、前記距離データに基づく、請求項１～請求項１０のいずれか１項に記載の方法。

【請求項12】

前記センサデータは、物体反射率データを含み、前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、前記物体反射率データに基づく、請求項１～請求項１１のいずれか１項に記載の方法。

【請求項13】

前記センサデータは、加速度計から収集された非撮像データを含み、前記加速度計から収集された前記データは、前記画像取込デバイスが、前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することのために必要な安定性を維持するかどうかを示す、請求項１～請求項１２のいずれか１項に記載の方法。

【請求項14】

前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、加重和方程式に基づき、前記加重和方程式は、
２つ以上のデバイスデータに割り当てられた加重値を含み、前記２つ以上のデバイスデータは、
前記１つまたは複数の画像取込デバイスのための前記フラッシュを生成し、
前記１つまたは複数の画像取込デバイスのシャッターを調整し、
前記１つまたは複数の画像取込デバイスのレンズを調整し、または
計算後画像を生成するための電力消費を含み、
前記加重値は合計を生成し、前記フラッシュを使用せずに前記シーンの前記複数の画像を取り込むことを前記選択することは、しきい値を超える前記合計に基づく、請求項１～請求項１３のいずれか１項に記載の方法。

【請求項15】

プロセッサと、
１つまたは複数のセンサ、画像センサ、またはフラッシュ生成器と、
前記プロセッサによる実行に応じて、前記プロセッサに請求項１～請求項１４のいずれか１項に記載の方法を実行させる命令を格納したコンピュータ可読記憶媒体と、を備える、モバイルコンピューティングデバイス。

【請求項16】

プロセッサに請求項１～請求項１４のいずれか１項に記載の方法を実行させる、プログラム。

【国際調査報告】