特表 2024-530076 カメラシステムのための自動ホワイトバランス（ＡＷＢ）

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-15

(54)【発明の名称】カメラシステムのための自動ホワイトバランス（ＡＷＢ）

(51)【国際特許分類】

   H04N 23/76 20230101AFI20240807BHJP

   G06T 7/00 20170101ALI20240807BHJP

   G06T 7/80 20170101ALI20240807BHJP

   G06T 7/90 20170101ALI20240807BHJP

   G06V 10/56 20220101ALI20240807BHJP

【ＦＩ】

H04N23/76

G06T7/00 660A

G06T7/80

G06T7/90 A

G06V10/56

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024505085

(86)(22)【出願日】2021-10-12

(85)【翻訳文提出日】2024-02-22

(86)【国際出願番号】 US2021054630

(87)【国際公開番号】W WO2023009155

(87)【国際公開日】2023-02-02

(31)【優先権主張番号】63/203,640

(32)【優先日】2021-07-27

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】リアン，リアン

(72)【発明者】

【氏名】チャタジー，アニルバン

(72)【発明者】

【氏名】マシャラニ，ニーシャ

(72)【発明者】

【氏名】ペナー，エリック・スコット

(72)【発明者】

【氏名】レイノルズ，アイザック・ウィリアム

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA03

5C122DA04

5C122EA18

5C122FG14

5C122FH10

5C122FH11

5C122FH23

5C122FK24

5C122GA01

5C122HA13

5C122HA35

5C122HB01

5C122HB05

5L096AA02

5L096AA06

5L096CA02

5L096DA01

5L096GA40

5L096MA03

(57)【要約】

本文書は、カメラシステムのための自動ホワイトバランスのための技術および装置について説明している。この技術および装置は、先駆画像を利用して１つまたは複数の検出された顔を検出し、色合いを判定する。カメラシステムは、検出された顔と同じ顔を含むことが判定された画像のグループに基づいて色合いデータを取り出す。この色合いデータに基づいて、ホワイトバランスの相違が先駆画像内の検出された顔の色合いの相違および関連する色合いデータに基づいて判定される。改善された色合いを有する画像のキャプチャを可能にするために、ホワイトバランスの相違に基づいてカメラ設定が調整される。

【特許請求の範囲】

【請求項1】

電子デバイスのカメラシステムにおける自動ホワイトバランス（ＡＷＢ）のための方法であって、
先駆画像内の第１の人の顔を検出すること１６０２と、
前記先駆画像内の前記第１の検出された人の顔の第１の色合いを判定すること１６０４と、
前記検出された第１の人の顔と関連付けられた第１の色合いデータを取り出すこと１６０６とを含み、前記第１の色合いデータは、先行する周囲条件でキャプチャされた先行する画像のグループから判定され、前記先行する画像は、前記第１の検出された人の顔と同じ人の顔を含むことが判定されており、前記方法は、さらに、
前記第１の色合いデータに基づいて、前記先駆画像内の前記第１の検出された人の顔の前記第１の色合いと前記第１の色合いデータとの間のホワイトバランス（ＷＢ）の第１の相違を判定すること１６０８と、
ＷＢの前記第１の相違に基づいてカメラ設定を調整すること１６１０とを含み、前記調整することにより、改善された色合いを有する画像をキャプチャすることができ、前記改善された色合いは、前記第１の色合いよりも前記第１の色合いデータにより緊密に一致する、方法。

【請求項2】

前記方法は、
前記先駆画像内の追加の人の顔を検出することと、
前記先駆画像内の前記追加検出された人の顔の追加色合いを判定することと、
前記追加検出された人の顔と関連付けられた追加色合いデータを取り出すこととをさらに含み、前記追加色合いデータは、先行する周囲条件でキャプチャされた先行する画像の別のグループから判定された前記追加検出された人の顔と関連付けられ、前記先行する画像の別のグループは、前記追加検出された人の顔と同じ人の顔を含むことが判定されており、前記方法は、
前記追加検出された人の顔と関連付けられた前記追加色合いデータに基づいて、前記先駆画像内の前記追加検出された人の顔の前記追加色合いと、前記追加検出された人の顔と関連付けられた前記追加色合いデータとの間のＡＷＢの追加相違を判定すること
をさらに含み、
カメラ設定の調整は、ＷＢの前記第１の相違およびＷＢの前記追加相違に基づく、請求項１に記載の方法。

【請求項3】

前記先駆画像内の前記第１の検出された人の顔の第１の優先順位値を判定することと、
前記先駆画像内の前記追加検出された人の顔の追加優先順位値を判定することと
をさらに含み、カメラ設定の調整は、前記第１の優先順位値で重み付けされたＷＢの前記第１の相違と、前記追加優先順位値で重み付けされたＷＢの前記追加相違との重み付き合計にさらに基づく、請求項２に記載の方法。

【請求項4】

前記第１の優先順位値を判定することは、前記先駆画像内の前記第１の検出された人の顔の第１のサイズに基づき、
前記追加優先順位値を判定することは、前記先駆画像内の前記追加検出された人の顔のサイズに基づく、
請求項３に記載の方法。

【請求項5】

前記第１の優先順位値を判定することは第１の判定された顔頻度値に基づき、前記第１の判定された顔頻度値は、前記第１の検出された人の顔と同じ人の顔を含むことが判定されている先行する画像の前記グループにおける先行する画像の数量に基づき、
前記追加優先順位値を判定することは、前記追加検出された人の顔の追加判定された顔頻度値に基づき、前記追加検出された人の顔の前記追加判定された顔頻度値は、前記追加検出された人の顔と同じ人の顔を含むことが判定されている先行する画像の前記別のグループにおける先行する画像の数量に基づく、
請求項３に記載の方法。

【請求項6】

追加の人の顔を検出することは最大１９個の人の顔を検出することを含み、
追加優先順位値を判定することは最大１９個の優先順位値を判定することを含む、
請求項２～５のいずれか１項に記載の方法。

【請求項7】

カメラ設定を調整することにより、前記電子デバイスは、改善された色合いを有する前記第１の検出された人の顔を有する第１の画像をキャプチャし、
前記方法は、
前記先駆画像内の追加の人の顔を検出することと、
前記先駆画像内の前記追加検出された人の顔の追加色合いを判定することと、
前記追加検出された人の顔と関連付けられた追加色合いデータを取り出すこととをさらに含み、前記追加検出された人の顔と関連付けられた前記追加色合いデータは、先行する周囲条件でキャプチャされた先行する画像の別のグループから判定され、前記他の先行する画像は、前記追加検出された人の顔と同じ人の顔を含むことが判定されており、前記方法は、
前記追加検出された人の顔と関連付けられた前記追加色合いデータに基づいて、前記先駆画像内の前記追加検出された人の顔の前記追加色合いと、前記追加検出された人の顔と関連付けられた前記追加色合いデータとの間のＡＷＢの追加相違を判定することと、
ＷＢの前記追加相違に基づいてカメラ設定を調整することにより、前記電子デバイスに、別の改善された色合いを有する前記追加検出された人の顔を有する追加画像をキャプチャさせることと、
前記第１の検出された人の顔に対する前記第１の画像と前記追加検出された人の顔に対する前記追加画像とを組み込んだ単一の画像を生成するために、前記第１の画像および前記追加画像を画像結合モジュールに提供することと
をさらに含む、請求項１に記載の方法。

【請求項8】

前記第１の色合いデータは確信値を含み、前記確信値は、
前記第１の検出された人の顔と同じ人の顔を含むことが判定された前記先行する画像内の前記第１の検出された人の顔と同じ人の顔の顔サイズ、または
前記第１の検出された人の顔と同じ人の顔を含むことが判定された前記先行する画像内の周辺光条件
に基づく、先行する請求項のいずれか１項に記載の方法。

【請求項9】

ＷＢの前記第１の相違を判定することはフィルタリングされた第１の色合いデータに基づき、前記フィルタリングされた第１の色合いデータは前記確信値によってフィルタリングされた前記第１の色合いデータのサブセットである、請求項８に記載の方法。

【請求項10】

ＷＢの前記第１の相違を判定することは、前記確信値によって重み付けされた前記第１の色合いデータの重み付き合計に基づく、請求項８に記載の方法。

【請求項11】

前記先駆画像内の前記第１の人の顔を検出することはアクチュエータによって開始される、先行する請求項のいずれか１項に記載の方法。

【請求項12】

カメラ設定を調整することにより、前記電子デバイスは前記改善された色合いを有する画像をキャプチャする、先行する請求項のいずれか１項に記載の方法。

【請求項13】

前記改善された色合いを有する前記画像をディスプレイに提供することをさらに含む、請求項１２に記載の方法。

【請求項14】

カメラ設定を調整することは、
赤色センサ利得、
緑色センサ利得、または
青色センサ利得
を調整することを含む、先行する請求項のいずれか１項に記載の方法。

【請求項15】

第１の人の顔を検出することは低解像度センサを使用することを含む、先行する請求項のいずれか１項に記載の方法。

【請求項16】

自動ホワイトバランス（ＡＷＢ）を実施することができる電子デバイス中のカメラシステムであって、
プロセッサ３０２と、
コンピュータ可読媒体３０４と、
先駆画像をキャプチャすることができるセンサ３０６と、
画像内の人の顔を検出することができる顔頻度モジュール１１８と、
先行する画像を記憶することができる記憶装置３０８と、
検出された人の顔の色合いを判定することができる色合い判定モジュール１１４と、
カメラ３２０設定を調整することができるホワイトバランスコントローラ１１６と
を備えるカメラシステム。

【請求項17】

請求項１～１５のいずれか１項に記載の方法を実施するように構成された電子デバイス中のカメラ３２０システム。

【請求項18】

１つまたは複数のプロセッサ３０２によって実行されると、前記１つまたは複数のプロセッサ３０２が請求項１～１５のいずれか１項に記載の方法を実施させる命令を含むコンピュータ可読記憶媒体３０４。

【発明の詳細な説明】

【背景技術】

【0001】

背景
カメラシステムは、一般に、画像またはビデオの特性（例えば色、鮮明性、倍率）を調整するために使用することができる多くの機能を有している。１つのこのような機能には、画像中の色の彩色を調整するカメラ設定であるホワイトバランス（ＷＢ）がある。ＷＢは、通常、白い色で出現する対象を画像中で白く彩色するために使用される。ユーザを補助するために、多くのカメラは、色－補正アルゴリズムに従って自動的にＷＢを調整する自動ホワイトバランス機能（ＡＷＢ）を含む。しかしながら従来のカメラシステムは、とりわけ顔など、画像の最も重要な部分で所望の精度を達成することができないことがある。さらに、画像の複数の部分が重要であると識別される場合、追加課題が生じる。その結果、画像は、とりわけ画像の重要な部分でＷＢ問題をもたらし得る。

【発明の概要】

【課題を解決するための手段】

【0002】

概要
本文書は、カメラシステムのための自動ホワイトバランスのための技術および装置について説明している。この技術および装置は、先駆画像（precursor image）を利用して１つまたは複数の検出された顔を検出し、色合いを判定する。カメラシステムは、検出された顔と同じ顔を含むことが判定された画像のグループに基づいて色合いデータを取り出す。この色合いデータに基づいて、ホワイトバランスの相違が先駆画像内の検出された顔の色合いの相違および関連する色合いデータに基づいて判定される。改善された色合いを有する画像のキャプチャを可能にするために、ホワイトバランスの相違に基づいてカメラ設定が調整される。とりわけ顔など、画像の最も重要な部分のホワイトバランス調整および画像色合いを改善することができる。

【0003】

さらに、先駆画像内で追加の顔を検出することができ、また、開示されるステップを介してそれらを使用して、改善された色合いを有する画像のキャプチャを可能にすることができる調整を判定することができる。優先順位値に基づいてこれらの調整に重みを付けて、画像の最も重要な部分を改善する調整を判定することができる。別法として、カメラ設定に対する個別の調整を使用して複数の画像をキャプチャすることも可能である。これらの画像は、個々の画像の部分を組み込んで、改善された色合いを有する単一の画像を生成する画像結合モジュールに提供することができる。

【0004】

以上の概要は、カメラシステムのためのＡＷＢのための技術および装置の簡略化された概念を紹介するために提供されたものであり、それらの概念については、以下の詳細な説明および図面の中でさらに説明される。以上の概要は、特許請求される主題の本質的な特徴を識別すること、また、特許請求される主題の範囲を判定するために使用されることは意図されていない。

【0005】

以下、カメラシステムのためのＡＷＢの１つまたは複数の態様について詳細に説明する。説明および図における異なる実例の中の同じ参照番号の使用は同様の要素を示している。

【図面の簡単な説明】

【0006】

【図1】カメラシステムのためのＡＷＢのための例示的動作環境を示す図である。

【図2】顔頻度モジュール（Frequent Face Module）と連携して動作するＡＷＢモジュールの例示的実施態様を示す図である。

【図3】図１の例示的動作環境の詳細な例を示す図である。

【図4】カメラシステムのためのＡＷＢの文脈内で先駆画像をキャプチャする例示的実施態様を示す図である。

【図5】図４の先駆画像内の顔を検出する例示的実施態様を示す図である。

【図6】色合い判定モジュールによる色合い判定の例示的実施態様を示す図である。

【図7】図５の第１の検出された顔と同じ顔を含むことが判定された一致した画像のセットの例を示す図である。

【図8】図５の追加検出された顔と同じ顔を含むことが判定された一致した画像のセットの例を示す図である。

【図9】図７の一致した画像のグループから色合いを判定する例示的実施態様を示す図である。

【図10】図７の一致した画像のグループからの色合いデータの例を示す図である。

【図11】図５の第１の検出された顔と同じ顔を含むことが判定された一致した画像の別のセットの例を示す図である。

【図12】図１１の一致した画像のグループからの色合いデータの例を示す図である。

【図13】電子デバイス内のカメラシステムのためのＡＷＢの例示的実施態様を示す図である。

【図14】電子デバイス内のカメラシステムのためのＡＷＢの別の例示的実施態様を示す図である。

【図15】図１４のＡＷＢの例示的実施態様のための画像結合モジュールの例示的実施態様を示す図である。

【図16】カメラシステムのためのＡＷＢの例示的方法を示す図である。

【図17】カメラシステムのためのＡＷＢの別の例示的方法を示す図である。

【図18】カメラシステムのためのＡＷＢの別の例示的方法を示す図である。

【発明を実施するための形態】

【0007】

詳細な説明
概説
本文書は、カメラシステムのためのＡＷＢのための技術および装置について説明している。この技術は、場面の先駆画像を利用して人の顔を検出する。次に、検出された顔の色合いが判定され、検出された顔と関連付けられた色合いデータと比較される。色合いデータは先行してキャプチャされた画像のセットから判定され、これらの画像は、先行する周囲条件でキャプチャされ、検出された顔と同じ顔を含むことが判定されている。色合いデータは、先行するキャプチャされた画像、先行するキャプチャされた画像のグループ、または先行するキャプチャされた画像の部分を記述することができる。色合いデータを検出された顔の色合いと比較することにより、ＡＷＢの相違が判定され、また、その相違を利用して、例えばカメラ設定を調整することなくキャプチャされた等価画像と比較すると、改善された色合いを有する画像のキャプチャを可能にするカメラ設定が調整される。改善された色合いは、検出された顔の色合いよりも第１の色合いデータにより緊密に一致し得る。色合いの改善は、とりわけ、顔など、画像の最も重要な部分に対応し得る。

【0008】

先駆画像内の追加の顔を検出することができ、また、上記技術を介してそれらを利用してＡＷＢの追加相違を判定することができる。ＡＷＢの相違は、重み付き合計、フィルタリングまたは任意の他のコンピューテーション方法を介して結合して、改善された色合いを有する画像のキャプチャを可能にするカメラ設定を調整することができる。別法として、カメラ設定に対する個別の調整を使用して複数の画像をキャプチャして、画像結合モジュールに提供することも可能である。画像結合モジュールは、個々の画像の部分を組み込んで、改善された色合いを有する単一の画像を生成する。

【0009】

上記で説明したカメラシステムのためのＡＷＢのための技術および装置の機能および概念は、任意の数の異なる環境で実現することができるが、態様は以下の例の文脈で説明される。

【0010】

例示的システム
図１は、電子デバイス１０２のカメラシステム１０４のためのＡＷＢのための例示的動作環境１００を示したものである。電子デバイス１０２はカメラシステム１０４を含む。例示的動作環境１００では、カメラシステム１０４は、アクチュエータ１０８とディスプレイ１１０とを利用しているカメラアプリケーション１０６からなっている。カメラシステム１０４は、色合い判定モジュール１１４を使用して画像の一部の色合いを判定しホワイトバランスコントローラ１１６を利用することによってＲＧＢセンサなどの画像化センサを制御するように構成された、自動ホワイトバランス（ＡＷＢ）モジュール１１２をさらに含む。

【0011】

また、カメラシステム１０４は、また、ＡＷＢモジュール１１２と連携して動作する顔頻度（ＦＦ）モジュール１１８を組み込んでいる。顔頻度モジュール１１８は、画像内の顔を検出するように構成された顔検出器１２０、および１つまたは複数の画像内の同じ顔に対する個別の色合い判定から色合いデータを判定するように構成されている色合い一時フィルタ１２２を含む。色合い一時フィルタ１２２は、合計、重み付き合計、フィルタリングまたは任意の他のコンピューテーション方法によって一時データを判定することができる。カメラシステム１０４は、さらに、同じ場面の複数の画像から単一の画像を生成することができる画像結合モジュール１２４を含む。

【0012】

図２は、互いに連携して動作する図１のＡＷＢモジュール１１２およびＦＦモジュール１１８の例示的実施態様２００を示したものである。例示的実施態様２００では、カメラアプリケーション１０６はＦＦモジュール１１８に画像を提供している。提供される画像は場面の先駆画像であっても、あるいは先行してキャプチャされた画像であってもよい。顔検出器１２０は画像内の顔を検出している。ＦＦモジュールは、検出された顔と関連付けられた、顔頻度値などの値を判定することができる。顔頻度値は、少なくとも１つの追加検出された顔が先駆画像内で検出される実例では、とりわけ有用である。顔頻度値は、先駆画像内の検出された顔と同じ人の顔を含むことが判定された先行する画像の数に基づいて判定される。処理されると、検出された顔および画像がカメラアプリケーション１０６に提供される。

【0013】

カメラアプリケーション１０６はこれらの画像をＡＷＢモジュール１１２に提供し、ＡＷＢモジュール１１２は、検出された顔を画像からのデータと共に処理し、画像内の検出された顔と関連付けられた、色合いを含む値を判定する。色合いは色合い判定モジュール１１４を使用して判定されるが、ＡＷＢモジュール１１２は、周囲データ（例えば光データおよび顔サイズデータ）を使用して、画像内の検出された顔と関連付けられた確信値をさらに判定することができる。色合いを含む判定された値は、カメラアプリケーション１０６に出力されて、カメラアプリケーション１０６内で維持されるか、ＦＦモジュール１１８に提供されるか、あるいはそれらの両方である。

【0014】

ＦＦモジュール１１８に提供される場合、ＦＦモジュール１１８は、色合い一時フィルタ１２２を使用して、値を色合いデータに処理することができる。色合いデータは、１つまたは複数の画像内の検出された顔と関連付けられた色合い値を使用して計算される、より正確な色合いを含む。さらに、１つまたは複数の画像内の検出された顔と関連付けられた色合い値と、同じ画像内の検出された顔と関連付けられた確信値とを組み合わせることによって、より正確な色合いデータを計算することができる。これらの値は、重み付き合計、フィルタリングまたは任意の他のコンピューテーション方法を使用して組み合わせることができる。さらに、色合いデータは、検出された顔と同じ顔を含んだ画像の数になるように判定された顔頻度値を含むことができる。

【0015】

色合いデータはＡＷＢモジュール１１２に提供することができ、また、先駆画像内の検出された顔の色合いに対して比較することができる。ＷＢコントローラ１１６は、この比較に基づいて、先駆画像内の検出された顔の色合いと色合いデータとの間のＷＢの相違を判定することができる。さらに、ＷＢコントローラ１１６は、ＷＢの相違に基づいてカメラアプリケーション１０６内のカメラ設定を調整することができる。

【0016】

図３は、図１の動作環境１００の詳細な例を示したものである。具体的には、電子デバイス１０２は、スマートフォン１０２－１、タブレット１０２－２、ラップトップ１０２－３、デスクトップコンピュータ１０２－４、スマートウォッチ１０２－５、デジタルメガネ１０２－６、電子コントローラ１０２－７、家庭オートメーションおよび制御システム１０２－８、および電子レンジ１０２－９を含む様々な例によって示されている。これらは、カメラシステムのためのＡＷＢを使用することができる多くの電子デバイスのうちの一部にすぎず、他のデバイス、例えばテレビジョン、娯楽システム、音響システム、自動車、ドローン、トラックパッド、描画パッド、ネットブック、電子リーダ、ホームセキュリティシステムおよび他の家電製品をも含むことができる。電子デバイス１０２は可動式、ウェアラブル、ウェアラブルではないが可動式、または比較的可動性が低いもの（例えばデスクトップおよび電気製品）であってもよいことに留意されたい。

【0017】

電子デバイス１０２は、１つまたは複数のプロセッサ３０２、コンピュータ可読媒体３０４、および１つまたは複数のセンサ３０６をさらに含む。コンピュータ可読媒体３０４は、メモリおよび記憶媒体３０８、アプリケーション３１０、自動ホワイトバランス（ＡＷＢ）モジュール媒体３１２、顔頻度（ＦＦ）モジュール媒体３１４、および画像結合（ＩＭ）モジュール媒体３１６を含む。コンピュータ可読媒体３０４上のコンピュータ可読命令として実装されたアプリケーション３１０は、コンピュータプロセッサ３０２が実行して、本明細書において説明されている機能の一部またはすべてを提供することができる。例えばアプリケーション３１０は、カメラアプリケーション（例えばカメラアプリケーション１０６）、ＡＷＢモジュール（例えばＡＷＢモジュール１１２）、またはＦＦモジュール（例えばＦＦモジュール１１８）を含むことができ、あるいはこれらと共に動作して、カメラシステムのためのＡＷＢを実施することができる。さらに、１つまたは複数のセンサ３０６は、画像、ビデオ、および音響をキャプチャするように構成された、１つまたは複数のカメラ３２０を含むことができる。

【0018】

図４は、場面４０２を、カメラシステムのためのＡＷＢの文脈内では先駆画像４０４を、キャプチャする例示的実施態様を示したものである。示されている電子デバイス１０２は、ディスプレイ１１０上でアクティブであるカメラアプリケーション１０６を備えている。カメラアプリケーションは、カメラアプリケーション上での制御を可能にするアクチュエータ１０８を含む。電子デバイス１０２を使用して、１つまたは複数のセンサを使用して場面４０２の先駆画像４０４がキャプチャされている。例えば１つまたは複数のセンサはカメラを含み、先駆画像４０４はそのカメラによってキャプチャされたデジタル画像である。しかしながら１つまたは複数のセンサは、低解像度ＲＧＢセンサ、または、顔の検出と検出された顔に対する色合いの判定とを可能にする細部を場面からキャプチャするために使用することができる任意の他のセンサであってもよい。さらに、不適切なＷＢのために、先駆画像の１つまたは複数の部分の色および鮮明性が場面から異なって出現し得る。

【0019】

図５は、先駆画像（例えば図４の先駆画像４０４）内の顔を検出する例示的実施態様を示したものである。示されている電子デバイス１０２は、ディスプレイ１１０上でアクティブであり先駆画像４０４を提示しているカメラアプリケーション１０６を、備えている。顔検出器１２０を使用して、第１の検出された顔５０２が先駆画像４０４内で検出されている。任意選択で、顔検出器１２０は、追加検出された顔５０４など、追加検出された顔を検出することも可能である。

【0020】

顔検出器１２０には、検出された顔、または検出された顔と関連付けられた身元を認識し、また、それらを追跡する必要はないことに留意されたい。その代わりに、顔検出器１２０は、検出された顔と関連付けられた特徴を分類して、後でその特徴を他の画像からの特徴に対して一時的に突き合わせることができる。分類された特徴を使用して、検出された顔を他の画像からの顔に対して突き合わせることができるが、検出された顔と関連付けられた分類された特徴を使用して、検出された顔と関連付けられた身元を判定する必要はない。そうではなく、分類された特徴を単に、使用されている人物の実際の身元を伴わずに、検出された顔を他の画像からの顔に対して突き合わせるために使用することができる。この方法によれば、サーバ記憶装置、顔識別、および顔認識は不要であり、したがって顔検出器１２０によって検出された顔と関連付けられた身元を保護する。

【0021】

検出されると、第１の検出された顔５０２が色合い判定モジュール１１４に提供されて、先駆画像４０４内の第１の検出された顔５０２の色合いが判定される。色合い判定モジュールは、先駆画像４０４内の追加検出された顔５０４に対する追加色合いを判定することができる。先駆画像内の不適切なＷＢのため、第１の検出された顔５０２は、場面（例えば場面４０２）内の同じ顔の色合いに対して、正しくない色合い、または変化した色合いで出現し得る。

【0022】

図６を参照すると、図６は、色合い判定モジュール（例えば色合い判定モジュール１１４）を使用した色合い判定の例示的実施態様を示している。色合い判定モジュール１１４には、検出された顔６０２（例えば検出された顔６０２－１、検出された顔６０２－２、検出された顔６０２－３）が提供される。色合い判定モジュール１１４は、検出された顔６０２を色合いのセット６０４内からの色合い６０６に相関させることによって、検出された顔６０２に対する色合いを判定する。検出された顔６０２が色合いのセット６０４内からの色合い６０６に対して相関されると、その色合い６０６を１つまたは複数のモジュール（例えばＡＷＢモジュール１１２およびＦＦモジュール１１８）または１つまたは複数のアプリケーション（例えばカメラアプリケーション１０６）に提供することができる。

【0023】

色合いのセット６０４は、所定の値、機械学習技術または任意の他のコンピューテーション方法によって生成することができる。同様に、検出された顔６０２に対する色合いの判定は、決定の所定のセット（例えば決定木）、機械学習、等によって判定することができる。機械学習の使用は、パーセプトロン、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク、放射基底関数ニューラルネットワーク、または回帰型ニューラルネットワークを含む、ニューラルネットワークの使用を介した教師あり学習または教師なし学習を含むことができる。例では、教師あり機械学習によって機械学習モデルを訓練することができる。教師あり機械学習例では、画像内の検出された顔を識別する先行する画像キャプチャのラベルが振られたセットを与えて機械学習モデルを構築することができる。機械学習モデルの訓練および色合いのセット６０４の構築に関して、色合い値によってこれらの顔を分類することができる。この教師あり機械学習を介して、色合い判定モジュール１１４に入力される検出された顔は、色合いのより正確な判定を受け取ることができる。将来の色合い判定をモデルにフィードバックし、正しい判定または正しくない判定としてマークしてモデルをさらに訓練することができる。また、色合い判定モジュール１１４は、検出された顔６０２の色合い６０６が色合いのセット６０４内ではないことを判定し、それを色合いのセット６０４に加えることも可能である。

【0024】

第１の検出された顔（例えば第１の検出された顔５０２）が検出され、色合いが判定されると、先行する画像のグループ７０２が取り出される。図７は、第１の検出された顔５０２と同じ顔が先行する画像のグループ７０２内で検出される例示的実施態様を示したものである。先行する周囲条件でキャプチャされた先行する画像のグループ７０２が取り出される。先行する画像７０２は、オン－デバイス画像記憶装置およびクラウド－ベース画像記憶装置を含む、任意の画像記憶媒体から取り出すことができる。先行する画像のグループ７０２が取り出されると、顔検出器（例えば顔検出器１２０）を使用して、存在している場合、一致した画像のグループ７０４に分類するために、第１の検出された顔５０２同じ顔７０６（例えば同じ顔７０６－１、同じ顔７０６－２、および同じ顔７０６－３）を含んでいる先行する画像のグループ７０２が判定される。第１の検出された顔５０２と同じ顔７０６を含むことが判定された、先行する画像７０８－１、先行する画像７０８－２および先行する画像７０８－３などの先行する画像７０８は、一致した画像のグループ７０４に分類される。一致した画像のグループ７０４は、１つまたは複数のモジュール（例えばＡＷＢモジュール１１２およびＦＦモジュール１１８）または１つまたは複数のアプリケーション（例えばカメラアプリケーション１０６）に提供することができる。

【0025】

図８は例示的実施態様を示したものであり、一致した画像のグループ８０２は、先駆画像（例えば先駆画像４０４）内の追加検出された顔５０４と同じ顔を含むことが判定されている。図７と同様、先行する画像のグループ７０２は画像記憶媒体から取り出される。この例では、先行する画像のグループ７０２は図７における画像のグループと同じであるが、このグループは、第１の検出された顔（例えば第１の検出された顔５０２）に利用された画像の先行するグループ７０２とは全面的または部分的に異なっていてもよい。この場合も、顔検出器（例えば顔検出器１２０）を使用して、先行する画像８０４は追加検出された顔５０４と同じ顔８０６を含んでいることが判定される。したがって先行する画像８０４は、一致した画像のグループ８０２に分類される。

【0026】

図９では、色合い判定モジュール１１４を使用して、一致した画像のグループ（例えば一致した画像のグループ７０４）内の同じ顔７０６（例えば同じ顔７０６－１、同じ顔７０６－２、同じ顔７０６－３）毎に色合い６０６が判定される。図６の例示的実施態様と同様、色合い判定モジュール１１４は、同じ顔７０６毎に色合いのセット６０４から色合い６０６を判定する。例えば色合い判定モジュール１１４を使用して、同じ顔７０６－１は色合い６０６－１を有していることが判定される。同様に、同じ顔７０６－２および同じ顔７０６－３は同じ色合い６０６－２を有していることが判定される。同じ顔７０６と関連付けられたこれらの色合い６０６は、１つまたは複数のモジュール（例えばＡＷＢモジュール１１２およびＦＦモジュール１１８）または１つまたは複数のアプリケーション（例えばカメラアプリケーション１０６）に提供することができる。

【0027】

図１０は、検出された顔（例えば第１の検出された顔５０２）と同じ顔７０６を含むことが判定された一致した画像のグループ７０４から色合いデータ１００２が判定される例を示したものである。色合いデータ１００２は、検出された顔（例えば第１の検出された顔５０２）と関連付けられている、一致した画像のグループ７０４から判定されたデータのセットである。一致した画像のグループ７０４は、検出された顔（例えば第１の検出された顔５０２）と同じ顔７０６を含むことが判定された先行する画像７０８のグループである。簡略化された例では、色合いデータ１００２は、単により正確な色合い１００４のみで構築されている。より正確な色合い１００４は、同じ顔７０６毎に色合い６０６を組み合わせることによって判定される。同じ顔７０６毎の色合い６０６は任意のコンピューテーション方法によって組み合わせることができ、最も単純なコンピューテーション方法は、色合いを平均化してより正確な色合い値を得ることである。

【0028】

図１０からの色合いデータ１００２などの色合いデータのより複雑な例は顔頻度値１００６を含む。顔頻度値１００６は、一致した画像のグループ７０４中の先行する画像７０８の数を判定することによってコンピューティングされる。広義に言えば、顔頻度値９０６は、検出された人の顔（例えば第１の検出された顔５０２）と同じ人の顔７０６を含むことが判定された先行する画像７０８の数に基づいている。顔頻度値１００６は、１つまたは複数の追加検出された顔（例えば追加検出された顔５０４）が先駆画像内で検出される実例では、とりわけ有用である。このような実例では、顔頻度値１００６を使用して、最も重要な検出された顔（例えば第１の検出された顔５０２および追加検出された顔５０４）を判定することができる。

【0029】

例えば顔検出器は、先駆画像内の第１の検出された顔および追加検出された顔を検出し、開示されているカメラシステムに指示して、先駆画像内の個々の検出された顔の色合いを判定し、一致した画像のグループを検出された顔毎に判定する。一致した画像のグループは、開示されている技術を使用して、より正確な色合い値および顔頻度値を含む色合いデータを作成する。先駆画像内の個々の検出された顔の色合いが、個々の検出された顔と関連付けられた色合いデータのより正確な色合い値と比較され、検出された顔の色合いと、関連するより正確な色合いとの間の相違を最小化するカメラ設定調整を判定する。この例では２つのセットのカメラ調整が提供されることになり、先駆画像内の検出された顔毎にカメラ調整が提供される。顔頻度値を使用して、先駆画像内の１つまたは複数の最も重要な顔を判定するための優先順位値が生成される。この優先順位値を使用して、重み付き合計を使用して２つのセットのカメラ調整を組み合わせることができる。この方法によれば、最も高い優先順位値を有し、したがって最も重要として判定された検出された顔が、カメラ設定調整に最大の影響を与えることになる。

【0030】

優先順位値は、頻度値のみに基づく優先順位値の割当などの異なる方法を使用して計算することができる。別法として、または連携して、先駆画像内の検出された顔の顔サイズを使用して優先順位値を判定することも可能である。具体的には、より大きい顔サイズを有する検出された顔により高い優先順位値が与えられる。

【0031】

図１１は、第１の検出された顔５０２と同じ顔を含むことが判定された一致した画像のセットのより複雑な例を示したものである。図７の場合と同様、先行する画像のグループ１１０４が取り出され、第１の検出された顔５０２と同じ顔１１０６（例えば同じ顔１１０６－１、同じ顔１１０６－２、同じ顔１１０６－３）が検索される。この場合も、第１の検出された顔５０２と同じ顔１１０６を含むことが判定された先行する画像１１０８（例えば先行する画像１００８－１、先行する画像１００８－２および先行する画像１００８－３）が一致した画像のグループ１１０２に収集される。図７とは異なり、一致した画像のグループ１１０２の中の先行する画像１１０８は、画像要素を変化させる、照明および顔サイズなどの様々な周囲条件１１１０にさらされる同じ顔１１０６を含む。

【0032】

図１２は、図１１の一致した画像のグループ１１０２からの色合いデータ１００２の例を示したものである。図１０と同様、色合いデータ１００２は、検出された顔（例えば第１の検出された顔５０２）と関連付けられ一致した画像のグループ１１０２から判定された、より正確な色合い１００４を含む、データのセットである。色合いデータ１００２は顔頻度値１００６を含むことも可能であり、また、図１０と同様、一致した画像のグループ１１０２からの先行する画像１１０８内の同じ顔１１０６の各々が色合い６０６と関連付けられる。図１０とは対照的に、より正確な色合い１００４は、ここでは確信値１２０２と色合い６０６とを組み合わせることによって判定される。確信値１２０２は、同じ顔１１０６の各々からの色合い６０６の判定における確実性を表している。

【0033】

一致した画像のグループ１１０２は、様々な周囲条件１１１０にさらされる同じ顔１１０６を含むことを思い起こされたい。周囲条件１１１０から収集された顔サイズ１２０６および照明１２０４などのデータを使用して、個々の同じ顔１１０６の色合い６０６に対する確信値１２０２を判定することができる。例えば周囲条件１１１０が低光条件を含む先行する画像１１０８には、上記照明１２０４における色合い判定の追加可変性のため、小さい確信値を与えることができる。別法として、または連携して、周囲条件１１１０が小さい顔サイズ１２０６を含む先行する画像１１０８には、画像のより小さい部分における色合い判定の追加可変性のため、小さい確信値を与えることができる。

【0034】

個々の同じ顔１１０６の色合い６０６および関連する確信値１２０２が判定されると、検出された顔（例えば第１の検出された顔５０２）に対するより正確な色合い１００４を判定することができる。より正確な色合い１００４は、色合い６０６と確信値１２０２との任意の組合せによって判定することができる。組合せの一例示的方法は重み付き合計を含み、関連する確信値１２０２によって個々の同じ顔１１０６の色合い６０６に重みが付けられ、合計される。別の例示的方法はフィルタリングを含み、最も高い関連する確信値１２０２を有する同じ顔１１０６の色合い６０６のサブセットのみを使用してより正確な色合い１００４が判定される。さらに、フィルタリングは、色合い６０６がフィルタリングされ、次に、確信値１２０２によって重み付けされるよう、重み付き合計と組み合わせて使用することができる。

【0035】

図１３は、電子デバイス内のカメラシステムのためのＡＷＢの例示的実施態様を示したものである。より正確な色合い決定が検出された顔（例えば第１の検出された顔５０２）に対してなされると、検出された顔の色合いがより正確な色合い値と比較される。比較によって、先駆画像内の検出された顔の色合いと、検出された顔に対して判定されたより正確な色合いとの間のＷＢ相違が判定される。ＷＢの相違に基づいて、電子デバイス１０２による、改善された色合い１３０２を有する画像のキャプチャを可能にするためのカメラ設定が調整される。カメラ設定調整には、赤色センサ利得、緑色センサ利得、および青色センサ利得を含む、ＲＧＢセンサ利得の変更などの、改善された色合い１３０２を有する画像のキャプチャを可能にする何らかの調整が必然的に伴い得る。カメラは、次に、改善された色合い１３０２を有する画像をキャプチャし、キャプチャした画像をディスプレイ１１０に提供することができる。

【0036】

カメラシステムのためのＡＷＢの単純な例では、１つの検出された顔のみが先駆画像内で検出される。したがって１つの色合いデータが取り出され、ＷＢの１つの相違が判定され、ＷＢの１つの相違に基づいてカメラ設定が調整される。しかしながらより複雑な例は、先駆画像内に１つまたは複数の追加検出された顔を含む。この例では、複数の色合いデータが取り出され、ＷＢの複数の相違が判定され、ＷＢの複数の相違に基づいてカメラ設定が調整される。先駆画像内の第１の検出された顔および個々の追加検出された顔に対して優先順位値を判定することができる。優先順位値は、色合いデータ、先駆画像またはそれら２つの組合せに基づいて判定することができる。例えば検出された顔と関連付けられた色合いデータがより大きい顔頻度値を含み、その検出された顔がカメラシステムによって頻繁にキャプチャされていることを示している場合、その検出された顔により高い優先順位値を与えることができる。追加として、または別個に、検出された顔が先駆画像内でより大きい顔サイズを有している場合、その検出された顔により高い優先順位値を与えることも可能である。検出された顔の各々に対する優先順位値が判定されると、ＷＢの相違および優先順位値に基づいてカメラ設定が調整される。ＷＢの相違および優先順位値は、重み付き合計およびフィルタリングを含む任意のコンピューテーション方法によって組み合わせることができる。

【0037】

特定の例では、第１の検出された顔は、１～１９個の追加検出された顔と共に先駆画像内で検出される。個々の検出された顔に対する色合いデータが取り出され、色合いデータに基づいてＡＷＢの相違が判定される。先駆画像内の検出された顔毎に同じく優先順位値が判定される。優先順位値に基づいて最大２０個の検出された顔がフィルタリングされ、関連する色合いデータおよびＡＷＢの相違を有する検出された顔のサブセットが生成される。フィルタリングされると、ＷＢの相違が優先順位値によって重み付けされるよう、５つの最も高い優先順位値を有する検出された顔のサブセットの重み付き合計に基づいてカメラ設定を調整することができる。検出された顔および関連する色合いデータは任意の所望のサブセットにフィルタリングすることができ、提供されている例は、単に、複数の検出された顔に対するＷＢの相違を組み合わせる特定の方法を例証するために与えられているにすぎないことに留意されたい。

【0038】

図１４は、電子デバイス１０２内のカメラシステムのためのＡＷＢの別の例示的実施態様を示したものであり、複数の画像（例えば第１の画像１４０２および追加画像１４０４）は異なるカメラ設定調整でキャプチャされている。一態様では、第１の検出された顔５０２および追加検出された顔５０４が先駆画像内で検出される。検出された顔毎に色合いデータが取り出され、第１の検出された顔５０２と関連付けられたＷＢの相違と、追加検出された顔５０４と関連付けられたＷＢの相違とを判定するために使用される。第１の検出された顔５０２と関連付けられたＷＢの相違に基づいてカメラ設定が調整され、これにより、第１の検出された顔５０２の色合いが改善された状態で第１の画像１４０２をキャプチャする。次に、追加検出された顔５０４と関連付けられたＷＢの相違に基づいてカメラ設定が調整され、追加画像１４０４は、追加検出された顔５０４の色合いが改善された状態でキャプチャされる。第１の画像１４０２および追加画像１４０４は同じカメラまたは別のカメラでキャプチャすることができ、１つまたは複数の画像をメモリに保存することができ、また、カメラシステムは、調整されたカメラ設定を使用して１つまたは複数の追加画像をキャプチャすることができることに留意されたい。

【0039】

図１５は、ＡＷＢを実施するカメラシステムの画像結合モジュール１２４の例示的実施態様を示したものである。２つの画像が示されており、第１の画像１４０２では、第１の検出された顔５０２において改善された色合いを有し、追加画像１４０４では、追加検出された顔５０４において改善された色合いを有している。第１の画像１４０２および追加画像１４０４は画像結合モジュール１２４に提供されている。画像結合モジュール１２４は、画像縫合を使用して第１の画像１４０２および追加画像１４０４を、第１の検出された顔５０２および追加検出された顔５０４において改善された色合いを有する単一の画像１５０４に組み込んでいる。画像結合モジュール１２４は、第１の検出された顔５０２に対して第１の画像１４０２を組み込み、また、追加検出された顔５０４に対して追加画像１４０４を組み込んでいる。単一の画像１５０４が生成されると、電子デバイス１０２上のディスプレイ１１０に提供されてデジタル表示される。さらに、単一の画像１５０４を電子デバイス内に記憶することができ、あるいは任意の他の画像記憶媒体を介して記憶することができる。

【0040】

さらに、追加画像を画像結合モジュール１２４に提供することができ、また、先駆画像内の追加検出された顔に対する追加画像を組み込むことにより、画像結合モジュール１２４を介して単一の画像１５０２を生成することができる。したがって単一の画像１５０２は、その検出された顔の各々において改善された色合いを有することになる。

【0041】

例示的方法
図１６は、カメラシステムのためのＡＷＢの例示的方法を示したものである。１６０２で、検出された顔が場面の先駆画像内で検出される。顔検出は、知識ベース顔検出、特徴ベース顔検出、テンプレート照合顔検出または外観ベース顔検出を含む任意の顔検出方法によって実施することができる。

【0042】

１６０４で、検出された顔の色合いが先駆画像内で判定される。検出された顔の色合いは、色合い値の所定のセットまたは色合い値の継続的に構築されるセットから判定することができる。色合い判定は、教師あり学習または教師なし学習を含む機械学習方法によって実施することができる。さらに、色合い判定は事前に訓練することができ、あるいは経時的に訓練することができる。

【0043】

１６０６で、検出された顔と関連付けられた色合いデータが取り出される。先行する周囲条件でキャプチャされた先行する画像のグループを使用して、一致した画像のグループが判定される。一致した画像のグループは、検出された人の顔と同じ顔を含むことが判定されている。同じ方法または同様の方法を使用して、先行する画像内の検出された顔と同じ顔を先行する画像内で検出することができる。色合いデータは、より正確な色合い値を判定するために使用することができる色合いを含むが、色合いデータは、先行する画像内の同じ顔および先行する画像自体に関する追加データを含むことも可能である。このデータは、先行する画像内の同じ顔のサイズおよび先行する画像内の照明などの周囲条件を含むことができる。例として、周囲条件を使用して、先行する画像の各々における同じ顔と関連付けられた色合いに対する確信値を判定することができる。確信値は、同じ顔の色合いと組み合わせて使用して、より正確な色合いを判定することができる。さらに、色合いデータは、検出された顔と関連付けられた顔頻度値などの優先順位値の判定を補助するために使用することができるデータを含むことができる。

【0044】

１６０８で、検出された顔の色合いと色合いデータとの間のＷＢの相違が判定される。この相違は、検出された顔の色合いと、色合いデータからのより正確な色合いとの間の相違のみに基づいて、またはその相違に部分的に基づいて判定することができる。ＷＢの相違は、先駆画像中の検出された顔の色合いを色合いデータからのより正確な色合いに揃えるためのカメラ設定の判定された相違である。ＷＢの相違は、赤色センサ、緑色センサおよび青色センサを含むＲＧＢセンサ利得値の変化として表現することができる。

【0045】

１６１０で、ＷＢの相違に基づいてカメラ設定が調整される。カメラ設定調整は、ＲＧＢセンサ利得を含むカメラセンサ利得値を調整することを含むことができる。カメラ設定を調整することにより、カメラシステムは、例えばカメラ設定が調整されていなければカメラでキャプチャされることになる場面の画像と比較すると、改善された色合いを有する場面の画像をキャプチャすることができるようになる。さらに、カメラ設定を調整することにより、カメラは、改善された色合いを有する場面の画像をキャプチャすることができる。キャプチャされた画像は、ディスプレイに提供してデジタル表示することができ、電子デバイスに記憶することができ、あるいはその両方を実施することができる。

【0046】

図１７は、１つまたは複数の追加検出された顔が先駆画像内で検出されるカメラシステムのためのＡＷＢの例示的方法を示したものである。図１６に示されている方法と同様、１６０２で、検出された顔が先駆画像内で検出される。１６０４で、先駆画像内の検出された顔に対する色合いが判定され、検出された顔と関連付けられた色合いデータが取り出される。１６０８で、検出された顔の色合いと、検出された顔と関連付けられた色合いデータとの間のＷＢの相違が判定される。図１６とは異なり、検出された顔と関連付けられた優先順位値が判定される。優先順位値を使用して、先駆画像内の検出された顔の重要性が判定される。優先順位値は、色合いデータ、先駆画像またはそれら２つの組合せに基づいて判定することができる。例えば検出された顔と関連付けられた色合いデータがより大きい顔頻度値を含み、その検出された顔がカメラシステムによってしばしばキャプチャされていることを示している場合、その検出された顔により高い優先順位値を与えることができる。追加として、または別個に、検出された顔が先駆画像内でより大きい顔サイズを有している場合、その検出された顔により高い優先順位値を与えることも可能である。

【0047】

任意選択で、１７０２で追加の顔を先駆画像内で検出することができる。１６０４で、この追加の顔に対する色合いが判定され、この追加の顔と関連付けられた色合いデータが１６０６で取り出されることになる。１６０８で、先駆画像内の追加検出された顔の色合いと、追加検出された顔と関連付けられた色合いデータとの相違に基づいて、ＡＷＢの追加相違が判定されることになる。１７０４で、追加検出された顔の優先順位値が判定される。方法は、任意選択で、１７０２で追加の顔を先駆画像内で検出して、この追加検出された顔に対するステップを反復することができ、あるいは１６１０でカメラ設定を調整することができる。カメラ設定が調整される場合、その調整は、ＷＢの相違と、検出された顔および追加検出された顔の優先順位値との組合せに基づくことができる。ＷＢの相違および優先順位値は、重み付き合計およびフィルタリングを含む任意のコンピューテーション方法によって組み合わせることができる。

【0048】

図１８は、１つまたは複数の追加検出された顔が先駆画像内で検出されるカメラシステムのためのＡＷＢの別の例示的方法を示したものである。図１７と同様、１６０２で第１の顔が先駆画像内で検出され、また、１６０４で、先駆画像内の検出された顔に対する色合いが判定される。１６０６で、検出された顔と関連付けられた色合いデータが取り出され、先駆画像内の検出された顔の色合いと、検出された顔と関連付けられた色合いデータとの間のＷＢの相違が判定される。しかしながら優先順位値は判定されない。その代わりに１８０２で、ＷＢの相違に基づいて調整されたカメラ設定を使用して、検出された顔において改善された色合いを有する第１の画像がキャプチャされる。１７０２で、追加検出された顔が先駆画像内で検出され、追加検出された顔に対して上記ステップが反復される。したがって１６０８で、追加検出された顔の色合いと追加検出された顔と関連付けられた色合いデータとに基づいてＷＢの追加相違が判定される。１８０２で、ＷＢの追加相違に基づいて調整されたカメラ設定を使用して追加画像がキャプチャされる。追加画像は、追加検出された顔において改善された色合いを有する。追加検出された顔は先駆画像内で検出することができ、また、ステップを反復することができる。

【0049】

１８０４で、第１の画像および追加画像が画像結合モジュールに提供される。画像結合モジュールは、第１の画像および追加画像を結合して、改善された色合いを有する単一の画像を生成する。例えば画像結合モジュールは、検出された顔に対して第１の画像を組み込むことができ、また、追加検出された顔に対して追加画像を組み込むことができる。したがって生成された単一の画像は、その検出された顔および追加検出された顔において改善された色合いを有することができる。単一の画像は、ディスプレイに提供してデジタル表示することができ、電子デバイスに記憶することができ、あるいはその両方を実施することができる。

【0050】

一般に、本明細書において説明されている構成要素、モジュール、方法、および操作は、すべて、ソフトウェア、ファームウェア、ハードウェア（例えば固定論理回路）、手動処理、またはそれらの任意の組合せを使用して実現することができる。例示的方法のいくつかの動作は、コンピュータ処理システムに対して局所および／または遠隔であるコンピュータ可読記憶メモリ上に記憶されている実行可能命令の一般的な文脈で記述することができ、また、実施態様は、ソフトウェアアプリケーション、プログラム、機能、等を含むことができる。別法または追加として、本明細書において説明されている機能は、すべて、少なくとも部分的に、それらに限定されないが、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳｏＣｓ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、等を含む１つまたは複数のハードウェア論理構成要素によって実施することができる。

【0051】

以下、いくつかの例について説明する。
例１ 電子デバイスのカメラシステムにおける自動ホワイトバランス（ＡＷＢ）のための方法であって、方法は、先駆画像内の第１の人の顔を検出することと、先駆画像内の第１の検出された人の顔の第１の色合いを判定することと、検出された第１の人の顔と関連付けられた第１の色合いデータを取り出すこととを含み、第１の色合いデータは、先行する周囲条件でキャプチャされた先行する画像のグループから判定され、先行する画像は、第１の検出された人の顔と同じ人の顔を含むことが判定されており、方法はさらに、第１の色合いデータに基づいて、先駆画像内の第１の検出された人の顔の第１の色合いと第１の色合いデータとの間のホワイトバランス（ＷＢ）の第１の相違を判定することと、ＷＢの第１の相違に基づいてカメラ設定を調整することとを含み、この調整することにより、改善された色合いを有する画像をキャプチャすることができる。

【0052】

例２ 例１に記載されている方法であって、先駆画像内の追加の人の顔を検出することと、先駆画像内の追加検出された人の顔の色合いを判定することと、追加検出された人の顔と関連付けられた色合いデータを取り出すこととをさらに含み、色合いデータは、先行する周囲条件でキャプチャされた先行する画像のグループから判定された追加検出された人の顔と関連付けられ、先行する画像は、追加検出された人の顔と同じ人の顔を含むことが判定されており、上記方法は、追加検出された人の顔と関連付けられた色合いデータに基づいて、先駆画像内の追加検出された人の顔の色合いと、追加検出された人の顔と関連付けられた色合いデータとの間のＡＷＢの追加相違を判定することをさらに含み、カメラ設定の調整は、ＷＢの第１の相違およびＷＢの追加相違に基づく。

【0053】

例３ 例２に記載されている方法であって、先駆画像内の第１の検出された人の顔の第１の優先順位値を判定することと、先駆画像内の追加検出された人の顔の追加優先順位値を判定することとをさらに含み、カメラ設定の調整は、第１の優先順位値で重み付けされたＷＢの第１の相違と、追加優先順位値で重み付けされたＷＢの追加相違との重み付き合計に基づく。

【0054】

例４ 例３に記載されている方法であって、第１の優先順位値を判定することは、先駆画像内の第１の検出された人の顔の第１のサイズに基づき、追加優先順位値を判定することは、先駆画像内の追加検出された人の顔のサイズに基づく。

【0055】

例５ 例３に記載されている方法であって、第１の優先順位値を判定することは第１の判定された顔頻度値に基づき、第１の判定された顔頻度値は、第１の検出された人の顔と同じ人の顔を含むことが判定された先行する画像の数に基づき、追加優先順位値を判定することは、追加検出された人の顔の判定された顔頻度値に基づき、追加検出された人の顔の判定された顔頻度値は、追加検出された人の顔と同じ人の顔を含むことが判定された先行する画像の数に基づく。

【0056】

例６ 例２に記載されている方法であって、追加の人の顔を検出することは最大１９個の人の顔を検出することを含み、追加優先順位値を検出することは最大１９個の優先順位値を判定することを含む。

【0057】

例７ 例１に記載されている方法であって、カメラ設定を調整することにより、電子デバイスは、改善された色合いを有する第１の検出された人の顔を有する第１の画像をキャプチャし、方法は、先駆画像内の追加の人の顔を検出することと、先駆画像内の追加検出された人の顔の色合いを判定することと、追加検出された人の顔と関連付けられた色合いデータを取り出すこととをさらに含み、追加検出された人の顔と関連付けられた色合いデータは、先行する周囲条件でキャプチャされた先行する画像のグループから判定され、先行する画像は、追加検出された人の顔と同じ人の顔を含むことが判定されており、方法は、追加検出された人の顔と関連付けられた色合いデータに基づいて、先駆画像内の追加検出された人の顔の色合いと、追加検出された人の顔と関連付けられた色合いデータとの間のＡＷＢの追加相違を判定することと、ＷＢの追加相違に基づいてカメラ設定を調整することにより、電子デバイスに、改善された色合いを有する追加検出された人の顔を有する追加画像をキャプチャさせることと、第１の検出された人の顔に対する第１の画像と追加検出された人の顔に対する追加画像とを組み込んだ単一の画像を生成するために、第１の画像および追加画像を画像結合モジュールに提供することとをさらに含む。

【0058】

例８ 例１に記載されている方法であって、第１の色合いデータは確信値を含み、確信値は、第１の検出された人の顔と同じ人の顔を含むことが判定された先行する画像内の第１の検出された人の顔と同じ人の顔の顔サイズ、または第１の検出された人の顔と同じ人の顔を含むことが判定された先行する画像内の周辺光条件に基づく。

【0059】

例９ 例８に記載されている方法であって、ＷＢの第１の相違を判定することはフィルタリングされた第１の色合いデータに基づき、フィルタリングされた第１の色合いデータは確信値によってフィルタリングされた第１の色合いデータのサブセットである。

【0060】

例１０ 例８に記載されている方法であって、ＷＢの第１の相違を判定することは、確信値によって重み付けされた第１の色合いデータの重み付き合計に基づく。

【0061】

例１１ 例１に記載されている方法であって、先駆画像内の第１の人の顔を検出することはアクチュエータによって開始される。

【0062】

例１２ 例１に記載されている方法であって、カメラ設定を調整することにより、電子デバイスは改善された色合いを有する画像をキャプチャする。

【0063】

例１３ 例１２に記載されている方法であって、改善された色合いを有する画像をディスプレイに提供することをさらに含む。

【0064】

例１４ 例１に記載されている方法であって、カメラ設定を調整することは、赤色センサ利得、緑色センサ利得、または青色センサ利得を調整することを含む。

【0065】

例１５ 例１に記載されている方法であって、第１の人の顔を検出することは低解像度センサを使用することを含む。

【0066】

例１６ 自動ホワイトバランス（ＡＷＢ）を実施することができる電子デバイス中のカメラシステムは、プロセッサと、コンピュータ可読媒体と、先駆画像をキャプチャすることができるセンサと、画像内の人の顔を検出することができる顔頻度モジュールと、先行する画像を記憶することができる記憶装置と、検出された人の顔の色合いを判定することができる色合い判定モジュールと、カメラ設定を調整することができるホワイトバランスコントローラとを備える。

【0067】

結論
以上、カメラシステムのＡＷＢの態様について、機能および／または方法に特化された言語で説明したが、添付の特許請求の範囲の主題は、必ずしも説明されている特定の機能または方法に限定されない。そうではなく、特定の機能および方法は、カメラシステムのための特許請求されるＡＷＢの例示的実施態様として開示されており、他の等価機能および方法も、添付の特許請求の範囲の範囲内であることが意図されている。さらに、様々な態様が説明されており、説明されている個々の態様は、独立して実装することができ、あるいは１つまたは複数の他の説明されている態様と関連して実装することができることを認識されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2024-06-10

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

電子デバイスのカメラシステムにおける自動ホワイトバランス（ＡＷＢ）のための方法であって、
先駆画像内の第１の人の顔を検出すること（１６０２）と、
前記先駆画像内の前記第１の検出された人の顔の第１の色合いを判定すること（１６０４）と、
前記検出された第１の人の顔と関連付けられた第１の色合いデータを取り出すこと（１６０６）とを含み、前記第１の色合いデータは、先行する周囲条件でキャプチャされた先行する画像のグループから判定され、前記先行する画像は、前記第１の検出された人の顔と同じ人の顔を含むことが判定されており、前記方法は、さらに、
前記第１の色合いデータに基づいて、前記先駆画像内の前記第１の検出された人の顔の前記第１の色合いと前記第１の色合いデータとの間のホワイトバランス（ＷＢ）の第１の相違を判定すること（１６０８）と、
ＷＢの前記第１の相違に基づいてカメラ設定を調整すること（１６１０）とを含み、前記調整することにより、改善された色合いを有する画像をキャプチャすることができ、前記改善された色合いは、前記第１の色合いよりも前記第１の色合いデータにより緊密に一致する、方法。

【請求項2】

前記方法は、
前記先駆画像内の追加の人の顔を検出することと、
前記先駆画像内の前記追加検出された人の顔の追加色合いを判定することと、
前記追加検出された人の顔と関連付けられた追加色合いデータを取り出すこととをさらに含み、前記追加色合いデータは、先行する周囲条件でキャプチャされた先行する画像の別のグループから判定された前記追加検出された人の顔と関連付けられ、前記先行する画像の別のグループは、前記追加検出された人の顔と同じ人の顔を含むことが判定されており、前記方法は、
前記追加検出された人の顔と関連付けられた前記追加色合いデータに基づいて、前記先駆画像内の前記追加検出された人の顔の前記追加色合いと、前記追加検出された人の顔と関連付けられた前記追加色合いデータとの間のＡＷＢの追加相違を判定すること
をさらに含み、
カメラ設定の調整は、ＷＢの前記第１の相違およびＷＢの前記追加相違に基づく、請求項１に記載の方法。

【請求項3】

前記先駆画像内の前記第１の検出された人の顔の第１の優先順位値を判定することと、
前記先駆画像内の前記追加検出された人の顔の追加優先順位値を判定することと
をさらに含み、カメラ設定の調整は、前記第１の優先順位値で重み付けされたＷＢの前記第１の相違と、前記追加優先順位値で重み付けされたＷＢの前記追加相違との重み付き合計にさらに基づく、請求項２に記載の方法。

【請求項4】

前記第１の優先順位値を判定することは、前記先駆画像内の前記第１の検出された人の顔の第１のサイズに基づき、
前記追加優先順位値を判定することは、前記先駆画像内の前記追加検出された人の顔のサイズに基づく、
請求項３に記載の方法。

【請求項5】

前記第１の優先順位値を判定することは第１の判定された顔頻度値に基づき、前記第１の判定された顔頻度値は、前記第１の検出された人の顔と同じ人の顔を含むことが判定されている先行する画像の前記グループにおける先行する画像の数量に基づき、
前記追加優先順位値を判定することは、前記追加検出された人の顔の追加判定された顔頻度値に基づき、前記追加検出された人の顔の前記追加判定された顔頻度値は、前記追加検出された人の顔と同じ人の顔を含むことが判定されている先行する画像の前記別のグループにおける先行する画像の数量に基づく、
請求項３に記載の方法。

【請求項6】

追加の人の顔を検出することは最大１９個の人の顔を検出することを含み、
追加優先順位値を判定することは最大１９個の優先順位値を判定することを含む、
請求項２～５のいずれか１項に記載の方法。

【請求項7】

カメラ設定を調整することにより、前記電子デバイスは、改善された色合いを有する前記第１の検出された人の顔を有する第１の画像をキャプチャし、
前記方法は、
前記先駆画像内の追加の人の顔を検出することと、
前記先駆画像内の前記追加検出された人の顔の追加色合いを判定することと、
前記追加検出された人の顔と関連付けられた追加色合いデータを取り出すこととをさらに含み、前記追加検出された人の顔と関連付けられた前記追加色合いデータは、先行する周囲条件でキャプチャされた先行する画像の別のグループから判定され、前記他の先行する画像は、前記追加検出された人の顔と同じ人の顔を含むことが判定されており、前記方法は、
前記追加検出された人の顔と関連付けられた前記追加色合いデータに基づいて、前記先駆画像内の前記追加検出された人の顔の前記追加色合いと、前記追加検出された人の顔と関連付けられた前記追加色合いデータとの間のＡＷＢの追加相違を判定することと、
ＷＢの前記追加相違に基づいてカメラ設定を調整することにより、前記電子デバイスに、別の改善された色合いを有する前記追加検出された人の顔を有する追加画像をキャプチャさせることと、
前記第１の検出された人の顔に対する前記第１の画像と前記追加検出された人の顔に対する前記追加画像とを組み込んだ単一の画像を生成するために、前記第１の画像および前記追加画像を画像結合モジュールに提供することと
をさらに含む、請求項１に記載の方法。

【請求項8】

前記第１の色合いデータは確信値を含み、前記確信値は、
前記第１の検出された人の顔と同じ人の顔を含むことが判定された前記先行する画像内の前記第１の検出された人の顔と同じ人の顔の顔サイズ、または
前記第１の検出された人の顔と同じ人の顔を含むことが判定された前記先行する画像内の周辺光条件
に基づく、請求項１～７のいずれか１項に記載の方法。

【請求項9】

ＷＢの前記第１の相違を判定することはフィルタリングされた第１の色合いデータに基づき、前記フィルタリングされた第１の色合いデータは前記確信値によってフィルタリングされた前記第１の色合いデータのサブセットである、請求項８に記載の方法。

【請求項10】

ＷＢの前記第１の相違を判定することは、前記確信値によって重み付けされた前記第１の色合いデータの重み付き合計に基づく、請求項８に記載の方法。

【請求項11】

前記先駆画像内の前記第１の人の顔を検出することはアクチュエータによって開始される、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

カメラ設定を調整することにより、前記電子デバイスは前記改善された色合いを有する画像をキャプチャする、請求項１～１１のいずれか１項に記載の方法。

【請求項13】

前記改善された色合いを有する前記画像をディスプレイに提供することをさらに含む、請求項１２に記載の方法。

【請求項14】

カメラ設定を調整することは、
赤色センサ利得、
緑色センサ利得、または
青色センサ利得
を調整することを含む、請求項１～１３のいずれか１項に記載の方法。

【請求項15】

第１の人の顔を検出することは低解像度センサを使用することを含む、請求項１～１４のいずれか１項に記載の方法。

【請求項16】

自動ホワイトバランス（ＡＷＢ）を実施することができる電子デバイス中のカメラシステムであって、
プロセッサ（３０２）と、
コンピュータ可読媒体（３０４）と、
先駆画像をキャプチャすることができるセンサ（３０６）と、
画像内の人の顔を検出することができる顔頻度モジュール（１１８）と、
先行する画像を記憶することができる記憶装置（３０８）と、
検出された人の顔の色合いを判定することができる色合い判定モジュール（１１４）と、
カメラ（３２０）設定を調整することができるホワイトバランスコントローラ（１１６）と
を備えるカメラシステム。

【請求項17】

請求項１～１５のいずれか１項に記載の方法を実施するように構成された電子デバイス中のカメラ（３２０）システム。

【請求項18】

１つまたは複数のプロセッサ（３０２）によって実行されると、前記１つまたは複数のプロセッサ（３０２）が請求項１～１５のいずれか１項に記載の方法を実施させる命令を含むコンピュータプログラム。

【国際調査報告】