(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-20
(54)【発明の名称】画像キャプチャ動作を改善するための機構
(51)【国際特許分類】
H04N 23/611 20230101AFI20231213BHJP
H04N 23/63 20230101ALI20231213BHJP
G06T 7/11 20170101ALI20231213BHJP
G06V 10/25 20220101ALI20231213BHJP
【ＦＩ】
H04N23/611
H04N23/63 330
H04N23/63 100
G06T7/11
G06V10/25
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023522448
(86)(22)【出願日】2020-10-22
(85)【翻訳文提出日】2023-04-12
(86)【国際出願番号】 CN2020122647
(87)【国際公開番号】W WO2022082554
(87)【国際公開日】2022-04-28
(81)【指定国・地域】
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ホウ、ヤオヤオ
(72)【発明者】
【氏名】ワン、シャオチェン
(72)【発明者】
【氏名】ティエン、ジーガン
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA03
5C122DA04
5C122EA12
5C122FD01
5C122FF01
5C122FG14
5C122FH03
5C122FH10
5C122FH11
5C122FH14
5C122FK28
5C122FK37
5C122FK41
5C122FL08
5C122GA01
5C122HA13
5C122HA35
5C122HA46
5C122HB01
5C122HB05
5L096CA02
5L096CA24
5L096FA02
5L096FA16
5L096JA11
(57)【要約】
１つまたは複数の画像キャプチャ動作を改善するための技法およびシステムが提供される。いくつかの例では、システムは、画像フレーム内のロケーションの選択に対応するユーザ入力を検出する。システムは、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定すること、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有する、を行う。システムは、次いで、決定に少なくとも部分的に基づいて関心領域を調整し、調整された関心領域内で画像データの１つまたは複数の画像キャプチャ動作を実施する。
【選択図】図３Ａ
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
画像フレーム中での１つまたは複数の画像キャプチャ動作を改善するための方法であって、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することと、
前記画像フレームの関心領域内に前記画像フレームがオブジェクトを少なくとも部分的に含むと決定することと、前記関心領域は、前記選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有し、
前記決定に少なくとも部分的に基づいて、前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することと、
前記調整された関心領域内で画像データの前記１つまたは複数の画像キャプチャ動作を実施することと、
を備える方法。
【請求項2】
カメラデバイスが画像キャプチャモードにある間に、前記カメラデバイスによってキャプチャされた画像フレームを含むフレームのプレビューストリーム内で、前記画像フレームを受信することをさらに備える、請求項１に記載の方法。
【請求項3】
前記画像フレームの前記関心領域内に前記画像フレームがオブジェクトを少なくとも部分的に含むと決定することは、前記関心領域内でオブジェクト検出アルゴリズムを実施することを含む、請求項１に記載の方法。
【請求項4】
前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することは、前記オブジェクト検出アルゴリズムに基づいて前記関心領域の前記あらかじめ決定された形状を調整することを含む、請求項３に記載の方法。
【請求項5】
前記オブジェクト検出アルゴリズムに基づいて前記関心領域の前記あらかじめ決定された形状を調整することは、前記オブジェクト検出アルゴリズムに基づいて前記オブジェクトのための境界ボックスを決定することと、
前記境界ボックスとして前記関心領域を設定することと、
を含む、請求項４に記載の方法。
【請求項6】
前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することは、少なくとも１つの軸に沿って前記関心領域の前記あらかじめ決定されたサイズを減少させることを含む、請求項１に記載の方法。
【請求項7】
前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することは、少なくとも１つの軸に沿って前記関心領域の前記あらかじめ決定されたサイズを増加させることを含む、請求項１に記載の方法。
【請求項8】
前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することは、前記関心領域の境界と前記オブジェクトの境界との間の距離を減少させることを含む、請求項１に記載の方法。
【請求項9】
前記関心領域の前記境界と前記オブジェクトの前記境界との間の前記距離を減少させることは、前記画像フレーム内のオブジェクトの輪郭を決定することと、
前記画像フレーム内の前記オブジェクトの前記輪郭として前記関心領域の前記境界を設定することと、
を含む、請求項８に記載の方法。
【請求項10】
前記画像フレーム内の前記オブジェクトの前記輪郭を決定することは、前記画像フレーム内の前記輪郭に対応するピクセルを決定することを含む、請求項９に記載の方法。
【請求項11】
前記関心領域内に前記画像フレームが前記オブジェクトを少なくとも部分的に含むと決定することは、前記画像フレームは、前記画像フレーム内の複数の関心領域内に１つまたは複数のオブジェクトを少なくとも部分的に含むと決定することを含み、前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することは、前記複数の関心領域のあらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することを含む、
請求項１に記載の方法。
【請求項12】
前記画像フレーム内に、前記調整された関心領域を示す視覚グラフィックを覆うことをさらに備える、請求項１に記載の方法。
【請求項13】
前記視覚グラフィックに関連する追加のユーザ入力を検出すること、をさらに備え、前記追加のユーザ入力は、前記調整された関心領域への少なくとも１つの追加の調整を示す、請求項１２に記載の方法。
【請求項14】
前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状への異なる調整に対応する複数の候補の調整された関心領域を決定することと、前記画像フレーム内に、前記複数の候補の調整された関心領域に対応する複数の視覚グラフィックを連続的に表示することと、
前記複数の候補の調整された関心領域のうちの１つの候補の調整された関心領域の選択を、前記１つの候補の調整された関心領域に対応する前記複数の視覚グラフィックのうちの１つの視覚グラフィックに関連する追加のユーザ入力を検出することに基づいて決定することと、
をさらに備える、請求項１に記載の方法。
【請求項15】
前記１つまたは複数の画像キャプチャ動作は、オートフォーカス動作を含む、請求項１に記載の方法。
【請求項16】
前記１つまたは複数の画像キャプチャ動作は、自動露出動作を含む、請求項１に記載の方法。
【請求項17】
前記１つまたは複数の画像キャプチャ動作は、自動ホワイトバランス動作を含む、請求項１に記載の方法。
【請求項18】
前記調整された関心領域内の前記画像データの前記１つまたは複数の画像キャプチャ動作を実施した後に、ディスプレイ上に前記画像フレームを表示することをさらに備える、請求項１に記載の方法。
【請求項19】
画像フレーム中での１つまたは複数の画像キャプチャ動作を改善するための装置であって、メモリと、
プロセッサと
を備え、前記プロセッサは、
画像フレーム内のロケーションの選択に対応するユーザ入力を検出することと、
前記画像フレームの関心領域内に前記画像フレームがオブジェクトを少なくとも部分的に含むと決定することと、前記関心領域は、前記選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有し、
前記決定に少なくとも部分的に基づいて、前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することと、
前記調整された関心領域内で画像データの前記１つまたは複数の画像キャプチャ動作を実施することと、
を行うように構成された装置。
【請求項20】
前記プロセッサは、カメラデバイスが画像キャプチャモードにある間に、前記カメラデバイスによってキャプチャされた画像フレームを含むフレームのプレビューストリーム内で、前記画像フレームを受信することを行うようにさらに構成された、請求項１９に記載の装置。
【請求項21】
前記プロセッサは、前記画像フレームの前記関心領域内でオブジェクト検出アルゴリズムを実施することに基づいて、前記画像フレームの前記関心領域内に前記画像フレームが前記オブジェクトを少なくとも部分的に含むと決定することを行うように構成された、請求項２０に記載の装置。
【請求項22】
前記プロセッサは、前記オブジェクト検出アルゴリズムに基づいて前記オブジェクトのための境界ボックスを決定することと、
前記境界ボックスとして前記関心領域を設定することと、
を行うように構成された、請求項２１に記載の装置。
【請求項23】
前記プロセッサは、少なくとも１つの軸に沿って前記関心領域の前記あらかじめ決定されたサイズを減少させることを行うように構成された、請求項１９に記載の装置。
【請求項24】
前記プロセッサは、少なくとも１つの軸に沿って前記関心領域の前記あらかじめ決定されたサイズを増加させることを行うように構成された、請求項１９に記載の装置。
【請求項25】
前記プロセッサは、前記関心領域の境界と前記オブジェクトの境界との間の距離を減少させることを行うように構成された、請求項１９に記載の装置。
【請求項26】
前記プロセッサは、前記画像フレーム内のオブジェクトの輪郭を決定することと、
前記画像フレーム内の前記オブジェクトの前記輪郭として前記関心領域の前記境界を設定することと、
を行うように構成された、請求項２５に記載の装置。
【請求項27】
前記プロセッサは、前記画像フレーム内の前記輪郭に対応するピクセルを決定することを行うように構成された、請求項２６に記載の装置。
【請求項28】
前記プロセッサは、前記画像フレーム内の複数の関心領域内に前記画像フレームが１つまたは複数のオブジェクトを少なくとも部分的に含むと決定することに基づいて、前記関心領域内に前記画像フレームが前記オブジェクトを少なくとも部分的に含むと決定することと、
少なくとも部分的に、前記複数の関心領域のあらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することによって、前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することと、
を行うように構成された、請求項１９に記載の装置。
【請求項29】
前記プロセッサは、前記画像フレーム内に、前記調整された関心領域を示す視覚グラフィックを覆うことを行うように構成された、請求項１９に記載の装置。
【請求項30】
前記プロセッサは、前記視覚グラフィックに関連する追加のユーザ入力を検出すること、を行うようにさらに構成され、前記追加のユーザ入力は、前記調整された関心領域への少なくとも１つの追加の調整を示す、請求項２９に記載の装置。
【請求項31】
前記プロセッサは、前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状への異なる調整に対応する複数の候補の調整された関心領域を決定することと、
前記画像フレーム内に、前記複数の候補の調整された関心領域に対応する複数の視覚グラフィックを連続的に表示することと、
複数の候補の調整された関心領域のうちの１つの候補の調整された関心領域の選択を、前記１つの候補の調整された関心領域に対応する前記複数の視覚グラフィックのうちの１つの視覚グラフィックに関連する追加のユーザ入力を検出することに基づいて決定することと、
を行うようにさらに構成された、請求項１９に記載の装置。
【請求項32】
前記１つまたは複数の画像キャプチャ動作は、オートフォーカス動作を含む、請求項１９に記載の装置。
【請求項33】
前記１つまたは複数の画像キャプチャ動作は、自動露出動作を含む、請求項１９に記載の装置。
【請求項34】
前記１つまたは複数の画像キャプチャ動作は、自動ホワイトバランス動作を含む、請求項１９に記載の装置。
【請求項35】
ディスプレイをさらに備え、ここにおいて、前記プロセッサは、前記調整された関心領域内の前記画像データの前記１つまたは複数の画像キャプチャを実施した後に、前記ディスプレイ上に前記画像フレームを表示することを行うように構成された、請求項１９に記載の装置。
【請求項36】
前記装置はモバイルデバイスを備える、請求項１９に記載の装置。
【請求項37】
前記装置はカメラデバイスを備える、請求項１９に記載の装置。
【請求項38】
１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することと、
前記画像フレームの関心領域内に前記画像フレームがオブジェクトを少なくとも部分的に含むと決定することと、前記関心領域は、前記選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有し、
前記決定に少なくとも部分的に基づいて、前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することと、
前記調整された関心領域内で画像データの１つまたは複数の画像キャプチャ動作を実施することと、
を行わせる命令を備える非一時的コンピュータ可読記憶媒体。
【請求項39】
前記画像フレームが前記画像フレームの前記関心領域内に前記オブジェクトを含むと決定することは、前記画像フレームの前記関心領域内でオブジェクト検出アルゴリズムを実施することを含む、請求項３８に記載の非一時的コンピュータ可読記憶媒体。
【請求項40】
前記関心領域の前記あらかじめ決定されたサイズまたは前記あらかじめ決定された形状を調整することは、前記関心領域の境界と前記オブジェクトの境界との間の距離を減少させることを含む、請求項３８に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[0001]本出願は、画像処理に関する。いくつかの例では、本出願の態様は、キャプチャされた画像フレーム内の画像データに対して実施される（オートフォーカスアルゴリズムおよび関連するアルゴリズムなどの）画像処理および／または画像キャプチャ動作を改善するための機構を提供するシステム、装置、方法、およびコンピュータ可読媒体に関する。
【背景技術】
【0002】
[0002]カメラは、画像の外見を変更するために様々な画像キャプチャおよび画像処理設定で構成され得る。オートフォーカス、自動露出、および自動ホワイトバランス動作などのいくつかの画像処理動作は、写真のキャプチャの前またはその間に決定され、適用される。これらの動作は、（たとえば、領域のコンテンツがぼやけていないこと、露出オーバーでないこと、またはピントがズレていないことを保証するために）画像の１つまたは複数の領域を修正および／または変更するように構成される。動作は、画像処理システムによって自動的にまたはユーザ入力に応答して実施され得る。画像処理動作の出力を改善するためにより高度で正確な画像処理技法が必要とされる。
【発明の概要】
【0003】
[0003]本明細書で説明される技術は、画像キャプチャおよび／または画像処理動作を改善するために実装され得る。少なくとも１つの例によれば、画像フレーム中で１つまたは複数の画像キャプチャ動作を改善するための方法が提供される。例示的な方法は、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することを含むことができる。本方法はまた、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することを含み、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有する。関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状は、決定に少なくとも部分的に基づいて調整され得る。１つまたは複数の画像キャプチャ動作は、次いで、調整された関心領域内で画像データに対して実施され得る。
【0004】
[0004]別の例では、画像フレーム中での１つまたは複数の画像処理動作を改善するための装置が提供される。例示的な装置は、メモリと１つまたは複数のプロセッサとを含み、プロセッサは、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することを行うように構成される。１つまたは複数のプロセッサは、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定すること、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有する、を行うことができる。関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状は、決定に少なくとも部分的に基づいて調整され得る。１つまたは複数の画像キャプチャ動作は、次いで、調整された関心領域内で画像データに対して実施され得る。
【0005】
[0005]別の例では、例示的な装置は、画像フレーム内のロケーションの選択に対応するユーザ入力を検出するための手段と；画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定するための手段と、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有する；決定に少なくとも部分的に基づいて関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整するための手段と；調整された関心領域内で画像データに対して１つまたは複数の画像キャプチャ動作を実施するための手段と、を含むことができる。
【0006】
[0006]別の例では、画像フレーム中での１つまたは複数の画像処理動作を改善するための非一時的コンピュータ可読媒体が提供される。例示的な非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することを行わせる命令を記憶することができる。命令はまた、１つまたは複数のプロセッサに、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定すること、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有する、を行わせることができる。関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状は、決定に少なくとも部分的に基づいて調整され得る。１つまたは複数の画像キャプチャ動作は、次いで、調整された関心領域内で画像データに対して実施され得る。
【0007】
[0007]いくつかの態様では、画像フレームは、カメラデバイスが画像キャプチャモードにある間にカメラデバイスによってキャプチャされた画像フレームを含むフレームのプレビューストリーム内で受信され得る。
【0008】
[0008]いくつかの態様では、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することは、関心領域内でオブジェクト検出アルゴリズムを実施することを含む。いくつかの例では、関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することは、オブジェクト検出アルゴリズムに基づいて関心領域のあらかじめ決定された形状を調整することを含むことができる。たとえば、関心領域のあらかじめ決定された形状を調整することは、オブジェクト検出アルゴリズムに基づいてオブジェクトのための境界ボックスを決定することと、境界ボックスとして関心領域を設定することとを含むことができる。
【0009】
[0009]いくつかの態様では、関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することは、少なくとも１つの軸に沿って関心領域のあらかじめ決定されたサイズを減少させること、少なくとも１つの軸に沿って関心領域のあらかじめ決定されたサイズを増加させること、および／または関心領域の境界とオブジェクトの境界との間の距離を減少させることを含むことができる。いくつかの例では、関心領域の境界とオブジェクトとの間の距離を減少させることは、画像フレーム内のオブジェクトの輪郭を決定することと、画像フレーム内のオブジェクトの輪郭として関心領域の境界を設定することとを含むことができる。場合によっては、画像フレーム内のオブジェクトの輪郭を決定することは、画像フレーム内の輪郭に対応するピクセルを決定することを含むことができる。
【0010】
[0010]いくつかの態様では、関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することは、画像フレームが画像フレーム内の複数の関心領域内に１つまたは複数のオブジェクトを含むと決定することを含むことができる。これらの態様では、関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することは、複数の関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することを含むことができる。いくつかの態様は、画像フレーム内に、調整された関心領域を示す視覚グラフィックを覆うことをさらに含むことができる。これらの態様は、視覚グラフィックに関連する追加のユーザ入力を検出すること、追加のユーザ入力は、調整された関心領域への少なくとも１つの追加の調整を示す、をさらに含むことができる。
【0011】
[0011]いくつかの態様は、関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状への異なる調整に対応する複数の候補の調整された関心領域を決定することと、画像フレーム内に、複数の候補の調整された関心領域に対応する複数の視覚グラフィックを連続的に表示することと、複数の候補の調整された関心領域のうちの１つの候補の調整された関心領域の選択を、１つの候補の調整された関心領域に対応する複数の視覚グラフィックのうちの視覚グラフィックに関連する追加のユーザ入力を検出することに基づいて決定することと、をさらに含むことができる。
【0012】
[0012]いくつかの態様では、１つまたは複数の画像キャプチャ動作は、オートフォーカス動作、自動露出動作、および／または自動ホワイトバランス動作を含むことができる。場合によっては、画像フレームは、１つまたは複数またはより多くの画像キャプチャ動作を実施した後に表示され得る。
【0013】
[0013]別の例では、画像フレーム中での１つまたは複数の画像処理動作を改善するための方法が提供される。例示的な方法は、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することを含むことができる。本方法はまた、選択されたロケーションを囲む固定された関心領域内に、画像フレームが１つまたは複数のオブジェクトを少なくとも部分的に含むのかどうかを決定することを含むことができる。画像フレームが固定された関心領域内に１つまたは複数のオブジェクトを含む場合、本方法は、少なくとも部分的に画像フレーム内にあるオブジェクトの境界に基づいて固定された関心領域を調整し、次いで、調整された関心領域内で画像データに対して１つまたは複数の画像キャプチャ動作を実施することができる。画像フレームが固定された関心領域内にいかなるオブジェクトも含まない場合、本方法は、固定された関心領域を調整しないと決定でき、次いで、固定された関心領域内の画像データに対して１つまたは複数の画像キャプチャ動作を実施することができる。
【0014】
[0014]いくつかの態様では、上記で説明された装置のうちの１つまたは複数は、モバイルデバイス（たとえば、携帯電話またはいわゆる「スマートフォン」または他のモバイルデバイス）、ウェアラブルデバイス、エクステンデッドリアリティデバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、または複合現実（ＭＲ）デバイス）、パーソナルコンピュータ、ラップトップコンピュータ、サーバコンピュータ、ビークル（たとえば、ビークルのコンピューティングデバイス）、または他のデバイスであるか、またはそれらの部分である。いくつかの態様では、本装置は、１つまたは複数の画像をキャプチャするための１つまたは複数のカメラを含む。いくつかの態様では、装置は、１つまたは複数の画像、通知、および／または他の表示可能なデータを表示するためのディスプレイをさらに含む。いくつかの態様では、本装置は、装置のロケーションおよび／もしくは姿勢、装置の状態を決定するか、ならびに／または他の目的のために使用され得る１つまたは複数のセンサを含むことができる。
【0015】
[0015]本概要は、特許請求される主題の重要な特徴または必須の特徴を識別するようには意図されておらず、特許請求される主題の範囲を決定するために別個に使用されるようにも意図されていない。主題は、本特許の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されたい。
【0016】
[0016]前述の内容は、他の特徴および実施形態と共に、以下の明細書、特許請求の範囲、および添付の図面を参照すれば、より明らかになるであろう。
【0017】
[0017]本出願の例示的な実施形態は、以下の図を参照しながら以下で詳細に説明される。
【図面の簡単な説明】
【0018】
【図1A】[0018]いくつかの例による、画像キャプチャおよび処理システムの例示的なアーキテクチャを示すブロック図。
【図1B】[0019]いくつかの例による、インフェーズである位相差検出オートフォーカス（ＰＤＡＦ）カメラシステムを示す図。
【図1C】いくつかの例による、フロントフォーカスでアウトオブフェーズである位相差検出オートフォーカス（ＰＤＡＦ）カメラシステムを示す図。
【図1D】いくつかの例による、バックフォーカスでアウトオブフェーズである位相差検出オートフォーカス（ＰＤＡＦ）カメラシステムを示す図。
【図2A】[0020]いくつかの例による、画像キャプチャ動作を実施することの図。
【図2B】いくつかの例による、画像キャプチャ動作を実施することの図。
【図3A】[0021]いくつかの例による、画像処理システムの構成要素の動作とそれらの間の対話とを示す概念図。
【図3B】いくつかの例による、画像処理システムの構成要素の動作とそれらの間の対話とを示す概念図。
【図4】[0022]いくつかの例による、画像フレーム中での１つまたは複数の画像キャプチャ動作を改善するためのプロセスの一例を示す流れ図。
【図5A】[0023]いくつかの例による、画像キャプチャ動作の図。
【図5B】いくつかの例による、画像キャプチャ動作の図。
【図5C】[0024]いくつかの例による、改善された画像キャプチャ動作の図。
【図5D】いくつかの例による、改善された画像キャプチャ動作の図。
【図5E】いくつかの例による、改善された画像キャプチャ動作の図。
【図5F】いくつかの例による、改善された画像キャプチャ動作の図。
【図6】[0025]いくつかの例による、画像フレーム中での１つまたは複数の画像キャプチャ動作を改善するためのプロセスの一例を示す流れ図。
【図7】[0026]本明細書で説明されるいくつかの態様を実装するためのシステムの一例を示す図。
【発明を実施するための形態】
【0019】
[0027]本開示のいくつかの態様および実施形態が以下で提供される。当業者に明らかであるように、これらの態様および実施形態のうちのいくつかは独立して適用され得、それらのうちのいくつかは組み合わせて適用され得る。以下の説明では、説明の目的で、本出願の実施形態の完全な理解を与えるために具体的な詳細が記載される。ただし、様々な実施形態は、これらの具体的な詳細なしに実施され得ることが明らかであろう。図および説明は限定するものではない。
【0020】
[0028]以下の説明は、例示的な実施形態のみを与えるものであり、本開示の範囲、適用性、または構成を限定するものではない。そうではなく、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に与える。添付の特許請求の範囲に記載されるように、本出願の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。
【0021】
[0029]カメラは、画像センサを使用して光を受信し、静止画像またはビデオフレームなどの画像フレームをキャプチャするデバイスである。「画像」、「画像フレーム」、および「フレーム」という用語は、本明細書では互換的に使用される。カメラは、１つまたは複数の画像フレームを受信し、１つまたは複数の画像フレームを処理することができる画像信号プロセッサ（ＩＳＰ）などのプロセッサを含み得る。たとえば、カメラセンサによってキャプチャされた未加工の画像フレームは、最終の画像を生成するためにＩＳＰによって処理され得る。ＩＳＰによる処理は、特に、ノイズ除去またはノイズフィルタ処理、エッジ強調、カラーバランシング、コントラスト、（暗色化または明色化などの）強度調整、トーン調整などの複数のフィルタまたは処理ブロックをキャプチャされた画像フレームに適用することによって実施され得る。画像処理ブロックまたはモジュールは、特に、レンズ／センサのノイズ訂正、ベイヤーフィルタ、デモザイク処理、色変換、画像属性の訂正または強調／抑制、ノイズ除去フィルタ、シャープ化フィルタを含み得る。
【0022】
[0030]カメラは、様々な画像キャプチャおよび画像処理動作および設定で構成され得る。異なる設定は、異なる外見を持つ画像を生じる。（「３Ａ」と総称される）オートフォーカス、自動露出、および自動ホワイトバランスアルゴリズムなどのいくつかのカメラ動作は、写真のキャプチャの前またはその間に決定され、適用される。写真のキャプチャの前またはその間に適用される追加のカメラ動作は、ＩＳＯ、開口サイズ、ｆストップ、シャッター速度、および利得を伴う動作を含む。他のカメラ動作は、コントラスト、明るさ、彩度、シャープネス、レベル、カーブ、または色への変更などの写真の後処理を構成することができる。
【0023】
[0031]多くのカメラシステムでは、ユーザは、画像処理動作を指示または開始し得る。たとえば、カメラデバイスは、ユーザに、画像キャプチャモードで動作するときに一連の画像フレームを表示し得る。表示されたイメージフレームは、「プレビューストリーム」と呼ばれるか、またはその中に含まれ得る。カメラデバイスは、周期的におよび／またはユーザがカメラデバイスを移動するたびにプレビューストリーム中の画像フレームを更新し得る。プレビューストリーム中の画像フレームを閲覧しながら、ユーザは、実施されることになる画像処理動作のための所望のロケーションに対応する画像フレームの部分を選択し得る。たとえば、カメラがタッチスクリーンまたはユーザ入力のために構成された他のタイプのインターフェースを装備している場合、ユーザは、（たとえば、指、スタイラス、または他の好適な入力機構を用いて）画像フレームの（１つまたは複数のピクセルなどの）ロケーションを選択し得る。好適なユーザ入力の非限定的な例は、ディスプレイ内のロケーションをダブルタップすることおよびあらかじめ決定された時間量（たとえば、０．５秒、１秒など）の間ディスプレイ内のロケーションを押し下げることを含む。場合によっては、ロケーションは、画像フレーム内の注目するオブジェクト（たとえば、主要な被写体または焦点）を含むかまたはそれに対応し得る。カメラデバイスは、選択されたロケーションを囲むおよび／または包含する画像フレームの領域に対して画像処理動作を実施し得る。この領域は、「関心領域」（ＲＯＩ）と呼ばれることがある。
【0024】
[0032]後で詳しく述べるように、従来の画像処理システムは、標準および／または固定サイズのＲＯＩ内で画像処理動作を実施し得る。場合によっては、固定ＲＯＩは、あらかじめ決定された数のピクセルまたは画像のサイズ（または解像度）に対してあらかじめ決定されたサイズを含むあらかじめ決定された形状（たとえば、正方形、矩形、円など）のボックスに対応し得る。画像処理動作は、固定ＲＯＩ内の各ピクセルに対して実施され得る。残念ながら、固定ＲＯＩは、ユーザによって選択されようとするオブジェクトに正確にまたは精密に対応しないことがある。たとえば、固定ＲＯＩは、選択されたオブジェクトに加えてオブジェクトを含み得、および／または固定ＲＯＩは、選択されたオブジェクトの全体を含まないことがある。
【0025】
[0033]したがって、画像処理動作の品質および／または効率を改善するためのシステム、装置、プロセス、およびコンピュータ可読媒体が、本明細書では説明される。たとえば、いくつかの例では、システムおよび技法は、画像フレーム内の選択されたオブジェクトの境界に対応するように形状および／またはサイズがカスタマイズされた動的ＲＯＩを決定し、利用することができる。
【0026】
[0034]図１Ａは、画像キャプチャおよび処理システム１００のアーキテクチャを示すブロック図である。画像キャプチャおよび処理システム１００は、シーンの画像（たとえば、シーン１１０の画像）をキャプチャし、処理するために使用される様々な構成要素を含む。画像キャプチャおよび処理システム１００は、スタンドアロン画像（もしくは写真）をキャプチャすることができ、および／または特定のシーケンス中の複数の画像（またはビデオフレーム）を含むビデオをキャプチャすることができる。システム１００のレンズ１１５は、シーン１１０に面し、シーン１１０からの光を受け取る。レンズ１１５は、画像センサ１３０のほうへ光を曲げる。レンズ１１５によって受け取られた光は、１つまたは複数の制御機構１２０によって制御される開口（aperture）を通過し、画像センサ１３０によって受け取られる。
【0027】
[0035]１つまたは複数の制御機構１２０は、画像センサ１３０からの情報に基づいておよび／または画像プロセッサ１５０からの情報に基づいて露出、フォーカス、および／またはズームを制御し得る。１つまたは複数の制御機構１２０は、複数の機構および構成要素を含み得、たとえば、制御機構１２０は、１つもしくは複数の露出制御機構１２５Ａ、１つもしくは複数のフォーカス制御機構１２５Ｂ、および／または１つもしくは複数のズーム制御機構１２５Ｃを含み得る。１つまたは複数の制御機構１２０はまた、アナログ利得、フラッシュ、ＨＤＲ、被写界深度、および／または他の画像キャプチャプロパティを制御する制御機構など、図示されているもののほかに追加の制御機構を含み得る。場合によっては、１つまたは複数の制御機構１２０は、「３Ａ」画像処理動作を制御および／または実装し得る。
【0028】
[0036]制御機構１２０のフォーカス制御機構１２５Ｂは、フォーカス設定を取得することができる。いくつかの例では、フォーカス制御機構１２５Ｂは、メモリレジスタ中にフォーカス設定を記憶する。フォーカス設定に基づいて、フォーカス制御機構１２５Ｂは、画像センサ１３０の位置に対してレンズ１１５の位置を調整することができる。たとえば、フォーカス設定に基づいて、フォーカス制御機構１２５Ｂは、モータまたはサーボを作動させることによって画像センサ１３０の近くにまたは画像センサ１３０から遠くにレンズ１１５を移動し、それによって、フォーカスを調整することができる。場合によっては、画像センサ１３０の各フォトダイオードの上の１つまたは複数のマイクロレンズなどの追加のレンズが、デバイス１０５Ａ中に含まれ得、それぞれ、光がフォトダイオードに到達する前に受け取った光をレンズ１１５から対応するフォトダイオードのほうへ曲げる。フォーカス設定は、コントラスト検出オートフォーカス（ＣＤＡＦ）、位相検出オートフォーカス（ＰＤＡＦ）、またはそれらの何らかの組合せを介して決定され得る。フォーカス設定は、制御機構１２０、画像センサ１３０、および／または画像プロセッサ１５０を使用して決定され得る。フォーカス設定は、画像キャプチャ設定および／または画像処理設定と呼ばれることがある。
【0029】
[0037]制御機構１２０の露出制御機構１２５Ａは、露出設定を取得することができる。いくつかの例では、露出制御機構１２５Ａは、メモリレジスタ中に露出設定を記憶する。この露出設定に基づいて、露出制御機構１２５Ａは、開口のサイズ（たとえば、開口サイズまたはｆストップ）、開口が開いている持続時間（たとえば、露光時間またはシャッタースピード）、画像センサ１３０の感度（たとえば、ＩＳＯ感度またはフィルム感度）、画像センサ１３０によって適用されるアナログ利得、またはそれらの任意の組合せを制御することができる。露出設定は、画像キャプチャ設定および／または画像処理設定と呼ばれることがある。
【0030】
[0038]制御機構１２０のズーム制御機構１２５Ｃは、ズーム設定を取得することができる。いくつかの例では、ズーム制御機構１２５Ｃは、メモリレジスタ中にズーム設定を記憶する。ズーム設定に基づいて、ズーム制御機構１２５Ｃは、レンズ１１５と１つまたは複数の追加のレンズとを含むレンズエレメントのアセンブリ（レンズアセンブリ）の焦点距離を制御することができる。たとえば、ズーム制御機構１２５Ｃは、互いに対してレンズのうちの１つまたは複数を移動するために１つまたは複数のモータまたはサーボを作動させることによってレンズアセンブリの焦点距離を制御することができる。ズーム設定は、画像キャプチャ設定および／または画像処理設定と呼ばれることがある。いくつかの例では、レンズアセンブリは、同焦点ズームレンズまたは可変焦点ズームレンズを含み得る。いくつかの例では、レンズアセンブリは、最初に、シーン１１０から光を受け取る（場合によっては、レンズ１１５であり得る）集束レンズを含み、光は、次いで、光が画像センサ１３０に到達する前に集束レンズ（たとえば、レンズ１１５）と画像センサ１３０との間の無限焦点ズームシステムを通過し得る。無限焦点ズームシステムは、場合によっては、それらとの間に負（たとえば、発散、凹）レンズをもつ（たとえば、しきい値差内で）等しいまたは同様の焦点距離の２つの正（たとえば、収束、凸）レンズを含み得る。場合によっては、ズーム制御機構１２５Ｃは、負レンズおよび正レンズの一方または両方などの無限焦点ズームシステム中のレンズのうちの１つまたは複数を移動する。
【0031】
[0039]画像センサ１３０は、フォトダイオードまたは他の感光性要素の１つまたは複数のアレイを含む。各フォトダイオードは、画像センサ１３０によって生成された画像中の特定のピクセルに最終的に対応する光の量を測定する。場合によっては、異なるフォトダイオードは、異なるカラーフィルタによってカバーされ得、したがって、フォトダイオードをカバーするフィルタの色に一致する光を測定し得る。たとえば、ベイヤーカラーフィルタは、赤色カラーフィルタと、青色カラーフィルタと、緑色カラーフィルタとを含み、画像の各ピクセルは、赤色フィルタでカバーされた少なくとも１つのフォトダイオードからの赤光データと、青色フィルタでカバーされた少なくとも１つのフォトダイオードからの青光データと、緑色フィルタでカバーされた少なくとも１つのフォトダイオードからの緑光データとに基づいて生成される。他のタイプのカラーフィルタは、赤色、青色、および／または緑色のカラーフィルタの代わりにまたはそれに加えて黄色、マゼンタ、および／または（「エメラルド」とも呼ばれる）シアンのカラーフィルタを使用し得る。いくつかの画像センサは、カラーフィルタが一切欠如していることがあり、代わりに、（場合によっては、垂直方向に積層された）ピクセルアレイ全体にわたって異なるフォトダイオードを使用し得る。ピクセルアレイ全体にわたる異なるフォトダイオードは、異なるスペクトル感度曲線を有し、したがって、異なる波長の光に応答することができる。モノクロ画像センサも、カラーフィルタが欠如しており、したがって、色深度が欠如していることがある。
【0032】
[0040]場合によっては、画像センサ１３０は、代替または追加として、ある時間におよび／またはいくつかの角度からいくつかのフォトダイオードまたはいくつかのフォトダイオードの部分に光が到達するのをブロックする不透明および／または反射マスクを含み得、これは、位相検出オートフォーカス（ＰＤＡＦ）のために使用され得る。画像センサ１３０はまた、フォトダイオードの出力の（および／またはアナログ利得増幅器によって増幅された）アナログ信号をデジタル信号に変換するためにフォトダイオードおよび／またはアナログデジタル変換器（ＡＤＣ）によって出力されたアナログ信号を増幅するためにアナログ利得増幅器を含み得る。場合によっては、制御機構１２０のうちの１つまたは複数に関して説明されるいくつかの構成要素または機能は、その代わりにまたはそれに加えて、画像センサ１３０に含まれ得る。画像センサ１３０は、電荷結合デバイス（ＣＣＤ）センサ、電子増倍ＣＣＤ（ＥＭＣＣＤ）センサ、アクティブピクセルセンサ（ＡＰＳ）、相補型金属酸化物半導体（ＣＭＯＳ）、Ｎ型金属酸化物半導体（ＮＭＯＳ）、ハイブリッドＣＣＤ／ＣＭＯＳセンサ（たとえば、ｓＣＭＯＳ）、またはそれらの何らかの他の組合せであり得る。
【0033】
[0041]画像プロセッサ１５０は、（ＩＳＰ１５４を含む）１つもしくは複数の画像信号プロセッサ（ＩＳＰ）、（ホストプロセッサ１５２を含む）１つもしくは複数のホストプロセッサ、および／またはコンピューティングデバイス９００に関して説明される任意の他のタイプのプロセッサ９１０のうちの１つもしくは複数など、１つまたは複数のプロセッサを含み得る。ホストプロセッサ１５２は、デジタル信号プロセッサ（ＤＳＰ）および／または他のタイプのプロセッサであり得る。いくつかの実装形態では、画像プロセッサ１５０は、ホストプロセッサ１５２とＩＳＰ１５４とを含む単一の集積回路または（たとえば、システムオンチップまたはＳｏＣと呼ばれる）チップである。場合によっては、チップはまた、１つもしくは複数の入出力ポート（たとえば、入出力（Ｉ／Ｏ）ポート１５６）、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、ブロードバンドモデム（たとえば、３Ｇ、４ＧもしくはＬＴＥ（登録商標）、５Ｇなど）、メモリ、接続性構成要素（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、全地球測位システム（ＧＰＳ）など）、それらの任意の組合せ、および／または他の構成要素を含むことができる。Ｉ／Ｏポート１５６は、集積回路間通信２（Ｉ２Ｃ）インターフェース、集積回路間通信３（Ｉ３Ｃ）インターフェース、シリアルペリフェラルインターフェース（ＳＰＩ）インターフェース、シリアル汎用入出力（ＧＰＩＯ）インターフェース、モバイルインダストリプロセッサインターフェース（ＭＩＰＩ）（ＭＩＰＩ ＣＳＩ－２物理（ＰＨＹ）レイヤポートもしくはインターフェースなど）、アドバンストハイパフォーマンスバス（ＡＨＢ）バス、それらの任意の組合せ、および／または他の入出力ポートなど、１つまたは複数のプロトコルまたは仕様による任意の好適な入出力ポートまたはインターフェースを含むことができる。１つの例示的な例では、ホストプロセッサ１５２は、Ｉ２Ｃポートを使用して画像センサ１３０と通信することができ、ＩＳＰ１５４は、ＭＩＰＩポートを使用して画像センサ１３０と通信することができる。
【0034】
[0042]画像プロセッサ１５０は、デモザイク処理、色空間変換、画像フレームのダウンサンプリング、ピクセル補間、自動露出（ＡＥ）制御、自動利得制御（ＡＧＣ）、ＣＤＡＦ、ＰＤＡＦ、自動ホワイトバランス、ＨＤＲ画像を形成するための画像フレームのマージ、画像認識、オブジェクト認識、特徴認識、入力の受信、出力の管理、メモリの管理、またはそれらの何らかの組合せなどのいくつかのタスクを実施し得る。画像プロセッサ１５０は、ランダムアクセスメモリ（ＲＡＭ）１４０／９２０、読取り専用メモリ（ＲＯＭ）１４５／９２５、キャッシュ９１２、メモリユニット９１５、別のストレージデバイス９３０、またはそれらの何らかの組合せ中に画像フレームおよび／または処理画像を記憶し得る。
【0035】
[0043]様々な入出力（Ｉ／Ｏ）デバイス１６０が画像プロセッサ１５０に接続され得る。Ｉ／Ｏデバイス１６０は、ディスプレイ画面、キーボード、キーパッド、タッチスクリーン、トラックパッド、タッチセンシティブサーフェス、プリンタ、任意の他の出力デバイス９３５、任意の他の入力デバイス９４５、またはそれらの何らかの組合せを含むことができる。場合によっては、キャプションは、Ｉ／Ｏデバイス１６０の物理キーボードもしくはキーパッドを通してまたはＩ／Ｏデバイス１６０のタッチスクリーンの仮想キーボードもしくはキーパッドを通して画像処理デバイス１０５Ｂに入力され得る。Ｉ／Ｏ１６０は、デバイス１０５Ｂが１つもしくは複数の周辺デバイスからデータを受信し、および／または１つもしくは複数の周辺デバイスにデータを送信し得る、デバイス１０５Ｂと１つまたは複数の周辺デバイスとの間のワイヤード接続を可能にする１つまたは複数のポート、ジャック、または他のコネクタを含み得る。Ｉ／Ｏ１６０は、デバイス１０５Ｂが１つもしくは複数の周辺デバイスからデータを受信し、および／または１つもしくは複数の周辺デバイスにデータを送信し得る、デバイス１０５Ｂと１つまたは複数の周辺デバイスとの間のワイヤレス接続を可能にする１つまたは複数のワイヤレストランシーバを含み得る。周辺デバイスは、前に説明されたタイプの入出力デバイス１６０のいずれかを含み得、それらがポート、ジャック、ワイヤレストランシーバ、または他のワイヤードおよび／もしくはワイヤレスコネクタに結合されると、それら自体、Ｉ／Ｏデバイス１６０と見なされ得る。
【0036】
[0044]場合によっては、画像キャプチャ／処理システム１００は、単一のデバイスであり得る。場合によっては、画像キャプチャ／処理システム１００は、画像キャプチャデバイス１０５Ａ（たとえば、カメラ）と画像処理デバイス１０５Ｂ（たとえば、カメラに結合されたコンピューティングデバイス）とを含む、２つ以上の別個のデバイスであり得る。いくつかの実装形態では、画像キャプチャデバイス１０５Ａおよび画像処理デバイス１０５Ｂは、たとえば、１つもしくは複数のワイヤ、ケーブル、もしくは他の電気コネクタを介して、および／または１つもしくは複数のワイヤレストランシーバを介してワイヤレスに、互いに結合され得る。いくつかの実装形態では、画像キャプチャデバイス１０５Ａおよび画像処理デバイス１０５Ｂは、互いに分離されることがある。
【0037】
[0045]図１に示されるように、垂直の破線は、図１の画像キャプチャ／処理システム１００を、画像キャプチャデバイス１０５Ａおよび画像処理デバイス１０５Ｂをそれぞれ表す２つの部分に分割する。画像キャプチャデバイス１０５Ａは、レンズ１１５と、制御機構１２０と、画像センサ１３０とを含む。画像処理デバイス１０５Ｂは、画像プロセッサ１５０（ＩＳＰ１５４とホストプロセッサ１５２とを含む）と、ＲＡＭ１４０と、ＲＯＭ１４５と、Ｉ／Ｏ１６０とを含む。場合によっては、ＩＳＰ１５４および／またはホストプロセッサ１５２などの、画像キャプチャデバイス１０５Ａ内に示されたいくつかの構成要素は、画像キャプチャデバイス１０５Ａに含まれ得る。
【0038】
[0046]画像キャプチャ／処理システム１００は、モバイルまたは固定電話ハンドセット（たとえば、スマートフォン、セルラー電話など）、デスクトップコンピュータ、ラップトップもしくはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、インターネットプロトコル（ＩＰ）カメラ、または任意の他の適切な電子デバイスなどの電子デバイスを含むことができる。いくつかの例では、画像キャプチャ／処理システム１００は、セルラーネットワーク通信、８０２．１１Ｗｉ－Ｆｉ（登録商標）通信、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）通信、またはそれらの何らかの組合せなどの、ワイヤレス通信のための１つまたは複数のワイヤレストランシーバを含むことができる。いくつかの実装形態では、画像キャプチャデバイス１０５Ａおよび画像処理デバイス１０５Ｂは、異なるデバイスであり得る。たとえば、画像キャプチャデバイス１０５Ａは、カメラデバイスを含むことができ、画像処理デバイス１０５Ｂは、モバイルハンドセット、デスクトップコンピュータ、または他のコンピューティングデバイスなどのコンピューティングデバイスを含むことができる。
【0039】
[0047]画像キャプチャおよび処理システム１００がいくつかの構成要素を含むように示されているが、画像キャプチャおよび処理システム１００が図１に示されている構成要素よりも多い構成要素を含むことができることを、当業者は諒解されよう。画像キャプチャおよび処理システム１００の構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの１つまたは複数の組合せを含むことができる。たとえば、いくつかの実装形態では、画像キャプチャおよび処理システム１００の構成要素は、電子回路もしくは他の電子ハードウェアを含むことができ、および／またはこれらを使用して実装されることが可能であり、これは、１つもしくは複数のプログラム可能な電子回路（たとえば、マイクロプロセッサ、ＧＰＵ、ＤＳＰ、ＣＰＵ、および／または他の適切な電子回路）を含むことができ、ならびに／または、本明細書において説明される様々な動作を実施するためのコンピュータソフトウェア、ファームウェア、もしくはこれらの任意の組合せを含むことができ、および／もしくは、これらを使用して実装され得る。ソフトウェアおよび／またはファームウェアは、コンピュータ可読記憶媒体上に記憶され、画像キャプチャおよび処理システム１００を実装する電子デバイスの１つまたは複数のプロセッサによって実行可能な１つまたは複数の命令を含むことができる。
【0040】
[0048]ホストプロセッサ１５２は、（たとえば、Ｉ２Ｃ、Ｉ３Ｃ、ＳＰＩ、ＧＰＩＯ、および／または他のインターフェースなどの外部制御インターフェースを介して）新しいパラメータ設定を用いて画像センサ１３０を構成することができる。１つの例示的な例では、ホストプロセッサ１５２は、過去の画像フレームからの露出制御アルゴリズムの内部処理結果に基づいて画像センサ１３０によって使用される露出設定を更新することができる。ホストプロセッサ１５２はまた、画像データがＩＳＰ１５４によって正しく処理されるように画像センサ１３０からの１つまたは複数の入力画像フレームの設定に一致するようにＩＳＰ１５４の内部パイプラインまたはモジュールのパラメータ設定を動的に構成することができる。ＩＳＰ１５４の処理（またはパイプライン）ブロックまたはモジュールは、特に、レンズ／センサのノイズ補正、デモザイク処理、色変換、画像属性の訂正または強調／抑制、ノイズ除去フィルタ、シャープ化フィルタのためのモジュールを含むことができる。ＩＳＰ１５４の異なるモジュールの設定は、ホストプロセッサ１５２によって構成され得る。各モジュールは、多数の調整可能なパラメータ設定を含み得る。さらに、異なるモジュールが画像の同様の態様に影響を及ぼし得るので、モジュールは共依存であり得る。たとえば、ノイズ除去およびテクスチャ訂正または強調はどちらも、画像の高周波態様に影響を及ぼし得る。したがって、キャプチャされた未加工の画像から最終的な画像を生成するために多数のパラメータがＩＳＰによって使用される。
【0041】
[0049]場合によっては、画像キャプチャおよび処理システム１００は、上記で説明された画像処理機能のうちの１つまたは複数を自動的に実施し得る。たとえば、制御機構１２０のうちの１つまたは複数は、（上記のように「３Ａ」と呼ばれる）オートフォーカス動作、自動露出動作、および／または自動ホワイトバランス動作を実施するように構成され得る。いくつかの実施形態では、オートフォーカス機能により、画像キャプチャデバイス１０５Ａは、望ましい画像をキャプチャする前に自動的にフォーカスを合わせることが可能になる。様々なオートフォーカス技術が存在する。たとえば、アクティブオートフォーカス技術は、一般に、赤外線レーザーまたは超音波信号を放出し、それらの信号の反射を受信することによってカメラの距離センサを介してカメラと画像の被写体との間の距離を決定する。さらに、パッシブオートフォーカス技術は、カメラのフォーカスを合わせるためにカメラ自体の画像センサを使用し、したがって、追加のセンサをカメラに統合する必要がない。パッシブＡＦ技法は、コントラスト検出オートフォーカス（ＣＤＡＦ）と、位相差検出オートフォーカス（ＰＤＡＦ）と、場合によっては、両方を使用するハイブリッドシステムとを含む。画像キャプチャおよび処理システム１００は、これらまたは任意の追加のタイプのオートフォーカス技術を装備し得る。
【0042】
[0050]図１Ｂ、図１Ｃ、および図１Ｄは、画像キャプチャおよび処理システム１００に統合され得るＰＤＡＦカメラシステムの例を与える。特に、図１Ｂは、インフェーズであり、したがって、インフォーカスであるＰＤＡＦカメラシステムを示す。光線１７５は、被写体１３５（たとえば、りんご）から被写体１３５をもつシーンにフォーカスが合う（図１Ａにも示される）レンズ１１５を通して（図１Ａに示されている画像センサ１３０などの）画像センサ上に移動し得、ここで、画像センサは、フォーカスピクセルに対応するフォーカスフォトダイオード１５５Ａとフォーカスフォトダイオード１５５Ｂとを含む。フォーカスフォトダイオード１５５Ａおよび１５５Ｂは、画像センサのピクセルアレイの１つまたは２つのフォーカスピクセル（たとえば、フォーカスフォトダイオード１５５Ａとフォーカスフォトダイオード１５５Ｂとは、単一のマイクロレンズ１５７を共有する単一のフォーカスピクセルの２つのフォトダイオードであり得るか、またはフォーカスフォトダイオード１５５Ａは、第１のフォーカスピクセルに関連付けられ得、フォーカスフォトダイオード１５５Ｂは、第２のフォーカスピクセルに関連付けられ得、両方のフォーカスピクセルが単一のマイクロレンズ１５７を共有する）に関連付けられ得る。場合によっては、光線１７５は、フォーカスフォトダイオード１５５Ａとフォーカスフォトダイオード１５５Ｂとに当たる前にマイクロレンズ１５７を通して移動し得る。カメラシステム１８０が図１Ｂの「インフォーカス」状態１５８にあるとき、光線１７５は、フォーカスフォトダイオード１５５Ａとフォーカスフォトダイオード１５５Ｂとの位置に対応する平面に最終的に収束し得る。カメラシステム１８０が、図１Ｂの「インフォーカス」状態１５８にあるとき、光線１７５はまた、レンズ１１５を通過した後だが、マイクロレンズ１５７および／またはフォーカスフォトダイオード１５５Ａおよび１５５Ｂに到達する前に（画像平面としても知られる）焦点面１１６に収束し得る。
【0043】
[0051]図１Ｂのカメラ１８０がインフォーカス状態１５８にあるので、フォーカスフォトダイオード１５５Ａおよび１５５Ｂからのデータは整列され（aligned）、ここでは、それぞれ、図１Ｃおよび図１Ｄのアウトオブフェーズ状態１６２および１６６によって生じる被写体１３５の不整列表現ではなく、この整列により被写体１３５のクリアでシャープな表現を示す画像１９０Ａによって表される。インフォーカス状態１５８は、フォーカスフォトダイオード１５５Ａとフォーカスフォトダイオード１５５Ｂとからのデータが位相差を有しないか、ほとんど位相差を有しない（たとえば、位相差があらかじめ決定された位相差しきい値を下回る）ので「インフェーズ」状態と呼ばれることもある。
【0044】
[0052]図１Ｃは、フロントフォーカスでアウトオブフェーズである図１ＢのＰＤＡＦカメラシステムを示す。図１ＢのＰＤＡＦカメラシステム１８０は、図１ＢのＰＤＡＦカメラシステム１８０と同じであるが、レンズ１１５は、被写体１３５の近くに、フォーカスフォトダイオード１５５Ａおよび１５５Ｂから離れて移動され、したがって、「フロントフォーカス」状態１６２にある。「インフォーカス」状態１５８のためのレンズ位置は、参考のために点線の外形として図１Ｃに依然として描かれており、両面矢印は、「フロントフォーカス」１６２のレンズ位置と「インフォーカス」１５８のレンズ位置との間でのレンズの移動を示す。
【0045】
[0053]カメラシステム１８０が、図１Ｃの「フロントフォーカス」状態１６２にあるとき、光線１７５は、フォーカスフォトダイオード１５５Ａとフォーカスフォトダイオード１５５Ｂとの位置の前の、すなわち、マイクロレンズ１５７とフォーカスフォトダイオード１５５Ａおよび１５５Ｂとの間の（破線によって示される）平面に最終的に収束し得る。光線１７５はまた、レンズ１１５を通過した後だが、マイクロレンズ１５７および／またはフォーカスフォトダイオード１５５Ａおよび１５５Ｂに到達する前に焦点面１１６の前の（別の破線によって示される）位置に収束し得る。図１Ｃのカメラ１８０中の光１７５が「フロントフォーカス」状態１６２でアウトオブフェーズであるので、フォーカスフォトダイオード１５５Ａおよび１５５Ｂからのデータは、不整列であり、ここでは、被写体１３５の不整列の黒色と白色との表現を示す画像１９０Ｂによって表され、ここで、画像１９０Ｂにおける不整列の方向は、フロントフォーカス状態１６２に関係し、画像１９０Ｂの整列の距離は、フォーカスが合った状態１５８でのそれの位置からのレンズ１１５の距離に関係する。
【0046】
[0054]図１Ｄは、バックフォーカスでアウトオブフェーズである図１ＢのＰＤＡＦカメラシステムを示す。図１ＤのＰＤＡＦカメラシステム１８０は、図１ＢのＰＤＡＦカメラシステム１８０と同じであるが、レンズ１１５は、被写体１３５から離れ、フォーカスフォトダイオード１５５Ａおよび１５５Ｂの近くに移動され、したがって、（「リアフォーカス」状態としても知られる）「バックフォーカス」状態１６６にある。「インフォーカス」状態１５８のためのレンズ位置は、参考のために点線の外形として依然として描かれており、両面矢印は、「バックフォーカス」状態１６６のためのレンズ位置と「インフォーカス」状態１５８のためのレンズ位置との間でのレンズの移動を示す。
【0047】
[0055]カメラシステム１８０が、図１Ｄの「バックフォーカス」状態１６６にあるとき、光線１７５は、フォーカスフォトダイオード１５５Ａとフォーカスフォトダイオード１５５Ｂとの位置の先の（破線によって示される）平面に最終的に収束し得る。光線１７５はまた、レンズ１１５を通過した後だが、マイクロレンズ１５７および／またはフォーカスフォトダイオード１５５Ａおよび１５５Ｂに到達する前に焦点面１１６の先の（別の破線によって示される）位置に収束し得る。図１Ｄのカメラ１８０中の光１７５が「バックフォーカス」状態１６６でアウトオブフェーズであるので、フォーカスフォトダイオード１５５Ａおよび１５５Ｂからのデータは、不整列であり、ここでは、被写体１３５の不整列の黒色と白色との表現を示す画像１９０Ｃによって表され、ここで、画像１９０Ｃにおける不整列の方向は、バックフォーカス状態１６６に関係し、画像１９０Ｃの整列の距離は、フォーカスが合った状態１５８でのそれの位置からのレンズ１１５の距離に関係する。
【0048】
[0056]光線１７５が、フォーカス状態１６２の場合のようにフォーカスフォトダイオード１５５Ａおよび１５５Ｂの平面の前に集束するか、またはバックフォーカス状態１６６の場合のようにフォーカスフォトダイオード１５５Ａおよび１５５Ｂの平面の先に収束するとき、画像センサによって生成される得られた画像はフォーカスが外れているか、またはぼけていることがある。画像のフォーカスが外れている場合、レンズ１１５は、レンズ１１５がバックフォーカス状態１６６にある場合、前に（被写体１３５に向かい、フォトダイオード１５５Ａおよび１５５Ｂから離れて）移動され得るか、またはレンズがフロントフォーカス状態１６２にある場合、後ろに（被写体１３５から離れ、フォトダイオード１５５Ａおよび１５５Ｂに向かって）移動され得る。レンズ１１５は、場合によっては、カメラシステム１８０中のレンズの動きの可能な範囲を表すあらかじめ決定された長さＲを有する位置の範囲内で前後に移動され得る。カメラシステム１８０またはその中のコンピューティングシステムは、フォーカスフォトダイオード１５５Ａおよび１５５Ｂなどの異なる方向からの光を受け取る２つのフォーカスフォトダイオードからのデータの間の差として計算される１つまたは複数の位相差値に基づいて画像にフォーカスを合わせるためにレンズ１１５の位置を調整する距離と方向とを決定し得る。レンズ１１５の移動の方向は、フォーカスフォトダイオード１５５Ａおよび１５５Ｂからのデータがアウトオブフェーズであると決定される方向、または位相差が正であるのかもしくは負であるのかに対応し得る。レンズ１１５の移動の距離は、フォーカスフォトダイオード１５５Ａおよび１５５Ｂからのデータがアウトオブフェーズであると決定される程度もしくは量、または位相差の絶対値に対応し得る。
【0049】
[0057]カメラ１８０は、異なる状態（たとえば、フロントフォーカス状態１６２、バックフォーカス状態１６６、およびインフォーカス状態１５８）に対応するレンズ位置の間でレンズ１１５を移動するモータ（図示せず）とカメラ内のコンピューティングシステムがモータを作動させるためにアクティブ化するモータアクチュエータ（図示せず）とを含み得る。図１Ｂ、図１Ｃ、および図１Ｄのカメラ１８０はまた、場合によっては、レンズ、ミラー、部分反射（ＰＲ）ミラー、プリズム、フォトダイオード、画像センサ、および／またはカメラもしくは他の光学機器において時々見られる他の構成要素などの様々な追加の図示されていない構成要素を含み得る。場合によっては、フォーカスフォトダイオード１５５Ａおよび１５５Ｂは、ＰＤＡＦフォトダイオード、ＰＤＡＦダイオード、位相検出（ＰＤ）フォトダイオード、ＰＤダイオード、ＰＤＡＦピクセルフォトダイオード、ＰＤＡＦピクセルダイオード、ＰＤピクセルフォトダイオード、ＰＤピクセルダイオード、フォーカスピクセルフォトダイオード、フォーカスピクセルダイオード、ピクセルフォトダイオード、ピクセルダイオード、または、場合によっては、単にフォトダイオードもしくはダイオードと呼ばれることがある。
【0050】
[0058]図２Ａおよび図２Ｂは、画像キャプチャおよび処理システム１００がオートフォーカス動作または他の「３Ａ」動作を実施する間にキャプチャおよび／または処理され得る画像フレームの一例を示す。特に、図２Ａおよび図２Ｂは、固定ＲＯＩを利用する従来のオートフォーカス動作の一例を示す。図２Ａに示されているように、システム１００の画像キャプチャデバイス１０５Ａは、画像フレーム２０２をキャプチャし得る。場合によっては、画像処理デバイス１０５Ｂは、（たとえば、画像フレーム２０２がプレビューストリーム内に表示される間に）画像フレーム２０２内のロケーション２０８をユーザが選択したことを検出し得る。たとえば、画像処理デバイス１０５Ｂは、ユーザがロケーション２０８に対応するピクセルまたはピクセルのグループの選択を含む（たとえば、指、ジェスチャ、スタイラス、および／または他の好適な入力機構を使用した）入力を与えたと決定し得る。画像処理デバイス１０５Ｂは、次いで、ロケーション２０８を含むＲＯＩ２０４を決定し得る。画像プロセッサ１５０は、ＲＯＩ２０４内の画像データに対してオートフォーカス動作または他の「３Ａ」動作を実施し得る。オートフォーカス動作の結果は、図２Ａに示されている画像フレーム部分２０６に示されている。
【0051】
[0059]図２Ｂは、ＲＯＩ２０４の例示的な実施形態を示す。この例では、画像処理デバイス１０５Ｂは、あらかじめ決定された幅２１２とあらかじめ決定された高さ２１０とによって定義される寸法の画像フレーム２０２の領域内のロケーション２０８を中心におくことによってＲＯＩ２０４を決定および／または生成し得る。場合によっては、あらかじめ決定された幅２１２とあらかじめ決定された高さ２１０とは、（１０個のピクセル、５０個のピクセル、１００個のピクセルなどの）あらかじめ選択されたピクセルの数に対応し得る。追加または代替として、あらかじめ決定された幅２１２とあらかじめ決定された高さ２１０とは、ユーザに画像フレーム２０２を表示するディスプレイ内の（０．５センチメートル、１センチメートル、２センチメートルなどの）あらかじめ選択された距離に対応し得る。図２ＢがＲＯＩ２０４を矩形として示すが、ＲＯＩ２０４は、特に、正方形、円、楕円形を含む任意の代替形状のものであり得る。
【0052】
[0060]場合によっては、画像処理デバイス１０５Ｂは、画像フレーム２０２内のピクセルの座標を示す情報にアクセスするおよび／またはそれを分析することによってＲＯＩ２０４の境界に対応するピクセルを決定し得る。例示的な例として、ユーザによって選択されるロケーション２０８は、画像フレーム２０２内の２００の（水平方向の）ｘ軸座標と３００の（垂直方向の）ｙ軸座標とをもつピクセルに対応し得る。画像処理デバイス１０５Ｂが、高さが１００ピクセルであり、長さが２００ピクセルである固定ＲＯＩを生成するように構成される場合、画像処理デバイス１０５Ｂは、座標（１５０，４００）、（２５０，４００）、（１５０，２００）、および（２５０，２００）に対応する隅をもつボックスとしてＲＯＩ２０４を定義し得る。画像処理デバイス１０５Ｂは、固定ＲＯＩを生成するために任意の追加または代替の技法を利用し得る。
【0053】
[0061]図３Ａは、画像キャプチャおよび処理システム３００の一例を示すブロック図である。いくつかの実施形態では、画像キャプチャおよび処理システム３００は、図２Ａおよび図２Ｂに示されている画像処理動作を改善するように構成される。画像キャプチャおよび処理システム３００は、画像キャプチャデバイス１０５Ａと、画像処理デバイス１０５Ｂと、レンズ１１５とを含む図１に示されている画像キャプチャおよび処理システム１００の任意の１つまたは複数の構成要素を含み得る。場合によっては、画像キャプチャおよび処理システム３００の構成要素の全部または一部分は、図３Ｂに示されているデバイス３２２などのコンピューティングデバイス内に実装され得る。デバイス３２２は、モバイルデバイス（たとえば、モバイルフォン）、デスクトップコンピューティングデバイス、タブレットコンピューティングデバイス、拡張現実（ＸＲ）デバイス（たとえば、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ＡＲ眼鏡、もしくは他のＸＲデバイス）、ウェアラブルデバイス（たとえば、ネットワーク接続された時計もしくはスマートウォッチまたは他のウェアラブルデバイス）、サーバコンピュータ、自律車両もしくは自律車両のコンピューティングデバイス、ロボット装置、テレビジョン、および／または本明細書で説明される画像処理動作を実施するリソース能力をもつ任意の他のコンピューティングデバイスなどの任意の好適なデバイスを含むことができる。
【0054】
[0062]図３Ａに示されているように、画像キャプチャおよび処理システム３００は、ディスプレイ３１０を含み得る。画像キャプチャおよび処理システム３００は、画像フレームをキャプチャし、次いで、ディスプレイ３１０内に画像フレームを表示することができる。ディスプレイ３１０は、画像データを視覚的に表示するように構成された任意の好適なタイプの画面またはインターフェースを含み得る。場合によっては、画像キャプチャおよび処理システム３００は、画像フレームに対して１つまたは複数の画像処理動作を実施するように画像キャプチャおよび処理システム３００に指示する入力をユーザが与えることを可能にするためにキャプチャされた画像フレームを表示することができる。画像キャプチャおよび処理システム３００は、画像処理動作を実施するように構成された１つまたは複数のエンジンを含み得る。図３Ａに示されているように、これらのエンジンは、入力検出エンジン３０２と、オブジェクト検出エンジン３０４と、ＲＯＩ調整エンジン３０６と、画像処理エンジン３０８とを含み得る。
【0055】
[0063]図３Ａに示されているように、画像キャプチャおよび処理システム３００は、画像フレーム３１２をキャプチャし、表示することができる。入力検出エンジン３０２は、次いで、画像フレーム３１２に与えられたユーザ入力３１４を検出するためにディスプレイ３１０を監視し得る。場合によっては、ユーザ入力３１４は、ユーザが画像フレーム３１２内のロケーション（たとえば、ピクセル）を選択することを含み、および／またはそれに対応することができる。ユーザ入力３１４は、選択されたロケーションを囲むおよび／またはそれの近くの画像データに対する（オートフォーカスアルゴリズムなどの）画像処理動作を実施したいという要求を表し得る。場合によっては、画像キャプチャおよび処理システム３００は、ユーザが少なくともしきい値時間量（たとえば、０．５秒、１秒など）の間ユーザ入力３１４を与える（たとえば、ディスプレイ３１０に触れる）と決定することに基づいてユーザ入力３１４が画像処理動作を実施したいという要求を表すと決定することができる。入力検出エンジン３０２は、周期的にまたは連続的に、ユーザ入力３１４を検出するためにディスプレイ３１０を監視し得る。たとえば、入力検出エンジン３０２は、画像フレーム３１２がプレビューストリーム内に表示される間にディスプレイ３１０を監視し、および／または画像キャプチャおよび処理システム３００のメモリ（たとえば、メインメモリ）に画像フレーム３１２が記憶された後にディスプレイ３１０を監視し得る。場合によっては、入力検出エンジン３０２は、複数のロケーション（たとえば、複数のピクセル）の選択に関連するユーザ入力を検出することができる。いくつかの例では、それぞれの選択されたロケーションは、１つまたは複数のオブジェクトを含む異なる固定ＲＯＩに対応することができる。
【0056】
[0064]場合によっては、オブジェクト検出エンジン３０４は、ユーザ入力３１４に少なくとも部分的に基づいて画像フレーム３１２内の画像データに対してオブジェクト検出動作またはアルゴリズムを実施し得る。このオブジェクト検出動作またはアルゴリズムの目的は、ユーザ入力３１４に対応するロケーションを囲むおよび／またはそれの近くの画像フレーム３１２の領域内の１つまたは複数のオブジェクトを識別することであり得る。本明細書で使用される「オブジェクト」という用語は、概して、画像フレーム内の（特に、人、デバイス、動物、ビークル、平面、ランドスケープ特徴などの）アイテムまたはエンティティの記述を指す。例示的な一実施形態では、オブジェクト検出エンジン３０４は、選択されたロケーションを中心とする（または、ほぼ中心とする）固定ＲＯＩ内のオブジェクトを検出し得る。オブジェクト検出エンジン３０４は、図２Ａおよび図２Ｂに関して説明される技法を含む任意の好適な方法または技法を使用して固定ＲＯＩを決定し得る。入力検出エンジン３０２が複数のロケーションの選択に関連するユーザ入力を検出する例では、オブジェクト検出エンジン３０４は、それぞれの選択されたロケーションに対応する固定ＲＯＩ内に少なくとも部分的に含まれる１つまたは複数のオブジェクトを検出することができる。
【0057】
[0065]いくつかの例では、オブジェクト検出エンジン３０４は、画像フレーム３１２内のオブジェクトを検出するために１つまたは複数のオブジェクト検出動作またはアルゴリズム（たとえば、顔面検出および／もしくは認識アルゴリズム、特徴検出および／もしくは認識アルゴリズム、エッジ検出アルゴリズム、境界追跡機能、それらの任意の組合せ、ならびに／または他のオブジェクト検出および／もしくは認識技法）を実装する。任意のオブジェクト検出技法は、オブジェクトを検出するために使用され得る。場合によっては、特徴検出は、オブジェクトの特徴を検出する（またはそれの位置を特定する）ために使用され得る。特徴に基づいて、オブジェクト検出および／または認識は、オブジェクトを検出することができ、場合によっては、検出されたオブジェクトを認識し、それをオブジェクトのカテゴリまたはタイプに分類することができる。たとえば、特徴認識は、シーンのエリア中のいくつかのエッジおよび隅を識別し得る。オブジェクト検出は、エリア中の検出されたエッジおよび隅がすべて単一のオブジェクトに属することを検出し得る。顔検出が実施される場合、顔検出は、オブジェクトが人間の顔であることを識別し得る。オブジェクト認識および／または顔認識は、その顔に対応する人の識別情報をさらに識別し得る。
【0058】
[0066]いくつかの実装形態では、オブジェクト検出動作またはアルゴリズムは、画像の特徴を抽出し、アルゴリズムによるモデルのトレーニングに基づいてそれらの特徴を備えるオブジェクトを検出および／または分類し得る同じタイプのオブジェクトおよび／または特徴の画像に対して機械学習アルゴリズムを使用してトレーニングされる機械学習モデルに基づき得る。たとえば、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）、時間遅延ニューラルネットワーク（ＴＤＮＮ）、ディープフィードフォワードニューラルネットワーク（ＤＦＦＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、自動エンコーダ（ＡＥ）、変分ＡＥ（ＶＡＥ）、ノイズ除去ＡＥ（ＤＡＥ）、スパースＡＥ（ＳＡＥ）、マルコフ連鎖（ＭＣ）、パーセプトロン、またはそれらの何らかの組合せなどのニューラルネットワーク（ＮＮ）であり得る。機械学習アルゴリズムは、教師つき学習アルゴリズム、教師なし学習アルゴリズム、半教師つき学習アルゴリズム、敵対的生成ネットワーク（ＧＡＮ）ベースの学習アルゴリズム、それらの任意の組合せ、または他の学習技法であり得る。
【0059】
[0067]いくつかの実装形態では、コンピュータビジョンベースの特徴検出技法またはアルゴリズムが使用され得る。異なるタイプのコンピュータビジョンベースのオブジェクト検出アルゴリズムが使用され得る。１つの例示的な例では、テンプレートマッチングベースの技法が画像中のオブジェクトを検出するために使用され得る。様々なタイプのテンプレートマッチングアルゴリズムが使用され得る。テンプレートマッチングアルゴリズムの一例は、ハールまたはハール様の特徴抽出、積分画像生成、Ａｄａｂｏｏｓｔトレーニング、およびカスケード分類器を実施することができる。そのようなオブジェクト検出技法は、画像にわたって（たとえば、矩形、円形、三角形、または他の形状を有する）スライディングウィンドウを適用することによって検出を実施する。積分画像は、画像から特定の領域特徴、たとえば、矩形または円形特徴を評価する画像表現となるように計算され得る。現在のウィンドウごとに、現在のウィンドウのハール特徴（Haar features）が上記の積分画像から計算され得、これは、ハール特徴を計算する前に計算され得る。
【0060】
[0068]ハール特徴は、積分画像のものなど、オブジェクト画像の特定の特徴領域内の画像ピクセルの和を計算することによって計算され得る。顔中で、たとえば、目をもつ領域は、一般に、鼻梁または頬をもつ領域よりも暗い。ハール特徴は、最良の特徴を選択するおよび／またはそれらを使用する分類器をトレーニングする学習アルゴリズム（たとえば、Ａｄａｂｏｏｓｔ学習アルゴリズム）によって選択され得、カスケード分類器を効果的に用いて特定のオブジェクト（たとえば、顔または他のオブジェクト）ウィンドウまたは異なるオブジェクト（たとえば、顔以外のウィンドウ）としてウィンドウを分類するために使用され得る。カスケード分類器は、カスケード中に組み合わされた複数の分類器を含み、これにより、オブジェクト様の領域に対してより多くの計算を実施しながら画像のバックグラウンド領域を迅速に破棄することが可能になる。オブジェクトの一例として顔を使用すると、カスケード分類器は、顔カテゴリまたは顔以外のカテゴリに現在のウィンドウを分類することができる。１つの分類器が顔以外のカテゴリとしてウィンドウを分類する場合、ウィンドウは破棄される。そうではなく、１つの分類器が顔カテゴリとしてウィンドウを分類する場合、カスケード構成中の次の分類器が再びテストするために使用されることになる。現在のウィンドウが顔（または他のオブジェクト）であるとすべての分類器が決定するまで、ウィンドウは、特定のオブジェクト（たとえば、顔または他のオブジェクト）であることの候補として標示されることになる。すべてのウィンドウが検出された後、１つまたは複数の検出されたオブジェクト（たとえば、画像中の顔または他のオブジェクト）の最終の結果を生成するために各顔の周りのウィンドウをグループ化するために非極大値抑制アルゴリズムが使用され得る。
【0061】
[0069]場合によっては、オブジェクト検出動作またはアルゴリズムは、オブジェクトの境界を検出および／または出力し得る。本明細書で使用される「オブジェクトの境界」という用語は、オブジェクトと１つまたは複数の他のオブジェクトとの間の視覚的または物理的な区別を指すことができる。いくつかの例では、オブジェクトの境界は、オブジェクトの輪郭（たとえば、オブジェクトの形状、エッジ、および／または外形）に（近似的に）対応し得、および／またはそれによって定義され得る。しかしながら、オブジェクトの境界は、オブジェクトの外形と必ずしも直接的にまたは正確に整列するとは限らないことがある（たとえば、オブジェクトの境界は、オブジェクトの輪郭からある距離および／またはいくつかのピクセル内に決定され得る）。場合によっては、オブジェクト検出動作またはアルゴリズムは、オブジェクトの境界に対応するピクセル座標のセットとしてオブジェクト境界の指示を出力し得る。追加または代替として、オブジェクト検出動作またはアルゴリズムは、オブジェクトの境界に対応する１つまたは複数の曲線（たとえば、式）としてオブジェクト境界の指示を出力し得る。一実施形態では、ピクセル座標および／または曲線は、オブジェクトの輪郭に精密に従い得る（たとえば、オブジェクトの外形を定義し得る）。他の実施形態では、ピクセル座標および／または曲線は、オブジェクトの境界に近似的に従い得る。たとえば、関心領域内でオブジェクト検出アルゴリズムを実施することは、オブジェクトの境界ボックスまたはオブジェクトを含む（アルファシェイプまたは凸包などの）多角形を定義するピクセル座標および／または曲線を出力し得る。
【0062】
[0070]オブジェクト検出エンジン３０４によって実施されるオブジェクト検出動作またはアルゴリズムは、画像フレーム３１２の領域（たとえば、固定ＲＯＩ）内の１つまたは複数のオブジェクト３１６を検出し得る。一例では、オブジェクト検出エンジン３０４は、領域内に完全に示されている各オブジェクト（たとえば、境界が領域内に完全に含まれている各オブジェクト）を検出し得る。別の例では、オブジェクト検出エンジン３０４は、領域内に少なくとも部分的に含まれている各オブジェクトを検出し得る。さらなる一例では、オブジェクト検出エンジン３０４は、複数のオブジェクトが領域内に少なくとも部分的に含まれていることを検出するが、１つまたは複数のオブジェクトが他の検出されたオブジェクトよりも重要であるおよび／または関係があると決定し得る。たとえば、オブジェクト検出エンジン３０４は、ユーザが画像処理動作の対象として第２のオブジェクトよりも第１のオブジェクトを選択することを意図する可能性が高いと決定し得る。オブジェクト検出エンジン３０４は、ユーザによって選択されたピクセルが第１のオブジェクトに対応する、第１のオブジェクトが第２のオブジェクトよりも大きい、第１のオブジェクトが画像フレーム３１２に示されているシーンの（背景ではなく）前景にある、および／または第１のオブジェクトがあるタイプのオブジェクトであるなどの様々なファクタに基づいて第１のオブジェクトが第２のオブジェクトよりも重要であるおよび／または関係があると決定し得る。例示的な例として、オブジェクト検出エンジン３０４は、固定ＲＯＩが顔と木との描写を含むと決定し得る。オブジェクト検出エンジン３０４は、顔が画像フレーム３１２内で木よりも重要である可能性があると決定し、したがって、顔が画像処理動作の意図された対象であると決定し得る。別の例示的な例では、オブジェクト検出エンジン３０４は、固定ＲＯＩが２つの木を含むことを検出し、画像処理動作の意図された対象が図示のシーンの前景により近い木であると決定し得る。
【0063】
[0071]いくつかの例では、オブジェクト検出エンジン３０４は、（たとえば、入力検出エンジン３０２がユーザ入力３１４を検出した後でのみ）ユーザ入力３１４に応答して画像フレーム３１２内でオブジェクト検出を実施し得る。たとえば、オブジェクト検出エンジン３０４がユーザ入力３１４を受信するより前に画像フレーム３１２内のオブジェクトを検出することが可能であり得るが、画像キャプチャおよび処理システム３００は、ユーザ入力３１４が検出されるまで待つことによって電力およびコンピューティングリソースの消費量を低減し得る。ユーザが画像処理動作を使用して強化または改善することを望む特定の領域および／またはオブジェクトをユーザ入力３１４が示すので、画像フレーム３１２の他の領域内でオブジェクト検出を実施することは不要であり得る。したがって、ユーザ入力を受信するまでオブジェクト検出を実施するのを待つことによって、画像キャプチャおよび処理システム３００は、画像フレーム内の特定のオブジェクトに対して効率的でカスタマイズ可能な画像処理動作を実施するのを容易にし得る。
【0064】
[0072]オブジェクト検出エンジン３０４が１つまたは複数のオブジェクト３１６を検出した後、ＲＯＩ調整エンジン３０６は、１つまたは複数のオブジェクト３１６の１つまたは複数の境界に基づいて調整されたＲＯＩ３１８を決定し得る。たとえば、画像フレーム３１２内のオブジェクトを検出するためにオブジェクト検出エンジン３０４が固定ＲＯＩ内の画像コンテンツを探索した場合、オブジェクト検出エンジン３０４は、１つまたは複数のオブジェクト３１６の境界により正確に対応するおよび／または従うために固定ＲＯＩの１つまたは複数の境界を調整し得る。場合によっては、固定ＲＯＩを調整する目的は、画像フレーム３１２内で１つまたは複数のオブジェクト３１６の境界と固定ＲＯＩの境界との間の距離を減少させることであり得る。調整されたＲＯＩ３１８の境界が１つまたは複数のオブジェクト３１６の境界に必ずしも精確に従うとは限らないことがあるが、調整されたＲＯＩ３１８は、１つまたは複数のオブジェクト３１６の形状および／またはサイズをより正確に反映し得る。
【0065】
[0073]固定ＲＯＩを調整することの例は、限定はしないが、固定ＲＯＩのサイズを減少させること、固定ＲＯＩのサイズを増加させること、固定ＲＯＩのロケーションを変更すること、固定ＲＯＩの形状を変更すること、それらの組合せ、または固定ＲＯＩへの調整の任意の追加のタイプを含む。例示的な例では、固定ＲＯＩを調整することは、１つまたは複数の軸（たとえば、ｘ軸、ｙ軸、および／または放射軸）に沿って固定ＲＯＩのあらかじめ決定されたサイズを増加または減少させることを含むことができる。ＲＯＩ調整エンジン３０６は、固定ＲＯＩのサイズのみ、形状のみ、またはサイズと形状との両方を含む固定ＲＯＩのあらかじめ決定されたサイズおよび形状の任意の組合せを調整することができる。たとえば、ＲＯＩ調整エンジン３０６は、同じ量だけ固定ＲＯＩの各寸法（たとえば、高さおよび幅）を調整することができ、これは、固定ＲＯＩのあらかじめ決定された形状でなく固定ＲＯＩのあらかじめ決定されたサイズを調整し得る。別の例では、ＲＯＩ調整エンジン３０６は、固定ＲＯＩのあらかじめ決定された形状を変更するが、固定ＲＯＩのあらかじめ決定されたサイズを変更しない方式で固定ＲＯＩの１つまたは複数の寸法を調整することができる（たとえば、調整されたＲＯＩは固定ＲＯＩと同じ数のピクセルを含み得る）。さらなる一例では、ＲＯＩ調整エンジン３０６は、オブジェクト検出エンジン３０４によって実施されるオブジェクト検出アルゴリズムに基づいてオブジェクトのために決定された境界ボックスとして固定ＲＯＩの境界を設定することによって固定ＲＯＩを調整することができる。
【0066】
[0074]上述のように、場合によっては、オブジェクト検出エンジン３０４は、１つまたは複数のオブジェクト３１６の境界に対応する（または近似的に対応する）ピクセル座標を決定し得る。これらの場合、ＲＯＩ調整エンジン３０６は、決定されたピクセル座標として調整されたＲＯＩ３１８の境界を設定し得る。さらに、固定ＲＯＩが画像処理動作の対象となるべき複数のオブジェクトを含むとオブジェクト検出エンジン３０４が決定する場合、ＲＯＩ調整エンジン３０６は、各オブジェクトを包含する単一の調整されたＲＯＩ３１８を決定し得るか、またはオブジェクト検出エンジン３０４は、それぞれ単一のオブジェクトを包含する複数の調整されたＲＯＩ３１８を決定し得る。さらに、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ３１８を迅速におよび／または動的に決定し得る。たとえば、画像フレーム３１２がディスプレイ３１０内で（たとえば、プレビューストリーム内で）ユーザに依然として表示される間に、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ３１８を決定し得る。他の例では、画像フレーム３１２がユーザにもはや表示されない間に、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ３１８を決定し得る。
【0067】
[0075]いくつかの例では、オブジェクト検出エンジン３０４が、それぞれ１つまたは複数のオブジェクトを少なくとも部分的に含む複数の固定ＲＯＩを決定する場合、ＲＯＩ調整エンジン３０６は、固定ＲＯＩの全部または一部分の調整を決定することができる。たとえば、ＲＯＩ調整エンジン３０６は、複数の固定ＲＯＩのあらかじめ決定されたサイズおよび／または形状を調整することができる。さらに、オブジェクト検出エンジン３０４は、単一の固定ＲＯＩの複数の調整を決定することができる。たとえば、ＲＯＩ調整エンジン３０６は、固定ＲＯＩのための複数の候補の（たとえば、潜在的な）調整を決定することができる。一例では、ＲＯＩ調整エンジン３０６は、固定ＲＯＩ内に様々なオブジェクト検出アルゴリズムを実装することによって複数の候補の調整を決定することができる。様々なオブジェクト検出アルゴリズムは、固定ＲＯＩのあらかじめ決定されたサイズおよび／または形状に異なる調整を出力することができる。場合によっては、ＲＯＩ調整エンジン３０６は、画像フレーム３１２内に実装されることになる複数の候補ＲＯＩ調整のうちの１つの調整を選択することができる。例示的な例では、ＲＯＩ調整エンジン３０６は、複数の候補のＲＯＩ調整の比較に基づいて候補のＲＯＩ調整を選択することができる。たとえば、ＲＯＩ調整エンジン３０６は、どの候補のＲＯＩ調整が固定ＲＯＩ内の１つまたは複数のオブジェクトのサイズ、形状、および／または輪郭に最も良く適合するのかを決定することができる。他の例では、ＲＯＩ調整エンジン３０６は、選択を示すユーザ入力に少なくとも部分的に基づいて候補のＲＯＩ調整を選択することができる。たとえば、以下でより詳細に説明されるように、ＲＯＩ調整エンジン３０６は、候補のＲＯＩ調整を示す視覚グラフィックを（たとえば、ディスプレイ３１０内に）連続的に表示することができる。ＲＯＩ調整エンジン３０６は、ユーザが対応する候補のＲＯＩ調整の選択を示す特定の視覚グラフィックに関連する入力（たとえば、タッチ入力）を与えることを可能にすることができる。
【0068】
[0076]いくつかの例では、ＲＯＩ調整エンジン３０６は、ユーザが調整されたＲＯＩ３１８に１つまたは複数の追加の調整を与えることを可能にすることができる。たとえば、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ３１８の形状、サイズ、および／または外形を示す視覚グラフィックを（たとえば、ディスプレイ３１０内に）表示することができる。ＲＯＩ調整エンジン３０６は、次いで、調整されたＲＯＩ３１８の境界への調整に対応するユーザ入力を検出することができる。たとえば、ＲＯＩ調整エンジン３０６は、ユーザが調整されたＲＯＩ３１８の１つまたは複数の境界を移動すること、スライドすること、ドラッグすること、あるいは調整することを可能にすることができる。ユーザが候補のＲＯＩ調整を選択することおよび／または追加のＲＯＩ調整を与えることを可能にすることによって、ＲＯＩ調整エンジン３０６は、ユーザのパーソナル選好に基づいて画像キャプチャまたは画像処理動作を調整および／またはカスタマイズすることができる。
【0069】
[0077]いくつかの実施形態では、画像処理エンジン３０８は、調整されたＲＯＩ３１８内の画像データに対して１つまたは複数の画像処理および／または画像キャプチャ動作を実施し得る。例示的な例では、画像処理エンジン３０８は、画像フレーム３１２のキャプチャより前にまたはその間に（たとえば、画像フレーム３１２がプレビューストリーム内に表示される間に）調整されたＲＯＩ３１８内の画像データに対して上記で説明されたＰＤＡＦまたはＣＤＡＦ動作などのオートフォーカス動作を実施し得る。画像処理エンジン３０８によって実施され得る追加の画像処理動作の非限定的な例は、他のタイプの「３Ａ」動作と、画像キャプチャより前にまたはその間に実施される他のタイプの自動画像処理動作と、画像キャプチャおよび／または記憶の後に実施される他のタイプの露出、フォーカス、測光、および／またはズーム動作とを含む。特に、画像処理エンジン３０８は、固定ＲＯＩ内に含まれ、調整されたＲＯＩ３１８の外の画像データを処理することなしに調整されたＲＯＩ３１８内の画像データに対して１つまたは複数の画像処理動作を実施し得る。したがって、ＲＯＩ調整エンジン３０６が調整されたＲＯＩ３１８を決定する間に固定ＲＯＩのサイズを変更する（たとえば、減少させる）場合、画像処理エンジン３０８は、固定ＲＯＩを実装する従来の画像処理システムとは異なる（たとえば、それより小さい）画像データの部分に対して１つまたは複数の画像処理動作を実施し得る。そのようなより小さいＲＯＩは、画像処理動作を実施する効率を増加し、ならびに、処理された画像データを含んでいる画像フレームの品質および／または外見を改善し得る。
【0070】
[0078]画像キャプチャおよび処理システム３００は、調整されたＲＯＩ３１８内の画像データに対して１つまたは複数の画像処理動作を実施した後に画像フレーム３１２に対して様々な行為を実施することができる。一例では、画像キャプチャおよび処理システム３００は、ディスプレイ３１０内に（処理された画像データをもつ）画像フレーム３１２を表示することができる。このようにして、ユーザは、画像処理動作の結果を視覚化することができる。ユーザは、次いで、（たとえば、画像キャプチャおよび処理システム３００のメインメモリに）処理された画像フレーム３１２を保存すべきか、処理された画像フレーム３１２を削除すべきか、画像キャプチャおよび処理システム３００に画像フレーム３１２に対して１つもしくは複数の追加の画像処理動作を実施するように指示すべきか、または画像フレーム３１２に対して任意の追加または代替の行為を実施すべきかを決定することができる。
【0071】
[0079]図３Ｂは、デバイス３２２内の画像キャプチャおよび処理システム３００の例示的な実装形態のブロック図を示す。図示のように、画像キャプチャおよび処理システム３００のエンジンは、デバイス３２２の様々なハードウェアおよび／またはソフトウェア構成要素内に実装され得る。一例では、入力検出エンジン３０２は、デバイスアプリケーションレイヤ３２４内に常駐し得る。デバイスアプリケーションレイヤ３２４は、図３Ａに示されているディスプレイ３１０の出力を制御するカメラアプリケーションの部分および／またはインターフェースを表し得る。場合によっては、入力検出エンジン３０２は、デバイスアプリケーションレイヤ３２４内でまたはそれの部分として動作する間にディスプレイ３１０に与えられたユーザ入力を監視し得る。例示的な例では、入力検出エンジン３０２は、ユーザがディスプレイ３１０の特定のロケーションを選択した（たとえば、触れたまたはクリックした）ことを示す通知（たとえば、「タッチフラグ」）を検出および／または受信し得る。入力検出エンジン３０２は、次いで、画像処理アプリケーション３２６にこの入力の指示（たとえば、選択されたロケーションの指示）を送り得る。場合によっては、入力検出エンジン３０２は、画像処理アプリケーション３２６に、選択されたロケーションを囲むオブジェクト検出のために使用されるべきである固定ＲＯＩのサイズをまた送り得る。
【0072】
[0080]画像処理アプリケーション３２６は、デバイス３２２によってキャプチャされた画像データに対して１つまたは複数の画像処理動作を実施するように構成された任意のタイプまたは形態のアプリケーションを含み得る。例示的な例では、画像処理アプリケーション３２６は、オートフォーカスアルゴリズムを実施することが可能な「３Ａ」アプリケーションを含み得る。図３Ｂに示されているように、画像処理アプリケーション３２６は、画像キャプチャおよび処理システム３００のオブジェクト検出エンジン３０４と、ＲＯＩ調整エンジン３０６と、画像処理エンジン３０８とを含み得る。これらのエンジンは、固定ＲＯＩ内の１つまたは複数のオブジェクトを検出し、１つまたは複数のオブジェクトの境界に基づいて調整されたＲＯＩを決定し、次いで、調整されたＲＯＩ内の画像データに対して画像処理動作を実施するために入力検出エンジン３０２から送られた情報を利用し得る。
【0073】
[0081]いくつかの実施形態では、画像キャプチャおよび処理システム３００は、固定ＲＯＩを調整することが適切であるおよび／または望ましいのかどうかを決定し得る。たとえば、画像キャプチャおよび処理システム３００は、固定ＲＯＩのサイズおよび形状が１つまたは複数の検出されたオブジェクトの境界に十分に対応すると決定することに基づいて固定ＲＯＩを調整しないことを決定し得る。別の例では、画像キャプチャおよび処理システム３００は、固定ＲＯＩが画像処理動作から利益を得るであろういかなるオブジェクトをも含まないので固定ＲＯＩを調整することがおそらく不要であると決定し得る。
【0074】
[0082]図４は、固定ＲＯＩが調整されなければならないのかどうかを決定することによって１つまたは複数の画像処理動作を改善するためのプロセス４００の一例を示すフローチャートである。ブロック４０２において、プロセス４００は、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することを含む。たとえば、プロセス４００は、ユーザがユーザインターフェース上に表示される画像フレーム内の１つまたは複数のピクセルを選択したときを検出するカメラを装備したデバイスのユーザインターフェースを監視することを含むことができる。
【0075】
[0083]ブロック４０４において、プロセス４００は、画像フレームが選択されたロケーションを囲むＲＯＩ内にオブジェクトを含むのかどうかを決定することを含み、ここにおいて、ＲＯＩは、選択されたロケーションを含み、ここにおいて、ＲＯＩは、あらかじめ決定されたサイズ（すなわち、固定ＲＯＩ）を有する。たとえば、プロセス４００は、画像フレームの固定ＲＯＩ内の画像データに対してオブジェクト検出動作またはアルゴリズムを実施することを含むことができる。一例では、画像フレームが固定ＲＯＩ内にオブジェクトを含むと決定することは、固定ＲＯＩが１つまたは複数のオブジェクトの外部境界を完全に包含すると決定することを含むことができる。逆に、画像フレームが固定ＲＯＩ内のオブジェクトを含まないと決定することは、固定ＲＯＩがいかなるオブジェクトの外部境界をも完全に包含しないと決定することを含むことができる。別の例では、画像フレームが固定ＲＯＩ内にオブジェクトを含むと決定することは、固定ＲＯＩが１つまたは複数のオブジェクトの外部境界の少なくとも一部分を包含すると決定することを含むことができる。逆に、画像フレームが固定ＲＯＩ内のオブジェクトを含まないと決定することは、固定ＲＯＩがいかなるオブジェクトの外部境界のいかなる部分をも包含しないと決定することを含むことができる。
【0076】
[0084]ブロック４０４において決定された決定が「いいえ」である場合、プロセス４００は、ブロック４０８に進み得る。ブロック４０８において、プロセス４００は、固定ＲＯＩを調整することを拒絶することを含む。たとえば、プロセス４００は、固定ＲＯＩ内に各ピクセルに対応する画像データに対して１つまたは複数の画像処理動作を実施することを決定することを含む。ブロック４０８の後に、プロセス４００は、ブロック４１０に進み、これは、固定ＲＯＩ内の画像データに対して１つまたは複数の画像処理動作を実施することを含む。ブロック４０４において決定された決定が「はい」である場合、プロセス４００は、ブロック４０６に進み得る。ブロック４０６において、プロセス４００は、決定に少なくとも部分的に基づいて固定ＲＯＩを調整することを含む。いくつかの実施形態では、固定ＲＯＩは、画像フレーム内で検出された１つまたは複数のオブジェクトの境界に基づいて調整され得る。たとえば、プロセス４００は、１つまたは複数の検出されたオブジェクトの境界に対応するピクセルとしてＲＯＩの境界を設定することを含み得る。プロセス４００は、次いで、ブロック４１０に進み、これは、調整されたＲＯＩ内の画像データに対して１つまたは複数の画像処理および／または画像キャプチャ動作を実施することを含む。
【0077】
[0085]上記で説明された画像処理技法および解決策は、画像フレームの部分に対して実施される画像処理動作の品質を改善し得る。たとえば、特定のオブジェクトの形状および／またはサイズに基づいて固定ＲＯＩの形状および／またはサイズを改善することは、他のオブジェクトに対応する画像データを除外しながら画像処理動作を特定のオブジェクトに対応する画像データに対して実施することを可能にし得る。したがって、画像処理動作の効果が、より顕著になり、および／またはより高い品質のものになり得る。これらの改善は、特に、高精細なオブジェクトを含む画像フレーム中で、ならびに前景と背景との両方にオブジェクトを含む画像フレーム中で顕著になり得る。さらに、開示される技法および解決策は、ユーザがユーザの好みに従って画像をより正確で効率的にカスタマイズすることを可能にし、それによって、全体的なユーザ満足度を増加させ得る。
【0078】
[0086]図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄは、開示される画像処理技法および解決策によって与えられる改善を示す画像を含む。特に、図５Ａは、固定ＲＯＩ５０４を含む例示的な画像フレーム５０２を示す。図５Ａに示されているように、固定ＲＯＩ５０４は、２つの顔を含む。図５Ｂは、オートフォーカスアルゴリズムが従来の画像処理システムに従って画像データに対して実施された後に固定ＲＯＩ５０４内の画像データに対応する画像フレーム部分５０６を示す。たとえば、画像フレーム部分５０６中の画像データの全体は、オートフォーカスアルゴリズムを使用して処理されている。対照的に、図５Ｃは、固定ＲＯＩ５０４内の画像データのサブセットに対応する調整されたＲＯＩ５０８を示す。図５Ｃに示されているように、調整されたＲＯＩ５０８の境界は、２つの顔の境界に近似的に対応する。開示される画像キャプチャおよび処理システムは、固定ＲＯ１５０４内でオブジェクト検出を実施することに少なくとも部分的に基づいて調整されたＲＯＩ５０８を決定し得る。図５Ｄは、オートフォーカスアルゴリズムが調整されたＲＯＩ５０８内の画像データに対して実施された後に固定ＲＯＩ５０４内の画像データに対応する画像データ部分５１０を示す。図５Ｂに示されている顔と比較して、図５Ｄに示されている顔は、より高い明瞭性を有し、処理された画像フレームは、より高い全体的な品質を有する。
【0079】
[0087]図５Ｅおよび図５Ｆは、開示される画像処理技法および解決策によって与えられる追加の改善を示す画像を含む。特に、図５Ｅは、図５Ｃに示されている固定ＲＯＩ５０４と調整されたＲＯＩ５０８の一部分とを示す。図５Ｅはまた、追加の調整されたＲＯＩ５１２を示し、これは、調整されたＲＯＩ５０８がユーザ入力に基づいてさらに調整された後の調整されたＲＯＩ５０８に対応する。図示のように、追加の調整されたＲＯＩ５１２の形状（たとえば、矩形）は、調整されたＲＯＩ５０８の形状と同様である。しかしながら、追加の調整されたＲＯＩ５１２のサイズは、調整されたＲＯＩ５０８のサイズとは異なる（たとえば、より大きい）。一例では、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ５０８の形状、サイズ、および／または輪郭（たとえば、外形）を示す視覚グラフィックを表示することができる。ＲＯＩ調整エンジン３０６は、視覚グラフィックの１つまたは複数の境界を移動すること（たとえば、ドラッグすること）に対応するユーザ入力を検出することに基づいて追加の調整されたＲＯＩ５１２を生成することができる。たとえば、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ５０８の中心点から離れて調整されたＲＯＩ５０８の境界を移動することに対応するユーザ入力を検出することに基づいて調整されたＲＯＩ５０８の高さおよび／または幅を増加させることができる。同様に、たとえば、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ５０８の中心点に向かって調整されたＲＯＩ５０８の境界を移動することに対応するユーザ入力を検出することに基づいて調整されたＲＯＩ５０８の高さおよび／または幅を減少させることができる。ＲＯＩ調整エンジン３０６は、任意の好適な方法でおよび／または様々なタイプのユーザ入力に基づいて調整されたＲＯＩ５０８に追加の調整を適用することができる。
【0080】
[0088]さらに、図５Ｆは、図５Ｃに示されている固定ＲＯＩ５０４と調整されたＲＯＩ５０８の一部分とを示す。図５Ｆはまた、追加の調整されたＲＯＩ５１４を示し、これは、候補の（たとえば、潜在的な）調整されたＲＯＩに対応する。たとえば、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ５０８、追加の調整されたＲＯＩ５１４、および／または任意の追加の候補の調整されたＲＯＩを決定することができる。ＲＯＩ調整エンジン３０６は、候補の調整されたＲＯＩの形状、サイズ、および／または輪郭に対応する視覚グラフィックを表示することができる。一例では、ＲＯＩ調整エンジン３０６は、画像フレーム５０２上の複数の視覚グラフィックを同時に覆うことができる。別の例では、ＲＯＩ調整エンジン３０６は、複数のまたは一連の視覚グラフィックを連続的に表示することができる。たとえば、ＲＯＩ調整エンジン３０６は、単一の視覚グラフィックを一度に表示することができる。場合によっては、ＲＯＩ調整エンジン３０６は、あらかじめ決定された時間量（たとえば、１秒、３秒など）の間各視覚グラフィックを表示することができる。このようにして、ＲＯＩ調整エンジン３０６は、ユーザが各候補の調整されたＲＯＩを個々に閲覧および／または評価することを可能にすることができる。一例では、ＲＯＩ調整エンジン３０６は、複数の候補の調整されたＲＯＩに対応する複数の視覚グラフィックを巡回することができる。特定の視覚グラフィックが表示される間、ＲＯＩ調整エンジン３０６は、特定の視覚グラフィックの選択に対応するユーザ入力を検出することができる。たとえば、ＲＯＩ調整エンジン３０６は、ユーザが特定の視覚グラフィックを選択した（たとえば、触れた、クリックした、口頭で肯定応答したなど）と決定することができる。ＲＯＩ調整エンジン３０６は、次いで、画像フレーム５０２内に対応する候補の調整されたＲＯＩを実装することができる。図５Ｆに示されているように、調整されたＲＯＩ５０８は、追加の調整されたＲＯＩ５１４（たとえば、楕円形）とは異なる形状（たとえば、矩形）のものであり得る。例示的な例では、楕円形状が画像フレーム５０２内の人の頭部の形状により正確に対応すると決定することに基づいて、ユーザは、追加の調整されたＲＯＩ５１４に対応する視覚グラフィックを選択し得る。
【0081】
[0089]図６は、画像フレーム中での１つまたは複数の画像処理動作を改善するための例示的なプロセス６００を示す流れ図である。明快のために、プロセス６００について、図３Ａおよび図３Ｂに示されている画像処理およびキャプチャシステム３００を参照しながら説明する。本明細書で概説されるステップは、例であり、いくつかのステップを除外、追加、または修正する組合せを含むそれらの任意の組合せで実装され得る。
【0082】
[0090]ステップ６０２において、プロセス６００は、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することを含む。たとえば、入力検出エンジン３０２は、画像フレーム３１２内のロケーションの選択に対応するユーザ入力３１４を検出することができる。一例では、画像処理およびキャプチャシステム３００は、カメラデバイスが画像キャプチャモードにある間にカメラデバイスによってキャプチャされた画像フレームを含むフレームのプレビューストリーム内で画像フレーム３１２を受信することができる。画像フレーム３１２が、ディスプレイ３１０上に（たとえば、プレビューストリーム内に）表示される間に、入力検出エンジン３０２は、画像フレーム３１２を監視することができる。入力検出エンジン３０２は、画像フレーム３１２内のロケーションの選択に対応する任意の好適なタイプのユーザ入力を監視および／または検出することができる。非限定的な例では、入力検出エンジン３０２は、ユーザが画像フレーム３１２の１つまたは複数のピクセルに対応するディスプレイ３１０内のロケーションに（たとえば、指またはスタイラスを用いて）触れたか、またはさもなければそれを選択したことを検出することができる。場合によっては、入力検出エンジン３０２は、画像フレーム３１２が複数のＲＯＩ内に１つまたは複数のオブジェクトを含むと決定することができる。たとえば、入力検出エンジン３０２は、画像フレーム３１２内の複数のロケーションの選択に対応するユーザ入力を検出することができる。
【0083】
[0091]ステップ６０４において、プロセス６００は、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定すること、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズおよび／またはあらかじめ決定された形状を有する、を行うことを含む。たとえば、オブジェクト検出エンジン３０４は、画像フレーム３１２が画像フレーム３１２のＲＯＩ内にオブジェクト３１６を含むと決定することができる。一例では、ＲＯＩは、固定ＲＯＩ（たとえば、あらかじめ決定された形状、サイズ、および／または数のピクセルを有するＲＯＩ）であり得る。オブジェクト検出エンジン３０４は、固定ＲＯＩ内のオブジェクト３１６を検出するために様々なタイプのオブジェクト検出動作またはアルゴリズム（たとえば、顔検出および／もしくは認識アルゴリズム、特徴検出および／もしくは認識アルゴリズム、エッジ検出アルゴリズム、境界追跡機能、それらの任意の組合せ、ならびに／または他のオブジェクト検出および／もしくは認識技法）を実施することができる。図５Ｃを参照すると、オブジェクト検出エンジン３０４は、固定ＲＯＩ５０４内の２つの顔を検出することができる。さらに、（ステップ６０２において）画像フレーム３１２が複数のＲＯＩを含むと入力検出エンジン３０２が決定する場合、オブジェクト検出エンジン３０４は、少なくとも部分的に複数のＲＯＩの内にある１つまたは複数のオブジェクトを検出することができる。
【0084】
[0092]ステップ６０６において、プロセス６００は、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むという決定に少なくとも部分的に基づいて関心領域のあらかじめ決定されたサイズおよび／またはあらかじめ決定された形状を調節することを含む。たとえば、ＲＯＩ調整エンジン３０６は、画像フレーム３１２がＲＯＩ内にオブジェクト３１６を含むという決定に少なくとも部分的に基づいてＲＯＩを調整することができる。ＲＯＩ調整エンジン３０６は、様々な方法でＲＯＩを調整することができる。一例では、ＲＯＩ調整エンジン３０６は、少なくとも１つの軸に沿ってＲＯＩのあらかじめ決定されたサイズを減少させることができる。別の例では、ＲＯＩ調整エンジン３０６は、少なくとも１つの軸に沿ってＲＯＩのあらかじめ決定されたサイズを増加させることができる。さらなる一例では、ＲＯＩ調整エンジン３０６は、オブジェクト検出アルゴリズム（たとえば、画像フレーム３１２内のオブジェクトを検出するために使用されるオブジェクト検出アルゴリズム）に基づいてＲＯＩのあらかじめ決定された形状を調整することができる。たとえば、ＲＯＩ調整エンジン３０６は、オブジェクト検出アルゴリズムに基づいてオブジェクトのための境界ボックスを決定し、境界ボックスとしてＲＯＩを設定することができる。追加または代替として、ＲＯＩ調整エンジン３０６は、オブジェクト３１６の１つまたは複数の境界とＲＯＩの１つまたは複数の境界との間の距離を減少させる任意の方式でＲＯＩのサイズおよび／または形状を調整することができる。たとえば、ＲＯＩ調整エンジン３０６は、オブジェクト３１６の１つまたは複数の境界を決定し、オブジェクト３１６の１つまたは複数の境界としてＲＯＩの１つまたは複数の境界を設定することができる。場合によっては、オブジェクト３１６の１つまたは複数の境界は、オブジェクト３１６の形状、外形、および／または輪郭に対応する（または近似的に対応する）ことができる。図５Ｃを再び参照すると、ＲＯＩ調整エンジン３０６は、固定ＲＯＩ５０４内の顔のサイズおよび／または形状に基づいて固定ＲＯＩ５０４を調整し、それによって、調整されたＲＯＩ５０８を生成することができる。さらに、（ステップ６０４において）画像フレーム３１２が複数のＲＯＩ内に１つまたは複数のオブジェクトを含むことをオブジェクト検出エンジン３０４が検出する場合、ＲＯＩ調整エンジン３０６は、複数のＲＯＩ内のオブジェクトに基づいて複数のＲＯＩのうちの１つまたは複数を調整することができる。
【0085】
[0093]場合によっては、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩを示す視覚グラフィックを（たとえば、画像フレーム３１２内に）表示することができる。視覚グラフィックは、調整されたＲＯＩの形状、サイズ、および／または外形に対応することができる。一例では、ＲＯＩ調整エンジン３０６は、視覚グラフィックに関連する追加のユーザ入力を検出することができる。追加のユーザ入力は、調整されたＲＯＩへの少なくとも１つの追加の調整を示すことができる。図５Ｅを参照すると、ＲＯＩ調整エンジン３０６は、調整されたＲＯＩ５０８の一部分のサイズを増加させること（たとえば、追加のＲＯＩ５１２を生じること）に関連するユーザ入力を検出することができる。いくつかの例では、ＲＯＩ調整エンジン３０６は、ＲＯＩのあらかじめ決定されたサイズおよび／またはあらかじめ決定された形状への異なる調整に対応する複数の候補の調整されたＲＯＩを決定することができる。それぞれの候補の調整されたＲＯＩは、（たとえば、ユーザによっておよび／またはＲＯＩ調整エンジン３０６によって）評価され得る潜在的な調整されたＲＯＩに対応することができる。一例では、ＲＯＩ調整エンジン３０６は、複数の候補の調整されたＲＯＩに対応する複数の視覚グラフィックを画像フレーム３１２内に連続的に表示することができる。ＲＯＩ調整エンジン３０６は、複数の候補の調整されたＲＯＩのうちの１つの候補の調整されたＲＯＩの選択を、１つの候補の調整されたＲＯＩに対応する複数の視覚グラフィックのうちの視覚グラフィックに関連する追加のユーザ入力を検出することに基づいて決定することができる。たとえば、特定の視覚グラフィックが画像フレーム３１２内に表示される間に、ＲＯＩ調整エンジン３０６は、特定の視覚グラフィックを選択する（たとえば、クリックする、触れる、口頭で肯定応答するなどの）ユーザ入力を検出することができる。
【0086】
[0094]ブロック６０８において、プロセス６００は、調整されたＲＯＩ内の画像データに対して１つまたは複数の画像キャプチャ動作を実施することを含む。たとえば、画像処理エンジン３０８は、画像フレーム３１２の調整されたＲＯＩ内の画像データに対して１つまたは複数の画像キャプチャ動作を実施することができる。調整されたＲＯＩは、ＲＯＩ調整エンジン３０６によって決定された調整されたＲＯＩ、ユーザによって示された追加の調整を反映する調整されたＲＯＩ、および／または複数の候補の調整されたＲＯＩから選択された調整されたＲＯＩに対応することができる。いくつかの例では、画像処理エンジン３０８は、１つまたは複数の「３Ａ」動作（たとえば、オートフォーカス動作）を実施することができる。１つまたは複数の画像処理動作は、調整されたＲＯＩ内の画像データに適用され得る（調整されたＲＯＩの外の画像データには適用されない）。たとえば、画像処理エンジン３０８は、図５Ｃの調整されたＲＯＩ５０８内の画像データに１つまたは複数の画像処理動作を適用することができる。図５Ｄの画像データ部分５１０は、画像処理エンジン３０８が画像データに対してオートフォーカス動作を実施した後の調整されたＲＯＩ５０８内の画像データを示す。調整されたＲＯＩ内の画像データに対してのみ画像処理動作を実施することによって、画像処理およびキャプチャシステム３００は、高品質でユーザがカスタマイズ可能な画像を正確で効率的に生成することができる。
【0087】
[0095]いくつかの例では、本明細書で説明されるプロセス（たとえば、本明細書で説明されるプロセス４００、プロセス６００、および／または他のプロセス）は、コンピューティングデバイスまたは装置（たとえば、図３Ｂに示されているデバイス３２２）によって実施され得る。一例では、プロセス４００および／またはプロセス６００は、図３Ａおよび図３Ｂの画像処理およびキャプチャシステム３００によって実施され得る。別の例では、プロセス４００および／またはプロセス６００は、図７に示されているコンピューティングシステム７００をもつコンピューティングデバイスによって実施され得る。たとえば、図７に示されているコンピューティングアーキテクチャをもつコンピューティングデバイスは、画像処理およびキャプチャシステム３００の構成要素を含むことができ、図４および図６の動作を実装することができる。
【0088】
[0096]コンピューティングデバイスは、プロセス８００を含む本明細書で説明されるプロセスを実施するためのリソース能力をもつ、モバイルデバイス（たとえば、モバイルフォン）、デスクトップコンピューティングデバイス、タブレットコンピューティングデバイス、ウェアラブルデバイス（たとえば、ＶＲヘッドセット、ＡＲヘッドセット、ＡＲ眼鏡、ネットワーク接続されたウォッチもしくはスマートウォッチ、または他のウェアラブルデバイス）、サーバコンピュータ、自律車両もしくは自律車両のコンピューティングデバイス、ロボット装置、テレビジョン、および／または任意の他のコンピューティングデバイスなどの任意の好適なデバイスを含むことができる。場合によっては、コンピューティングデバイスまたは装置は、１つもしくは複数の入力デバイス、１つもしくは複数の出力デバイス、１つもしくは複数のプロセッサ、１つもしくは複数のマイクロプロセッサ、１つもしくは複数のマイクロコンピュータ、１つもしくは複数のカメラ、１つもしくは複数のセンサ、および／または本明細書で説明されるプロセスのステップを行うように構成された他の構成要素などの様々な構成要素を含み得る。いくつかの例では、コンピューティングデバイスは、ディスプレイ、データを通信および／もしくは受信するように構成されたネットワークインターフェース、それらの任意の組合せ、ならびに／または他の構成要素を含み得る。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータまたは他のタイプのデータを通信および／または受信するように構成され得る。
【0089】
[0097]コンピューティングデバイスの構成要素は、回路で実装され得る。たとえば、構成要素は、本明細書で説明される様々な動作を実施するために、１つまたは複数のプログラマブル電子回路（たとえば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、および／または他の好適な電子回路）を含むことができる、電子回路もしくは他の電子ハードウェアを含むことができ、および／またはそれらを使用して実装され得、ならびに／あるいは、コンピュータソフトウェア、ファームウェア、もしくはそれらの任意の組合せを含むことができ、および／またはそれらを使用して実装され得る。
【0090】
[0098]プロセス４００およびプロセス６００は、論理フロー図として示され、その動作は、ハードウェア、コンピュータ命令、またはそれらの組合せにおいて実施され得る動作のシーケンスを表す。コンピュータ命令の文脈では、動作は、１つまたは複数のプロセッサによって実行されたときに、記載された動作を実行する、１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行するかまたは特定のデータ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作を記述する順序は、限定として解釈すべきものではなく、プロセスを実装するために、任意の数の記述した動作が任意の順序でおよび／または並行して組み合わされ得る。
【0091】
[0099]さらに、本明細書で説明されるプロセス４００、プロセス６００および／または他のプロセスは、実行可能命令で構成された１つまたは複数のコンピュータシステムの制御下で実施され得、まとめて１つまたは複数のプロセッサ上で、ハードウェアによって、またはそれらの組合せで実行するコード（たとえば、実行可能命令、１つまたは複数のコンピュータプログラム、または１つまたは複数のアプリケーション）として実装され得る。上述のように、コードは、たとえば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読または機械可読記憶媒体に記憶され得る。コンピュータ可読または機械可読記憶媒体は、非一時的であり得る。
【0092】
[0100]図７は、本技術のいくつかの態様を実装するためのシステムの一例を示す図である。特に、図７は、コンピューティングシステム７００の一例を示し、これは、たとえば、システムの構成要素が接続７０５を使用して互いに通信している、内部コンピューティングシステム、リモートコンピューティングシステム、カメラ、またはそれらの任意の構成要素を構成する任意のコンピューティングデバイスであり得る。接続７０５は、チップセットアーキテクチャ中などでのバスを使用した物理接続であるか、またはプロセッサ７１０への直接接続であり得る。接続７０５はまた、仮想接続、ネットワーク化された接続、または論理接続であり得る。
【0093】
[0101]いくつかの実施形態では、コンピューティングシステム７００は、本開示で説明される機能がデータセンター、複数のデータセンター、ピアネットワークなどの内で分散され得る分散システムである。いくつかの実施形態では、説明されたシステム構成要素のうちの１つまたは複数は、構成要素が説明される機能の一部または全部をそれぞれ実施する多くのそのような構成要素を表す。いくつかの実施形態では、構成要素は、物理デバイスであることも、仮想デバイスであることもある。
【0094】
[0102]例示的なシステム７００は、少なくとも１つの処理ユニット（ＣＰＵまたはプロセッサ）７１０とプロセッサ７１０に読取り専用メモリ（ＲＯＭ）７２０およびランダムアクセスメモリ（ＲＡＭ）７２５などのシステムメモリ７１５を含む様々なシステム構成要素を結合する接続７０５とを含む。コンピューティングシステム７００は、プロセッサ７１０に直接接続された、またはそれに極めて近接した、またはその一部として統合された高速メモリのキャッシュ７１２を含むことができる。
【0095】
[0103]プロセッサ７１０は、任意の汎用プロセッサ、ならびに、プロセッサ７１０を制御するように構成された、記憶デバイス７３０に記憶されたサービス７３２、７３４、７３６などのハードウェアサービスまたはソフトウェアサービス、ならびにソフトウェア命令が実際のプロセッサ設計に組み込まれる専用プロセッサを含むことができる。プロセッサ７１０は、本質的に、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む完全に自己完結型のコンピューティングシステムであることがある。マルチコアプロセッサは、対称的または非対称的であり得る。
【0096】
[0104]ユーザ対話を可能にするために、コンピューティングシステム７００は、音声のためのマイクロフォン、ジェスチャまたはグラフィカル入力のためのタッチセンシティブスクリーン、キーボード、マウス、動き入力、音声など、任意の数の入力機構を表すことができる入力デバイス７４５を含む。コンピューティングシステム７００は、いくつかの出力機構のうちの１つまたは複数とすることができる出力デバイス７３５も含むことができる。いくつかの事例では、マルチモーダルシステムは、ユーザがコンピューティングシステム７００と通信するために複数のタイプの入出力を提供することを可能にすることができる。コンピューティングシステム７００は、通信インターフェース７４０を含むことができ、通信インターフェース７４０は、一般に、ユーザ入力およびシステム出力を統率および管理することができる。通信インターフェースは、オーディオジャック／プラグ、マイクロフォンジャック／プラグ、ユニバーサルシリアルバス（ＵＳＢ）ポート／プラグ、Ａｐｐｌｅ（登録商標）Ｌｉｇｈｔｎｉｎｇ（登録商標）ポート／プラグ、イーサネット（登録商標）ポート／プラグ、光ファイバポート／プラグ、プロプライエタリワイヤードポート／プラグ、ＢＬＵＥＴＯＯＴＨ（登録商標）ワイヤレス信号転送、ＢＬＵＥＴＯＯＴＨ低エネルギー（ＢＬＥ）ワイヤレス信号転送、ＩＢＥＡＣＯＮ（登録商標）ワイヤレス信号転送、無線周波数識別（ＲＦＩＤ）ワイヤレス信号転送、近距離通信（ＮＦＣ）ワイヤレス信号転送、専用短距離通信（ＤＳＲＣ）ワイヤレス信号転送、８０２．１１Ｗｉ－Ｆｉワイヤレス信号転送、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）信号転送、可視光通信（ＶＬＣ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ（登録商標））、赤外線（ＩＲ）通信ワイヤレス信号転送、公衆交換電話網（ＰＳＴＮ）信号転送、統合サービスデジタルネットワーク（ＩＳＤＮ）信号転送、３Ｇ／４Ｇ／５Ｇ／ＬＴＥセルラーデータネットワークワイヤレス信号転送、アドホックネットワーク信号転送、電波信号転送、マイクロ波信号転送、赤外線信号転送、可視光信号転送、紫外光信号転送、電磁スペクトルに沿ったワイヤレス信号転送、またはそれらの何らかの組合せを利用するものを含むワイヤードトランシーバおよび／またはワイヤレストランシーバを使用して、ワイヤード通信またはワイヤレス通信の受信および／または送信を実行または容易にすることがある。通信インターフェース７４０は、１つまたは複数の全地球航法衛星システム（ＧＮＳＳ）に関連する１つまたは複数の衛星からの１つまたは複数の信号の受信に基づいて、コンピューティングシステム７００の位置を決定するために使用される、１つまたは複数のＧＮＳＳシステム受信機またはトランシーバも含み得る。ＧＮＳＳシステムは、限定はしないが、米国ベースの全地球測位システム（ＧＰＳ）と、ロシアベースのグローバルナビゲーション衛星システム（ＧＬＯＮＡＳＳ）と、中国ベースの北斗衛星導航系統（ＢＤＳ）と、欧州ベースのＧａｌｉｌｅｏ ＧＮＳＳとを含む。任意の特定のハードウェア構成上で動作することに制限はなく、したがって、ここでの基本的な特徴は、改善されたハードウェア構成またはファームウェア構成が開発されると、それらに容易に置き換えられ得る。
【0097】
[0105]ストレージデバイス７３０は、磁気カセット、フラッシュメモリカード、固体メモリデバイス、デジタル多用途ディスク、カートリッジ、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、磁気ストリップ／ストライプ、任意の他の磁気記憶媒体、フラッシュメモリ、メモリスタメモリ、任意の他の固体メモリ、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）光ディスク、書換え可能コンパクトディスク（ＣＤ）光ディスク、デジタルビデオディスク（ＤＶＤ）光ディスク、ブルーレイ（登録商標）ディスク（ＢＤＤ）光ディスク、ホログラフィック光ディスク、別の光媒体、セキュアデジタル（ＳＤ）カード、マイクロセキュアデジタル（ｍｉｃｒｏＳＤ）カード、Ｍｅｍｏｒｙ Ｓｔｉｃｋ（登録商標）カード、スマートカードチップ、ＥＭＶチップ、加入者識別モジュール（ＳＩＭ）カード、ミニ／マイクロ／ナノ／ピコＳＩＭカード、別の統合回路（ＩＣ）チップ／カード、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュＥＰＲＯＭ（ＦＬＡＳＨＥＰＲＯＭ）、キャッシュメモリ（Ｌ１／Ｌ２／Ｌ３／Ｌ４／Ｌ５／Ｌ＃）、抵抗変化型ランダムアクセスメモリ（ＲＲＡＭ（登録商標）／ＲｅＲＡＭ）、相変化メモリ（ＰＣＭ）、スピントランスファートルクＲＡＭ（ＳＴＴ－ＲＡＭ）、別のメモリチップもしくはカートリッジ、および／またはそれらの組合せなど、不揮発性および／または非一時的および／またはコンピュータ可読メモリデバイスであり得、コンピュータによってアクセス可能であるデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得る。
【0098】
[0106]ストレージデバイス７３０は、そのようなソフトウェアを定義するコードがプロセッサ７１０によって実行されるとき、システムに機能を実施させるソフトウェアサービス、サーバ、サービスなどを含むことができる。いくつかの実施形態では、特定の機能を実施するハードウェアサービスは、その機能を行うために、プロセッサ７１０、接続７０５、出力デバイス７３５など、必要なハードウェア構成要素に関して、コンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。
【0099】
[0107]本明細書で使用される「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブル記憶デバイス、光記憶デバイス、ならびに（１つまたは複数の）命令および／またはデータを記憶、含有、または担持することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データを記憶することができ、ワイヤレスに、またはワイヤード接続を介して伝搬する搬送波および／または一時的な電子信号を含まない非一時的媒体を含み得る。非一時的媒体の例は、限定はしないが、磁気ディスクもしくは磁気テープ、コンパクトディスク（ＣＤ）もしくはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリ、またはメモリデバイスを含み得る。コンピュータ可読媒体は、その上に、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、もしくはプログラムステートメントの任意の組合せを表し得るコードおよび／または機械実行可能命令を記憶していることがある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容を渡すおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む任意の適切な手段を使用して、渡され、フォワーディングされ、または送信され得る。
【0100】
[0108]いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含んでいるケーブル信号またはワイヤレス信号を含むことができる。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明確に除外する。
【0101】
[0109]具体的な詳細は、本明細書において提供される実施形態および例の完全な理解を提供するために、上記の説明において提供されている。ただし、実施形態はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。説明の明快のために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアで具現される方法におけるステップまたはルーチン、あるいはハードウェアとソフトウェアとの組合せを備える機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。図に示されているおよび／または本明細書で説明される構成要素以外の追加の構成要素が使用され得る。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不要な詳細で不明瞭にしないためにブロック図の形態で構成要素として示され得る。他の事例では、実施形態を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法が不要な詳細なしに示され得る。
【0102】
[0110]個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として描かれる処理または方法として上述され得る。フローチャートは、動作を逐次的なプロセスとして説明し得るが、動作の多くは、並行してまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。それの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが機能に対応する場合、その終了は、呼出関数またはメイン関数への関数の戻り値に対応し得る。
【0103】
[0111]上述した例による処理および方法は、記憶されている、またはさもなければコンピュータ可読媒体から利用可能である、コンピュータ実行可能な命令を使用して実装され得る。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、もしくは処理デバイスに、一定の機能もしくは機能のグループを実行させる、またはさもなければ、汎用コンピュータ、専用コンピュータ、もしくは処理デバイスを一定の機能もしくは機能のグループを実施するように構成する、命令およびデータを含むことができる。使用されるコンピュータリソースの部分は、ネットワーク上でアクセス可能とすることができる。コンピュータ実行可能命令は、たとえば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードなどであり得る。命令、使用される情報、および／または説明される例による方法中に作成される情報を記憶するために使用され得るコンピュータ可読媒体の例は、磁気または光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク化された記憶デバイスなどを含む。
【0104】
[0112]これらの開示によるプロセスおよび方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを含むことができ、様々なフォームファクタのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実装される場合、必要なタスクを実施するためのプログラムコードまたはコードセグメント（たとえば、コンピュータプログラム製品）は、コンピュータ可読媒体または機械可読媒体に記憶され得る。プロセッサは、必要なタスクを実施し得る。フォームファクタの典型的な例は、ラップトップ、スマートフォン、モバイルフォン、タブレットデバイスまたは他のスモールフォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどを含む。本明細書で説明される機能はまた、周辺機器またはアドインカードで実施され得る。そのような機能性は、さらなる例として、異なるチップの中の回路基板または単一デバイス内で実行される異なるプロセス上でも実装され得る。
【0105】
[0113]命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明される機能を提供するための例示的な手段である。
【0106】
[0114]上記の説明では、本出願の態様がそれの特定の実施形態を参照しながら説明されたが、本出願はそれに限定されないことを、当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、従来技術によって限定される場合を除いて、発明的概念が、場合によっては様々に具体化および採用され得、添付の特許請求の範囲が、そのような変形形態を含むように解釈されるものであることを理解されたい。上記で説明された適用例の様々な特徴および態様は、個々にまたは一緒に使用され得る。さらに、実施形態は、本明細書のより広い趣旨および範囲から逸脱することなく、本明細書で説明された環境および適用例以外に、任意の数の環境および適用例において利用され得る。したがって、本明細書および図面は、制限的なものというよりもむしろ例示的なものとして考慮されるべきである。例示の目的のために、方法は、特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実施され得ることを諒解されたい。
【0107】
[0115]本明細書で使用される、よりも小さい（「＜」）、および、よりも大きい（「＞」）のシンボルまたは専門用語は、本明細書の範囲から逸脱することなく、それぞれ、よりも小さいかまたはそれに等しい（「≦」）、および、よりも大きいかまたはそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。
【0108】
[0116]構成要素が、ある動作を実施する「ように構成されて」いるものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路または他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（たとえば、マイクロプロセッサ、または他の好適な電子回路）をプログラムすることによって、またはそれらの任意の組合せによって、達成され得る。
【0109】
[0117]「に結合される」という句は、直接的にもしくは間接的に別の構成要素に物理的に接続される任意の構成要素、および／または、直接的もしくは間接的に別の構成要素と通信する（たとえば、有線接続もしくはワイヤレス接続、および／または他の適切な通信インターフェース上で、他の構成要素に接続された）任意の構成要素を指す。
【0110】
[0118]セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つもしくは複数」を具陳する特許請求の範囲の文言または他の文言は、セットのうちの１つのメンバーまたは（任意の組合せにおける）セットのうちの複数のメンバーが特許請求の範囲を満たすことを示す。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳する特許請求の範囲の文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」を具陳する特許請求の範囲の文言は、Ａ、Ｂ、Ｃ、もしくはＡおよびＢ、もしくはＡおよびＣ、もしくはＢおよびＣ、もしくはＡおよびＢおよびＣを意味する。文言セットの「うちの少なくとも１つ」および／またはセットのうちの「１つまたは複数」は、セットにリストされている項目にセットを制限しない。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、さらに、ＡおよびＢのセットにリストされていない項目を含むことができる。
【0111】
[0119]本明細書において開示される実施形態に関連して説明される、様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、または、これらの組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約に依存する。熟練した技術者は、説明された機能性を特定の適用例ごとに様々な手法で実装し得るが、そのような実装上の決定は、本出願の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
【0112】
[0120]本明細書において説明される技法は、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはこれらの任意の組合せにおいても実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明されたいかなる特徴も、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアにおいて実装される場合、技法は、命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体であって、命令は、実行された場合に、上述した方法のうちの１つまたは複数を実行する、コンピュータ可読データ記憶媒体によって少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージングマテリアルを含み得る、コンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などの、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形式でプログラムコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。
【0113】
[0121]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明された技法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。したがって、本明細書において使用されるような「プロセッサ」という用語は、前述の構造のいずれか、前述の構造の任意の組合せ、または、本明細書において説明される技法の実装に適した任意の他の構造もしくは装置を指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。
【0114】
[0122]態様１：画像フレーム中での１つまたは複数の画像処理動作を改善する方法。本方法は、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することと、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することと、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有する、決定に少なくとも部分的に基づいて関心領域を調整することと、調整された関心領域内で画像データに対して１つまたは複数の画像処理動作を実施することとを含む。
【0115】
[0123]態様２：カメラデバイスが画像キャプチャモードにある間にカメラデバイスによってキャプチャされた画像フレームを含むフレームのプレビューストリーム内で画像フレームを受信することをさらに備える、態様１に記載の方法。
【0116】
[0124]態様３：画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することは、画像フレームの関心領域内でオブジェクト検出アルゴリズムを実施することを含む、態様１または２のいずれかに記載の方法。
【0117】
[0125]態様４：関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することは、オブジェクト検出アルゴリズムに基づいて関心領域のあらかじめ決定された形状を調整することを含む、態様３に記載の方法。
【0118】
[0126]態様５：オブジェクト検出アルゴリズムに基づいて関心領域のあらかじめ決定された形状を調整することは、オブジェクト検出アルゴリズムに基づいてオブジェクトのための境界ボックスを決定することと、境界ボックスとして関心領域を設定することとを含む、態様４に記載の方法。
【0119】
[0127]態様６：関心領域のあらかじめ決定されたサイズまたは形状を調整することは、少なくとも１つの軸に沿って関心領域のあらかじめ決定されたサイズを減少させることを含む、態様１から５のいずれかに記載の方法。
【0120】
[0128]態様７：関心領域のあらかじめ決定された形状またはサイズを調整することは、少なくとも１つの軸に沿って関心領域のあらかじめ決定されたサイズを増加させることを含む、態様１から６のいずれかに記載の方法。
【0121】
[0129]態様８：関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することは、関心領域の境界と１つまたは複数のオブジェクトの境界との間の距離を減少させることを含む、態様１から７のいずれかに記載の方法。
【0122】
[0130]態様９：関心領域の境界と１つまたは複数のオブジェクトの境界との間の距離を減少させることは、画像フレーム内のオブジェクトの輪郭を決定することと、画像フレーム内のオブジェクトの輪郭として関心領域の境界を設定することとを含む、態様８に記載の方法。
【0123】
[0131]態様１０：画像フレーム内のオブジェクトの輪郭を決定することは、画像フレーム内の輪郭に対応するピクセルを決定することを含む、態様９に記載の方法。
【0124】
[0132]態様１１：関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することは、画像フレーム内の複数の関心領域内に画像フレームが１つまたは複数のオブジェクトを少なくとも部分的に含むと決定することを含み、関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することは、複数の関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することを含む、態様１から１０のいずれかに記載の方法。
【0125】
[0133]態様１２：画像フレーム内に、調整された関心領域を示す視覚グラフィックを覆うことをさらに備える、態様１から１１に記載の方法。
【0126】
[0134]態様１３：視覚グラフィックに関連する追加のユーザ入力を検出すること、追加のユーザ入力は、調整された関心領域への少なくとも１つの追加の調整を示す、をさらに備える、態様１２に記載の方法。
【0127】
[0135]態様１４：関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状への異なる調整に対応する複数の候補の調整された関心領域を決定することと、画像フレーム内に、複数の候補の調整された関心領域に対応する複数の視覚グラフィックを連続的に表示することと、複数の候補の調整された関心領域のうちの１つの候補の調整された関心領域の選択を、１つの候補の調整された関心領域に対応する複数の視覚グラフィックのうちの視覚グラフィックに関連する追加のユーザ入力を検出することに基づいて決定することとをさらに備える、態様１から１３のいずれかに記載の方法。
【0128】
[0136]態様１５：１つまたは複数の画像処理動作はオートフォーカス動作を含む、態様１から１４のいずれかに記載の方法。
【0129】
[0137]態様１６：１つまたは複数の画像処理動作は自動露出動作を含む、態様１から１５のいずれかに記載の方法。
【0130】
[0138]態様１７：１つまたは複数の画像処理動作は自動ホワイトバランス動作を含む、態様１から１６のいずれかに記載の方法。
【0131】
[0139]態様１８：調整された関心領域内の画像データに対して１つまたは複数の画像処理動作を実施した後にディスプレイ上に画像フレームを表示することをさらに備える、態様１から１７のいずれかに記載の方法。
【0132】
[0140]態様１９：画像フレーム中での１つまたは複数の画像処理動作を改善するための装置。本装置は、メモリとプロセッサとを含み、プロセッサは、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することと、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することと、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有する、決定に少なくとも部分的に基づいて関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することと、調整された関心領域内で画像データに対して１つまたは複数の画像キャプチャ動作を実施することとを行うように構成される。
【0133】
[0141]態様２０：プロセッサは、カメラデバイスが画像キャプチャモードにある間にカメラデバイスによってキャプチャされた画像フレームを含むフレームのプレビューストリーム内で画像フレームを受信することを行うように構成された、態様１９に記載の装置。
【0134】
[0142]態様２１：プロセッサは、画像フレームの関心領域内でオブジェクト検出アルゴリズムを実施することに基づいて、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することを行うように構成された、態様１９または２０のいずれかに記載の装置。
【0135】
[0143]態様２２：プロセッサは、オブジェクト検出アルゴリズムに基づいてオブジェクトのための境界ボックスを決定することと、境界ボックスとして関心領域を設定することとを行うように構成された、態様２１に記載の装置。
【0136】
[0144]態様２３：プロセッサは、少なくとも１つの軸に沿って関心領域のあらかじめ決定されたサイズを減少させることを行うように構成された、態様１９から２２のいずれかに記載の装置。
【0137】
[0145]態様２４：プロセッサは、少なくとも１つの軸に沿って関心領域のあらかじめ決定されたサイズを増加させることを行うように構成された、態様１９から２３のいずれかに記載の装置。
【0138】
[0146]態様２５：プロセッサは、関心領域の境界とオブジェクトの境界との間の距離を減少させることを行うように構成された、態様１９から２４のいずれかに記載の装置。
【0139】
[0147]態様２６：プロセッサは、画像フレーム内のオブジェクトの輪郭を決定することと、画像フレーム内のオブジェクトの輪郭として関心領域の境界を設定することとを行うように構成された、態様２５に記載の装置。
【0140】
[0148]態様２７：プロセッサは、画像フレーム内の輪郭に対応するピクセルを決定することを行うように構成された、態様２６に記載の装置。
【0141】
[0149]態様２８：プロセッサは、画像フレーム内の複数の関心領域内に画像フレームが１つまたは複数のオブジェクトを少なくとも部分的に含むと決定することに基づいて、関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することと、複数の関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することによって少なくとも部分的に、関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することとを行うように構成された、態様１９から２７のいずれかに記載の装置。
【0142】
[0150]態様２９：プロセッサは、画像フレーム内に、調整された関心領域を示す視覚グラフィックを覆うことを行うようにさらに構成された、態様１９から２８のいずれかに記載の装置。
【0143】
[0151]態様３０：プロセッサは、視覚グラフィックに関連する追加のユーザ入力を検出すること、追加のユーザ入力は、調整された関心領域への少なくとも１つの追加の調整を示す、を行うようにさらに構成された、態様２９に記載の装置。
【0144】
[0152]態様３１：プロセッサは、関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状への異なる調整に対応する複数の候補の調整された関心領域を決定することと、画像フレーム内に、複数の候補の調整された関心領域に対応する複数の視覚グラフィックを連続的に表示することと、複数の候補の調整された関心領域のうちの１つの候補の調整された関心領域の選択を、１つの候補の調整された関心領域に対応する複数の視覚グラフィックのうちの視覚グラフィックに関連する追加のユーザ入力を検出することに基づいて決定することとを行うようにさらに構成された、態様１９から３０のいずれかに記載の装置。
【0145】
[0153]態様３２：１つまたは複数の画像キャプチャ動作はオートフォーカス動作を含む、態様１９から３１のいずれかに記載の装置。
【0146】
[0154]態様３３：１つまたは複数の画像キャプチャ動作は自動露出動作を含む、態様１９から３２のいずれかに記載の装置。
【0147】
[0155]態様３４：１つまたは複数の画像キャプチャ動作は自動ホワイトバランス動作を含む、態様１９から３３のいずれかに記載の装置。
【0148】
[0156]態様３５：ディスプレイをさらに備え、ここにおいて、プロセッサは、調整された関心領域内の画像データに対して１つまたは複数の画像キャプチャを実施した後にディスプレイ上に画像フレームを表示することを行うように構成された、態様１９から３４のいずれかに記載の装置。
【0149】
[0157]態様３６：装置がモバイルデバイスを備える、態様１９から３５のいずれかに記載の装置。
【0150】
[0158]態様３７：装置がカメラデバイスを備える、態様１９から３６のいずれかに記載の装置。
【0151】
[0159]態様３８：画像フレーム中での１つまたは複数の画像処理動作を改善するための非一時的コンピュータ可読記憶媒体。非一時的コンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、態様１から１８の動作のいずれかを実施することを行わせる命令を含む。たとえば、非一時的コンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、画像フレーム内のロケーションの選択に対応するユーザ入力を検出することと、画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することと、関心領域は、選択されたロケーションを含み、あらかじめ決定されたサイズまたはあらかじめ決定された形状を有する、決定に少なくとも部分的に基づいて関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することと、調整された関心領域内で画像データに対して１つまたは複数の画像処理動作を実施することとを行わせる命令を含むことができる。
【0152】
[0160]態様３９：画像フレームの関心領域内に画像フレームがオブジェクトを少なくとも部分的に含むと決定することは、画像フレームの関心領域内でオブジェクト検出アルゴリズムを実施することを含む、態様３８に記載の非一時的コンピュータ可読記憶媒体。
【0153】
[0161]態様４０：関心領域のあらかじめ決定されたサイズまたはあらかじめ決定された形状を調整することは、関心領域の境界とオブジェクトの境界との間の距離を減少させることを含む、態様３８または３９のいずれかに記載の非一時的コンピュータ可読記憶媒体。
【0154】
[0162]態様４１：態様１から１８の動作のいずれかを実施するための１つまたは複数の手段を含む画像キャプチャおよび処理システム。
【図1A】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6】
【図7】
【国際調査報告】