(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-19
(54)【発明の名称】カメラフォーカスのためのユーザインターフェース
(51)【国際特許分類】
H04N 23/67 20230101AFI20241112BHJP
G02B 7/28 20210101ALI20241112BHJP
G03B 13/36 20210101ALI20241112BHJP
【ＦＩ】
H04N23/67 100
G02B7/28 N
G03B13/36
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024525448
(86)(22)【出願日】2022-08-30
(85)【翻訳文提出日】2024-04-26
(86)【国際出願番号】 US2022042045
(87)【国際公開番号】W WO2023086146
(87)【国際公開日】2023-05-19
(31)【優先権主張番号】17/454,547
(32)【優先日】2021-11-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】ミシャ・ガロー・グラスキン
(72)【発明者】
【氏名】ホ・サン・リー
【テーマコード（参考）】
2H011
2H151
5C122
【Ｆターム（参考）】
2H011BA23
2H151BA06
2H151BA14
2H151CB22
2H151CB26
2H151CE31
2H151CE33
5C122DA03
5C122DA04
5C122DA09
5C122EA42
5C122FD01
5C122FD04
5C122FD07
5C122FD10
5C122FD13
5C122FE01
5C122FH22
5C122FH24
5C122FL03
5C122FL08
5C122GA01
5C122GA31
5C122HA13
5C122HA35
5C122HA86
5C122HB01
5C122HB05
(57)【要約】
画像キャプチャのためのデバイスは、プレビュー画像を記憶するように構成されるメモリと、メモリに結合される１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、メモリに記憶されたプレビュー画像の領域にフォーカスするためのユーザ選択を受信し、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し、領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力し、代替バージョン内の後続のユーザ選択を受信し、後続のユーザ選択に基づいてカメラのフォーカスレベルを制御するように構成される。
【特許請求の範囲】
【請求項1】
画像キャプチャのためのデバイスであって、プレビュー画像を記憶するように構成されるメモリと、
前記メモリに結合される１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
前記メモリに記憶された前記プレビュー画像の領域にフォーカスするためのユーザ選択を受信し、
前記領域内の異なる深度に画像コンテンツが存在するかどうかを判定し、
前記領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記領域内の前記画像コンテンツの代替バージョンを出力し、
前記代替バージョン内の後続のユーザ選択を受信し、
前記後続のユーザ選択に基づいてカメラのフォーカスレベルを制御するように構成される、デバイス。
【請求項2】
前記領域内の前記画像コンテンツの前記代替バージョンを出力することが、前記領域内の前記画像コンテンツのズームインされたバージョンを出力することを含む、請求項１に記載のデバイス。
【請求項3】
前記カメラの前記フォーカスレベルを制御することが、前記カメラのレンズのレンズ位置を制御することを含む、請求項１に記載のデバイス。
【請求項4】
前記後続のユーザ選択を受信することが、前記領域内のサブ領域を選択する、前記領域内の前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択を受信することを含み、前記フォーカスレベルを制御することが、前記サブ領域の前記後続のユーザ選択に基づいて前記フォーカスレベルを制御することを含む、請求項１に記載のデバイス。
【請求項5】
前記領域内の前記サブ領域を選択する前記領域内の前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択が、前記領域内の前記サブ領域を選択するタッチユーザ選択を含む、請求項４に記載のデバイス。
【請求項6】
前記後続のユーザ選択を受信することが、前記フォーカスレベルを手動で制御するために前記画像コンテンツの前記代替バージョン内で前記後続のユーザ選択を受信することを含み、前記フォーカスを制御することが、ユーザによる前記フォーカスレベルの手動制御に基づいて前記フォーカスを制御することを含む、請求項１に記載のデバイス。
【請求項7】
前記１つまたは複数のプロセッサが、前記後続のユーザ選択中に、焦点により近い前記画像コンテンツの量と、焦点からより遠い前記画像コンテンツの別の量とを示すヒストグラムを出力するように構成される、請求項６に記載のデバイス。
【請求項8】
前記フォーカスレベルを手動で制御するための前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択が、フォーカス深度を手動で調整するためのスワイプ、スライド、またはドラッグアンドホールドのユーザ選択を含む、請求項６に記載のデバイス。
【請求項9】
前記ユーザ選択が第１のユーザ選択であり、前記領域が第１の領域であり、前記フォーカスレベルが第１のフォーカスレベルであり、前記プレビュー画像が第１のプレビュー画像であり、前記１つまたは複数のプロセッサが、第２のプレビュー画像の第２の領域にフォーカスするための第２のユーザ選択を受信し、
前記第２の領域で異なる深度に画像コンテンツが存在するかどうかを判定し、
前記第２の領域で異なる深度に画像コンテンツが存在しないという前記判定に基づいて、前記第２のユーザ選択に基づいて前記カメラのための第２のフォーカスレベルを制御するように構成される、請求項１に記載のデバイス。
【請求項10】
前記領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記領域内の前記画像コンテンツの前記代替バージョンを出力することが、前記領域内の異なる深度に画像コンテンツが存在するという条件が満たされることに応じて、前記領域内の前記画像コンテンツの前記代替バージョンを出力することを含む、請求項１に記載のデバイス。
【請求項11】
前記領域内の前記画像コンテンツの前記代替バージョンを出力することが、フォーカスが合っていない前記領域の部分をぼかすことを含む、請求項１に記載のデバイス。
【請求項12】
前記デバイスが、前記カメラの前記フォーカスレベルで画像をキャプチャするように構成される、請求項１に記載のデバイス。
【請求項13】
前記領域内の異なる深度に画像コンテンツが存在するかどうかを判定することが、位相検出オートフォーカス（ＰＤＡＦ）ベースの深度マップ、デフォーカスマップ、飛行時間（ＴｏＦ）、ステレオ深度、または構造化光のうちの１つまたは複数に基づいて、異なる深度に画像コンテンツが存在するかどうかを判定することを含む、請求項１に記載のデバイス。
【請求項14】
画像キャプチャのための方法であって、前記メモリに記憶された前記プレビュー画像の領域にフォーカスするためのユーザ選択を受信するステップと、
前記領域内の異なる深度に画像コンテンツが存在すると判定するステップと、
前記領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記領域内の前記画像コンテンツの代替バージョンを出力するステップと、
前記代替バージョン内の後続のユーザ選択を受信するステップと、
前記後続のユーザ選択に基づいてカメラのフォーカスレベルを制御するステップと
を含む、方法。
【請求項15】
前記画像コンテンツの前記代替バージョンを出力するステップが、前記画像コンテンツのズームインされたバージョンを出力するステップを含む、請求項１４に記載の方法。
【請求項16】
前記カメラの前記フォーカスレベルを制御するステップが、前記カメラのレンズのレンズ位置を制御するステップを含む、請求項１４に記載の方法。
【請求項17】
前記後続のユーザ選択を受信するステップが、前記領域内のサブ領域を選択する、前記領域内の前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択を受信するステップを含み、前記フォーカスレベルを制御するステップが、前記サブ領域の前記後続のユーザ選択に基づいて前記フォーカスレベルを制御するステップを含む、請求項１４に記載の方法。
【請求項18】
前記領域内の前記サブ領域を選択する前記領域内の前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択が、前記領域内の前記サブ領域を選択するタッチユーザ選択を含む、請求項１７に記載の方法。
【請求項19】
前記後続のユーザ選択を受信するステップが、前記フォーカスレベルを手動で制御するために前記画像コンテンツの前記代替バージョン内で前記後続のユーザ選択を受信するステップを含み、前記フォーカスを制御するステップが、ユーザによる前記フォーカスレベルの手動制御に基づいて前記フォーカスを制御するステップを含む、請求項１４に記載の方法。
【請求項20】
前記後続のユーザ選択中に、焦点により近い前記画像コンテンツの量と、焦点からより遠い前記画像コンテンツの別の量とを示すヒストグラムを出力するステップをさらに含む、請求項１９に記載の方法。
【請求項21】
前記フォーカスレベルを手動で制御するための前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択が、フォーカス深度を手動で調整するためのスワイプ、スライド、またはドラッグアンドホールドのユーザ選択を含む、請求項１９に記載の方法。
【請求項22】
方法であって、前記ユーザ選択が第１のユーザ選択であり、前記領域が第１の領域であり、前記フォーカスレベルが第１のフォーカスレベルであり、前記プレビュー画像が第１のプレビュー画像であり、前記方法が、第２のプレビュー画像の第２の領域にフォーカスするための第２のユーザ選択を受信するステップと、
前記第２の領域で異なる深度に画像コンテンツが存在すると判定するステップと、
前記第２の領域で異なる深度に画像コンテンツが存在しないという前記判定に基づいて、前記第２のユーザ選択に基づいて前記カメラの第２のフォーカスレベルを制御するステップとをさらに含む、請求項１４に記載の方法。
【請求項23】
前記領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記領域内の前記画像コンテンツの前記代替バージョンを出力するステップが、前記領域内の異なる深度に画像コンテンツが存在するという条件が満たされるステップに応じて、前記領域内の前記画像コンテンツの前記代替バージョンを出力するステップを含む、請求項１４に記載の方法。
【請求項24】
前記領域内の前記画像コンテンツの前記代替バージョンを出力するステップが、フォーカスが合っていない前記領域の部分をぼかすステップを含む、請求項１４に記載の方法。
【請求項25】
前記カメラの前記フォーカスレベルで画像をキャプチャするステップをさらに含む、請求項１４に記載の方法。
【請求項26】
前記領域内の異なる深度に画像コンテンツが存在すると判定するステップが、位相検出オートフォーカス（ＰＤＡＦ）ベースの深度マップ、デフォーカスマップ、飛行時間（ＴｏＦ）、ステレオ深度、または構造化光のうちの１つまたは複数に基づいて、異なる深度に画像コンテンツが存在するかどうかを判定するステップを含む、請求項１４に記載の方法。
【請求項27】
命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、実行されると、１つまたは複数のプロセッサに、前記メモリに記憶された前記プレビュー画像の領域にフォーカスするためのユーザ選択を受信させ、
前記領域内の異なる深度に画像コンテンツが存在すると判定させ、
前記領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記領域内の前記画像コンテンツの代替バージョンを出力させ、
前記代替バージョン内の後続のユーザ選択を受信させ、
前記後続のユーザ選択に基づいてカメラのフォーカスレベルを制御させる、コンピュータ可読記憶媒体。
【請求項28】
前記１つまたは複数のプロセッサに前記カメラの前記フォーカスレベルを制御させる前記命令が、前記１つまたは複数のプロセッサに前記カメラのレンズのレンズ位置を制御させる命令を備える、請求項２７に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２１年１１月１１日に出願された米国特許出願第１７／４５４，５４７号の優先権を主張し、その内容全体が参照により本明細書に組み込まれる。
【0002】
本開示は、キャプチャまたは画像処理に関する。
【背景技術】
【0003】
カメラデバイスは、フレーム（例えば、画像）をキャプチャする１つまたは複数のカメラを含む。カメラデバイスの実施例には、スタンドアロンのデジタルカメラまたはデジタルビデオカムコーダ、１つまたは複数のカメラを有する携帯電話などのカメラ付き無線通信デバイスハンドセット、セルラまたは衛星無線電話、カメラ付き携帯情報端末（ＰＤＡｓ）、コンピューティングパネルまたはタブレット、ゲームデバイス、いわゆる「ウェブカメラ」などのカメラを含むコンピュータデバイス、スマートウォッチ、自身のカメラを備えたデバイス、カメラを備えた別のデバイスを制御するように構成されるデバイス、またはデジタル撮像またはビデオ機能を備えた任意のデバイスが含まれる。
【0004】
カメラデバイスは、キャプチャされたフレームを処理し、表示のためにフレームを出力する。いくつかの実施例では、カメラデバイスは、露出、フォーカス、およびホワイトバランスを制御して、高品質画像をキャプチャする。
【発明の概要】
【0005】
一般に、本開示は、ユーザがカメラフォーカスレベルを制御するために対話するユーザインターフェースを生成するための技法を含む、カメラフォーカスレベル（例えば、所望の深度にフォーカスするためのカメラのレンズの位置）を制御するための技法について説明する。より詳細に説明されるように、プレビュー画像内のフォーカスするべき領域のユーザ選択に応じて、１つまたは複数のプロセッサは、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る。領域内の異なる深度に画像コンテンツが存在する場合、１つまたは複数のプロセッサは、領域内の画像コンテンツの代替バージョン（例えば、ズームインされたバージョン）を出力し、代替バージョン内の後続のユーザ選択を受信し得る。１つまたは複数のプロセッサは、後続のユーザ選択に基づいてカメラのフォーカスレベル（例えば、カメラのレンズ位置）を制御し得る。しかしながら、領域内中に単一の深度に画像コンテンツが存在する（例えば、異なる深度に画像コンテンツではない）場合、１つまたは複数のプロセッサは、領域内の画像コンテンツの代替バージョンを出力しないことがあり、ユーザ選択に基づいてカメラのためのフォーカスレベルを制御し得る（すなわち、後続のユーザ選択は必要とされない）。
【0006】
場合によっては、カメラのフォーカスレベルを制御するための領域のユーザ選択は、比較的大きい領域をカバーし得る。例えば、ユーザは、プレビュー画像を提示するスクリーンをタッチして領域を定義し得る。比較的小さいスクリーン上では、スクリーン上のタッチは、比較的大量の画像コンテンツを包含し得る（例えば、面積は、スクリーンのサイズと、ユーザがスクリーンにタッチした方法であり得る指先のユーザ知覚サイズとの間の比に比例する）。そのような場合、特に異なる深度に画像コンテンツが存在する場合、カメラのフォーカスが正確にどこにあるべきかは未定義であることがある。すなわち、ユーザが選択した領域内の異なる深度に画像コンテンツが存在するので、フォーカス深度は未知であり得る。異なる深度の画像コンテンツが存在する領域の画像コンテンツにズームインすることによって、ユーザは、領域の画像コンテンツがスクリーン上ではるかに大きく見えるので、カメラがフォーカスするべき場所をより良好に選択することが可能であり得る。しかしながら、単一の深度に画像コンテンツが存在する（例えば、異なる深度に画像コンテンツが存在しない）場合、フォーカスは、領域の画像コンテンツにズームインする必要なく、（例えば、レンズ位置を変更することによって）ユーザ選択領域内の画像コンテンツの深度に調整されることができる。このようにして、例示的な技法は、異なる深度に画像コンテンツが存在する場合にフォーカス深度をより良好に選択するための代替バージョンを選択的に提供するために、実用的なアプリケーションを用いてカメラ上のフォーカスレベルを制御する動作を改善し得る。
【0007】
一例では、画像キャプチャのためのデバイスは、プレビュー画像を記憶するように構成されるメモリと、メモリに結合される１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、メモリに記憶されたプレビュー画像の領域にフォーカスするためのユーザ選択を受信し、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し、領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力し、代替バージョン内の後続のユーザ選択を受信し、後続のユーザ選択に基づいてカメラのフォーカスレベルを制御するように構成される。
【0008】
一例では、画像キャプチャのための方法は、メモリに記憶されたプレビュー画像の領域にフォーカスするためのユーザ選択を受信することと、領域内の異なる深度に画像コンテンツが存在すると判定することと、領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力することと、代替バージョン内の後続のユーザ選択を受信することと、後続のユーザ選択に基づいてカメラのフォーカスレベルを制御することとを含む。
【0009】
一例では、命令を記憶するコンピュータ可読記憶媒体であって、命令が、実行されると、１つまたは複数のプロセッサに、メモリに記憶されたプレビュー画像の領域にフォーカスするためのユーザ選択を受信させ、領域内の異なる深度に画像コンテンツが存在すると判定させ、領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力させ、代替バージョン内の後続のユーザ選択を受信させ、後続のユーザ選択に基づいてカメラのフォーカスレベルを制御させる、コンピュータ可読記憶媒体。
【0010】
１つまたは複数の実施例の詳細が、添付図面および以下の説明に記載されている。他の特徴、目的、および利点が、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0011】
【図1】本開示に記載された技法の実施例のうちの１つまたは複数を実行するように構成されるデバイスのブロック図である。
【図3】画像コンテンツおよび領域のユーザ選択を表示するデバイスの一例を示す概念図である。
【図4A】異なる深度に設定されたフォーカスを示す概念図である。
【図4B】異なる深度に設定されたフォーカスを示す概念図である。
【図5】タッチフォーカスアシストモードのためのユーザインターフェースの一例を示す概念図である。
【図6】手動フォーカスアシストモードのためのユーザインターフェースの一例を示す概念図である。
【図7A】ぼかしを付与したユーザインターフェースの一例を示す概念図である。
【図7B】ぼかしを付与したユーザインターフェースの一例を示す概念図である。
【図8】動作の１つまたは複数の例示的な技法を示すフローチャートである。
【図9】動作の１つまたは複数の例示的な技法を示すフローチャートである。
【図10】動作の１つまたは複数の例示的な技法を示すフローチャートである。
【発明を実施するための形態】
【0012】
本開示で説明する例示的な技法は、カメラフォーカス（例えば、画像またはビデオキャプチャのためにカメラがフォーカスするべき深度）に関する。カメラのいくつかのフォーカス技法では、ユーザはフォーカスするべき領域を選択する。例えば、プレビューモードの間、スクリーンはキャプチャされる画像コンテンツを表示する。プレビュー画像は、画像コンテンツを含んでもよい。ユーザは、カメラがフォーカスするプレビュー画像の領域でスクリーン上をタッチし得る。しかしながら、いくつかの実施例では、ユーザ選択領域（例えば、ユーザがタッチした場所）内の異なる深度に画像コンテンツが存在し得る。そのような場合、フォーカスが設定されるべき深度が不明瞭であり得る（例えば、フォーカスレベル、およびフォーカスレベルが調整されるべきものが不明瞭であり得る）。
【0013】
１つまたは複数の実施例では、フォーカスするべきプレビュー画像の領域のユーザ選択に応じて、１つまたは複数のプロセッサは、選択された領域内の複数の深度に画像コンテンツが存在するかどうかを判定し得る。複数の深度に画像コンテンツが存在する場合、１つまたは複数のプロセッサは、ユーザがフォーカス深度およびフォーカスするべき画像コンテンツをより正確に選択することを可能にするためにフォーカスアシストプロセスを実装し得る。しかしながら、１つの深度のみに画像コンテンツが存在する場合、１つまたは複数のプロセッサは、フォーカスが選択された領域の深度および領域にあるように、フォーカスレベルを制御し得る。
【0014】
複数の深度に画像コンテンツが存在する場合、いくつかの実施例では、スクリーンは、画像コンテンツの代替バージョンを提示し得る。一例として、画像コンテンツの代替バージョンは、選択された領域がより大きく見えるように、選択された領域のズームインされた画像コンテンツであってもよい。画像コンテンツのこの代替バージョンでは、ユーザは、深度を設定する領域を再び選択し得る。例えば、画像コンテンツのズームインされたバージョンにおいて、ユーザは、深度を設定する領域を再び選択して、ユーザにフォーカス深度を選択するより正確な方法を与え得る。
【0015】
別の実施例として、画像コンテンツの代替バージョンを提示した後、ユーザは、所望の画像コンテンツにフォーカスが合うまでカメラのフォーカスを手動で調整し得る。いくつかの実施例では、フォーカスレベル（例えば、カメラがフォーカスするべき深度）を手動で調整するために、スクリーンは、フォーカス深度よりも遠いまたは近いピクセルの数を示すヒストグラムを表示し得る。ユーザは、ヒストグラムを利用して、焦点により近い画像コンテンツにフォーカスしたいのか、焦点からより遠い画像コンテンツにフォーカスしたいのかを選択し得る。しかしながら、例示的な技法は、ヒストグラムが存在することを必要としない。
【0016】
したがって、１つまたは複数のプロセッサは、プレビュー画像のある領域にフォーカスするためのユーザ選択を受信し、その領域内の異なる深度に画像コンテンツが存在するかどうかを判定するように構成され得る。領域内の異なる深度に画像コンテンツがあることに基づいて、１つまたは複数のプロセッサは、領域内の画像コンテンツの代替バージョン（例えば、ズームインされたバージョン）を出力し得る。そのような実施例では、１つまたは複数のプロセッサは、代替バージョン内の後続のユーザ選択を受信し、後続のユーザ選択に基づいてカメラのためのフォーカスレベル（例えば、レンズ位置）を制御（例えば、設定または調整）し得る。しかしながら、領域内の異なる深度に画像コンテンツがないことに基づいて、１つまたは複数のプロセッサは、ユーザ選択に基づいてカメラのためのフォーカスレベルを制御し得る（例えば、画像コンテンツの代替バージョンの出力または後続のユーザ選択の受信がないことがある）。例えば、フォーカスレベルを制御するために、１つまたは複数のプロセッサは、後続のユーザ選択を受信することなくカメラのレンズの位置を調整し得る。
【0017】
後続のユーザ選択の様々な例があり得る。一例として、後続のユーザ選択は、領域内のサブ領域のユーザ選択であってもよい。例えば、領域の画像コンテンツがズームインされるので、一例として、ユーザは、カメラのフォーカス深度を定義するサブ領域をより良好に選択し得る。別の実施例として、後続のユーザ選択は、フォーカスレベルを手動で（例えば、レンズのフォーカス位置を手動で）制御するためのユーザ選択であってもよい。例えば、ユーザは、フォーカスレベルを所望のフォーカス深度に手動で調整し得る。
【0018】
図１は、本開示に記載された技法の実施例のうちの１つまたは複数を実行するように構成されるデバイスのブロック図である。カメラデバイス１０の実施例には、スタンドアロンのデジタルカメラまたはデジタルビデオカムコーダ、１つまたは複数のカメラを有する携帯電話などのカメラ付き無線通信デバイスハンドセット、セルラまたは衛星無線電話、カメラ付き携帯情報端末（ＰＤＡｓ）、コンピューティングパネルまたはタブレット、時計、ゲームデバイス、いわゆる「ウェブカメラ」などのカメラを含むコンピュータデバイス、またはデジタル撮像またはビデオ機能を有する任意のデバイスが含まれる。
【0019】
図１の実施例に示すように、カメラデバイス１０は、カメラ１２（例えば、画像センサおよびレンズを有する）と、カメラプロセッサ１４およびカメラプロセッサ１４のローカルメモリ２０と、中央処理装置（ＣＰＵ）１６と、グラフィカル処理ユニットＧＰＵ）１８と、ユーザインターフェース２２と、システムメモリ３０へのアクセスを提供するメモリコントローラ２４と、グラフィックデータをディスプレイ２８に表示させる信号を出力するディスプレイインターフェース２６とを含む。図１の実施例は、１つのカメラ１２を含むカメラデバイス１０を示しているが、いくつかの実施例では、カメラデバイス１０は、全方位画像またはビデオキャプチャなどのために複数のカメラを含み得る。
【0020】
また、様々な構成要素が別個の構成要素として図示されるが、いくつかの実施例では、構成要素はシステムオンチップ（ＳｏＣ）を形成するように組み合わせられてもよい。一例として、カメラプロセッサ１４、ＣＰＵ１６、ＧＰＵ１８、およびディスプレイインターフェース２６は、共通集積回路（ＩＣ）チップ上に形成されてもよい。いくつかの実施例では、カメラプロセッサ１４、ＣＰＵ１６、ＧＰＵ１８、およびディスプレイインターフェース２６のうちの１つまたは複数は、別個のＩＣチップ内にあってもよい。例示的な技法を実行するように構成され得る構成要素の追加の実施例は、デジタル信号プロセッサ（ＤＳＰ）、ベクトルプロセッサ、またはニューラルネットワーク（ＮＮ）計算のために使用される他のハードウェアブロックを含む。様々な他の置換および組合せが可能であり、本技法は、図１に例示される例に限定されると見なされるべきではない。
【0021】
（１つのデバイス上に形成されるのか異なるデバイス上に形成されるのかにかかわらず）図１に示されている様々な構成要素は、１つまたは複数のマイクロプロセッサ中のものなど、固定機能またはプログラマブル回路、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、あるいは他の等価な集積またはディスクリート論理回路のうちの少なくとも１つとして形成され得る。ローカルメモリ２０およびシステムメモリ３０の実施例は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気データ媒体または光記憶媒体など、１つまたは複数の揮発性または不揮発性メモリあるいはストレージデバイスを含む。
【0022】
図１に示される様々なユニットは、バス３２を使用して互いに通信する。バス３２は、第３世代バス（例えば、ＨｙｐｅｒＴｒａｎｓｐｏｒｔバスまたはＩｎｆｉｎｉＢａｎｄバス）、第２世代バス（例えば、Ａｄｖａｎｃｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔバス、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）エクスプレスバス、またはＡｄｖａｎｃｅｄ ｅＸｔｅｎｔｉｓｉｂｌｅ Ｉｎｔｅｒｆａｃｅ（ＡＸＩ）バス）、または別のタイプのバスもしくはデバイス相互接続などの、様々なバス構造のいずれかであり得る。図１に示されている異なる構成要素間のバスおよび通信インターフェースの特定の構成は例にすぎず、カメラデバイスの他の構成および／あるいは同じまたは異なる構成要素をもつ他の画像処理システムが、本開示の技法を実装するために使用され得る。
【0023】
カメラプロセッサ１４は、カメラ１２から画像フレーム（または単に「画像」）を受信し、表示用の出力画像を生成するために画像を処理するように構成される。ＣＰＵ１６、ＧＰＵ１８、カメラプロセッサ１４、または他の何らかの回路は、カメラプロセッサ１４によって生成された画像コンテンツを含む出力画像を、ディスプレイ２８上に表示するための画像に処理するように構成され得る。いくつかの実施例では、ＧＰＵ１８は、ディスプレイ２８上でグラフィックスコンテンツをレンダリングするようにさらに構成され得る。
【0024】
いくつかの実施例では、カメラプロセッサ１４は、画像処理パイプラインとして構成され得る。例えば、カメラプロセッサ１４は、カメラ１２とカメラプロセッサ１４との間でインターフェースするカメラインターフェースを含み得る。カメラプロセッサ１４は、画像コンテンツを処理するための追加の回路を含み得る。カメラプロセッサ１４は、得られた画像コンテンツ（例えば、画像ピクセルの各々のピクセル値）を有する画像を、メモリコントローラ２４を介してシステムメモリ３０に出力する。
【0025】
ＣＰＵ１６は、カメラデバイス１０の動作を制御する汎用プロセッサまたは専用プロセッサを備え得る。ユーザは、ＣＰＵ１６に１つまたは複数のソフトウェアアプリケーションを実行させるために、カメラデバイス１０に入力を提供し得る。ＣＰＵ１６上で実行するソフトウェアアプリケーションは、例えば、メディアプレーヤアプリケーション、ビデオゲームアプリケーション、グラフィカルユーザインターフェースアプリケーションまたは別のプログラムを含み得る。ユーザは、ユーザインターフェース２２を介してカメラデバイス１０に結合される、キーボード、マウス、マイクロフォン、タッチパッドまたは別の入力デバイスなど、１つまたは複数の入力デバイス（図示せず）を介して、カメラデバイス１０に入力を提供し得る。
【0026】
ソフトウェアアプリケーションの一例は、カメラアプリケーションである。ＣＰＵ１６は、カメラアプリケーションを実行し、それに応じて、カメラアプリケーションは、ディスプレイ２８が出力するコンテンツをＣＰＵ１６に生成させる。ＧＰＵ１８は、ディスプレイ２８上でのレンダリングのためにＣＰＵ１６によって生成されたコンテンツを処理するように構成され得る。例えば、ディスプレイ２８は、光強度、フラッシュが有効であるかどうか、および他のそのような情報などの、情報を出力し得る。カメラデバイス１０のユーザは、画像が生成される様式（例えば、フラッシュを用いるまたは用いない、フォーカス設定、露出設定、および他のパラメータ）を構成するためにディスプレイ２８とインターフェースし得る。
【0027】
一例として、カメラアプリケーションを実行した後、カメラデバイス１０はプレビューモードにあると考えられ得る。プレビューモードでは、カメラ１２は、画像コンテンツをカメラプロセッサ１４に出力し、カメラプロセッサ１４は、カメラ処理を実行し、画像コンテンツをシステムメモリ３０に出力し、システムメモリ３０は、ディスプレイインターフェース２６が取り出してディスプレイ２８に出力する。プレビューモードでは、ユーザは、ディスプレイ２８を介して、ユーザが写真を撮るために（実際のまたはディスプレイ上の）ボタンを操作したときにキャプチャされる画像コンテンツを見ることができる。別の実施例として、静止画像（例えば、写真）を撮るのではなく、ユーザはビデオコンテンツ（例えば、一連の画像）を記録し得る。記録中、ユーザは、キャプチャされている画像コンテンツをディスプレイ２８上で見ることが可能であり得る。
【0028】
本開示では、プレビュー画像は、プレビューモードで生成される画像と呼ばれることがある。例えば、プレビューモードでは、カメラプロセッサ１４による処理のためにカメラ１２が出力し、（例えば、ローカルメモリ２０またはシステムメモリ３０に）記憶する画像、またはカメラプロセッサ１４が生成し、（例えば、ローカルメモリ２０またはシステムメモリ３０に）記憶する画像は、プレビュー画像と呼ばれることがある。一般に、プレビュー画像は、画像のキャプチャおよび長期記憶の前にプレビューモードで生成された画像であり得る。
【0029】
プレビューモードまたは記録中に、カメラデバイス１０は（例えば、ＣＰＵ１６を介して）、（例えば、画像のキャプチャまたは記憶の前に）カメラ１２が画像をキャプチャする方法を制御し得る。本開示は、ＣＰＵ１６によって実行されるものとして、例示的な技法について説明する。しかしながら、例示的な技法は、ＣＰＵ１６が例示的な技法を実行することに限定されると見なされるべきではない。例えば、ＣＰＵ１６を、カメラプロセッサ１４、ＧＰＵ１８、ＤＳＰ、ベクトルプロセッサ、および／またはディスプレイインターフェース２６と組み合わせて、本開示に記載された例示的な技法を実行するように構成し得る。例えば、１つまたは複数のプロセッサは、本開示で説明される例示的な技法を実行するように構成され得る。１つまたは複数のプロセッサの実施例は、カメラプロセッサ１４、ＣＰＵ１６、ＧＰＵ１８、ディスプレイインターフェース２６、ＤＳＰ、ベクトルプロセッサ、またはカメラプロセッサ１４、ＣＰＵ１６、ＧＰＵ１８、ディスプレイインターフェース２６、ＤＳＰ、もしくはベクトルプロセッサの１つまたは複数の任意の組合せを含む。
【0030】
ＣＰＵ１６は、露出および／またはフォーカスを制御して、視覚的に心地よい画像をキャプチャするように構成され得る。例えば、ＣＰＵ１６は、いくつかの非限定的な例として、カメラ１２の露出、フォーカス、およびホワイトバランスを制御する信号を生成するように構成され得る。ＣＰＵ１６は、プレビューモードまたは記録中にカメラプロセッサ１４から受信されたプレビュー画像に基づいて露出、フォーカス、およびホワイトバランスを制御するように構成され得る。このようにして、静止画像の場合、ユーザが写真を撮ることに従事するとき、露出、フォーカス、およびホワイトバランスが調整される（例えば、露出、フォーカス、および場合によってはホワイトバランスのためのパラメータは、露出、フォーカス、およびホワイトバランスが画像キャプチャ中に補正され得るように、画像キャプチャ前に決定される）。記録のために、露出、フォーカス、およびホワイトバランスは、記録中に定期的に更新され得る。
【0031】
本開示は、ユーザがカメラ１２のフォーカスレベルを制御する（例えば、所望の深度にフォーカスするためにカメラ１２のレンズがどこに配置されるべきかを調整する）ために対話し得るユーザインターフェースの実施例など、カメラ１２のフォーカスレベルを制御するための例示的な技法について説明する。フォーカスのために、ＣＰＵ１６は、プレビュー画像をディスプレイ２８上に表示し得る。ユーザは、次いで、カメラ１２のフォーカスするべき領域を選択し得、それに応じて、ＣＰＵ１６は、フォーカス深度をユーザによって選択された領域の深度に制御し得る（例えば、カメラ１２のレンズを所望の深度にフォーカスするように調整する）。
【0032】
しかしながら、ユーザによって選択された領域の深度になるようにフォーカス深度を制御することが未定義である様々な例があり得る。ユーザが選択した領域内では、異なる深度に画像コンテンツが存在する可能性があり、カメラ１２がどの画像コンテンツにフォーカスするべきかが不明瞭である可能性がある。一例として、ディスプレイ２８は、比較的小さくてもよい（例えば、いわゆるスマートウォッチのディスプレイなど）。ユーザは、ディスプレイ２８に表示されたプレビュー画像上の領域をタッチによって、例えば、タッチスクリーン上で選択し得る。ディスプレイ２８のサイズが比較的小さいので、ユーザからのタッチは、プレビュー画像の画像コンテンツの比較的大きい領域をカバーし得る。この比較的大きな領域内では、画像コンテンツが異なる深度である可能性があり、フォーカス深度が不明瞭である可能性がある。
【0033】
本開示で説明する１つまたは複数の実施例では、ＣＰＵ１６は、プレビュー画像の領域で異なる深度に画像コンテンツが存在するかどうかを判定するように構成され得る。領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、ＣＰＵ１６は、領域内の画像コンテンツの代替バージョンを出力し得る。一例として、ＣＰＵ１６は、領域内の画像コンテンツのズームインされたバージョンを出力し得る。
【0034】
例を簡単にするために、ＣＰＵ１６は、領域内の画像コンテンツのズームインされたバージョンを出力するものとして説明される。しかしながら、例示的な技法はそのように限定されない。いくつかの実施例では、ＣＰＵ１６は、領域内の画像コンテンツのぼかしバージョンを出力し得、ここで、フォーカスが合っているエリアはぼかされず、フォーカスが合っていないエリアはぼかされる。画像コンテンツの代替バージョンを出力する様々な他の方法が存在し得る。
【0035】
次いで、ＣＰＵ１６は、代替バージョン内の後続のユーザ選択を受信し得、後続のユーザ選択に基づいてカメラ１２のフォーカスレベル（例えば、フォーカス深度）を調整し得る。しかしながら、領域中に単一の深度に画像コンテンツが存在する場合（例えば、異なる深度に画像コンテンツが存在しない場合）、ＣＰＵ１６は、領域内の画像コンテンツの代替バージョンを出力しないことがある。そのような実施例では、ＣＰＵ１６は、元のユーザ選択に基づいてカメラ１２のフォーカスレベル（例えば、フォーカス深度）を制御（例えば、設定または調整）し得る（例えば、後続のユーザ選択が必要とされない）。
【0036】
言い換えれば、条件は、領域内の異なる深度に画像コンテンツが存在するかどうかであり得る。条件が満たされたこと（例えば、領域内の異なる深度に画像コンテンツが存在すること）に応じて、ＣＰＵ１６は、領域内の画像コンテンツの代替バージョンを出力し得る。条件が満たされていない（例えば、領域内の異なる深度に画像コンテンツが存在しない）ことに応じて、ＣＰＵ１６は、領域内の画像コンテンツの代替バージョンを出力しないことがある。
【0037】
いくつかの実施例では、領域の代替バージョンは、画像コンテンツを表示するために予約されたディスプレイ２８のエリアの全体を包含し得る。例えば、ズームインされたバージョン（例えば、代替バージョンの一例）は、より大きなオブジェクトとして表示された領域の画像コンテンツであってもよい。この場合、領域の外側にある画像コンテンツは、ディスプレイ２８上で見ることができない場合がある。アップサンプリングなど、領域のズームインされたバージョンを生成するための様々な方法があり得、例示的な技法は、いかなるズーミング技法にも限定されない。
【0038】
ＣＰＵ１６が領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る様々な方法が存在し得る。一例として、ＣＰＵ１６は、２つの画像間の視差に基づいてプレビュー画像内のオブジェクトの相対深度を決定し得る。例えば、カメラ１２内のセンサ（または場合によってはいくつかの他のセンサ）は、相対深度を決定する目的で、画像コンテンツの２つの画像をキャプチャし得る。相対深度を決定するためにキャプチャされる画像は、必ずしも高解像度画像である必要はないが、写真が高解像度であることが可能であり得る。すなわち、相対深度を決定するためにセンサによってキャプチャされた画像は、プレビュー画像と同じ解像度を有し得るが、例示的な技法はそのように限定されない。
【0039】
２つの画像内の画像コンテンツの相対視差は、オブジェクトの深度を示し得る。相対視差を利用して、ＣＰＵ１６は、第１の画像内のオブジェクトの相対深度を示す深度マップを生成し得る。例えば、深度マップは、オブジェクトがカメラ１２からどれだけ離れているかを示し得、オブジェクトの深度に基づいて、ＣＰＵ１６は、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る。
【0040】
別の実施例として、ＣＰＵ１６は、ＰＤＡＦ（位相検出オートフォーカス）ピクセルベースの深度マップまたはフォーカスマップと呼ばれることもある、深度マップの別の実施例であるデフォーカスマップを生成し得る。デフォーカスマップは、上述した深度マップと同様であってもよく、しかしながら、デフォーカスマップは、カメラ１２の現在のフォーカス深度に対する（すなわち、現在の焦点の距離に対する）オブジェクトの位置を示す。例えば、デフォーカスマップは、プレビュー画像内のピクセルが現在のフォーカス深度（例えば、現在の焦点）からカメラ１２により近いオブジェクトのためのものであるか、または現在のフォーカス深度からより遠いオブジェクトのためのものであるかを示し得る。いくつかの実施例では、ＰＤＡＦピクセルベースの深度マップは、機械学習アルゴリズムを使用して生成されてもよい。
【0041】
別の実施例として、カメラ１２またはカメラデバイス１０は、飛行時間（ＴｏＦ）レーザおよびセンサを含んでもよい。ＣＰＵ１６は、光がＴｏＦレーザからオブジェクトまで進み、反射してＴｏＦセンサに戻るのにかかる時間量を決定して、オブジェクトの深度を決定し、オブジェクトの深度に基づいて深度マップを生成し得る。深度マップに基づいて、ＣＰＵ１６は、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る。
【0042】
上記は、領域内の異なる深度に画像コンテンツが存在するかどうかを判定するためにＣＰＵ１６が利用し得るいくつかの例示的な技法を説明する。しかしながら、本開示の例示的な技法は、そのような例に限定されると見なされるべきではない。追加の技法として、ＣＰＵ１６はステレオ深度または構造化光を利用して、ある領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る。
【0043】
ＣＰＵ１６が領域内の画像コンテンツの代替バージョンを出力した後（例えば、ディスプレイ２８が画像コンテンツの代替バージョンを表示した後）、ＣＰＵ１６は、代替バージョン内の後続のユーザ選択を受信し得る。代替バージョン内での後続のユーザ選択の様々な例があり得る。
【0044】
一例として、代替バージョンが画像コンテンツのズームインされたバージョンである場合、領域内の画像コンテンツのズームインされたバージョン内の後続のユーザ選択は、領域内のサブ領域を選択するユーザ選択であってもよい。例えば、領域内の画像コンテンツのズームインされたバージョンは、画像コンテンツのより大きなサイズのバージョンであり得る。ディスプレイ２８上に表示される画像コンテンツのこのより大きいサイズのバージョン内で、ユーザは、領域内のサブ領域であるエリアのタッチユーザ選択（例えば、タップ）を行い得る。
【0045】
別の実施例として、領域内の画像コンテンツの代替バージョン内の後続のユーザ選択は、フォーカスレベルを手動で制御するためのユーザ選択であってもよい。例えば、ユーザは、フォーカスを制御してフォーカス深度を手動で調整するための手動ユーザ選択のいくつかの実施例として、ディスプレイ２８上でスワイプし（例えば、右または左に）、ディスプレイ２８上でスライダを移動させ、ディスプレイ２８上でダイヤルを押し下げてドラッグし得る。いくつかの実施例では、ユーザは、手動でフォーカスを制御するために、ダイヤル、スライダなどの物理コントローラを操作するか、手動ユーザ選択のためのボタンまたは「クラウン」を回転させ得る。
【0046】
いくつかの実施例では、ＣＰＵ１６は、ディスプレイ２８上に表示され、後続のユーザ選択中に焦点により近いまたは焦点からより遠い画像コンテンツの量を示すヒストグラムを出力し得る。例えば、ユーザがフォーカスレベルを手動で調整するためにスワイプしているとき、ヒストグラムは、ユーザが手動で調整している焦点にいくつのサンプルがより近いか、またはより遠いかを示し得る。
【0047】
ＣＰＵ１６は、後続のユーザ選択に基づいてカメラ１２のフォーカスレベルを制御し得る。例えば、ＣＰＵ１６は、カメラ１２のフォーカス深度を制御し得る。一例として、ＣＰＵ１６は、後続のユーザ選択の一部として選択されたサブ領域に基づいてカメラ１２のフォーカス深度を制御し得る。別の実施例として、ＣＰＵ１６は、手動で調整されたフォーカスレベルに基づいてカメラ１２のフォーカス深度を制御し得る。
【0048】
カメラ１２は、次いで、カメラ１２のフォーカスレベルで（例えば、ＣＰＵ１６によって設定されたレンズ位置で）画像をキャプチャし得る。例えば、ユーザは、カメラデバイス１０に画像（例えば、長期記憶のための画像）をキャプチャさせるためにカメラデバイス１０と対話し得、カメラ１２は、フォーカスレベルで画像をキャプチャし得る。
【0049】
いくつかの実施例では、カメラ１２は、フォーカスレベルで１つの画像をキャプチャし得る。いくつかの実施例では、カメラ１２は、フォーカスレベルで複数の画像をキャプチャすることができ、ユーザは、保持する１つまたは複数の画像を選択し得る。例えば、システムメモリ３０は、複数の画像を記憶し得、ユーザは、それらをオフラインで（例えば、ある後の時間に）見て、どの画像を保持すべきか、および／またはどの画像の後処理（例えば、操作）を実行すべきかを判定し得る。
【0050】
メモリコントローラ２４は、システムメモリ３０に出入りするデータの転送を容易にする。例えば、メモリコントローラ２４は、カメラデバイス１０内の構成要素にメモリサービスを提供するために、メモリ読取りおよび書込みコマンドを受信し、メモリ３０に関するそのようなコマンドをサービスし得る。メモリコントローラ２４は、システムメモリ３０に通信可能に結合されている。メモリコントローラ２４は、ＣＰＵ１６とシステムメモリ３０の両方とは別個である処理回路であるものとして図１のカメラデバイス１０の実施例に示されているが、他の実施例では、メモリコントローラ２４の機能の一部または全部は、ＣＰＵ１６とシステムメモリ３０の一方または両方の上で実装され得る。
【0051】
システムメモリ３０は、カメラプロセッサ１４、ＣＰＵ１６、およびＧＰＵ１８によってアクセス可能であるプログラムモジュールおよび／または命令および／またはデータを記憶し得る。例えば、システムメモリ３０は、ユーザアプリケーション（例えば、カメラアプリケーションのための命令）、カメラプロセッサ１４からの得られたフレームなどを記憶し得る。システムメモリ３０は追加で、カメラデバイス１０の他の構成要素が使用するための情報、および／またはそれによって生成される情報を記憶し得る。例えば、システムメモリ３０は、カメラプロセッサ１４のためのデバイスメモリとして働き得る。
【0052】
図２は、図１のデバイスの中央処理装置（ＣＰＵ）およびシステムメモリをさらに詳細に示すブロック図である。図２に示すように、カメラ１２は、レンズ３４およびセンサ３６を含む。ＣＰＵ１６は、フォーカスアプリケーション３８を実行するように構成され得る。
【0053】
１つまたは複数の実施例では、ＣＰＵ１６は、プレビュー画像内のサンプルの深度を示す深度マップ４０を生成するように構成され得る。ＣＰＵ１６は、深度マップ４０をシステムメモリ３０に記憶し得る。ＣＰＵ１６は、いくつかの非限定的な例として、同じ画像コンテンツを有する画像内のピクセルの視差に基づく、焦点までの相対距離に基づく、またはＴｏＦセンサに基づくなど、様々な技法を利用して深度マップ４０を生成し得る。
【0054】
１つまたは複数の実施例では、システムメモリ３０は、ＣＰＵ１６が取り出して実行するフォーカスアプリケーション３８のためのオブジェクトコードを記憶し得る。１つまたは複数の実施例では、ＣＰＵ１６上で実行するソフトウェアアプリケーションであるのではなく、ＣＰＵ１６は、カメラ１２のフォーカスレベルを制御する動作を実行するための専用ハードウェアを含み得る。
【0055】
１つまたは複数の実施例では、光はレンズ３４を通って入り、センサ３６によって受け取られる。フォーカスアプリケーション３８は、レンズ３４のフォーカスを調整する（例えば、レンズ３４の位置を調整することによってフォーカスレベルを制御する）ように、カメラ１２内のレンズ３４の位置を修正し得る。例えば、レンズ３４の位置を修正することによって、フォーカスアプリケーション３８は、センサ３６への焦点を制御し得、したがって、画像コンテンツのどの部分がフォーカスが合うかを制御し得る。いくつかの実施例では、焦点を制御するためにレンズ３４の位置を移動させることが可能であり得る。このようにして、フォーカスアプリケーションは、後続のユーザ選択に基づいてカメラ１２のフォーカスレベル（例えば、レンズ３４の位置）を制御し得る。
【0056】
画像をキャプチャするために、ユーザはカメラデバイス１０と対話し得る。上記で説明したように、画像をキャプチャする前に、ディスプレイ２８は、画像キャプチャおよび／またはビデオキャプチャのためのプレビュー画像（例えば、キャプチャされるべき画像のプレビュー）を表示し得る。本開示で説明する例によれば、ユーザは、カメラ１２のフォーカスをどこに設定すべきか（例えば、レンズ１２の位置がどこにあるべきか）を判定し得る。システムメモリ３０は、プレビュー画像を記憶し得る。
【0057】
例えば、フォーカスアプリケーション３８は、システムメモリ３０に記憶されたプレビュー画像の領域にフォーカスするためのユーザ選択を受信し得る。ユーザ選択の一例は、ユーザがカメラ１２を（例えば、カメラ１２のフォーカスレベルは何であるべきかを）フォーカスすることを望むディスプレイ２８上でのユーザによるタッチ（例えば、タップ）であり得る。この実施例では、ＣＰＵ１６は、ユーザがディスプレイ２８にタッチした場所の座標を決定し、ユーザがディスプレイ２８にタッチした場所によって包含される領域がユーザ選択領域であると判定し得る。「タッチ」または「タップ」であるユーザ選択技法は、一例であり、限定と見なされるべきではない。ユーザは、手動で座標を入力する、メニューから領域を選択するなどをし得る。
【0058】
本開示で説明する１つまたは複数の実施例によれば、フォーカスアプリケーション３８は、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る。例えば、フォーカスアプリケーション３８は、深度マップ４０にアクセスし得る。フォーカスアプリケーション３８は、プレビュー画像のユーザ選択領域に対応する深度マップ４０内の領域を決定し得る。深度マップ４０によって示されるように、領域内のサンプルの深度に基づいて、フォーカスアプリケーション３８は、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る。
【0059】
領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、フォーカスアプリケーション３８は、領域内の画像コンテンツの代替バージョンを出力し得る。いくつかの実施例では、フォーカスアプリケーション３８が画像コンテンツの代替バージョンを出力するのではなく、またはそれに加えて、ＧＰＵ１８は、画像コンテンツの代替バージョンを出力するように構成され得る。別の実施例として、ＣＰＵ１６は、ズームアプリケーションまたは機能を実行し得、フォーカスアプリケーション３８は、ズームアプリケーションを呼び出し得、ズームアプリケーションは、領域内の画像コンテンツのズームインされたバージョン（例えば、代替バージョンの一例）を出力し得る。領域内の画像コンテンツの代替バージョンを出力する他の方法も可能である。ディスプレイ２８は、領域内の画像コンテンツの代替バージョンを表示するように構成され得る。
【0060】
領域内の異なる深度に画像コンテンツが存在するかどうかが、条件として考えられ得る。例えば、領域内の異なる深度に画像コンテンツが存在するという条件が満たされたことに応じて、ＣＰＵ１６および／またはＧＰＵ１８は、領域内の画像コンテンツの代替バージョンを出力し得る。いくつかの実施例では、ＣＰＵ１６および／またはＧＰＵ１８は、領域内の異なる深度に画像コンテンツが存在する場合のみ、領域内の画像コンテンツの代替バージョンを出力し得る。例えば、領域内の異なる深度に画像コンテンツが存在するという条件が満たされた場合のみ、ＣＰＵ１６および／またはＧＰＵ１８は、領域内の画像コンテンツの代替バージョンを出力する。一例として、条件が満たされない（すなわち、領域内の異なる深度に画像コンテンツが存在しない）場合、ＣＰＵ１６および／またはＧＰＵ１８は、領域内の画像コンテンツの代替バージョンを出力しないことがある。
【0061】
フォーカスアプリケーション３８は、代替バージョン内の後続のユーザ選択を受信し得る。代替バージョン内での後続のユーザ選択の様々な例があり得る。一例として、フォーカスアプリケーション３８は、領域内のサブ領域を選択する領域内の画像コンテンツの代替バージョン内の後続のユーザ選択を受信し得る。例えば、領域内のサブ領域を選択する、領域内の画像コンテンツの代替バージョン内の後続のユーザ選択は、領域内のサブ領域を選択するタッチユーザ選択であってもよい。別の実施例として、フォーカスアプリケーション３８は、画像コンテンツの代替バージョン内の後続のユーザ選択を受信して、フォーカスを手動で制御し得る。例えば、フォーカスを手動で制御するための画像コンテンツの代替バージョン内の後続のユーザ選択は、いくつかの実施例として、スワイプユーザ選択、スライダの移動、ダイヤルの押下およびドラッグであってもよい。サブ領域の選択およびフォーカスの手動制御の実施例は、図５および図６に関して説明される。いくつかの実施例では、ユーザは、ダイヤル、スライダなどの物理コントローラを操作するか、または手動ユーザ選択のためのボタンもしくは「クラウン」を回転させて、フォーカスを手動で制御し得る。
【0062】
フォーカスアプリケーション３８は、後続のユーザ選択に基づいてカメラ１２のフォーカスレベルを制御し得る。例えば、フォーカスアプリケーション３８は、カメラ１２のフォーカス深度を設定する（例えば、焦点を設定する）可能性がある。一例として、フォーカスアプリケーション３８は、レンズ３４および／またはセンサ３６の位置を制御して、フォーカス深度を制御し得る。カメラデバイス１０は、カメラ１２のフォーカスで画像をキャプチャするように構成され得る。例えば、フォーカスを設定した後、ユーザは、カメラデバイス１０と対話して、カメラ１２のフォーカスがフォーカスレベルにある状態で画像（例えば、静止画像またはビデオ）をキャプチャし得る。
【0063】
図３は、画像コンテンツおよび領域のユーザ選択を表示するデバイスの一例を示す概念図である。例えば、図３はカメラデバイス１０を時計として示しており、ディスプレイ２８は時計の文字盤である。いくつかの実施例では、センサは時計の文字盤上にあってもよい。この実施例では、フォーカスレベルを制御するために、ユーザは領域５０にタッチし得る。
【0064】
図４Ａおよび図４Ｂは、異なる深度に設定されたフォーカスレベルを示す概念図である。図４Ａおよび図４Ｂは、図３の領域５０のズームインされたバージョンを示す。しかしながら、図４Ａおよび４Ｂでは、フォーカス深度は異なる（例えば、焦点が異なる）。例えば、図４Ａでは、レンズ３４の位置は位置１７５にあり、これにより、フォーカス深度は画像に示されるねじの深度になる。図４Ｂでは、レンズ３４の位置は位置２０７にあり、これにより、フォーカス深度は画像に示されるばねの深度になる。
【0065】
図４Ａおよび図４Ｂに示されるように、フォーカス深度を定義するために領域５０（図３）内のユーザによるタッチのみに依存することは、カメラ１２のフォーカスレベルを決定するのに十分でない場合がある。例えば、領域５０の選択だけでは、カメラ１２がねじにフォーカスするべきであり、レンズ３４が１７５のレンズ位置を有するべきであるか、またはカメラ１２がばねにフォーカスするべきであり、レンズ３４が２０７のレンズ位置を有するべきであるかが不明瞭であり得る。
【0066】
したがって、１つまたは複数の実施例では、１つまたは複数のプロセッサ（例えば、ＣＰＵ１６）は、領域５０で異なる深度に画像コンテンツが存在するかどうかを判定するように構成され得る。領域５０で異なる深度に画像コンテンツが存在する場合、ＣＰＵ１６は、ディスプレイ２８に画像コンテンツの代替バージョン（例えば、ズームインされたバージョン）を表示させ得る。例えば、画像コンテンツの代替バージョンは、ユーザがカメラ１２のフォーカスする場所を適切に識別することがより容易であるようなものであってもよい。しかしながら、領域５０で単一の深度に画像コンテンツが存在する（例えば、異なる深度に画像コンテンツが存在しない）場合、ＣＰＵ１６は、ディスプレイ２８に代替バージョンを表示させないことがある。
【0067】
図５は、タッチフォーカスアシストモードのためのユーザインターフェースの一例を示す概念図である。図５は、図３の領域５０のズームインされたバージョンを示す。領域５０のズームインされたバージョンは、領域５０の代替バージョンの一例である。タッチフォーカスアシストモードの場合、ユーザは領域５０内のサブ領域５２を選択する。一例として、領域５０内のサブ領域５２を選択する、領域５０内の画像コンテンツの代替バージョン（例えば、ズームインされたバージョン）内の後続のユーザ選択は、領域５０内のサブ領域５２を選択するタッチユーザ選択であってもよい。図５に示されるように、領域５０の画像コンテンツは、領域５０のズームインされたバージョンにおいてより大きいので、ユーザは、フォーカスがサブ領域５２に対するものであるべきであることをより良好に指定することができる。
【0068】
図６は、手動フォーカスアシストモードのためのユーザインターフェースの一例を示す概念図である。図５と同様に、図６は、領域５０の代替バージョンの実施例である、図３の領域５０のズームインされたバージョンを示す。手動フォーカスアシストモードの場合、ディスプレイ２８は、レンズ３４および／またはセンサ３６の位置を示す表示５４を表示し得る。ユーザは、ディスプレイ２８上でどのオブジェクトが鮮明に見え、どのオブジェクトがぼやけて見えるかに基づいて、カメラ１２のフォーカスがどこにあるかを見てもよい。すなわち、ＣＰＵ１６は、フォーカスが合っていない領域に誇張されたぼかし効果を適用し、どの領域が正確にフォーカスが合っているかを強調する目的で浅い被写界深度効果をシミュレートするように構成し得る。
【0069】
ユーザは、非限定的な一例として、レンズ３４および／またはセンサ３６の位置を移動させてフォーカス深度（例えば、焦点）を変更するために、左右にスワイプし、スライダを移動させ、ディスプレイ上でホールドしてドラッグし得る。ユーザがレンズ３４および／またはセンサ３６の位置を変更するにつれて、ディスプレイ２８上の異なるオブジェクトが不鮮明になり、以前に不鮮明であったオブジェクトがフォーカスされ、鮮明に見え得る。ＣＰＵ１６は、ユーザがスワイプを停止した場所（例えば、ユーザが手動でフォーカスを制御する場所）に基づいて、カメラのフォーカスを制御し得る。
【0070】
いくつかの実施例では、ＣＰＵ１６は、ユーザ選択中に焦点により近い画像コンテンツおよび焦点からより遠い画像コンテンツの量を示すヒストグラム５６を出力するように構成され得る。例えば、ユーザがユーザ選択（例えば、スワイプユーザ選択、スライダ上の移動ユーザ選択、ホールドアンドドラッグ）を提供しているとき、ヒストグラム５６の形状は、いくつのサンプルが焦点により近いか（例えば、ヒストグラム５６の左側）、およびいくつのサンプルが焦点からより遠いか（例えば、ヒストグラム５６の右側）を示すように変化し得る。ＣＰＵ１６は、必ずしもすべての実施例においてヒストグラム５６を出力する必要はない。
【0071】
図６の実施例では、ヒストグラム５６は１つである。しかしながら、例示的な技法はそのように限定されない。いくつかの実施例では、２つ以上のヒストグラムが存在し得る。例えば、第１のヒストグラムは、全視野のピクセル（すなわち、キャプチャされることになるすべてのピクセル）の相対深度を表示し得る。第２のヒストグラムは、（例えば、深度を選択するための部分にズームインするためにズームインが使用される場合）現在ビュー内にあるピクセルの相対深度を表示し得る。第１および第２のヒストグラムは、重ねて表示されてもよいし、別々に表示されてもよい。
【0072】
図７Ａおよび図７Ｂは、ぼかしを付与したユーザインターフェースの一例を示す概念図である。上記の実施例では、画像コンテンツの代替バージョンの一例は、画像コンテンツのズームインされたバージョンである。しかしながら、いくつかの実施例では、画像コンテンツのズームインされたバージョンを出力するのではなく、またはそれに加えて、ＣＰＵ１６は、画像コンテンツの代替バージョンの別の実施例であるぼかした画像を出力し得る。
【0073】
例えば、図７Ａおよび図７Ｂに示すように、プレビュー画像のある領域にフォーカスするためのユーザ選択の後、およびその領域内の異なる深度に画像コンテンツが存在すると判定した後、ＣＰＵ１６は、その領域内の画像コンテンツのぼかしバージョンを出力し得る。ぼかしバージョンでは、現在フォーカスが合っていないエリアは、比較的激しいぼかしを用いて（例えば、ＧＰＵ１８によって）レンダリングされ得る。ぼかしバージョンは、非常に浅い被写界深度をシミュレートするものと考えられ得る。このようにして、どのエリアにフォーカスが合っているか、およびどのエリアにフォーカスが合っていないかが明らかになる。
【0074】
一例として、図７Ａおよび７Ｂでは、レンズ３４および／またはセンサ３６の位置が異なっていてもよい。図７Ａでは、鉛筆５８Ａは、カメラ１２のフォーカスレベルが鉛筆５８Ａの深度にないことを示すために大きくぼやけて見える。しかしながら、図７Ｂでは、鉛筆５８Ｂはフォーカスが合っているように見え、カメラ１２のフォーカスが鉛筆５８Ｂの深度にあることを示すためにぼやけていない。ユーザは、カメラ１２のフォーカスを手動で調整し得、図７Ａおよび図７Ｂの実施例では、ぼかしは、ユーザにカメラ１２の焦点を示し得る。カメラ１２の焦点（例えば、カメラ１２のフォーカス深度）が所望の場所にあるとき、ユーザは、レンズ３４および／またはセンサ３６の位置を変更することを停止してもよく、ＣＰＵ１６は、レンズ３４および／またはセンサ３６の位置に基づいて、カメラ１２のフォーカスレベルを制御し得る。
【0075】
図８は、動作の１つまたは複数の例示的な技法を示すフローチャートである。説明を容易にするために、図８－１０は、例示的な技法を実行するように構成される１つまたは複数のプロセッサに関して説明される。１つまたは複数のプロセッサの実施例は、ＣＰＵ１６、ＧＰＵ１８、ディスプレイインターフェース２６、またはカメラデバイス１０の任意の他の処理構成要素のうちのいずれか１つまたは組合せを含む。
【0076】
図８の実施例では、１つまたは複数のプロセッサは、メモリ（例えば、システムメモリ３０）に記憶されたプレビュー画像の領域（例えば、図３の領域５０）にフォーカスするためのユーザ選択を受信し得る（７０）。一例として、ユーザは、ディスプレイ２８をタッチまたはタップしてもよく、タッチによって包含されるエリアは、カメラ１２がフォーカスするべき領域に対応し得る。しかしながら、座標に基づいて領域の情報を入力すること、メニューから選択することなどによる他の技法も可能である。一般に、ユーザ選択を受信する１つまたは複数のプロセッサは、ユーザが選択した領域を示す、ディスプレイ２８または何らかの他のユニットによって生成された信号を受信する１つまたは複数のプロセッサを指し得る。
【0077】
１つまたは複数のプロセッサは、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る（７２）。一例として、１つまたは複数のプロセッサは、システムメモリ３０からの深度マップ４０にアクセスし、深度マップ４０に基づいて領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る。例えば、上記で説明したように、深度マップ４０は、プレビュー画像内のサンプルの相対深度を示し得る。深度マップ４０が、領域内の画像コンテンツ中に異なる深度を有するサンプルがあることを示す場合、１つまたは複数のプロセッサは、異なる深度に画像コンテンツが存在すると判定し得る。深度マップ４０が、領域内の画像コンテンツ中に異なる深度を有するサンプルがないことを示す場合、１つまたは複数のプロセッサは、異なる深度に画像コンテンツが存在しない（例えば、単一の深度に画像コンテンツが存在する）と判定し得る。
【0078】
領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、１つまたは複数のプロセッサは、領域内の画像コンテンツの代替バージョンを出力し得る（７４）。一例として、領域内の異なる深度に画像コンテンツが存在するという条件が満たされたことに応じて、１つまたは複数のプロセッサは、領域内の画像コンテンツの代替バージョンを出力し得る。場合によっては、１つまたは複数のプロセッサは、領域内の異なる深度に画像コンテンツが存在するときのみ、領域内の画像コンテンツの代替バージョンを出力し得る。
【0079】
一例として、領域内の画像コンテンツの代替バージョンを出力するために、１つまたは複数のプロセッサは、領域内の画像コンテンツのズームインされたバージョンを出力し得る。別の実施例として、領域内の画像コンテンツの代替バージョンを出力するために、１つまたは複数のプロセッサは、フォーカスが合っていない領域の部分をぼかし得る。
【0080】
１つまたは複数のプロセッサは、代替バージョン内の後続のユーザ選択を受信し得る（７６）。上記と同様に、後続のユーザ選択を受信する１つまたは複数のプロセッサは、後続のユーザ選択を示すディスプレイ２８または何らかの他のユニットによって生成された信号を参照し得る。１つまたは複数のプロセッサは、後続のユーザ選択に基づいてカメラ１２のフォーカスレベルを制御し得る（７８）。例えば、１つまたは複数のプロセッサは、カメラ１２のフォーカス深度を設定し得る。カメラデバイス１０は、カメラ１２のフォーカスレベルで画像をキャプチャするように構成され得る。
【0081】
一例として、後続のユーザ選択を受信するために、１つまたは複数のプロセッサは、領域内のサブ領域を選択する領域内の画像コンテンツの代替バージョン内の後続のユーザ選択を受信し得る。そのような実施例では、フォーカスレベルを制御するために、１つまたは複数のプロセッサは、サブ領域の後続のユーザ選択に基づいてフォーカスレベルを制御し得る。例えば、領域内のサブ領域を選択する、領域内の画像コンテンツの代替バージョン内の後続のユーザ選択は、領域内のサブ領域を選択するタッチユーザ選択であってもよい。
【0082】
別の実施例として、後続のユーザ選択を受信するために、１つまたは複数のプロセッサは、画像コンテンツの代替バージョン内の後続のユーザ選択を受信して、フォーカスレベルを手動で制御し得る。そのような実施例では、フォーカスレベルを制御するために、１つまたは複数のプロセッサは、ユーザによるフォーカスレベルの手動制御に基づいてフォーカスレベルを制御し得る。例えば、フォーカスレベルを手動で制御するための画像コンテンツの代替バージョン内の後続のユーザ選択は、フォーカス深度を手動で調整するためのユーザ選択であってもよい。いくつかの実施例では、１つまたは複数のプロセッサは、後続のユーザ選択中に焦点により近い画像コンテンツおよび焦点からより遠い画像コンテンツの量を示すヒストグラム（例えば、ヒストグラム５６）を出力するように構成され得る。
【0083】
図９は、動作の１つまたは複数の例示的な技法を示すフローチャートである。図９は、単一の深度に画像コンテンツが存在する（例えば、異なる深度に画像コンテンツが存在しない）例を示す。例えば、図８では、ユーザ選択が第１のユーザ選択であり、領域が第１の領域であり、フォーカスレベルが第１のフォーカスレベルであり、プレビュー画像が第１のプレビュー画像であると仮定する。
【0084】
いくつかの実施例では、１つまたは複数のプロセッサは、第２のプレビュー画像の第２の領域にフォーカスするための第２のユーザ選択を受信し得る（８０）。この実施例では、１つまたは複数のプロセッサは、第２の領域で異なる深度に画像コンテンツが存在するかどうかを判定し得る（８２）。例えば、１つまたは複数のプロセッサは、第２の領域で異なる深度に画像コンテンツが存在するかどうかを判定するために、図８において説明した技法と同様の技法を実行し得る。
【0085】
第２の領域で異なる深度に画像コンテンツが存在しないという判定に基づいて、１つまたは複数のプロセッサは、第２のユーザ選択に基づいてカメラ１２の第２のフォーカスレベルを制御し得る（８４）。例えば、異なる深度に画像コンテンツが存在しないので、カメラ１２のフォーカスをどこに合わせるかについて混乱がない場合がある。したがって、画像コンテンツの代替バージョンを表示するのではなく、１つまたは複数のプロセッサは、ユーザ選択に基づいてカメラ１２のフォーカスレベルを制御することが可能であり得る（例えば、後続のユーザ選択が必要とされない）。
【0086】
図１０は、動作の１つまたは複数の例示的な技法を示すフローチャートである。図１０の実施例では、ディスプレイ２８は、領域でユーザタッチを受信し得る（９０）。ディスプレイ２８は、領域によって包含されるエリアを識別する信号を１つまたは複数のプロセッサに送信し得る。
【0087】
１つまたは複数のプロセッサは、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し得る（９２）。１つまたは複数のプロセッサが、異なる深度に画像コンテンツが存在しないと判定した場合（９２の「いいえ」）、１つまたは複数のプロセッサは、ユーザがタッチした領域に基づいてカメラ１２のフォーカスレベルを制御し得る（９４）。
【0088】
１つまたは複数のプロセッサが、異なる深度に画像コンテンツが存在すると判定した場合（９２の「はい」）、１つまたは複数のプロセッサは、領域内の画像コンテンツの代替バージョンを出力し得る（９６）。代替バージョンの実施例は、ズームインされたバージョンおよびぼかしバージョンを含むが、他の実施例も可能である。
【0089】
１つまたは複数のプロセッサは、ユーザがディスプレイ２８を押下しているのか、ホールドしているのか、またはディスプレイ２８上でホバリングしているのかを判定し得る（９８）。例えば、ディスプレイ２８は、１つまたは複数のプロセッサが受信する信号であって、ユーザがディスプレイ２８を押下しているのか、ホールドしているのか、またはその上でホバリングしているのかを示す信号を生成し得る。
【0090】
１つまたは複数のプロセッサが、ユーザがディスプレイ２８を押下している、ホールドしている、またはディスプレイ２８上でホバリングしていると判定した場合（９８の「はい」）、１つまたは複数のプロセッサは、タッチフォーカスアシストモードに基づいてカメラ１２のフォーカスレベルを制御し得る。タッチフォーカスアシストモードの一例が、図５に関して上で説明されている。
【0091】
１つまたは複数のプロセッサが、ユーザがディスプレイ２８を押下していない、ホールドしていない、またはディスプレイ２８上でホバリングしていないと判定した場合（９８の「いいえ」）、１つまたは複数のプロセッサは、ユーザがディスプレイ２８上で左または右にスワイプしているかどうかを判定し得る（１０２）。１つまたは複数のプロセッサが、ユーザがディスプレイ２８上で左または右にスワイプしていると判定した場合（１０２の「はい」）、１つまたは複数のプロセッサは、手動フォーカスアシストモードに基づいてカメラ１２のフォーカスレベルを制御し得る（１０４）。手動フォーカスアシストモードの実施例としては、図６、図７Ａおよび図７Ｂに示す例が挙げられる。
【0092】
１つまたは複数のプロセッサが、ユーザがディスプレイ２８上で左または右にスワイプしていないと判定した場合、１つまたは複数のプロセッサは、フォーカスレベルの制御を終了し得る（１０６）。例えば、ユーザがフォーカスレベルをどのように制御するかの入力を提供しない場合、フォーカスを制御する動作はタイムアウトし得る。
【0093】
図１０の実施例では、例示的な動作は、必ずしも示された順序で実行される必要はない。例えば、いくつかの実施例では、１つまたは複数のプロセッサは、最初に、フォーカスレベルを手動で制御するためのユーザ選択（例えば、スワイプ、スライダの移動、ダイヤルのホールドおよびドラッグなど）がディスプレイ２８上にあるかどうかを判定し（１０２）、ユーザ選択があるかどうかに基づいてフォーカスレベルを制御し得る。そのような実施例では、フォーカスレベルを手動で制御するためのユーザ選択がディスプレイ２８上にない場合、１つまたは複数のプロセッサは、フォーカスレベルを制御するためのサブ領域の選択のために、ディスプレイ２８上での押下、ホールド、またはホバリングがあるかどうかを判定し得る（９８）。いくつかの実施例では、ユーザは、ダイヤル、スライダなどの物理コントローラを操作するか、または手動ユーザ選択のためのボタンもしくは「クラウン」を回転させて、フォーカスを手動で制御し得る。
【0094】
以下では、本開示による１つまたは複数の例示的な技法について説明する。
【0095】
実施例１．画像キャプチャのためのデバイスであって、プレビュー画像を記憶するように構成されるメモリと、メモリに結合される１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサが、メモリに記憶されたプレビュー画像の領域にフォーカスするためのユーザ選択を受信し、領域内の異なる深度に画像コンテンツが存在するかどうかを判定し、領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力し、代替バージョン内の後続のユーザ選択を受信し、後続のユーザ選択に基づいてカメラのフォーカスレベルを制御するように構成される、デバイス。
【0096】
実施例２．領域内の画像コンテンツの代替バージョンを出力することが、領域内の画像コンテンツのズームインされたバージョンを出力することを含む、実施例１に記載のデバイス。
【0097】
実施例３．カメラのフォーカスレベルを制御することが、カメラのレンズのレンズ位置を制御することを含む、実施例１および２のいずれかに記載のデバイス。
【0098】
実施例４．後続のユーザ選択を受信することが、領域内のサブ領域を選択する、領域内の画像コンテンツの代替バージョン内の後続のユーザ選択を受信することを含み、フォーカスレベルを制御することが、サブ領域の後続のユーザ選択に基づいてフォーカスレベルを制御することを含む、実施例１－４のいずれかに記載のデバイス。
【0099】
実施例５．領域内のサブ領域を選択する、領域内の画像コンテンツの代替バージョン内の後続のユーザ選択が、領域内のサブ領域を選択するタッチユーザ選択を含む、実施例４に記載のデバイス。
【0100】
実施例６．後続のユーザ選択を受信することが、フォーカスレベルを手動で制御するために画像コンテンツの代替バージョン内の後続のユーザ選択を受信することを含み、フォーカスを制御することが、ユーザによるフォーカスレベルの手動制御に基づいてフォーカスを制御することを含む、実施例１－５のいずれかに記載のデバイス。
【0101】
実施例７．１つまたは複数のプロセッサが、後続のユーザ選択中に、焦点により近い画像コンテンツの量と、焦点からより遠い画像コンテンツの別の量とを示すヒストグラムを出力するように構成される、実施例６に記載のデバイス。
【0102】
実施例８．フォーカスレベルを手動で制御するための画像コンテンツの代替バージョン内の後続のユーザ選択が、フォーカス深度を手動で調整するためのスワイプ、スライド、またはドラッグアンドホールドのユーザ選択を含む、実施例６および７に記載のデバイス。
【0103】
実施例９．ユーザ選択が第１のユーザ選択であり、領域が第１の領域であり、フォーカスレベルが第１のフォーカスレベルであり、プレビュー画像が第１のプレビュー画像であり、１つまたは複数のプロセッサが、第２のプレビュー画像の第２の領域にフォーカスするための第２のユーザ選択を受信し、第２の領域で異なる深度に画像コンテンツが存在するかどうかを判定し、第２の領域で異なる深度に画像コンテンツが存在しないという判定に基づいて、第２のユーザ選択に基づいてカメラの第２のフォーカスレベルを制御するように構成される、実施例１－８に記載のデバイス。
【0104】
実施例１０．領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力することが、領域内の異なる深度に画像コンテンツが存在するという条件が満たされたことに応じて、領域内の画像コンテンツの代替バージョンを出力することを含む、実施例１－９のいずれかに記載のデバイス。
【0105】
実施例１１．領域内の画像コンテンツの代替バージョンを出力することが、フォーカスが合っていない領域の部分をぼかすことを含む、実施例１－１０のいずれかに記載のデバイス。
【0106】
実施例１２．デバイスが、カメラのフォーカスレベルで画像をキャプチャするように構成される、実施例１－１１のいずれかに記載のデバイス。
【0107】
実施例１３．領域内の異なる深度に画像コンテンツが存在するかどうかを判定することが、位相検出オートフォーカス（ＰＤＡＦ）ベースの深度マップ、デフォーカスマップ、飛行時間（ＴｏＦ）、ステレオ深度、または構造化光のうちの１つまたは複数に基づいて、異なる深度に画像コンテンツが存在するかどうかを判定することを含む、実施例１－１２のいずれかに記載のデバイス。
【0108】
実施例１４．画像キャプチャのための方法であって、メモリに記憶されたプレビュー画像の領域にフォーカスするためのユーザ選択を受信することと、領域内の異なる深度に画像コンテンツが存在すると判定することと、領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力することと、代替バージョン内の後続のユーザ選択を受信することと、後続のユーザ選択に基づいてカメラのフォーカスレベルを制御することとを含む、方法。
【0109】
実施例１５．画像コンテンツの代替バージョンを出力することが、画像コンテンツのズームインされたバージョンを出力することを含む、実施例１４に記載の方法。
【0110】
実施例１６．カメラのフォーカスレベルを制御することが、カメラのレンズのレンズ位置を制御することを含む、実施例１４および１５のいずれかに記載の方法。
【0111】
実施例１７．後続のユーザ選択を受信することが、領域内のサブ領域を選択する、領域内の画像コンテンツの代替バージョン内の後続のユーザ選択を受信することを含み、フォーカスレベルを制御することが、サブ領域の後続のユーザ選択に基づいてフォーカスレベルを制御することを含む、実施例１４－１６のいずれかに記載の方法。
【0112】
実施例１８．領域内のサブ領域を選択する、領域内の画像コンテンツの代替バージョン内の後続のユーザ選択が、領域内のサブ領域を選択するタッチユーザ選択を含む、実施例１７に記載の方法。
【0113】
実施例１９．後続のユーザ選択を受信することが、フォーカスレベルを手動で制御するために画像コンテンツの代替バージョン内の後続のユーザ選択を受信することを含み、フォーカスを制御することが、ユーザによるフォーカスレベルの手動制御に基づいてフォーカスを制御することを含む、実施例１４－１８のいずれかに記載の方法。
【0114】
実施例２０．後続のユーザ選択中に、焦点により近い画像コンテンツの量と焦点からより遠い画像コンテンツの別の量とを示すヒストグラムを出力することをさらに含む、実施例１９に記載の方法。
【0115】
実施例２１．フォーカスレベルを手動で制御するための画像コンテンツの代替バージョン内の後続のユーザ選択が、フォーカス深度を手動で調整するためのスワイプ、スライド、またはドラッグアンドホールドのユーザ選択を含む、実施例１９および２０のいずれかに記載の方法。
【0116】
実施例２２．方法であって、ユーザ選択が第１のユーザ選択であり、領域が第１の領域であり、フォーカスレベルが第１のフォーカスレベルであり、プレビュー画像が第１のプレビュー画像であり、方法が、第２のプレビュー画像の第２の領域にフォーカスする第２のユーザ選択を受信することと、第２の領域で異なる深度に画像コンテンツが存在すると判定することと、第２の領域で異なる深度に画像コンテンツが存在しないという判定に基づいて、第２のユーザ選択に基づいてカメラの第２のフォーカスレベルを制御することとをさらに含む、実施例１４－２１のいずれかに記載の方法。
【0117】
実施例２３．領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力することが、領域内の異なる深度に画像コンテンツが存在するという条件が満たされたことに応じて、領域内の画像コンテンツの代替バージョンを出力することを含む、実施例１４－２２のいずれかに記載の方法。
【0118】
実施例２４．領域内の画像コンテンツの代替バージョンを出力することが、フォーカスが合っていない領域の部分をぼかすことを含む、実施例１４－２３のいずれかに記載の方法。
【0119】
実施例２５．カメラのフォーカスレベルで画像をキャプチャすることをさらに含む、実施例１４－２４のいずれかに記載の方法。
【0120】
実施例２６．領域内の異なる深度に画像コンテンツが存在すると判定することが、位相検出オートフォーカス（ＰＤＡＦ）ベースの深度マップ、デフォーカスマップ、飛行時間（ＴｏＦ）、ステレオ深度、または構造化光のうちの１つまたは複数に基づいて、異なる深度に画像コンテンツが存在するかどうかを判定することを含む、実施例１４－２５のいずれかに記載の方法。
【0121】
実施例２７．命令を記憶するコンピュータ可読記憶媒体であって、命令が、実行されると、１つまたは複数のプロセッサに、メモリに記憶されたプレビュー画像の領域にフォーカスするためのユーザ選択を受信させ、領域内の異なる深度に画像コンテンツが存在すると判定させ、領域内の異なる深度に画像コンテンツが存在するという判定に基づいて、領域内の画像コンテンツの代替バージョンを出力させ、代替バージョン内の後続のユーザ選択を受信させ、後続のユーザ選択に基づいてカメラのフォーカスレベルを制御させる、コンピュータ可読記憶媒体。
【0122】
実施例２８．１つまたは複数のプロセッサにカメラのフォーカスレベルを制御させる命令が、１つまたは複数のプロセッサにカメラのレンズのレンズ位置を制御させる命令を備える、実施例２７のコンピュータ可読記憶媒体。
【0123】
１つまたは複数の実施例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるかまたはコンピュータ可読媒体を介して送信されてもよく、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含んでもよい。このようにして、コンピュータ可読媒体は一般に、非一時的である有形コンピュータ可読記憶媒体に対応することがある。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード、および／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であってもよい。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0124】
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用でき、コンピュータによってアクセスすることができる任意の他の媒体を備えてもよい。コンピュータ可読記憶媒体およびデータ記憶媒体は、搬送波、信号、または他の一時的媒体を含まないが、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピーディスク（disk）、およびブルーレイディスク（disc）を含み、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、レーザを用いてデータを光学的に再生する。上記のものの組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【0125】
命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰｓ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡｓ）、または他の等価な集積論理回路もしくはディスクリート論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明する技法の実装に好適な任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成される専用のハードウェアモジュールおよび／もしくはソフトウェアモジュール内で提供されてもよく、または複合コーデックの中に組み込まれてもよい。また、技法は、１つまたは複数の回路または論理要素において完全に実装されてもよい。
【0126】
本開示の技法は、無線ハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む、多種多様なデバイスまたは装置において実装されてもよい。開示された技法を実行するように構成されるデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて本開示で説明したが、それらは必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わせられてもよく、または好適なソフトウェアおよび／もしくはファームウェアと連携して、上記で説明したような１つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてもよい。
【0127】
様々な例が説明されてきた。これらおよび他の例が以下の特許請求の範囲内に入る。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2024-04-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像キャプチャのためのデバイスであって、第１のプレビュー画像及び第２のプレビュー画像を記憶するように構成されるメモリと、
前記メモリに結合される１つまたは複数のプロセッサであって、
前記メモリに記憶された前記第１のプレビュー画像の第１の領域にフォーカスするための第１のユーザ選択を受信し、
前記第１の領域内の異なる深度に画像コンテンツが存在するかどうかを判定し、
前記第１の領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記第１の領域内の前記画像コンテンツの代替バージョンを出力し、
前記第１の領域内の前記画像コンテンツの前記代替バージョン内の後続のユーザ選択を受信し、
前記後続のユーザ選択に基づいてカメラの第１のフォーカスレベルを制御し、
前記第２のプレビュー画像の第２の領域にフォーカスするための第２のユーザ選択を受信し、
前記第２の領域で異なる深度に画像コンテンツが存在するかどうかを判定し、
前記第２の領域で異なる深度に画像コンテンツが存在しないという前記判定に基づいて、前記第２のユーザ選択に基づいて前記カメラのための第２のフォーカスレベルを制御する
ように構成される、デバイス。
【請求項2】
前記第１の領域内の前記画像コンテンツの前記代替バージョンを出力することが、前記第１の領域内の前記画像コンテンツのズームインされたバージョンを出力することを含む、請求項１に記載のデバイス。
【請求項3】
前記カメラの前記第１のフォーカスレベルを制御することが、前記カメラのフォーカス深度を制御することを含む、請求項１に記載のデバイス。
【請求項4】
前記後続のユーザ選択を受信することが、前記第１の領域内のサブ領域を選択する、前記第１の領域内の前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択を受信することを含み、前記第１のフォーカスレベルを制御することが、前記サブ領域の前記後続のユーザ選択に基づいて前記第１のフォーカスレベルを制御することを含む、
請求項１に記載のデバイス。
【請求項5】
前記第１の領域内の前記サブ領域を選択する、前記第１の領域内の前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択が、前記第１の領域内の前記サブ領域を選択するタッチユーザ選択を含む、請求項４に記載のデバイス。
【請求項6】
前記後続のユーザ選択を受信することが、前記第１のフォーカスレベルを手動で制御するために、前記第１の領域内の前記画像コンテンツの前記代替バージョン内で前記後続のユーザ選択を受信することを含み、前記第１のフォーカスレベルを制御することが、ユーザによる前記第１のフォーカスレベルの手動制御に基づいて前記第１のフォーカスレベルを制御することを含む、
請求項１に記載のデバイス。
【請求項7】
前記１つまたは複数のプロセッサが、前記後続のユーザ選択中に、焦点により近い前記画像コンテンツの量と、焦点からより遠い前記画像コンテンツの別の量とを示すヒストグラムを出力するように構成される、請求項６に記載のデバイス。
【請求項8】
前記第１のフォーカスレベルを手動で制御するための前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択が、フォーカス深度を手動で調整するためのスワイプ、スライド、またはドラッグアンドホールドのユーザ選択を含む、請求項６に記載のデバイス。
【請求項9】
前記第１の領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記第１の領域内の前記画像コンテンツの前記代替バージョンを出力することが、前記第１の領域内の異なる深度に画像コンテンツが存在するという条件が満たされることに応じて、前記第１の領域内の前記画像コンテンツの前記代替バージョンを出力することを含む、請求項１に記載のデバイス。
【請求項10】
前記第１の領域内の前記画像コンテンツの前記代替バージョンを出力することが、フォーカスが合っていない前記第１の領域の部分をぼかすことを含む、請求項１に記載のデバイス。
【請求項11】
前記デバイスが、前記カメラの前記第１のフォーカスレベルで画像をキャプチャするように構成される、請求項１に記載のデバイス。
【請求項12】
前記第１の領域内の異なる深度に画像コンテンツが存在するかどうかを判定することが、位相検出オートフォーカス（ＰＤＡＦ）ベースの深度マップ、デフォーカスマップ、または飛行時間（ＴｏＦ）のうちの１つまたは複数に基づいて、異なる深度に画像コンテンツが存在するかどうかを判定することを含む、請求項１に記載のデバイス。
【請求項13】
画像キャプチャのための方法であって、メモリに記憶された第１のプレビュー画像の第１の領域にフォーカスするための第１のユーザ選択を受信するステップと、
前記第１の領域内の異なる深度に画像コンテンツが存在すると判定するステップと、
前記第１の領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記第１の領域内の前記画像コンテンツの代替バージョンを出力するステップと、
前記第１の領域内の前記画像コンテンツの前記代替バージョン内の後続のユーザ選択を受信するステップと、
前記後続のユーザ選択に基づいてカメラの第１のフォーカスレベルを制御するステップと、
前記メモリに記憶された第２のプレビュー画像の第２の領域にフォーカスするための第２のユーザ選択を受信するステップと、
前記第２の領域で異なる深度に画像コンテンツが存在しないと判定するステップと、
前記第２の領域で異なる深度に画像コンテンツが存在しないという前記判定に基づいて、前記第２のユーザ選択に基づいて前記カメラのための第２のフォーカスレベルを制御するステップと
を含む、方法。
【請求項14】
前記第１の領域内の前記画像コンテンツの前記代替バージョンを出力するステップが、前記第１の領域内の前記画像コンテンツのズームインされたバージョンを出力するステップを含む、請求項１３に記載の方法。
【請求項15】
前記カメラの前記第１のフォーカスレベルを制御するステップが、前記カメラのフォーカス深度を制御するステップを含む、請求項１３に記載の方法。
【請求項16】
前記後続のユーザ選択を受信するステップが、前記第１の領域内のサブ領域を選択する、前記第１の領域内の前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択を受信するステップを含み、前記第１のフォーカスレベルを制御するステップが、前記サブ領域の前記後続のユーザ選択に基づいて前記第１のフォーカスレベルを制御するステップを含む、
請求項１３に記載の方法。
【請求項17】
前記第１の領域内の前記サブ領域を選択する、前記第１の領域内の前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択が、前記第１の領域内の前記サブ領域を選択するタッチユーザ選択を含む、請求項１６に記載の方法。
【請求項18】
前記後続のユーザ選択を受信するステップが、前記第１のフォーカスレベルを手動で制御するために、前記第１の領域内の前記画像コンテンツの前記代替バージョン内で前記後続のユーザ選択を受信するステップを含み、前記第１のフォーカスレベルを制御するステップが、ユーザによる前記第１のフォーカスレベルの手動制御に基づいて前記第１のフォーカスレベルを制御するステップを含む、
請求項１３に記載の方法。
【請求項19】
前記後続のユーザ選択中に、焦点により近い前記画像コンテンツの量と、焦点からより遠い前記画像コンテンツの別の量とを示すヒストグラムを出力するステップをさらに含む、請求項１８に記載の方法。
【請求項20】
前記第１のフォーカスレベルを手動で制御するための前記画像コンテンツの前記代替バージョン内の前記後続のユーザ選択が、フォーカス深度を手動で調整するためのスワイプ、スライド、またはドラッグアンドホールドのユーザ選択を含む、請求項１８に記載の方法。
【請求項21】
前記第１の領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記第１の領域内の前記画像コンテンツの前記代替バージョンを出力するステップが、前記第１の領域内の異なる深度に画像コンテンツが存在するという条件が満たされることに応じて、前記第１の領域内の前記画像コンテンツの前記代替バージョンを出力することを含む、請求項１３に記載の方法。
【請求項22】
前記第１の領域内の前記画像コンテンツの前記代替バージョンを出力するステップが、フォーカスが合っていない前記第１の領域の部分をぼかすステップを含む、請求項１３に記載の方法。
【請求項23】
前記カメラの前記第１のフォーカスレベルで画像をキャプチャするステップをさらに含む、請求項１３に記載の方法。
【請求項24】
前記第１の領域内の異なる深度に画像コンテンツが存在すると判定するステップが、位相検出オートフォーカス（ＰＤＡＦ）ベースの深度マップ、デフォーカスマップ、または飛行時間（ＴｏＦ）のうちの１つまたは複数に基づいて、異なる深度に画像コンテンツが存在するかどうかを判定するステップを含む、請求項１３に記載の方法。
【請求項25】
命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、１つまたは複数のプロセッサに、メモリに記憶された第１のプレビュー画像の第１の領域にフォーカスするための第１のユーザ選択を受信することと、
前記第１の領域内の異なる深度に画像コンテンツが存在すると判定することと、
前記第１の領域内の異なる深度に画像コンテンツが存在するという前記判定に基づいて、前記第１の領域内の前記画像コンテンツの代替バージョンを出力することと、
前記第１の領域内の前記画像コンテンツの前記代替バージョン内の後続のユーザ選択を受信することと、
前記後続のユーザ選択に基づいてカメラの第１のフォーカスレベルを制御することと、
前記メモリに記憶された第２のプレビュー画像の第２の領域にフォーカスするための第２のユーザ選択を受信することと、
前記第２の領域で異なる深度に画像コンテンツが存在しないと判定することと、
前記第２の領域で異なる深度に画像コンテンツが存在しないという前記判定に基づいて、前記第２のユーザ選択に基づいて前記カメラのための第２のフォーカスレベルを制御することと
を行わせる、非一時的コンピュータ可読記憶媒体。
【請求項26】
前記１つまたは複数のプロセッサに前記カメラの前記第１のフォーカスレベルを制御させる前記命令が、前記１つまたは複数のプロセッサに前記カメラのフォーカス深度を制御させる命令を備える、請求項２５に記載のコンピュータ可読記憶媒体。
【国際調査報告】