特許 7518005 スマート画像キャプチャのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】スマート画像キャプチャのためのシステム及び方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240709BHJP

   G03B 7/00 20210101ALI20240709BHJP

【ＦＩ】

H04N23/60 100

H04N23/60 300

G03B7/00

【請求項の数】 20

(21)【出願番号】P 2021004797

(22)【出願日】2021-01-15

(65)【公開番号】P2021125876

(43)【公開日】2021-08-30

【審査請求日】2024-01-12

(31)【優先権主張番号】16/783,950

(32)【優先日】2020-02-06

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】504407000

【氏名又は名称】パロ アルト リサーチ センター，エルエルシー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100158551

【弁理士】

【氏名又は名称】山崎 貴明

(72)【発明者】

【氏名】マシュー・エー．・シュリーブ

(72)【発明者】

【氏名】ラジャ・バラ

(72)【発明者】

【氏名】ジャヤスリ・サブラマニアン

【審査官】村山 絢子

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１４７６２０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１８８４７６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

Ｇ０３Ｂ ７／００

Ｇ０３Ｂ １５／００－１５／１６

(57)【特許請求の範囲】

【請求項1】

画像キャプチャ推奨を提供するための、コンピュータにより実行される方法であって、前記方法が、
モバイルコンピューティングデバイスに関連する後向きカメラが、物理空間の１つ以上の画像をキャプチャすることと、
前記モバイルコンピューティングデバイスに関連する前向きカメラが、標的の１つ以上の画像をキャプチャすることと、
前記物理空間の前記キャプチャした画像と前記標的のキャプチャした画像とを分析して、前記物理空間内の前記標的の画像をキャプチャするための画像キャプチャ条件を決定することと、
前記画像キャプチャ条件と、所定の画質要件と、に基づいて、１つ以上の画像キャプチャ設定を決定することと、
前記決定された１つ以上の画像キャプチャ設定をユーザに推奨することと、を含む、
方法。

【請求項2】

前記後向きカメラ及び前向きカメラが、前記物理空間及び前記標的の画像を同時にキャプチャするように構成されている、請求項１に記載の方法。

【請求項3】

それぞれの画像に関連付けられたメタデータを受信することを更に含み、前記画像キャプチャ条件を決定することが、前記メタデータを分析することを含む、請求項１に記載の方法。

【請求項4】

それぞれの画像キャプチャ設定が、
位置と、
時間と、
カメラの向きと、のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項5】

前記物理空間に関連付けられたマップを生成することと、
前記マップ上に位置指標を表示して、前記標的の前記画像をキャプチャするための前記物理空間内の推奨位置を示すことと、を更に含む、請求項１に記載の方法。

【請求項6】

それぞれの画像を分析することが、
前記それぞれの画像内の１つ以上の物体を識別することと、
前記それぞれの画像内の識別された物体に関連付けられた照明統計を計算することと、を含む、請求項１に記載の方法。

【請求項7】

前記照明統計が、前記それぞれの画像内の前記識別された物体に関連付けられた画像ヒストグラムを含む、請求項６に記載の方法。

【請求項8】

前記ユーザの日常活動に関連付けられたコンテキストデータを収集することと、
前記収集されたコンテキストデータに基づいて、画像キャプチャ設定を決定することと、を更に含む、請求項１に記載の方法。

【請求項9】

画像キャプチャ推奨を提供するためのコンピュータシステムであって、前記コンピュータシステムが、
プロセッサと、
前記プロセッサに結合されており、前記プロセッサによって実行されると前記プロセッサに方法を実行させる命令を記憶する記憶デバイスと、を含み、前記方法が、
モバイルコンピューティングデバイスに関連する後向きカメラが、物理空間の１つ以上の画像をキャプチャすることと、
前記モバイルコンピューティングデバイスに関連する前向きカメラが、標的の１つ以上の画像をキャプチャすることと、
前記物理空間のキャプチャした画像と前記標的のキャプチャした画像とを分析して、物理空間内の前記標的の画像をキャプチャするための画像キャプチャ条件を決定することと、
前記画像キャプチャ条件と所定の画質要件とに基づいて、１つ以上の画像キャプチャ設定を決定することと、
前記決定された１つ以上の画像キャプチャ設定をユーザに推奨することと、を含む、システム。

【請求項10】

前記後向きカメラ及び前向きカメラが、前記物理空間及び前記標的の画像を同時にキャプチャするように構成されている、請求項９に記載のコンピュータシステム。

【請求項11】

前記方法が、それぞれの画像に関連付けられたメタデータを受信することを更に含み、前記画像キャプチャ条件を決定することが、前記メタデータを分析することを含む、請求項９に記載のコンピュータシステム。

【請求項12】

それぞれの画像キャプチャ設定が、
位置と、
時間と、
カメラの向きと、のうちの少なくとも１つを含む、請求項９に記載のコンピュータシステム。

【請求項13】

前記方法が、
前記物理空間に関連付けられたマップを生成することと、
前記マップ上に位置指標を表示して、前記標的の前記画像をキャプチャするための前記物理空間内の推奨位置を示すことと、を更に含む、請求項９に記載のコンピュータシステム。

【請求項14】

それぞれの画像を分析することが、
前記それぞれの画像内の１つ以上の物体を識別することと、
前記それぞれの画像内の識別された物体に関連付けられた照明統計を計算することと、を含む、請求項９に記載のコンピュータシステム。

【請求項15】

前記照明統計が、前記それぞれの画像内の前記識別された物体に関連付けられた画像ヒストグラムを含む、請求項１４に記載のコンピュータシステム。

【請求項16】

前記方法が、
前記ユーザの日常活動に関連付けられたコンテキストデータを収集することと、
前記収集されたコンテキストデータに基づいて、画像キャプチャ設定を決定することと、を更に含む、請求項９に記載のコンピュータシステム。

【請求項17】

コンピュータによって実行されると、前記コンピュータに、画像キャプチャ推奨を提供するための方法を実行させる命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記方法が、
モバイルコンピューティングデバイスに関連する後向きカメラが、物理空間の１つ以上の画像をキャプチャすることと、
前記モバイルコンピューティングデバイスに関連する前向きカメラが、標的の１つ以上の画像をキャプチャすることと、
前記物理空間の前記キャプチャした画像と前記標的の前記キャプチャした画像とを分析して、物理空間内の前記標的の画像をキャプチャするための画像キャプチャ条件を決定することと、
前記画像キャプチャ条件と所定の画質要件とに基づいて、１つ以上の画像キャプチャ設定を決定することと、
前記決定された１つ以上の画像キャプチャ設定をユーザに推奨することと、を含む、非一時的コンピュータ可読記憶媒体。

【請求項18】

前記方法が、
前記物理空間に関連付けられたマップを生成することと、
前記マップ上に位置指標を表示して、前記標的の前記画像をキャプチャするための前記物理空間内の推奨位置を示すことと、を更に含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

それぞれの画像を分析することが、
前記それぞれの画像内の１つ以上の物体を識別することと、
前記それぞれの画像内の識別された物体に関連付けられた照明統計を計算することであって、前記照明統計が前記それぞれの画像内の前記識別された物体に関連付けられた画像ヒストグラムを有する、前記計算することと、を含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記方法が、
前記ユーザの日常活動に関連付けられたコンテキストデータを収集することと、
前記収集されたコンテキストデータに基づいて、画像キャプチャ設定を決定することと、を更に含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、画像キャプチャに関する。より具体的には、本開示は、スマート画像キャプチャを円滑化するシステム及び方法に関する。

【背景技術】

【0002】

カメラ機能付きモバイルデバイスの普及により、多くの通常のユーザ又は消費者が、多くの活動にリモートで参加することが可能になった。例えば、皮膚疾患の患者は、昔は、診断を受けるために皮膚科医の診察室に歩いて入っていた。カメラ付きモバイルデバイス及びモバイルデバイス上で動作する特定のアプリケーションの助けを借りて、患者は今日、自分たちの皮膚上の関心領域の画像を転送することによって、皮膚科医とリモートで情報交換することができる。更に、自画像すなわち「セルフィ」の撮影及び共有は、人気のある社会活動となっている。

【0003】

しかしながら、モバイルデバイスの通常のユーザは、高品質画像を撮影するための知識及び／又は技術を欠いていることが多い。多くの自撮り画像、すなわちセルフィは、照明条件が悪い環境で撮影される。そのような質の悪い画像は、皮膚疾患の診断などの特定の特別な用途には好適ではない場合がある。更に、特定の科学研究は頼る、又はデータを収集するためのクラウドソーシング。例えば、スキンケア製品の開発者は、大勢の人から顔画像を収集し、分析して、肌年齢、健康状態、しわの出現などに関するデータを取得する。同様に、年齢予測アプリケーションは、多くの場合、顔画像に頼ってユーザの年齢を予測し、品質の悪い顔画像（例えば、強い影、低及び高コントラスト、弱い及び強い光を有する画像）は、年齢予測結果を歪ませる可能性がある。一貫した品質の画像を取得することはまた、時系列データを必要とする用途（例えば、スキンケア製品の長期効果の研究）にも重要である。

【発明の概要】

【0004】

一実施形態は、画像キャプチャ推奨を提供するためのシステムを含むことができる。動作中、システムは、モバイルコンピューティングデバイスから１つ以上の画像を受信する。１つ以上の画像は、モバイルコンピューティングデバイスに関連付けられた１つ以上のカメラによってキャプチャされる。システムは、受信した画像を分析して、物理空間内の標的の画像をキャプチャするための画像キャプチャ条件を取得し、取得された画像キャプチャ条件と所定の画質要件とに基づいて、１つ以上の画像キャプチャ設定を決定し、決定された１つ以上の画像キャプチャ設定をユーザに推奨する。

【0005】

この実施形態の一変形例では、１つ以上の画像は、物理空間の画像、標的の画像、又はその両方を含む。

【0006】

更なる変形例では、モバイルコンピューティングデバイスは、物理空間の画像と、標的の画像と、を同時にキャプチャするように構成された少なくとも２つのカメラを含むことができる。

【0007】

この実施形態の一変形例では、システムは、それぞれの画像に関連付けられたメタデータを受信し、画像キャプチャ条件を取得することは、メタデータを分析することを含むことができる。

【0008】

この実施形態の一変形例では、それぞれの画像キャプチャ設定は、位置と、時間と、カメラの形状と、のうちの少なくとも１つを含むことができる。

【0009】

この実施形態の一変形例では、システムは、物理空間に関連付けられたマップを生成し、マップ上に位置指標を表示して、標的の画像をキャプチャするための物理空間内の推奨位置を示す。

【0010】

この実施形態の一変形例では、それぞれの画像を分析することは、それぞれの画像内の１つ以上の物体を識別することと、それぞれの画像内の識別された物体に関連付けられた照明統計を計算することと、を含むことができる。

【0011】

更なる変形例では、照明統計は、それぞれの画像内の識別された物体に関連付けられた画像ヒストグラムを含むことができる。

【0012】

この実施形態の一変形例では、システムは、ユーザの日常活動に関連付けられたコンテキストデータを収集し、収集されたコンテキストデータに基づいて、画像キャプチャ設定を決定する。

【図面の簡単な説明】

【0013】

特許又は出願ファイルには、カラーで作成された少なくとも１つの図面が含まれている。本特許又は特許出願公開のカラー図面の写しは、その請求に応じて、必要な料金を支払うことにより、特許庁から提供されることとなる。

【0014】

【図1】一実施形態による、新規なスマート画像キャプチャシステムの例示的な使用シナリオを示す。

【0015】

【図2A】一実施形態による、マッピングモジュールによって生成された例示的なマップを示す。

【図2B】一実施形態による、マッピングモジュールによって生成された例示的なマップを示す。

【図2C】一実施形態による、マッピングモジュールによって生成された例示的なマップを示す。

【0016】

【図3】一実施形態による、例示的なスマート画像キャプチャシステムを示す。

【0017】

【図4A】一実施形態による、物理的環境の例示的な画像を示す。

【0018】

【図4B】一実施形態による、物理的環境の例示的な画像を示す。

【0019】

【図5】一実施形態による、例示的なスマート画像キャプチャシステムを示す。

【0020】

【図6】一実施形態による、例示的なスマート画像キャプチャシステムを示す。

【0021】

【図7A】一実施形態による、ディスプレイモジュール６０６によって表示される例示的な画像を示す。

【図7B】一実施形態による、ディスプレイモジュール６０６によって表示される例示的な画像を示す。

【0022】

【図8】一実施形態による、スマート画像キャプチャシステムの例示的な動作を示すフロー図を示す。

【0023】

【図9】一実施形態による、スマート画像キャプチャシステムを円滑化する例示的なコンピュータシステムを示す。

【0024】

図面中、同じ参照番号は、同じ図形要素を指す。

【発明を実施するための形態】

【0025】

以下の説明は、当業者が実施形態を製造及び使用することを可能にするために提示され、特定の用途及びその要件に関連して提供される。開示される実施形態に対する様々な修正は、当業者には容易に明らかとなり、本明細書に定義される一般原理は、本開示の趣旨及び範囲から逸脱することなく、他の実施形態及び用途に適用され得る。したがって、本発明は、示される実施形態に限定されるものではなく、本明細書に開示される原理及び特徴と一致する最も広い範囲を与えられるものである。
概要

【0026】

本明細書に記載される実施形態は、科学的又は医学的分析のための画像（例えば、セルフィ、他の身体部分の画像、他の種類の物体の画像）をキャプチャする際に、画像が実質的に最適な条件でキャプチャされ、それにより、キャプチャされた画像の品質を保証するように、カメラ付きモバイルコンピューティングデバイスの通常のユーザを誘導することができるスマート画像キャプチャシステムを提供する技術的問題を解決する。より具体的には、スマート画像キャプチャシステムは、ユーザが科学的又は医学的分析のための画像を名目上キャプチャするであろう環境（例えば、ユーザの住居）に関連付けられた様々な情報を収集し、そのような環境を分析して、画像をキャプチャするための最適な条件を提供し得る１つ以上の位置（例えば、別の位置よりも均一な照明条件を有する位置）を決定する。いくつかの実施形態では、スマート画像キャプチャシステムは、モバイルデバイスの前向きカメラ及び後向きカメラの両方を使用して、環境及び関心領域（例えば、ユーザの顔又は身体部分）の画像を同時にキャプチャすることができる。これらの画像（例えば、色ヒストグラム）を分析することによって、スマート画像キャプチャシステムは、後続の画像分析に最良に適した１つ以上の画像キャプチャ位置を識別し、ユーザに推奨することができる。一実施形態では、スマート画像キャプチャシステムは、環境を「感知」し、「理解」することができ、より良好な画像キャプチャ条件を取得するために、環境を積極的に調整する（例えば、ライトを点灯させる、又は窓を開ける）ようユーザに推奨することができる。更に、スマート画像キャプチャシステムはまた、ユーザに関連付けられた他のコンテキスト情報を収集することができ、収集されたコンテキスト情報に基づいて、画像をキャプチャするための位置と時間との両方をユーザに推奨することができる。
スマート画像キャプチャシステム

【0027】

多くの最新のアプリケーションは、モバイルコンピューティングデバイスの通常のユーザによって提出された画像に頼って、輸入情報を抽出する。例えば、患者の皮膚疾患をリモートで診断する皮膚科医が、患部の高品質画像を見ることを望む場合がある。同様に、スキンケア製品の長期効果を研究する研究者が、長期間にわたってサンプル母集団の一連の高品質顔画像を見ることを望む場合がある。しかしながら、モバイルコンピューティングデバイスの通常のユーザは、そのような分析に必要な高品質画像（例えばセルフィ）を撮影するための技術又は知識に欠けることが多い。

【0028】

前述のように、モバイルコンピューティングデバイスの通常のユーザによって撮影された画像は、多くの場合、画像から抽出された情報に頼る特定のアプリケーションの品質基準を満たすことができない。キャプチャされた画像の品質を制御するために、通常のユーザが画像をキャプチャするときに、通常のユーザにガイダンスを提供することができる画像キャプチャシステムを有することが望ましい。しかしながら、現在の画像キャプチャアプリケーションは、多くの場合、検出された顔の周りの境界ボックスなどの単純なユーザプロンプトを提供するだけである。このような限られたガイダンスは、良好な画質を保証することができない。一方、モバイルデバイス上のカメラによって提供される自動焦点調節機能は、焦点調節をアマチュアにとっても容易なものにしたが、これらのモバイルデバイスは、多くの場合照明の制御が限定され、主に環境内の照明に頼っている。より良好なガイダンスをユーザに提供するために、いくつかの実施形態では、スマート画像キャプチャシステムは、ユーザがいる環境又は物理空間を監視するように、かつユーザが画像（例えば、セルフィ）をキャプチャするための最適な照明を有する位置を見つけるために物理空間をナビゲートする際にユーザを誘導するように構成され得る。

【0029】

図１は、一実施形態による、新規なスマート画像キャプチャシステムの例示的な使用シナリオを示す。図１に示す例では、ユーザ１０２は、画像をキャプチャするために使用することができるモバイルコンピューティングデバイス１０４を備えている。ユーザ１０２は、物理空間１０６内に位置することができる。図１に示す例では、モバイルコンピューティングデバイス１０４は、ハンドヘルドコンピュータ（例えば、タブレットコンピュータ若しくはスマートフォン）又はウェアラブルデバイス（例えば、一対のスマートグラス）を含むことができる。モバイルコンピューティングデバイス１０４は、ネットワーク１１０を介してサーバ１０８と通信することができる。

【0030】

動作中、ユーザ１０２は、モバイルコンピューティングデバイス１０４を保持しながら、物理空間（例えば、家）１０６を動き回ることができる。ユーザ１０２はまた、モバイルコンピューティングデバイス１０４上のカメラを使用して、自身の周囲の画像又はビデオをキャプチャすることもできる。例えば、ユーザ１０２は、家１０６内の異なる部屋の画像をキャプチャすることができ、又は、ユーザ１０２は、家１０６内の単一の部屋（例えば、リビングルーム）内の異なる位置で画像をキャプチャすることができる。各画像は、日付、時刻、天気、位置などを含むが、これらに限定されないメタデータのセットと一致させることができる。更に、ユーザ１０２は、意図された標的（例えば、ユーザの顔若しくは身体の部分、又は校正用ターゲット）、ユーザを取り囲む環境の画像、又はその両方をキャプチャすることができる。

【0031】

いくつかの実施形態では、コンピューティングデバイス１０４は、そのような画像及びメタデータを、分析のためにネットワーク１１０を介してサーバ１０８に送信することができる。代替的に、コンピューティングデバイス１０４は、画像を局所的に分析することができる。キャプチャされた環境の画像に基づいて、シーン理解モジュール（モバイルコンピューティングデバイス１０４又はサーバ１０８上に常駐し得る）は、物体（例えば、窓、窓ブラインド、家具、シンク、鏡など）、セマンティクス（部屋、床、入口、階段、玄関など）、及び光源（例えば、ランプ、天井灯、自然光、屋外照明など）を識別することができる。更に、シーン理解モジュールはまた、照明品質（例えば、強度、コントラスト、均一性など）を測る統計を計算し、記録することもできる。そのような照明品質統計は、画像全体にわたって、画像の一部分にわたって、又は画像内の関心物体にわたって計算され得る。同様に、キャプチャされた標的の画像に基づいて、標的理解モジュール（モバイルコンピューティングデバイス１０４又はサーバ１０８上に常駐し得る）もまた、標的に関連付けられた照明品質統計を計算及び記録するができる。

【0032】

ユーザ１０２が物理空間１０６を歩き回るとき、モバイルコンピューティングデバイス１０４上の追加のセンサ（例えば、加速度計、コンパスなど）が追加のデータを収集することができ、この追加のデータは、キャプチャされた画像と組み合わされて、環境の１つ以上のマップの作成を円滑化することができる。例えば、自己位置推定とマッピングの同時実行（ＳＬＡＭ）技術を使用して、マッピングモジュールは、環境の完全な３Ｄ再構成を生成することができる。代替的に、マッピングモジュールは、部屋と各部屋内に見られる物体とをマッピングする２Ｄの間取図、２Ｄのユーザ移動軌跡、又は順次ソートされて、環境内で取り得る様々な経路を示す一連の画像を生成することができる。

【0033】

図２Ａ～図２Ｃは、一実施形態による、マッピングモジュールによって生成された例示的なマップを示す。より具体的には、図２Ａは、環境内の一連の画像を示す。図２Ｂは、２Ｄのユーザ移動軌跡を示し、図２Ｃは、収集された環境の画像を使用して再構成された２Ｄの間取図を示す。

【0034】

環境及び／又は標的の画像から収集された照明品質統計に基づいて、サーバ１０８又はモバイルデバイス１０４上に常駐し得る推奨エンジンは、物理空間１０６内の１つ以上の望ましい位置を決定し、ユーザ１０２が推奨位置で高品質画像を撮影することができるように、そのような位置をユーザ１０２に推奨することができる。推奨位置は、視覚機構、オーディオ機構、及びこれらの組み合わせを含む様々な通信機構を使用して、ユーザに通信され得る。いくつかの実施形態では、推奨画像キャプチャ位置は、物理空間のマップ上に視覚的指標を表示することによって、ユーザに通信され得る。図２Ａ～図２Ｃに示される例では、各推奨位置は、星印（例えば、星印２０２、２０４、及び２０６）を使用してマップ上に示される。

【0035】

図３は、一実施形態による、例示的なスマート画像キャプチャシステムを示す。スマート画像キャプチャシステム３００は、カメラモジュール３０２、ディスプレイモジュール３０４、シーン理解モジュール３０６、メタデータ収集モジュール３０８、マップ生成モジュール３１０、推奨エンジン３１２、及びユーザプロンプトモジュール３１４を含むことができる。

【0036】

カメラモジュール３０２は、ユーザがいる物理的環境の画像（例えば、静止画像又はビデオ）をキャプチャするために使用され得る。物理的環境は、屋内空間（例えば、部屋、家、オフィスビルなど）、屋外空間、又は他の種類の密閉空間（例えば、車両又はガレージの中）を含み得る。いくつかの実施形態では、カメラモジュール３０２は、相対的に低い可能性がある第１の解像度で環境の画像をキャプチャすることができる。特定の標的の画像をキャプチャするための理想的な位置に関して推奨がユーザに対してなされると、カメラモジュール３０２を使用して、特定の用途に応じて、ユーザの顔若しくは身体の一部、又は他の種類の物体であり得る標的の高解像度画像（又は第２の解像度の画像）をキャプチャすることもできる。第２の解像度は、第１の解像度よりもはるかに高い。

【0037】

ディスプレイモジュール３０４は、キャプチャされた画像を表示することができる。更に、ディスプレイモジュール３０４は、標的の高品質画像を撮影するプロセスを通じてユーザを誘導することができるユーザインターフェースを表示することができる。例えば、ディスプレイモジュール３０４は、視覚的命令を表示して、例えば、位置、タイミング、標的の配置、カメラの向きなど、様々な画像キャプチャ条件に関してユーザに指示することができる。いくつかの実施形態では、ディスプレイモジュール３０４は、物理的環境のマップを表示し、特定のアプリケーション（例えば、顔の皮膚の状態を分析するアプリケーション、又は遠隔治療アプリケーション）の標準を満たす画像をキャプチャするための１つ以上の最適な又は理想的な位置をユーザに通信するために、マップ上に視覚的指標又はマーキングを追加することができる。

【0038】

シーン理解モジュール３０６は、様々な画像分析技術を使用する２つの機能を実行することができる。第１の機能は、物理的環境内の個々の物体並びにセマンティクスを認識することを含む。屋内物体の例としては、窓、窓ブラインド、ドア、様々な種類の家具（例えば、デスク、椅子、ベッドなど）、シンク、鏡などを挙げることができる。屋外物体の例としては、木、道路、建造物、車両等を挙げることができる。セマンティクスの例としては、部屋、床、入口、階段、玄関などを挙げることができる。更に、シーン理解モジュール３０６はまた、屋内光源（例えば、ランプ、天井灯）及び屋外光源（例えば、自然光、街灯など）を含む１つ以上の光源を識別することができる。図４Ａは、一実施形態による、物理的環境の例示的な画像を示す。図４Ａでは、物理的環境は部屋であり、いくつかの境界ボックス（例えば、ボックス４０２及び４０４）によって示されるように、部屋内のいくつかの物体がシーン理解モジュール３０６によって識別される。

【0039】

図３に戻ると、シーン理解モジュール３０６によって実行される第２の機能は、キャプチャされた環境の画像に基づいて、環境の照明統計を収集することを含むことができる。照明統計の例としては、光強度、コントラスト、均一性などを挙げることができる。図４Ｂは、一実施形態による、物理的環境の例示的な画像を示す。図４Ｂでは、物理的環境は、部屋である。境界ボックス（例えば、ボックス４０６及び４０８）によって示されるように、部屋内のいくつかの物体を識別することに加えて、シーン理解モジュール３０６は、画像を分析して、画像の異なる部分における照明統計を取得することもできる。より具体的には、画像内の各識別された物体の照明統計（例えば、ダイナミックレンジ）を計算し、ユーザに提示することができる。図４Ｂに示す例では、境界ボックス４０６及び４０８にそれぞれ対応する画像ヒストグラム４１０及び４１２も、ユーザに提示される。

【0040】

図３に戻ると、メタデータ収集モジュール３０８は、いくつかのセンサ（時計、コンパス、加速度計、ジャイロスコープなどを含み得るが、これらに限定されない）、及びいくつかのアプリケーション（気象アプリケーション、カレンダアプリケーションなど）からメタデータを収集することができる。特定の時刻に収集されたメタデータは、その特定の時刻にキャプチャされた画像（複数可）と関連付けられ得る。いくつかの実施形態では、メタデータ収集モジュール３０８は、カメラがオフであるときにメタデータを収集することができる。より具体的には、ユーザが長い期間にわたって画像をキャプチャする必要がある場合、メタデータ収集モジュール３０８は、その長い期間にわたってメタデータを収集することができる。収集されたメタデータは、ユーザの移動パターン及びユーザがよく出入りする位置などの、ユーザに関連付けられたコンテキスト情報を推測するために使用され得る。このようなコンテキスト情報に基づいて、システムは、ユーザが画像をキャプチャすることができる時間及び位置を識別することができる。マップ生成モジュール３１０は、収集されたメタデータに基づいて、物理空間の様々な種類のマップ（図２Ａ～図２Ｃに示されているものと同様）を生成することができる。

【0041】

推奨エンジン３１２は、ユーザが特定のアプリケーションのための画像をキャプチャするための設定を指定することができる画像キャプチャ推奨を生成することに関与し得る。設定は、キャプチャされた画像の品質に影響を及ぼし得る様々な要因を含むことができ、これには、物理的位置、照明特性、カメラの形状、時刻などが挙げられるが、これらに限定されない。いくつかの実施形態では、推奨エンジン３１２は、キャプチャされた画像から収集された照明統計、及び画像が撮影されている間に収集されたメタデータを入力として取り込み、推奨又は予測を適宜出力する。例えば、物理空間内の様々な物体の照明統計（例えば、光強度、コントラスト、影の存在）に基づいて、推奨エンジン３１２は、特定の時刻に、ユーザが窓のすぐそばに立ちながら高品質の画像を撮影することができることを予測することができ、その理由は、窓のすぐそばの画像内の物体が、その特定の時刻において良好な照明品質を示すからである。画像から抽出された他の特徴もまた、キャプチャされる画像の品質を予測するために、推奨エンジン３１２によって使用され得る。このような特徴としては、人工光源の位置及び／又は配向、光の拡散性（the diffusive quality of the lights）、影の位置及び強度、色温度、屋外光源の利用可能性などが挙げられるが、これらに限定されない。例えば、推奨エンジン３１２は、特定の時刻に、ユーザが窓のすぐそばに立ちながら高品質画像を撮影することができることを予測することができ、その理由は、その特定の時点で、自然光源（例えば、太陽光）が、窓を通して理想的な照明を提供することができるからである。このような推奨を行うために、推奨エンジン３１２は、いくつかの所定のルール、例えば、キャプチャされた画像内の照明統計に関するルール、又は利用可能な光源に関するルールを適用することができる。代替的に、推奨エンジン３１２は、推奨を行うために、機械学習法を実装することができる。より具体的には、推奨エンジン３１２は、環境の画像の特徴を、キャプチャされた標的の画像の品質に関連付けるために、前もって訓練され得る。推奨は、特定のユーザ及び／又は標的に合わせて調整されることに留意されたい。

【0042】

ユーザが長期間（例えば、数ヶ月以上）にわたって画像を撮影している場合には、推奨エンジン３１２は、ユーザ活動のコンテキスト情報に基づいて、ユーザが標的の画像をキャプチャするための位置及び／又は時間に関する推奨を行う。そのようなコンテキスト情報は、その長期間の前及び長期間の間に収集されたメタデータから推測され得る。例えば、長期間にわたって収集されたメタデータに基づいて、推奨エンジン３１２は、ユーザが、平日は毎日午後５時に西向きの窓を有するオフィス内にいると判定することができる。したがって、推奨エンジン３１２は、ユーザが、平日の午後５時に西向きのすぐそばに立ちながらセルフィを撮影することを推奨することができる。

【0043】

ユーザプロンプトモジュール３１４は、推奨エンジン３１２によって生成された推奨（複数可）をユーザに通信することができる。いくつかの実施形態では、そのような推奨は、視覚的プロンプト及び音声プロンプトの両方を含むユーザプロンプトの形態でユーザに提示される。いくつかのユーザプロンプトは、ディスプレイモジュール３０４上に表示されるテキストメッセージ、又はスマート画像キャプチャシステム３００に関連付けられたスピーカによって再生される音声メッセージを含むことができる。一実施形態では、スマート画像キャプチャシステム３００は、拡張現実（ＡＲ）アプリケーションを実装することができる。ユーザが物理空間（例えば、住居又はオフィスビル）を動き回り、環境の画像をキャプチャすると、ユーザプロンプトモジュール３１４は、注釈をリアルタイムで生成して、キャプチャされた環境の画像上に表示し、標的の画像をキャプチャするための最適な位置（単数又は複数）をユーザに示すことができる。注釈は、注釈が物理空間内の特定の位置にユーザの注意を向けることができる限り、文章、矢印、星印、笑顔、円などを含むが、これらに限定されない様々な形式であってもよい。図２Ａ～図２Ｃに示される例では、表示されたマップ上にいくつかの星形が追加され、ユーザが標的の画像をキャプチャする（例えば、セルフィを撮影する）ために推奨される位置をユーザに示している。

【0044】

図５は、一実施形態による、例示的なスマート画像キャプチャシステムを示す。スマート画像キャプチャシステム５００は、カメラモジュール５０２、ディスプレイモジュール５０４、標的理解モジュール５０６、メタデータ収集モジュール５０８、マップ生成モジュール５１０、推奨エンジン５１２、及びユーザプロンプトモジュール５１４を含むことができる。

【0045】

図３に示されたカメラ３０２とは異なり、カメラ５０２は、標的（例えば、ユーザの顔又は他の身体部分、物体、色校正用ターゲットなど）の画像をキャプチャするように構成されている。いくつかの実施形態では、カメラ５０２は、標的の低解像度画像をキャプチャするように構成され得る。ディスプレイモジュール５０４は、ディスプレイモジュール３０４と同様であり得る。ディスプレイモジュール５０４は、スマート画像キャプチャユーザインターフェースを表示することができる。更に、ディスプレイモジュール５０４は、カメラモジュール５０２によってキャプチャされた標的の画像を表示することができる。

【0046】

標的理解モジュール５０６は、標的を含む画像を分析することに関与し得る。より具体的には、標的理解モジュール５０６は、各画像内の標的に関連付けられた照明統計を収集及び記録することができる。例えば、画像が、標的がユーザの顔であるユーザのセルフィである場合、標的理解モジュール５０６は、各画像内のユーザの顔の照明統計（例えば、強度、コントラスト、陰影など）を収集することができる。

【0047】

メタデータ収集モジュール５０８は、図３に示されたメタデータ収集モジュール３０８と同様であり得る。マップ生成モジュール５１０は、マップ生成モジュール３１０と同様であり得る。より具体的には、カメラモジュール５０２が環境の画像をキャプチャしないため、マップ生成モジュール５１０は、メタデータ収集モジュール５０８によって収集されたメタデータを使用して、物理空間のマップを生成する。

【0048】

推奨エンジン５１２は、画像内の標的の照明統計、並びにメタデータに基づいて推奨を生成することができる。例えば、標的が、１つの画像内で良好な照明特性（例えば、所望の輝度及びコントラストレベルを有する、影がほとんど又は全くないなど）を示し、画像に関連付けられたメタデータが、標的の画像が特定の位置で撮影されたことを示す場合、推奨エンジン５１２は、ユーザがこの位置に行って、標的の高解像度画像を撮影することを推奨することができる。この高解像度画像は、良質であり、画像を必要とする特定のアプリケーションの要件を満たすことができる可能性が最も高い。ユーザプロンプトモジュール５１４は、ユーザプロンプトモジュール３１４と同様であり得る。

【0049】

図６は、一実施形態による、例示的なスマート画像キャプチャシステムを示す。スマート画像キャプチャシステム６００は、前向きカメラ６０２と、後向きカメラ６０４と、ディスプレイモジュール６０６と、シーン理解モジュール６０８と、標的理解モジュール６１０と、メタデータ収集モジュール６１２と、マップ生成モジュール６１４と、推奨エンジン６１６と、ユーザプロンプトモジュール６１８とを含むことができる。

【0050】

前向きカメラ６０２及び後向きカメラ６０４を使用して、環境及び標的の画像を別々にキャプチャすることができる。例えば、標的がユーザの顔である場合、前向きカメラ６０２を使用して、ユーザのセルフィをキャプチャすることができる一方、後向きカメラ６０４を使用して、環境の画像をキャプチャすることができる。他の配置も可能である。ディスプレイモジュール６０６は、ディスプレイモジュール３０４及びディスプレイモジュール５０４と同様であり得る。スマート画像キャプチャユーザインターフェースを表示することに加えて、ディスプレイモジュール６０６は、カメラ６０２及び６０４によってキャプチャされた画像を表示することに関与し得る。図７Ａ及び図７Ｂは、一実施形態による、ディスプレイモジュール６０６によって表示される例示的な画像を示す。図７Ａ及び図７Ｂに示される例では、ユーザが標的と環境との両方をディスプレイモジュール６０６上で見ることを可能にするために、環境の画像の右下角に標的（例えば、ユーザの顔）の画像が挿入されている。他の画像配置も可能である。例えば、標的を異なる位置に配置することができ、又は環境が挿入された状態で標的を背景内に示すことができる。図７Ａは、環境の画像内のいくつかの物体（例えば、棚上の書籍、木、及びテーブル）の画像ヒストグラム（例えば、画像ヒストグラム７０２、７０４、及び７０６）も示す。このような画像ヒストグラムは、これらの物体に近い位置での照明条件に関する情報を提供することができることに留意されたい。例えば、図７Ａでは、画像ヒストグラム７０４は画像内の木に対応し、所望の色調分布を示す。結果として、システムは、ユーザが木のすぐそばに立って、高品質のセルフィをキャプチャすることができると判定し得る。

【0051】

図６に戻ると、スマート画像キャプチャシステム６００の動作モードに応じて、初期セットアップステージ（すなわち、システムが標的の画像をキャプチャするための最適な設定を計算及び推奨するステージ）中、１つのカメラ（例えば、前向きカメラ６０２又は後向きカメラ６０４）のみが画像をキャプチャしているか、又は両方のカメラが画像をキャプチャしている。例えば、第１の動作モードでは、単一のカメラ（例えば、後ろ向きカメラ６０４）が環境の画像をキャプチャしており、第２の動作モードでは、単一のカメラ（例えば、前向きカメラ６０２）が標的（例えば、ユーザの顔）の画像をキャプチャしており、第３の動作モードでは、両方のカメラが画像をキャプチャしており、一方は環境用であり、もう一方は標的用である。第１の動作モードで動作するとき、スマート画像キャプチャシステム６００は、スマート画像キャプチャシステム３００と同様の方法で動作することができる。第２の動作モードで動作するとき、スマート画像キャプチャシステム６００は、スマート画像キャプチャシステム５００と同様の方法で動作することができる。スマート画像キャプチャシステム３００及び５００の動作については前述したため、スマート画像キャプチャシステム６００の考察は、第３の動作モードに焦点を当てる。

【0052】

シーン理解モジュール６０８は、図３に示すシーン理解モジュール３０６と同様であり得、標的理解モジュール６１０は、図５に示す標的理解モジュール５０６と同様であり得る。同様に、メタデータ収集モジュール６１２は、図３のメタデータ収集モジュール３０８、又は図５のメタデータ収集モジュール５０８と同様であり得、マップ生成モジュール６１４は、図３のマップ生成モジュール３１０、又は図５のマップ生成モジュール５１０と同様であり得る。

【0053】

第３の動作モードで動作するとき、推奨エンジン６１６は、シーン理解モジュール６０８及び標的理解モジュール６１０からの出力に基づいて推奨を提供することができる。これにより、推奨エンジン６１６は、環境と標的との両方の照明統計を考慮しながら推奨を行うことが可能になる。同じ環境条件下で、異なる標的が異なる照明特性を呈する可能性があり、これらの標的が、キャプチャされた画像において異なる品質を有することになるので、環境の照明統計に加えて標的の照明統計を考慮することは、有益であり得る。例えば、セルフィを撮影するとき、浅黒い肌の人は、所望の画質を達成するために、肌が白い人よりも、より直接的な照明を必要とする場合がある。同様に、反射面を有する物体（例えば、油性肌の顔）は、より拡散した照明を有する位置を必要とする場合がある。更に、標的表面の３Ｄ形状も画質に影響を及ぼす可能性がある。例えば、より高い頬骨又は鼻筋を有する顔は、光源の方向に対してより敏感である可能性がある。

【0054】

推奨エンジン６１６は、シーン理解モジュール６０８と標的理解モジュール６１０との両方からの出力に依存するため、推奨エンジン６１６の訓練は、推奨エンジン６１６が特定の種類の標的の画像をキャプチャするための最適な位置を認識することができるように、環境の画像並びに標的の画像を提供することを含み得る。

【0055】

ユーザが長期間にわたって画像を撮影する必要があり得る特定のシナリオでは（例えば、スキンケア製品の効果に関する長期研究に参加する）、推奨エンジン６１６は、ユーザの挙動パターンを追加的に考慮することができ、ユーザの挙動パターンは、メタデータ収集モジュール６１２によって収集されたメタデータに基づいて決定され得る。例えば、推奨エンジン６１６は、特定の時間におけるユーザの位置を予測することができ、予測された位置が、天気（例えば、曇天又は晴天）により偶然にその時点で良好な照明を提供する場合、推奨エンジン６１６は、画像をキャプチャするための時間及び位置を含み得る多次元推奨を提供することができる。カメラの形状（例えば、カメラの向き）、標的の形状（例えば、標的の向き）、光源の状態（例えば、ランプがオン又はオフであるかどうか）などの追加の次元も、多次元推奨に含まれ得る。

【0056】

一実施形態では、推奨エンジン６１６はまた、ユーザが環境及び／又は所望の標的の画像をキャプチャしながら物理空間を動き回るとき、画質スコアをリアルタイムで生成することができる。より具体的には、推奨エンジン６１６は、現在の環境及び／又は標的の照明統計を（例えば、画像ヒストグラムを生成及び分析することによって）連続的に分析し、画像の品質を計算することができる。アプリケーションに応じて、画質スコアは、様々な基準を使用して計算され得ることに留意されたい。例えば、画像から皮膚の状態を導出するアプリケーションは、関心領域（例えば、顔又は手の甲）に影がない画像を好む場合があり、色不均衡（color imbalance）を無視することができる一方、異なるアプリケーションは、よりバランスのとれた色を要求し得るが、影については関心がない。したがって、画質スコアを計算する際、推奨エンジン６１６は、これらの２つの異なるアプリケーションに対して、色バランスに異なる重みを割り当てるであろう。同様に、アプリケーションに応じて、最終的な画質スコアに寄与する際、コントラストのレベル及び輝度に特定の重み係数が割り当てられる可能性がある。いくつかの実施形態では、画質スコアは、１０が理想的な画像キャプチャ設定を示し、１が悪い画像キャプチャ設定を示す１～１０のスケールであってもよい。一実施形態では、５未満の任意のスコアは許容不可と考えられ得る。

【0057】

ユーザプロンプトモジュール６１８は、図３及び図５にそれぞれ示されるユーザプロンプトモジュール３１４及び５１４と同様であり得る。推奨画像取り込み位置を示すために、いくつかの星印が、マップ生成モジュール（例えば、マップ生成モジュール６１４）によって生成されたマップ上に追加されている図２Ａ～図２Ｃに示される例に加えて、ユーザプロンプトモジュール６１８は、音声コマンドを使用してユーザプロンプトを更に提供することができる。例えば、ユーザプロンプトモジュール６１８は、音声コマンドを発行して、ユーザが家又はオフィスビル内を動き回る際に、「ランプをオンにする」、「このランプのすぐそばに立つ」、「この窓の近くに座る」、「西を向く」などするようユーザに指示することができる。複数の画像キャプチャ設定（例えば、位置、カメラの形状、時刻）が推奨エンジン６１６によって推奨される特定のシナリオでは、ユーザは、１つ以上の好適な設定（例えば、好適な時間帯又は好適な位置）を前もって入力することができ、その結果、ユーザプロンプトモジュール６１８は、ユーザの好適な設定に基づいて、推奨エンジン６１６によって行われる推奨をフィルタリングし、次いで、フィルタリングされた結果を表示することができる。リアルタイムの画質スコアが推奨エンジン６１６によって提供されると、ユーザプロンプトモジュール６１８は、様々な通信手段、例えば、テキスト若しくは音声メッセージ、又は視覚若しくは触覚キューを介して、そのようなスコアをリアルタイムでユーザに配信することもできる。例えば、ユーザが、セルフィをキャプチャするために、スマートフォンを使用しながら物理的な場所を歩き回っているときに、ユーザプロンプトモジュール６１８は、計算された画質スコアを、キャプチャされたセルフィの上部に配置することができる。更に、画質スコアが所定の閾値（例えば、１～１０スケール上の７）を上回るとき、ユーザプロンプトモジュール６１８は、太字を使用してスコアを表示し、ユーザの注意を引くことができる。代替的に、ユーザが、環境の画像をキャプチャするために、スマートフォンを使用しながら物理的な場所を歩き回っているとき、ユーザプロンプトモジュール６１８は、キャプチャされたシーン内で閾値を上回る計算された画質スコアを、最も高いスコアを有する位置上（例えば、図７Ａに示される木の近く）に、配置することができる。

【0058】

ユーザプロンプトモジュール６１８は、以前に記憶された画像キャプチャ設定にアクセスして、ユーザにプロンプトを表示することもできる。例えば、推奨エンジン６１６が１つ以上の画像キャプチャ設定をユーザに推奨した後、システムは、そのような推奨設定を、後で使用するために記憶することができる。ユーザが後で画像キャプチャ推奨を要求するとき、ユーザプロンプトモジュール６１８は、記憶された推奨に直接アクセスし、そのような推奨をユーザに表示することができる。図２Ａ～図２Ｃに示される例では、いくつかの位置（例えば、星印でマーキングされた位置）が、画像をキャプチャするための好適な位置としてユーザに推奨されている。いくつかの実施形態では、後でユーザがシステムから推奨を求めるとき、システムは、ユーザが特定の物理空間内にいること、及び時刻が同様であることを判定し、以前の推奨（例えば、図２Ａ～図２Ｃに示された結果）をユーザに直接表示することができる。ユーザは、次いで、過去の推奨を受諾するか、又は新たな推奨を行うようにシステムに要求することができる。

【0059】

図８は、一実施形態による、スマート画像キャプチャシステムの例示的な動作を示すフロー図を示す。動作中、システムは、ユーザから、１つ以上の特定のアプリケーションによって使用され得る標的の画像をキャプチャする要求を受信する（動作８０２）。標的は、ユーザの顔又は他の身体部分（例えば、手の甲）、色校正用ターゲット、又は任意の他の種類の物体を含むことができる。この要求に応じて、システムは、画像をキャプチャしている間に物理空間を動き回るようユーザに指示することができる（動作８０４）。物理空間は、ユーザが現在いる空間、例えば、ユーザの住居又はオフィスであり得る。指示は、ユーザプロンプト（例えば、音声又は視覚メッセージ）の形態であってもよい。画像は、静止画像及びビデオを含み得る。更に、動作モードに応じて、画像は、環境の画像（第１の動作モード）、標的の画像（第２の動作モード）、又はその両方（第３の動作モード）を含み得る。これらのキャプチャされた画像を記憶するために必要な記憶域、及び／又はこれらのキャプチャされた画像を送信するための帯域幅を低減するために、システムは、この初期セットアップステージにおいて低解像度画像がカメラ（複数可）によってキャプチャされるようにカメラ（複数可）を構成することができる。

【0060】

ユーザが環境及び／又は標的の低解像度画像をキャプチャしている間に、各キャプチャされた画像に関連付けられたメタデータ（例えば、時間、位置、天気、カメラ設定など）もまた、収集及び記憶され得る（動作８０６）。特定のシナリオでは、ユーザがより長い期間にわたって標的の画像をキャプチャすることを意図するため、スマート画像キャプチャアプリケーションは、コンピューティングデバイスのバックグラウンドで実行され得る。そのような状況では、環境及びユーザの動きに関連付けられたメタデータは、環境に関連付けられた情報をユーザが積極的に収集することなく（例えば、ユーザが画像をキャプチャすることなく）収集され得る。実際、メタデータは、ユーザがコンピューティングデバイス（例えば、携帯電話）を自分のポケットから取り出すことなく収集され得る。

【0061】

システムは、物理空間の１つ以上のマップを任意選択的に生成することができる（動作８０８）。例示的なマップとしては、２Ｄマップ、３Ｄマップ、異なるアングルから撮影された物理空間の一連の画像などが挙げられるが、これらに限定されない。

【0062】

システムは、次いで、これらのキャプチャされた画像から様々な画像特徴を抽出することができる（動作８１０）。いくつかの実施形態では、画像特徴を抽出することは、画像の照明統計を分析することを含み得る。分析は、画像全体にわたって、又は画像の一部分（例えば、標的を含む画像の一部分、若しくは物理空間内に特定の物体を含む画像の一部分）にわたって行われ得る。そうするために、システムは、物理空間の画像内の個々の物体（例えば、家具、窓、鏡、照明器具など）及び環境セマンティクス（例えば、玄関、階段など）を認識するように構成され得る。照明静力学は、各認識された物体又はセマンティクスについて取得され、記録され得る。いくつかの実施形態では、照明統計は、画像ヒストグラム（例えば、色ヒストグラム、強度ヒストグラムなど）を含み得る。追加の画像特徴としては、人工光源の位置及び／又は方向、光の拡散性、影の位置及び強度、色温度、屋外光源の利用可能性などを挙げることができる。

【0063】

抽出された画像特徴及び収集されたメタデータに基づいて、システムは、物理空間に関連付けられた画像キャプチャ条件を決定することができる（動作８１２）。例えば、抽出された照明統計に基づいて、システムは、物理空間内の様々な位置（例えば、窓のすぐそばの位置、居間の中心の位置、階段上の位置など）の照明条件を決定することができる。

【0064】

システムは更に、物理空間の画像キャプチャ条件、及び画像を要求するアプリケーションの画質要件に基づいて、ユーザに推奨される好適な画像キャプチャ設定のセットを決定することができる（動作８１４）。特定の画像キャプチャ設定は、時間、位置、光源の状態（例えば、ライトがオン、又はライトがオフ）、及びカメラの形状（例えば、カメラアングル）を含み得るが、これらに限定されない。決定された画像キャプチャ設定は、キャプチャされる標的の画像の品質が、特定のアプリケーションの画質要件を満たすことを確実にすることができる。例えば、顔の皮膚の状態を分析するアプリケーションは、キャプチャ画像内の顔が均一な照明、適正なコントラスト量、無影などを有することを要求する場合がある。したがって、システムは、そのような光要件を満たすことができる物理空間内の位置を識別し、画質要件を満たす画像をキャプチャするために、ユーザが標的を、識別された位置に配置することを推奨することができる。

【0065】

システムは、次いで、決定された画像キャプチャ設定をユーザに提示することができる（動作８１６）。いくつかの実施形態では、システムは、次いで、ＡＲ（拡張現実）又はＶＲ（仮想現実）技術を使用して、決定された画像キャプチャ設定を提示することができる。例えば、標的の画像をキャプチャするための好適な又は推奨される位置は、実世界画像又は物理空間の仮想マップ上に注釈として表示され得る。システムはまた、テキスト又は音声メッセージなどの様々な種類のユーザプロンプトを使用して、決定された画像キャプチャ設定を提示することができる。

【0066】

その後、システムは、推奨設定でユーザによってキャプチャされた標的の画像を受信する（動作８１８）。そのような画像は、特定のアプリケーションの要件を潜在的に満たし得る高解像度画像である。画像を受信すると、システムは、受信した画像の品質、より具体的には、標的の画像の品質をチェックすることができる（動作８２０）。例えば、アプリケーションが皮膚の状態を研究するためのものである場合、アプリケーションは、キャプチャされた画像内の皮膚（例えば、顔又は手の甲）が均一な照明、十分であるが過度でないコントラスト、無影などを有することを要求するであろう。したがって、システムは、受信した画像、特に画像内の顔又は手の甲の品質を評価して、画像がアプリケーションの要件を満たすかどうかを判定することができる。システムは、次いで、画質要件を満たす画像を受諾し、要件を満たさない画像を却下することができる（動作８２２）。システムは、要件を満たすこれらの画像の設定を任意選択的に記憶することができる（動作８２４）。そのような設定は、後で使用され得る。より具体的には、ユーザが、標的の追加の画像をキャプチャすることを要求する場合、システムは、記憶された設定をユーザに提示して、推奨プロセスを迅速に処理することができる。
例示的なコンピュータシステム

【0067】

図９は、一実施形態による、スマート画像キャプチャシステムを円滑化する例示的なコンピュータシステムを示す。コンピュータシステム９００は、プロセッサ９０２、メモリ９０４、及び記憶デバイス９０６を含む。コンピュータシステム９００は、ディスプレイデバイス９１０、キーボード９１２、ポインティングデバイス９１４、カメラ９１６に結合され得、１つ以上のネットワークインターフェースを介してネットワーク９０８にも結合され得る。記憶デバイス９０６は、オペレーティングシステム９１８及びスマート画像キャプチャシステム９２０を記憶することができる。

【0068】

スマート画像キャプチャシステム９２０は、コンピュータシステム９００によって実行されると、本開示に記載の方法及び／又はプロセスをコンピュータシステム９００に実行させることができる命令を含み得る。スマート画像キャプチャシステム９２０は、環境の画像を分析するための命令（シーン理解モジュール９２２）、標的の画像を分析するための命令（標的理解モジュール９２４）、メタデータを収集するための命令（メタデータ収集モジュール９２６）、マップを生成するための命令（マップ生成モジュール９２８）、画像キャプチャ設定を推奨するための命令（推奨モジュール９３０）、及び画像をキャプチャするための推奨設定をユーザにプロンプト表示するための命令（ユーザプロンプトモジュール９３２）を含むことができる。

【0069】

一般に、本発明の実施形態は、ユーザが標的の画像をキャプチャしているときに、物理空間をナビゲートする、及び／又は照明条件を調整するようにユーザを誘導するためのソリューションを提供する。ユーザによりキャプチャされた画像の品質が、画像に依存する特定のアプリケーションの要件を満たし得ることを確実にするために、システムは初期セットアップステージを経ることができる。初期セットアップステージの間、システムは、物理的環境を動き回っている間に、ユーザがいる物理的環境及び／又は標的の低解像度画像をキャプチャするようにユーザに指示し、キャプチャされた画像に関連付けられたメタデータを収集する。システムは、標的の画像をキャプチャするための１つ以上の好適な設定（例えば、物理的環境内の位置）を決定するために、キャプチャされた画像を分析することができる。本開示では、セルフィをキャプチャする例を使用して、スマート画像キャプチャシステムの動作を説明する。セルフィに加えて、ユーザは、スマート画像キャプチャシステムを使用して、製造された製品の画像など、他の種類の画像をキャプチャすることもできる。例えば、ユーザ及び製造された製品が存在する物理空間に応じて、スマート画像キャプチャシステムは、ユーザが、製造された製品の高品質画像をキャプチャすることができ、検査員が、その画像を検査することによって、製造された製品が特定の設計要件を満たすかどうかを判定することが可能なように、画像キャプチャ設定を推奨することができる。リアルタイムの推奨を提供すること（例えば、ユーザが物理空間内を動き回っているときに、システムがリアルタイムで画像キャプチャ設定を推奨すること）に加えて、システムは、ユーザの日常活動に関連付けられたコンテキストデータを収集し、ユーザの日常活動に関連して画像キャプチャ設定を推奨することもできる。マップ生成モジュール及びユーザプロンプトモジュールなどの追加のモジュールは、推奨される画像キャプチャ設定をユーザに通信するために、スマート画像キャプチャシステムを円滑化し得る。図２Ａ～図２Ｃに示される例では、画像をキャプチャするための推奨される位置が、マップ上のマーキングを使用してユーザに通信される。しかしながら、本開示の範囲は、推奨をユーザに通信するために使用される実際の機構によって限定されない。更に、本開示で論じた例では、環境及び／又は標的の初期低解像度画像、並びに標的の最終高解像度画像をキャプチャするために、同じモバイルデバイス（例えば、スマートフォン又はタブレットコンピュータ）が使用される。実際には、初期セットアッププロセス及び最終画像キャプチャプロセスのために異なるデバイスを使用することも可能である。例えば、第１のコンピューティングデバイスを使用して、画像キャプチャ推奨を取得する（例えば、セルフィを撮影するための家内の最適な位置を見つける）ことができる一方、第２のデバイス（単にカメラであってもよい）は、標的の所望の画像をキャプチャする（例えば、推奨位置でセルフィを撮影する）ことができる。

【0070】

「発明を実施するための形態」の節に記載される方法及びプロセスは、上に論じられるようなコンピュータ可読記憶媒体内に記憶され得るコード及び／又はデータとして具体化され得る。コンピュータシステムが、コンピュータ可読記憶媒体上に記憶されたコード及び／又はデータを読み取って実行すると、コンピュータシステムは、データ構造及びコードとして具体化され、コンピュータ可読記憶媒体内に記憶された方法及び処理を実行する。

【0071】

更に、上述の方法及び処理は、ハードウェアモジュール又は装置に含まれてもよい。ハードウェアモジュール又は装置としては、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）チップ、フィールドプログラム可能ゲートアレイ（field-programmable gate array、ＦＰＧＡ）、特定の時刻に特定のソフトウェアモジュール又はコードを実行する専用又は共有プロセッサ、及び、既知の又は後に開発される他のプログラム可能論理デバイスを含むことができるが、これらに限定されない。ハードウェアモジュール又は装置が起動されると、それらの内部に含まれる方法及び処理が実行される。

【0072】

本明細書に記載される前述の実施形態は、例示及び説明のみを目的として提示されている。これらは、網羅的であること、又は本発明を開示される形態に限定することを意図するものではない。したがって、多くの修正及び変形が、当業者には明らかであろう。加えて、上記の開示は、本発明を限定することを意図するものではない。本発明の範囲は、添付の特許請求の範囲によって定義される。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】