特許 6849824 セルフィーを撮影するためにユーザをガイドするためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6849824

(24)【登録日】2021年3月8日

(45)【発行日】2021年3月31日

(54)【発明の名称】セルフィーを撮影するためにユーザをガイドするためのシステム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210322BHJP

   G06T 7/194 20170101ALI20210322BHJP

   G06T 7/33 20170101ALI20210322BHJP

   H04N 5/232 20060101ALI20210322BHJP

【ＦＩ】

   G06T7/00 660A

   G06T7/194

   G06T7/00 350C

   G06T7/33

   G06T7/00 Q

   H04N5/232 941

【請求項の数】15

【全頁数】23

(21)【出願番号】特願2019-566615(P2019-566615)

(86)(22)【出願日】2018年5月31日

(65)【公表番号】特表2020-522807(P2020-522807A)

(43)【公表日】2020年7月30日

(86)【国際出願番号】US2018035296

(87)【国際公開番号】WO2018222812

(87)【国際公開日】20181206

【審査請求日】2019年12月2日

(31)【優先権主張番号】62/513,220

(32)【優先日】2017年5月31日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】590005058

【氏名又は名称】ザ プロクター アンド ギャンブル カンパニー

【氏名又は名称原語表記】ＴＨＥ ＰＲＯＣＴＥＲ ＆ ＧＡＭＢＬＥ ＣＯＭＰＡＮＹ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】アンクル プルワル

(72)【発明者】

【氏名】ポール ジョナサン マッツ

(72)【発明者】

【氏名】マシュー アダム シュレーブ

(72)【発明者】

【氏名】ウェンチョン ウー

【審査官】 武田 広太郎

(56)【参考文献】

【文献】 特表２０１３−５２６０９９（ＪＰ，Ａ）

【文献】 特開２００８−１８６３０３（ＪＰ，Ａ）

【文献】 特開２００９−１６３５５５（ＪＰ，Ａ）

【文献】 特開２０１２−０７８９８２（ＪＰ，Ａ）

【文献】 米国特許第０８２５４６４７（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１９４

Ｇ０６Ｔ ７／３３

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

セルフィーの品質を改善するためのシステムであって、
ａ．画像捕捉デバイスと、
ｂ．前記画像捕捉デバイスに連結されたコンピュータであって、前記コンピュータが、論理を中に格納した非一時的メモリ構成要素を含み、前記論理が、
ｉ．前記コンピュータに、前記画像捕捉デバイスによって捕捉されて前記コンピュータに提供されたセルフィー内の顔を位置特定させ、前記顔上に存在する少なくとも１つのランドマーク顔特徴を位置特定させ、かつ前記セルフィーを正規化させる、画像処理モジュール、及び
ｉｉ．前記コンピュータに、オクルージョン、ぼやけ、カメラまでの距離、顔の表情、照明、及びこれらの組み合わせから選択される品質メトリックについて、前記正規化されたセルフィーを解析させる、セルフィー品質指数（ＳＱＩ）モジュールであって、前記システムが、前記解析された画像品質メトリックを使用して、ＳＱＩスコアを生成する、セルフィー品質指数（ＳＱＩ）モジュール、を含む、コンピュータと、
ｃ．前記画像捕捉デバイス及びコンピューティングデバイスのうちの少なくとも１つに連結されたディスプレイと、を備える、システム。

【請求項2】

前記画像処理モジュールが、バウンディングボックスを使用して、前記セルフィー内に存在する背景特徴から前記顔のうちの少なくとも一部分を分離する、顔検出及び計数モジュールを含む、請求項１に記載のシステム。

【請求項3】

前記ＳＱＩモジュールが、前記バウンディングボックス内の画素の画像サイズに対する比率を計算することによって、前記カメラまでの距離の画像品質メトリックを判定する、カメラまでの距離モジュールを含む、請求項２に記載のシステム。

【請求項4】

前記バウンディングボックス内の画素の画像サイズに対する比率が０．８より大きい場合に、前記論理は、前記コンピュータに、前記画像捕捉デバイスが接近し過ぎていることをユーザに伝達させる、請求項３に記載のシステム。

【請求項5】

前記バウンディングボックス内の画素の画像サイズに対する比率が０．４未満である場合に、前記論理は、前記コンピュータに、前記画像捕捉デバイスが離れ過ぎていることをユーザに伝達させる、請求項３に記載のシステム。

【請求項6】

前記画像処理モジュールが、前記少なくとも１つのランドマークが存在するかどうかを判定するための、畳み込みニューラルネットワーク（ＣＮＮ）の形態のランドマーク検出モジュールを含む、請求項１乃至５のいずれか一項に記載のシステム。

【請求項7】

前記ＳＱＩモジュールが、前記セルフィー内の少なくとも２つのランドマーク点間の画素ベースの距離を、母集団の前記ランドマーク点間の既知の平均距離と比較することによって、前記カメラまでの距離の画像品質メトリックを判定する、カメラまでの距離モジュールを含む、請求項１乃至６のいずれか一項に記載のシステム。

【請求項8】

前記画像処理モジュールが、前記システムに、少なくとも４つの顔ランドマーク点の位置に基づいて前記顔を正規化させる、顔位置合わせモジュールを含む、請求項１乃至７のいずれか一項に記載のシステム。

【請求項9】

前記ＳＱＩモジュールが、ぼやけ係数及びＡｌｅｘｎｅｔ ＣＮＮの最後の層から抽出された特徴のうちの少なくとも１つから形成されたぼやけ特徴ベクトルによって訓練されたＣＮＮの形態のぼやけ検出モジュールを含む、請求項１乃至８のいずれか一項に記載のシステム。

【請求項10】

前記ＳＱＩモジュールが、前記オクルージョンの画像品質メトリックについて前記正規化された画像を解析するオクルージョンモジュールを含み、前記オクルージョンモジュールが、少なくとも１つの局所バイナリパターン特徴を少なくとも１つのＣＮＮベースのＡｌｅｘｎｅｔ特徴と融合することによって形成されたオクルージョン特徴ベクトルを生成する、請求項１乃至９のいずれか一項に記載のシステム。

【請求項11】

前記ＳＱＩモジュールが、前記表情の画像品質メトリックについて前記正規化されたセルフィーを解析する表情モジュールを含み、前記表情モジュールが、局所バイナリパターン、勾配のヒストグラム、深層学習技術、又はこれらの組み合わせを適用して、表情特徴ベクトルを判定する、請求項１乃至１０のいずれか一項に記載のシステム。

【請求項12】

前記ＳＱＩモジュールが、前記照明の画像品質メトリックについて前記正規化されたセルフィーを解析する照明モジュールを含む、請求項１乃至１１のいずれか一項に記載のシステム。

【請求項13】

照明モジュールが、照明の方向、照明の強度、コントラスト、及び照明の位置を判定するための少なくとも１つのサブモジュールを含む、請求項１２に記載のシステム。

【請求項14】

前記画像品質メトリックに関連するメッセージがユーザに表示され、前記メッセージは、オクルージョンが存在し、前記セルフィーがぼやけており、前記画像捕捉デバイスが接近し過ぎており、前記画像捕捉デバイスが離れ過ぎており、顔の表情が存在し、照明が不十分であり、影が存在し、又はこれらの組み合わせが存在することを前記ユーザに示す、請求項１乃至１３のいずれか一項に記載のシステム。

【請求項15】

セルフィーの品質を改善する方法であって、
ａ）デジタル画像捕捉デバイスでセルフィーを捕捉すること、
ｂ）請求項１乃至１４のいずれか一項に記載のシステムで前記セルフィーを解析して、ＳＱＩスコアを生成すること、
ｃ）前記ＳＱＩスコアをユーザに視認可能なディスプレイデバイスに表示することと、
ｄ）前記ＳＱＩスコアが所定の閾値を満たしていない場合に、前記ユーザに前記セルフィーを再撮影するように促すことと、を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、概して、自己捕捉型デジタル写真の品質を改善するためのシステム及び方法に関する。より具体的には、本出願は、画像を処理し、かつ自己捕捉されたデジタル画像、特に人物の顔の画像品質を判定するための定性的メトリックを利用する画像処理モジュールのシステムに関する。画像品質に応じて、様々な追加の画像処理及び／又は解析工程が実施され得、又はユーザは、セルフィーを再撮影するように促され得る。

【背景技術】

【0002】

デジタル撮像技術は、現代社会に浸透している。バイオメトリックスキャニング、コンピュータ生成画像、フォトショップ加工、及びいわゆる「セルフィー」は、デジタル撮像アプリケーションのいたるところにある例である。近年、デジタル画像技術、特に消費者の画像又はセルフィーを使用することは、新しい顧客を特定し、かつ／又は消費者に製品を販売するのに役立ち得ることが認識されている。例えば、いくつかの美容ケア及び化粧品会社は、消費者のセルフィーを使用して肌プロファイルを消費者に提供し、かつ／又はカスタマイズされた製品及びレジメンの推奨事項を提供する。しかしながら、これらの画像を解析するために使用される現代のコンピュータモデルはますます複雑になっているため、コンピュータモデルがより精度の高い解析を提供できるように、解析される画像が品質の最小閾値を満たしていることを確認することがこれまで以上に重要になっている。

【0003】

セルフィーの品質を改善するための過去の試みでは、例えば、人物の顔の輪郭又はシルエットが画像捕捉デバイスの画面（例えば、スマートフォン又はデジタルカメラのディスプレイ）に表示される、いわゆる「ワイヤフレーム」の使用を含む、ユーザがより高い品質の画像を捕捉するのに役立つ様々なメトリック及び技法が使用されてきた。ワイヤフレームが表示されると、ユーザは、自身の顔をワイヤフレームと位置合わせしてから、セルフィーを撮影する。ワイヤフレーム手法は、顔を適切に位置付けするのに役立ち得るが、セルフィーの品質に影響を及ぼし得る様々な他の要因（例えば、照光、陰影、オクルージョン、顔の表情、ぼやけ）には対処していない。したがって、ユーザがセルフィーの画像品質に著しく影響を及ぼす要因のうちのより多く、理想的にはそのうちの全てにうまく対処するのを支援でき、それによって、ユーザがより高い品質のセルフィーを画像解析システムに提供することを可能にする、画像解析システムを提供する必要性が存在する。

【0004】

セルフィーの品質を改善しようとする他の過去の試みは、セルフィーの品質に影響を及ぼす様々な個々の要因に対処してきたが、これらの要因を総合的に見て、消費者に優しい方法でセルフィーの品質についての全体的な表示を提供したものはなかった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、セルフィーの品質が画像解析ソフトウェアによる使用に十分であるかどうかを判定するために使用することができる、様々な画像品質要因を単一の便利なスコアに組み合わせるシステムを提供する必要性が依然として存在している。

【課題を解決するための手段】

【0006】

本明細書には、消費者がセルフィーを撮影するようにガイドするための、コンピュータ実装方法が開示される。この方法は、デジタル画像捕捉デバイスを用いてセルフィーを捕捉することと、セルフィーを解析して、セルフィーに顔が存在するかどうか、及び顔に少なくとも１つのランドマーク顔特徴が存在するかどうかを判定することと、を含む。顔及び少なくとも１つの顔のランドマークが検出された場合、顔は正規化される。セルフィーが解析及び正規化された後、それは、オクルージョン、ぼやけ、カメラまでの距離、顔の表情、照明、及びこれらの組み合わせから選択される画像品質メトリックを判定するための更なる解析を受ける。解析された画像品質メトリック（複数可）からＳＱＩスコアが生成され、ＳＱＩスコアは、セルフィーが更なる解析を受けるかどうかを判定するために使用される。品質メトリック解析及びＳＱＩの結果は、ユーザのセルフィーの品質を改善するためのガイダンスとしてユーザに提供され得る。

【0007】

また、本明細書には、消費者がセルフィーを撮影するようにガイドするためのシステムも開示される。システムは画像捕捉デバイスと、画像捕捉デバイスに連結されたコンピューティングデバイスであって、コンピューティングデバイスが、論理を格納した非一時的メモリ構成要素を含み、論理が、コンピューティングデバイスに、セルフィーを解析させて、顔が存在するかどうか、及び顔上に少なくとも１つのランドマーク顔特徴が存在するかどうかを判定させ、かつ顔及び少なくとも１つのランドマーク顔特徴が存在すると判定された場合に、セルフィーを正規化させる、画像処理モジュール、並びにコンピューティングデバイスに、オクルージョン、ぼやけ、カメラまでの距離、顔の表情、照明、及びこれらの組み合わせから選択される品質メトリックについて正規化されたセルフィーを解析させる、セルフィー品質指数（selfie quality index、ＳＱＩ）モジュールであって、システムが、解析された画像品質メトリック及びＳＱＩスコアに基づいてＳＱＩスコアを生成する、セルフィー品質指数（ＳＱＩ）モジュール、を含む、コンピューティングデバイスと、画像捕捉デバイス及びコンピューティングデバイスのうちの少なくとも１つに連結されたディスプレイデバイスであって、システムからユーザに出力を表示するように構成されている、ディスプレイデバイスと、を備える。

【図面の簡単な説明】

【0008】

【図1】本システムの一例を描写する。

【図2】顔計数及び検出モジュールによる解析の結果を示す。

【図3】顔計数及び検出モジュールによる解析の結果を示す。

【図4】顔計数及び検出モジュールによる解析の結果を示す。

【図5A】顔位置合わせモジュールによる解析の結果を示す。

【図5B】顔位置合わせモジュールによる解析の結果を示す。

【図5C】顔位置合わせモジュールによる解析の結果を示す。

【図6】画像処理モジュールを通るフローパスを示すブロック図である。

【図7】ぼやけ検出モジュールを通るフローパスを示すブロック図である。

【図8】畳み込みニューラルネットワークの一例を示す。

【図9】畳み込みニューラルネットワークの一例を示す。

【発明を実施するための形態】

【0009】

化粧品業界では、様々な画像解析システム及び方法が使用されており、消費者に肌のプロファイル、肌年齢の予測、カスタマイズされたスキンケア製品の推奨事項、及びスキンケアレジメンを提供している。セルフィーは最近撮影されている写真の最も一般的な種類のうちの１つであるため、従来の肌モデル／肌解析システムで使用される画像の全てではないにしても、ほとんどがセルフィーであることは珍しくない。しかしながら、カメラの品質、照光、ユーザのスキル、カメラからの距離等に関連する画像品質のばらつきが大きいことに起因して、セルフィーを解析することが問題となることがある。画像品質は、従来の画像解析システムによって提供される肌解析予測／結果の精度に直接影響を及ぼし得る。したがって、より低い画像品質は、精度の低い年齢予測、肌状態プロファイル、製品推奨事項、及び／又はレジメン推奨事項をもたらす可能性がある。逆に、より高い品質のセルフィーは、通常、より良好な画像解析結果をもたらす。

【0010】

いくつかの従来の肌解析システムは、例えば、いわゆるワイヤフレーム等のいくつかの既知の方法のうちの１つを使用することによって、セルフィーの画像品質を改善しようと試みるものであり、これは、より一貫した距離又は角度を有するセルフィーを生成するのに役立つ。しかしながら、従来の画像解析システム及び方法は、例えば、トリミング／境界付け、フィルタリング、コントラスト／色の正規化等の、画像品質に影響を及ぼし得る複数の要因に基づく画像品質の包括的な表示を使用していない。

【0011】

本システム及び方法は、新規なセルフィー品質指数及びユーザフィードバックシステムを利用して、ユーザがより高い品質のセルフィー画像を撮影するのを支援することにより、低品質画像の問題に対処する。好適な肌解析システムによって使用される場合、より高い品質の画像は、肌年齢予測、肌状態プロファイル、スキンケア製品の推奨事項、及び／又はスキンケアレジメンの推奨事項の精度を改善することができる。理想的には、本システム及び方法は、ユーザが、画像解析フィールド内のいくつかによる卓越性の標準である「パスポート品質」セルフィーを捕捉するのに役立ち得る。

【0012】

定義
本明細書で使用するところの「約」とは、値プラスマイナス２０パーセント（＋／−２０％）又はそれよりも低い値（例えば、１５％、１０％未満、若しくは更には５％未満）に等しい範囲を指すことで、値を修飾する。

【0013】

「畳み込みニューラルネットワーク」とは、フィードフォワード人工ニューラルネットワークの一種であり、個々のニューロンが視野の重複領域に応答するようにタイル状になっている。

【0014】

本明細書におけるシステムの様々な構成要素を指すとき、「連結される」とは、構成要素が互いに電気的、電子的、及び／又は機械的に通信していることを意味する。

【0015】

「配置される」とは、要素が別の要素に対して特定の場所に位置付けされることを意味する。

【0016】

「特徴ベクトル」とは、デジタル画像内の物体の１つ以上の特性を記述する情報を含む一連の特徴を意味する。特徴ベクトル内の各特徴は、通常、１つ以上の数で表されるが、所望に応じて任意の好適なインジケータ（文字、記号、色等）が使用されてもよい。

【0017】

「画像捕捉デバイス」とは、人物の画像を捕捉／記録できるデジタルカメラ又はフィルム使用カメラ等のデバイスを意味する。

【0018】

「接合された」とは、要素を他の要素に直接固着することにより、要素を別の要素に直接固定する構成、及び要素を中間部材（複数可）に固着し、これが次に他の要素に固着されることにより、要素が別の要素に間接的に固定される構成を意味する。

【0019】

「マクロ特徴」とは、ヒトの顔上又はその付近に見られる比較的大きな身体的特徴である。マクロ特徴としては、顔形状、耳、眼、口、鼻、毛髪、及び眉が挙げられるが、これらに限定されない。

【0020】

「ミクロ特徴」とは、ヒトの顔上に見られる老化肌及び／又は肌疾患と一般的に関連付けられている比較的小さい特徴である。ミクロ特徴としては、小じわ、しわ、乾燥肌特徴（例えば、肌の皮剥）、及び色素沈着障害（例えば、色素沈着過剰状態）が挙げられるが、これらに限定されない。ミクロ特徴は、マクロ特徴を含まない。

【0021】

「マスキング」とは、関心領域内に配置された画素により接近している又は同じＲＧＢ値を有する画素を用いて、画像内のマクロ特徴の中に及び／又はそれに近接して配置された画素のうちの少なくともいくつかをデジタル的に置き換えるプロセスを指す。

【0022】

本明細書における「モデル」とは、一組の状況、システム、又は自然発生現象を予測、説明、又は模倣するために使用される数学的方程式、アルゴリズム、又はコンピュータソフトウェアを指す。

【0023】

「関心領域」又は「ＲｏＩ」とは、解析が所望される画像の具体的に区分された部分を意味する。関心領域の非限定的な例としては、以下により詳細に記載されるバウンディングボックス内の画像の一部分が挙げられる。ＲｏＩの他の例としては、額、頬、鼻唇溝、眼下のエリア、又は下顎に配置された肌の部分を描写することが挙げられる。いくつかの実例では、ＲｏＩは、１つ以上のマクロ特徴がマスキングされた顔の画像の一部分であってもよい。

【0024】

「セルフィー」とは、当人、別の人物、又は自動画像捕捉システム（例えば、写真ブース又はセキュリティカメラ）によって撮影された人物のデジタル写真を指す。セルフィーは、人物の顔と、捕捉された画像内の関連する背景特徴と、を含む。

【0025】

本明細書における「ユーザ」とは、例えば、デバイスユーザ、製品ユーザ、システムユーザ等を含む、少なくとも本明細書で提供される特徴を使用する人物を指す。

【0026】

画像解析システム
本明細書における画像解析システムは、肌状態の解析のために、例えば、訓練された畳み込みニューラルネットワークに、好適な品質の画像が提供されることを確実にするために、未加工のデジタル画像が１つ以上の画像品質モジュールによって処理及び／又は解析されるマルチステップシステムとして構成されてもよい。画像品質モジュールは、第１の工程で定性解析のために画像を処理し、次いで、処理された画像を定性解析して、第２の工程において、セルフィーの画像品質に関連する１つ以上の定性的メトリックを測定するように構成されてもよい。画像品質が品質の閾値レベルを満たしている場合、画像は次いで、好適な肌モデルを使用して更に解析されてもよい。

【0027】

特定の画像品質モジュールによって解析されたメトリック（複数可）は、別のモジュールによって解析されたメトリック（複数可）と同じであっても異なっていてもよい。本システムのモジュールによって解析され得る定性的メトリックのいくつかの非限定的な例は、顔位置、ランドマーク検出、マスキング、画像内に存在する顔の数、カメラからの距離、顔の比率、オクルージョン、顔の表情、ぼやけ、及び照明（方向、位置、強度、及び／又はコントラスト）である。次いで、画像品質モジュールからの解析の結果を使用して、セルフィーの品質を反映するセルフィー品質指数（「ＳＱＩ」）スコアを生成してもよい。

【0028】

いくつかの実例では、システムは、モバイルコンピューティングデバイス又は別々のディスプレイデバイス（例えば、コンピュータモニタ）上のディスプレイを介して、解析の進行状況をユーザに表示してもよい。例えば、ディスプレイは、システムが解析を実施しているという表示を伴う一連の定性的画像メトリック（例えば、カメラまでの距離、ぼやけ、照光、オクルージョン、表情）をユーザに示すことによって、解析の進行状況をシミュレートしてもよい。いくつかの実例では、セルフィーは、更に、一連のメトリック解析に対応するように修正されてもよい。例えば、システムは、セルフィーがぼやけについて解析されていることをユーザに示してもよく、セルフィーはぼやけたように見えるようになってから、焦点が合うようになってもよい。次に、システムは、画像のコントラスト又は輝度を変化させながら、適切な照光のためにセルフィーが解析されていることをユーザに示してもよい。解析が完了すると、システムは、様々なモジュールによって検出された、セルフィーの品質に影響を及ぼし得るＳＱＩスコア及び／又は任意の問題を表示してもよい。セルフィーの品質スコアに応じて、ユーザは、更なる解析のためにセルフィーを送信するか、又はセルフィーを再撮影するかの選択肢を提供されてもよい。

【0029】

いくつかの実例では、ＳＱＩスコアが所定の閾値を満たしている場合、好適な肌モデルを使用して解析される。一方、ＳＱＩスコアが所定の閾値を満たしていない場合、システムは、セルフィーが不満足であり、かつ／又は画像が更なる解析を受けないようにすることをユーザに（例えば、視覚又は音声キューを介して）促してもよい。使用されるスコアリングスケールに応じて、閾値は、最小閾値又は最大閾値であってもよい。追加的に又は代替的に、システムは、例えば、どのメトリックが不満足であったか、及び／又は不満足なメトリックを改善する方法を伝達することによって、セルフィーが不満足であった理由に関する情報をユーザに提供してもよい。

【0030】

図１は、人物の画像を捕捉及び解析するための例示的な肌解析システム１０を描写する。図１に例示されるシステム１０は、ネットワーク１００（例えば、携帯電話ネットワーク、公衆交換電話網、衛星ネットワーク、及び／又はインターネット等の広域ネットワーク、ワイヤレスフィデリティ、Ｗｉ−Ｍａｘ、ＺｉｇＢｅｅ（商標）、及び／若しくはＢｌｕｅｔｏｏｔｈ（商標）等のローカルエリアネットワーク、並びに／又は他の好適な形態のネットワーキング機能の形態）を含む。ネットワーク１００には、モバイルコンピューティングデバイス１０２、リモートコンピューティングデバイス１０４、及び訓練コンピューティングデバイス１０８が連結されている。

【0031】

モバイルコンピューティングデバイス１０２は、携帯電話、タブレット、ラップトップ、携帯情報端末、並びに／又はデジタル写真のような画像を捕捉、格納、及び／若しくは転送するように構成された他のコンピューティングデバイスであってもよい。したがって、モバイルコンピューティングデバイス１０２は、デジタルカメラのような画像捕捉デバイス１０３を含んでもよく、かつ／又は他のデバイスから画像を受信するように構成されてもよい。モバイルコンピューティングデバイス１０２は、画像捕捉論理１４４ａ及びインターフェース論理１４４ｂを格納する非一時的メモリ構成要素１４０ａを含んでもよい。非一時的メモリ構成要素１４０ａは、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ等）、読み出し専用メモリ（read only memory、ＲＯＭ）、レジスタ、及び／又は他の形態のコンピューティング格納ハードウェアを含んでもよい。画像捕捉論理１４４ａ及びインターフェース論理１４４ｂは、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び／又は他のコンピューティングインフラストラクチャを含んでもよい。画像捕捉論理１４４ａは、ユーザのデジタル画像上の捕捉、格納、前処理、解析、転送、及び／又は他の機能の実施を容易にし得る。いくつかの実例では、画像捕捉論理１４４ａは、例えば、スマートフォン「アプリ」の形態で、本明細書に記載されるスマートセルフィーモジュールのいくつか若しくは全部を含んでもよく、又は全く含まなくてもよい。インターフェース論理１４４ｂは、質問、選択肢等を含み得る、１つ以上のユーザインターフェースをユーザに提供するように構成されてもよい。モバイルコンピューティングデバイス１０２はまた、ネットワーク１００を介して他のコンピューティングデバイスと通信するために構成されてもよい。

【0032】

リモートコンピューティングデバイス１０４はまた、ネットワーク１００に連結されてもよく、ユーザの顔の捕捉された画像内の肌年齢に寄与する肌特徴を位置特定及び解析することによって、ユーザの肌年齢を判定することができる畳み込みニューラルネットワークを作成、格納、及び／又は訓練するために構成されたサーバ（若しくは複数のサーバ）、パーソナルコンピュータ、モバイルコンピュータ、及び／又は他のコンピューティングデバイスとして構成されてもよい。例えば、ＣＮＮは、リモートコンピューティングデバイス１０４の非一時的メモリ構成要素１４０ｂに、論理１４４ｃ及び１４４ｄとして格納されてもよい。小じわ、しわ、黒い（加齢による）斑点、不均一な肌の色合い、シミ、毛穴の広がり、赤味、黄色味、これらの組み合わせ等の、一般に知覚される肌の欠陥は全て、ユーザの肌年齢に寄与するように訓練されたＣＮＮによって識別され得る。

【0033】

リモートコンピューティングデバイス１０４は、訓練論理１４４ｃ、解析論理１４４ｄ、及び／又は処理論理１４４ｅを格納する非一時的メモリ構成要素１４０ｂを含んでもよい。非一時的メモリ構成要素１４０ｂは、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ等）、読み出し専用メモリ（ＲＯＭ）、レジスタ、及び／又は他の形態のコンピューティング格納ハードウェアを含んでもよい。訓練論理１４４ｃ、解析論理１４４ｄ、及び／又は処理論理１４４ｅは、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び／又は他のコンピューティングインフラストラクチャを含んでもよい。訓練論理１４４ｃは、ＣＮＮの作成及び／又は訓練を容易にし、これによりＣＮＮの作成及び／又は操作を容易にし得る。処理論理１４４ｅは、モバイルコンピューティングデバイス１０２（又は他のコンピューティングデバイス）から受信した画像を解析論理１４４ｄによる解析のために処理する。いくつかの例では、処理論理１４４ｅは、本明細書に記載される画像品質解析モジュールのいくつか若しくは全部を含んでもよく、又は全く含まなくてもよい。画像処理は、マクロ特徴識別、マスキング、分割、及び／又は他の画像変更プロセスを含んでもよく、これは以下により詳細に記載される。解析論理１４４ｄは、処理された画像を解析して、見かけ肌年齢、肌状態診断、製品推奨等を提供するための少なくとも１つの肌モデル（例えば、１つ以上のＣＮＮの形態で）を含む。

【0034】

いくつかの実例では、訓練コンピューティングデバイス１０８は、ＣＮＮの訓練を容易にするようにネットワーク１００に連結されてもよい。例えば、トレーナは、訓練コンピューティングデバイス１０８を介して、顔又は肌の１つ以上のデジタル画像をＣＮＮに提供してもよい。トレーナはまた、ＣＮＮに、どの評価が正しいか及びどの評価が正しくないかを知らせる情報、並びにその他の指示（例えば、実年齢）を提供してもよい。トレーナからの入力に基づいて、ＣＮＮは、以下でより詳細に説明するように、自動的に適応してもよい。

【0035】

システム１０はまた、モバイルコンピューティングデバイス１０２と同様に動作し得るキオスクコンピューティングデバイス１０６を含み得るが、１つ以上の製品を販売し、かつ／又は現金若しくは電子商取引の形態で支払いを受け取ることもできる。当然ながら、支払い及び／又は製品販売も提供するモバイルコンピューティングデバイス１０２が本明細書で企図されることを理解されたい。いくつかの実例では、キオスクコンピューティングデバイス１０６及び／又はモバイルコンピューティングデバイス１０２はまた、ＣＮＮの訓練を容易にするように構成されてもよい。したがって、モバイルコンピューティングデバイス１０２及びリモートコンピューティングデバイス１０４について描写及び／又は記載したハードウェア及びソフトウェアは、キオスクコンピューティングデバイス１０６、訓練コンピューティングデバイス１０８、及び／又は他のデバイスに含まれてもよい。

【0036】

また、リモートコンピューティングデバイス１０４が図１に画像処理及び画像解析を実施するものとして描写されているが、これは一例に過ぎないこともまた理解されたい。画像処理及び／又は画像解析は、所望に応じて、任意の好適なコンピューティングデバイスによって実施されてもよい。

【0037】

画像品質モジュール及びセルフィー品質指数スコア
本明細書における画像品質モジュールは、画像処理モジュール及びＳＱＩモジュールを含み得る。画像が、モバイル及び／又はリモートコンピューティングデバイスに連結された好適な画像捕捉デバイスによって捕捉されると、画像処理モジュール（複数可）は、ＳＱＩモジュールによる品質メトリック解析のために未加工画像を処理し、又は更なる解析に好適でないものとして画像を分類してもよい。ＳＱＩモジュールは、画像品質の様々なメトリック（以下でより詳細に論じられる）に対応する１つ以上の特徴ベクトルを提供してもよく、これを使用して、セルフィー品質指数スコアを計算する。各ＳＱＩモジュールから出力される特徴ベクトルは、ＳＱＩスコアに等しく又は不均衡に寄与し得る。例えば、１つのＳＱＩモジュールからの出力は、他のＳＱＩモジュールのうちの１つ以上（例えば、２×、３×、４×、５×、６×、又は更には７×ほど多く）よりも多くのＳＱＩスコアに寄与するように重み付けされてもよい。

【0038】

本明細書におけるシステム及び方法では、ＳＱＩスコアは、ユーザに伝達され、及び／又は画像解析プロセスにおける後続のステップを判定するために使用されてもよい。ＳＱＩスコアは、バイナリの（例えば、０又は１、はい又はいいえ、合格又は不合格）、スケーリングされた（例えば、１〜１０又は１〜１００のスケールの値）、及び／又は定性的な（例えば、不良、適度、良、優秀）ものあってもよい。例えば、バイナリスコアリング形式では、各ＳＱＩモジュールは、画像が所定の最小の品質基準を満たす場合に品質メトリックスコア１を生成し、又は画像が最小の品質基準を満たさない場合に品質メトリックスコア０を生成してもよい。この例には８個のＳＱＩモジュールが存在し、全てがＳＱＩスコアに等しく寄与する場合、ＳＱＩスコアは０〜８の範囲であり得る。スケーリングされたスコア形式の一例では、８個のＳＱＩモジュールの各々からの特徴ベクトルは、１〜１０のスケールに関する値として提供されてもよく、１は、その特定の特徴ベクトルの最低品質メトリックに対応する。ＳＱＩモジュールからのスコアを組み合わせて、８〜８０の範囲のＳＱＩスコアを提供してもよく、かつ／又は組み合わせたスコアを平均して、１〜１０の範囲のＳＱＩスコアを提供してもよい。当然ながら、ＳＱＩスコアは、ＳＱＩモジュールの個々の特徴ベクトルを組み合わせる任意の好適な方法によって計算され、かつ／又は所望に応じて任意の形式で提示されてもよいことを理解されたい。

【0039】

いくつかの実例では、ＳＱＩスコアは、セルフィーの品質を改善するために、ユーザに対してフィードバックを使用生成されてもよい。例えば、以下でより詳細に記載されるＳＱＩスコアを計算するために使用される１つ以上の特徴ベクトルは、セルフィーの品質を改善するためのガイダンス及び／又はプロンプトを（例えば、モバイルコンピューティングデバイスディスプレイを介して）ユーザに提供するために、システムによって使用されてもよい。この例では、ＳＱＩスコアが最小閾値を下回る（例えば、１〜１０のスケールで６、５、４、又は３を下回る）、又は最大閾値を上回る（例えば、１０が最低品質に相当する１〜１０のスケールで４、５、６、又は７を上回る）場合に、システムは、ユーザにセルフィーを再撮影するように促してもよい。いくつかの実例では、個々の特徴ベクトルのうちの１つ以上が最小許容閾値を下回る（例えば、ぼやけが１〜１０のスケールで３又は２未満である）場合、システムは、ユーザにセルフィーを再撮影するように促してもよい。いくつかの実例では、ＳＱＩスコアが閾値を満たすが、依然として所望の又は理想的な品質レベル未満の場合、セルフィーを再撮影し、又はセルフィーを解析する選択がユーザに提供されてもよい。いくつかの実例では、ＳＱＩスコアを使用して、画像を品質カテゴリ（例えば、不良、適度、良、優秀）に分類してもよく、これは次いで、ユーザに伝達され得る。いくつかの実例では、ユーザは、例えば、ユーザのＳＱＩスコアを、ユーザの以前のＳＱＩスコアと比較することによって、又はユーザの母集団の平均ＳＱＩスコアと比較することによって、ユーザのＳＱＩスコアを改善するように促されてもよい。

【0040】

画像処理モジュール
画像品質モジュールは、１つ以上の画像処理モジュールを含んでもよい。画像処理モジュールは、画像内の顔を位置特定及び／又は計数し、画像内の顔から異なるゾーンを抽出し、ランドマークとして１つ以上の顔特徴を使用して顔を位置合わせし、かつ／又は顔を共通座標系に正規化するように構成されてもよい。いくつかの実例では、画像処理モジュールは、顔検出及び計数モジュール（Face Detection and Counting module、「ＦＤＣモジュール」）、ランドマーク検出モジュール（Landmark Detection module、「ＬＤモジュール」）、及び／又は顔位置合わせモジュール（Face Registration module、「ＦＲモジュール」）を含んでもよい。

【0041】

いくつかの実例では、画像処理段階の第１の工程は、顔検出及び計数モジュールがセルフィー画像内に顔が存在するかどうか、及び／又は顔がいくつ存在するかを判定することである。ＦＤＣモジュールによって単一の顔が検出された場合、ＦＤＣモジュールは、例えば、バウンディングボックスを使用して、画像の残りの部分から顔を分離し、次いで、分離された顔をランドマーク検出モジュールに渡してもよい。複数の顔が検出された場合、ＦＤＣモジュール又は制御アプリケーション（すなわち、様々なモジュール間及び／又はモジュールとシステムの他の構成要素との間の特定の相互作用を調整する論理）は、画像の処理を継続するかどうかを判定してもよい。例えば、ＦＤＣモジュールは、画像内に存在する最大の顔（例えば、画素面積の合計に基づいて）、及び／又は画像の中心に最も接近して位置特定されている顔を選択し、選択された顔を分離し、かつ分離された顔をＬＤモジュールに渡してもよい。いくつかの実例では、複数の顔が画像内で検出された場合、ＦＤＣモジュールは、システムに、画像内で複数の顔が検出されたことをユーザに伝達させ、かつ／又は画像内に存在する１つの顔のみのセルフィーを再撮影するようにユーザに促させてもよい。

【0042】

ＦＤＣモジュールは、当該技術分野において既知の任意の好適な顔検出技術を使用してもよい。本明細書における使用に好適であり得る顔検出技術のいくつかの非限定的な例としては、Ｍ．Ｍａｔｈｉａｓらによって「Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｗｉｔｈｏｕｔ Ｂｅｌｌｓ ａｎｄ Ｗｈｉｓｔｌｅｓ」ＥＣＣＶ，．２０１４に記載されている「Ｂｅｌｌｓ ａｎｄ Ｗｈｉｓｔｌｅ」技法、Ｗｕらによって「Ｆｕｎｎｅｌ−Ｓｔｒｕｃｔｕｒｅｄ Ｃａｓｃａｄｅ ｆｏｒ Ｍｕｌｔｉ−Ｖｉｅｗ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ａｌｉｇｎｍｅｎｔ−Ａｗａｒｅｎｅｓｓ」 Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２０１６に記載されているＳｅｅｔａ技法、並びにＰａｕｌ Ｖｉｏｌａ及びＭｉｃｈａｅｌ Ｊｏｎｅｓによって「Ｒｏｂｕｓｔ Ｒｅａｌ−ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」ＩＪＣＶ，２００１に記載されているＶｉｏｌａ−Ｊｏｎｅｓ技法が挙げられる。

【0043】

図２は、バウンディングボックス２０２内のセルフィー２００の例示的な図である。バウンディングボックス２０２は、関心領域（例えば、額、頬、眼、下顎、及び口等の顔特徴）を含む画像の一部分を、画像２００の残りの部分から分離する。バウンディングボックス２０２は、背景物体、顔のマクロ特徴、若しくは他の身体部分、及び／又はその部分（例えば、毛髪、耳、及び肩）を除去するようにサイズ決定されてもよい。図２に描写するバウンディングボックスは矩形であるが、バウンディングボックスは、所望に応じて任意の好適な形状であり得ることを理解されたい。いくつかの実例では、バウンディングボックスは、顔の輪郭と同一の広がりを持っていてもよい。

【0044】

図３は、ＦＤＣモジュールが画像内の複数の顔を検出する一例を示す。この例では、ＦＤＣモジュールは、システムにエラーメッセージ３０２を提供して、複数の顔が検出されたことをユーザに示す。システムはまた、視覚キュー３０４及び３０６によって示されるように、セルフィーを再撮影するための口頭要求を提供してもよい。システムはまた、ユーザがセルフィーを再撮影するために使用するボタン３０８を提供してもよい。いくつかの実例では、ＦＤＣモジュールは、システムに、モバイルコンピューティングデバイス３１０のディスプレイ上の画像内で検出された画像及び／又は顔３００のうちの１つを表示させてもよい。

【0045】

ＦＤＣモジュールから顔の分離された画像を受け取ると、ランドマーク検出モジュールは、顔の画像を解析して、様々な顔のランドマーク点を識別し（すなわち、位置特定及び／又は解析し）、顔の画像の少なくともいくつかは、画像を正規化するために顔位置合わせモジュールによって使用されてもよい。顔上で識別されたランドマーク点は、顔のランドマーク検出アルゴリズムによって事前決定又は選択されてもよい。本システムにおける使用に好適であり得るランドマーク検出アルゴリズムのいくつかの非限定的な例としては、タスク制約付きディープ畳み込みネットワーク（tasks-constrained deep convolutional networks、「ＴＣＤＣＮ」）及びＤｌｉｂ ａｎｄ Ｔｈｅ Ｍｅｎｐｏ Ｐｒｏｊｅｃｔから入手可能なランドマーク検出ソフトウェアアプリケーションが挙げられる。いくつかの実例では、ＬＤモジュールは、システムに、画像内に存在する１つ以上の顔のマクロ特徴をマスキングさせてもよい。顔のランドマークが検出されない場合、ＬＤモジュールは、システムに、セルフィーの任意の更なる解析を控えさせ、かつ／又はセルフィーを再撮影するようにユーザに求めてもよい。

【0046】

図４は、顔４００上の様々なマクロ特徴（例えば、眼、眉、鼻、頬、下顎、顎、及び毛髪）に対応するランドマーク点４０２を含む顔４００の画像を示す。図４に示す例では、眼、眉、鼻、口、及び顔の周囲を位置特定するために、６８個のランドマーク点が使用される。例えば、各眉は、眉の長さに沿って延在する５個の点を使用して位置特定していてもよい。各眼は、上眼瞼及び下眼瞼の各々の２点、並びに眼の内側及び外側角部の各々の１点が配置された６点を使用して位置特定されてもよい。鼻は、鼻梁に沿って鼻の端部まで延在する４点を使用して位置特定されてもよい。口は、口の各角部の２点、上唇の上部分及び下唇の下部分の各々の５点、上唇の下部分及び下唇の上部分の各々の３点を使用して配置された２０点を使用して位置特定されてもよい。顔の輪郭又は境界は、１つのこめかみから（例えば、生え際において）顎の線、下顎の周り、及び反対側の顎線を上がって反対側のこめかみに（例えば、生え際において）延在する１７点を使用して位置特定されてもよい。当然ながら、所望に応じて、任意の数のランドマーク点及び／又は顔特徴が使用されてもよいことを理解されたい。

【0047】

ランドマーク検出モジュールによる解析の後、画像及び識別されたランドマーク点は、顔位置合わせモジュールに渡され、画像不整合の問題を解決するのに役立つ。また、ＳＱＩモジュールのための特徴を抽出する際の被写体間の差異を最小化するために、画像を共通座標系に正規化及び位置合わせすることも重要である。したがって、空間的に敏感な特徴は、異なる画像にわたってＳＱＩモジュールによって一貫して抽出することができる。

【0048】

いくつかの実例は、図５Ａに示すように、４つのランドマーク点が選択されてもよく、これは、各眼の外側角部５１０及び５１１、並びに口の外側角部５１２及び５１３を含んでもよい。円５１５は、図５Ｂに示すように、円の外周が４つの青色のランドマーク５１０、５１１、５１２、及び５１３と交差するように内接し得る。円５１５の方程式は、以下のように定義することができる。
ｘ^２＋ｙ^２＋Ａｘ＋Ｂｙ＋Ｃ＝０

【0049】

上記の内接円の方程式には３つの未知数（Ａ、Ｂ、及びＣ）があるため、各々、３つのランドマーク点を使用する３つの方程式が使用され得る。この例では、使用されるランドマーク点が４つ存在するため、４つの点の組み合わせを全て実施することができる（すなわち、「４つの選択３」）。したがって、円５１５は、外周部と除外された点との間に最小の最小二乗距離（Ｒ）を有するものとして説明することができる。次に、θを２つの眼のランドマーク及び２つの唇の角部によって画定される平均ベクトルによって判定することができる。これにより、長さＲ及び角度θを有する仮想線を計算することができる。次いで、図５Ｃに示すように、画像は−θだけ回転され、円５１５の中心を基準点として使用して、かつ中心点の左右に１．２Ｒまで、全長２．４Ｒで、及び上下２Ｒで、全長４Ｒでトリミングされる。本明細書における使用に好適であり得る正規化方法の非限定的な例は、Ｊｉａｎｓｈｅｎｇ Ｃｈｅｎらによる「Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ Ｂａｓｅｄ ｏｎ Ｌｅａｒｎｉｎｇ ｔｏ Ｒａｎｋ」，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，Ｖｏｌ．２２，Ｎｏ．１，ｐｐ．９０−９４，２０１５に記載されている。

【0050】

図６は、前処理モジュールを通る画像のフローパス６００を示す。ブロック６０２において、画像処理デバイスによって画像が捕捉される。ブロック６０２において捕捉された画像は、顔検出及び計数モジュール６０４に提供される。更なる処理及び／又は解析のために顔が識別された後、顔検出情報（例えば、顔エリアバウンディングボックス）は、ランドマーク検出モジュール６０６に渡される。ランドマーク検出モジュール６０６は、１つ以上のランドマーク点を使用して、事前決定又は学習され得る顔のランドマークを識別する。次いで、ランドマーク情報及び捕捉された画像は、顔正規化モジュール６０８に渡される。顔正規化モジュール６０８は、２つ以上の顔ランドマーク又はランドマーク点間の関係（例えば、距離及び／又は角度）を使用して、画像をどのくらい回転させるべきかを判定することができる。

【0051】

セルフィー品質指数モジュール
画像処理モジュールによる処理後、元の画像、検出されたランドマーク、及び最終的に位置合わせされた画像は、画像品質を判定するために１つ以上のＳＱＩモジュールに渡される。各ＳＱＩモジュールは、１つ以上のモデル（例えば、ＣＮＮ）と、任意に、その機能／解析を実施するための好適な制御論理を含んでもよい。いくつかの実例では、制御論理は、システムの処理及び／又は訓練論理の一部であってもよい。各ＳＱＩモジュールによって行われる解析は、必ずしも任意の他のモジュールの解析結果に依存するわけではないので、ＳＱＩモジュールは、連続的に動作する必要はない。しかしながら、２つ以上のＳＱＩモジュールが連続して動作することが望ましい場合があり、そのような実施形態が本明細書で企図される。本システム及び方法における使用に好適であり得るＳＱＩモジュールのいくつかの非限定的な例としては、ぼやけ検出モジュール、カメラまでの距離モジュール、顔比率モジュール、オクルージョンモジュール、表情モジュール、及び照明モジュールが挙げられる。本明細書におけるＳＱＩモジュールの各々は、別個のモジュールとして独立して、又は集合的に単一モジュールとして機能し得る、１つ以上のサブモジュールを更に含んでもよい。例えば、本システムは、方向、位置、強度、及び／又はコントラストサブモジュールを含む照明モジュールを含んでもよい。追加的に又は代替的に、本システムは、オクルージョン及び／又は表情モジュールのための頬及び額サブモジュールを含んでもよい。サブモジュールは、各々、ＳＱＩスコアへの入力を提供してもよく、又は各サブモジュールからのスコアを組み合わせて、モジュールの複合スコアを提供してもよく、これは次いで、ＳＱＩスコアの計算に使用される。

【0052】

いくつかの実例では、特徴ベクトルが所定の閾値レベルの品質を満たす場合、システムは、その特定の特徴が不十分であることを（例えば、モバイルコンピューティングデバイスからの視覚又は音声キューを介して）ユーザに伝達し、かつ／又はセルフィーを再撮影するようにユーザに促してもよい。いくつかの例では、システムは、不満足な特徴を改善する方法を示す有用なヒントを提供してもよい。

【0053】

ＳＱＩモジュールの画像解析結果を使用して、セルフィーがシステムの解析論理によって解析されるのに十分な品質であるかどうかを判定することができる。特定の特徴又は特徴ベクトルが許容可能な閾値レベルの品質（「低品質特徴」）を満たさない場合、システムは、画像が解析論理に渡されないようにしてもよい。いくつかの実例では、システムは、画像が解析論理に渡されないようにする前に、ＳＱＩモジュールによって検出される、２つ以上の低品質特徴を必要とする場合がある。いくつかの実例では、ＳＱＩモジュールは、特徴が許容可能な閾値レベルの品質を満たすかどうかのバイナリ表示（すなわち、０、１）を提供するように構成されてもよい。いくつかの実例では、ＳＱＩモジュールは、最低品質から最高品質の連続体（例えば、１〜１０、又は更には１〜１００）に基づいてスケーリングされたスコアを提供するように構成されてもよい。例えば、品質スケールが上昇すると、モジュールは、認識するように訓練された特徴の最低品質の例に１又は更にはゼロのスコアを割り当て、かつ認識するように訓練された特徴の最高品質の例に１０又は更には１００のスコアを割り当ててもよい。逆に、品質スケールが下降すると、モジュールは、認識するように訓練された特徴の最高品質の例に１又は更にはゼロのスコアを割り当て、かつ認識するように訓練された特徴の最低品質の例に１０又は更には１００のスコアを割り当ててもよい。モジュールのいくつか又は全部からのスコアを組み合わせて、全体的なＳＱＩスコアを提供してもよく、これは、任意に、閾値スコアと比較され得る。いくつかの実例では、ＳＱＩモジュールの解析結果は、別のモジュールよりもＳＱＩスコアに、より寄与する（又はより寄与しない）ように重み付けされてもよい。

【0054】

いくつかの実例では、ＳＱＩモジュールは、ぼやけ検出モジュールを含んでもよい。ぼやけた画像は、精度の低い画像解析結果を生成する傾向があり、したがって、最小限のぼやけを用いてセルフィーを解析することが望ましい。ぼやけ検出モジュールは、セルフィー画像におけるぼやけの量又は焦点の欠如を測定し、これは次いで、セルフィーの品質を改善するために個々に及び／又はＳＱＩスコアの一部として使用され得る。

【0055】

ぼやけ検出モジュールは、抽出及び一緒に融合されたいくつかの特徴から形成されたぼやけ特徴ベクトルによって訓練されたＣＮＮとして構成されてもよい。ぼやけ特徴ベクトルを形成するために使用され得る１つの特徴は、ぼやけ係数である。いくつかの実例では、数回の連続したぼやけの繰り返しの後、正規化された画像のラプラシアン測定値の差を取ることによって、ぼやけ係数を生成してもよい。追加的に又は代替的に、ラプラシアン測定値の最大、平均、絶対和、及び／又は標準偏差を使用して、ぼやけ特徴ベクトルの一部又は全部を形成してもよい。ぼやけ係数を生成する例示的な方法は、Ｆｒｅｄｅｒｉｑｕｅ Ｃｒｅｔｅ−Ｒｏｆｆｅｔらによる「Ｔｈｅ Ｂｌｕｒ Ｅｆｆｅｃｔ：Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ａ Ｎｅｗ Ｎｏ−Ｒｅｆｅｒｅｎｃｅ Ｐｅｒｃｅｐｔｕａｌ Ｂｌｕｒ Ｍｅｔｒｉｃ」，ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ Ｓｙｍｐｏｓｉｕｍ Ｃｏｎｆ．Ｈｕｍａｎ Ｖｉｓｉｏｎ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ，Ｊａｎ ２００７，Ｓａｎ Ｊｏｓｅ，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ．ＸＩＩ，ｐｐ．ＥＩ ６４９２−１６，２００７に記載されている。

【0056】

いくつかの実例では、ぼやけ特徴ベクトルは、例えば、ＴｒｅｅＢａｇｇｅｒ分類器（すなわち、ブートストラップ集約（「バギング」）決定木）を使用して訓練されたＡｌｅｘｎｅｔ畳み込みニューラルネットワークの最後の層から抽出された特徴を含み得る。Ａｌｅｘｎｅｔ ＣＮＮは、Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙらによる「Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２５」（ＮＩＰＳ ２０１２）の一部である「ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」に記載されているＣＮＮを指す。Ａｌｅｘｎｅｔ ＣＮＮは、深層学習のためのコンピュータビジョン手法を利用する。この手法は、画像（例えば、セルフィー又は正規化された顔画像）を、画像内のパターンを調べるために開発された、従来のコンピュータビジョン特徴のヒストグラム、例えば、ローカルバイナリパターン（Local Binary Patterns、「ＬＢＰ」）又は勾配のヒストグラム（Histogram of Gradients、「ＨｏＧ」）特徴等に変換する。訓練セット内の全ての画像に対してヒストグラムが生成されると、ヒストグラムは、ＣＮＮを教示する代表的な特徴として使用することができる。ブートストラップ集約決定木は、個々の決定木の結果を組み合わせて、過剰適合の効果を低減し、かつ一般化を改善する。好適なＴｒｅｅＢａｇｇｅｒ分類器を選択するための技法は、当業者には既知である。

【0057】

画像を解析した後、ぼやけ検出モジュールは、バイナリ値（例えば、「良」又は「不良」）又はスケーリングされた値（例えば、１〜１０の値）を使用して、画像内で検出されたぼやけの量（「ぼやけ検出スコア」）を定量化し、かつ制御アプリケーション、処理論理、及び／又は解析論理にスコアを提供してもよい。いくつかの実例では、ぼやけ検出モジュールによる解析のスコア及び／又は他の結果は、ぼやけ検出モジュールを更に訓練するためにシステムの訓練論理に提供されてもよい。ぼやけ検出モジュールのスコアは、ＳＱＩスコアを生成するために、例えば特徴ベクトルとして、他のＳＱＩモジュールからの出力と組み合わせることができる。

【0058】

いくつかの実例では、ぼやけ検出スコアは、ディスプレイを介してユーザに提供されてもよい。ぼやけ検出スコアが閾値を下回る場合、システムは、画像内でぼやけが検出されたことをユーザに伝達してもよい。例えば、ぼやけ検出モジュールが、画像内で検出されたぼやけの量を１〜１０のスケールで４及び７であるものとして定量化する場合、システムは、画像内にぼやけが存在するという表示をユーザに提供し、ただし所望に応じてなおも画像を解析することを可能にしてもよい。この例を続けると、ぼやけ検出スコアが４未満である場合、システムは、画像がぼやけすぎていること、及び／又はユーザが画像を再撮影することをユーザに示してもよい。いくつかの実例では、システムは、画像内のぼやけの量を減少させるためにヒントをユーザに提供してもよい。

【0059】

いくつかの実例では、ＳＱＩモジュールは、カメラまでの距離モジュール（Distance to Camera module、「ＤｔｏＣモジュール」）を含んでもよく、これは、訓練可能なモデル（例えば、ＣＮＮ）の形態であってもよい。ＤｔｏＣモジュールは、通常、ｘ〜ｙの範囲の全体的な画像サイズに対してバウンディングボックス内で検出された画素の比率を計算し、かつこの比率をカメラからの顔の距離と相関させてもよい。バウンディングボックス画素の画像サイズに対する比率が高すぎる（例えば、０．８、０．９よりも大きい、又は更には１よりも大きい）場合、システムは、カメラが顔に接近し過ぎていることをユーザに示し、かつ／又はユーザがセルフィーを再撮影することを要求してもよい。バウンディングボックス画素の画像サイズに対する比率が低すぎる（例えば、０．４、０．３未満、又は更には０．２未満）場合、システムは、カメラが顔から離れ過ぎていることをユーザに示し、かつ／又はユーザがセルフィーを再撮影することを要求してもよい。

【0060】

追加的に又は代替的に、ＤｔｏＣモジュールは、既知の人体計測データを較正ターゲットとして使用してもよい。つまり、異なる画像捕捉距離で回帰モデルを訓練するときに、人物の顔上の異なるランドマーク特徴間又はランドマーク点間の既知の距離を、ターゲット（例えば、疑似「グラウンドトゥルース」）として使用することができる。例えば、ＤｔｏＣモジュールによって使用されるモデルは、異なる距離（例えば、１２インチ、２４インチ、及び３６インチ）の異なる画像捕捉デバイス（例えば、ｉＰｈｏｎｅ ６、ｉＰｈｏｎｅ ６＋、及びＳａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ７）から収集された好適な数の画像（例えば、２０〜１０００、２５〜５００、又は更には３０〜１００）を使用して訓練されてもよい。次いで、検出された距離を既知の人体計測データと比較して、モデルの精度を判定することができる。較正ターゲットとして人体計測データを使用する方法の非限定的な例は、Ｉ．Ｋｏｎｉｇらによる「Ｔｈｅ Ｎｅｗ ｃｏｎｔｅｘｔ：Ｓｃｒｅｅｎ Ｔｏ ｆａｃｅ ｄｉｓｔａｎｃｅ」、２０１４ ８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ Ｏｎ Ｍｅｄｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ（ＩＳＭＩＣＴ），ｐａｇｅｓ １−５．ＩＥＥＥ，２０１４に記載されている。

【0061】

ＤｔｏＣモジュールは、画像内で検出される特定の顔特徴間の画素数を計算することによって、捕捉距離を判定してもよい。例えば、ＤｔｏＣモジュールは、ランドマーク検出モジュールによって識別された６８個のランドマーク点のうちの２つ以上の間の画素数を計算することによって、捕捉距離を判定してもよい。いくつかの実例では、ＤｔｏＣモジュールは、ランドマーク検出モジュールからのいくつかの又は更には全てのランドマーク点を使用して、様々な人体計測距離、例えば、瞳孔間幅（瞳孔間の距離）、両眼幅（眼の外側角部の間の距離）、耳珠間幅（顔幅）、メントン−鼻下長（鼻の下と上唇との間の距離）、及び顔の長さ等を検出してもよい。これらのうち、モデルを訓練するために、瞳孔間幅、両眼幅、及びメントン−鼻下長を使用することが特に望ましい場合がある。

【0062】

ＤｔｏＣモジュールは、カメラスコアまでの距離を生成してもよく、この距離は、バイナリスコア、スケーリングされたスコア、又は更にはモジュールによって判定されたカメラからの実際の距離であってもよい。カメラスコアまでの距離は、ＳＱＩスコアの生成に使用されてもよく、カメラまでの距離が離れ過ぎており、又は接近し過ぎているという表示をユーザに提供し、カメラスコアまでの距離をユーザに提供し、カメラスコアまでのより良好な距離を達成する方法に関するヒントを提供し、かつ／又はＤｔｏＣモジュールを訓練する。

【0063】

本明細書におけるＳＱＩモジュールは、画像品質に望ましくない影響を及ぼす顔又は顔の一部分を遮断する物体があるかどうかを判定するオクルージョン検出モジュールを含んでもよい。モジュールによって検出され得るオクルージョンのいくつかの非限定的な例としては、額及び／若しくは頬上の毛髪、又は顔上若しくは顔の前の手又は他の物体（例えば、眼鏡、手、帽子、及び顔の前の襟）が挙げられる。顔の各領域のラベル、並びに信頼度測定値はオクルージョン検出モジュールによって生成されてもよい。いくつかの実例では、１つ以上のコンピュータビジョンベースのＬＢＰ特徴及び１つ以上のＣＮＮベースのＡｌｅｘｎｅｔ特徴を融合して、オクルージョン特徴ベクトルを生成してもよい。オクルージョン検出モジュールは、Ｔｒｅｅ Ｂａｇｇｅｒ分類器を使用して訓練されてもよい。

【0064】

オクルージョンモジュールは、バイナリスコア（例えば、オクルージョン又はオクルージョンなし）、スケーリングされたスコア、又はこれらの組み合わせであり得るオクルージョンスコアを生成してもよい。オクルージョンスコアは、ＳＱＩスコアを生成するのを支援し、顔又は顔の一部分を遮断する物体が存在するという表示をユーザに提供し、ユーザが存在するオクルージョンを伴わずに画像を再撮影することを要求し、かつ／又はオクルージョンモジュールを訓練するために使用されてもよい。

【0065】

本明細書におけるＳＱＩモジュールは、セルフィーを解析して顔の表情が存在するかどうかを判定する、表情モジュールを含んでもよい。顔の表情によって引き起こされる顔のマクロ特徴及び顔のミクロ特徴のサイズ、形状、及び／又は位置の変化は、解析論理による画像の解析に望ましくない影響を及ぼし、より精度の低い結果をもたらす可能性がある。したがって、本システムでは、顔が、情動的表情（例えば、笑顔、笑嗽、しかめっ面、又は驚きの表現、恐怖、嫌悪感、若しくは怒り）を含むものではなく、顔が中立的な表情を有するセルフィーを解析することが望ましい。

【0066】

表情モジュールは、コンピュータビジョン技法（例えば、ＬＢＰ又はＨｏＧ）、深層学習技法（例えば、ＣＮＮ）、又はこれらの組み合わせに基づくモデルを含んでもよい。モジュールは、顔全体、又は顔の一部分のみ（例えば、頬、額、口、又は他の関心領域（複数可））を調べて、情動的又は中立の表情が存在するかどうかを判定してもよい。情動的表情が存在する場合、システムは、画像が解析のために解析論理に渡されないようにし、かつ／又は画像内で情動的表情が検出されたという表示をユーザに提供してもよい。例えば、システムは「笑っているようです」とユーザに伝えてもよい。

【0067】

いくつかの実例では、表情モジュールは、顔の表情がセルフィーの品質に影響を及ぼす程度を定量化してもよい。例えば、表情モジュールは、バイナリの（例えば、表情が存在するか否かを示す）、スケーリングされた（例えば、１〜１０、ここで、１は極端な情動的表情を示し、１０は中立の表情を表す）、又はこれらの組み合わせであり得る表情スコアを生成してもよい。表情スコアは、ＳＱＩスコアを生成するのを支援し、画像内で画像品質に影響を及ぼす表情が検出されたことをユーザに示し、ユーザが中立の表情の画像を再撮影することを要求し、かつ／又は表情モジュールを訓練するために使用されてもよい。

【0068】

ＳＱＩモジュールは、ユーザによって撮影されたセルフィーが適切な照光条件を有するかどうかを判定するための照明モジュールを含んでもよい。照光条件が不適切である場合、システムは、所望の定性的メトリックを判定することができない場合がある。考慮すべき照明の様々なモダリティが存在するため、望ましい顔のメトリックを正常に抽出できるかどうかを判定する際には、様々な照明要因を考慮することが望ましい場合がある。選択された照明要因は、照明モジュール内のサブモジュールとして構成されてもよい。サブモジュールの解析出力は、個々に又は集合的に使用されて、ＳＱＩスコアを計算する際に使用するための照明特徴ベクトルを判定してもよい。いくつかの実例では、１つ以上の照明サブモジュールによって解析される照明要因は、照明の方向、照明の位置、コントラスト、及び照明の強度を含む。

【0069】

理想的には、セルフィーを撮影するときに顔全体に照光することすらあるため、照明の方向は重要である。照光さえも、関心特徴（例えば、しわ又は不均一な色素沈着）が不明瞭になり、又は洗い流されないことを確実にするのに役立つ。しかしながら、セルフィーが撮影される照光条件は、しばしば理想的ではなく、複数の照光源が存在し得る。したがって、照明サブモジュールの方向は、画像内の照光がどちらの方向に偏っているかという表示を提供する。いくつかの実例では、照明サブモジュールの方向は、光源及び／又は照光の方向を特定の方法で変更するためのフィードバックをユーザに提供してもよい。

【0070】

いくつかの実例では、照明の方向（Direction of Illumination、「ＤｏＩ」）サブモジュールは、コンピュータビジョン技術を使用して、所望の特徴の勾配のヒストグラムを作成してもよい。例えば、ＤｏＩモジュールは、正規化された画像の局所化された部分の発生を計数してもよく、これは、同様の照明角度が存在する画像の場合も同様のはずである。次いで、特徴ＨｏＧ及び割り当てられたラベルは、コンピュータモデリングの当業者に既知である好適なアルゴリズム（複数可）（例えば、多項式カーネルサポートベクトルマシン）を使用して解析することができる。いくつかの実例では、ＤｏＩモジュールは、左、右、上、下、及び／又は更には対応する異なるクラスの照明の方向の分類器を含んでもよい。ＤｏＩサブモジュールは、サブモジュールによって検出された照明の方向の表示を提供してもよい。いくつかの実例では、ＤｏＩサブモジュールは、照明モジュールによって生成された照明特徴ベクトル内の特徴として、又は照明の方向及び／若しくは画像品質に関するフィードバックをユーザに提供するために使用することができる、照明の方向の品質スコアを生成してもよい。

【0071】

本明細書における照明モジュールは、特徴の組み合わせを使用して画像を修飾する照明強度サブモジュールを含んでもよい。いくつかの実例では、照明強度サブモジュールは、コンピュータビジョン（例えば、ＨｏＧ）及び／又は深層学習（例えば、Ａｌｅｘｎｅｔ）技術を使用して、正規化された画像からＬＢＰ特徴部を抽出し、次いで、階調ヒストグラム及び知覚輝度メトリックでＬＢＰ特徴部を融合させてもよい。知覚輝度は、以下の式に従って判定されてもよい。
知覚輝度＝（０．２４１Ｒ^２＋０．６９１Ｇ^２＋０．０６８Ｂ^２）^１／２
式中、Ｒ、Ｇ、及びＢは、赤色、緑色、青色（「ＲＧＢ」）カラーモデルからの色値である。

【0072】

照明強度サブモジュールは、サブモジュールによって検出された照明の強度の表示を提供してもよい。いくつかの実例では、照明強度サブモジュールは、照明特徴ベクトル内の特徴として、又は照明の強度及び／若しくは画像品質に関するフィードバックをユーザに提供するために使用することができる品質スコア（例えば、バイナリの、スケーリングされた、又はこれらの組み合わせ）を生成してもよい。

【0073】

本明細書における照明モジュールは、複数のソースから生成された特徴をグラウンドトゥルースラベルに関連付ける、照明コントラストサブモジュールを含んでもよい。画像のコントラストが不十分である場合、システムが顔のマクロ特徴及び／又はミクロ特徴を互い及び／又は画像背景から区別することは困難であり得、これは解析論理による解析に望ましくない影響を及ぼす可能性がある。照明コントラストサブモジュールで使用される特徴は、照明強度サブモジュール（例えば、色相、彩度、及び値（ＨＳＶ）色空間ヒストグラムと融合されたＬＢＰ特徴、並びに知覚輝度メトリック）で使用されるものと同じ又は類似であってもよい。照明コントラストサブモジュールは、サブモジュールによって検出された照明のコントラストの表示を提供してもよい。いくつかの実例では、照明コントラストサブモジュールは、照明特徴ベクトル内の特徴として、又は照明の強度及び／若しくは画像品質に関するフィードバックをユーザに提供するために使用することができる品質スコア（例えば、バイナリの、スケーリングされた、又はこれらの組み合わせ）を生成してもよい。

【0074】

いくつかの実例では、照明モジュールは、画像が屋内又は屋外環境内で捕捉されたかどうかを判定することができる照明位置（Illumination Location、「ＩＬ」）サブモジュールを含んでもよい。正規化された画像を使用する他の照明サブモジュールとは異なり、ＩＬサブモジュールは、訓練及び試験のためにセルフィー画像全体を使用する。ＩＬサブモジュールは、屋外の場合は木、道路等、屋内の場合は家具、流し台等の照光固有ではないキューを識別するように訓練することができる。ＩＬサブモジュールは、照明コントラストサブモジュールと同じ特徴のセット（例えば、ＬＢＰ特徴）を使用するように構成されてもよい。

【0075】

畳み込みニューラルネットワーク
解析論理及び画像品質モジュールの少なくともいくつかを含む、本明細書におけるシステム及び方法は、インシリコ肌モデルとして機能する、訓練された畳み込みニューラルネットワークを使用する。ＣＮＮは、セルフィー又はその一部分を解析し、所望のメトリックを判定するために使用される。本システムにおける使用に好適であり得るインシリコ肌モデル（すなわち、ＣＮＮ）における深層学習の一例は、Ｓｈｅｒｍａｎらによって出願された同時係属中の米国特許出願第１５／４６５，２９２号に記載されている。本明細書におけるＣＮＮは、層内の各画素に同じフィルタを使用するニューロン集合体の複数の層を含んでもよい。部分的かつ完全に接続された層の様々な組み合わせにおける各画素に対して同じフィルタを使用することにより、システムのメモリ及び処理要件が低減される。いくつかの実例では、ＣＮＮは、訓練され、画像、画像セグメント、及び／又は関心領域の離散畳み込みニューラルネットワークとして機能する、複数の深層ネットワークを含む。

【0076】

図８は、本明細書における使用のためのＣＮＮ構成の一例を示す。図８に示すように、ＣＮＮ８００は、この例では、関心領域の額、眼下エリア、頬／鼻唇溝、及び下顎の部分を含み得る、個々の関心領域又はその一部分を解析するための４つの個別の深層ネットワークを含む。当然のことながら、ＣＮＮは、所望に応じて、より少ない深層ネットワーク又はより多くの深層ネットワークを含み得ることを理解されたい。各深層ネットワークからの画像解析結果を使用して、その対応する関心領域に関する特徴ベクトルを提供してもよい。

【0077】

本明細書におけるＣＮＮは、哺乳類の視覚野が画像の重要な特徴を認識することを学習するのと同様に、ＣＮＮに画像のどの部分が関心特徴に寄与するかを学習させる、深層学習技術を使用して訓練されてもよい。例えば、ＣＮＮは、画像の特徴に寄与する画素の位置、色、及び／又は陰影（例えば、明るさ又は暗さ）を判定するために訓練されてもよい。いくつかの実例では、ＣＮＮ訓練は、ネステロフ運動量（及び／又は他のアルゴリズム）を伴うミニバッチ確率的勾配降下（stochastic gradient descent、ＳＧＤ）を使用することを含んでもよい。確率的勾配降下を利用する例は、米国特許第８，５８２，８０７号に開示されている。

【0078】

いくつかの実例では、ＣＮＮは、訓練されていないＣＮＮに、学習するための多数の捕捉された画像を提供することによって訓練されてもよい。いくつかの実例では、ＣＮＮは、教師あり学習と呼ばれるプロセスを通じて、所望の特徴ベクトルに寄与する画像内の特徴を識別するように学習することができる。「教師あり学習」とは、一般に、画像内の目的の特徴ベクトルが事前に決定されている画像を解析することによって、ＣＮＮが訓練されることを意味する。所望の精度に応じて、訓練画像の数は、少数の画像から多数の画像（例えば、数百又は数千）から画像の連続した入力まで（すなわち、連続した訓練を提供するために）変化し得る。

【0079】

図９は、本明細書における使用のための畳み込みニューラルネットワーク９００の一例を示している。ＣＮＮ９００は、入力画像９０５（例えば、関心領域又はその一部分）、１つ以上の畳み込み層Ｃ_１、Ｃ_２、１つ以上のサブサンプリング層Ｓ_１及びＳ_２、１つ以上の部分的に接続された層、１つ以上の完全に接続された層、並びに出力を含んでもよい。解析を開始するために、又はＣＮＮを訓練するために、画像９０５（例えば、ユーザの画像）がＣＮＮ９００に入力される。ＣＮＮは、画像の１つ以上の部分をサンプリングして、第１の畳み込み層Ｃ_１に１つ以上の特徴マップを作成してもよい。例えば、図９に示すように、ＣＮＮは、画像９０５の６つの部分をサンプリングして、第１の畳み込み層Ｃ_１に６つの特徴マップを作成してもよい。次に、ＣＮＮは、第１の畳み込み層Ｃ_１内の特徴マップの１つ以上の部分をサブサンプリングして、第１のサブサンプリング層Ｓ_１を作成してもよい。いくつかの実例では、特徴マップのサブサンプリングされた部分は、特徴マップのエリアの半分であってもよい。例えば、特徴マップが画像９０５から２９×２９画素のサンプルエリアを含む場合、サブサンプリングされたエリアは１４×１４画素であってもよい。ＣＮＮ９００は、第２の畳み込み層Ｃ_２及び第２のサブサンプリング層Ｓ_２を提供するために、１つ以上の追加のレベルのサンプリング及びサブサンプリングを実施してもよい。ＣＮＮ９００は、所望に応じて、任意の数の畳み込み層及びサブサンプリング層を含み得ることを理解されたい。最終サブサンプリング層（例えば、図９の層Ｓ_２）が完了すると、ＣＮＮ９００は、全てのニューロンが１つおきのニューロンに接続されている、完全に接続された層Ｆ_１を生成する。完全に接続された層Ｆ_１から、ＣＮＮは、画像品質のメトリックに関連する出力を生成することができる。

【0080】

実施例：ＳＱＩスコアの生成
ユーザは、従来のスマートフォンカメラ（例えば、Ａｐｐｌｅ ｉＰｈｏｎｅ（登録商標）５ブランドスマートフォン、又はＳａｍｓｕｎｇ Ｇａｌａｘｙ（登録商標）Ｓ６ブランドのスマートフォン、これらの新しいバージョン等）を使用してセルフィーを撮影する。スマートフォンは、解析のためにリモートコンピュータにセルフィーを提供するネイティブアプリケーション（すなわち、デバイス自体上に記憶されたアプリケーション）を含む。セルフィーはまた、ウェブベースのアプリケーション（すなわち、モバイルコンピューティングデバイス上に記憶されたインターネットブラウザソフトウェアを介してアクセスされるウェブサイトから起動されるアプリケーション）を介して解析するためにリモートコンピュータに提供されてもよく、又はセルフィーは、解析に必要とされる処理論理及び／又は解析論理をサポートするのに十分な処理電力及びメモリを有する場合、モバイルコンピューティングデバイスによって解析されてもよいことを理解されたい。この例では、顔計数及び検出モジュール又はランドマーク検出モジュールが、顔若しくは好適なランドマークを検出できない、又は１つ以上の顔を検出した場合、ＳＱＩスコアは０として返され、ユーザは、セルフィーを再撮影するように促される。顔検出、ランドマーク検出、及び顔正規化モジュールが正常に実行される（すなわち、単一の顔が識別されて分離され、所望の顔のランドマークが検出され、顔が正規化される）場合、正規化された画像は、解析のためにＳＱＩモジュールに渡される。

【0081】

この例のシステムは、３つの変数を使用してＳＱＩスコアを計算する。第１の変数は、信頼度スコアである。信頼度スコアは０〜１の数であり、かつ各ＳＱＩモジュールからの特徴ベクトルの定量化である（すなわち、これは、オクルージョンモジュールからのオクルージョンスコア、ぼやけモジュールからのぼやけスコア、表情モジュールからの表情スコア等である）。マシン学習ベースのモジュールの場合、信頼度スコアは、サポートベクトルマシンの超平面からの距離である。カメラまでの距離モジュールについては、バウンディングボックス内の画素の画像サイズに対する比率である。この例では、合計９つの信頼度スコアがＳＱＩモジュールから返される。この例で解析された品質メトリックは、頬オクルージョン、額オクルージョン、頬表情、額表情、ぼやけ、照明の方向、照明のコントラスト、照明の強度、及びカメラまでの距離である。

【0082】

ＳＱＩスコアを計算するために使用される第２の変数は、ＳＱＩスコア上の各ＳＱＩモジュールの重要度を反映するモジュール重みである。この例では、照明は他の品質メトリックよりも重要であると見なされ、したがって、照明モジュール（すなわち、方向、コントラスト、及び強度）には、モジュール重み０．２が与えられ、他方のＳＱＩモジュールには０．１のモジュール重みが与えられる。いくつかの実例では、ユーザの行動に応じてＳＱＩモジュールを重み付けすることが望ましい場合がある。例えば、ユーザがプロンプトに従って低品質特徴（例えば、オクルージョン）を改善できない場合、対応するモジュールは、ユーザの補正の欠如を補償するために重み付けされてもよい。

【0083】

ＳＱＩスコアを計算するために使用される第３の変数は、各ＳＱＩモジュールによって提供されるカテゴリ分類予測を反映する、予測カテゴリスコアである。オクルージョンモジュール（頬及び額）は、セルフィーが「オクルージョンなし」又は「オクルージョンの存在」カテゴリ（すなわち、はい又はいいえカテゴリ）に属するかどうかを予測する。ＳＱＩモジュールは、セルフィー（例えば、２、３、４、又は更には５以上）の予測される任意の数のカテゴリを有してもよい。各モジュールに関する予測カテゴリのうち、少なくとも１つは「肯定」カテゴリであり、残りは「否定」カテゴリである。肯定カテゴリには、＋１の予測カテゴリスコアが与えられ、否定カテゴリには、−１の予測カテゴリスコアが与えられる。この例では、９個の予測カテゴリスコアを使用してＳＱＩスコアを計算する。本例の予測カテゴリを以下の表１に示す。

【0084】

【表1】

【0085】

ＳＱＩスコアは、各ＳＱＩモジュールに対する信頼度スコア×モジュール重み×予測カテゴリスコアで乗じることによって、次いで、９つのＳＱＩモジュール／サブモジュール全てで、正規化された最大及び最小合計を計算することによって計算される。

【0086】

本明細書にて開示された寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示がない限り、このような寸法はそれぞれ、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図されている。例えば、「４０ｍｍ」として開示される寸法は、「約４０ｍｍ」を意味するものとする。

【0087】

相互参照される又は関連する全ての特許又は特許出願、及び本出願が優先権又はその利益を主張する任意の特許出願又は特許を含む、本出願に引用される全ての文書は、除外又は限定することを明言しない限りにおいて、参照によりその全容が本明細書に援用される。いかなる文献の引用も、本明細書中で開示又は特許請求される任意の発明に対する先行技術であるとはみなされず、あるいはそれを単独で又は他の任意の参考文献（単数又は複数）と組み合わせたときに、そのような発明全てを教示、示唆又は開示するとはみなされない。更に、本文書における用語の任意の意味又は定義が、参照することによって組み込まれた文書内の同じ用語の意味又は定義と矛盾する場合、本文書におけるその用語に与えられた意味又は定義が適用されるものとする。

【0088】

本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく他の様々な変更及び修正を行うことができる点は当業者には明白であろう。したがって、本発明の範囲内に含まれるそのような全ての変更及び修正は、添付の特許請求の範囲にて網羅することを意図したものである。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9】