特許 7479031 顔解析のための画像正規化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-25

(45)【発行日】2024-05-08

(54)【発明の名称】顔解析のための画像正規化

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240426BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 10

(21)【出願番号】P 2020133206

(22)【出願日】2020-08-05

(65)【公開番号】P2021043960

(43)【公開日】2021-03-18

【審査請求日】2023-05-08

(31)【優先権主張番号】16/563559

(32)【優先日】2019-09-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(73)【特許権者】

【識別番号】591236068

【氏名又は名称】カーネギー－メロン ユニバーシティ

【氏名又は名称原語表記】ＣＡＲＮＥＧＩＥ－ＭＥＬＬＯＮ ＵＮＩＶＥＲＳＩＴＹ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】新沼 厚一郎

(72)【発明者】

【氏名】ジェニ・ラズロ エイ

(72)【発明者】

【氏名】エルトゥールル・イティル オナル

(72)【発明者】

【氏名】コーン・ジェフリー エフ

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１７－１２０６０９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／００８６２１５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２８６７５９（ＵＳ，Ａ１）

【文献】特開２０１３－１１７７９４（ＪＰ，Ａ）

【文献】Tadas Baltrusaitis et al，Cross-dataset learning and person-specific normalisation for automatic Action Unit detection，2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition，米国，IEEE，2015年，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7284869

【文献】Philipp Werner et al，Generalizing to Unseen Head Poses in Facial Expression Recognition and Action Unit Intensity Estimation，2019 14th IEEE International Conference on Automatic Face & Gesture Recognition，日本，IEEE，2019年，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8756596

【文献】溝尻 勲 Isao Mizoshiri，顔輪郭曲線座標を用いた二次元変形関数 Two Dimensional Warping Function Using Face-Outline Coordinate，電気学会論文誌Ｃ Ｖｏｌ．１２４ Ｎｏ．４ IEEJ，日本，（社）電気学会 The Institute of Electrical Engineers of Japan，2004年04月01日，第124巻 第4号，p.953ーp.958

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ベース顔画像を取得するステップと、
前記ベース顔画像内の第１のベース顔特徴セットを取得するステップであり、前記第１のベース顔特徴セットは、解析顔画像において検出されるべき第１の顔動作単位（ＡＵ）に関連づけられるものとして選択される、ステップと、
前記ベース顔画像内の第２のベース顔特徴セットを取得するステップであり、前記第２のベース顔特徴セット内の少なくとも１つの顔特徴が前記第１のベース顔特徴セット内のものと異なり、前記第２のベース顔特徴セットは、前記解析顔画像において検出されるべき第２の顔ＡＵに関連づけられるものとして選択される、ステップと、
前記解析顔画像を取得するステップと、
前記第１のベース顔特徴セットを使用して前記解析顔画像に第１の画像正規化を適用して、前記解析顔画像における前記第１の顔ＡＵの確率の予測を容易にするステップと、
前記第２のベース顔特徴セットを使用して前記解析顔画像に第２の画像正規化を適用して、前記解析顔画像における前記第２の顔ＡＵの確率の予測を容易にするステップと、
を含む方法。

【請求項2】

前記第１の画像正規化を適用するステップは、前記第１のベース顔特徴セットを使用してプロクラステス解析変換を適用するステップを含む、請求項１に記載の方法。

【請求項3】

前記第１のベース顔特徴セットは、前記第１の顔ＡＵの間に動く顔の領域に位置づけられるように選択される、請求項１に記載の方法。

【請求項4】

前記第１のベース顔特徴セットの密度が、前記第１の顔ＡＵの間に動かない前記顔の領域より前記第１の顔ＡＵの間に動く前記顔の領域においてより高密度であるように選択される、請求項３に記載の方法。

【請求項5】

前記第１のベース顔特徴セットは、前記第１の顔ＡＵの間に動く顔特徴が前記第１の顔ＡＵの間に動かない顔特徴より重く重み付けされるように、重み付けされる、請求項１に記載の方法。

【請求項6】

前記第１のベース顔特徴セットの重みは、遮蔽感度マップ、又は前記第１の顔ＡＵに関連づけられた動きで使用される筋群のセット、のうち少なくとも１つに基づいて決定される、請求項４に記載の方法。

【請求項7】

複数の訓練顔画像に対してオペレーションを実行することにより顔解析エンジンを訓練するステップ、をさらに含み、前記オペレーションは、
前記第１のベース顔特徴セットを使用して前記第１の画像正規化を第１の訓練顔画像に適用して、前記第１の訓練顔画像における前記第１の顔ＡＵを識別するように前記顔解析エンジンを訓練することと、
前記第２のベース顔特徴セットを使用して前記第２の画像正規化を第２の訓練顔画像に適用して、前記第２の訓練顔画像における前記第２の顔ＡＵを識別するように前記顔解析エンジンを訓練することと、
を含む、請求項１に記載の方法。

【請求項8】

前記解析顔画像における前記第１の顔ＡＵ及び前記第２の顔ＡＵのうち少なくとも１つの強度を推定するステップ、をさらに含む請求項１に記載の方法。

【請求項9】

１つ以上のプロセッサにオペレーションを実行させるコンピュータプログラムであって、前記オペレーションは、
正面顔を有するベース顔画像を取得することと、
前記ベース顔画像内の第１のベース顔特徴セットを取得することであり、前記第１のベース顔特徴セットは、解析顔画像において検出されるべき第１の顔動作単位（ＡＵ）に関連づけられるものとして選択される、ことと、
前記ベース顔画像内の第２のベース顔特徴セットを取得することであり、前記第２のベース顔特徴セット内の少なくとも１つの顔特徴が前記第１のベース顔特徴セット内のものと異なり、前記第２のベース顔特徴セットは、前記解析顔画像において検出されるべき第２の顔ＡＵに関連づけられるものとして選択される、ことと
前記解析顔画像を取得することと、
前記第１のベース顔特徴セットを使用して前記解析顔画像に第１の画像正規化を適用して、前記解析顔画像における前記第１の顔ＡＵの確率の予測を容易にすることと、
前記第２のベース顔特徴セットを使用して前記解析顔画像に第２の画像正規化を適用して、前記解析顔画像における前記第２の顔ＡＵの確率の予測を容易にすることと、
を含む、コンピュータプログラム。

【請求項10】

システムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサにより実行されたときに当該システムにオペレーションを実行させる命令を含む１つ以上の非一時的コンピュータ読取可能媒体と、を備え、
前記オペレーションは、
正面顔を有するベース顔画像を取得することと、
前記ベース顔画像内の第１のベース顔特徴セットを取得することであり、前記第１のベース顔特徴セットは、解析顔画像において検出されるべき第１の顔動作単位（ＡＵ）に関連づけられるものとして選択される、ことと、
前記ベース顔画像内の第２のベース顔特徴セットを取得することであり、前記第２のベース顔特徴セット内の少なくとも１つの顔特徴が前記第１のベース顔特徴セット内のものと異なり、前記第２のベース顔特徴セットは、前記解析顔画像において検出されるべき第２の顔ＡＵに関連づけられるものとして選択される、ことと
前記解析顔画像を取得することと、
前記第１のベース顔特徴セットを使用して前記解析顔画像に第１の画像正規化を適用して、前記解析顔画像における前記第１の顔ＡＵの確率の予測を容易にすることと、
前記第２のベース顔特徴セットを使用して前記解析顔画像に第２の画像正規化を適用して、前記解析顔画像における前記第２の顔ＡＵの確率の予測を容易にすることと、
を含む、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、顔解析のための画像正規化に関する。

【背景技術】

【0002】

顔の解析は、個人を識別するため、あるいは顔の表情を識別するために用いられている。しかしながら、異なる顔の画像は異なる向き又は姿勢を有し、そのような画像の一貫した解析の提供を困難にしている。

【発明の概要】

【0003】

本開示の１つ以上の実施形態が、ベース顔画像を取得するステップと、ベース顔画像内の第１のベース顔特徴セットを取得するステップと、を含む方法を含み得、第１のベース顔特徴セットは、解析顔画像において検出されるべき第１の顔動作単位（ＡＵ）に関連づけられるものとして選択され得る。当該方法は、ベース顔画像内の第２のベース顔特徴セットを取得するステップをさらに含んでもよく、第２のベース顔特徴セット内の少なくとも１つの顔特徴が、第１のベース顔特徴セット内のものと異なる。第２の顔特徴セットは、解析顔画像において検出されるべき第２の顔ＡＵに関連づけられるものとして選択され得る。当該方法は、解析顔画像を取得するステップと、第１のベース顔特徴セットを使用して解析顔画像に第１の画像正規化を適用して、解析顔画像における第１の顔ＡＵの確率の予測を容易にするステップと、をさらに含んでもよい。当該方法は、第２のベース顔特徴セットを使用して解析顔画像に第２の画像正規化を適用して、解析顔画像における第２の顔ＡＵの確率の予測を容易にするステップをさらに含んでもよい。

【0004】

実施形態の目的及び利点は、少なくとも特許請求の範囲において特に指し示された要素、特徴、及び組み合わせにより実現され、達成される。

【0005】

前述の一般的な説明及び以下の詳細な説明の双方が単に例示であり、説明的であり、限定ではないことが理解されるべきである。

【図面の簡単な説明】

【0006】

例示的な実施形態が、添付図面の使用を通してさらなる特定性及び詳細と共に記載され、説明される。

【図1】画像正規化及び顔解析の一例示的なフローを示す図である。

【図2】画像正規化及び顔解析の別の例示的なフローを示す別の図である。

【図3】顔画像の画像正規化の例示的な方法の一例示的なフローチャートを示す。

【図4A】顔画像における顔動作単位（ＡＵ）の画像正規化及び予測の例示的な方法の一例示的なフローチャートを示す図である。

【図4B】顔画像における顔動作単位（ＡＵ）の画像正規化及び予測の例示的な方法の一例示的なフローチャートを示す図である。

【図5】画像正規化の１つの手法の例示的な方法の一例示的なフローチャートを示す。

【図6】一例示的なコンピューティングシステムを示す。

【発明を実施するための形態】

【0007】

本開示は、顔画像を解析し、解析される解析画像内にＡＵがあるか否かを予測することに関し、ＡＵが存在する場合にはその強度（intensity）を予測することができる。解析画像間の一貫した解析を提供するために、解析画像は正規化され（normalized）得る。例えば、ベース画像内のベースの特徴セットが選択されてもよく、対応する特徴が、解析されるべき解析画像内で識別されてもよい。識別された特徴の位置を使用し、解析画像はスケーリング、転置、回転等されてもよく、それにより、解析画像はベース画像と整合する。いくつかの実施形態において、画像正規化は、解析画像においてどのＡＵが検出されているかに基づいて異なり得る。例えば、ＡＵ又はＡＵのセットに特有の異なる特徴がベース画像内で選択されてもよい。次いで、解析画像は、予測モデル、エンジン、又は他のツールを使用して解析され、解析画像内のＡＵの存在及び／又は強度の確率を検出又は予測することができる。

【0008】

いくつかの状況において、本開示の実施形態は、本開示の教示を適用することにより、コンピュータの性能の改善を容易にし得る。例えば、専用の画像正規化を提供することにより、コンピュータにおけるコンピュータベースのＡＵ識別が改善され得、それにより、より正確で一貫した解析が実行され得る。システムがより正確であるため、実行される必要がある検出の反復はより少なくなる可能性があり、結果として、コンピューティング処理のリソース及び時間が節約される。さらに、正確さの増大が改善そのものである。

【0009】

１つ以上の例示的な実施形態が、添付の図面を参照して説明される。

【0010】

図１は、本開示の１つ以上の実施形態による、画像正規化及び顔解析の一例示的なフロー１００を示す図である。フロー１００は、ベース画像１１０が、解析画像１２０（例えば、解析画像１２０ａ及び１２０ｂ）における１つ以上のＡＵの予測を容易にするために使用される処理を示す。図６を参照して説明されるコンピューティングシステムなどのコンピューティングシステムが、フロー１００を実施するタスクを実行してもよい。

【0011】

図１に示すように、ベース画像１１０が取得され得る。ベース画像は、他の画像において再現可能に（reproducibly）識別され得る特徴を導出し、そのような他の画像の正規化を容易にするために使用され得る。例えば、ベース画像１１０を使用して、特徴１１５のベースセットを導出してもよい。特徴１１５は、目の中心、鼻の先端、口の角及び中心、並びに顔の輪郭など、顔の任意の位置１１８を含んでもよい。特徴１１５が複数画像にわたり使用されて、画像の一貫した正規化を容易にすることができる。ベース画像１１０は、中立表情で前向きの顔の画像を含んでもよい。本明細書で用いられるとき、中立表情は、顔画像のＡＵのうち過半数がＡ以下の強度を有するものとして特徴づけられ得る。いくつかの実施形態において、中立表情は、顔画像のＡＵのうち全て又はほぼ全て（例えば、１つを除く全て、２つを除く全て、３つを除く全て等）がＡ以下の強度を有するものとして具体的に識別されてもよい。いくつかの実施形態において、ベース画像１１０は、画像解析１５０を実行するエンティティ、エンジン、モデル等により予期されるサイズに再スケーリングされてもよい。

【0012】

いくつかの実施形態において、特徴１１５のベースセットは、特徴１１５のベースセットとして使用されるべき種々の顔の目印の位置の検出及び／又は識別を容易にし得るサードパーティツール又はアプリケーションプログラミングインターフェース（ＡＰＩ）を使用して取得されてもよい。

【0013】

特徴１１５のベースセットを取得した後、１つ以上の解析画像１２０が取得され得、特徴１１５のベースセットに対応する特徴１２５が、解析画像１２０内のそれらの位置１２８で識別され得る。図１に示すように、特徴１２５は、解析画像１２０ａの位置１２８ａ及び解析画像１２０ｂの位置１２８ｂにある。図から分かるように、画像は異なる視点からのものであるため、特徴１２５ａ及び１２５ｂは、それぞれ、異なる対応する位置１２８ａ及び１２８ｂを有する。

【0014】

位置１２８ａ及び／又は１２８ｂに基づき、解析画像１２０に対して画像正規化が実行される。例えば、解析画像１２０は、正規化された位置にあるように回転、サイズ変更、移動等されて、様々な解析画像１２０にわたり一貫した解析を可能にすることができる。いくつかの実施形態において、そのような画像正規化は、ベース画像１１０及び／又は対応する特徴１１５のベースセットに対するプロクラステス解析変換（Procrustes analysis transformation）を含んでもよい。画像回転、サイズ変更等の一例を図５に示す。画像正規化１３０は、正規化された画像１４０（正規化画像１４０ａ及び１４０ｂなど）を生じ得る。プロクラステス解析変換が一例示的な正規化手法として使用されるが、種々の正規化手法のうち任意のものが使用されてよい。

【0015】

解析画像１２０が正規化画像１４０に正規化された後、正規化画像１４０に対して画像解析１５０が実行され得る。例えば、１つ以上のＡＵの存在の可能性の予測が、画像解析１５０において正規化画像１４０に対して行われてもよい。これら及び他の実施形態において、ＡＵ４の確率の推定が、正規化画像１４０ａに対して１５２ａで、及び正規化画像１５２ｂに対して１５２ｂで実行されてもよい。これら及び他の実施形態において、予測は、ＡＵの二元的な非存在又は存在を含んでもよい。さらに又は代わりに、ＡＵの強度が予測の一部でもよく、例えば、Ａ～Ｅの間のランクなどであり、Ａ‐微量（trace）、Ｂ‐軽度（slight）、Ｃ‐顕著（marked）／明白（pronounced）、Ｄ‐厳密（severe）又は極度（extreme）、及びＥ‐個人の最大値である（例えば、ＡＵ１を予測／検出するとき、その結果はＡＵ１Ｂである可能性があり、ＡＵ１のわずかな存在を意味する）。ＡＵの予測／検出に追加で、画像解析１５０は、顔検出、顔識別／認識など、任意の他の解析を含んでもよい。画像解析１５０は、解析画像１２０内のＡＵの確率を予測する任意のタイプの画像解析を含んでもよい。例えば、画像解析１５０は、種々のＡＵを識別するためにデータセットを使用して訓練される機械学習モデル、エンジン、コンポーネント、システム等を含んでもよい。別の例として、画像解析１５０は、サードパーティ解析ツールのＡＰＩを含んでもよい。

【0016】

画像解析１５０の結果は、ディスプレイに出力されてもよく、あるいはその他の方法でコンピューティングデバイスにおいて使用されてもよい。いくつかの実施形態において、出力は、本明細書の表１において識別されるＡＵ０～２８を含む複数のＡＵの解析を含んでもよい。

【0017】

解析画像１２０に対して顔解析を行うとき、解析画像１２０は、常にベース画像１１０と同じ向きではない。例えば、解析画像１２０は、上方かつ遠方を見ているか、又は解析画像１２０を捕捉するカメラからわずかに外れた向きである等の顔を含むことがある。さらに又は代わりに、解析画像１２０を捕捉するときに使用される撮像装置又は設定により、特定の歪みが引き起こされる可能性がある。特徴１１５を使用することにより、解析画像１２０は、ベース画像１１０と同様のサイズ及び／又は向きに正規化され、画像解析１５０における一貫した顔解析を容易にすることができる。

【0018】

いくつかの実施形態において、特徴１１５のベースセットは、ベース画像１１０において手動で識別されてもよい。例えば、人間のオペレータが、特徴１１５のベースセットのための特徴として、ベース画像１１０内の特定の位置を物理的に選択してもよい。

【0019】

いくつかの実施形態において、ベース画像１１０及び／又は特徴１１５のベースセットは、画像の訓練データセットから自動的に取得されてもよい。例えば、顔の特徴の位置は、訓練データセット内の画像にわたり平均化され（averaged）てもよい。平均位置に基づき、ベース画像１１０は、平均位置と最も近く整合した顔の特徴を有する画像、及び／又は平均位置の閾値（例えば、距離、パーセンテージ等）内の画像として選択されてもよい。目下識別されたベース画像１１０を使用し、ベース画像１１０内で特徴１１０のベースセットが識別されてもよい。例えば、特徴１１０のベースセットが、目の各々の中心に、鼻の先端に、口の角及び口の中心に、並びに顔の外周の周りに目印を含む場合、これらの特徴が、ベース画像１１０に基づいて取得されてもよい。

【0020】

いくつかの実施形態において、特徴１１５のベースセットを自動的に識別するとき、訓練データセットが使用されてもよい。特徴として使用される顔の特徴は、訓練データセットにわたり平均化されてもよく、特徴の位置は、いずれかの特定の顔画像に基づくのでなく、平均化された位置に基づいてもよい。例えば、特徴の１つが目の中心にある場合、訓練データセットにわたる目の中心の平均位置が、訓練データセット内のいずれかの特定の画像に対応しないとしても、目印の位置として使用されてもよい。

【0021】

いくつかの実施形態において、どの特徴を使用するかの選択は、顔画像においてどの動作単位（action unit、ＡＵ）が解析されているかに基づいてもよい。例えば、解析画像１２０内で検出される異なるＡＵに対して、異なる特徴セットが使用されてもよい。例えば、ＡＵ１の確率が解析画像１２０において予測されている場合、特徴は、額の近くの目及び前頭筋の周りで、より大量に配置されてもよい（例えば、特徴は、ＡＵ１の実行において動くことが予期される顔の領域の周りで、より高密度でもよい）。そうすることで、顔の動作が生じることが予期される場所の近くの変化を見分けるためのさらなる強調及び能力を提供することができる。さらに、動くことが予期される顔の部分又はその近くにより多くの特徴を配置することにより、これらの特徴の近くの歪みが、顔の他の領域と比較して低減され得る。いくつかの実施形態において、特徴は、複数ＡＵにわたり維持されてもよく、解析されるＡＵに基づき、異なる特徴に対して異なる重みが適用されてもよい。例えば、解析画像１２０においてＡＵ１の確率が予測されている場合、額の近くの目及び前頭筋の周りの特徴は、顎先の近くの特徴などの他の特徴より重く重み付けされてもよい。いくつかの実施形態において、特定の特徴に与えられるべき重みの識別は、ＡＵが実行されるときの顔の特徴における変化のヒストグラム値をマッピングすることができる遮蔽感度マップ（occlusion sensitivity map）に基づいてもよく、重みは、より高いヒストグラム値に対してより高くてもよい。表１（下記）はいくつかのＡＵの例を提供し、対応する顔面動作符号化システム（Facial Action Coding System、ＦＡＣＳ）名と、顔の動作を引き起こす筋肉群を有する。

【表1】

【0022】

本開示の範囲から逸脱することなく、フロー１００に対して修正、追加、又は省略がなされてもよい。例えば、記載された方法における異なる要素の指定は、本明細書に記載される概念の説明を助けることを意図し、限定するものではない。さらに、フロー１００は、任意数の他の要素を含んでもよく、あるいは記載されたもの以外のシステム又は文脈において実現されてもよい。例えば、任意数の解析画像１２０が解析されてもよい。別の例として、ベース画像１１０は、いずれの画像にも基づかない特徴１１５のベースセットを生じる画像のテストデータセットで置換されてもよい。

【0023】

図２は、本開示の１つ以上の実施形態による、画像正規化及び顔解析の別の例示的なフロー２００を示す別の図である。図１は、複数の画像にわたる画像解析を実行するためにベース特徴の単一のセットが使用され得るフローを示す。図２は、画像解析２５０を実行するために特徴２１５の複数のベースセットが使用され得るフロー２００を示し、特徴２１５のベースセットは、予測されるＡＵ（又はＡＵのセット）に特有であり得る。

【0024】

フロー２００が示すように、ベース画像２１０が取得され得る。ベース画像２１０は、図１のベース画像１１０と同様又は同等でもよい。例えば、ベース画像２１０は、ベース画像２１０の顔に中立表情を有して前向きでもよい。ベース画像２１０内で、ベース特徴２１５の少なくとも２つの区別可能なセットが識別され得る。例えば、位置２１８ａにおける特徴２１５ａのベースセットが、ＡＵ１に関連づけられてもよく、それ自体、顔の目の近くにさらなる特徴２１５ａを有して、眉の上がりをより良好に測定してもよい。ベース特徴２１５のセットは、図１を参照して上述した方法と同様の方法で取得されてもよい。例えば、位置２１８ａが、画像の訓練データセットにわたり平均化されてもよく、位置２１８ｂが、訓練データセットにわたり平均化されてもよく、ベース画像２１０は、位置２１８ａ及び２１８ｂの双方にわたり平均位置と最も近く整合した顔の特徴を有する画像として選択されてもよい。いくつかの実施形態において、位置２１８ａ及び／又は２１８ｂのサブセット（及び／又は、特徴２１５の他のセット）が、ベース画像２１０を自動的に識別することに使用されてもよい。特徴２１５ａの位置２１８ａを自動的に識別する別の例として、特徴２１８ａの平均位置は、特定の画像をベース画像２１０として識別することなく、訓練データセットの画像全体にわたり平均化されてもよい。そのような識別は、特徴２１５のセットの各々について繰り返されてもよく、各々が個々に平均化され、独立して選択されてもよい。

【0025】

フロー２００に示されるように、特徴２１５ａ及び２１５ｂのベースセット（及び／又はベース特徴２１５の他のセット）を取得した後、解析画像２２０が取得され得る。特徴２２５ａのセットが、解析画像２２０内で位置２２８ａにおいて識別され得る。同様に、特徴２２５ｂのセットが、解析画像２２０内で位置２２８ｂにおいて識別され得る。

【0026】

特徴２２５ａに基づき、解析画像２２０は、画像正規化２３０ａにおいて検出されるＡＵ（例えば、ＡＵ１）に特有の方法で正規化され得、正規化された画像２４０ａを生じる。例えば、解析画像は、位置２２８ａにおける特徴２２５ａと特徴２１５ａを使用してプロクラステス解析変換を受けてもよい。同様に、解析画像２２０は、画像正規化２３０ｂにおいて検出されるＡＵ（例えば、ＡＵ４）に特有の方法で正規化され得、正規化された画像２４０ｂを生じる。

【0027】

正規化された後、正規化画像２４０ａに対して画像解析２５０が実行され得る。例えば、画像解析２５０は、ＡＵ１が解析画像２２０内に存在する確率のＡＵ１推定２５２ａを実行してもよい。さらに又は代わりに、画像解析２５０は、ＡＵ１の強度‐０（２５４ａとラベル付けされている）などの、ＡＵの強度２５４を生じてもよい。同様に、画像解析２５０は、ＡＵ４が解析画像２２０内に存在する確率のＡＵ４推定２５２ｂを実行してもよく、かつ／あるいはＡＵ４の強度‐Ｂ（２５４ｂとラベル付けされている）を提供してもよい。

【0028】

フロー２００は２つの区別可能なＡＵについて例示されたが、解析される各ＡＵについてベース特徴２１５の任意数の個別のセットが存在し得ることが理解される。さらに又は代わりに、ＡＵのグループ化が、同じベース特徴２１５のセットを使用してもよい（例えば、口の動きに関連するＡＵが１つのベース特徴セットを使用してもよく、目と眉の動きが別個かつ区別可能なベース特徴セットを使用してもよい）。

【0029】

本開示の範囲から逸脱することなく、フロー２００に対して修正、追加、又は省略がなされてもよい。例えば、記載された方法における異なる要素の指定は、本明細書に記載される概念の説明を助けることを意図し、限定するものではない。さらに、フロー２００は、任意数の他の要素を含んでもよく、あるいは記載されたもの以外のシステム又は文脈において実現されてもよい。例えば、任意数の解析画像２２０が解析されてもよい。別の例として、任意数のＡＵの存在が予測されてもよい。

【0030】

図３は、本開示の１つ以上の実施形態による、顔画像の画像正規化の例示的な方法の一例示的なフローチャートを示す。方法３００の１つ以上のオペレーションが、図６のコンピューティングデバイス６００などのシステム若しくはデバイス又はこれらの組み合わせにより実行されてもよい。方法３００は、フロー１００及び／又は２００などの本開示のフローのうち１つ以上の一例示的な実装であり得る。個別のブロックとして示されているが、方法３００の種々のブロックが所望の実装に依存してさらなるブロックに分割されてもよく、より少ないブロックに組み合わせられてもよく、あるいは消去されてもよい。

【0031】

ブロック３０５において、ベース顔画像が取得され得る。例えば、ベース顔画像は、ユーザ又は管理者により提供又は選択されてもよい。別の例として、顔の特徴の位置が訓練データセットの画像にわたり平均化されてもよく、平均位置に最も近い顔の特徴を有する画像がベース顔画像として使用されてもよい。ベース顔画像は、本開示に矛盾しない任意の方法で識別及び／又は取得されてもよい。

【0032】

ブロック３１０において、ブロック３０５で取得されたベース顔画像から、ベース顔特徴のセットが取得され得る。例えば、目、眉、鼻、顎ライン、口唇、舌等のような重要な顔の特徴が、ベース顔特徴のセットにおける特徴の役割を果たしてもよい。いくつかの実施形態において、ベース顔特徴のセットは、（例えば、ブロック３０５に関して説明されたように）自動的に識別されてもよい。さらに又は代わりに、ユーザが、特徴のセット及び／又はベース画像を選択してもよい。いくつかの実施形態において、ベース顔特徴のセットは、顔画像において検出される種々のＡＵを実行することに使用される筋群に基づいて選択されてもよい。例えば、ＡＵ１が解析において検出されている場合、眉に関連づけられた特徴が含まれてもよい。顔の特徴のベースセットは、本開示に矛盾しない任意の方法で識別及び／又は取得されてもよい。

【0033】

ブロック３１５において、解析画像ｎが取得され得る。例えば、画像が取得され、ブロック３０５からのベース顔画像及び／又はブロック３１０からの顔特徴のベースセットを使用して解析されてもよい。画像ｎは、顔を有する任意の画像を含んでもよく、これは、ベース画像の姿勢とは異なる姿勢などの、任意の方向に向けられた又は向いている顔を含み得る。いくつかの実施形態において、画像ｎは、画像解析を実行するために使用される機械学習システム又は他のシステムを訓練するための訓練データセットの一部として使用されてもよい。

【0034】

ブロック３２０において、ベース顔特徴に基づいて解析画像ｎに画像正規化が適用され得る。例えば、画像ｎは、プロクラステス解析変換又は何らかの他の画像修正手法を使用して正規化されてもよく、その一例が図５を参照して説明される。これら及び他の実施形態において、画像正規化は、画像の回転、サイズ変更、転置、伸長、スキュー等をもたらしてもよい。ブロック３２０から進み、方法３００は、顔の動作の検出を容易にするようモデルを訓練する場合にはブロック３２５に進み得、方法３００は、画像に対して画像解析を行う場合にはブロック３３０に進み得る。

【0035】

ブロック３２５において、正規化された解析画像ｎを使用してモデルが訓練され得る。例えば、機械学習システム又は他の訓練可能な解析システムが使用され、画像ｎ（及び／又は他の画像）を解析して、種々のＡＵの存在及び／又は非存在を識別してもよい。いくつかの実施形態において、モデルを訓練するとき、画像ｎは、画像ｎにおいてどのＡＵが存在し又は非存在であるかの指標を含むことがあり、それにより、モデルは、特徴のどの向き及び／又は位置がＡＵの存在及び／又はＡＵの強度を示すかを習得し得る。さらに又は代わりに、画像ｎは、訓練データセット内の画像にどのＡＵが存在するかのいかなる指標も含まなくてもよい。訓練データセットにわたる特徴の位置の変動に基づき、相対的な差が、ＡＵが存在するか否かの予測として投影されてもよい。例えば、訓練データセット内の画像の８０％が、あるＡＵに関連づけられた特徴を互いの閾値距離内に含み、残りの２０％が、互いから離れて広がっている場合、８０％は、該ＡＵの欠如に対応し、残りの２０％は、該所与のＡＵに関して異なる強度値に対応するものとして分離されてもよい。さらに又は代わりに、データセットにわたりモデルを訓練することにより、ＡＵの存在又は非存在は、異なる向きに基づいて決定されてもよく、これは、訓練データセットが、異なる顔の姿勢での（例えば、カメラを直接前方に見ているのでなく、横を見ている、下方かつ遠方を見ている）ＡＵの存在／非存在を観測した可能性があるためである。画像ｎに基づいてモデルを訓練するブロック３２５の後、方法３００はブロック３３５に進み得、それにより、訓練データセット内のさらなる画像が解析され、モデルに寄与し得る。

【0036】

ブロック３３０において、正規化された画像ｎ及びその中の特徴の位置に基づいて、解析画像ｎ内の１つ以上のＡＵについて予測が行われ得る。例えば、正規化解析画像ｎ内の特徴はブロック３２５で訓練されたモデルと比較され、モデルを使用して所与のＡＵの存在又は非存在を予測してもよい。さらに又は代わりに、正規化解析画像ｎは、特徴の位置に関わらず画像解析を実行されてもよい。ＡＵの存在、非存在、及び／又は強度を予測する画像解析は、任意の予測／検出アプローチでもよい。解析画像ｎについてのＡＵの存在／非存在／強度を予測するブロック３３０の後、方法３００はブロック３３５に進み得る。

【0037】

ブロック３３５において、全ての解析画像が解析されているかどうかについて判定が行われ得る。例えば、モデルを訓練することに使用された訓練データセットの全ての画像が考慮されたかどうかについて判定が行われてもよい。別の例として、ＡＵの存在／非存在／強度について解析されるべき全ての画像が考慮されたかどうかについて判定が行われてもよい。画像の全てが解析されたわけではない場合、方法３００はブロック３４０に進み得、ブロック３４０ではｎが１だけ増やされ、その後、方法３００はブロック３１５に戻り、訓練及び／又は解析のための次の解析画像を取得する。画像の全てが解析された場合、方法３００はブロック３４５に進み得、ブロック３４５で方法３００は終了し得る。

【0038】

本開示の範囲から逸脱することなく、方法３００に対して修正、追加、又は省略がなされてもよい。例えば、方法３００のオペレーションは異なる順序で実現されてもよい。さらに又は代わりに、２つ以上のオペレーションが同時に実行されてもよい。さらに、概説されるオペレーション及び動作は例として提供されており、オペレーション及び動作のいくつかが、開示される実施形態の本質を損なうことなく任意でもよく、より少ないオペレーション及び動作に組み合わせられてもよく、あるいはさらなるオペレーション及び動作に拡張されてもよい。

【0039】

図４Ａ及び図４Ｂは、本開示の１つ以上の実施形態による、顔画像における動作単位（ＡＵ）の画像正規化及びの予測の例示的な方法４００の一例示的なフローチャートを示す。方法４００の１つ以上のオペレーションが、図６のコンピューティングデバイス６００などのシステム若しくはデバイス又はこれらの組み合わせにより実行されてもよい。方法４００は、フロー１００及び／又は２００などの本開示のフローのうち１つ以上の一例示的な実装であり得る。個別のブロックとして示されているが、方法４００の種々のブロックが所望の実装に依存してさらなるブロックに分割されてもよく、より少ないブロックに組み合わせられてもよく、あるいは消去されてもよい。

【0040】

ブロック４０５において、ベース顔画像が取得され得る。ブロック４０５は、図３のブロック３０５と同様又は同等でもよい。

【0041】

ブロック４１０において、第１のＡＵに関連づけられた第１のベース顔特徴セットが取得され得る。ブロック４１０は、図３のブロック３１０と同様又は同等でもよいが、ブロック４１０において、第１のベース顔特徴セットはＡＵに特有でもよい。例えば、第１のベース顔特徴セットは、ＡＵ内で動く顔の部分に近接してより多くの特徴を含んでもよい。

【0042】

ブロック４１５において、第２のＡＵに関連づけられた第２のベース顔特徴セットが取得され得る。ブロック４１５は、ブロック４１０と同様又は同等でもよいが、第２のベース顔特徴セットは、第１のベース顔特徴セットと異なるＡＵと関連づけられ得る。したがって、第２のベース顔特徴セットは、第１のベース顔特徴セットと異なり得る。

【0043】

ブロック４２０において、解析画像ｎが取得され得る。解析画像ｎは、画像解析に使用され得る。

【0044】

ブロック４２５において、解析画像ｎが解析されて第１のＡＵの存在／非存在／強度を検出したかどうかの判定が行われ得る。そのような解析が実行されなかった場合、方法４００はブロック４３５に進み得る。そのような解析が実行された場合、方法４００はブロック４３０に進み得る。

【0045】

ブロック４３０において、解析画像ｎが解析されて第２のＡＵの存在／非存在／強度を検出したかどうかの判定が行われ得る。そのような解析が実行されなかった場合、方法４００はブロック４４５に進み得る。そのような解析が実行された場合、方法４００はブロック４５５に進み得る。

【0046】

ブロック４３５において、第１のベース顔特徴セットを使用して解析画像ｎに画像正規化が適用され得る。例えば、解析画像ｎは、変換で使用される点が第１のベース顔特徴セットであるプロクラステス解析変換を受けてもよい。これら及び他の実施形態において、ブロック４３５は、図３のブロック３２０と同様又は同等でもよいが、第１のベース顔特徴セットに基づき得る。

【0047】

ブロック４４０において、第１のＡＵの確率が、ブロック４３５からの正規化された画像を使用して予測され得る。これら及び他の実施形態において、第１のＡＵの強度が予測に含まれてもよい。ブロック４４０は、図３のブロック３３０と同様又は同等でもよいが、第１のＡＵに特有であり得る。ブロック４４０の後、方法４００はブロック４２５に戻り得る。

【0048】

ブロック４４５において、第２のベース顔特徴セットを使用して解析画像ｎに画像正規化が適用され得る。ブロック４４５は、ブロック４３５と同様又は同等でもよいが、第２のベース顔特徴セットに基づき得る。ブロック４４５が異なるベース顔特徴セットに基づくため、ブロック４４５で生成される正規化画像は、ブロック４３５で生成される正規化画像と比較して向き、回転、スケーリング等が異なり得る。そのような差は、第１及び／又は第２のＡＵで使用される筋群の領域で、及び／又は該筋群に近接して強調され得る。

【0049】

ブロック４５０において、第２のＡＵの確率が、ブロック４４５からの正規化された画像を使用して予測され得る。ブロック４５０は、ブロック４４０と同様又は同等でもよいが、第１のＡＵではなく第２のＡＵに特有であり得る。ブロック４５０の後、方法４００はブロック４２５に戻り得る。

【0050】

ブロック４５５において、全ての解析画像が解析されたかどうかの判定が行われ得る。例えば、解析されるべき全ての画像がブロック４２５～４５０を通して解析され、第１のＡＵ及び／又は第２のＡＵが画像内に存在する確率を予測したかどうかの判定が行われてもよい。解析画像の全てが解析されたわけではない場合、方法４００は、ｎが１だけ増やされるブロック４６０に進み得、解析のための次の画像を取得するブロック４２０に戻り得る。解析画像の全てが解析された場合、方法４００は、ブロック４６５に進んで終了し得る。

【0051】

本開示の範囲から逸脱することなく、方法４００に対して修正、追加、又は省略がなされてもよい。例えば、方法４００のオペレーションは異なる順序で実現されてもよい。さらに又は代わりに、２つ以上のオペレーションが同時に実行されてもよい。さらに、概説されるオペレーション及び動作は例として提供されており、オペレーション及び動作のいくつかが、開示される実施形態の本質を損なうことなく任意でもよく、より少ないオペレーション及び動作に組み合わせられてもよく、あるいはさらなるオペレーション及び動作に拡張されてもよい。例えば、ブロック４２５～４５０は、単に第１及び第２のＡＵではなく、ＡＵ０～２８などの任意数のＡＵに対して繰り返され／反復されてもよい。

【0052】

図５は、本開示の１つ以上の実施形態による、画像正規化の１つの手法の例示的な方法５００の一例示的なフローチャートを示す。方法５００の１つ以上のオペレーションが、図６のコンピューティングデバイス６００などのシステム若しくはデバイス又はこれらの組み合わせにより実行されてもよい。方法５００は、図３のブロック３２０、図４Ａの４３５、及び／又は図４Ｂの４４５などの画像正規化の一例示的な実装であり得る。個別のブロックとして示されているが、方法５００の種々のブロックが所望の実装に依存してさらなるブロックに分割されてもよく、より少ないブロックに組み合わせられてもよく、あるいは消去されてもよい。

【0053】

ブロック５１０において、解析画像が、ベース画像と同じサイズであるようにスケーリングされ得る。例えば、解析画像は、アスペクト比を維持してもよく、水平方向及び／又は垂直方向にベース画像と同じ画素数にスケーリングされてもよい。別の例として、解析画像は、解析画像内の顔の最大高さ及び／又は幅がベース画像内のものと同じであるようにスケーリングされてもよい。いくつかの実施形態において、ベース画像の特徴のベースセットと解析画像内の対応する特徴のセットが使用されてもよい。例えば、一般的な形状が形成されてもよく（例えば、楕円形又は円形）、あるいは、特徴の最大高さ又は幅がベース画像内で識別されてもよく、解析画像は、解析画像の顔における特徴が同じサイズの一般的な形状を形成し、又は同じ最大高さ／最大幅である等するように、スケーリングされてもよい。いくつかの実施形態において、ベース画像は、解析エンジン、モデル等により予期又は使用されるサイズに対応するようにサイズ設定されてもよい。

【0054】

ブロック５２０において、解析画像は、ベース画像の重心及び解析画像の重心に基づいてベース画像と同じ位置であるように転置され（transposed）得る。例えば、数学的に説明すると、解析画像とベース画像がデカルト座標にある場合、特徴は、（ｘ，ｙ）点（例えば、（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、．．．（ｘ_ｎ，ｙ_ｎ））にあり得、ベース画像の（ｘ，ｙ）点の平均（例えば、

【数1】

）が、原点（例えば、重心）として扱われてもよく、解析画像の（ｘ，ｙ）点の平均もまた、２つの原点が重なるように最初の画像を転置することにより原点（例えば、重心）として扱われてもよい。

【0055】

ブロック５３０において、解析画像は、ベース画像と整合する（aligned）ように回転され得る。例えば、解析画像は、ベース画像内の特徴のベースセットと解析画像内の対応する特徴との間の二乗距離の合計を最小にするように原点（例えば、重心）に関して回転されてもよい。別の例として、解析画像は、最大数の対応する特徴の重なりを最大化するように回転されてもよい。さらなる例として、画像は、特定のＡＵについて選択された重要な特徴又は特徴のサブセットが双方の画像において重なるよう、又は特徴のサブセット間の二乗距離の合計を最小化するように回転されてもよい。そのような特徴の一例として、ＡＵ１が予測されている場合、回転は、額の眉近くの重要な特徴点、又は眉に沿いかつ額の上方の特徴点のセット等を整合させてもよい。

【0056】

本開示の範囲から逸脱することなく、方法５００に対して修正、追加、又は省略がなされてもよい。例えば、方法５００のオペレーションは異なる順序で実現されてもよい（例えば、解析画像は、任意の順序でスケーリング、転置、又は回転されてもよい）。さらに又は代わりに、２つ以上のオペレーションが同時に実行されてもよい。さらに、概説されるオペレーション及び動作は例として提供されており、オペレーション及び動作のいくつかが、開示される実施形態の本質を損なうことなく任意でもよく、より少ないオペレーション及び動作に組み合わせられてもよく、あるいはさらなるオペレーション及び動作に拡張されてもよい。

【0057】

図６は、本開示に記載される少なくとも１つの実施形態による、データセット内のバイアスの判定及び／又は視覚化を容易にする一例示的なコンピューティングシステム６００を示す。コンピューティングシステム６００は、プロセッサ６１０、メモリ６２０、データ記憶装置６３０、及び／又は通信ユニット６４０を含んでもよく、これらはすべて通信上結合されてもよい。図１及び図２のフロー１００及び／又は２００のいずれか又は全てが、コンピューティングシステム６００と矛盾しないコンピューティングシステムにより実現されてもよい。さらに又は代わりに、図３～図５の方法３００、４００、及び／又は５００のオペレーションのうち任意のものが、コンピューティングシステム６００と矛盾しないコンピューティングシステムにより実行されてもよい。例えば、コンピューティングシステム６００は、顔画像を取得し、顔画像に対して画像正規化を実行し、顔画像におけるＡＵの確率を予測してもよい。

【0058】

一般に、プロセッサ６１０は、種々のコンピュータハードウェア又はソフトウェアモジュールを含む、任意の適切な専用若しくは汎用コンピュータ、コンピューティングエンティティ、又は処理デバイスを含んでもよく、任意の適用可能なコンピュータ読取可能記憶媒体に記憶された命令を実行するように構成されてもよい。例えば、プロセッサ６１０は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム命令を解釈及び／又は実行するよう及び／又はデータを処理するように構成された任意の他のデジタル若しくはアナログ回路を含んでもよい。

【0059】

図６において単一のプロセッサとして示されているが、プロセッサ６１０は、本開示に記載の任意数のオペレーションを個々又は集合的に実行するように構成された、任意数のネットワーク又は物理位置にわたり分散された任意数のプロセッサを含んでもよい。いくつかの実施形態において、プロセッサ６１０は、メモリ６２０、データ記憶装置６３０、又はメモリ６２０及びデータ記憶装置６３０に記憶されたプログラム命令を解釈及び／又は実行し、かつ／あるいはデータを処理してもよい。いくつかの実施形態において、プロセッサ６１０は、データ記憶装置６３０からプログラム命令を取り出し、プログラム命令をメモリ６２０にロードしてもよい。

【0060】

プログラム命令がメモリ６２０にロードされた後、プロセッサ６１０は、プログラム命令、例えば、図３～図５の処理３００、４００、及び／又は５００それぞれのうち任意のものを実行する命令などを実行することができる。例えば、プロセッサ６１０は、顔解析のために画像を正規化することに関する命令を取得してもよい。

【0061】

メモリ６２０及びデータ記憶装置６３０は、記憶されたコンピュータ実行可能命令又はデータ構造を搬送し又は有するコンピュータ読取可能記憶媒体又は１つ以上のコンピュータ読取可能記憶媒体を含むことができる。そのようなコンピュータ読取可能記憶媒体は、プロセッサ６１０などの汎用又は専用コンピュータによりアクセスされ得る任意の利用可能な媒体でもよい。いくつかの実施形態において、コンピューティングシステム６００は、メモリ６２０及びデータ記憶装置６３０のいずれかを含んでもよく、あるいは含まなくてもよい。

【0062】

限定でなく例として、そのようなコンピュータ読取可能記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読取専用メモリ（ＣＤ‐ＲＯＭ）若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、又はコンピュータ実行可能命令又はデータ構造の形式で所望のプログラムコードを搬送又は記憶するために使用でき、かつ汎用又は専用コンピュータによりアクセスできる任意の他の記憶媒体を含む、非一時的なコンピュータ読取可能記憶媒体を含んでもよい。上記の組み合わせもまた、コンピュータ読取可能記憶媒体の範囲内に含まれてもよい。コンピュータ実行可能命令は、例えば、プロセッサ６１０に特定のオペレーション又はオペレーションのグループを実行させるように構成された命令及びデータを含んでもよい。

【0063】

通信ユニット６４０は、ネットワークを介して情報を送信又は受信するように構成された任意のコンポーネント、デバイス、システム、又はこれらの組み合わせを含んでもよい。いくつかの実施形態において、通信ユニット６４０は、他の場所、同じ場所における他のデバイス、又はさらには同じシステム内の他のコンポーネントと通信してもよい。例えば、通信ユニット６４０は、モデム、ネットワークカード（無線又は有線）、光通信装置、赤外線通信装置、無線通信装置（アンテナなど）、及び／又はチップセット（Ｂｌｕｅｔｏｏｔｈ（登録商標）装置、８０２．６装置（メトロポリタンエリアネットワーク（ＭＡＮ）など）、ＷｉＦｉ装置、ＷｉＭａｘ（登録商標）装置、セルラー通信設備等）などを含んでもよい。通信ユニット６４０は、ネットワーク及び／又は本開示に記載される任意の他のデバイス又はシステムとの間でデータが交換されることを可能にし得る。例えば、通信ユニット６４０は、システム６００が、コンピューティングデバイス及び／又は他のネットワークなどの他のシステムと通信することを可能にし得る。

【0064】

当業者は本開示を検討した後、本開示の範囲から逸脱することなくシステム６００に対して修正、追加、又は省略がなされ得ることを認識し得る。例えば、システム６００は、明示的に例示及び記載されたものより多くの又は少ないコンポーネントを含んでもよい。

【0065】

前述の開示は、開示された正確な形式又は特定の分野の使用に本開示を限定することは意図されない。したがって、本明細書に明示的に記載されているか又は暗に示されているかにかかわらず、本開示に対する種々の代替実施形態及び／又は修正が本開示に照らして可能なことが企図される。このように本開示の実施形態を説明したが、本開示の範囲から逸脱することなく形式及び詳細において変更がなされ得ることが認識され得る。したがって、本開示は、特許請求の範囲によってのみ限定される。

【0066】

いくつかの実施形態において、本明細書に記載される異なるコンポーネント、モジュール、エンジン、及びサービスが、コンピューティングシステム上で実行するオブジェクト又はプロセスとして（例えば、別個のスレッドとして）実現されてもよい。本明細書に記載されるシステム及びプロセスのいくつかは、一般に、（汎用ハードウェアに記憶され、及び／又は汎用ハードウェアにより実行される）ソフトウェアで実現されるものとして記載されるが、特定のハードウェア実装、又はソフトウェアと特定のハードウェア実装との組み合わせもまた可能であり、企図される。

【0067】

本明細書において、特に別記の特許請求の範囲（例えば、別記の特許請求の範囲の本文）において用いられる用語は、一般に「開放的」な用語として意図されている（例えば、用語「含んでいる」は、「含んでいるがこれに限定されない」と解釈されるべきであり、用語「有する」は、「少なくとも有する」と解釈されるべきであり、用語「含む」は、「含むがこれに限定されない」と解釈されるべきである、等）。

【0068】

さらに、特定数の導入された請求項記載が意図されている場合、そのような意図は請求項に明示的に記載され、そのような記載がない場合、そのような意図は存在しない。例えば、理解の助けとして、以下の別記の特許請求の範囲は、請求項記載を導入するために、導入フレーズ「少なくとも１つの」及び「１つ以上の」の使用を含むことがある。しかしながら、そのようなフレーズの使用は、不定冠詞「一の」（“a”又は“an”）による請求項記載の導入が、同じ請求項が導入フレーズ「１つ以上の」又は「少なくとも１つの」と「一の」などの不定冠詞とを含むときでも、そのような導入された請求項記載を含む任意の特定の請求項を１つのそのような記載のみ含む実施形態に限定することを暗に示すように見なされるべきではない（例えば、「一の」（“a”及び／又は“an”）は「少なくとも１つの」又は「１つ以上の」を意味するよう解釈されるべきである）。請求項記載を導入するために用いられる定冠詞の使用についても同様である。

【0069】

さらに、特定数の導入された請求項記載が明示的に記載されている場合であっても、当業者は、そのような記載は少なくとも記載された数を意味するよう解釈されるべきであることを認識するであろう（例えば、他の修飾語を伴わない「２つの記載」というただそれだけの記載は、少なくとも２つの記載、又は２つ以上の記載を意味する）。さらに、「Ａ、Ｂ、及びＣ等のうち少なくとも１つ」又は「Ａ、Ｂ、及びＣ等のうち１つ以上」と類似の規定が用いられている例において、一般に、そのような構造は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢ共に、Ａ及びＣ共に、Ｂ及びＣ共に、又はＡ、Ｂ、及びＣ共に等を含むことが意図される。例えば、用語「及び／又は」の使用は、このようにみなされることが意図される。

【0070】

さらに、明細書においてか、特許請求の範囲においてか、又は図面においてかにかかわらず、２つ以上の代替的な用語を提示するいかなる分離的なワード又はフレーズも、用語のうち１つ、用語のうちいずれか、又は双方の用語を含む可能性を考慮するよう理解されるべきである。例えば、フレーズ「Ａ又はＢ」は、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むよう理解されるべきである。

【0071】

しかしながら、そのようなフレーズの使用は、不定冠詞「一の」（“a”又は“an”）による請求項記載の導入が、同じ請求項が導入フレーズ「１つ以上の」又は「少なくとも１つの」と「一の」などの不定冠詞とを含むときでも、そのような導入された請求項記載を含む任意の特定の請求項を１つのそのような記載のみ含む実施形態に限定することを暗に示すように見なされるべきではない（例えば、「一の」（“a”及び／又は“an”）は「少なくとも１つの」又は「１つ以上の」を意味するよう解釈されるべきである）。請求項記載を導入するために用いられる定冠詞の使用についても同様である。

【0072】

さらに、用語「第１」、「第２」、「第３」等の使用は、本明細書において必ずしも特定の順序を含意するために使用されるものではない。一般に、用語「第１」、「第２」、「第３」等は、異なる要素間で区別するために使用される。用語「第１」、「第２」、「第３」等が特定の順序を含意することの具体的な提示なしでは、これらの用語は特定の順序を含意するよう理解されるべきではない。

【0073】

本明細書に記載される全ての例及び条件付き言語は、本発明及び発明者が当該技術分野を促進するために寄与した概念を理解する際に読者を助けるための教育的目的が意図され、このように具体的に記載された例及び条件に限定されないものとみなされるべきである。本開示の実施形態が詳細に説明されたが、本開示の主旨及び範囲から逸脱することなく種々の変更、置換、及び改変をこれに行えることを理解されたい。

【0074】

開示された実施形態の前の説明は、当業者が本開示を製造又は使用することができるように提供される。これらの実施形態に対する種々の修正は、当業者には容易に明らかであり、本明細書で定義される一般的原理は、本開示の主旨又は範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示される実施形態に限定されることは意図されず、本明細書に開示された原理及び新規の特徴と矛盾しない最も広い範囲を与えられるべきである。

【0075】

上記の実施形態につき以下の付記を残しておく。
（付記１）
ベース顔画像を取得するステップと、
前記ベース顔画像内の第１のベース顔特徴セットを取得するステップであり、前記第１のベース顔特徴セットは、解析顔画像において検出されるべき第１の顔動作単位（ＡＵ）に関連づけられるものとして選択される、ステップと、
前記ベース顔画像内の第２のベース顔特徴セットを取得するステップであり、前記第２のベース顔特徴セット内の少なくとも１つの顔特徴が前記第１のベース顔特徴セット内のものと異なり、前記第２のベース顔特徴セットは、前記解析顔画像において検出されるべき第２の顔ＡＵに関連づけられるものとして選択される、ステップと、
前記解析顔画像を取得するステップと、
前記第１のベース顔特徴セットを使用して前記解析顔画像に第１の画像正規化を適用して、前記解析顔画像における前記第１の顔ＡＵの確率の予測を容易にするステップと、
前記第２のベース顔特徴セットを使用して前記解析顔画像に第２の画像正規化を適用して、前記解析顔画像における前記第２の顔ＡＵの確率の予測を容易にするステップと、
を含む方法。
（付記２）
前記第１の画像正規化を適用するステップは、前記第１のベース顔特徴セットを使用してプロクラステス解析変換を適用するステップを含む、付記１に記載の方法。
（付記３）
前記第１のベース顔特徴セットは、前記第１の顔ＡＵの間に動く顔の領域に位置づけられるように選択される、付記１に記載の方法。
（付記４）
前記第１のベース顔特徴セットの密度が、前記第１の顔ＡＵの間に動かない前記顔の領域より前記第１の顔ＡＵの間に動く前記顔の領域においてより高密度であるように選択される、付記３に記載の方法。
（付記５）
前記第１のベース顔特徴セットは、前記第１の顔ＡＵの間に動く顔特徴が前記第１の顔ＡＵの間に動かない顔特徴より重く重み付けされるように、重み付けされる、付記１に記載の方法。
（付記６）
前記第１のベース顔特徴セットの重みは、遮蔽感度マップ、又は前記第１の顔ＡＵに関連づけられた動きで使用される筋群のセット、のうち少なくとも１つに基づいて決定される、付記４に記載の方法。
（付記７）
複数の訓練顔画像に対してオペレーションを実行することにより顔解析エンジンを訓練するステップ、をさらに含み、前記オペレーションは、
前記第１のベース顔特徴セットを使用して前記第１の画像正規化を第１の訓練顔画像に適用して、前記第１の訓練顔画像における前記第１の顔ＡＵを識別するように前記顔解析エンジンを訓練することと、
前記第２のベース顔特徴セットを使用して前記第２の画像正規化を第２の訓練顔画像に適用して、前記第２の訓練顔画像における前記第２の顔ＡＵを識別するように前記顔解析エンジンを訓練することと、
を含む、付記１に記載の方法。
（付記８）
前記第１の画像正規化及び前記第２の画像正規化は、前記第１の画像正規化及び前記第２の画像正規化において前記第１のベース顔特徴セット及び前記第２のベース顔特徴セットをそれぞれ使用することを除き、同じである、付記１に記載の方法。
（付記９）
前記解析顔画像における前記第１の顔ＡＵ及び前記第２の顔ＡＵのうち少なくとも１つの強度を推定するステップ、をさらに含む付記１に記載の方法。
（付記１０）
前記ベース顔画像は、前向きの中立表情の顔画像を含む、付記１に記載の方法。
（付記１１）
１つ以上のプロセッサにより実行されたときにオペレーションを実行するように構成された命令を含む非一時的コンピュータ読取可能媒体であって、前記オペレーションは、
正面顔を有するベース顔画像を取得することと、
前記ベース顔画像内の第１のベース顔特徴セットを取得することであり、前記第１のベース顔特徴セットは、解析顔画像において検出されるべき第１の顔動作単位（ＡＵ）に関連づけられるものとして選択される、ことと、
前記ベース顔画像内の第２のベース顔特徴セットを取得することであり、前記第２のベース顔特徴セット内の少なくとも１つの顔特徴が前記第１のベース顔特徴セット内のものと異なり、前記第２のベース顔特徴セットは、前記解析顔画像において検出されるべき第２の顔ＡＵに関連づけられるものとして選択される、ことと
前記解析顔画像を取得することと、
前記第１のベース顔特徴セットを使用して前記解析顔画像に第１の画像正規化を適用して、前記解析顔画像における前記第１の顔ＡＵの確率の予測を容易にすることと、
前記第２のベース顔特徴セットを使用して前記解析顔画像に第２の画像正規化を適用して、前記解析顔画像における前記第２の顔ＡＵの確率の予測を容易にすることと、
を含む、コンピュータ読取可能媒体。
（付記１２）
前記第１の画像正規化を適用することは、前記第１のベース顔特徴セットを使用してプロクラステス解析変換を適用することを含む、付記１１に記載のコンピュータ読取可能媒体。
（付記１３）
前記第１のベース顔特徴セットは、前記第１の顔ＡＵの間に動く顔の領域に位置づけられるように選択される、付記１１に記載のコンピュータ読取可能媒体。
（付記１４）
前記第１のベース顔特徴セットの密度が、前記第１の顔ＡＵの間に動かない前記顔の領域より前記第１の顔ＡＵの間に動く前記顔の領域においてより高密度であるように選択される、付記１３に記載のコンピュータ読取可能媒体。
（付記１５）
前記第１のベース顔特徴セットは、前記第１の顔ＡＵの間に動く顔特徴が前記第１の顔ＡＵの間に動かない顔特徴より重く重み付けされるように、重み付けされる、付記１１に記載のコンピュータ読取可能媒体。
（付記１６）
前記第１のベース顔特徴セットの重みは、遮蔽感度マップ、又は前記第１の顔ＡＵに関連づけられた動きで使用される筋群のセット、のうち少なくとも１つに基づいて決定される、付記１５に記載のコンピュータ読取可能媒体。
（付記１７）
前記オペレーションは、複数の訓練顔画像に対してオペレーションを実行することにより顔解析エンジンを訓練することをさらに含み、該オペレーションは、
前記第１のベース顔特徴セットを使用して前記第１の画像正規化を第１の訓練顔画像に適用して、前記第１の訓練顔画像における前記第１の顔ＡＵを識別するように前記顔解析エンジンを訓練することと、
前記第２のベース顔特徴セットを使用して前記第２の画像正規化を第２の訓練顔画像に適用して、前記第２の訓練顔画像における前記第２の顔ＡＵを識別するように前記顔解析エンジンを訓練することと、
を含む、付記１１に記載のコンピュータ読取可能媒体。
（付記１８）
前記第１の画像正規化及び前記第２の画像正規化は、前記第１の画像正規化及び前記第２の画像正規化において前記第１のベース顔特徴セット及び前記第２のベース顔特徴セットをそれぞれ使用することを除き、同じである、付記１１に記載のコンピュータ読取可能媒体。
（付記１９）
前記オペレーションは、前記解析顔画像における前記第１の顔ＡＵ及び前記第２の顔ＡＵのうち少なくとも１つの強度を推定することをさらに含む、付記１１に記載のコンピュータ読取可能媒体。
（付記２０）
システムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサにより実行されたときに当該システムにオペレーションを実行させる命令を含む１つ以上の非一時的コンピュータ読取可能媒体と、を備え、
前記オペレーションは、
正面顔を有するベース顔画像を取得することと、
前記ベース顔画像内の第１のベース顔特徴セットを取得することであり、前記第１のベース顔特徴セットは、解析顔画像において検出されるべき第１の顔動作単位（ＡＵ）に関連づけられるものとして選択される、ことと、
前記ベース顔画像内の第２のベース顔特徴セットを取得することであり、前記第２のベース顔特徴セット内の少なくとも１つの顔特徴が前記第１のベース顔特徴セット内のものと異なり、前記第２のベース顔特徴セットは、前記解析顔画像において検出されるべき第２の顔ＡＵに関連づけられるものとして選択される、ことと
前記解析顔画像を取得することと、
前記第１のベース顔特徴セットを使用して前記解析顔画像に第１の画像正規化を適用して、前記解析顔画像における前記第１の顔ＡＵの確率の予測を容易にすることと、
前記第２のベース顔特徴セットを使用して前記解析顔画像に第２の画像正規化を適用して、前記解析顔画像における前記第２の顔ＡＵの確率の予測を容易にすることと、
を含む、システム。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】