知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-10
(45)【発行日】2024-01-18
(54)【発明の名称】畳み込みニューラルネットワークベースのランドマークトラッカ
(51)【国際特許分類】
G06T 7/00 20170101AFI20240111BHJP
G06N 3/04 20230101ALI20240111BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 660A
G06N3/04
【請求項の数】
15
(21)【出願番号】P 2021563376
(86)(22)【出願日】2020-04-22
(65)【公表番号】
(43)【公表日】2022-07-13
(86)【国際出願番号】 EP2020061249
(87)【国際公開番号】W WO2020216804
(87)【国際公開日】2020-10-29
【審査請求日】2022-12-20
(31)【優先権主張番号】62/837,386
(32)【優先日】2019-04-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】391023932
【氏名又は名称】ロレアル
【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ
【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】110000534
【氏名又は名称】弁理士法人真明センチュリー
(72)【発明者】
【氏名】リ・ティアン・シン
(72)【発明者】
【氏名】ユー・チ
(72)【発明者】
【氏名】ケゼル・イリーナ
(72)【発明者】
【氏名】フォン・エドモンド
(72)【発明者】
【氏名】アーラビ・パラム
【審査官】片岡 利延
(56)【参考文献】
【文献】米国特許出願公開第２０２１／００５６７０１（ＵＳ，Ａ１）
【文献】特表２０２０－５２６８０９（ＪＰ，Ａ）
【文献】国際公開第２０１９／０１４６４６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ３／０４
(57)【特許請求の範囲】
【請求項1】
第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて複数の顔ランドマークの各々についてそれぞれの位置を決定するように顔の画像を処理することを備え、前記第１段階は、前記画像を受け取り、
畳み込みレイヤと反転残差ブロックとを備える前記第１段階の第１部において、前記画像から顔ランドマーク検出のための中間的特徴のボリュームを決定し、
前記中間的特徴のボリュームを受け取る反転残差ブロックを備える前記第１段階の第２部において、前記顔ランドマークの各々のためのヒートマップの過程と、初期ヒートマップの応答とにより、前記画像内の前記顔ランドマークの各々についてのそれぞれの初期位置を決定し、
反転残差ブロックを備える前記第２段階は、前記第２段階の第１部において、前記中間的特徴のボリュームを受信し、関心領域と、連結ブロックと、予測ブロックとを備える前記第２段階の第２部において、前記複数の顔ランドマークの各々についての前記それぞれの初期位置を受信し、
前記第２段階はさらに、
反転残差ブロックにより、前記中間的特徴をさらに洗練するように前記中間的特徴のボリュームの処理をすることと、
関心領域と連結ブロックとにより、前記複数の顔ランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、前記顔ランドマークのそれぞれの初期位置を用いて、前記中間的特徴をさらに洗練して均一なサイズにクロップするように関心領域のプーリングを実行することと、前記クロップされた特徴を連結することと、
前記予測ブロックにより、前記クロップされた特徴を連結して用いて、各顔ランドマークに対して、前記各顔ランドマークのそれぞれの初期位置の各々についてのそれぞれのリファインメント位置オフセットを決定することと、を備え、
前記処理は、前記複数の顔ランドマークの各々の前記画像内の最終位置座標を決定するために、前記それぞれの初期位置の各々と前記それぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作する方法。
【請求項2】
前記第１段階の第２部が初期ヒートマップを用いて前記顔ランドマークの各々についてのそれぞれの初期位置の各々を予測する請求項１記載の方法。
【請求項3】
前記第２段階の、前記関心領域と連結ブロックとは、前記中間的特徴をさらに洗練してクロップするように、前記関心領域のプーリングのためのＲｏＩＡｌｉｇｎを用いる請求項２記載の方法。
【請求項4】
前記予測ブロックは、前記クロップされた特徴を処理し、前記予測ブロックは、３×３カーネルによるチャネル単位の畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍ及びＲｅＬＵアクティベーションと、
１×１カーネルによるグループごとのチャネルの畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍと、を順番に実行し、
前記それぞれのリファインメント位置オフセットの各々を出力する請求項３記載の方法。
【請求項5】
前記ＣＮＮモデルは、ガウス分布に従って定義された前記複数の顔ランドマークのそれぞれの顔ランドマークについて、グランドトゥルースヒートマップを有するそれぞれのトレーニング画像を用いて、前記それぞれのトレーニング画像内の前記グランドトゥルースヒートマップのそれぞれの座標位置に対応するモードでトレーニングされ、前記ガウス分布は、以下の数式１に従って定義され、ｘ，ｙはトレーニング画像内の任意のピクセルの座標を示し、（ｘｉ，ｙｉ）は、対応するランドマーク座標である請求項１から４のいずれかに記載の方法。
【数1】
【請求項6】
ｘｐｒｅｄ，ｙｐｒｅｄ回帰は、以下の数式２のように、それぞれの予測されたヒートマップから計算された前記ガウス分布（数式１）による前記ピクセルの位置の期待値であって、ｊは、それぞれのヒートマップ内のすべての前記ピクセルにわたるインデックスであり、ｗｊは、前記ピクセルのヒートマップ値を示す請求項５記載の方法。
【数2】
【請求項7】
前記ＣＮＮが、ヒートマップを学習するためのピクセルワイズシグモイドクロスエントロピーによって規定される損失関数でトレーニングされる請求項１から６のいずれかに記載の方法。
【請求項8】
前記損失関数は、距離損失Ｌ２をさらに含む請求項７記載の方法。
【請求項9】
前記損失関数は、以下の数式３および数式４で表され、【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【請求項10】
前記複数の顔ランドマークのそれぞれの位置のうちの少なくとも１つ又はその周辺で前記画像を修正することをさらに含み、前記画像を修正することは、前記画像に適用される製品をシミュレートすることを含む請求項１から９のいずれかに記載の方法。
【請求項11】
前記画像がビデオ画像であり、前記方法が、仮想現実をシミュレートするためにリアルタイムで修正された前記画像を提示する請求項１０記載の方法。
【請求項12】
カメラを有するパーソナルコンピューティングデバイス、好ましくはスマートフォン又はタブレットによって実行することをさらに含み、前記画像は、前記カメラによって撮影されたセルフィーである請求項１０又は１１に記載の方法。
【請求項13】
前記顔ランドマークの前記それぞれの位置を用いて、少なくとも１つの製品シミュレーションで前記画像を更新することをさらに含む請求項１０から１２のいずれかに記載の方法。
【請求項14】
処理ユニットによって実行されたときに、請求項１から１３のいずれかに記載の方法をコンピューティングデバイスに実行させる命令を記憶する非一時記憶デバイス。
【請求項15】
処理装置と、記憶デバイスと、を備え、請求項１から１３のいずれかに記載の方法を実行するように畳み込みニューラルネットワーク（ＣＮＮ）を介して構成されるコンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はコンピュータ及びコンピュータ処理、特に、画像処理およびニューラルネットワークの改良に関し、より詳細には、畳み込みニューラルネットワークベースのランドマークトラッカシステム及び方法に関する。
【背景技術】
【0002】
顔ランドマーク検出、画像内の人間の顔上の予め定義されたランドマークを見つける処理は、多くの画像処理／コンピュータビジョンアプリケーションにおいて一般的な要望である。実用的なアプリケーションを提供する関心のある画像処理アプリケーションは、とりわけ、顔認識、アニメーション、および拡張現実使用を含むことができる。拡張現実画像処理の一例は、個人に適用されるメイクアップまたは他の製品などの仮想試行アプリケーションである。仮想メイクアップ試行アプリケーションは、異なる照明、ポーズ、および顔の形状の変化の下で、正しい位置にメイクアップをレンダリングするように課せられる。特に、仮想試行アプリケーションで一般的に見られる正面顔ポーズのための正確なアライメントは、正確で心地よい体験を提供するために望ましい。さらに、クライアント側のウェブアプリケーションではロード時間が極めて重要であり、より大きなニューラルネットワークアーキテクチャの高速な実行に必要なＧＰＵはそれほど効率的に利用することができない。
【0003】
これらのリソース制約はリアルタイムアプリケーションのためのより良好なバランスをとるために、最新の顔アライメントアーキテクチャ［１］［２］［３］（それぞれ参照により本明細書に組み込まれる、以下の参考文献リストを参照されたい）にとって大きな関心事ではないが、理想的なアーキテクチャはアライメント精度を維持または改善しながら、ロード時間および推論時間を最小限に抑えることが望ましい。
【発明の概要】
【0004】
提案されたアーキテクチャでは、第１段階が初期予測を行い、そこから共有された畳み込み特徴のクロップが取られ、次に、これらの関心領域が第２段階によって処理されて、洗練された予測が生成される。この２段階位置決め設計は、残りの演算効率が良い一方で、きめ細かなアライメントを達成するのに役立つ。結果として得られるアーキテクチャは、リアルタイムウェブアプリケーションに適したロード時間および実行時間の両方が十分に小さい。
【0005】
一態様では、処理ユニットと、それに結合された記憶デバイスと、処理ユニットによって実行されたときに、複数のランドマークの各々についてそれぞれの位置を決定し、画像を処理するようにコンピューティングデバイスを構成する命令を記憶している記憶ユニットと、を備えるコンピューティングデバイスが提供される。コンピューティングデバイスは、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて画像を処理することを備える。第１段階は、それぞれの位置の初期予測を生成するように画像を処理し、第２段階は、第１段階によって画像から生成された中間的特徴と初期予測とを用いて、関心領域に対する共有された畳み込み特徴のクロップを生成してクロップされた特徴を定義し、さらにクロップされた特徴を処理して、それぞれの位置の初期予測に対して、それぞれのリファインメント位置オフセットを生成する。
【0006】
一態様では、処理ユニットと、それに結合された記憶デバイスと、処理ユニットによって実行されたときに、複数のランドマークの各々に対してそれぞれの位置を決定し、画像を処理するようにコンピューティングデバイスを構成する命令を記憶している記憶ユニットと、を備えるコンピューティングデバイスが提供される。コンピューティングデバイスは、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて画像を処理することを備える。第１段階は、画像を受け取り、第１段階の第１部において、画像からの中間的特徴のボリュームを決定し、第１段階の第２部において、中間的特徴のボリュームを用いて画像内のランドマークの各々についてのそれぞれの初期位置を決定する。第２段階は、第２段階の第１部において、中間的特徴のボリュームを受信し、第２段階の第２部において、複数のランドマークの各々についてのそれぞれの初期位置を受信する。第２段階はさらに、中間的特徴をさらに洗練するようにボリュームの処理をすることと、複数のランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングをさらに洗練されたものとして中間的特徴に対して実行することと、クロップされた特徴を用いて、各ランドマークについて、各ランドマークのそれぞれの初期位置の各々に対する、それぞれのリファインメント位置オフセットを決定することと、を備える。処理は、複数のランドマークの各々の画像内の最終位置座標を決定するために、それぞれの初期位置の各々とそれぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作する。
【0007】
一態様では、コンピューティングデバイスは、処理装置と、記憶デバイスと、を備え、画像内の複数のランドマークのそれぞれの位置を検出するように画像を処理する畳み込みニューラルネットワーク（ＣＮＮ）を介して構成される。ＣＮＮは、第１段階において、それぞれの位置の初期座標を決定するように第１のヒートマップを採用し、第２段階において、初期座標のリファインメントオフセットを決定するように第２のヒートマップを採用する。第２段階では、さらにそれぞれのランドマークごとの関心領域プーリングを用いて非関連領域を回避するように重複演算を減らし、関連する共有された特徴の生成をガイドする２段階位置決めアーキテクチャを備える。ここで、ＣＮＮはそれぞれのヒートマップのサイズと演算リソースの使用を最小化するために、補助座標回帰損失でトレーニングされる。
【0008】
方法、コンピュータプログラム製品、および他の態様は、当業者には明らかであろう。本明細書で使用されるコンピュータプログラム製品は、処理ユニットによって実行されるとき、コンピューティングデバイスを構成する命令を記憶する非一時記憶デバイスを含む。
【図面の簡単な説明】
【0009】
【図1】２段階ＣＮＮを示すネットワーク図である。
【図2】特徴マップ／ボリュームの反転残差ブロック図である。
【図4】オペレーションのフローチャートである。
【図5】オペレーションのフローチャートである。
【0010】
【0011】
【0012】
【発明を実施するための形態】
【0013】
本発明の概念は、添付の図面を参照し、本明細書で説明される特定の実施形態を通して最もよく説明され、ここで、同一の符号は全体を通して同一の特徴を指す。本明細書で使用される場合、「発明」という単語は、単に実施形態自体ではなく、以下に記載される実施形態の基礎をなす発明概念を暗示することが意図されることを理解されたい。さらに、本発明の一般的な概念は、以下に記載される例示的な実施形態に限定されず、以下の説明は、そのような観点から読まれるべきであることが理解されるべきである。２つ以上の発明概念が示され、説明されてもよく、それぞれは、別段の記載がない限り、独立のものであってもよく、又は１つ以上の他のものと組み合わされてもよい。
【0014】
１． ＜コンテキスト＞
１．１ ＜顔ランドマークアライメント＞
顔ランドマークアライメントの問題は、古典的なコンピュータビジョンソリューションを用いた長い歴史を有する。例えば、高速アンサンブルツリーベース［４］アルゴリズムは妥当な精度を達成し、リアルタイム顔トラッキング［５］のために広く使用される。しかし、このような精度を達成するために必要なモデルサイズは非常に大きい。
１．１ ＜顔ランドマークアライメント＞
顔ランドマークアライメントの問題は、古典的なコンピュータビジョンソリューションを用いた長い歴史を有する。例えば、高速アンサンブルツリーベース［４］アルゴリズムは妥当な精度を達成し、リアルタイム顔トラッキング［５］のために広く使用される。しかし、このような精度を達成するために必要なモデルサイズは非常に大きい。
【0015】
顔ランドマークアライメントのための現在の最新の精度は、畳み込みニューラルネットワークに基づく方法によって達成される。非常に困難なデータセット［６］［７］［８］の精度を最大にするために、リアルタイムではなく、数十から数百メガバイト（ＭＢ）［３］［９］のモデルサイズを有し、ウェブアプリケーションのための不合理なロード時間を伴う大きなニューラルネットワークが使用される。
【0016】
１．２ ＜効率的なＣＮＮアーキテクチャ＞
畳み込みニューラルネットワークの性能をモバイルビジョンアプリケーションにもたらすために、ＭｏｂｉｌｅＮｅｔＶ２［１０］、ＳｑｕｅｅｚｅＮｅｔ［１１］、及びＳｈｕｆｆｌｅＮｅｔ［１２］などの効率的なビルディングブロックを有する多数のアーキテクチャが最近リリースされた。これらのネットワークは、必要とされる学習可能パラメータの数（モデルサイズ）及び乗算加算からなる所与の演算バジェットの性能（例えば、分類精度）を最大化することを目的とする。
畳み込みニューラルネットワークの性能をモバイルビジョンアプリケーションにもたらすために、ＭｏｂｉｌｅＮｅｔＶ２［１０］、ＳｑｕｅｅｚｅＮｅｔ［１１］、及びＳｈｕｆｆｌｅＮｅｔ［１２］などの効率的なビルディングブロックを有する多数のアーキテクチャが最近リリースされた。これらのネットワークは、必要とされる学習可能パラメータの数（モデルサイズ）及び乗算加算からなる所与の演算バジェットの性能（例えば、分類精度）を最大化することを目的とする。
【0017】
ＭｏｂｉｌｅＮｅｔＶ２に焦点が当てられ、その反転残差ブロックは、本設計の実装において用いられ得る。ＭｏｂｉｌｅＮｅｔＶ２が通常の畳み込みに対する深さ単位畳み込みを用いると、乗算加算および学習可能なパラメータの数が大幅に減少し、実行にわずかなコストがかかる［１３］。さらに、ネットワーク表現性能を容量から分離することができるという原理に基づく反転設計は、ネットワーク内のクロスチャネル演算の数の大幅な削減を可能にする［１０］。最後に、ＲｅｓＮｅｔ［１４］から得られた残差設計は、より深いネットワークにおけるグラジェントプロパゲーションの問題を緩和する。
【0018】
１．３ ＜ヒートマップ＞
ヒートマップ回帰［１５］［１６］［１７］［１８］に基づく完全畳み込みニューラルネットワークアーキテクチャは、人間の姿勢推定タスクに広く用いられている。ヒートマップの使用は、回路網の認識およびランドマーク回帰の信頼性に、視覚の直感的な手段と共に、高度の精度を提供する。この技術は、スタックドアワーグラスアーキテクチャ［３］のような最近の顔アライメントアルゴリズムにも用いられている。しかしながら、スタックドアワーグラスアプローチ［３］は、デコーデイングレイヤにおいて大量の演算を必要とする高分解能ヒートマップを使用する。ヒートマップは、画像全体の非常に集中して小さな部分にしか無視できない値がないため、ここでは最適化の余地がある。この観察はネットワークがその処理を関連領域（すなわち、関心のあるおおよその領域）に集中させることを可能にする領域処理を使用することを我々に動機付ける。
ヒートマップ回帰［１５］［１６］［１７］［１８］に基づく完全畳み込みニューラルネットワークアーキテクチャは、人間の姿勢推定タスクに広く用いられている。ヒートマップの使用は、回路網の認識およびランドマーク回帰の信頼性に、視覚の直感的な手段と共に、高度の精度を提供する。この技術は、スタックドアワーグラスアーキテクチャ［３］のような最近の顔アライメントアルゴリズムにも用いられている。しかしながら、スタックドアワーグラスアプローチ［３］は、デコーデイングレイヤにおいて大量の演算を必要とする高分解能ヒートマップを使用する。ヒートマップは、画像全体の非常に集中して小さな部分にしか無視できない値がないため、ここでは最適化の余地がある。この観察はネットワークがその処理を関連領域（すなわち、関心のあるおおよその領域）に集中させることを可能にする領域処理を使用することを我々に動機付ける。
【0019】
１．４ ＜Ｍａｓｋ－ＲＣＮＮ＞
Ｆａｓｔ Ｒ－ＣＮＮ［１９］、Ｆａｓｔｅｒ Ｒ－ＣＮＮ［２０］および完全構成ネットワーク［２１］のような、オブジェクト検出および意味的セグメンテーションに対して柔軟かつロバストな一連のフレームワークがある。Ｆａｓｔｅｒ Ｒ－ＣＮＮは、バウンディングボックス回帰および分類を並列に実行するためにマルチブランチ設計を使用する。Ｍａｓｋ－ＲＣＮＮ［２２］はＦａｓｔｅｒ－ＲＣＮＮの拡張であり、各関心領域に基づいてセグメンテーションマスクを予測するための新しい分岐を追加する。特に興味深いのはＭａｓｋ－ＲＣＮＮのＲｏＩＡｌｉｇｎ［２２］（ここで、ＲｏＩは単語「関心領域」からのイニシャル）の使用であり、これは共有された畳み込み特徴から生成物を採取することによって、演算時間の有意な節約を可能にする。これを行うことによって、重複する関心領域に対する特徴を再演算することを回避する。
Ｆａｓｔ Ｒ－ＣＮＮ［１９］、Ｆａｓｔｅｒ Ｒ－ＣＮＮ［２０］および完全構成ネットワーク［２１］のような、オブジェクト検出および意味的セグメンテーションに対して柔軟かつロバストな一連のフレームワークがある。Ｆａｓｔｅｒ Ｒ－ＣＮＮは、バウンディングボックス回帰および分類を並列に実行するためにマルチブランチ設計を使用する。Ｍａｓｋ－ＲＣＮＮ［２２］はＦａｓｔｅｒ－ＲＣＮＮの拡張であり、各関心領域に基づいてセグメンテーションマスクを予測するための新しい分岐を追加する。特に興味深いのはＭａｓｋ－ＲＣＮＮのＲｏＩＡｌｉｇｎ［２２］（ここで、ＲｏＩは単語「関心領域」からのイニシャル）の使用であり、これは共有された畳み込み特徴から生成物を採取することによって、演算時間の有意な節約を可能にする。これを行うことによって、重複する関心領域に対する特徴を再演算することを回避する。
【0020】
１．５ ＜検証＞
出力された顔の形状を有効に保つために、最終的な予測を返す前に検証ステップを実行してもよい。例えば、顔がない場合、顔の一部がある場合、顔が回転しすぎている場合などに、変な形状が返されるのを防ぐためである。顔の形状の標準参照を有するために、原理成分分析を使用して、トレーニングデータセットから最初の１００の原理クラスタを得ることができる。変換された予測形状とクラスタ中心の１つとの間の最小距離を決定することができる。この最小距離は、予測された形状が有効であるかどうかを検証するためのスコアとして使用される。
出力された顔の形状を有効に保つために、最終的な予測を返す前に検証ステップを実行してもよい。例えば、顔がない場合、顔の一部がある場合、顔が回転しすぎている場合などに、変な形状が返されるのを防ぐためである。顔の形状の標準参照を有するために、原理成分分析を使用して、トレーニングデータセットから最初の１００の原理クラスタを得ることができる。変換された予測形状とクラスタ中心の１つとの間の最小距離を決定することができる。この最小距離は、予測された形状が有効であるかどうかを検証するためのスコアとして使用される。
【0021】
２． ＜コンピューティングデバイス、システム、方法及びその他の側面＞
以下は、本明細書に記載される特徴のいくつかである。
以下は、本明細書に記載される特徴のいくつかである。
【0022】
ＲｏＩＡｌｉｇｎ［２２］は潜在的に重複する演算を節約し、ネットワークが非関連領域を回避することを可能にし、ネットワークに良好な共有される特徴を生成することを学習させるために、個々のランドマークごとに使用される。一例では、段階１からの８×８のヒートマップが（顔の）ランドマークの各々の座標を示す。これらのランドマークは、マスク平均法を使用することによって座標（ｘ，ｙ）を形成するように演算することができる。ＲｏＩＡｌｉｇｎは、第１段階の予測座標を用いて、均一なサイズ４×４を有する中間的特徴マップをクロップする。例えば、正規化された座標において（０．５，０．５）に位置すると予測される第１のランドマークがあると仮定する。その後、３２×３２の特徴マップがクロップされる。クロップされた枠は［（１４．０，１４．０），（１８．０，１８．０）］［ｔｏｐ＿ｌｅｆｔ＿ｃｏｒｎｅｒ，ｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｃｏｒｎｅｒ］になる。
【0023】
補助座標回帰損失と共に提案した２段階位置決めアーキテクチャは、極端に小さく、演算的に安価なヒートマップを両段階で扱うことを可能にした。ヒートマップ損失と座標距離損失の２つの損失を組み合わせることができる。
【0024】
２．１ ＜モデル構造＞
ＣＮＮモデルは図１に示すように、２段階を持ち、エンドトゥーエンドでトレーニングされる。図１は次元１２８×１２８×３（高さ、幅、および色）の入力レイヤ１０２（例えば、顔のランドマークの例のための顔を有する画像）から始まる出力ボリューム（特徴マップ）を有するレイヤおよび／またはブロックのフローを含むＣＮＮ１００を示す。２２４×２２４×３のような他の次元を使用してもよい。次元は調整可能であってもよい。異なる目的のために、異なる次元（解像度）を使用することができる。
ＣＮＮモデルは図１に示すように、２段階を持ち、エンドトゥーエンドでトレーニングされる。図１は次元１２８×１２８×３（高さ、幅、および色）の入力レイヤ１０２（例えば、顔のランドマークの例のための顔を有する画像）から始まる出力ボリューム（特徴マップ）を有するレイヤおよび／またはブロックのフローを含むＣＮＮ１００を示す。２２４×２２４×３のような他の次元を使用してもよい。次元は調整可能であってもよい。異なる目的のために、異なる次元（解像度）を使用することができる。
【0025】
フローは、第１段階１０４と第２段階１０６の２つの段階を含む。第１段階および第２段階のフローは、それぞれが第１部および第２部を有し、第１段階のレイヤ／ブロックおよび第２段階のレイヤ／ブロックを備えるレイヤおよび／またはブロックのそれぞれのグループに従って定義される。これらのレイヤ／ブロックのグループ（例えば、１０８，１１０，１１４，１１６）は当業者によって理解されるように、特徴マップ／ボリューム間の矢印によって表される。第１段階１０４は第１部にグループ１０８を、第２部にグループ１１０を含み、第２段階１０６は第１部にグループ１１４を、第２部にグループ１１６を含む。グループ１０８及び１１０はまた、第１段階の第１のグループ１０８及び第２のグループ１１０として参照されてもよい。グループ１１４及び１１６はまた、第２段階の第１グループ１１４及び第２グループ１１６として参照されてもよい。第１段階１０４はレイヤ１１２をさらに含み、第２段階１０６はレイヤ１１８をさらに含む。これらのレイヤ１１２および１２０はレイヤ１２０において組み合わされて、さらに説明されるように、ＣＮＮ１００の出力を提供する。
【0026】
図１の網掛けの凡例は、ＣＮＮ１００のレイヤおよび／又はブロックのそれぞれについての処理オペレーションタイプを示す。さらに詳細には、グループ１０８が次元６４×６４×８の畳み込みレイヤ１０８Ａと、それぞれ次元６４×６４×８及び３２×３２×８の反転残差ブロック１０８Ｂ及び１０８Ｃとを含む。それぞれのブロック又はレイヤの次元は、出力特徴マップのサイズを参照することが理解される。［１０］による拡張反転残差ブロックの一般形を図２に示す。グループ１１０は、それぞれの次元１６×１６×１６，８×８×３２，８×８×３２及び８×８×＃Ｌの反転残差ブロック１１０Ａ－１１０Ｄを含み、ここで、＃Ｌ＝複数のランドマークの数または数量である。トレーニングされ、試験されるとき、＃Ｌ＝１６である。他のランドマーク数（サイズ）（例えば、＃Ｌ）（例えば、６５、８６等）が実施されてもよい。＃Ｌの値は調整可能であってもよい。グループ１１０に続くのはレイヤ１１２であり、次元＃Ｌ×２のゲットマスク平均レイヤである。
【0027】
グループ１０８の出力（例えば、１１８Ｃに続く）は、第１段階１０４の中間的特徴マップ（または中間的特徴のボリュームとして参照されることもある）であり、グループ１１４において第２段階１０６と共有される（例えば、入力）。グループ１１４は、それぞれの次元３２×３２×８，３２×３２×１６及び３２×３２×１６の反転残差ブロック１１４Ａ－１１４Ｃを含む。
【0028】
グループ１１４の出力（例えば、ブロック１１４Ａ－１１４Ｃの処理によってさらに洗練された中間的特徴マップ）は、ランドマークの初期位置を表すレイヤ１１２の出力と共に、グループ１１６によって処理される。グループ１１６は、４×４×１６の次元を有する＃Ｌブロックの各々が連結されるとき、４×４×１６＃Ｌ出力特徴マップを与える＃Ｌランドマークの各々に対して、＃Ｌ ＲｏＩ Ｃｒｏｐ＋連結ブロック（ブロック１１６１，１１６２，・・・１１６＃Ｌによって表される）を含む。連結された特徴マップは、次元４×４×＃Ｌを有する予測ブロック１１７又はグループ１１６に提供される。予測ブロック１１７は、図３において拡張されている。
【0029】
次に、予測ブロック１１７の出力は、次元＃Ｌ×２の第２のゲットマスク平均レイヤであるレイヤ１１８に供給される。２つのレイヤ１１２及び１１８のそれぞれの出力は、＃Ｌランドマークの初期位置およびそれに対するリファインメントオフセットを表す。これらは、組み合わされたときに、それぞれの＃Ｌランドマークの各々について、入力レイヤ１０２に関して（ｘ，ｙ）座標が生成されるように、次元＃Ｌ×２も有する出力レイヤ１２０に提供される。
【0030】
したがって、第１段階１０４は、１１０Ｄまでに各顔ランドマークに１つずつ８×８のヒートマップを予測する一連の反転残差ブロックを示す。ヒートマップ上の正規化されたアクティブ化を確率分布として解釈し、これらのヒートマップの期待値を演算して、ｘ，ｙ座標を求める。これについては、以下でより詳細に説明する。
【0031】
第２段階は、第１段階の一部から分岐するいくつかの共有レイヤ／ブロックを有する。前段階からの初期予測（ブロック１１４Ｃに続くグループ１１４によってさらに洗練されたブロック１０８Ｃに続くグループ１０８からの中間的特徴マップ）を用いて、ＲｏＩＡｌｉｇｎ［２２］が最終的な共有された畳み込み特徴に適用される。クロップされた特徴の各々は、（予測ブロック１１７の）１つの最終畳み込みレイヤに入力され、個々のランドマークごとに個別の重みを有する。予測ブロック１１７は、グループ畳み込み［１２］を利用して、これを簡単な方法で実施する。１１７における出力は、各ランドマークに対するヒートマップである。これらのヒートマップから得られた座標は、初期の「粗い」予測からの必要なオフセットを示している。すなわち、この段階でのヒートマップが完全に中央によせられていれば、実質的にリファインメントは必要ない。
【0032】
グループ１１６によるこの関心領域ベースのプーリングは、１１２におけるマスク平均レイヤを１１０Ｄからの粗いヒートマップに適用することから導出される各ランドマークの座標［ｘ＿ｃ，ｙ＿ｃ］を有するクロップ中心として（レイヤ１１２からの）第１段階の予測を用いる。グループ１１６（予測ブロック１１７を介して）は、これらのクロップされた特徴（例えば、ブロック１１６１，１１６２，・・・１１６＃Ｌからの連結された出力）を使用して、リファインメントオフセットを予測する（最初にヒートマップを予測し、次にリファインメントシフト距離［ｘ＿ｒ，ｙ＿ｒ］を得るようにマスク平均レイヤを用いる）。最終予測（出力レイヤ）は、第１段階からの粗い予測と第２段階からのリファインメント予測を加算する。
【0033】
２．２ ＜ヒートマップからの座標回帰＞
グランドトゥルースヒートマップに対しては、グランドトゥルースの座標の位置に対応するモードを持つＧａｕｓｓ分布を用いた。ｘ、ｙを特徴マップ内の任意のピクセルの座標で表すと、値は、以下の分布を使用して計算することができる。
ここで、（ｘｉ,ｙｉ）は対応するランドマーク座標である。実験では、σｘ，σｙは、両方を０．８に構成する（例えば）。
グランドトゥルースヒートマップに対しては、グランドトゥルースの座標の位置に対応するモードを持つＧａｕｓｓ分布を用いた。ｘ、ｙを特徴マップ内の任意のピクセルの座標で表すと、値は、以下の分布を使用して計算することができる。
【数1】
ここで、（ｘｉ,ｙｉ）は対応するランドマーク座標である。実験では、σｘ，σｙは、両方を０．８に構成する（例えば）。
【0034】
ゲットマスク平均レイヤ（例えば、１１２と１２０の各々）に従って、回帰されたｘｐｒｅｄ，ｙｐｒｅｄは、その時、ＣＮＮによって予測されたヒートマップ（例えば、「予測ヒートマップ」）から計算された分布に従った、ピクセル位置の期待値である。予測ヒートマップのすべてのピクセルにわたってｊインデックスを作成し、ｗｊは、そのピクセルのヒートマップ値を示す。
【数2】
【0035】
２．３ ＜損失関数＞
損失関数は、ピクセルワイズシグモイドクロスエントロピー［２３］を用いてヒートマップを学習する。
損失関数は、ピクセルワイズシグモイドクロスエントロピー［２３］を用いてヒートマップを学習する。
【0036】
さらに、境界付近のランドマークについてヒートマップがカットオフされる問題を軽減するために、距離損失Ｌ２が追加される。
ここで、
は、ｎｔｈサンプルのピクセル位置（ｉ，ｊ）における第ｌ（エル）チャネルのヒートマップの予測値であり、一方、
は、対応するグランドトゥルースである。
は、数式４から計算されるピクセル位置（ｉ，ｊ）における重みであり、
は、ｎｔｈ’サンプルのｌ（エル）ｔｈランドマークのグランドトゥルースの座標であり、
は、同じランドマークの予測座標である。ここで、Ｌはランドマークの数であり、ＨおよびＷはヒートマップの高さ及び幅（例えば、８×８）である。補助座標回帰損失は、（数式３）の２行目の平均二乗誤差損失である。組み合わされたピクセルワイズシグモイドクロスエントロピー損失およびＬ２損失を含む損失関数はそれぞれがトレーニング中にそれ自体の損失決定を有するように、それぞれの段階に適用される。上述したように、２つの段階の使用はより小さなヒートマップを容易にし、したがって、演算リソース消費を容易にする。
【数3】
【数4】
ここで、
【数5】
は、ｎｔｈサンプルのピクセル位置（ｉ，ｊ）における第ｌ（エル）チャネルのヒートマップの予測値であり、一方、
【数6】
は、対応するグランドトゥルースである。
【数7】
は、数式４から計算されるピクセル位置（ｉ，ｊ）における重みであり、
【数8】
は、ｎｔｈ’サンプルのｌ（エル）ｔｈランドマークのグランドトゥルースの座標であり、
【数9】
は、同じランドマークの予測座標である。ここで、Ｌはランドマークの数であり、ＨおよびＷはヒートマップの高さ及び幅（例えば、８×８）である。補助座標回帰損失は、（数式３）の２行目の平均二乗誤差損失である。組み合わされたピクセルワイズシグモイドクロスエントロピー損失およびＬ２損失を含む損失関数はそれぞれがトレーニング中にそれ自体の損失決定を有するように、それぞれの段階に適用される。上述したように、２つの段階の使用はより小さなヒートマップを容易にし、したがって、演算リソース消費を容易にする。
【0037】
２．４ ＜ブロック＞
２．４．１ ＜反転残差ブロック＞
図２を参照すると、実質的に参考文献［１０］に従った反転残差ブロック２００の一般的な展開が示されている。図２は、参考文献［１０］がＲｅＬＵ６を用い、本例がＲｅＬＵを用いる点で異なる。そのような一般的なアプローチはＣＮＮ１００の反転残差ブロックに適用され得るが、いくつかの次元は異なり得る。
２．４．１ ＜反転残差ブロック＞
図２を参照すると、実質的に参考文献［１０］に従った反転残差ブロック２００の一般的な展開が示されている。図２は、参考文献［１０］がＲｅＬＵ６を用い、本例がＲｅＬＵを用いる点で異なる。そのような一般的なアプローチはＣＮＮ１００の反転残差ブロックに適用され得るが、いくつかの次元は異なり得る。
【0038】
実験的に、性能および効率の５つの最も適した競合するニーズの拡大比が見出された。
【0039】
反転残差ブロック２００の処理は、ａからｃの順番に実行される。ａ １×１カーネルによるチャネル単位の畳み込み、それに続いて、次元Ｈ×Ｗ×Ｃを有する入力レイヤ２０２のＢａｔｃｈＮｏｒｍ及びＲｅＬＵアクティブ化。ここで、Ｃは色自体ではなくチャネルを表す。出力は、次元Ｈ×Ｗ×Ｃ＊５の特徴マップ２０４である。ｂ ３×３カーネルを有する深さ単位の畳み込み、それに続いて、次元Ｈ×Ｗ×Ｃ＊５を有する出力（特徴マップ）２０６を提供する特徴マップ２０４のＢａｔｃｈＮｏｒｍおよびＲｅＬＵアクティブ化。ｃ １×１カーネルによるチャネル単位の畳み込み、それに続いて、次元Ｈ×Ｗ×Ｃを有する出力を提供するレイヤ２０２による加算演算を行う特徴マップ２０６上のＢａｔｃｈＮｏｒｍ。
【0040】
２．４．２ ＜予測ブロック＞
全てのＲｏＩＡｌｉｇｎクロップされた特徴を連結した後、チャネルの数は入力チャネルの数（例えば、１６）にランドマークの数（＃Ｌ）を乗算したものに等しい。各ランドマークのリファインメントヒートマップは独立して予測されるので、そのようなものは、図３が示すように、１６チャネル単位の畳み込み［１２］を使用して実施されてもよい。図３は、次元４×４×１６＊＃Ｌを有するクロップされ連結された特徴（入力特徴マップ１１７Ａ）の入力に作用するブロック１１７の拡張を示す。
全てのＲｏＩＡｌｉｇｎクロップされた特徴を連結した後、チャネルの数は入力チャネルの数（例えば、１６）にランドマークの数（＃Ｌ）を乗算したものに等しい。各ランドマークのリファインメントヒートマップは独立して予測されるので、そのようなものは、図３が示すように、１６チャネル単位の畳み込み［１２］を使用して実施されてもよい。図３は、次元４×４×１６＊＃Ｌを有するクロップされ連結された特徴（入力特徴マップ１１７Ａ）の入力に作用するブロック１１７の拡張を示す。
【0041】
予測ブロック１１７は、ａからｂの順番に実行する。ａ ３×３カーネルによるグループ単位の畳み込み、それに続いて、次元４×４×１６＊＃Ｌを有する特徴マップ１１７Ｂを出力する入力特徴マップ１１７Ａ上でＢａｔｃｈＮｏｒｍおよびＲｅＬＵアクティブ化。ｂ １×１カーネルによるチャネル単位の畳み込み、それに続いて、次元４×４×＃Ｌ（＃Ｌランドマークの各々に対して４×４ヒートマップを定義する）のを有する特徴マップ１１７Ｃを出力するＢａｔｃｈＮｏｒｍ。
【0042】
２．５ ＜データ拡張＞
いくつかの一般的な方法が、データ拡張を実行するために用いられる。例えば、入力画像のランダムな回転、シフト、水平方向のフリップなどが使用される。眼鏡や手のような一般的な妨害ケースを取り扱うためのモデルをより良く装備するために、これらの物体はまた、その中の顔の周りの写真にランダムに貼り付けられる。
いくつかの一般的な方法が、データ拡張を実行するために用いられる。例えば、入力画像のランダムな回転、シフト、水平方向のフリップなどが使用される。眼鏡や手のような一般的な妨害ケースを取り扱うためのモデルをより良く装備するために、これらの物体はまた、その中の顔の周りの写真にランダムに貼り付けられる。
【0043】
３． ＜結果と比較＞
新しいモデルではバッチサイズ８を使用し、ＳＧＤオプティマイザーではラーニングレート８ｅ‐５、モーメンタム＝０．９を使用した。新モデルを自社テストセット上で評価し、眼球中心間距離で正規化した距離誤差を計算した。第１段階の正規化誤差は３．３５％であり、全モデルの誤差は２．８９％である。ｉＰｈｏｎｅ（登録商標）７を搭載したウェブブラウザでの新モデルの実行時間は約４０ｍｓ／フレームで、学習可能なパラメータは合計約３００ＫＢになる。
新しいモデルではバッチサイズ８を使用し、ＳＧＤオプティマイザーではラーニングレート８ｅ‐５、モーメンタム＝０．９を使用した。新モデルを自社テストセット上で評価し、眼球中心間距離で正規化した距離誤差を計算した。第１段階の正規化誤差は３．３５％であり、全モデルの誤差は２．８９％である。ｉＰｈｏｎｅ（登録商標）７を搭載したウェブブラウザでの新モデルの実行時間は約４０ｍｓ／フレームで、学習可能なパラメータは合計約３００ＫＢになる。
【0044】
表１及び表２は、より大きな社内モデルＲＦトラッカーとＭｏｂｉｌｅｎｅｔ＿ｖ２＿０．３５＿１２８との比較を含む新モデルの比較データを示している。
表１：自社製ＲＦトラッカーと新モデルとの比較データ
表２：ＭｏｂｉｌｅｎｅｔＶ２［１０］と新モデルとの比較データ
【表1】
【表2】
【0045】
図４及び図５は、コンピュータによって実施される方法の態様を示すオペレーションのフローチャートである。図４は、コンピュータ実装方法のオペレーション４００を示す。４０２において、画像が処理のために受信される。画像は、セルフィー画像またはビデオベースのセルフィー画像とすることができる。画像は、本方法を実行するコンピューティングデバイス又はシステムの構成要素であるカメラから受信することができる。そのようなものは、モバイルデバイス、製品カウンターのキオスク（端末）、タブレットなどであってもよい。他のフォームファクタ、コンピューティングデバイス及びシステムは明らかであろう。ローカルコンピューティングデバイスがローカルカメラを介して画像を受信し、サービスとして実行するように構成されたリモートコンピューティングデバイスに画像を提供することができる、クラウド又は他のサービスベースのシステムを企図することができる。サービスは、ローカルコンピューティングデバイスのネイティブアプリケーション又はブラウザを介して提供されてもよい。
【0046】
画像は、特定の次元に拡大縮小することなどによって前処理することができる（ステップ４０４）。４０６において、オペレーションは、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いることによって、複数のランドマークの各々についてそれぞれの位置を決定するように画像を処理する。第１段階は、それぞれの位置の初期予測を生成するように画像を処理する。第２段階は、第１段階によって画像から生成された中間的特徴と初期予測とを用いて、関心領域に対する共有された畳み込み特徴のクロップを生成してクロップされた特徴を定義し、さらにクロップされた特徴を処理して、それぞれの位置の初期予測に対して、それぞれのリファインメント位置オフセットを生成する。
【0047】
ＣＮＮは、それぞれの位置の初期予測とそれぞれのリファインメント位置オフセットとを組み合わせて、複数のランドマークの各々についてそれぞれの位置を提供することができる。ランドマークのそれぞれの位置は、初期予測をそれぞれのリファインメント位置オフセットと組み合わせることによって決定される最終位置を含んでもよく、または初期予測およびそれぞれのリファインメント位置オフセットを含む位置情報のセットを含んでもよい。位置情報は、その任意の形式で、ランドマーク位置の少なくとも１つで画像を修正するなどの使用のために提供されてもよい（ステップ４０８）。
【0048】
ＣＮＮの第１段階は、中間的特徴を生成し、且つ、用いて、初期予測を生成するように初期ヒートマップを生成することができる。
【0049】
第２段階は、ランドマークごとに、クロップされた特徴から第２のヒートマップを生成し、第２のヒートマップを用いて、それぞれのリファインメント位置オフセットを生成することができる。
【0050】
図５は、コンピュータ実装方法のオペレーション５００を示すフローチャートである。オペレーションは（例えば、図４に関連して、または他の方法で）本明細書で説明されるようなコンピューティングデバイス又はシステムによって実行され得る。ステップ５０２及び５０４は、ステップ４０２及び４０４と同様である。ステップ５１０は、画像が修正されるステップ４０８と同様である。
【0051】
ステップ５０６は、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて複数のランドマークの各々についてそれぞれの位置を決定するように画像を処理することを示す。第１段階は、画像を受け取り、第１段階の第１部において、画像からの中間的特徴のボリュームを決定し、第１段階の第２部において、中間的特徴のボリュームを用いて画像内のランドマークの各々についてのそれぞれの初期位置を決定する。第２段階は、第２段階の第１部において、中間的特徴のボリュームを受信し、第２段階の第２部において、複数のランドマークの各々についてのそれぞれの初期位置を受信する。
【0052】
第２段階はさらに、中間的特徴をさらに洗練するようにボリュームの処理をし、複数のランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングをさらに洗練されたものとして中間的特徴に対して実行し、クロップされた特徴を用いて、各ランドマークに対して、各ランドマークのそれぞれの初期位置の各々についてのそれぞれのリファインメント位置オフセットを決定するように動作する。
【0053】
オペレーション５００はさらに、（例えば、５０８において）、複数のランドマークの各々の画像内の最終位置座標を決定するために、それぞれの初期位置の各々とそれぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作してもよい。
【0054】
オペレーション５００において、第１段階の第２部が中間的特徴のボリュームを使用して初期ヒートマップを決定し、初期ヒートマップを用いてランドマークの各々についてのそれぞれの初期位置の各々を予測してもよい。
【0055】
図４又は図５のオペレーションでは、第１段階の少なくともいくつかは一連の反転残差ブロックを含み、第２段階の少なくともいくつかは一連の反転残差ブロックを含み得る。第２段階は、クロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングのためのＲｏＩＡｌｉｇｎを用い、クロップされた特徴を連結することができる。
【0056】
図４又は図５のオペレーションでは、第２段階は、クロップされた特徴を処理する予測ブロックを含むことができ、予測ブロックは、３×３カーネルによるチャネル単位の畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍ及びＲｅＬＵアクティベーションと、１×１カーネルによるグループごとのチャネルの畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍと、を順番に実行し、それぞれのリファインメント位置オフセットの各々を出力する。
【0057】
図４又は図５のオペレーションでは、ＣＮＮモデルは、ガウス分布に従って定義された複数のランドマークのそれぞれのランドマークについて、グランドトゥルースヒートマップを有するそれぞれのトレーニング画像を用いて、それぞれのトレーニング画像内の前記グランドトゥルースヒートマップのそれぞれの座標位置に対応するモードでトレーニングすることができる。ガウス分布は、上述したように定義することができる。
【0058】
オペレーション４００又は５００におけるＣＮＮは、ヒートマップを学習するためのピクセルワイズシグモイドクロスエントロピーによって定義される損失関数でトレーニングされてもよい。損失関数は、距離損失Ｌ２をさらに含むことができる。損失関数は、上述したようなものであってもよい。
【0059】
オペレーション４００又は５００において、画像を修正することは、画像に適用される製品をシミュレートすることを含み得る。画像は、ビデオ画像であってもよく、本方法は仮想現実をシミュレートするためにリアルタイムで修正された画像を提示してもよい。
【0060】
オペレーション４００又は５００において、ランドマークは顔のランドマークであってもよく、画像は顔を含んでもよい。それぞれのオペレーションは、ランドマークのそれぞれの位置を用いて、少なくとも１つの製品シミュレーションで画像を更新することを含み得る。
【0061】
コンピューティングデバイス（又はシステム）の態様および方法の態様に加えて、本明細書で開示される方法の態様のいずれかを実行するようにコンピューティングデバイスを構成するために、命令が非一時記憶デバイス（たとえば、メモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ディスクなど）に格納される、コンピュータプログラム製品の態様が開示されることを、当業者は理解するのであろう。
【0062】
ＣＮＮは、画像のさらなる処理のためにそれぞれのランドマーク位置を提供することができることが理解されるのであろう。例えば、コンピューティングデバイスは、命令を介して画像を受信し、ＣＮＮを用いて画像上でランドマーク検出を実行するように構成され得る。
【0063】
命令は、ランドマークのうちの少なくとも１つについての最終座標を用いて、ランドマークのうちの少なくとも１つ又はその周辺の画像を修正するようにコンピューティングデバイスを構成することができる。画像は例えば、境界ボックス又は領域を示す、マスクを示すなど、ランドマークの少なくとも１つにおいて、又はランドマークの周辺で、注釈付けされてもよい（修正の例）。画像を修正することは、画像に適用される製品をシミュレートすることを含み得る。製品は、画像が顔であり、ランドマークが顔のランドマークである場合のように、メイクアップ製品であってもよい。画像は、ビデオ画像であってもよく、コンピューティングデバイスは、仮想現実をシミュレートするために画像をリアルタイムで修正し提示するように命令を介して構成されてもよい。コンピューティングデバイスは、カメラをさらに含んでもよく、ビデオは、カメラによって撮影されたセルフィービデオであってもよい。
【0064】
実際の実施は、本明細書に記載された特徴のいずれか又は全てを含むことができる。これら及び他の態様、特徴、並びに様々な組み合わせは、方法、装置、システム、機能を実行するための手段、プログラム製品、及び、他の方法で、本明細書で説明される特徴を組み合わせて表され得る。多数の実施形態が記載されているが、本明細書で説明されるプロセス及び技術的思想および範囲から逸脱することなく、様々な修正を行うことができることが理解されるだろう。加えて、他のステップが提供されても良く、又は記載された方法からステップが排除されても良く、他の構成要素が記載されたシステムに対し、追加または除去されても良い。従って、他の態様は特許請求の範囲内にある。
【0065】
上記の発明の実施形態が、少なくとも部分的に、汎用処理装置などのソフトウェア制御のプログラマブル処理装置を用いて実施可能である限りにおいて、この発明の実施形態は以下のとおりである。処理装置や特殊用途処理装置、デジタル信号処理装置、マイクロ処理装置、またはその他の処理装置、データ処理装置またはコンピュータシステムであることが理解される。前述した方法、装置およびシステムを実施するためにプログラマブルデバイス、装置またはシステムを構成するためのコンピュータプログラムは、本発明の一側面として想定されている。コンピュータプログラムは、ソースコード、オブジェクトコード、コンパイルコード、インタプリタコード、実行可能コード、静的コード、動的コードなど、任意の適切なタイプのコードとして具現化され得る。命令は、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＢＡＳＩＣ、Ｐｅｒｌ、Ｍａｔｌａｂ（商標登録）、Ｐａｓｃａｌ、Ｖｉｓｕａｌ ＢＡＳＩＣ（登録商標）、ＪＡＶＡ（登録商標）、ＡｃｔｉｖｅＸ（登録商標）、アセンブリ言語、マシンコードなどの任意の適切な高レベル、低レベル、オブジェクト指向、視覚、コンパイル及び／又は解釈プログラミング言語を使って実施されてもよい。当業者であれば、最も一般的な意味での「コンピュータ」という単語は、上記で言及したようなプログラマブルデバイス、およびデータ処理装置およびコンピュータシステム、例えば、デスクトップパソコン、ラップトップパソコン、タブレット、スマートフォン又は他のコンピューティングデバイスなど、それらが生じ得るあらゆる形式を包含することを容易に理解することができるであろう。
【0066】
好適には、コンピュータプログラムは、機械可読形式でキャリア媒体に格納され、例えば、キャリア媒体は、メモリ、取り外し可能または非取り出し可能媒体、消去可能または非消去可能媒体、書き込み可能または再書き込み可能媒体、デジタル又はアナログ媒体、ハードディスク、フロッピーディスクで構成されてもよい。コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、コンパクトディスクレコーダブル（ＣＤ－Ｒ）、コンパクトディスクリライタブル（ＣＤ－ＲＷ）、光ディスク、磁気媒体、光磁気媒体、取り外し可能なメモリカードやディスク、様々な種類のデジタルバーサタイルディスク（ＤＶＤ） 加入者識別モジュール、テープ、カセット 固体メモリなどである。コンピュータプログラムは、電子信号、無線周波数搬送波または光搬送波などの通信媒体に具現化されたリモートソースから供給されてもよい。このような搬送媒体も、本発明の態様として想定される。
【0067】
本明細書の記載および特許請求の範囲を通して、単語「含む」及び「備える」及びそれらの変形表現は「含むがこれに限定されない」を意味し、他の構成要素、整数またはステップを排除することを意図しない（排除しない）。本明細書全体を通して、文脈が別途必要としない限り、単数は複数を包含する。特に、不定冠詞が使用されている場合、文脈上ほかに必要としない限り、単数だけでなく複数も意図していると理解されたい。
【0068】
本発明の特定の態様、実施形態または例に関連して記載される特徴、整数特性、化合物、化学部分または基は、それらと非互換でない限り、任意の他の態様、実施形態または例に適用可能であると理解されるべきである。本明細書に開示された特徴（添付の特許請求の範囲、要約書、及び、図面を含む）の全て、或いはそのように開示された任意の方法または処理のステップの全ては、そのような特徴或いはステップの少なくともいくつかが相互に排他的である組み合わせを除いて、任意の組合せで組み合わせることができる。本発明は、前述の例または実施形態の詳細に限定されない。本発明は、本明細書（添付の特許請求の範囲、要約書、及び、図面を含む）に開示された特徴の任意の新規なもの、又は任意の新規な組み合わせ、又は開示された任意の手法または処理のステップの任意の新規なもの、又は任意の新規な組み合わせに拡張される。
【0069】
本明細書で使用される場合、単語「含む」、「含んでいる」、「備え」、「有し」、「有している」またはその他の変形は、非排他的な包含をカバーすることを意図している。例えば、要素のリストから構成されるプロセス、方法、物品、または装置は、必ずしもそれらの要素のみに限定されず、明示的にリストされていない他の要素または当該プロセス、方法、物品、または装置に固有の要素を含んでもよい。さらに、明示的に反対を表明しない限り、「または」は包括的な「または」を指し、排他的な「または」を指さない。
【0070】
さらに、「１つ」という語の使用は、本発明の要素および構成要素を説明するために採用される。これは単に便宜上、本発明の一般的な感覚を与えるために行われるものである。本明細書は、そうでないことを意味することが明らかでない限り、１つまたは少なくとも１つを含むように読まれるべきであり、単数形は複数形も含む。
【0071】
前述の説明を考慮すると、当業者には、以下のことが明らかであろう。本発明の範囲内で様々な変更を加えることができる。
【0072】
本開示の範囲は、請求された発明と関連するかどうか、または本発明によって対処される問題のいずれかまたはすべてに対して緩和するかどうかにかかわらず、それと矛盾しない限り、明示的または暗黙的にそこに開示された任意の新規な特徴または特徴の組み合わせ、あるいはその一般化を含む。本出願人は、本出願またはそこから派生するさらなる出願の審理中に、かかる特徴に対して新たな請求項を策定することができることをここに通知する。特に、添付の請求項を参照すると、従属請求項の特徴は、独立請求項の特徴と組み合わせてもよく、それぞれの独立請求項の特徴は、請求項に列挙された特定の組み合わせだけでなく、任意の適切な方法で組み合わせてもよい。
＜参考文献（Ｒｅｆｅｒｅｎｃｅｓ）＞
以下の参考文献は、参照により本明細書に組み込まれている。
［１］Ｍ．Ｋｏｗａｌｓｋｉ，Ｊ．Ｎａｒｕｎｉｅｃ，ａｎｄ Ｔ．Ｔｒｚｃｉｎｓｋｉ，“Ｄｅｅｐ ａｌｉｇｎｍｅｎｔ ｎｅｔｗｏｒｋ：Ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｒｏｂｕｓｔ ｆａｃｅ ａｌｉｇｎｍｅｎｔ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７０６.０１７８９,２０１７.
［２］Ｙ．Ｓｕｎ，Ｘ．Ｗａｎｇ，ａｎｄ Ｘ．Ｔａｎｇ，“Ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ ｃａｓｃａｄｅ ｆｏｒ ｆａｃｉａｌ ｐｏｉｎｔ ｄｅｔｅｃｔｉｏｎ，”ｉｎ２０１３ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．３４７６－３４８３，Ｊｕｎｅ２０１３．
［３］Ｋ．Ｙｕｅｎ ａｎｄ Ｍ．Ｍ．Ｔｒｉｖｅｄｉ，“Ａｎ ｏｃｃｌｕｄｅｄ ｓｔａｃｋｅｄ ｈｏｕｒｇｌａｓｓ ａｐｐｒｏａｃｈ ｔｏ ｆａｃｉａｌ ｌａｎｄｍａｒｋ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｏｃｃｌｕｓｉｏｎ ｅｓｔｉｍａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１８０２．０２１３７，２０１８.
［４］Ｖ．Ｋａｚｅｍｉ ａｎｄ Ｊ．Ｓｕｌｌｉｖａｎ，“Ｏｎｅ ｍｉｌｌｉｓｅｃｏｎｄ ｆａｃｅ ａｌｉｇｎｍｅｎｔ ｗｉｔｈ ａｎ ｅｎｓｅｍｂｌｅ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｔｒｅｅｓ，”２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ, ｐｐ．１８６７－１８７４，２０１４.
［５］Ｄ．Ｅ．Ｋｉｎｇ，“Ｄｌｉｂ－ｍｌ：Ａ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｔｏｏｌｋｉｔ，”Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，ｖｏｌ．１０，ｐｐ．１７５５－１７５８，２００９.
［６］Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ，Ｄ．Ｗ．Ｊａｃｏｂｓ，Ｄ．Ｊ．Ｋｒｉｅｇｍａｎ，ａｎｄ Ｎ．Ｋｕｍａｒ，“Ｌｏｃａｌｉｚｉｎｇ ｐａｒｔｓ ｏｆ ｆａｃｅｓ ｕｓｉｎｇ ａ ｃｏｎｓｅｎｓｕｓ ｏｆ ｅｘｅｍｐｌａｒｓ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３５，ｐｐ．２９３０－２９４０，Ｄｅｃ２０１３．
［７］Ｖ．Ｌｅ，Ｊ．Ｂｒａｎｄｔ，Ｚ．Ｌｉｎ，Ｌ．Ｂｏｕｒｄｅｖ，ａｎｄ Ｔ．Ｓ．Ｈｕａｎｇ，“Ｉｎｔｅｒａｃｔｉｖｅ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｌｏｃａｌｉｚａｔｉｏｎ，”ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ－ＥＣＣＶ２０１２（Ａ．Ｆｉｔｚｇｉｂｂｏｎ，Ｓ．Ｌａｚｅｂｎｉｋ，Ｐ．Ｐｅｒｏｎａ，Ｙ．Ｓａｔｏ，ａｎｄ Ｃ．Ｓｃｈｍｉｄ，ｅｄｓ．），（Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇ），ｐｐ．６７９－６９２，Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ，２０１２．
［８］Ｇ．Ｔｒｉｇｅｏｒｇｉｓ，Ｐ．Ｓｎａｐｅ，Ｍ．Ａ．Ｎｉｃｏｌａｏｕ，Ｅ．Ａｎｔｏｎａｋｏｓ，ａｎｄ Ｓ．Ｚａｆｅｉｒｉｏｕ，“Ｍｎｅｍｏｎｉｃ ｄｅｓｃｅｎｔ ｍｅｔｈｏｄ：Ａ ｒｅｃｕｒｒｅｎｔ ｐｒｏｃｅｓｓ ａｐｐｌｉｅｄ ｆｏｒ ｅｎｄ－ｔｏ－ｅｎｄ ｆａｃｅ ａｌｉｇｎｍｅｎｔ，”２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），ｐｐ．４１７７－４１８７，２０１６.
［９］Ａ．Ｎｅｗｅｌｌ，Ｋ．Ｙａｎｇ，ａｎｄ Ｊ．Ｄｅｎｇ，“Ｓｔａｃｋｅｄ ｈｏｕｒｇｌａｓｓ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０３．０６９３７，２０１６．
［１０」Ｍ．Ｓａｎｄｌｅｒ，Ａ．Ｇ．Ｈｏｗａｒｄ，Ｍ．Ｚｈｕ，Ａ．Ｚｈｍｏｇｉｎｏｖ，ａｎｄ Ｌ．Ｃｈｅｎ，“ＭｏｂｉｌｅＮｅｔＶ２：Ｉｎｖｅｒｔｅｄ ｒｅｓｉｄｕａｌｓ ａｎｄ ｌｉｎｅａｒ ｂｏｔｔｌｅｎｅｃｋｓ：Ｍｏｂｉｌｅ ｎｅｔｗｏｒｋｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１８０１．０４３８１，２０１８．
［１１］Ｆ．Ｎ．Ｉａｎｄｏｌａ，Ｍ．Ｗ．Ｍｏｓｋｅｗｉｃｚ，Ｋ．Ａｓｈｒａｆ，Ｓ．Ｈａｎ，Ｗ．Ｊ．Ｄａｌｌｙ，ａｎｄ Ｋ．Ｋｅｕｔｚｅｒ，“Ｓｑｕｅｅｚｅｎｅｔ：Ａｌｅｘｎｅｔ－ｌｅｖｅｌ ａｃｃｕｒａｃｙ ｗｉｔｈ ５０ｘ ｆｅｗｅｒ ｐａｒａｍｅｔｅｒｓ ａｎｄ ＜１ｍｂ ｍｏｄｅｌ ｓｉｚｅ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０２．０７３６０，２０１６．
［１２］Ｘ．Ｚｈａｎｇ，Ｘ．Ｚｈｏｕ，Ｍ．Ｌｉｎ，ａｎｄ Ｊ．Ｓｕｎ，“Ｓｈｕｆｆｌｅｎｅｔ：Ａｎ ｅｘｔｒｅｍｅｌｙ ｅｆｆｉｃｉｅｎｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７０７．０１０８３，２０１７．
［１３］Ａ．Ｇ．Ｈｏｗａｒｄ，Ｍ．Ｚｈｕ，Ｂ．Ｃｈｅｎ，Ｄ．Ｋａｌｅｎｉｃｈｅｎｋｏ，Ｗ．Ｗａｎｇ，Ｔ．Ｗｅｙａｎｄ，Ｍ．Ａｎｄｒｅｅｔｔｏ，ａｎｄ Ｈ．Ａｄａｍ，“Ｍｏｂｉｌｅｎｅｔｓ：Ｅｆｆｉｃｉｅｎｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｏｂｉｌｅ ｖｉｓｉｏｎ ａｐｐｌｉｃａｔｉｏｎｓ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７０４．０４８６１，２０１７．
［１４］Ｋ．Ｈｅ，Ｘ．Ｚｈａｎｇ，Ｓ．Ｒｅｎ，ａｎｄ Ｊ．Ｓｕｎ，“Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１５１２．０３３８５，２０１５．
［１５］Ａ．Ｂｕｌａｔ ａｎｄ Ｇ．Ｔｚｉｍｉｒｏｐｏｕｌｏｓ，“Ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｖｉａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｐａｒｔ ｈｅａｔ ｍａｐ ｒｅｇｒｅｓｓｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０９．０１７４３，２０１６．
［１６］Ｓ.Ｗｅｉ，Ｖ．Ｒａｍａｋｒｉｓｈｎａ，Ｔ．Ｋａｎａｄｅ，ａｎｄ Ｙ．Ｓｈｅｉｋｈ，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｐｏｓｅ ｍａｃｈｉｎｅｓ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０２．００１３４，２０１６．
［１７］Ｙ．Ｃｈｅｎ，Ｃ．Ｓｈｅｎ，Ｘ．Ｗｅｉ，Ｌ．Ｌｉｕ，ａｎｄ Ｊ．Ｙａｎｇ，“Ａｄｖｅｒｓａｒｉａｌ ｌｅａｒｎｉｎｇ ｏｆ ｓｔｒｕｃｔｕｒｅ－ａｗａｒｅ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｌａｎｄｍａｒｋ ｌｏｃａｌｉｚａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７１１．００２５３，２０１７．
［１８］Ｅ．Ｉｎｓａｆｕｔｄｉｎｏｖ，Ｌ．Ｐｉｓｈｃｈｕｌｉｎ，Ｂ．Ａｎｄｒｅｓ，Ｍ．Ａｎｄｒｉｌｕｋａ，ａｎｄ Ｂ．Ｓｃｈｉｅｌｅ，“Ｄｅｅｐｅｒｃｕｔ：Ａ ｄｅｅｐｅｒ，ｓｔｒｏｎｇｅｒ，ａｎｄ ｆａｓｔｅｒ ｍｕｌｔｉ－ｐｅｒｓｏｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０５．０３１７０，２０１６．
［１９］Ｒ．Ｂ．Ｇｉｒｓｈｉｃｋ，“Ｆａｓｔ Ｒ－ＣＮＮ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１５０４．０８０８３，２０１５．
［２０］Ｓ．Ｒｅｎ，Ｋ．Ｈｅ，Ｒ．Ｂ．Ｇｉｒｓｈｉｃｋ，ａｎｄ Ｊ．Ｓｕｎ，“Ｆａｓｔｅｒ Ｒ－ＣＮＮ：ｔｏｗａｒｄｓ ｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋｓ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１５０６．０１４９７，２０１５．
［２１］Ｊ．Ｌｏｎｇ，Ｅ．Ｓｈｅｌｈａｍｅｒ，ａｎｄ Ｔ．Ｄａｒｒｅｌｌ，“Ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１４１１．４０３８，２０１４．
［２２］Ｋ．Ｈｅ，Ｇ．Ｇｋｉｏｘａｒｉ，Ｐ．Ｄｏｌｌａｒ，ａｎｄ Ｒ．Ｂ．Ｇｉｒｓｈｉｃｋ，“Ｍａｓｋ Ｒ－ＣＮＮ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７０３．０６８７０，２０１７．
［２３］Ｎ．Ｚｈａｎｇ，Ｅ．Ｓｈｅｌｈａｍｅｒ，Ｙ．Ｇａｏ，ａｎｄ Ｔ．Ｄａｒｒｅｌｌ，“Ｆｉｎｅ－ｇｒａｉｎｅｄ ｐｏｓｅ ｐｒｅｄｉｃｔｉｏｎ，ｎｏｒｍａｌｉｚａｔｉｏｎ，ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１５１１．０７０６３，２０１５．
＜その他＞
＜手段＞
技術的思想１のコンピューティングデバイスは、処理ユニットと、それに結合された記憶デバイスと、前記処理ユニットによって実行されたときに、複数のランドマークの各々についてそれぞれの位置を決定し、画像を処理するようにコンピューティングデバイスを構成する命令を記憶している記憶ユニットと、を備えるものであって、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて前記画像を処理することを備え、前記第１段階は、前記それぞれの位置の初期予測を生成するように前記画像を処理し、前記第２段階は、前記第１段階によって前記画像から生成された中間的特徴と前記初期予測とを用いて、関心領域に対する共有された畳み込み特徴のクロップを生成してクロップされた特徴を定義し、さらに前記クロップされた特徴を処理して、前記それぞれの位置の前記初期予測に対して、それぞれのリファインメント位置オフセットを生成する。
技術的思想２のコンピューティングデバイスは、技術的思想１記載のコンピューティングデバイスにおいて、前記第１段階は、前記中間的特徴を生成し、且つ、用いて、前記初期予測を生成するように初期ヒートマップを生成する。
技術的思想３のコンピューティングデバイスは、技術的思想１又は２に記載のコンピューティングデバイスにおいて、前記第２段階は、ランドマークごとに、前記クロップされた特徴から第２のヒートマップを生成し、前記第２のヒートマップを用いて前記それぞれのリファインメント位置オフセットを生成する。
技術的思想４のコンピューティングデバイスは、技術的思想１から３のいずれかに記載のコンピューティングデバイスにおいて、前記ＣＮＮは、前記それぞれの位置の前記初期予測と、前記それぞれのリファインメント位置オフセットとを組み合わせて、前記複数のランドマークの各々について前記それぞれの位置を提供する。
技術的思想５のコンピューティングデバイスは、処理ユニットと、それに結合された記憶デバイスと、前記処理ユニットによって実行されたときに、複数のランドマークの各々に対してそれぞれの位置を決定し、画像を処理するようにコンピューティングデバイスを構成する命令を記憶している記憶ユニットと、を備えるものであって、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて前記画像を処理することを備え、前記第１段階は、前記画像を受け取り、前記第１段階の第１部において、前記画像からの中間的特徴のボリュームを決定し、前記第１段階の第２部において、前記中間的特徴のボリュームを用いて前記画像内の前記ランドマークの各々についてのそれぞれの初期位置を決定し、前記第２段階は、前記第２段階の第１部において、前記中間的特徴のボリュームを受信し、前記第２段階の第２部において、前記複数のランドマークの各々についての前記それぞれの初期位置を受信し、前記第２段階はさらに、前記中間的特徴をさらに洗練するように前記ボリュームの処理をすることと、前記複数のランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングをさらに洗練されたものとして前記中間的特徴に対して実行することと、前記クロップされた特徴を用いて、各ランドマークについて、前記各ランドマークのそれぞれの初期位置の各々に対する、それぞれのリファインメント位置オフセットを決定することと、を備え、前記処理は、前記複数のランドマークの各々の前記画像内の最終位置座標を決定するために、前記それぞれの初期位置の各々と前記それぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作する。
技術的思想６のコンピューティングデバイスは、技術的思想５記載のコンピューティングデバイスにおいて、前記第１段階の第２部が前記中間的特徴のボリュームを使用して初期ヒートマップを決定し、前記初期ヒートマップを用いて前記ランドマークの各々についてのそれぞれの初期位置の各々を予測する。
技術的思想７のコンピューティングデバイスは、技術的思想１から６のいずれかに記載のコンピューティングデバイスにおいて、前記第１段階の少なくともいくつかは一連の反転残差ブロックを含み、前記第２段階の少なくともいくつかは一連の反転残差ブロックを含む。
技術的思想８のコンピューティングデバイスは、技術的思想１から７のいずれかに記載のコンピューティングデバイスにおいて、前記第２段階は、前記クロップされた特徴を生成するように特徴アラインメントを保存しながら、前記関心領域のプーリングのためのＲｏＩＡｌｉｇｎを用い、前記クロップされた特徴を連結する。
技術的思想９のコンピューティングデバイスは、技術的思想１から８のいずれかに記載のコンピューティングデバイスにおいて、前記第２段階は、前記クロップされた特徴を処理する予測ブロックを含み、前記予測ブロックは、３×３カーネルによるチャネル単位の畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍ及びＲｅＬＵアクティベーションと、１×１カーネルによるグループ単位のチャネルの畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍと、を順番に実行し、前記それぞれのリファインメント位置オフセットの各々を出力する。
技術的思想１０のコンピューティングデバイスは、技術的思想１から９のいずれかに記載のコンピューティングデバイスにおいて、前記ＣＮＮモデルは、ガウス分布に従って定義された前記複数のランドマークのそれぞれのランドマークについて、グラウンドトゥルースヒートマップを有するそれぞれのトレーニング画像を用いて、前記それぞれのトレーニング画像内の前記グラウンドトゥルースヒートマップのそれぞれの座標位置に対応するモードでトレーニングされる。
技術的思想１１のコンピューティングデバイスは、技術的思想１０記載のコンピューティングデバイスにおいて、前記ガウス分布は、以下の数式１に従って定義され、
ｘ，ｙはトレーニング画像内の任意のピクセルの座標を示し、（ｘ ｉ ，ｙ ｉ ）は、対応するランドマーク座標である。
技術的思想１２のコンピューティングデバイスは、技術的思想１１記載のコンピューティングデバイスにおいて、ｘ ｐｒｅｄ ，ｙ ｐｒｅｄ 回帰は、以下の数式２のように、それぞれの予測されたヒートマップから計算された前記ガウス分布（数式１）による前記ピクセルの位置の期待値であって、ｊは、それぞれのヒートマップ内のすべての前記ピクセルにわたるインデックスであり、ｗ ｊ は、前記ピクセルのヒートマップ値を示す。
技術的思想１３のコンピューティングデバイスは、技術的思想１から１２のいずれかに記載のコンピューティングデバイスにおいて、前記ＣＮＮが、ヒートマップを学習するためのピクセルワイズシグモイドクロスエントロピーによって定義される損失関数でトレーニングされる。
技術的思想１４のコンピューティングデバイスは、技術的思想１３記載のコンピューティングデバイスにおいて、前記損失関数は、距離損失Ｌ ２ をさらに含む。
技術的思想１５のコンピューティングデバイスは、技術的思想１３又は１４に記載のコンピューティングデバイスにおいて、前記損失関数は、以下の数式３および数式４で表され、
は、ｎ ｔｈ サンプルのピクセル位置（ｉ，ｊ）における第ｌチャネルの前記ヒートマップの予測値であり、
は、対応するグランドトゥルースであり、
は、数式４から計算されるピクセル位置（ｉ，ｊ）の重みであって、
は、ｎ ｔｈ’ サンプルのｌ ｔｈ ランドマークの前記グランドトゥルースの座標であり、
は、同じランドマークの予測座標である。
技術的思想１６のコンピューティングデバイスは、技術的思想１から１５のいずれかに記載のコンピューティングデバイスにおいて、前記画像を受信し、前記画像上でランドマーク検出を実行するための命令を介して、さらに構成される。
技術的思想１７のコンピューティングデバイスは、技術的思想１から１６のいずれかに記載のコンピューティングデバイスにおいて、前記それぞれの位置を用いて、前記ランドマークのうちの少なくとも１つ又はその周辺で前記画像を修正するための命令を介して、さらに構成される。
技術的思想１８のコンピューティングデバイスは、技術的思想１７記載のコンピューティングデバイスにおいて、前記画像を修正することは、前記画像に適用される製品をシミュレートすることを含む。
技術的思想１９のコンピューティングデバイスは、技術的思想１７又は１８に記載のコンピューティングデバイスにおいて、前記画像はビデオ画像であり、前記コンピューティングデバイスは、前記命令を介して、仮想現実をシミュレートするために前記画像をリアルタイムで修正および提示するように構成される。
技術的思想２０のコンピューティングデバイスは、技術的思想１９記載のコンピューティングデバイスにおいて、カメラをさらに含み、前記ビデオは、前記カメラによって撮影されたセルフィービデオである。
技術的思想２１のコンピューティングデバイスは、技術的思想１６から２０のいずれかに記載のコンピューティングデバイスにおいて、前記ランドマークは顔のランドマークであり、前記画像は顔を含み、前記ランドマークの前記それぞれの位置を用いて、少なくとも１つの製品シミュレーションで前記画像を更新することをさらに含む。
技術的思想２２の方法は、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて複数のランドマークの各々についてそれぞれの位置を決定するように画像を処理することを備え、前記第１段階は、前記それぞれの位置の初期予測を生成するように前記画像を処理し、前記第２段階は、前記第１段階によって前記画像から生成された中間的特徴と前記初期予測とを用いて、関心領域に対する共有された畳み込み特徴のクロップを生成してクロップされた特徴を定義し、さらに前記クロップされた特徴を処理して、前記それぞれの位置の前記初期予測に対してそれぞれのリファインメント位置オフセットを生成する。
技術的思想２３の方法は、技術的思想２２記載の方法において、前記第１段階は、前記中間的特徴を生成し、且つ、用いて、前記初期予測が生成するように初期ヒートマップを生成する。
技術的思想２４の方法は、技術的思想２２又は２３に記載の方法において、前記第２段階は、ランドマークごとに、前記クロップされた特徴から第２のヒートマップを生成し、前記第２のヒートマップを用いて前記それぞれのリファインメント位置オフセットを生成する。
技術的思想２５の方法は、技術的思想２２から２４のいずれかに記載の方法において、前記ＣＮＮは、前記それぞれの位置の前記初期予測と、前記それぞれのリファインメント位置オフセットとを組み合わせて、前記複数のランドマークの各々について、前記それぞれの位置を提供する。
技術的思想２６の方法は、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて複数のランドマークの各々についてそれぞれの位置を決定するように画像を処理することを備え、前記第１段階は、前記画像を受け取り、前記第１段階の第１部において、前記画像からの中間的特徴のボリュームを決定し、前記第１段階の第２部において、前記中間的特徴のボリュームを用いて前記画像内の前記ランドマークの各々についてのそれぞれの初期位置を決定し、前記第２段階は、前記第２段階の第１部において、前記中間的特徴のボリュームを受信し、前記第２段階の第２部において、前記複数のランドマークの各々についての前記それぞれの初期位置を受信し、前記第２段階はさらに、前記中間的特徴をさらに洗練するように前記ボリュームの処理をすることと、前記複数のランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングをさらに洗練されたものとして前記中間的特徴に対して実行することと、前記クロップされた特徴を用いて、各ランドマークに対して、前記各ランドマークのそれぞれの初期位置の各々についてのそれぞれのリファインメント位置オフセットを決定することと、を備え、前記処理は、前記複数のランドマークの各々の前記画像内の最終位置座標を決定するために、前記それぞれの初期位置の各々と前記それぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作する。
技術的思想２７の方法は、技術的思想２６記載の方法において、前記第１段階の第２部が前記中間的特徴のボリュームを使用して初期ヒートマップを決定し、前記初期ヒートマップを用いて前記ランドマークの各々についてのそれぞれの初期位置の各々を予測する。
技術的思想２８の方法は、技術的思想２２から２７のいずれかに記載の方法において、前記第１段階の少なくともいくつかは一連の反転残差ブロックを含み、前記第２段階の少なくともいくつかは一連の反転残差ブロックを含む。
技術的思想２９の方法は、技術的思想２２から２８のいずれかに記載の方法において、前記第２段階は、前記クロップされた特徴を生成するように特徴アラインメントを保存しながら、前記関心領域のプーリングのためのＲｏＩＡｌｉｇｎを用い、前記クロップされた特徴を連結する。
技術的思想３０の方法は、技術的思想２２から２９のいずれかに記載の方法において、前記第２段階は、前記クロップされた特徴を処理する予測ブロックを含み、前記予測ブロックは、３×３カーネルによるチャネル単位の畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍ及びＲｅＬＵアクティベーションと、１×１カーネルによるグループごとのチャネルの畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍと、を順番に実行し、前記それぞれのリファインメント位置オフセットの各々を出力する。
技術的思想３１の方法は、技術的思想２２から３０のいずれかに記載の方法において、前記ＣＮＮモデルは、ガウス分布に従って定義された前記複数のランドマークのそれぞれのランドマークについて、グラウンドトゥルースヒートマップを有するそれぞれのトレーニング画像を用いて、前記それぞれのトレーニング画像内の前記グラウンドトゥルースヒートマップのそれぞれの座標位置に対応するモードでトレーニングされる。
技術的思想３２の方法は、技術的思想３１記載の方法において、前記ガウス分布は、以下の数式１に従って定義され、ｘ，ｙはトレーニング画像内の任意のピクセルの座標を示し、（ｘ ｉ ，ｙ ｉ ）は、対応するランドマーク座標である。
技術的思想３３の方法は、技術的思想３２記載の方法において、ｘ ｐｒｅｄ ，ｙ ｐｒｅｄ 回帰は、以下の数式２のように、それぞれの予測されたヒートマップから計算された前記ガウス分布（数式１）による前記ピクセルの位置の期待値であって、ｊは、それぞれのヒートマップ内のすべての前記ピクセルにわたるインデックスであり、ｗ ｊ は、前記ピクセルのヒートマップ値を示す。
技術的思想３４の方法は、技術的思想２２から３３のいずれかに記載の方法において、前記ＣＮＮが、ヒートマップを学習するためのピクセルワイズシグモイドクロスエントロピーによって規定される損失関数でトレーニングされる。
技術的思想３５の方法は、技術的思想３４記載の方法において、前記損失関数は、距離損失Ｌ ２ をさらに含む。
技術的思想３６の方法は、技術的思想３４又は３５に記載の方法において、前記損失関数は、以下の数式３および数式４で表され、
は、ｎ ｔｈ サンプルのピクセル位置（ｉ，ｊ）における第ｌチャネルの前記ヒートマップの予測値であり、
は、対応するグランドトゥルースであり、
は、数式４から計算されるピクセル位置（ｉ，ｊ）の重みであって、
は、ｎ ｔｈ’ サンプルのｌ ｔｈ ランドマークの前記グランドトゥルースの座標であり、
は、同じランドマークの予測座標である。
技術的思想３７の方法は、技術的思想２２から３６のいずれかに記載の方法において、前記複数のランドマークのそれぞれの位置のうちの少なくとも１つ又はその周辺で前記画像を修正することをさらに含む。
技術的思想３８の方法は、技術的思想３７記載の方法において、前記画像を修正することは、前記画像に適用される製品をシミュレートすることを含む。
技術的思想３９の方法は、技術的思想３７又は３８に記載の方法において、前記画像がビデオ画像であり、前記方法が、仮想現実をシミュレートするためにリアルタイムで修正された前記画像を提示する。
技術的思想４０の方法は、技術的思想３７から３９のいずれかに記載の方法において、カメラを有するパーソナルコンピューティングデバイス、好ましくはスマートフォン又はタブレットによって実行することをさらに含み、前記画像は、前記カメラによって撮影されたセルフィーである。
技術的思想４１の方法は、技術的思想３７から４０のいずれかに記載の方法において、前記ランドマークが顔のランドマークであり、前記画像が顔を含み、前記ランドマークの前記それぞれの位置を用いて、少なくとも１つの製品シミュレーションで前記画像を更新することをさらに含む。
技術的思想４２の非一時記憶デバイスは、前記処理ユニットによって実行されたときに、複数のランドマークの各々についてそれぞれの位置を決定し、画像を処理するようにコンピューティングデバイスを構成する命令を記憶するものであって、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて前記画像を処理することを備え、前記第１段階は、前記画像を受け取り、前記第１段階の第１部において、前記画像からの中間的特徴のボリュームを決定し、前記第１段階の第２部において、前記中間的特徴のボリュームを用いて前記画像内の前記ランドマークの各々についてのそれぞれの初期位置を決定し、前記第２段階は、前記第２段階の第１部において、前記中間的特徴のボリュームを受信し、前記第２段階の第２部において、前記ランドマークの各々について前記それぞれの初期位置を受信し、前記第２段階はさらに、前記中間的特徴をさらに洗練するように前記ボリュームの処理をすることと、前記複数のランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングをさらに洗練されたものとして前記中間的特徴に対して実行することと、前記クロップされた特徴を用いて、各ランドマークに対して、前記各ランドマークの前記それぞれの初期位置についてのそれぞれのリファインメント位置オフセットを決定することと、を備え、前記処理は、前記複数のランドマークの各々の前記画像内の最終位置座標を決定するために、前記それぞれの初期位置の各々と前記それぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作する。
技術的思想４３のコンピューティングデバイスは、処理装置と、記憶デバイスと、を備え、画像内の複数のランドマークのそれぞれの位置を検出するように前記画像を処理する畳み込みニューラルネットワーク（ＣＮＮ）を介して構成されるものであって、前記ＣＮＮは、第１段階において、前記それぞれの位置の初期座標を決定するように第１のヒートマップを採用し、第２段階において、前記初期座標のリファインメントオフセットを決定するように第２のヒートマップを採用し、前記第２段階では、さらにそれぞれのランドマークごとの関心領域プーリングを用いて非関連領域を回避するように重複演算を減らし、関連する共有された特徴の生成をガイドする２段階位置決めアーキテクチャを備え、前記ＣＮＮはそれぞれのヒートマップのサイズと演算リソースの使用を最小化するために、補助座標回帰損失でトレーニングされる。
＜参考文献（Ｒｅｆｅｒｅｎｃｅｓ）＞
以下の参考文献は、参照により本明細書に組み込まれている。
［１］Ｍ．Ｋｏｗａｌｓｋｉ，Ｊ．Ｎａｒｕｎｉｅｃ，ａｎｄ Ｔ．Ｔｒｚｃｉｎｓｋｉ，“Ｄｅｅｐ ａｌｉｇｎｍｅｎｔ ｎｅｔｗｏｒｋ：Ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｒｏｂｕｓｔ ｆａｃｅ ａｌｉｇｎｍｅｎｔ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７０６.０１７８９,２０１７.
［２］Ｙ．Ｓｕｎ，Ｘ．Ｗａｎｇ，ａｎｄ Ｘ．Ｔａｎｇ，“Ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ ｃａｓｃａｄｅ ｆｏｒ ｆａｃｉａｌ ｐｏｉｎｔ ｄｅｔｅｃｔｉｏｎ，”ｉｎ２０１３ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．３４７６－３４８３，Ｊｕｎｅ２０１３．
［３］Ｋ．Ｙｕｅｎ ａｎｄ Ｍ．Ｍ．Ｔｒｉｖｅｄｉ，“Ａｎ ｏｃｃｌｕｄｅｄ ｓｔａｃｋｅｄ ｈｏｕｒｇｌａｓｓ ａｐｐｒｏａｃｈ ｔｏ ｆａｃｉａｌ ｌａｎｄｍａｒｋ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｏｃｃｌｕｓｉｏｎ ｅｓｔｉｍａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１８０２．０２１３７，２０１８.
［４］Ｖ．Ｋａｚｅｍｉ ａｎｄ Ｊ．Ｓｕｌｌｉｖａｎ，“Ｏｎｅ ｍｉｌｌｉｓｅｃｏｎｄ ｆａｃｅ ａｌｉｇｎｍｅｎｔ ｗｉｔｈ ａｎ ｅｎｓｅｍｂｌｅ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｔｒｅｅｓ，”２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ, ｐｐ．１８６７－１８７４，２０１４.
［５］Ｄ．Ｅ．Ｋｉｎｇ，“Ｄｌｉｂ－ｍｌ：Ａ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｔｏｏｌｋｉｔ，”Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，ｖｏｌ．１０，ｐｐ．１７５５－１７５８，２００９.
［６］Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ，Ｄ．Ｗ．Ｊａｃｏｂｓ，Ｄ．Ｊ．Ｋｒｉｅｇｍａｎ，ａｎｄ Ｎ．Ｋｕｍａｒ，“Ｌｏｃａｌｉｚｉｎｇ ｐａｒｔｓ ｏｆ ｆａｃｅｓ ｕｓｉｎｇ ａ ｃｏｎｓｅｎｓｕｓ ｏｆ ｅｘｅｍｐｌａｒｓ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３５，ｐｐ．２９３０－２９４０，Ｄｅｃ２０１３．
［７］Ｖ．Ｌｅ，Ｊ．Ｂｒａｎｄｔ，Ｚ．Ｌｉｎ，Ｌ．Ｂｏｕｒｄｅｖ，ａｎｄ Ｔ．Ｓ．Ｈｕａｎｇ，“Ｉｎｔｅｒａｃｔｉｖｅ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｌｏｃａｌｉｚａｔｉｏｎ，”ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ－ＥＣＣＶ２０１２（Ａ．Ｆｉｔｚｇｉｂｂｏｎ，Ｓ．Ｌａｚｅｂｎｉｋ，Ｐ．Ｐｅｒｏｎａ，Ｙ．Ｓａｔｏ，ａｎｄ Ｃ．Ｓｃｈｍｉｄ，ｅｄｓ．），（Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇ），ｐｐ．６７９－６９２，Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ，２０１２．
［８］Ｇ．Ｔｒｉｇｅｏｒｇｉｓ，Ｐ．Ｓｎａｐｅ，Ｍ．Ａ．Ｎｉｃｏｌａｏｕ，Ｅ．Ａｎｔｏｎａｋｏｓ，ａｎｄ Ｓ．Ｚａｆｅｉｒｉｏｕ，“Ｍｎｅｍｏｎｉｃ ｄｅｓｃｅｎｔ ｍｅｔｈｏｄ：Ａ ｒｅｃｕｒｒｅｎｔ ｐｒｏｃｅｓｓ ａｐｐｌｉｅｄ ｆｏｒ ｅｎｄ－ｔｏ－ｅｎｄ ｆａｃｅ ａｌｉｇｎｍｅｎｔ，”２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），ｐｐ．４１７７－４１８７，２０１６.
［９］Ａ．Ｎｅｗｅｌｌ，Ｋ．Ｙａｎｇ，ａｎｄ Ｊ．Ｄｅｎｇ，“Ｓｔａｃｋｅｄ ｈｏｕｒｇｌａｓｓ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０３．０６９３７，２０１６．
［１０」Ｍ．Ｓａｎｄｌｅｒ，Ａ．Ｇ．Ｈｏｗａｒｄ，Ｍ．Ｚｈｕ，Ａ．Ｚｈｍｏｇｉｎｏｖ，ａｎｄ Ｌ．Ｃｈｅｎ，“ＭｏｂｉｌｅＮｅｔＶ２：Ｉｎｖｅｒｔｅｄ ｒｅｓｉｄｕａｌｓ ａｎｄ ｌｉｎｅａｒ ｂｏｔｔｌｅｎｅｃｋｓ：Ｍｏｂｉｌｅ ｎｅｔｗｏｒｋｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１８０１．０４３８１，２０１８．
［１１］Ｆ．Ｎ．Ｉａｎｄｏｌａ，Ｍ．Ｗ．Ｍｏｓｋｅｗｉｃｚ，Ｋ．Ａｓｈｒａｆ，Ｓ．Ｈａｎ，Ｗ．Ｊ．Ｄａｌｌｙ，ａｎｄ Ｋ．Ｋｅｕｔｚｅｒ，“Ｓｑｕｅｅｚｅｎｅｔ：Ａｌｅｘｎｅｔ－ｌｅｖｅｌ ａｃｃｕｒａｃｙ ｗｉｔｈ ５０ｘ ｆｅｗｅｒ ｐａｒａｍｅｔｅｒｓ ａｎｄ ＜１ｍｂ ｍｏｄｅｌ ｓｉｚｅ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０２．０７３６０，２０１６．
［１２］Ｘ．Ｚｈａｎｇ，Ｘ．Ｚｈｏｕ，Ｍ．Ｌｉｎ，ａｎｄ Ｊ．Ｓｕｎ，“Ｓｈｕｆｆｌｅｎｅｔ：Ａｎ ｅｘｔｒｅｍｅｌｙ ｅｆｆｉｃｉｅｎｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７０７．０１０８３，２０１７．
［１３］Ａ．Ｇ．Ｈｏｗａｒｄ，Ｍ．Ｚｈｕ，Ｂ．Ｃｈｅｎ，Ｄ．Ｋａｌｅｎｉｃｈｅｎｋｏ，Ｗ．Ｗａｎｇ，Ｔ．Ｗｅｙａｎｄ，Ｍ．Ａｎｄｒｅｅｔｔｏ，ａｎｄ Ｈ．Ａｄａｍ，“Ｍｏｂｉｌｅｎｅｔｓ：Ｅｆｆｉｃｉｅｎｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｏｂｉｌｅ ｖｉｓｉｏｎ ａｐｐｌｉｃａｔｉｏｎｓ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７０４．０４８６１，２０１７．
［１４］Ｋ．Ｈｅ，Ｘ．Ｚｈａｎｇ，Ｓ．Ｒｅｎ，ａｎｄ Ｊ．Ｓｕｎ，“Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１５１２．０３３８５，２０１５．
［１５］Ａ．Ｂｕｌａｔ ａｎｄ Ｇ．Ｔｚｉｍｉｒｏｐｏｕｌｏｓ，“Ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｖｉａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｐａｒｔ ｈｅａｔ ｍａｐ ｒｅｇｒｅｓｓｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０９．０１７４３，２０１６．
［１６］Ｓ.Ｗｅｉ，Ｖ．Ｒａｍａｋｒｉｓｈｎａ，Ｔ．Ｋａｎａｄｅ，ａｎｄ Ｙ．Ｓｈｅｉｋｈ，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｐｏｓｅ ｍａｃｈｉｎｅｓ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０２．００１３４，２０１６．
［１７］Ｙ．Ｃｈｅｎ，Ｃ．Ｓｈｅｎ，Ｘ．Ｗｅｉ，Ｌ．Ｌｉｕ，ａｎｄ Ｊ．Ｙａｎｇ，“Ａｄｖｅｒｓａｒｉａｌ ｌｅａｒｎｉｎｇ ｏｆ ｓｔｒｕｃｔｕｒｅ－ａｗａｒｅ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｌａｎｄｍａｒｋ ｌｏｃａｌｉｚａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７１１．００２５３，２０１７．
［１８］Ｅ．Ｉｎｓａｆｕｔｄｉｎｏｖ，Ｌ．Ｐｉｓｈｃｈｕｌｉｎ，Ｂ．Ａｎｄｒｅｓ，Ｍ．Ａｎｄｒｉｌｕｋａ，ａｎｄ Ｂ．Ｓｃｈｉｅｌｅ，“Ｄｅｅｐｅｒｃｕｔ：Ａ ｄｅｅｐｅｒ，ｓｔｒｏｎｇｅｒ，ａｎｄ ｆａｓｔｅｒ ｍｕｌｔｉ－ｐｅｒｓｏｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１６０５．０３１７０，２０１６．
［１９］Ｒ．Ｂ．Ｇｉｒｓｈｉｃｋ，“Ｆａｓｔ Ｒ－ＣＮＮ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１５０４．０８０８３，２０１５．
［２０］Ｓ．Ｒｅｎ，Ｋ．Ｈｅ，Ｒ．Ｂ．Ｇｉｒｓｈｉｃｋ，ａｎｄ Ｊ．Ｓｕｎ，“Ｆａｓｔｅｒ Ｒ－ＣＮＮ：ｔｏｗａｒｄｓ ｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋｓ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１５０６．０１４９７，２０１５．
［２１］Ｊ．Ｌｏｎｇ，Ｅ．Ｓｈｅｌｈａｍｅｒ，ａｎｄ Ｔ．Ｄａｒｒｅｌｌ，“Ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１４１１．４０３８，２０１４．
［２２］Ｋ．Ｈｅ，Ｇ．Ｇｋｉｏｘａｒｉ，Ｐ．Ｄｏｌｌａｒ，ａｎｄ Ｒ．Ｂ．Ｇｉｒｓｈｉｃｋ，“Ｍａｓｋ Ｒ－ＣＮＮ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１７０３．０６８７０，２０１７．
［２３］Ｎ．Ｚｈａｎｇ，Ｅ．Ｓｈｅｌｈａｍｅｒ，Ｙ．Ｇａｏ，ａｎｄ Ｔ．Ｄａｒｒｅｌｌ，“Ｆｉｎｅ－ｇｒａｉｎｅｄ ｐｏｓｅ ｐｒｅｄｉｃｔｉｏｎ，ｎｏｒｍａｌｉｚａｔｉｏｎ，ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ，”ＣｏＲＲ，ｖｏｌ．ａｂｓ／１５１１．０７０６３，２０１５．
＜その他＞
＜手段＞
技術的思想１のコンピューティングデバイスは、処理ユニットと、それに結合された記憶デバイスと、前記処理ユニットによって実行されたときに、複数のランドマークの各々についてそれぞれの位置を決定し、画像を処理するようにコンピューティングデバイスを構成する命令を記憶している記憶ユニットと、を備えるものであって、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて前記画像を処理することを備え、前記第１段階は、前記それぞれの位置の初期予測を生成するように前記画像を処理し、前記第２段階は、前記第１段階によって前記画像から生成された中間的特徴と前記初期予測とを用いて、関心領域に対する共有された畳み込み特徴のクロップを生成してクロップされた特徴を定義し、さらに前記クロップされた特徴を処理して、前記それぞれの位置の前記初期予測に対して、それぞれのリファインメント位置オフセットを生成する。
技術的思想２のコンピューティングデバイスは、技術的思想１記載のコンピューティングデバイスにおいて、前記第１段階は、前記中間的特徴を生成し、且つ、用いて、前記初期予測を生成するように初期ヒートマップを生成する。
技術的思想３のコンピューティングデバイスは、技術的思想１又は２に記載のコンピューティングデバイスにおいて、前記第２段階は、ランドマークごとに、前記クロップされた特徴から第２のヒートマップを生成し、前記第２のヒートマップを用いて前記それぞれのリファインメント位置オフセットを生成する。
技術的思想４のコンピューティングデバイスは、技術的思想１から３のいずれかに記載のコンピューティングデバイスにおいて、前記ＣＮＮは、前記それぞれの位置の前記初期予測と、前記それぞれのリファインメント位置オフセットとを組み合わせて、前記複数のランドマークの各々について前記それぞれの位置を提供する。
技術的思想５のコンピューティングデバイスは、処理ユニットと、それに結合された記憶デバイスと、前記処理ユニットによって実行されたときに、複数のランドマークの各々に対してそれぞれの位置を決定し、画像を処理するようにコンピューティングデバイスを構成する命令を記憶している記憶ユニットと、を備えるものであって、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて前記画像を処理することを備え、前記第１段階は、前記画像を受け取り、前記第１段階の第１部において、前記画像からの中間的特徴のボリュームを決定し、前記第１段階の第２部において、前記中間的特徴のボリュームを用いて前記画像内の前記ランドマークの各々についてのそれぞれの初期位置を決定し、前記第２段階は、前記第２段階の第１部において、前記中間的特徴のボリュームを受信し、前記第２段階の第２部において、前記複数のランドマークの各々についての前記それぞれの初期位置を受信し、前記第２段階はさらに、前記中間的特徴をさらに洗練するように前記ボリュームの処理をすることと、前記複数のランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングをさらに洗練されたものとして前記中間的特徴に対して実行することと、前記クロップされた特徴を用いて、各ランドマークについて、前記各ランドマークのそれぞれの初期位置の各々に対する、それぞれのリファインメント位置オフセットを決定することと、を備え、前記処理は、前記複数のランドマークの各々の前記画像内の最終位置座標を決定するために、前記それぞれの初期位置の各々と前記それぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作する。
技術的思想６のコンピューティングデバイスは、技術的思想５記載のコンピューティングデバイスにおいて、前記第１段階の第２部が前記中間的特徴のボリュームを使用して初期ヒートマップを決定し、前記初期ヒートマップを用いて前記ランドマークの各々についてのそれぞれの初期位置の各々を予測する。
技術的思想７のコンピューティングデバイスは、技術的思想１から６のいずれかに記載のコンピューティングデバイスにおいて、前記第１段階の少なくともいくつかは一連の反転残差ブロックを含み、前記第２段階の少なくともいくつかは一連の反転残差ブロックを含む。
技術的思想８のコンピューティングデバイスは、技術的思想１から７のいずれかに記載のコンピューティングデバイスにおいて、前記第２段階は、前記クロップされた特徴を生成するように特徴アラインメントを保存しながら、前記関心領域のプーリングのためのＲｏＩＡｌｉｇｎを用い、前記クロップされた特徴を連結する。
技術的思想９のコンピューティングデバイスは、技術的思想１から８のいずれかに記載のコンピューティングデバイスにおいて、前記第２段階は、前記クロップされた特徴を処理する予測ブロックを含み、前記予測ブロックは、３×３カーネルによるチャネル単位の畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍ及びＲｅＬＵアクティベーションと、１×１カーネルによるグループ単位のチャネルの畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍと、を順番に実行し、前記それぞれのリファインメント位置オフセットの各々を出力する。
技術的思想１０のコンピューティングデバイスは、技術的思想１から９のいずれかに記載のコンピューティングデバイスにおいて、前記ＣＮＮモデルは、ガウス分布に従って定義された前記複数のランドマークのそれぞれのランドマークについて、グラウンドトゥルースヒートマップを有するそれぞれのトレーニング画像を用いて、前記それぞれのトレーニング画像内の前記グラウンドトゥルースヒートマップのそれぞれの座標位置に対応するモードでトレーニングされる。
技術的思想１１のコンピューティングデバイスは、技術的思想１０記載のコンピューティングデバイスにおいて、前記ガウス分布は、以下の数式１に従って定義され、
ｘ，ｙはトレーニング画像内の任意のピクセルの座標を示し、（ｘ ｉ ，ｙ ｉ ）は、対応するランドマーク座標である。
【数1】
技術的思想１２のコンピューティングデバイスは、技術的思想１１記載のコンピューティングデバイスにおいて、ｘ ｐｒｅｄ ，ｙ ｐｒｅｄ 回帰は、以下の数式２のように、それぞれの予測されたヒートマップから計算された前記ガウス分布（数式１）による前記ピクセルの位置の期待値であって、ｊは、それぞれのヒートマップ内のすべての前記ピクセルにわたるインデックスであり、ｗ ｊ は、前記ピクセルのヒートマップ値を示す。
【数2】
技術的思想１３のコンピューティングデバイスは、技術的思想１から１２のいずれかに記載のコンピューティングデバイスにおいて、前記ＣＮＮが、ヒートマップを学習するためのピクセルワイズシグモイドクロスエントロピーによって定義される損失関数でトレーニングされる。
技術的思想１４のコンピューティングデバイスは、技術的思想１３記載のコンピューティングデバイスにおいて、前記損失関数は、距離損失Ｌ ２ をさらに含む。
技術的思想１５のコンピューティングデバイスは、技術的思想１３又は１４に記載のコンピューティングデバイスにおいて、前記損失関数は、以下の数式３および数式４で表され、
【数3】
【数4】
【数5】
は、ｎ ｔｈ サンプルのピクセル位置（ｉ，ｊ）における第ｌチャネルの前記ヒートマップの予測値であり、
【数6】
は、対応するグランドトゥルースであり、
【数7】
は、数式４から計算されるピクセル位置（ｉ，ｊ）の重みであって、
【数8】
は、ｎ ｔｈ’ サンプルのｌ ｔｈ ランドマークの前記グランドトゥルースの座標であり、
【数9】
は、同じランドマークの予測座標である。
技術的思想１６のコンピューティングデバイスは、技術的思想１から１５のいずれかに記載のコンピューティングデバイスにおいて、前記画像を受信し、前記画像上でランドマーク検出を実行するための命令を介して、さらに構成される。
技術的思想１７のコンピューティングデバイスは、技術的思想１から１６のいずれかに記載のコンピューティングデバイスにおいて、前記それぞれの位置を用いて、前記ランドマークのうちの少なくとも１つ又はその周辺で前記画像を修正するための命令を介して、さらに構成される。
技術的思想１８のコンピューティングデバイスは、技術的思想１７記載のコンピューティングデバイスにおいて、前記画像を修正することは、前記画像に適用される製品をシミュレートすることを含む。
技術的思想１９のコンピューティングデバイスは、技術的思想１７又は１８に記載のコンピューティングデバイスにおいて、前記画像はビデオ画像であり、前記コンピューティングデバイスは、前記命令を介して、仮想現実をシミュレートするために前記画像をリアルタイムで修正および提示するように構成される。
技術的思想２０のコンピューティングデバイスは、技術的思想１９記載のコンピューティングデバイスにおいて、カメラをさらに含み、前記ビデオは、前記カメラによって撮影されたセルフィービデオである。
技術的思想２１のコンピューティングデバイスは、技術的思想１６から２０のいずれかに記載のコンピューティングデバイスにおいて、前記ランドマークは顔のランドマークであり、前記画像は顔を含み、前記ランドマークの前記それぞれの位置を用いて、少なくとも１つの製品シミュレーションで前記画像を更新することをさらに含む。
技術的思想２２の方法は、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて複数のランドマークの各々についてそれぞれの位置を決定するように画像を処理することを備え、前記第１段階は、前記それぞれの位置の初期予測を生成するように前記画像を処理し、前記第２段階は、前記第１段階によって前記画像から生成された中間的特徴と前記初期予測とを用いて、関心領域に対する共有された畳み込み特徴のクロップを生成してクロップされた特徴を定義し、さらに前記クロップされた特徴を処理して、前記それぞれの位置の前記初期予測に対してそれぞれのリファインメント位置オフセットを生成する。
技術的思想２３の方法は、技術的思想２２記載の方法において、前記第１段階は、前記中間的特徴を生成し、且つ、用いて、前記初期予測が生成するように初期ヒートマップを生成する。
技術的思想２４の方法は、技術的思想２２又は２３に記載の方法において、前記第２段階は、ランドマークごとに、前記クロップされた特徴から第２のヒートマップを生成し、前記第２のヒートマップを用いて前記それぞれのリファインメント位置オフセットを生成する。
技術的思想２５の方法は、技術的思想２２から２４のいずれかに記載の方法において、前記ＣＮＮは、前記それぞれの位置の前記初期予測と、前記それぞれのリファインメント位置オフセットとを組み合わせて、前記複数のランドマークの各々について、前記それぞれの位置を提供する。
技術的思想２６の方法は、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて複数のランドマークの各々についてそれぞれの位置を決定するように画像を処理することを備え、前記第１段階は、前記画像を受け取り、前記第１段階の第１部において、前記画像からの中間的特徴のボリュームを決定し、前記第１段階の第２部において、前記中間的特徴のボリュームを用いて前記画像内の前記ランドマークの各々についてのそれぞれの初期位置を決定し、前記第２段階は、前記第２段階の第１部において、前記中間的特徴のボリュームを受信し、前記第２段階の第２部において、前記複数のランドマークの各々についての前記それぞれの初期位置を受信し、前記第２段階はさらに、前記中間的特徴をさらに洗練するように前記ボリュームの処理をすることと、前記複数のランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングをさらに洗練されたものとして前記中間的特徴に対して実行することと、前記クロップされた特徴を用いて、各ランドマークに対して、前記各ランドマークのそれぞれの初期位置の各々についてのそれぞれのリファインメント位置オフセットを決定することと、を備え、前記処理は、前記複数のランドマークの各々の前記画像内の最終位置座標を決定するために、前記それぞれの初期位置の各々と前記それぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作する。
技術的思想２７の方法は、技術的思想２６記載の方法において、前記第１段階の第２部が前記中間的特徴のボリュームを使用して初期ヒートマップを決定し、前記初期ヒートマップを用いて前記ランドマークの各々についてのそれぞれの初期位置の各々を予測する。
技術的思想２８の方法は、技術的思想２２から２７のいずれかに記載の方法において、前記第１段階の少なくともいくつかは一連の反転残差ブロックを含み、前記第２段階の少なくともいくつかは一連の反転残差ブロックを含む。
技術的思想２９の方法は、技術的思想２２から２８のいずれかに記載の方法において、前記第２段階は、前記クロップされた特徴を生成するように特徴アラインメントを保存しながら、前記関心領域のプーリングのためのＲｏＩＡｌｉｇｎを用い、前記クロップされた特徴を連結する。
技術的思想３０の方法は、技術的思想２２から２９のいずれかに記載の方法において、前記第２段階は、前記クロップされた特徴を処理する予測ブロックを含み、前記予測ブロックは、３×３カーネルによるチャネル単位の畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍ及びＲｅＬＵアクティベーションと、１×１カーネルによるグループごとのチャネルの畳み込みと、それに続いて、ＢａｔｃｈＮｏｒｍと、を順番に実行し、前記それぞれのリファインメント位置オフセットの各々を出力する。
技術的思想３１の方法は、技術的思想２２から３０のいずれかに記載の方法において、前記ＣＮＮモデルは、ガウス分布に従って定義された前記複数のランドマークのそれぞれのランドマークについて、グラウンドトゥルースヒートマップを有するそれぞれのトレーニング画像を用いて、前記それぞれのトレーニング画像内の前記グラウンドトゥルースヒートマップのそれぞれの座標位置に対応するモードでトレーニングされる。
技術的思想３２の方法は、技術的思想３１記載の方法において、前記ガウス分布は、以下の数式１に従って定義され、ｘ，ｙはトレーニング画像内の任意のピクセルの座標を示し、（ｘ ｉ ，ｙ ｉ ）は、対応するランドマーク座標である。
【数1】
技術的思想３３の方法は、技術的思想３２記載の方法において、ｘ ｐｒｅｄ ，ｙ ｐｒｅｄ 回帰は、以下の数式２のように、それぞれの予測されたヒートマップから計算された前記ガウス分布（数式１）による前記ピクセルの位置の期待値であって、ｊは、それぞれのヒートマップ内のすべての前記ピクセルにわたるインデックスであり、ｗ ｊ は、前記ピクセルのヒートマップ値を示す。
【数2】
技術的思想３４の方法は、技術的思想２２から３３のいずれかに記載の方法において、前記ＣＮＮが、ヒートマップを学習するためのピクセルワイズシグモイドクロスエントロピーによって規定される損失関数でトレーニングされる。
技術的思想３５の方法は、技術的思想３４記載の方法において、前記損失関数は、距離損失Ｌ ２ をさらに含む。
技術的思想３６の方法は、技術的思想３４又は３５に記載の方法において、前記損失関数は、以下の数式３および数式４で表され、
【数3】
【数4】
【数5】
は、ｎ ｔｈ サンプルのピクセル位置（ｉ，ｊ）における第ｌチャネルの前記ヒートマップの予測値であり、
【数6】
は、対応するグランドトゥルースであり、
【数7】
は、数式４から計算されるピクセル位置（ｉ，ｊ）の重みであって、
【数8】
は、ｎ ｔｈ’ サンプルのｌ ｔｈ ランドマークの前記グランドトゥルースの座標であり、
【数9】
は、同じランドマークの予測座標である。
技術的思想３７の方法は、技術的思想２２から３６のいずれかに記載の方法において、前記複数のランドマークのそれぞれの位置のうちの少なくとも１つ又はその周辺で前記画像を修正することをさらに含む。
技術的思想３８の方法は、技術的思想３７記載の方法において、前記画像を修正することは、前記画像に適用される製品をシミュレートすることを含む。
技術的思想３９の方法は、技術的思想３７又は３８に記載の方法において、前記画像がビデオ画像であり、前記方法が、仮想現実をシミュレートするためにリアルタイムで修正された前記画像を提示する。
技術的思想４０の方法は、技術的思想３７から３９のいずれかに記載の方法において、カメラを有するパーソナルコンピューティングデバイス、好ましくはスマートフォン又はタブレットによって実行することをさらに含み、前記画像は、前記カメラによって撮影されたセルフィーである。
技術的思想４１の方法は、技術的思想３７から４０のいずれかに記載の方法において、前記ランドマークが顔のランドマークであり、前記画像が顔を含み、前記ランドマークの前記それぞれの位置を用いて、少なくとも１つの製品シミュレーションで前記画像を更新することをさらに含む。
技術的思想４２の非一時記憶デバイスは、前記処理ユニットによって実行されたときに、複数のランドマークの各々についてそれぞれの位置を決定し、画像を処理するようにコンピューティングデバイスを構成する命令を記憶するものであって、第１段階および第２段階を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて前記画像を処理することを備え、前記第１段階は、前記画像を受け取り、前記第１段階の第１部において、前記画像からの中間的特徴のボリュームを決定し、前記第１段階の第２部において、前記中間的特徴のボリュームを用いて前記画像内の前記ランドマークの各々についてのそれぞれの初期位置を決定し、前記第２段階は、前記第２段階の第１部において、前記中間的特徴のボリュームを受信し、前記第２段階の第２部において、前記ランドマークの各々について前記それぞれの初期位置を受信し、前記第２段階はさらに、前記中間的特徴をさらに洗練するように前記ボリュームの処理をすることと、前記複数のランドマークの各々についてクロップされた特徴を生成するように特徴アライメントを保存しながら、関心領域のプーリングをさらに洗練されたものとして前記中間的特徴に対して実行することと、前記クロップされた特徴を用いて、各ランドマークに対して、前記各ランドマークの前記それぞれの初期位置についてのそれぞれのリファインメント位置オフセットを決定することと、を備え、前記処理は、前記複数のランドマークの各々の前記画像内の最終位置座標を決定するために、前記それぞれの初期位置の各々と前記それぞれのリファインメント位置オフセットとを組み合わせるようにさらに動作する。
技術的思想４３のコンピューティングデバイスは、処理装置と、記憶デバイスと、を備え、画像内の複数のランドマークのそれぞれの位置を検出するように前記画像を処理する畳み込みニューラルネットワーク（ＣＮＮ）を介して構成されるものであって、前記ＣＮＮは、第１段階において、前記それぞれの位置の初期座標を決定するように第１のヒートマップを採用し、第２段階において、前記初期座標のリファインメントオフセットを決定するように第２のヒートマップを採用し、前記第２段階では、さらにそれぞれのランドマークごとの関心領域プーリングを用いて非関連領域を回避するように重複演算を減らし、関連する共有された特徴の生成をガイドする２段階位置決めアーキテクチャを備え、前記ＣＮＮはそれぞれのヒートマップのサイズと演算リソースの使用を最小化するために、補助座標回帰損失でトレーニングされる。
【図1】
【図2】
【図3】
【図4】
【図5】