特許 7528383 測地線距離を使用して画像における密な対応を予測するためのモデルをトレーニングするためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】測地線距離を使用して画像における密な対応を予測するためのモデルをトレーニングするためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240729BHJP

   G06V 10/82 20220101ALI20240729BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

【請求項の数】 17

(21)【出願番号】P 2023555366

(86)(22)【出願日】2021-03-11

(65)【公表番号】

(43)【公表日】2024-02-21

(86)【国際出願番号】 CN2021080137

(87)【国際公開番号】W WO2022188086

(87)【国際公開日】2022-09-15

【審査請求日】2023-10-31

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】チャン，インダ

(72)【発明者】

【氏名】タン，フェイトン

(72)【発明者】

【氏名】タン，ダンハン

(72)【発明者】

【氏名】ドウ，ミンソン

(72)【発明者】

【氏名】グオ，カイウェン

(72)【発明者】

【氏名】ファネロ，ショーン・リャン・フランセスコ

(72)【発明者】

【氏名】ボウアジズ，ソフィエン

(72)【発明者】

【氏名】ケスキン，セム

(72)【発明者】

【氏名】ドゥ，ルオフェイ

(72)【発明者】

【氏名】パンディ，ロヒット・クマール

(72)【発明者】

【氏名】スン，デチン

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】米国特許出願公開第２００９／００２８４４２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００２６９１７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１２０１６６７７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

画像における対応を予測するためのニューラルネットワークをトレーニングする方法であって、
処理システムの１つまたは複数のプロセッサが、前記ニューラルネットワークを使用して、被写体の第１の画像に基づく第１の特徴マップと、前記被写体の第２の画像に基づく第２の特徴マップとを生成するステップを含み、前記第１の画像および前記第２の画像は異なり、前記被写体の３次元モデルを使用して生成され、前記方法はさらに、
前記１つまたは複数のプロセッサが、前記第１の特徴マップにおいて表されるような第１の点と、前記第２の特徴マップにおいて表されるような第２の点との間の第１の特徴距離を決定するステップを含み、前記第１の点および前記第２の点は、前記被写体の前記３次元モデルの同じ特徴に対応し、前記方法はさらに、
前記１つまたは複数のプロセッサが、前記第１の特徴マップにおいて表されるような第３の点と、前記第１の特徴マップにおいて表されるような第４の点との間の第２の特徴距離を決定するステップと、
前記１つまたは複数のプロセッサが、第１の表面マップにおいて表されるような、前記第３の点と前記第４の点との間の第１の測地線距離を決定するステップとを含み、前記第１の表面マップは、前記第１の画像に対応し、前記被写体の前記３次元モデルを使用して生成され、前記方法はさらに、
前記１つまたは複数のプロセッサが、前記第１の特徴マップにおいて表されるような前記第３の点と、前記第１の特徴マップにおいて表されるような第５の点との間の第３の特徴距離を決定するステップと、
前記１つまたは複数のプロセッサが、前記第１の表面マップにおいて表されるような、前記第３の点と前記第５の点との間の第２の測地線距離を決定するステップと、
前記１つまたは複数のプロセッサが、損失値のセットの第１の損失値を決定するステップとを含み、前記第１の損失値は前記第１の特徴距離に基づき、前記方法はさらに、
前記１つまたは複数のプロセッサが、前記損失値のセットの第２の損失値を決定するステップを含み、前記第２の損失値は、前記第２の特徴距離と、前記第３の特徴距離と、前記第１の測地線距離と、前記第２の測地線距離とに基づき、前記方法はさらに、
前記１つまたは複数のプロセッサが、前記損失値のセットに少なくとも部分的に基づいて、前記ニューラルネットワークの１つまたは複数のパラメータを変更するステップを含む、方法。

【請求項2】

前記第１の損失値は、追加の特徴距離のセットにさらに基づき、前記追加の特徴距離のセットの各所与の特徴距離は、前記第１の特徴マップにおいて表されるような選択された点と、前記第２の特徴マップにおいて表されるような対応する点との間にあり、前記選択された点および前記対応する点は、前記被写体の前記３次元モデルにおける同じ特徴に対応する、請求項１に記載の方法。

【請求項3】

前記第１の点および各選択された点は、前記第１の画像内の全てのピクセルを集合的に表す、請求項２に記載の方法。

【請求項4】

前記第２の損失値は、特徴距離の少なくとも１つの追加の対と、測地線距離の少なくとも１つの追加の対とにさらに基づき、
前記特徴距離の少なくとも１つの追加の対の特徴距離の各所与の追加の対は、前記第１の特徴マップにおいて表されるような３つの選択された点のセット間の２つの特徴距離を含み、
前記測地線距離の少なくとも１つの追加の対の測地線距離の各所与の追加の対は、前記第１の表面マップにおいて表されるような前記３つの選択された点のセット間の２つの測地線距離を含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記１つまたは複数のプロセッサが、前記第１の特徴マップにおいて表されるような第６の点と、前記第１の特徴マップにおいて表されるような前記第１の画像の全ての他の点との間の第４の特徴距離のセットを決定するステップと、
前記１つまたは複数のプロセッサが、前記第１の表面マップにおいて表されるような前記第６の点と、前記第１の表面マップにおいて表されるような前記第１の画像の全ての他の点との間の第３の測地線距離のセットを決定するステップと、
前記１つまたは複数のプロセッサが、前記損失値のセットの第３の損失値を決定するステップとをさらに含み、前記第３の損失値は前記第４の特徴距離のセットと前記第３の測地線距離のセットとに基づく、請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記第３の損失値は、特徴距離の少なくとも１つの追加のセットと、測地線距離の少なくとも１つの追加のセットとにさらに基づき、
前記特徴距離の少なくとも１つの追加のセットのうちの、特徴距離の各所与の追加のセットは、前記第１の特徴マップにおいて表されるような選択された点と、前記第１の特徴マップにおいて表されるような前記第１の画像の全ての他の点との間にあり、
前記測地線距離の少なくとも１つの追加のセットのうちの、測地線距離の各所与の追加のセットは、前記第１の表面マップにおいて表されるような前記選択された点と、前記第１の表面マップにおいて表されるような前記第１の画像の全ての他の点との間にある、請求項５に記載の方法。

【請求項7】

前記１つまたは複数のプロセッサが、前記第１の特徴マップにおいて表されるような第６の点と、前記第２の特徴マップにおいて表されるような前記第２の画像の全ての点との間の第４の特徴距離のセットを決定するステップと、
前記１つまたは複数のプロセッサが、第２の表面マップにおいて表されるような第１の点と、前記第２の表面マップにおいて表されるような前記第２の画像の全ての点との間の第３の測地線距離のセットを決定するステップとをさらに含み、前記第２の表面マップは前記第２の画像に対応し、前記被写体の前記３次元モデルを使用して生成されており、前記第２の表面マップにおける前記第１の点および前記第１の特徴マップにおける前記第６の点は、前記被写体の前記３次元モデルにおける同じ特徴に対応し、前記方法はさらに、
前記１つまたは複数のプロセッサが、前記損失値のセットの第３の損失値を決定するステップを含み、前記第３の損失値は前記第４の特徴距離のセットと前記第３の測地線距離のセットとに基づく、請求項１～４のいずれか１項に記載の方法。

【請求項8】

前記第３の損失値は、特徴距離の少なくとも１つの追加のセットと、測地線距離の少なくとも１つの追加のセットとにさらに基づき、
前記特徴距離の少なくとも１つの追加のセットのうちの、特徴距離の各所与の追加のセットは、前記第１の特徴マップにおいて表されるような選択された点と、前記第２の特徴マップにおいて表されるような前記第２の画像の全ての点との間にあり、
前記測地線距離の少なくとも１つの追加のセットのうちの、測地線距離の各所与の追加のセットは、第２の表面マップにおいて表されるような対応する点と、前記第２の表面マップにおいて表されるような前記第２の画像の全ての点との間にあり、前記第２の表面マップにおける前記対応する点および前記第１の特徴マップにおける前記選択された点は、前記被写体の前記３次元モデルにおける同じ特徴に対応する、請求項７に記載の方法。

【請求項9】

前記１つまたは複数のプロセッサが、前記第１の特徴マップにおいて表されるような第７の点と、前記第２の特徴マップにおいて表されるような前記第２の画像の全ての点との間の第５の特徴距離のセットを決定するステップと、
前記１つまたは複数のプロセッサが、第２の表面マップにおいて表されるような第１の点と、前記第２の表面マップにおいて表されるような前記第２の画像の全ての点との間の第４の測地線距離のセットを決定するステップとを含み、前記第２の表面マップは前記第２の画像に対応し、前記被写体の前記３次元モデルを使用して生成されており、前記第２の表面マップにおける前記第１の点および前記第１の特徴マップにおける前記第７の点は、前記被写体の前記３次元モデルにおける同じ特徴に対応し、前記方法はさらに、
前記１つまたは複数のプロセッサが、前記損失値のセットの第４の損失値を決定するステップを含み、前記第４の損失値は前記第５の特徴距離のセットと前記第４の測地線距離のセットとに基づく、請求項５～８のいずれか１項に記載の方法。

【請求項10】

前記第２の表面マップにおいて表されるような前記第１の点は、前記第２の特徴マップにおいて表されない前記被写体の前記３次元モデル上の特徴に対応する、請求項７～９のいずれか１項に記載の方法。

【請求項11】

前記１つまたは複数のプロセッサが前記第１の画像、前記第２の画像、または前記第１の表面マップのうちの少なくとも１つを生成するステップをさらに含む、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

前記１つまたは複数のプロセッサが前記第１の画像、前記第２の画像、前記第１の表面マップ、または前記第２の表面マップのうちの少なくとも１つを生成するステップをさらに含む、請求項７に記載の方法。

【請求項13】

前記１つまたは複数のプロセッサが前記第１の画像、前記第２の画像、前記第１の表面マップ、または前記第２の表面マップのうちの少なくとも１つを生成するステップをさらに含む、請求項９に記載の方法。

【請求項14】

前記被写体は、人間、または人間の表現である、請求項１～１３のいずれか１項に記載の方法。

【請求項15】

前記被写体は、前記第１の画像において、前記第２の画像における姿勢とは異なる姿勢にある、請求項１４に記載の方法。

【請求項16】

前記第１の画像は、前記被写体の前記３次元モデルの、前記第２の画像とは異なる視点から生成される、請求項１４または１５に記載の方法。

【請求項17】

ニューラルネットワークを記憶するメモリと、
前記メモリに結合され、前記ニューラルネットワークを使用して画像内の対応を予測するように構成された１つまたは複数のプロセッサとを備える処理システムであって、
前記ニューラルネットワークは、請求項１～１６のいずれか１項に記載の方法に従って画像内の対応を予測するようにトレーニングされる、処理システム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
コンピュータビジョンにおける様々なタスクは、システムが、画像間の対応を識別するように構成されることに依拠する。これは、被写体の身体の向き、衣服、カメラの角度等に基づいて広く変動する可能性があり、被写体の右手および左手間等の混乱を招く類似性を含み得る、人間の画像の場合等のある特定の状況において達成が特に困難であり得る。これは、動物、ロボットまたは機械デバイス等の他のタイプの被写体でも課題となり得る。いくつかの手法において、モデルは、人間の注釈者によって、類似の特徴を識別するように手動で符号化される画像を使用してトレーニングすることができる（例えば、人間の画像の場合、各画像は、眼、耳、鼻、肩、肘、手等を識別するように符号化することができる）。

【発明の概要】

【発明が解決しようとする課題】

【0002】

しかしながら、人間の注釈者が各基準画像内の全てのピクセルを識別することは可能でないことに起因して、また、人間は特徴を十分精密に識別できない場合があることに起因して、人間が注釈付けしたトレーニング例を解釈するモデルは、通常、各識別された特徴を取り囲むピクセルを、その特徴に関連付けられる可能性がより高いものとして関連付けることよって、追加の結論を引き出すように構成されなくてはならない。これは、誤った関連付けが学習されることにつながり得る。例えば、人間が注釈付けしたトレーニングデータを使用すると、人間の被写体の頭部が、頬が肩に乗るほど傾けられている場合、最近傍探索は、被写体の頬のピクセルを、被写体の肩に対応するものとして誤って識別する場合があり、逆もまた同様である。そしてこれは、推論中、モデルが更なる画像において人間の形態を誤って理解することにつながり得る。人間が注釈付けしたトレーニング例を使用することの更なる欠点は、そのようなトレーニングデータの作成コストが高いことである。

【課題を解決するための手段】

【0003】

概要
本技術は、人間の画像等の画像にわたる密な対応を予測するようにモデルをトレーニングするためのシステムおよび方法に関する。より詳細には、本技術は、被写体の１つまたは複数の３次元コンピュータモデル（「３Ｄモデル」）、例えば人間の被写体の３Ｄモデルから作成された合成トレーニングデータを使用したモデルのトレーニングを提供する。加えて、本技術は、３Ｄモデルのうちの１つまたは複数の３Ｄモデルの表面から導出された１つまたは複数の測地線距離を使用して、トレーニング中にモデルのパラメータを変更する際に使用される１つまたは複数の損失値を生成することを提供する。

【0004】

本技術は、仮想的に無限量の多岐にわたるトレーニングデータが自動的に作成されることを可能にし、さらに、３Ｄモデルからの測地線表面情報が、トレーニングデータに統合されることを可能にし、それによって、予測モデルは、そうでなければ関係しているように見え得る２次元画像（「２Ｄ画像」）における特徴を正確に区別するように学習することができる。このため、本技術に従ってトレーニングされる予測モデルは、双方の画像において可視の点（例えば、ピクセル）間を含む、画像の対間の対応の予測、および１つの画像内で可視の点が遮蔽され、このため他の画像において可視でないときの認識において、大幅に低い誤り率を達成することができる。加えて、本技術に従ってトレーニングされた予測モデルは、双方の画像内の（例えば、人間の被写体の左手および右手間の）曖昧な特徴における点を対応させる際の誤りを減らすことができる。これらの利点は、単一の被写体の画像間の対応の予測、および２つの異なる被写体の画像間の対応の予測の双方において見ることができる。加えて、本技術に従ってトレーニングされる予測モデルは、画像間の対応を予測することに依拠する他のエンドツーエンドネットワークアーキテクチャ（例えば、動き推定または「オプティカルフロー」、人間の姿勢推定等を行うようにトレーニングされたモデル）と統合することができ、その結果として、本技術の利点を示し、このためより良好な性能を達成する統合モデルを得ることができる。

【0005】

１つの態様において、本開示は、画像における対応を予測するためのニューラルネットワークをトレーニングする方法を記載する。方法は、処理システムの１つまたは複数のプロセッサが、ニューラルネットワークを使用して、被写体の第１の画像に基づく第１の特徴マップを生成し、被写体の第２の画像に基づく第２の特徴マップを生成するステップを含み、第１の画像および第２の画像は異なり、被写体の３次元モデルを使用して生成される。方法はさらに、１つまたは複数のプロセッサが、第１の特徴マップにおいて表されるような第１の点と、第２の特徴マップにおいて表されるような第２の点との間の第１の特徴距離を決定するステップを含み、第１の点および第２の点は、被写体の３次元モデルの同じ特徴に対応する。方法はさらに、１つまたは複数のプロセッサが、第１の特徴マップにおいて表されるような、第３の点と第４の点との間の第２の特徴距離を決定するステップと、１つまたは複数のプロセッサが、第１の表面マップによって表されるような、第３の点と第４の点との間の第１の測地線距離を決定するステップとを含み、第１の表面マップは、第１の画像に対応し、被写体の３次元モデルを使用して生成されている。方法はさらに、１つまたは複数のプロセッサが、第１の特徴マップにおいて表されるような第３の点と、第１の特徴マップにおいて表されるような第５の点との間の第３の特徴距離を決定するステップと、１つまたは複数のプロセッサが、第１の表面マップにおいて表されるような、第３の点と第５の点との間の第２の測地線距離を決定するステップと、１つまたは複数のプロセッサが、損失値のセットの第１の損失値を決定するステップとを含み、第１の損失値は第１の特徴距離に基づく。方法はさらに、１つまたは複数のプロセッサが、損失値のセットの第２の損失値を決定するステップを含み、第２の損失値は、第２の特徴距離と、第３の特徴距離と、第１の測地線距離と、第２の測地線距離とに基づく。方法はさらに、１つまたは複数のプロセッサが、損失値のセットに少なくとも部分的に基づいて、ニューラルネットワークの１つまたは複数のパラメータを変更するステップを含む。いくつかの態様において、第１の損失値は、追加の特徴距離のセットにさらに基づき、追加の特徴距離のセットの各所与の特徴距離は、第１の特徴マップにおいて表されるような選択された点と、第２の特徴マップにおいて表されるような対応する点との間にあり、選択された点および対応する点は、被写体の３次元モデルにおける同じ特徴に対応する。いくつかの態様において、第１の点および各選択された点は、第１の画像内の全てのピクセルを集合的に表す。いくつかの態様において、第２の損失値は、特徴距離の少なくとも１つの追加の対と、測地線距離の少なくとも１つの追加の対とにさらに基づき、特徴距離の少なくとも１つの追加の対の特徴距離の各所与の追加の対は、第１の特徴マップにおいて表されるような３つの選択された点のセット間の２つの特徴距離を含み、測地線距離の少なくとも１つの追加の対の測地線距離の各所与の追加の対は、第１の表面マップにおいて表されるような３つの選択された点のセット間の２つの測地線距離を含む。いくつかの態様において、方法は、１つまたは複数のプロセッサが、第１の特徴マップにおいて表されるような第６の点と、第１の特徴マップにおいて表されるような第１の画像の全ての他の点との間の第４の特徴距離のセットを決定するステップと、１つまたは複数のプロセッサが、第１の表面マップにおいて表されるような第６の点と、第１の表面マップにおいて表されるような第１の画像の全ての他の点との間の第３の測地線距離のセットを決定するステップと、１つまたは複数のプロセッサが、損失値のセットの第３の損失値を決定するステップとをさらに含み、第３の損失値は第４の特徴距離のセットと第３の測地線距離のセットとに基づく。いくつかの態様において、第３の損失値は、特徴距離の少なくとも１つの追加のセットと、測地線距離の少なくとも１つの追加のセットとにさらに基づき、特徴距離の少なくとも１つの追加のセットのうちの、特徴距離の各所与の追加のセットは、第１の特徴マップにおいて表されるような選択された点と、第１の特徴マップにおいて表されるような第１の画像の全ての他の点との間にあり、測地線距離の少なくとも１つの追加のセットのうちの、測地線距離の各所与の追加のセットは、第１の表面マップにおいて表されるような選択された点と、第１の表面マップにおいて表されるような第１の画像の全ての他の点との間にある。いくつかの態様において、方法は、１つまたは複数のプロセッサが、第１の特徴マップにおいて表されるような第６の点と、第２の特徴マップにおいて表されるような第２の画像の全ての点との間の第４の特徴距離のセットを決定するステップと、１つまたは複数のプロセッサが、第２の表面マップにおいて表されるような第１の点と、第２の表面マップにおいて表されるような第２の画像の全ての点との間の第３の測地線距離のセットを決定するステップとをさらに含み、第２の表面マップは第２の画像に対応し、被写体の３次元モデルを使用して生成されており、第２の表面マップにおける第１の点および第１の特徴マップにおける第６の点は、被写体の３次元モデルにおける同じ特徴に対応する。方法はさらに、１つまたは複数のプロセッサが、損失値のセットの第３の損失値を決定するステップを含み、第３の損失値は第４の特徴距離のセットと第３の測地線距離のセットとに基づく。いくつかの態様において、第３の損失値は、特徴距離の少なくとも１つの追加のセットと、測地線距離の少なくとも１つの追加のセットとにさらに基づき、特徴距離の少なくとも１つの追加のセットのうちの、特徴距離の各所与の追加のセットは、第１の特徴マップにおいて表されるような選択された点と、第２の特徴マップにおいて表されるような第２の画像の全ての点との間にあり、測地線距離の少なくとも１つの追加のセットのうちの、測地線距離の各所与の追加のセットは、第２の表面マップにおいて表されるような対応する点と、第２の表面マップにおいて表されるような第２の画像の全ての点との間にあり、第２の表面マップにおける対応する点および第１の特徴マップにおける選択された点は、被写体の３次元モデルにおける同じ特徴に対応する。いくつかの態様において、方法は、１つまたは複数のプロセッサが、第１の特徴マップにおいて表されるような第７の点と、第２の特徴マップにおいて表されるような第２の画像の全ての点との間の第５の特徴距離のセットを決定するステップと、１つまたは複数のプロセッサが、第２の表面マップにおいて表されるような第１の点と、第２の表面マップにおいて表されるような第２の画像の全ての点との間の第４の測地線距離のセットを決定するステップとをさらに含み、第２の表面マップは第２の画像に対応し、被写体の３次元モデルを使用して生成されており、第２の表面マップにおける第１の点および第１の特徴マップにおける第７の点は、被写体の３次元モデルにおける同じ特徴に対応する。方法はさらに、１つまたは複数のプロセッサが、損失値のセットの第４の損失値を決定するステップを含み、第４の損失値は第５の特徴距離のセットと第４の測地線距離のセットとに基づく。いくつかの態様において、第２の表面マップにおいて表されるような第１の点は、第２の特徴マップにおいて表されない被写体の３次元モデル上の特徴に対応する。いくつかの態様において、方法は、１つまたは複数のプロセッサが第１の画像、第２の画像または第１の表面マップのうちの少なくとも１つを生成するステップをさらに含む。いくつかの態様において、方法は、１つまたは複数のプロセッサが第１の画像、第２の画像、第１の表面マップまたは第２の表面マップのうちの少なくとも１つを生成するステップをさらに含む。いくつかの態様において、被写体は人間または人間の表現である。いくつかの態様において、被写体は、第１の画像において、第２の画像における姿勢とは異なる姿勢にある。いくつかの態様において、第１の画像は、被写体の３次元モデルの、第２の画像とは異なる視点から生成される。

【0006】

別の態様において、本開示は、ニューラルネットワークを記憶するメモリと、メモリに結合され、ニューラルネットワークを使用して画像内の対応を予測するように構成された１つまたは複数のプロセッサと、を備える処理システムを記載する。ニューラルネットワークは、トレーニング方法に従って画像内の対応を予測するようにトレーニングされ、このトレーニング方法は、被写体の第１の画像に基づいて第１の特徴マップを生成し、被写体の第２の画像に基づいて第２の特徴マップを生成することを含み、第１の画像および第２の画像は異なり、被写体の３次元モデルを使用して生成されている。トレーニング方法はさらに、第１の特徴マップにおいて表されるような第１の点と、第２の特徴マップにおいて表されるような第２の点との間の第１の特徴距離を決定することを含み、第１の点および第２の点は、被写体の３次元モデルの同じ特徴に対応する。トレーニング方法はさらに、第１の特徴マップにおいて表されるような、第３の点と第４の点との間の第２の特徴距離を決定することと、第１の表面マップにおいて表されるような、第３の点と第４の点との間の第１の測地線距離を決定することとを含み、第１の表面マップは、第１の画像に対応し、被写体の３次元モデルを使用して生成されている。トレーニング方法はさらに、第１の特徴マップにおいて表されるような第３の点と、第１の特徴マップにおいて表されるような第５の点との間の第３の特徴距離を決定することと、第１の表面マップにおいて表されるような、第３の点と第５の点との間の第２の測地線距離を決定することと、損失値のセットの第１の損失値を決定することとを含み、第１の損失値は第１の特徴距離に基づく。トレーニング方法はさらに、損失値のセットの第２の損失値を決定することを含み、第２の損失値は、第２の特徴距離と、第３の特徴距離と、第１の測地線距離と、第２の測地線距離とに基づく。トレーニング方法はさらに、損失値のセットに少なくとも部分的に基づいて、ニューラルネットワークの１つまたは複数のパラメータを変更することを含む。いくつかの態様において、ニューラルネットワークは、トレーニング方法に従って画像内の対応を予測するようにトレーニングされ、このトレーニング方法は、第１の特徴マップにおいて表されるような第６の点と、第１の特徴マップにおいて表されるような第１の画像の全ての他の点との間の第４の特徴距離のセットを決定することと、第１の表面マップにおいて表されるような第６の点と、第１の表面マップにおいて表されるような第１の画像の全ての他の点との間の第３の測地線距離のセットを決定することと、損失値のセットの第３の損失値を決定することとをさらに含み、第３の損失値は第４の特徴距離のセットと第３の測地線距離のセットとに基づく。いくつかの態様において、ニューラルネットワークは、トレーニング方法に従って画像内の対応を予測するようにトレーニングされ、このトレーニング方法は、第１の特徴マップにおいて表されるような第６の点と、第２の特徴マップにおいて表されるような第２の画像の全ての点との間の第４の特徴距離のセットを決定することと、第２の表面マップにおいて表されるような第１の点と、第２の表面マップにおいて表されるような第２の画像の全ての点との間の第３の測地線距離のセットを決定することとをさらに含み、第２の表面マップは第２の画像に対応し、被写体の３次元モデルを使用して生成されており、第２の表面マップにおける第１の点および第１の特徴マップにおける第６の点は、被写体の３次元モデルにおける同じ特徴に対応する。トレーニング方法はさらに、損失値のセットの第３の損失値を決定することを含み、第３の損失値は第４の特徴距離のセットと第３の測地線距離のセットとに基づく。いくつかの態様において、ニューラルネットワークは、トレーニング方法に従って画像内の対応を予測するようにトレーニングされ、トレーニング方法は、第１の特徴マップにおいて表されるような第７の点と、第２の特徴マップにおいて表されるような第２の画像の全ての点との間の第５の特徴距離のセットを決定することと、第２の表面マップにおいて表されるような第１の点と、第２の表面マップにおいて表されるような第２の画像の全ての点との間の第４の測地線距離のセットを決定することとをさらに含み、第２の表面マップは第２の画像に対応し、被写体の３次元モデルを使用して生成されており、第２の表面マップにおける第１の点および第１の特徴マップにおける第７の点は、被写体の３次元モデルにおける同じ特徴に対応する。トレーニング方法はさらに、損失値のセットの第４の損失値を決定することであって、第４の損失値は第５の特徴距離のセットと第４の測地線距離のセットとに基づく。

【図面の簡単な説明】

【0007】

【図1】本開示の態様による例示的なシステムの機能図である。

【図2】本開示の態様による例示的なシステムの機能図である。

【図3】対応する特徴マップおよび３Ｄ表面マップにおいて所与の２Ｄ画像における点をどのように表すことができるかを示す図である。

【図4A】本技術の態様による、画像内の対応を識別するようにニューラルネットワークをトレーニングするための例示的な方法を示す流れ図である。

【図4B】本技術の態様による、画像内の対応を識別するようにニューラルネットワークをトレーニングするための例示的な方法を示す流れ図である。

【図5】本技術の態様による、図４Ａ、図４Ｂの方法４００ａ、４００ｂの損失値と組み合わせるための追加の損失値を決定するための例示的な方法を示す流れ図である。

【図6】本技術の態様による、図４Ａ、図４Ｂの方法４００ａ、４００ｂの損失値と組み合わせるための追加の損失値を決定するための例示的な方法を示す流れ図である。

【図7】本技術の態様による、図４Ａ、図４Ｂおよび図５の方法４００ａ、４００ｂおよび５００の損失値と組み合わせるための追加の損失値を決定するための例示的な方法を示す流れ図である。

【発明を実施するための形態】

【0008】

詳細な説明
ここで、以下の例示的なシステムおよび方法に関して本技術を説明する。

【0009】

本明細書に記載の方法を実行するための例示的な処理システムの高レベルのシステム図１００が図１に示されている。処理システム１０２は、１つまたは複数のプロセッサ１０４およびメモリ１０６を含むことができる。メモリ１０６は、プロセッサ１０４によって実行するかたまたは他の形で使用することができる命令１０８およびデータ１１０を含む、１つまたは複数のプロセッサ１０４によってアクセス可能な情報を記憶する。メモリ１０６は、プロセッサ１０４によってアクセス可能な情報を記憶することが可能な任意の非一時的タイプのものとすることができる。例えば、メモリ１０６は、ハードドライブ、メモリカード、光ディスク、ソリッドステート、テープメモリ等の非一時的媒体を含むことができる。命令１０８およびデータ１１０は、本明細書に記載の予測モデル、トレーニングデータ（例えば、２Ｄ画像および対応する３Ｄモデルデータ）、およびトレーニングデータを作成するのに使用される３Ｄモデルを含むことができる。

【0010】

処理システム１０２は、任意のタイプの一般的なコンピューティングデバイス、サーバ、またはそのセット等の任意のタイプのコンピューティングデバイスにおいて実施することができ、汎用コンピューティングデバイスまたはサーバにおいて一般的に存在する他の構成要素をさらに含むことができる。このため、処理システム１０２は、サーバ、パーソナルコンピュータまたはモバイルデバイス等の単一のコンピューティングデバイス上に常駐することができ、このため、本明細書に記載のモデルは、その単一のコンピューティングデバイスにローカルとすることができる。同様に、処理システム１０２は、本明細書に記載のトレーニングデータを作成するのに使用される予測モデル、トレーニングデータおよび／または３Ｄモデルが、２つ以上の異なる物理的コンピューティングデバイスにわたって分散するように、クラウドコンピューティングシステムまたは他の分散システム上に常駐することができる。

【0011】

これに関して、図２は、追加の高レベルシステム図２００を示し、ここで、本明細書に記載の方法を実行するための例示的な処理システム２０２は、第１のコンピューティングデバイス２０２ａと、第２のコンピューティングデバイス２０２ｂと、データベース２０２ｃとを含むものとして示され、これらはそれぞれ、１つまたは複数のネットワーク２１６を介して互いに接続されている。第１のコンピューティングデバイス２０２ａ、第２のコンピューティングデバイス２０２ｂおよびデータベース２０２ｃはそれぞれ、単一のコンピューティングデバイスであってもよく、または２つ以上の異なる物理的コンピューティングデバイスにわたって分散されてもよい。図１の例に関して、第１のコンピューティングデバイス２０２ａおよび第２のコンピューティングデバイス２０２ｂはそれぞれ、命令（２０８ａ、２０８ｂ）およびデータ（２１０ａ、２１０ｂ）を記憶する１つまたは複数のプロセッサ（２０４ａ、２０４ｂ）およびメモリ（２０６ａ、２０６ｂ）を含む。図示されていないが、データベース２０２ｃはまた、１つまたは複数のプロセッサと、命令およびデータを記憶するメモリとを含むことができる。

【0012】

図２の例に示すように、第１のコンピューティングデバイス２０２ａのデータ２１０ａは、予測モデル２１２と、予測モデル２１２をトレーニングするのに使用される、２Ｄ画像および対応する３Ｄモデルデータを含むトレーニングデータ２１４ａとを記憶する。第２のコンピューティングデバイス２０２ｂのデータ２１０ｂは、１つまたは複数の３Ｄモデル２１８と、１つまたは複数の３Ｄモデル２１８を使用して作成される、２Ｄ画像および対応する３Ｄモデルデータを含むトレーニングデータ２１４ｂのセットとを記憶することができる。最後に、データベース２０２ｃは、第２のコンピューティングデバイス２０２ｂによって１つまたは複数の３Ｄモデル２１８を使用して作成された、２Ｄ画像および対応する３Ｄモデルデータを同様に含むトレーニングデータ２１４ｃのセットも記憶することができる。これに関して、トレーニングデータ２１４ａ、２１４ｂおよび２１４ｃのセットは互いに同一であってもよく、または１つもしくは複数は別のもののサブセットであってもよい。例えば、第２のコンピューティングデバイス２０２ｂは、１つまたは複数の３Ｄモデル２１８からトレーニングデータ２１４ｂを作成し、そのトレーニングデータを、マスターセット２１４ｃに記憶されるようにデータベース２０２ｃに通信するように構成することができる。そして、第１のコンピューティングデバイス２０２ａは、トレーニングデータ２１４ｃのうちのいくつかまたは全てをデータベース２０２ｃから取得し、これを予測モデル２１２のトレーニングにおいて使用するためのトレーニングデータ２１４ａとしてメモリ２０６ａ内にローカルで記憶するように構成することができる。

【0013】

全ての場合に、本明細書に記載のコンピューティングデバイスは、ユーザインタフェースサブシステム等の、コンピューティングデバイスと接続して通常使用される任意の他の構成要素をさらに含むことができる。ユーザインタフェースサブシステムは、１つまたは複数のユーザ入力（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイクロフォン）および１つまたは複数の電子ディスプレイ（例えば、スクリーンを有するモニタ、または情報を表示するように動作可能な任意の他の電気デバイス）を含むことができる。スピーカ、ライト、振動、パルスまたは触覚要素等の電子ディスプレイ以外の出力デバイスも、本明細書に記載のコンピューティングデバイスに含めることができる。

【0014】

各コンピューティングデバイスに含まれる１つまたは複数のプロセッサは、市販の中央処理ユニット（「ＣＰＵ」）、グラフィック処理ユニット（「ＧＰＵ」）、テンソル処理ユニット（「ＴＰＵ」）等の任意の従来のプロセッサとすることができる。代替的に、１つまたは複数のプロセッサは、ＡＳＩＣまたは他のハードウェアベースのプロセッサ等の専用デバイスとすることができる。各プロセッサは、並列に動作することが可能な複数のコアを有することができる。単一のコンピューティングデバイスのプロセッサ、メモリおよび他の要素は、単一の物理的ハウジング内に記憶されてもよく、または２つ以上のハウジング間で分散されてもよい。同様に、コンピューティングデバイスのメモリは、外部データベースまたはネットワーク化されたストレージデバイス等、プロセッサのハウジングと異なるハウジングに位置するハードドライブまたは他のストレージ媒体を含むことができる。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作している場合もしていない場合もあるプロセッサまたはコンピューティングデバイスまたはメモリの集合、および負荷分散サーバファームまたはクラウドベースのシステムの１つまたは複数のサーバへの言及を含むことが理解される。

【0015】

本明細書に記載のコンピューティングデバイスは、プロセッサによって直接（マシンコード等）または間接的に（スクリプト等）実行されることが可能な命令を記憶することができる。コンピューティングデバイスは、命令に従って１つまたは複数のプロセッサが索出、記憶または変更することができるデータも記憶することができる。命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では互換的に用いられてもよい。命令はまた、プロセッサによる直接の処理のためのオブジェクトコード形式で、または要求に応じて解釈されるかもしくは事前にコンパイルされた独立したソースコードモジュールのスクリプトまたは集合を含む任意の他のコンピューティングデバイス言語で記憶されてもよい。例として、プログラミング言語は、Ｃ＃、Ｃ＋＋、ＪＡＶＡ（登録商標）または別のコンピュータプログラミング言語であり得る。同様に、命令またはプログラムの任意の構成要素は、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＨＰ、ＡＳＰまたは任意の他のスクリプト言語等のコンピュータスクリプト言語で実施することができる。さらに、これらの構成要素のうちの任意のものは、コンピュータプログラミング言語およびコンピュータスクリプト言語の組合せを用いて実施することができる。

【0016】

図２の例に示すように、第１のコンピューティングデバイス２０２ａのデータ２１０ａは、予測モデル２１２と、予測モデル２１２をトレーニングするのに使用される、２Ｄ画像および対応する３Ｄモデルデータを含むトレーニングデータ２１４ａとを記憶する。第２のコンピューティングデバイス２０２ｂのデータ２１０ｂは、１つまたは複数の３Ｄモデル２１８と、１つまたは複数の３Ｄモデル２１８を使用して作成される、２Ｄ画像および対応する３Ｄモデルデータを含むトレーニングデータ２１４ｂのセットとを記憶することができる。最後に、データベース２０２ｃは、第２のコンピューティングデバイス２０２ｂによって作成された、２Ｄ画像および対応する３Ｄモデルデータも含むトレーニングデータ２１４ｃのセットも記憶することができる。これに関して、トレーニングデータ２１４ａ、２１４ｂおよび２１４ｃのセットは互いに同一であってもよく、または１つもしくは複数は別のもののサブセットであってもよい。例えば、第２のコンピューティングデバイス２０２ｂは、１つまたは複数の３Ｄモデル２１８からトレーニングデータ２１４ｂを作成し、そのトレーニングデータをマスターセット２１４ｃに記憶されるデータベース２０２ｃに通信するように構成することができる。そして、第１のコンピューティングデバイス２０２ａは、トレーニングデータ２１４ｃのうちのいくつかまたは全てをデータベース２０２ｃから取得し、これを予測モデル２１２のトレーニングにおいて使用するためのトレーニングデータ２１４ａとしてメモリ２０６ａ内にローカルで記憶するように構成することができる。

【0017】

図３は、対応する特徴マップおよび表面マップにおいて所与の２Ｄ画像における点をどのように表すことができるかを示す。それに関して、図３は、人間の被写体の３Ｄモデル（図示せず）から生成された２Ｄ画像３０２を示す。３Ｄモデルを使用して、２Ｄ画像３０２を生成するのに使用されるのと同じ姿勢の被写体の対応する表面マップ３０６を生成することもできる。完全な３Ｄ表面マップ３０６の２つの抜粋３０６ａおよび３０６ｂが図３に示されている。画像３０２は、例えば、学習された埋め込み関数によって、特徴マップ３０４を生成するために処理することができる。特徴マップ３０４は図３において図式的に示されているが、実際には任意の適切な形態および次元、例えば、データベース、テンソル、ベクトル等を取ることができる。例えば、ピクセル単位でＨの高さ、ピクセル単位でＷの幅を有する画像について、特徴マップＦを、式１に従って以下のように表すことができる。

【0018】

【数1】

【0019】

そのような場合、画像の各ピクセルは、特徴マップＦにおいて、任意の適切な整数（例えば、１、１６等）とすることができる次元Ｃのベクトルとして表される。

【0020】

図３の例において、３つの点Ａ、ＢおよびＣは、２Ｄ画像３０２、特徴マップ３０４および３Ｄ表面マップ抜粋３０６ａおよび／または３０６ｂの各々において識別される。ここでもまた、点は特徴マップ３０４において図式的に示されているが、実際には、これらの点は、代わりに、データベースにおける別個の値として表されてもよく、またはテンソルもしくはベクトルにおける異なる要素として表されてもよい。見てとることができるように、特徴マップ３０４を使用して、点Ａと点Ｂとの間の第１の特徴距離ｄ_Ａ，Ｂ、および点Ｂと点Ｃとの間の第２の特徴距離ｄ_Ｂ，Ｃを決定することができる。これらの特徴距離は、任意の適切な式を用いて決定することができる。例えば、２Ｄ画像３０２の各点が特徴マップ３０４において別個のベクトルとして表される場合、点ＡおよびＢを表すベクトル間の特徴距離は、２つのベクトルのドット積を計算することによって、２つのベクトルのクロス積を計算することによって、２つのベクトルを加算することによって、２つのベクトルを減算することによって等により決定することができる。それに関して、上記で式１に関して説明したような特徴マップＦの場合、画像Ｉ_１における点ｐと、画像Ｉ_２における点ｑとの間の特徴距離ｄは、以下の式２に従って計算することができる。

【0021】

【数2】

【0022】

いくつかの態様において、それぞれ画像Ｉ_１内の点ｐおよび画像Ｉ_２内の点ｑを表す特徴ベクトルＦ_１（ｐ）およびＦ_２（ｑ）は、単位ベクトルとなるように最初に正規化することができる。

【0023】

同様に、３Ｄ表面マップ３０６を使用して、点Ａと点Ｂとの間の第１の測地線距離ｇ_Ａ，Ｂ、および点Ｂと点Ｃとの間の第２の測地線距離ｇ_Ｂ，Ｃを決定することができる。測地線距離は、これらの点間の距離を３Ｄ表面に沿って測定されるように表し、３Ｄ表面上のこれらの点間の最も短い距離を計算（または推定）するための任意の適切な式または方法に従って決定することができる。

【0024】

図４Ａおよび図４Ｂは、処理システム（例えば、処理システム１０２または２０２）によって、画像内の対応を識別するようにニューラルネットワークをどのようにトレーニングすることができるかを示す例示的な方法４００ａ、４００ｂを示す。それに関して、ステップ４０２において、第１の画像および第１の表面マップが被写体の３Ｄモデルから生成される。同様に、ステップ４０４において、第１の画像と異なる第２の画像が３Ｄモデルから生成される。第１の画像は、第１の姿勢においてかつ／または第１のカメラの向きから生成することができ、対応する第１の表面マップは、少なくとも、その第１の姿勢における３Ｄモデルの表面を表す。第２の画像は、第１の画像と異なる画像を作成する任意の方式で生成することができる。例えば、第２の画像は、異なる視点から３Ｄモデルを撮像すること（例えば、異なる仮想カメラ位置から画像を生成すること）、３Ｄモデルを第１の画像を生成するのに使用されたのと異なる照明条件にかけること等によって、３Ｄモデルを第２の姿勢に配置することから生成することができる。第１の画像、第１の表面マップおよび第２の画像は、ニューラルネットワークをトレーニングするのに使用される処理システム（例えば、処理システム１０２または２０２）によって生成することもできるし、または別個のシステムによって生成し、ニューラルネットワークをトレーニングする処理システムに提供することもできる。

【0025】

ステップ４０６において、処理システムは、第１の画像から第１の特徴マップを生成し、第２の画像から第２の特徴マップを生成する。図３に関して上記で説明したように、処理システムは、任意の適切な方式で特徴マップを生成することができる。例えば、処理システムは、学習した埋め込み関数を用いて、エントリ、要素、または所与の画像内の各点（例えば、ピクセル）を表す他の値を含む、データベース、ベクトルまたはテンソルを生成することができる。

【0026】

ステップ４０８において、処理システムは、第１の特徴マップにおいて表されるような第１の点と、第２の特徴マップにおいて表されるような第２の点との間の第１の特徴距離を決定し、第１の点および第２の点は、３Ｄモデルの同じ特徴に対応する。例えば、第１および第２の画像が人間の被写体のものである場合、第１の画像における第１の点および第２の画像における第２の点は、共に、被写体の右手の人差し指の先端に対応することができる。加えて、第１の画像および第２の画像の各点がそれぞれ第１および第２の特徴マップにおいてベクトルとして表される場合、第１の特徴距離は、第１の特徴マップにおける第１の点を表すベクトルおよび第２の特徴マップにおける第２の点を表すベクトルを用いて式２に関して上記で説明したように決定することができる。同様に、上記で説明したように、第１の特徴距離は、これらの２つのベクトルのストレートドット積（ｓｔｒａｉｇｈｔ ｄｏｔ ｐｒｏｄｕｃｔ）を計算すること、これらの２つのベクトルのクロス積を計算すること、２つのベクトルを加算すること、２つのベクトルを減算すること等によって、任意の他の適切な式を用いて決定することができる。

【0027】

ステップ４１０において、処理システムは、第１の特徴距離に基づいて損失値のセットの第１の損失値を決定する。この第１の損失値は、任意の適切な式に従って決定することができる。同様に、この第１の損失値は、第１の画像および第２の画像内の任意の数の点の対について決定することができる。例えば、第１の損失値は、以下の式３に従って計算される一貫性損失値Ｌ_ｃとすることができ、ここで、特徴距離ｄは、第１の画像内の（合計ｎ個の点のうちの）全ての点ｐと、第２の画像内の対応する点ｃｏｒｒ（ｐ）との間で計算される。

【0028】

【数3】

【0029】

式３の例において、損失値Ｌ_ｃは、第１の特徴距離と、第１の画像および第２の画像における対応する点の対間の全ての他の特徴距離とに基づいて計算される。それに関して、各点ｐと、第２の画像におけるその対応する点ｃｏｒｒ（ｐ）との間の関係は、処理システムによって、各点ｐを３Ｄモデルの対応する点に相関付け、次に、３Ｄモデルのその点を、第２の画像における対応するｃｏｒｒ（ｐ）に相関付けることによって決定することができる。加えて、いくつかの態様では、トレーニングデータは、処理システムがこれらの決定を行う必要がないように、全ての対応する点対を識別するリストまたは他のデータ構造をさらに含むことができる。

【0030】

ステップ４１２（図４Ｂ）において、処理システムは、第１の特徴マップにおいて表されるような第３の点と、第１の特徴マップにおいて表されるような第４の点との間の第２の特徴距離を決定する。同様に、ステップ４１４において、処理システムは、第１の特徴マップにおいて表されるような第３の点と、第１の特徴マップにおいて表されるような第５の点との間の第３の特徴距離を決定する。例えば、第３の点は、第１の画像における任意のランダムに選択された基準点ｐ_ｒとすることができ、第４および第５の点はそれぞれ、第１の画像における任意の他のランダムに選択された点ｐ_ａおよびｐ_ｂとすることができる。ここでもまた、第１の画像における各点は、第１の特徴マップにおけるベクトルとして表され、第２および第３の特徴距離は、式２に関して上記で説明したように決定することができる。同様に、上記で説明したように、第２および第３の特徴距離は、ベクトルの各対のストレートドット積を計算すること、ベクトルの各対のクロス積を計算すること、ベクトルの各対を加算すること、ベクトルの各対を減算すること等によって、任意の他の適切な式を用いて決定することができる。いくつかの態様において、第２および第３の特徴距離を計算するのに用いられる式は、第１の特徴距離を計算するのに用いられる式と異なっていてもよい。

【0031】

ステップ４１６において、処理システムは、第１の表面マップにおいて表されるような、第３の点と第４の点との間の第１の測地線距離を決定する。同様に、ステップ４１８において、処理システムは第１の表面マップにおいて表されるような、第３の点と第５の点との間の第２の測地線距離を決定する。第１の表面マップは、第１の画像を生成するのに使用されたのと同じ姿勢において被写体の３Ｄモデルを使用して生成された第１の画像に対応する。このため、ステップ４１２および４１４の記載において呼び出された例示的な点を使用して、第１の表面マップにおいて表される第３の点は、第１の画像において表される点ｐ_ｒに対応し、第１の表面マップにおける第４および第５の点はそれぞれ、第１の画像における点ｐ_ａおよびｐ_ｂに対応する。そのような場合、第１および第２の測地線距離ｇ（ｐ_ｒ，ｐ_ａ）およびｇ（ｐ_ｒ，ｐ_ｂ）はそれぞれ、第１の表面マップの３Ｄ表面に沿って測定されるような点間の距離を表す。

【0032】

ステップ４２０において、処理システムは、第２の特徴距離と、第３の特徴距離と、第１の測地線距離と、第２の測地線距離とに基づいて、損失値のセットの第２の損失値を決定する。例えば、第２の損失値は、基準点ｐ_ｒに対する２つの点ｐ_ａおよびｐ_ｂの特徴空間における順序が、対応する測地線距離によって測定される順序と同じになることを奨励するように構成することができ、それによって、３Ｄ表面において物理的に離れた点の対がより大きな特徴距離を有する傾向にある。この第２の損失値は、任意の適切な式に従って決定することができる。例えば、第２の損失値は、第２および第３の特徴距離間の差に基づくことができ、さらに、第１および第２の測地線距離間の差の符号（シグナムまたはｓｇｎ関数とも呼ばれる）に基づくことができる。それに関して、第２の損失値は、以下の式４および式５に従って計算されるスパースな測地線損失値Ｌｓとすることができる。

【0033】

【数4】

【0034】

同様に、この第２の損失値は、第１の画像における２つ以上のトリプレット｛ｐ_ｒ，ｐ_ａ，ｐ_ｂ｝に基づくことができる。このため、第２の損失値は、第２および第３の特徴距離ならびに第１および第２の測地線距離を使用して式４および式５に従って計算された損失値Ｌｓと、他のランダムに選択されたトリプレットについて計算された追加の損失値Ｌｓとに基づく値、ベクトルまたはテンソルとすることができる。例えば、第２の損失値は、所定の数のランダムに選択されたトリプレット、例えば、１、１６、１２８等について計算された損失値Ｌｓの平均とすることができる。同様に、第２の損失値は、所定の数のランダムに選択されたトリプレットについて計算された損失値Ｌｓを連結することによって決定することができる。

【0035】

ステップ４２２において、処理システムは、損失値のセットに少なくとも部分的に基づいて、ニューラルネットワークの１つまたは複数のパラメータを変更する。これに関して、ニューラルネットワークは、画像間の密な対応を予測するようにトレーニングされる任意のモデル（例えば、予測モデル２１２）とすることができる。損失値のセットを任意の適切な方式で使用して、ニューラルネットワークの１つまたは複数のパラメータの変さらに影響を与えることができる。それに関して、処理システムは、第１および第２の損失値を合算して合計損失値を得、その合計損失値に基づいて予測モデルのパラメータを変更することができる。同様に、第１および第２の損失値（またはそのセット）に、１つまたは複数の予め選択された重み係数（例えば、特定のｗ_ｃおよびｗ_ｓ値）を乗算し、その後、これを組み合わせて合計損失値を形成することができる。いくつかの態様において、処理システムは、各トレーニング例の直後に各合計損失値を使用し、これを後方伝播中に適用してモデルのパラメータを調節し、次に、次のトレーニング例中に新たな合計損失値を計算するように構成することができる。いくつかの態様において、処理システムは、複数のトレーニング例のバッチ処理をするように構成することができる。そのような場合、処理システムは、バッチにおける各トレーニング例中に計算される損失値を組み合わせ（例えば、合算または平均）、バッチの完了後の後方伝播フェーズ中に、組み合わされた合計損失値を適用し、次にトレーニング例の次のバッチ中に新たな組み合わされた合計損失値を計算するように構成することができる。

【0036】

図５は、図４の方法４００ａ、４００ｂの損失値と組み合わせるための追加の損失値を決定する例示的な方法５００を示す。それに関して、ステップ５０２において、処理システムは、上記で説明したように、方法４００ａおよび４００ｂのステップ４０２～４２０を実行する。

【0037】

ステップ５０４において、処理システムは、第１の特徴マップにおいて表されるような第６の点と、第１の特徴マップにおいて表されるような第１の画像の全ての他の点との間の第４の特徴距離のセットを決定する。第６の点は、第１の画像における任意のランダムに選択された基準点ｐ_ｒとすることができる。ラベルｐ_ｒが便宜上使用されるが、このランダムに選択された基準点が、方法４００ｂのステップ４１２において使用される基準点と同じでなくてはならないことを示すものではない。ここでもまた、第１の画像における各点は、第１の特徴マップにおけるベクトルとして表され、第４の特徴距離のセットは、式２に関して上記で説明したように決定することができる。それに関して、第４の特徴距離のセットは、点ｐ_ｒおよびｐ_ｔを表すベクトルを用いて計算された、第１の画像の全ての点ｐ_ｔごとに別個の特徴距離ｄ（ｐ_ｒ，ｐ_ｔ）を含む。同様に、上記で説明したように、第４の特徴距離のセットは、ベクトルの各対のストレートドット積を計算すること、ベクトルの各対のクロス積を計算すること、ベクトルの各対を加算すること、ベクトルの各対を減算すること等によって、任意の他の適切な式を用いて決定することができる。いくつかの態様において、第４の特徴距離のセットを計算するのに用いられる式は、第１、第２および／または第３の特徴距離を計算するのに用いられる式と異なっていてもよい。

【0038】

ステップ５０６において、処理システムは、第１の表面マップにおいて表されるような第６の点と、第１の表面マップにおいて表されるような第１の画像の全ての他の点との間の第３の測地線距離のセットを決定する。ここでも同様に、第１の表面マップにおいて表される第６の点は、第１の画像における点ｐ_ｒに対応する。このため、第３の測地線距離のセットは、第１の画像の点ｐ_ｒおよびｐ_ｔに対応する点間の第１の表面マップの３Ｄ表面に沿った距離を表す第１の画像の全ての点ｐ_ｔごとの別個の測地線距離ｇ（ｐ_ｒ，ｐ_ｔ）を含む。

【0039】

ステップ５０８において、処理システムは、損失値のセットの第３の損失値を決定し、第３の損失値は第４の特徴距離のセットと第３の測地線距離のセットとに基づく。例えば、第３の損失値は、離れた不一致点間の特徴距離を、これらのピクセル間の測地線距離に応じてプッシュするように作用することができる。ここでも同様に、この第３の損失値は、任意の適切な式に従って決定することができる。例えば、第３の損失値は、第３の測地線距離のセット内の各測地線距離と、第４の特徴距離のセットにおける各対応する特徴距離との差に基づくことができる。本技術のいくつかの態様において、第３の測地線距離のセットおよび第４の特徴距離のセットは、選択された基準点（またはピクセル）と、第１の画像内の全ての他の点（またはピクセル）との間で測定することができる。それに関して、第３の損失値は、選択された点ｐ_ｒおよび第１の画像内の（合計ｎ個の点のうちの）全ての点ｐ_ｔについて、以下で式６に従って計算される密な測地線損失値Ｌ_ｄとすることができる。

【0040】

【数5】

【0041】

同様に、この第３の損失値は、第１の画像における２つ以上の選択された点ｐ_ｒに基づくことができる。このため、第３の損失値は、第４の特徴距離のセットならびに第３の測地線距離のセットを使用して式６に従って計算された損失値Ｌ_ｄと、他のランダムに選択された点ｐ_ｒについて計算された追加の損失値Ｌ_ｄとに基づく値、ベクトルまたはテンソルとすることができる。例えば、第３の損失値は、所定の数のランダムに選択された点ｐ_ｒ、例えば、１、５、１６、１２８等について計算された損失値Ｌ_ｄの平均とすることができる。同様に、第３の損失値は、所定の数のランダムに選択された点ｐ_ｒについて計算された損失値Ｌ_ｄを連結することによって決定することができる。

【0042】

ステップ５１０において、処理システムは、上記で説明したように、結果として得られる損失値のセットを使用して方法４００ｂのステップ４２２を実行する。この場合、損失値のセットは、ステップ４１０および４２０において決定される第１および第２の損失値と、ステップ５０８において決定される第３の損失値とを含む。ここでもまた、損失値のセットを任意の適切な方式で使用して、ニューラルネットワークの１つまたは複数のパラメータの変さらに影響を与えることができる。それに関して、処理システムは、第１、第２および第３の損失値を合算して合計損失値を得、その合計損失値に基づいて予測モデルのパラメータを変更することができる。同様に、第１、第２および第３の損失値に、１つまたは複数の予め選択された重み係数（例えば、特定のｗ_ｃ、ｗ_ｓおよびｗ_ｄ値）を乗算し、その後、これを組み合わせて合計損失値を形成することができる。

【0043】

図６は、図４の方法４００ａ、４００ｂの損失値と組み合わせるための追加の損失値を決定する例示的な方法６００を示す。それに関して、ステップ６０２において、処理システムは、上記で説明したように、方法４００ａおよび４００ｂのステップ４０２～４２０を実行する。

【0044】

ステップ６０４において、処理システムは、第１の特徴マップにおいて表されるような第６の点と、第２の特徴マップにおいて表されるような第２の画像の全ての点との間の第４の特徴距離のセットを決定する。方法６００に関して説明される「第６の点」および「第４の特徴距離のセット」は、図５の方法５００の文脈に記載のものと同じではない。方法６００において、第６の点は、第１の画像における任意のランダムに選択された基準点ｐ_ｒとすることができる。いくつかの態様において、処理システムは、第１の画像において可視であるが、第２の画像において可視でない基準点ｐ_ｒを選択するように構成することができる。例えば、第１および第２の画像が歩いている人間被写体のものである場合、基準点ｐ_ｒは、第１の画像において可視であるが、第２の画像において被写体の右脚に覆われ、このため第２の画像において可視でない被写体の左脚上の点に対応する場合がある。第２の画像において可視でない基準点ｐ_ｒを選択するように処理システムを構成することにより、ニューラルネットワークが、第２の画像の点が、（例えば、双方の画像、カメラ位置、照明等において被写体がどのように姿勢をとったかの差に起因して）第１の画像においてのみ可視である点に、どのように対応することができるかを学習することを可能にすることができる。ここでもまた、ラベルｐ_ｒが便宜上使用されるが、この選択された基準点が、方法４００ｂのステップ４１２において使用される基準点と同じでなくてはならないことを示すものではない。

【0045】

第１の画像の各点が第１の特徴マップにおいてベクトルとして表され、第２の画像における各点が、第２の特徴マップにおいてベクトルとして表される場合、第４の特徴距離のセットは、式２に関して上記で説明したように決定することができる。それに関して、第４の特徴距離のセットは、点ｐ_ｒおよびｐ_ｔを表すベクトルを用いて計算された、第２の画像の全ての点ｐ_ｔごとに別個の特徴距離ｄ（ｐ_ｒ，ｐ_ｔ）を含む。同様に、上記で説明したように、第４の特徴距離のセットは、ベクトルの各対のストレートドット積を計算すること、ベクトルの各対のクロス積を計算すること、ベクトルの各対を加算すること、ベクトルの各対を減算すること等によって、任意の他の適切な式を用いて決定することができる。いくつかの態様において、第４の特徴距離のセットを計算するのに用いられる式は、第１、第２および／または第３の特徴距離を計算するのに用いられる式と異なっていてもよい。

【0046】

ステップ６０６において、処理システムは、第２の表面マップにおいて表されるような第１の点と、第２の表面マップにおいて表されるような第２の画像の全ての点との間の第３の測地線距離のセットを決定する。第２の表面マップは、第２の画像を生成するのに使用されたのと同じ姿勢において被写体の３Ｄモデルを使用して生成された第２の画像に対応する。加えて、第２の表面マップにおける第１の点および第１の特徴マップにおける第６の点は、被写体の３Ｄモデルにおける同じ特徴に対応する。例えば、上述したように、第２の表面マップにおける第１の点は、第１の画像において可視であり、このため第１の特徴マップにおいて表されるが、第２の画像において可視でなく、このため第２の特徴マップにおいて表されない、被写体の左脚上の点に対応する場合がある。このため、ステップ６０４の記載において呼び出された例示的な点を使用すると、第２の表面マップにおいて表される第１の点は、第１の画像において表される点ｐ_ｒに対応する。そのような場合、第３の測地線距離のセットは、第１の画像の点ｐ_ｒに対応する点（ここではｃｏｒｒ（ｐ_ｒ）と呼ばれる）と、第２の画像の点ｐ_ｔに対応する点との間の第２の表面マップの３Ｄ表面に沿った距離を表す第２の画像の全ての点ｐ_ｔについての別個の測地線距離ｇ（ｃｏｒｒ（ｐ_ｒ），ｐ_ｔ）を含む。

【0047】

ステップ６０８において、処理システムは、損失値のセットの第３の損失値を決定し、第３の損失値は第４の特徴距離のセットと第３の測地線距離のセットとに基づく。ここでも同様に、方法６００に関して説明される「第３の損失値」は、図５の方法５００の文脈に記載のものと同じではない。それに関して、方法６００の第３の損失値は、不一致点間の特徴距離を、これらのピクセル間の測地線距離に応じてプッシュするように作用することもでき、第３の測地線距離のセット内の各測地線距離と、第４の特徴距離のセット内の各対応する特徴距離との間の差に基づくことができる。しかしながら、方法６００の「第３の損失値」は、ステップ６０４および６０６に関して上記で説明した「第３の測地線距離」および「第４の特徴距離」の異なるセットに基づくため、これは、図５の方法５００に記載の「第３の損失値」とは異なる。ここでもまた、方法６００の第３の損失値は、任意の適切な式に従って決定することができる。例えば、第３の損失値は、第１の画像の選択された点ｐ_ｒおよび第２の画像内の（合計ｎ個の点のうちの）全ての点ｐ_ｔについて、以下で式７に従って計算される断面図測地線損失値Ｌ_ｃｄとすることができる。

【0048】

【数6】

【0049】

同様に、この第３の損失値は、第１の画像における２つ以上の選択された点ｐ_ｒに基づくことができる。このため、第３の損失値は、第４の特徴距離のセットならびに第３の測地線距離のセットを使用して式７に従って計算された損失値Ｌ_ｃｄと、他のランダムに選択された点ｐ_ｒについて計算された追加の損失値Ｌ_ｃｄとに基づく値、ベクトルまたはテンソルとすることができる。例えば、第３の損失値は、所定の数の選択された点ｐ_ｒ、例えば、１、５、１６、１２８等について計算された損失値Ｌ_ｃｄの平均とすることができる。同様に、第３の損失値は、所定の数の選択された点ｐ_ｒについて計算された損失値Ｌ_ｃｄを連結することによって決定することができる。

【0050】

ステップ６１０において、処理システムは、上記で説明したように、結果として得られる損失値のセットを使用して方法４００ｂのステップ４２２を実行する。この場合、損失値のセットは、図４のステップ４１０および４２０において決定される第１および第２の損失値と、ステップ６０８において決定される第３の損失値とを含む。ここでもまた、損失値のセットを任意の適切な方式で使用して、ニューラルネットワークの１つまたは複数のパラメータの変さらに影響を与えることができる。それに関して、処理システムは、第１、第２および第３の損失値を合算して合計損失値を得、その合計損失値に基づいて予測モデルのパラメータを変更することができる。同様に、第１、第２および第３の損失値に、１つまたは複数の予め選択された重み係数（例えば、特定のｗ_ｃ、ｗ_ｓおよびｗ_ｃｄ値）を乗算し、その後、これを組み合わせて合計損失値を形成することができる。

【0051】

図７は、図４および図５の方法４００ａ、４００ｂおよび５００の損失値と組み合わせるための追加の損失値を決定する例示的な方法７００を示す。それに関して、方法７００の結果として、図６の方法６００において決定された損失値と同一であるが、方法４００ａ、４００ｂおよび５００において計算される損失値と組み合わされることになる「第４の損失値」が得られる。このため、ステップ７０２において、処理システムは、上記で説明したように、方法４００ａおよび４００ｂのステップ４０２～４２０、ならびに方法５００のステップ５０４～５０８を実行する。

【0052】

ステップ７０４において、処理システムは、第１の特徴マップにおいて表されるような第７の点と、第２の特徴マップにおいて表されるような第２の画像の全ての点との間の第５の特徴距離のセットを決定する。ここでも同様に、第７の点は、第１の画像における任意のランダムに選択された基準点ｐ_ｒとすることができる。いくつかの態様において、処理システムは、第１の画像において可視であるが、第２の画像において可視でない基準点ｐ_ｒを選択するように構成することができる。例えば、第１および第２の画像が歩いている人間被写体のものである場合、基準点ｐ_ｒは、第１の画像において可視であるが、第２の画像において被写体の右脚に覆われ、このため第２の画像において可視でない被写体の左脚上の点に対応する場合がある。ここでも、第２の画像において可視でない基準点ｐ_ｒを選択するように処理システムを構成することにより、ニューラルネットワークが、第２の画像の点が、（例えば、双方の画像、カメラ位置、照明等において被写体がどのように姿勢をとったかの差に起因して）第１の画像においてのみ可視である点に、どのように対応することができるかを学習することを可能にすることができる。ここでもまた、ラベルｐ_ｒが便宜上使用されるが、この選択された基準点が、方法４００ｂのステップ４１２または方法５００のステップ５０４において使用される基準点と同じでなくてはならないことを示すものではない。

【0053】

第１の画像の各点が第１の特徴マップにおいてベクトルとして表され、第２の画像における各点が、第２の特徴マップにおいてベクトルとして表される場合、第５の特徴距離のセットは、式２に関して上記で説明したように決定することができる。それに関して、第５の特徴距離のセットは、点ｐ_ｒおよびｐ_ｔを表すベクトルを用いて計算された、第２の画像の全ての点ｐ_ｔについて別個の特徴距離ｄ（ｐ_ｒ，ｐ_ｔ）を含む。同様に、上記で説明したように、第５の特徴距離のセットは、ベクトルの各対のストレートドット積を計算すること、ベクトルの各対のクロス積を計算すること、ベクトルの各対を加算すること、ベクトルの各対を減算すること等によって、任意の他の適切な式を用いて決定することができる。いくつかの態様において、第５の特徴距離のセットを計算するのに用いられる式は、第１、第２、第３および／または第４の特徴距離を計算するのに用いられる式と異なっていてもよい。

【0054】

ステップ７０６において、処理システムは、第２の表面マップにおいて表されるような第１の点と、第２の表面マップにおいて表されるような第２の画像の全ての点との間の第４の測地線距離のセットを決定する。ここでも同様に、第２の表面マップは、第２の画像を生成するのに使用されたのと同じ姿勢において被写体の３Ｄモデルを使用して生成された第２の画像に対応する。加えて、第２の表面マップにおける第１の点および第１の特徴マップにおける第７の点は、被写体の３Ｄモデルにおける同じ特徴に対応する。例えば、上述したように、第２の表面マップにおける第１の点は、第１の画像において可視であり、このため第１の特徴マップにおいて表されるが、第２の画像において可視でなく、このため第２の特徴マップにおいて表されない、被写体の左脚上の点に対応する場合がある。このため、ステップ７０４の記載において呼び出された例示的な点を使用すると、第２の表面マップにおいて表される第１の点は、第１の画像において表される点ｐ_ｒに対応する。そのような場合、第４の測地線距離のセットは、第１の画像の点ｐ_ｒに対応する点（ここではｃｏｒｒ（ｐ_ｒ）と呼ばれる）と、第２の画像の点ｐ_ｔに対応する点との間の第２の表面マップの３Ｄ表面に沿った距離を表す第２の画像の全ての点ｐ_ｔについての別個の測地線距離ｇ（ｃｏｒｒ（ｐ_ｒ），ｐ_ｔ）を含む。

【0055】

ステップ７０８において、処理システムは、損失値のセットの第４の損失値を決定し、第４の損失値は第５の特徴距離のセットと第４の測地線距離のセットとに基づく。方法６００の第４の損失値は、任意の適切な式に従って決定することができる。例えば、第４の損失値は、第１の画像の選択された点ｐ_ｒおよび第２の画像内の（合計ｎ個の点のうちの）全ての点ｐ_ｔについて、上記で式７に従って計算される断面図測地線損失値Ｌ_ｃｄとすることができる。

【0056】

同様に、この第４の損失値は、第１の画像における２つ以上の選択された点ｐ_ｒに基づくことができる。このため、第４の損失値は、第５の特徴距離のセットならびに第４の測地線距離のセットを使用して式７に従って計算された損失値Ｌ_ｃｄと、他のランダムに選択された点ｐ_ｒについて計算された追加の損失値Ｌ_ｃｄとに基づく値、ベクトルまたはテンソルとすることができる。例えば、第４の損失値は、所定の数の選択された点ｐ_ｒ、例えば、１、５、１６、１２８等について計算された損失値Ｌ_ｄの平均とすることができる。同様に、第４の損失値は、所定の数の選択された点ｐ_ｒについて計算された損失値Ｌ_ｃｄを連結することによって決定することができる。

【0057】

ステップ７１０において、処理システムは、上記で説明したように、結果として得られる損失値のセットを使用して方法４００ｂのステップ４２２を実行する。この場合、損失値のセットは、図４のステップ４１０および４２０において決定される第１および第２の損失値と、図５のステップ５０８において決定される第３の損失値と、ステップ７０８において決定される第４の損失値とを含む。ここでもまた、損失値のセットを任意の適切な方式で使用して、ニューラルネットワークの１つまたは複数のパラメータの変さらに影響を与えることができる。それに関して、処理システムは、第１、第２、第３および第４の損失値を合算して合計損失値を得、その合計損失値に基づいて予測モデルのパラメータを変更することができる。同様に、第１、第２、第３および第４の損失値に、１つまたは複数の予め選択された重み係数（例えば、特定のｗ_ｃ、ｗ_ｓ、ｗ_ｄおよびｗ_ｃｄ値）を乗算し、その後、これを組み合わせて合計損失値を形成することができる。

【0058】

特に明記しない限り、上述の代替例は相互に排他的ではなく、特有の利点を達成するために様々な組合せで実施され得る。上記で論じた特徴のこれらおよび他の変形例および組合せは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、例示的システムおよび方法の上記の説明は、特許請求の範囲によって定義される主題の限定としてではなく、例示として解釈されるべきである。加えて、本明細書に記載される例の規定、ならびに「等（ｓｕｃｈ ａｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」などの語句は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、これらの例は、多くの可能な実施形態のうちのいくつかのみを例示することを意図している。さらに、異なる図面における同じ参照番号は同じまたは同様の要素を識別し得るものである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】