(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-10
(54)【発明の名称】姿勢パーサ
(51)【国際特許分類】
G06T 7/70 20170101AFI20240403BHJP
G06T 7/00 20170101ALI20240403BHJP
【ＦＩ】
G06T7/70 Z
G06T7/00 660B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023566807
(86)(22)【出願日】2021-07-27
(85)【翻訳文提出日】2023-10-30
(86)【国際出願番号】 IB2021056817
(87)【国際公開番号】W WO2022243739
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】63/191,538
(32)【優先日】2021-05-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521546728
【氏名又は名称】ヒンジ ヘルス， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ラマチャンドラ， バラトクマール
(72)【発明者】
【氏名】クルシェウスキ， ポール アンソニー
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA02
5L096CA02
5L096DA02
5L096FA12
5L096FA67
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
装置が、２次元画像から複数のオブジェクトの姿勢を推定するために提供される。本装置は、外部ソースから未加工データを受信するための通信インターフェースを含む。未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現を含む。加えて、本装置は、未加工データを記憶するためのメモリ記憶ユニットを含む。本装置はまた、第１のオブジェクトおよび第２のオブジェクトのパーツを検出し、かつパーツの中間表現を生成するための第１のニューラルネットワークエンジンを含む。さらに、本装置は、トランスフォーマニューラルネットワークを中間表現に適用し、パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析し、第１のオブジェクトパーツから第１のオブジェクトの第１の姿勢を生成し、第２のオブジェクトパーツから第２のオブジェクトの第２の姿勢を生成するための、第２のニューラルネットワークエンジンを含む。
【特許請求の範囲】
【請求項1】
装置であって、外部ソースから未加工データを受信するための通信インターフェースであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現を含む、通信インターフェースと、
前記未加工データを記憶するためのメモリ記憶ユニットと、
前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出し、かつ前記パーツの中間表現を生成するための第１のニューラルネットワークエンジンと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析し、前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成し、前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成するための、第２のニューラルネットワークエンジンと
を備える、装置。
【請求項2】
前記第１のニューラルネットワークエンジンは、畳み込みニューラルネットワークを前記未加工データに適用するためのものである、請求項１に記載の装置。
【請求項3】
前記中間表現は、複数のキーポイントヒートマップを含む、請求項２に記載の装置。
【請求項4】
前記中間表現は、複数の類似性フィールドを含む、請求項２に記載の装置。
【請求項5】
前記中間表現は、複数の連想埋込を含む、請求項２に記載の装置。
【請求項6】
前記第１のニューラルネットワークエンジンおよび前記第２のニューラルネットワークエンジンは、グラフィックス処理ユニット上で実行される、請求項１－５のいずれか１項に記載の装置。
【請求項7】
前記第２のニューラルネットワークエンジンは、前記第１のオブジェクトおよび前記第２のオブジェクトの前記パーツを解析するために、二部マッチング損失演算を実行するためのものである、請求項１－６のいずれか１項に記載の装置。
【請求項8】
方法であって、通信インターフェースを介して、外部ソースから未加工データを受信することであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現を含む、ことと、
前記未加工データをメモリ記憶ユニット内に記憶することと、
第１のニューラルネットワークエンジンを用いて、前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出することと、
前記パーツの中間表現を生成することと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析することと、
前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成することと、
前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成することと
を含む、方法。
【請求項9】
前記第１のニューラルネットワークエンジンを用いて、畳み込みニューラルネットワークを前記未加工データに適用することをさらに含む、請求項８に記載の方法。
【請求項10】
前記中間表現を生成することは、複数のキーポイントヒートマップを生成することを含む、請求項９に記載の方法。
【請求項11】
前記中間表現を生成することは、複数の類似性フィールドを生成することを含む、請求項９に記載の方法。
【請求項12】
前記中間表現を生成することは、複数の連想埋込を生成することを含む、請求項９に記載の方法。
【請求項13】
第２のニューラルネットワークエンジンを実行し、前記トランスフォーマニューラルネットワークをグラフィックス処理ユニット上で適用することをさらに含む、請求項８－１２のいずれか１項に記載の方法。
【請求項14】
前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析するために、二部マッチング損失演算を実行することをさらに含む、請求項８－１３のいずれか１項に記載の方法。
【請求項15】
コードを用いてエンコードされる非一過性コンピュータ可読媒体であって、前記コードは、プロセッサに、通信インターフェースを介して、外部ソースから未加工データを受信することであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現とを含む、ことと、
前記未加工データをメモリ記憶ユニット内に記憶することと、
前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出することと、
前記パーツの中間表現を生成することと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析することと、
前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成することと、
前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成することと
を行うように指示するためにある、非一過性コンピュータ可読媒体。
【請求項16】
前記コードは、前記プロセッサに、畳み込みニューラルネットワークを前記未加工データに適用し、前記パーツを検出するように指示するためのものである、請求項１５に記載の非一過性コンピュータ可読媒体。
【請求項17】
前記コードは、前記プロセッサに、前記中間表現の一部として、複数のキーポイントヒートマップを生成するように指示するためのものである、請求項１６に記載の非一過性コンピュータ可読媒体。
【請求項18】
前記コードは、前記プロセッサに、前記中間表現の一部として、複数の類似性フィールドを生成するように指示するためのものである、請求項１６に記載の非一過性コンピュータ可読媒体。
【請求項19】
前記コードは、前記プロセッサに、前記中間表現の一部として複数の連想埋込を生成するように指示するためのものである、請求項１６に記載の非一過性コンピュータ可読媒体。
【請求項20】
前記コードは、前記プロセッサに、前記トランスフォーマニューラルネットワークをグラフィックス処理ユニット上で適用するように指示するためのものである、請求項１５－１９のいずれか１項に記載の非一過性コンピュータ可読媒体。
【請求項21】
前記コードは、前記プロセッサに、二部マッチング損失演算を実行し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析するように指示するためのものである、請求項１５－２０のいずれか１項に記載の非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【0001】
（背景）
２次元画像から姿勢のセットを生成するための姿勢解析が、公知である。例えば、中間表現から姿勢を構築する、手動設計型ヒューリスティックアルゴリズムが、使用されてもよい。特に、２次元姿勢に関して、予測キーポイントヒートマップ内の局所的ピークを見出すこと、および予測された骨ヒートマップからの情報を使用することが、キーポイント間の接続を形成し、姿勢を作成するために使用され得る。さらなる実施例では、完全連結グラフにわたって（ＮＰハード）整数線形プログラミング問題を解決すること、または一度に１つの姿勢を予測するために再帰ニューラルネットワークを使用することもまた、使用されてもよい。
２次元画像から姿勢のセットを生成するための姿勢解析が、公知である。例えば、中間表現から姿勢を構築する、手動設計型ヒューリスティックアルゴリズムが、使用されてもよい。特に、２次元姿勢に関して、予測キーポイントヒートマップ内の局所的ピークを見出すこと、および予測された骨ヒートマップからの情報を使用することが、キーポイント間の接続を形成し、姿勢を作成するために使用され得る。さらなる実施例では、完全連結グラフにわたって（ＮＰハード）整数線形プログラミング問題を解決すること、または一度に１つの姿勢を予測するために再帰ニューラルネットワークを使用することもまた、使用されてもよい。
【発明の概要】
【課題を解決するための手段】
【0002】
姿勢解析は、２次元画像から複数のオブジェクトの姿勢を生成するために使用されるプロセスである。それによってこれが遂行される様式は、特に限定されず、種々の異なる方法が、使用される。複数のオブジェクトを伴う画像に関して、オブジェクトおよびオブジェクトの各キーポイントまたはパーツの識別は、正確なオブジェクトと関連付けられるためにある。オブジェクト姿勢の識別は、複数の目的のために使用され得る。例えば、オブジェクトの姿勢は、他の下流の用途における使用のために、画像内で識別されてもよい。特に、オブジェクト姿勢の識別は、後続の再生または分析のために、スポーツフィールド上のプレーヤ等のオブジェクトを追跡し、プレーヤの動きを追従し、動きを捕捉するために使用され得る。
【0003】
コンピュータ実装型方法が、複数の姿勢推定タスクおよびサブステップを単一の一元化されたシステムの中に統合するために提供され、エンドツーエンド訓練、視覚的文脈のより良好な使用、および複数のステップによって誘起される誤差乗算の低減に対する扉を開く。これは、グラフィックス処理ユニット上で遂行される、高速かつ完全に微分可能なアプローチを使用し、中間姿勢表現から最終的な固定された姿勢のセットまで進行する。姿勢のセットは、２次元姿勢、３次元姿勢、外観推定、およびインスタンスのセグメント化、およびタスク間の相乗効果から利益を享受する、単一の一元化されたモデルの中へのこれらの出力の統合を可能にし得る。
【0004】
本方法は、以前の「ボトムアップ」型姿勢推定モデルに優る改良を提供する。例えば、本方法の出力は、姿勢解析等の処理のために、ヒートマップ等の中間データを中央処理ユニットに転送することなく、グラフィックス処理ユニット上の後続のタスクのための単一のオブジェクトクロップを抽出するために使用されることができる。加えて、本方法は、推論時間において、現在使用されているカスタム設計型姿勢解析アルゴリズムよりも高速であり得る。さらに、本方法は、推定された姿勢の最終的な座標の監視を提供し、これは、ボトムアップ方法の正確度を改良し得る。同一の方法はまた、組み合わせられたボトムアップ２次元および３次元姿勢推定モデルを有効にするためのボトムアップ３次元姿勢推定モデル、または組み合わせられた姿勢推定に加えたインスタンスセグメント化モデルを有効にするためのインスタンスセグメント化モデル、もしくは同様のものを提供し得る。
【0005】
本方法は、装置によって遂行されてもよい。本装置は、別個のオブジェクト検出器（例えば、トップダウンアプローチ）または別個のクラスタ化ステップ（例えば、ボトムアップアプローチ）を使用することなく、未加工データ画像内の姿勢を解析する。代わりに、本装置は、出力姿勢座標の可変サイズ指定セットを推定するために、位置埋込およびオブジェクトクエリを伴う、トランスフォーマネットワークを使用する。これは、予測され得る人物（出力スロット）の最大数の先験的な定義を使用し、出力スロットあたり２つの予測ヘッド、すなわち、人物／非人物バイナリクラス予測のために１つおよび姿勢座標予測のために１つを有することによって達成される。トランスフォーマアーキテクチャは、一度に１人の人物の姿勢を順次予測することとは対照的に、オブジェクトクエリとともに、出力の並列デコーディングを可能にする。故に、これは、従来のアルゴリズムを使用して、姿勢解析のために、パーツ検出等のプロセスの一部をグラフィックス処理ユニットから中央処理ユニットに転送し、続いて、下流のタスク内のさらなる処理のために、グラフィックス処理ユニットに戻すことの代わりに、プロセスが、グラフィックス処理ユニット上で並行して遂行されることを可能にする。
【0006】
ここで、実施例のみとして、付随の図面の参照が行われるであろう。
【図面の簡単な説明】
【0007】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【発明を実施するための形態】
【0014】
（詳細な説明）
本明細書で使用されるように、絶対的な配向（例えば、「上部」、「底部」、「上」、「下」、「左」、「右」、「低」、「高」等）を示唆する用語の使用はいずれも、例証的利便性のためにあり、特定の図に示される配向を指し得る。しかしながら、そのような用語は、種々の構成要素が、実践では、説明される、または示されるものと同一または異なる配向において利用されるであろうことが想定されるため、限定する意味合いにおいて解釈されないものとする。
本明細書で使用されるように、絶対的な配向（例えば、「上部」、「底部」、「上」、「下」、「左」、「右」、「低」、「高」等）を示唆する用語の使用はいずれも、例証的利便性のためにあり、特定の図に示される配向を指し得る。しかしながら、そのような用語は、種々の構成要素が、実践では、説明される、または示されるものと同一または異なる配向において利用されるであろうことが想定されるため、限定する意味合いにおいて解釈されないものとする。
【0015】
本説明では、下記に議論されるモデルおよび技法は、概して、人物の画像に適用される。下記に説明される実施例が、動物および機械等の他のオブジェクトにも同様に適用され得ることは、本説明から利益を享受する当業者によって理解されるはずである。
【0016】
図１を参照すると、２次元画像から複数のオブジェクトの姿勢を推定するための装置の概略描写が、概して、５０において示されている。装置５０は、付加的な構成要素、例えば、装置５０のユーザと相互作用するためのインジケータ等の種々の付加的なインターフェースおよび／または入力／出力デバイスを含んでもよい。相互作用は、装置５０またはその中で装置５０が動作するシステムの動作状態を視認すること、装置５０のパラメータを更新すること、または装置５０をリセットすることを含み得る。本実施例では、装置５０は、図２に示されるような画像１００を表す未加工データ等の未加工データを受信し、未加工データを処理し、画像１００内のオブジェクトの姿勢を推定するためのものである。本実施例では、装置５０は、通信インターフェース５５と、メモリ記憶ユニット６０と、ニューラルネットワークエンジン６５と、トランスフォーマネットワークエンジン７０とを含む。
【0017】
通信インターフェース５５は、複数の標的オブジェクトを伴う画像を表す未加工データを受信するために、外部ソースと通信するためのものである。一具体的実施例では、未加工データは、画像内の人々である、オブジェクト１１０、１２０、１３０を伴う画像１００を表し得る。通信インターフェース５５によって受信される未加工データは、ある事例では、複雑な画像を表し得ないが、装置５０が、画像内のオブジェクトのオクルージョンに起因して、典型的には取り扱うことが困難である、複雑な画像を取り扱うように構成されることを理解されたい。オクルージョンは、限定されず、ある場合には、画像は、相互にオクルードする他のオブジェクトを含み得る。他の実施例では、オブジェクトは、オクルージョンを引き起こされる他の特徴に関与し得る。
【0018】
それによってオブジェクトが表される様式および２次元画像の正確なフォーマットは、特に、限定されない。本実施例では、２次元画像は、ＲＧＢフォーマットにおいて受信され得る。２次元画像が、カメラによって捕捉および処理されるラスタグラフィックファイルまたは圧縮画像ファイル等の異なるフォーマットであることは、本説明から利益を享受する当業者によって理解されるはずである。さらに、標的オブジェクトは、特に、限定されない。本実施例では、標的オブジェクトは、人々である。他の実施例では、標的オブジェクトは、前景における人々等の人々のサブ群であってもよい。さらなる実施例では、標的オブジェクトは、動物および機械等の非人間であってもよい。
【0019】
さらに、それによって通信インターフェース５５が未加工データを受信する様式は、限定されない。本実施例では、通信インターフェース５５は、ネットワークを経由して外部ソースと通信し、これは、ＷｉＦｉネットワークまたはセルラーネットワーク等の多数の接続されたデバイスと共有される、パブリックネットワークであり得る。他の実施例では、通信インターフェース５５は、他のデバイスとのイントラネットまたは有線接続等のプライベートネットワークを介して、外部ソースからデータを受信してもよい。加えて、そこから通信インターフェース５５が未加工データを受信する外部ソースは、いかなるタイプのソースにも限定されない。例えば、通信インターフェース５５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、無線信号、または赤外線信号を介して未加工データを捕捉する、別の近接する携帯用電子デバイスに接続されてもよい。別の実施例として、通信インターフェース５５は、カメラシステム、またはクラウド等の外部データソースから、未加工データを受信するためのものである。通信インターフェース５５を介して受信される未加工データは、概して、メモリ記憶ユニット６０上に記憶されることになる。
【0020】
別の実施例では、装置５０は、スマートフォン等の携帯用電子デバイスの一部であってもよく、これは、未加工データを捕捉するためのカメラシステム（図示せず）を含む。故に、本実施例では、外部ソースは、装置５０の一部であってもよく、通信インターフェース５５は、携帯用電子デバイスの装置５０部分をカメラシステムと接続するために、携帯用電子デバイス内に電気接続を含み得る。電気接続は、携帯用電子デバイス内に種々の内部バスを含み得る。
【0021】
さらに、通信インターフェース５５は、未加工データに基づいた姿勢推定等の結果を伝送するために使用されてもよい。例えば、通信インターフェース５５は、動画エンジン（図示せず）または姿勢アナライザ等の下流のサービスと通信していてもよい。故に、装置５０は、セグメント化されることになる複雑なオクルージョンを伴う複数のオブジェクトを表す、外部ソースからの未加工データを受信するように動作し得る。特に、装置５０は、カメラを伴うスマートフォン等の携帯用電子デバイスであってもよく、これは、カメラを用いて画像を捕捉し、画像内の各オブジェクトの姿勢を生成することが可能である。
【0022】
メモリ記憶ユニット６０は、通信インターフェース５５を介して受信される未加工データを記憶するためのものである。特に、メモリ記憶ユニット６０は、それに関して姿勢推定が生成されることになるオブジェクトを表す２次元画像を含む、未加工データを記憶し得る。本実施例では、メモリ記憶ユニット６０は、映像のフレーム内に異なるオブジェクトを表す、複数の２次元画像を記憶し得る。故に、未加工データは、画像内の種々のオブジェクトの動きを表す、映像データであってもよい。具体的実施例として、オブジェクトは、異なるサイズの人々の画像であってもよく、人々に関する関節と称される、異なるキーポイントを示す異なる姿勢にある人々を含み、人物の身体のいくつかの部分が、他のキーポイントおよび同一の身体の一部または別の身体の一部をオクルードしていてもよい。例えば、画像１００に示されるような画像は、スポーツ場面のものであり得、本場合では、通常のゲームプレイにおいて動き回っている複数のプレーヤが、捕捉される。そのような場面では、各プレーヤが、別のプレーヤをオクルードし得ることは、当業者によって理解されるはずである。
【0023】
さらに、メモリ記憶ユニット６０は、付加的なデータを記憶するために使用されてもよい。例えば、メモリ記憶ユニット６０は、ニューラルネットワークエンジン６５またはトランスフォーマネットワークエンジン７０によって使用されることになる、テンプレートおよびモデルデータ等の種々の参照データソースを記憶し得る。メモリ記憶ユニット６０が、複数のデータベースを維持するために使用される、物理的コンピュータ可読媒体であり得る、または中央サーバまたはクラウドサーバ等の１つ以上の外部サーバを横断して分散され得る、複数の媒体を含み得ることを理解されたい。
【0024】
本実施例では、メモリ記憶ユニット６０は、特に限定されないが、任意の電子的、磁気的、光学的、または他の物理的記憶デバイスであり得る、非一過性機械可読記憶媒体を含む。上記で述べられるように、メモリ記憶ユニット６０は、通信インターフェース５５を介して外部ソースから受信される未加工データ、テンプレートデータ、訓練データ、ニューラルネットワークエンジン６５からの結果、および／または後処理エンジン７０からの結果等の情報を記憶するために使用されてもよい。加えて、メモリ記憶ユニット６０は、装置５０の一般的な動作に関する命令を記憶するために使用されてもよい。メモリ記憶ユニット６０はまた、種々の用途をサポートするための機能性等の一般的な機能性を装置５０に提供するために、プロセッサによって実行可能であるオペレーティングシステムを記憶してもよい。メモリ記憶ユニット６０は、加えて、ニューラルネットワークエンジン６５および後処理エンジン７０を動作させるための命令を記憶してもよい。さらに、メモリ記憶ユニット６０はまた、カメラおよびユーザインターフェース等、装置５０とともに配設され得る他の構成要素および任意の周辺デバイスを動作させるための制御命令を記憶してもよい。
【0025】
メモリ記憶ユニット６０は、装置５０の構成要素を動作させるために、データまたは命令を伴って事前にロードされ得る。他の実施例では、命令は、通信インターフェース５５を介して、またはメモリフラッシュドライブ等、装置５０に接続される携帯用メモリ記憶デバイスから命令を直接転送することによってロードされ得る。他の実施例では、メモリ記憶ユニット６０は、外付けハードドライブ等の外部ユニット、またはコンテンツを提供するクラウドサービスであってもよい。
【0026】
ニューラルネットワークエンジン６５は、メモリ記憶ユニット６０内に記憶される、未加工データを受信または読出するためのものである。ニューラルネットワークエンジン６５は、続いて、未加工データによって表される画像内のオブジェクトのパーツを検出し、検出されるパーツの中間表現を生成する。それによってニューラルネットワークエンジン６５が中間表現を生成する様式は、特に、限定されない。本実施例では、ニューラルネットワークエンジン６５は、畳み込みニューラルネットワークを未加工データに適用し、中間表現を生成し得る。本実施例を継続すると、身体パーツ検出モデルを実装するためにニューラルネットワークエンジンによって適用される、畳み込みニューラルネットワークは、限定されず、入力として画像を受信し、空間的２次元特徴マップとして表される身体パーツ検出の中間表現を生産し得る、任意のモデルに関与し得る。
【0027】
中間表現は、特に、限定されない。例えば、ニューラルネットワークエンジン６５は、中間表現として、複数のキーポイントヒートマップを生成してもよく、本場合では、各キーポイントヒートマップは、画像１００内のオブジェクトのうちの１つのキーポイントを表す。図３Ａを参照すると、キーポイントヒートマップは、画像１００内の可視キーポイントを示すために組み合わせられる。特に、図３Ａに示される組み合わせられたヒートマップが、相互の上にオーバーレイされるとき、ニューラルネットワークエンジン６５によって判定されるようなキーポイント毎のキーポイントヒートマップ値の合計であり得ることは、本説明から利益を享受する当業者によって理解されるはずである。
【0028】
ニューラルネットワークエンジン６５によって生成される中間表現は、パーツ類似性フィールドによって表される、複数のコネクタヒートマップであってもよく、これは、パーツ間の関連付けを説明するベクトルフィールドであり、パーツは、ここではキーポイントである。コネクタヒートマップを組み合わせることは、図３Ｂに示されるような中間表現を生成し得る。図３Ｂを参照すると、コネクタヒートマップは、組み合わせされ、画像１００内の可視コネクタを示す。特に、図３Ｂに示される組み合わせられたヒートマップが、相互の上にオーバーレイされるとき、ニューラルネットワークエンジン６５によって判定されるようなコネクタ毎のコネクタヒートマップ値の合計であり得ることは、本説明から利益を享受する当業者によって理解されるはずである。本実施例では、各コネクタは、２つのキーポイントまたは「関節」間の「骨」を表し得る。用語「関節」および「骨」が、人物上の基準点の近似値を表すために動きの範囲内でモデル化され得る、人物内の種々の基準点を指すことは、本説明から利益を享受する当業者によって理解されるはずである。例えば、関節は、眼等の生理学的関節ではない、人物上の基準点を指し得る。他の実施例では、関節は、手関節または足関節等の複数の生理学的骨関節を伴う基準点を指し得る。同様に、コネクタまたは骨は、本明細書に説明されるような関節間の接続を指し得る。
【0029】
他の実施例では、ニューラルネットワークエンジン６５はまた、他の中間表現を生成し得る。例えば、ニューラルネットワークエンジン６５は、あるタイプのコネクタヒートマップである、正規分布曲線状骨ヒートマップを生成し得る。本実施例では、正規分布曲線状骨ヒートマップは、その主軸が、キーポイント対を継合する直線と整合される、楕円形正規分布曲線を伴う付加的なマップによって表され得る。
【0030】
別の実施例として、ニューラルネットワークエンジン６５はまた、連想埋込を生成し得る。本実施例では、連想埋込タグマップは、画像内の人物の識別情報を用いて各ピクセルを識別するための役割を果たす、一意のＩＤタグを含有する。したがって、姿勢読取は、タグマップ内で同一のＩＤタグを共有する、キーポイントを単純に接続することによって達成され得る。
【0031】
トランスフォーマネットワークエンジン７０は、トランスフォーマニューラルネットワークモデルをニューラルネットワークエンジン６５によって生成される中間表現に適用するためのものである。トランスフォーマニューラルネットワークアーキテクチャは、ニューラルネットワークエンジンから、あるタイプのコネクタヒートマップまたは連想埋込マップもしくは同様のものとともに、パーツ検出の中間表現を取り込み、パーツ対オブジェクトの関連付け問題を解決し、パーツを構成する姿勢の固定されたセットを出力するために使用され得る、あるタイプのネットワークである。本実施例では、トランスフォーマネットワークエンジン７０は、微分可能かつエンドツーエンドの訓練可能様式を使用して、中間表現を画像内の各オブジェクトの別個の姿勢に解析するために、複雑な計算を遂行することよりも少ない算出リソースを使用する。中間表現を解析することに応じて、トランスフォーマネットワークエンジン７０は、画像内のオブジェクトに対応するグラウンドトゥルース姿勢のセット等の複数の姿勢を生成する。故に、トランスフォーマネットワークエンジン７０は、完全連結グラフにわたって整数線形プログラミング問題を解決する、または再帰ニューラルネットワークを実行する（これらは両方とも、トランスフォーマネットワークエンジン７０によって遂行されるトランスフォーマニューラルネットワークよりも多くの算出リソースを使用する）等、中間表現を別のプロセッサに転送し、より算出的に集約計算を遂行し、姿勢を解析する代わりに、ニューラルネットワーク６５の機能を遂行する、同一のグラフィックス処理ユニット等のグラフィックス処理ユニット上で実行され得る。
【0032】
図４を参照すると、トランスフォーマネットワークエンジン７０によって遂行される、トランスフォーマニューラルネットワークアーキテクチャが、より詳細に示されている。本実施例では、トランスフォーマネットワークエンジン７０は、位置エンコーダ７２と、トランスフォーマエンコーダ７４と、トランスフォーマデコーダ７６と、予測ヘッドとを含み得る。
【0033】
本実施例では、出力姿勢が、順列不変であることは、本説明から利益を享受する当業者によって理解されるはずである。位置エンコーダ７２は、入力された空間的特徴マップについての位置情報を中間表現内に投入する。入力位置エンコーディングは、ピクセル座標マップ（ｘおよびｙ）のそれぞれにサインおよびコサイン関数の合計を適用することによって生成され、要素毎の追加によって、キーポイントヒートマップの中に埋め込まれる。出力位置エンコーディングは、出力を生成する際に、学習プロセスの間に学習され、トランスフォーマデコーダによって使用されるベクトルである。
【0034】
トランスフォーマエンコーダ７４およびトランスフォーマデコーダ７６は、投入された位置を伴う中間表現を処理する。本実施例では、トランスフォーマエンコーダ７４は、各層が２つのサブ層を有する、同じデータ層のスタックから成る。トランスフォーマエンコーダ７４は、次いで、マルチヘッド自己アテンション機構および単純な位置毎完全連結型順方向送給ネットワークを適用する。トランスフォーマデコーダ７６はまた、同じデータ層のスタックから成る。加えて、トランスフォーマデコーダ７６は、出力されたヘッドが、相互に対して競合しないように防止し、画像内の同一人物の姿勢情報を処理ために、データから学習される、出力位置エンコーディング／オブジェクトクエリを使用する。トランスフォーマエンコーダ７４の各層内の２つのサブ層に加えて、トランスフォーマデコーダ７６は、第３のサブ層を挿入し、これは、トランスフォーマエンコーダ７４からのスタックの出力にわたってマルチヘッドアテンションを実施する。トランスフォーマエンコーダと同様に、サブ層のそれぞれの周囲の残留する接続の後に、層の正規化が、遂行される。トランスフォーマエンコーダ７４およびトランスフォーマデコーダ７６が、ニューラルネットワークエンジン６５から受信される中間表現上に、グローバル推測を実施するための能力を提供することは、本説明から利益を享受する当業者によって理解されるはずである。マルチヘッド自己アテンションは、いくつかの自己アテンション機構を並行して起動させる、モジュールである。アテンション機構は、３つの入力、すなわち、クエリ（Ｑ）、キー（Ｋ）、および値（Ｖ）を取り込み、演算ｇ（ｆ（Ｑ，Ｋ），Ｖ）を実施する。Ｑ＝Ｋ＝Ｖのとき、アテンション機構は、自己アテンションと称される。ここで使用される自己アテンションの特定の形態は、関数ｆ（）およびｇ（）を判定する、スケーリングされたドット積アテンション関数である。
【0035】
本実施例では、トランスフォーマデコーダ７６から予測ヘッド７８への出力数は、最大予期出力数よりも大きい数に固定されることになる。オブジェクト数が出力数よりも多い実施例では、ヌル出力トークンが、過剰出力上に追加され得る。故に、これは、出力数までの未知数のオブジェクトを伴う画像内の姿勢を予測するための能力を提供する。本実施例では、トランスフォーマデコーダ７６は、４つの出力を生成する。しかしながら、他の実施例では、トランスフォーマデコーダ７６が、４つよりも多いまたは少ない出力を生成し得ることは、本説明から利益を享受する当業者によって理解されるはずである。
【0036】
本実施例では、トランスフォーマデコーダ７６は、順次ではなく並行して出力を生成し、特に、モデルから訓練および推論するための効率的な様式を提供し、オブジェクトクエリおよび／または出力位置埋込は、予測ヘッド７８に対するアンカとして作用する。これは、予測ヘッド７８が、トランスフォーマデコーダ７６からの出力予測に対する競合を回避することを可能にする。代わりに、予測ヘッド７８は、次いで、それに対してそれらが関与する予測のタイプにおいて、特殊化されてもよい。
【0037】
トランスフォーマネットワーク７０は、標識された姿勢データを使用して、予測ヘッド７８からの結果を本システムを訓練することに適用されるように、二部マッチング損失演算を実行し得る。本実施例では、二部マッチング損失演算は、損失関数の内側で、安定結婚問題を解決するためにある。これは、放出されることになる正確な出力数を結果としてもたらすだけではなく、画像あたりの可変出力数の順列不変ペナルティ化を提供する。
【0038】
本実施例では、姿勢解析プロセスに関する二部マッチング損失は、以下の計算を用いて遂行され得る。トランスフォーマネットワークからの予測数は、Ｎであると仮定され得、Ｎは、画像内で予期される人物の最大数よりも典型的にははるかに大きい数に予め設定される。本実施例を継続すると、ｙは、グラウンドトゥルース人物のセットであり得、
は、Ｎ個の予測のセットであり得る。一般性を喪失することなく、ｙは、サイズＮのセットであるとも見なされ、
（非人物）で埋められ得る。これら２つのセット間の二部マッチングを見出すためには、最低コストを伴う、Ｎ個の要素
の順列が、検索され得る。
式中、
は、グラウンドトゥルースｙｉと指数σ（ｉ）を伴う予測値との間の対毎マッチングコストである。最適な割当は、ハンガリアンアルゴリズムを用いて算出され得る。
【数1】
【数2】
【数3】
【数4】
【数5】
【0039】
マッチングコストは、バイナリクラス予測（人物／非人物）と、予測された姿勢およびグラウンドトゥルース姿勢の類似性との両方を考慮に入れる。グラウンドトゥルースの各要素ｉは、ｙｉ＝（ｃｉ，ｒｉ）と見なされ得、式中、ｃは、標的クラス標識であり、
は、人物の姿勢を備えるグラウンドトゥルースキーポイントに関する画像上座標を定義する、ベクトルである。
【数6】
【0040】
指数σ（ｉ）を伴う予測値に関して、クラスｃｉの確率は、
として、予測された姿勢は、
として定義されることができる。これらの表記を用いる場合、以下が、定義され得る。
【数7】
【数8】
【数9】
【0041】
第２のステップは、損失関数、すなわち、先のステップにおいてマッチングされた全ての対に関するハンガリアン損失を算出することである。損失は、クラス予測値に関する負の対数尤度と姿勢回帰損失との線形組み合わせによって定義される。
【数10】
【0042】
式中、
は、第１のステップにおいて算出される、最適な割当である。
【数11】
【0043】
最終的に、姿勢回帰損失は、以下のように定義される。
【数12】
【0044】
姿勢回帰損失の特定の形態は、それが、所与の対の姿勢が異なる度合の測定値を提供する微分可能関数を表す限り、他の形態をとってもよい。
【0045】
図５を参照すると、コンピュータネットワークシステムの概略描写が、概して、２００において示されている。システム２００が純粋に例示的であることは、理解されるはずであり、様々なコンピュータネットワークシステムが想定されることは、当業者に明白であろう。システム２００は、２次元画像から複数のオブジェクトの姿勢を推定するための装置５０と、複数の外部ソース２０－１および２０－２（総称的に、これらの外部ソースは、本明細書では「外部ソース２０」と称され、集合的にも、それらは、「外部ソース２０」と称される）と、ネットワーク２１０によって接続される複数のコンテンツ要求側２５－１および２５－２（総称的に、これらのコンテンツ要求側は、本明細書では「コンテンツ要求側２５」と称され、集合的にも、それらは、「コンテンツ要求側２５」と称される）とを含む。ネットワーク２１０は、特に、限定されず、インターネット、イントラネットもしくはローカルエリアネットワーク、携帯電話ネットワーク、またはこれらのタイプのネットワークのいずれかの組み合わせ等の任意のタイプのネットワークを含んでもよい。いくつかの実施例では、ネットワーク２１０はまた、ピアツーピアネットワークを含んでもよい。
【0046】
本実施例では、外部ソース２０は、オブジェクトの画像１００等の未加工データを提供するために、ネットワーク２１０を経由して装置５０と通信するために使用される、任意のタイプのコンピューティングデバイスであり得る。例えば、外部ソース２０－１は、スマートフォンであってもよい。外部ソース２０－１が、ラップトップコンピュータ、携帯用電子デバイス、ゲームデバイス、モバイルコンピューティングデバイス、携帯用コンピューティングデバイス、タブレット型コンピューティングデバイス、または同等物等で代用され得ることは、本説明から利益を享受する当業者によって理解されるはずである。いくつかの実施例では、外部ソース２０－２は、画像を捕捉するためのカメラであってもよい。未加工データは、外部ソース２０において受信または捕捉される画像または映像から生成されてもよい。コンテンツ要求側２５はまた、画像１００の解析された姿勢推定値を受信するために、ネットワーク２１０を経由して装置５０と通信するために使用される、任意のタイプのコンピューティングデバイスであってもよい。例えば、コンテンツ要求側２５は、動画エンジンまたは姿勢アナライザ等の下流のサービスプロバイダであってもよい。
【0047】
図６を参照すると、２次元画像から複数のオブジェクトの姿勢を推定する例示的方法のフローチャートが、概して、３００において示されている。方法３００の解説を支援するために、方法３００は、装置５０によって実施され得ると仮定されたい。実際に、方法２００は、その中に装置５０が構成され得る、１つの方法であり得る。さらに、方法３００の以下の議論は、装置５０およびその構成要素のさらなる理解につながり得る。加えて、方法３００が、示されるような正確な順序で実施されない場合があり、種々のブロックが、順にではなく並行して、または全く異なるシーケンスで実施され得ることが、強調されるものとする。
【0048】
ブロック３１０から始まり、装置５０は、通信インターフェース５５を介して、外部ソースから未加工データを受信する。本実施例では、未加工データは、人々等の複数のオブジェクトを伴う画像の表現を含む。それによって人物が表される様式および２次元画像の正確なフォーマットは、特に、限定されない。例えば、２次元画像は、ＲＧＢフォーマットであってもよい。他の実施例では、２次元画像は、カメラによって捕捉および処理されるラスタグラフィックファイルまたは圧縮画像ファイル等の異なるフォーマットである。いったん装置５０において受信されると、未加工データは、ブロック３２０において、メモリ記憶ユニット６０内に記憶されることになる。
【0049】
ブロック３３０は、ニューラルネットワークエンジン６５を使用して、未加工データによって表される画像内のオブジェクトのパーツを検出することに関与し、これは、畳み込みニューラルネットワークを未加工データに適用し得る。検出される画像のパーツのタイプは、特に、限定されない。例えば、ニューラルネットワークエンジン６５は、関節等のキーポイントを検出し得る。他の実施例では、ニューラルネットワークエンジン６５は、骨等のキーポイント間のコネクタを検出し得る。
【0050】
次いで、ブロック３４０は、ニューラルネットワークエンジン６５を用いて検出される、パーツの中間表現を生成することを含む。中間表現は、特に、限定されない。例えば、中間表現は、複数のキーポイントヒートマップであってもよく、本場合では、各キーポイントヒートマップは、画像１００内のオブジェクトのうちの１つのキーポイントを表す。他の実施例では、中間表現は、複数のコネクタヒートマップまたは連想埋込であってもよい。
【0051】
トランスフォーマニューラルネットワークモデルは、ブロック３５０において、中間表現に適用され、微分可能かつエンドツーエンドの訓練可能な様式において、中間表現を画像１００内のオブジェクトの別個の姿勢に解析する。ブロック３６０は、解析された中間表現を使用し、画像内のオブジェクトに対応する複数の推定された姿勢を生成する。
【0052】
種々の利点が、ここで当業者に明白な状態になるであろう。特に、装置５０は、効率的なトランスフォーマニューラルネットワークを用いて、２次元画像内の姿勢を解析するために使用され得る。特に、これは、低速の非微分可能クラスタ化アプローチおよびまたは他の算出的に重い順次動作の使用を回避し、より高速な処理時間を提供する。より高速の処理時間に起因して、本プロセスは、単一のグラフィックス処理ユニット上で、またはスマートフォン等の携帯用電子デバイス上で遂行され得る。多くの携帯用電子デバイスが、カメラを含むため、人々を伴うスポーツ場面等の複数のオブジェクトを伴う画像の捕捉からの全プロセスが、画像内のオブジェクトに関する複数の姿勢を生成するために処理され得ることは、本説明から利益を享受する当業者によって理解されるはずである。これは、姿勢アナライザ等の下流のサービスによって使用され、さらなるデータを抽出する、またはゲーム内のプレーヤの動きを分析する、またはコーチングスタッフによる改良のために誤差を精査し得る。
【0053】
上記に提供される種々の実施例の特徴および側面は、本開示の範囲内にも該当する、さらなる実施例の中に組み合わされ得ることを認識されたい。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2023-10-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
装置であって、外部ソースから未加工映像データを受信するための通信インターフェースであって、前記未加工映像データは、第１の人物および第２の人物の表現を含む、通信インターフェースと、
前記未加工映像データを記憶するためのメモリ記憶ユニットと、
前記第１の人物および前記第２の人物のパーツを検出し、かつ前記パーツの中間表現を生成するための第１のニューラルネットワークエンジンと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１の人物パーツおよび第２の人物パーツに解析し、前記第１の人物パーツから前記第１の人物の第１の姿勢を生成し、前記第２の人物パーツから前記第２の人物の第２の姿勢を生成するための、第２のニューラルネットワークエンジンと
を備える、装置。
【請求項2】
前記第１のニューラルネットワークエンジンは、畳み込みニューラルネットワークを前記未加工映像データに適用するためのものである、請求項１に記載の装置。
【請求項3】
前記中間表現は、複数のキーポイントヒートマップを含み、前記複数のキーポイントヒートマップのそれぞれは、前記第１の人物または前記第２の人物のキーポイントを表し、前記複数のキーポイントヒートマップは、前記表現における前記第１の人物および前記第２の人物の全て可視キーポイントを集合的に示す、請求項２に記載の装置。
【請求項4】
前記中間表現は、複数の類似性フィールドを含み、前記複数の類似性フィールドのそれぞれは、前記パーツ間の関連付けを説明するベクトルを表す、請求項２に記載の装置。
【請求項5】
前記中間表現は、複数の連想埋込を含み、前記複数の連想埋込のそれぞれは、各ピクセルを前記第１の人物または前記第２の人物と識別するために役割を果たす、一意の識別子を含む、請求項２に記載の装置。
【請求項6】
前記第１のニューラルネットワークエンジンおよび前記第２のニューラルネットワークエンジンは、グラフィックス処理ユニットによって実行される、請求項１－５のいずれか１項に記載の装置。
【請求項7】
前記第２のニューラルネットワークエンジンは、前記第１のオブジェクトおよび前記第２のオブジェクトの前記パーツを解析するために、二部マッチング損失演算を実行するためのものである、請求項１－６のいずれか１項に記載の装置。
【請求項8】
方法であって、通信インターフェースを介して、第１のオブジェクトおよび第２のオブジェクトの表現を含む未加工データを受信することと、
第１のニューラルネットワークを用いて、前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出することと、
前記パーツの中間表現を生成することと、
第２のニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析することと、
前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成することと、
前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成することと
を含む、方法。
【請求項9】
前記第２のニューラルネットワークをグラフィックス処理ユニット上で適用する、ニューラルネットワークエンジンを実行することをさらに含む、請求項８に記載の方法。
【請求項10】
コードを用いてエンコードされる非一過性コンピュータ可読媒体であって、前記コードは、プロセッサに、第１のオブジェクトおよび第２のオブジェクトの表現を含む未加工データを受信することと、
畳み込みニューラルネットワークを前記未加工データに適用することによって、前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出することと、
前記パーツの中間表現を生成することと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析することと、
前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成することと、
前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成することと
を行うように指示するためにある、非一過性コンピュータ可読媒体。
【請求項11】
前記コードは、前記プロセッサに、前記中間表現の一部として、複数のキーポイントヒートマップを生成するように指示するためのものである、請求項１０に記載の非一過性コンピュータ可読媒体。
【請求項12】
前記コードは、前記プロセッサに、前記中間表現の一部として、複数の類似性フィールドを生成するように指示するためのものである、請求項１０に記載の非一過性コンピュータ可読媒体。
【請求項13】
前記コードは、前記プロセッサに、前記中間表現の一部として複数の連想埋込を生成するように指示するためのものである、請求項１０に記載の非一過性コンピュータ可読媒体。
【請求項14】
前記コードは、前記プロセッサに、前記トランスフォーマニューラルネットワークをグラフィックス処理ユニット上で適用するように指示するためのものである、請求項１０－１３のいずれか１項に記載の非一過性コンピュータ可読媒体。
【請求項15】
前記コードは、前記プロセッサに、二部マッチング損失演算を実行し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析するように指示するためのものである、請求項１０－１４のいずれか１項に記載の非一過性コンピュータ可読媒体。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本発明は、例えば、以下を提供する。
（項目１）
装置であって、
外部ソースから未加工データを受信するための通信インターフェースであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現を含む、通信インターフェースと、
前記未加工データを記憶するためのメモリ記憶ユニットと、
前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出し、かつ前記パーツの中間表現を生成するための第１のニューラルネットワークエンジンと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析し、前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成し、前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成するための、第２のニューラルネットワークエンジンと
を備える、装置。
（項目２）
前記第１のニューラルネットワークエンジンは、畳み込みニューラルネットワークを前記未加工データに適用するためのものである、項目１に記載の装置。
（項目３）
前記中間表現は、複数のキーポイントヒートマップを含む、項目２に記載の装置。
（項目４）
前記中間表現は、複数の類似性フィールドを含む、項目２に記載の装置。
（項目５）
前記中間表現は、複数の連想埋込を含む、項目２に記載の装置。
（項目６）
前記第１のニューラルネットワークエンジンおよび前記第２のニューラルネットワークエンジンは、グラフィックス処理ユニット上で実行される、項目１－５のいずれか１項に記載の装置。
（項目７）
前記第２のニューラルネットワークエンジンは、前記第１のオブジェクトおよび前記第２のオブジェクトの前記パーツを解析するために、二部マッチング損失演算を実行するためのものである、項目１－６のいずれか１項に記載の装置。
（項目８）
方法であって、
通信インターフェースを介して、外部ソースから未加工データを受信することであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現を含む、ことと、
前記未加工データをメモリ記憶ユニット内に記憶することと、
第１のニューラルネットワークエンジンを用いて、前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出することと、
前記パーツの中間表現を生成することと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析することと、
前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成することと、
前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成することと
を含む、方法。
（項目９）
前記第１のニューラルネットワークエンジンを用いて、畳み込みニューラルネットワークを前記未加工データに適用することをさらに含む、項目８に記載の方法。
（項目１０）
前記中間表現を生成することは、複数のキーポイントヒートマップを生成することを含む、項目９に記載の方法。
（項目１１）
前記中間表現を生成することは、複数の類似性フィールドを生成することを含む、項目９に記載の方法。
（項目１２）
前記中間表現を生成することは、複数の連想埋込を生成することを含む、項目９に記載の方法。
（項目１３）
第２のニューラルネットワークエンジンを実行し、前記トランスフォーマニューラルネットワークをグラフィックス処理ユニット上で適用することをさらに含む、項目８－１２のいずれか１項に記載の方法。
（項目１４）
前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析するために、二部マッチング損失演算を実行することをさらに含む、項目８－１３のいずれか１項に記載の方法。
（項目１５）
コードを用いてエンコードされる非一過性コンピュータ可読媒体であって、前記コードは、プロセッサに、
通信インターフェースを介して、外部ソースから未加工データを受信することであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現とを含む、ことと、
前記未加工データをメモリ記憶ユニット内に記憶することと、
前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出することと、
前記パーツの中間表現を生成することと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析することと、
前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成することと、
前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成することと
を行うように指示するためにある、非一過性コンピュータ可読媒体。
（項目１６）
前記コードは、前記プロセッサに、畳み込みニューラルネットワークを前記未加工データに適用し、前記パーツを検出するように指示するためのものである、項目１５に記載の非一過性コンピュータ可読媒体。
（項目１７）
前記コードは、前記プロセッサに、前記中間表現の一部として、複数のキーポイントヒートマップを生成するように指示するためのものである、項目１６に記載の非一過性コンピュータ可読媒体。
（項目１８）
前記コードは、前記プロセッサに、前記中間表現の一部として、複数の類似性フィールドを生成するように指示するためのものである、項目１６に記載の非一過性コンピュータ可読媒体。
（項目１９）
前記コードは、前記プロセッサに、前記中間表現の一部として複数の連想埋込を生成するように指示するためのものである、項目１６に記載の非一過性コンピュータ可読媒体。
（項目２０）
前記コードは、前記プロセッサに、前記トランスフォーマニューラルネットワークをグラフィックス処理ユニット上で適用するように指示するためのものである、項目１５－１９のいずれか１項に記載の非一過性コンピュータ可読媒体。
（項目２１）
前記コードは、前記プロセッサに、二部マッチング損失演算を実行し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析するように指示するためのものである、項目１５－２０のいずれか１項に記載の非一過性コンピュータ可読媒体。
ここで、実施例のみとして、付随の図面の参照が行われるであろう。
（項目１）
装置であって、
外部ソースから未加工データを受信するための通信インターフェースであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現を含む、通信インターフェースと、
前記未加工データを記憶するためのメモリ記憶ユニットと、
前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出し、かつ前記パーツの中間表現を生成するための第１のニューラルネットワークエンジンと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析し、前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成し、前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成するための、第２のニューラルネットワークエンジンと
を備える、装置。
（項目２）
前記第１のニューラルネットワークエンジンは、畳み込みニューラルネットワークを前記未加工データに適用するためのものである、項目１に記載の装置。
（項目３）
前記中間表現は、複数のキーポイントヒートマップを含む、項目２に記載の装置。
（項目４）
前記中間表現は、複数の類似性フィールドを含む、項目２に記載の装置。
（項目５）
前記中間表現は、複数の連想埋込を含む、項目２に記載の装置。
（項目６）
前記第１のニューラルネットワークエンジンおよび前記第２のニューラルネットワークエンジンは、グラフィックス処理ユニット上で実行される、項目１－５のいずれか１項に記載の装置。
（項目７）
前記第２のニューラルネットワークエンジンは、前記第１のオブジェクトおよび前記第２のオブジェクトの前記パーツを解析するために、二部マッチング損失演算を実行するためのものである、項目１－６のいずれか１項に記載の装置。
（項目８）
方法であって、
通信インターフェースを介して、外部ソースから未加工データを受信することであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現を含む、ことと、
前記未加工データをメモリ記憶ユニット内に記憶することと、
第１のニューラルネットワークエンジンを用いて、前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出することと、
前記パーツの中間表現を生成することと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析することと、
前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成することと、
前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成することと
を含む、方法。
（項目９）
前記第１のニューラルネットワークエンジンを用いて、畳み込みニューラルネットワークを前記未加工データに適用することをさらに含む、項目８に記載の方法。
（項目１０）
前記中間表現を生成することは、複数のキーポイントヒートマップを生成することを含む、項目９に記載の方法。
（項目１１）
前記中間表現を生成することは、複数の類似性フィールドを生成することを含む、項目９に記載の方法。
（項目１２）
前記中間表現を生成することは、複数の連想埋込を生成することを含む、項目９に記載の方法。
（項目１３）
第２のニューラルネットワークエンジンを実行し、前記トランスフォーマニューラルネットワークをグラフィックス処理ユニット上で適用することをさらに含む、項目８－１２のいずれか１項に記載の方法。
（項目１４）
前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析するために、二部マッチング損失演算を実行することをさらに含む、項目８－１３のいずれか１項に記載の方法。
（項目１５）
コードを用いてエンコードされる非一過性コンピュータ可読媒体であって、前記コードは、プロセッサに、
通信インターフェースを介して、外部ソースから未加工データを受信することであって、前記未加工データは、第１のオブジェクトおよび第２のオブジェクトの表現とを含む、ことと、
前記未加工データをメモリ記憶ユニット内に記憶することと、
前記第１のオブジェクトおよび前記第２のオブジェクトのパーツを検出することと、
前記パーツの中間表現を生成することと、
トランスフォーマニューラルネットワークを前記中間表現に適用し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析することと、
前記第１のオブジェクトパーツから前記第１のオブジェクトの第１の姿勢を生成することと、
前記第２のオブジェクトパーツから前記第２のオブジェクトの第２の姿勢を生成することと
を行うように指示するためにある、非一過性コンピュータ可読媒体。
（項目１６）
前記コードは、前記プロセッサに、畳み込みニューラルネットワークを前記未加工データに適用し、前記パーツを検出するように指示するためのものである、項目１５に記載の非一過性コンピュータ可読媒体。
（項目１７）
前記コードは、前記プロセッサに、前記中間表現の一部として、複数のキーポイントヒートマップを生成するように指示するためのものである、項目１６に記載の非一過性コンピュータ可読媒体。
（項目１８）
前記コードは、前記プロセッサに、前記中間表現の一部として、複数の類似性フィールドを生成するように指示するためのものである、項目１６に記載の非一過性コンピュータ可読媒体。
（項目１９）
前記コードは、前記プロセッサに、前記中間表現の一部として複数の連想埋込を生成するように指示するためのものである、項目１６に記載の非一過性コンピュータ可読媒体。
（項目２０）
前記コードは、前記プロセッサに、前記トランスフォーマニューラルネットワークをグラフィックス処理ユニット上で適用するように指示するためのものである、項目１５－１９のいずれか１項に記載の非一過性コンピュータ可読媒体。
（項目２１）
前記コードは、前記プロセッサに、二部マッチング損失演算を実行し、前記パーツを第１のオブジェクトパーツおよび第２のオブジェクトパーツに解析するように指示するためのものである、項目１５－２０のいずれか１項に記載の非一過性コンピュータ可読媒体。
ここで、実施例のみとして、付随の図面の参照が行われるであろう。
【国際調査報告】