特許 7361060 ３Ｄ関節点回帰モデル生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-04

(45)【発行日】2023-10-13

(54)【発明の名称】３Ｄ関節点回帰モデル生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231005BHJP

   G06N 3/08 20230101ALI20231005BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 660B

G06N3/08

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2021006367

(22)【出願日】2021-01-19

(65)【公開番号】P2021114295

(43)【公開日】2021-08-05

【審査請求日】2021-02-03

【審判番号】

【審判請求日】2023-01-18

(31)【優先権主張番号】202010064261.5

(32)【優先日】2020-01-20

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】モン，チンユエ

(72)【発明者】

【氏名】ヂャオ，チェン

【合議体】

【審判長】千葉 輝久

【審判官】樫本 剛

【審判官】板垣 有紀

(56)【参考文献】

【文献】特開平４－２７０３７２（ＪＰ，Ａ）

【文献】Ｘｉｎｇｙｉ Ｚｈｏｕ ｅｔ ａｌ．，“Ｔｏｗａｒｄｓ ３Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｉｎ ｔｈｅ Ｗｉｌｄ： Ａ Ｗｅａｋｌｙ－Ｓｕｐｅｒｖｉｓｅｄ Ａｐｐｒｏａｃｈ”，２０１７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＣＣＶ），２０１７年１０月２２日，ｐｐ．３９８－４０７

【文献】Ａｌｅｘａｎｄｒｏｓ Ａｎｄｒｅ Ｃｈａａｒａｏｕｉ ｅｔ ａｌ．，“Ａ ｒｅｖｉｅｗ ｏｎ ｖｉｓｉｏｎ ｔｅｃｈｎｉｑｕｅｓ ａｐｐｌｉｅｄ ｔｏ Ｈｕｍａｎ Ｂｅｈａｖｉｏｕｒ Ａｎａｌｙｓｉｓ ｆｏｒ Ａｍｂｉｅｎｔ－Ａｓｓｉｓｔｅｄ Ｌｉｖｉｎｇ”，Ｅｘｐｅｒｔ Ｓｙｓｔｅｍｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１２年，３９，ｐｐ．１０８７３－１０８８８

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00 - 7/90

(57)【特許請求の範囲】

【請求項1】

２Ｄ関節点座標を含む２Ｄラベルの付されたサンプル画像と、３Ｄラベルの付されたサンプル画像とを取得するステップと、
前記２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするステップと、
前記３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、３Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を前記第２所望出力の第１部分出力に対応する損失関数とし、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を前記第２所望出力の第２部分出力に対応する損失関数とし、前記基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするステップと、を含み、
前記幾何学的拘束損失関数と前記ユークリッド距離損失関数が異なる関数であり、
前記基本３Ｄ関節点回帰モデルは、２Ｄラベルの付されたサンプル画像を用いて初期３Ｄ関節点回帰モデルをトレーニングして得られる予めトレーニングされた３Ｄ関節点回帰モデルであり、
前記予めトレーニングされた３Ｄ関節点回帰モデルは、
２Ｄラベルの付されたサンプル画像を入力とし、前記２Ｄラベルを所望出力とし、関節点回帰モデルから出力される関節点ヒートマップセットに基づいて確定された関節点座標と２Ｄラベルにおける２Ｄ関節点座標との間のユークリッド距離を損失関数とし、前記初期３Ｄ関節点回帰モデルをトレーニングして得られる
３Ｄ関節点回帰モデル生成方法。

【請求項2】

前記の前記２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするステップは、
前記２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、２Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数を前記第１所望出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングすることを含む請求項１に記載の方法。

【請求項3】

前記幾何学的拘束損失関数は、各予測骨の長さ比率とサンプル画像セットにおける骨の長さ割合の平均値との間のユークリッド距離を含み、予測骨は、前記基本３Ｄ関節点回帰モデルから出力される関節点ヒートマップセットにおける骨であり、
各予測骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおける各サンプル画像に対応する各予測骨の長さと基準データセットにおける骨の長さとの比率であり、
サンプル画像セットにおける骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおける全てのサンプル画像に対応する全ての予測骨の長さと基準データセットにおける骨の長さとの比率である請求項２に記載の方法。

【請求項4】

前記ユークリッド距離損失関数は、
前記３Ｄラベルの付されたサンプル画像を第２入力としたときに、前記基本３Ｄ関節点回帰モデルから出力される関節点奥行き情報マップセットにおける奥行き情報と、前記３Ｄラベルにおけるラベル付けされた関節点奥行き情報とのユークリッド距離を含む請求項１に記載の方法。

【請求項5】

人物を含む画像を取得するステップと、
前記画像をトレーニングされた３Ｄ関節点回帰モデルに入力して、前記トレーニングされた３Ｄ関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを得るステップであって、前記トレーニングされた３Ｄ関節点回帰モデルが請求項１～４のいずれか一項に記載の３Ｄ関節点回帰モデル生成方法を用いて、基本３Ｄ関節点回帰モデルをトレーニングして得られるステップと、
前記関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、前記人物の３Ｄ関節点座標を確定するステップと、を含む３Ｄ関節点座標生成方法。

【請求項6】

前記人物の３Ｄ関節点座標に基づいて、人体の動作パラメータを確定するステップと、
前記人体の動作パラメータに基づいて、前記人物の動作を提示する提示情報を生成するステップと、をさらに含む請求項５に記載の方法。

【請求項7】

２Ｄ関節点座標を含む２Ｄラベルの付されたサンプル画像と、３Ｄラベルの付されたサンプル画像とを取得するように構成されるサンプル画像取得ユニットと、
前記２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするように構成される部分チャネルトレーニングユニットと、
前記３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、３Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を前記第２所望出力の第１部分出力に対応する損失関数とし、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を前記第２所望出力の第２部分出力に対応する損失関数とし、前記基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするように構成される全チャネルトレーニングユニットと、を含み、
前記幾何学的拘束損失関数と前記ユークリッド距離損失関数が異なる関数であり、
前記基本３Ｄ関節点回帰モデルは、２Ｄラベルの付されたサンプル画像を用いて初期３Ｄ関節点回帰モデルをトレーニングして得られる予めトレーニングされた３Ｄ関節点回帰モデルであり、
前記予めトレーニングされた３Ｄ関節点回帰モデルは、
２Ｄラベルの付されたサンプル画像を入力とし、前記２Ｄラベルを所望出力とし、関節点回帰モデルから出力される関節点ヒートマップセットに基づいて確定された関節点座標と２Ｄラベルにおける２Ｄ関節点座標との間のユークリッド距離を損失関数とし、前記初期３Ｄ関節点回帰モデルをトレーニングして得られる
３Ｄ関節点回帰モデル生成装置。

【請求項8】

前記部分チャネルトレーニングユニットはさらに、
前記２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、２Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数を前記第１所望出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするように構成される請求項７に記載の装置。

【請求項9】

前記部分チャネルトレーニングユニット又は前記全チャネルトレーニングユニットの両方における幾何学的拘束損失関数は、各予測骨の長さ割合とサンプル画像セットにおける骨の長さ割合の平均値との間のユークリッド距離を含み、
予測骨は、前記基本３Ｄ関節点回帰モデルから出力される関節点ヒートマップセットにおける骨であり、
各予測骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおける各サンプル画像に対応する各予測骨の長さと基準データセットにおける骨の長さとの比率であり、
サンプル画像セットにおける骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおける全てのサンプル画像に対応する全ての予測骨の長さと基準データセットにおける骨の長さとの比率である、請求項８に記載の装置。

【請求項10】

前記ユークリッド距離損失関数は、
前記３Ｄラベルの付されたサンプル画像を第２入力としたときに、前記基本３Ｄ関節点回帰モデルから出力される関節点奥行き情報マップセットにおける奥行き情報と、前記３Ｄラベルにおけるラベル付けされた関節点奥行き情報とのユークリッド距離を含む、請求項７に記載の装置。

【請求項11】

人物を含む画像を取得するように構成される画像取得ユニットと、
前記画像をトレーニングされた３Ｄ関節点回帰モデルに入力して、前記トレーニングされた３Ｄ関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを得るように構成される画像入力ユニットであって、前記トレーニングされた３Ｄ関節点回帰モデルが請求項７～１０のいずれか一項に記載の３Ｄ関節点回帰モデル生成装置を用いて、基本３Ｄ関節点回帰モデルをトレーニングして得られる画像入力ユニットと、
前記関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、前記人物の３Ｄ関節点座標を確定するように構成される座標確定ユニットと、を含む、
３Ｄ関節点座標生成装置。

【請求項12】

前記人物の３Ｄ関節点座標に基づいて、人体の動作パラメータを確定するように構成される動作パラメータ確定ユニットと、
前記人体の動作パラメータに基づいて、前記人物の動作を提示する提示情報を生成するように構成される提示情報生成ユニットと、
をさらに含む請求項１１に記載の装置。

【請求項13】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含む電子機器であって、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合に、前記１つ又は複数のプロセッサに請求項１～６のいずれか一項に記載の方法を実現させる電子機器。

【請求項14】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該プログラムがプロセッサで実行される場合に、請求項１～６のいずれか一項に記載の方法を実現するコンピュータ可読記憶媒体。

【請求項15】

コンピュータプログラムであって、
該コンピュータプログラムがプロセッサによって実行される場合に、請求項１～４のいずれか一項に記載の３Ｄ関節点回帰モデル生成方法及び／又は請求項５～６のいずれか一項に記載の３Ｄ関節点座標生成方法を実現する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術分野に関し、具体的に三次元（３Ｄ）肢体回帰の技術分野に関し、特に三次元（３Ｄ）関節点回帰モデル生成方法及び装置、３Ｄ関節点座標生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムに関する。

【背景技術】

【0002】

混合データに基づく三次元（３Ｄ）肢体回帰技術とは、深層学習技術により３Ｄ肢体回帰を行う場合に、二次元（２Ｄ）アノテーションデータと三次元（３Ｄ）アノテーションデータとを用いて同時に学習することをいう。現在、深層学習技術の開発に伴い、様々なオブジェクトやタスクのキーポイントの回帰など、様々な分野でのアプリケーションがますます広範になっている。深層学習技術は、正確にラベル付けされたデータに依存し、３Ｄデータのアノテーションが２Ｄデータのアノテーションよりもはるかに困難であるため、現在の学術界と産業界では、２Ｄキーポイントの回帰に対する研究が多く、３Ｄ肢体の学習に対する研究が相対的に少ない。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示の実施例は、３Ｄ関節点回帰モデル生成方法及び装置、３Ｄ関節点座標生成方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムを提供する。

【0004】

第１の態様によれば、本開示の実施例は、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を取得するステップと、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするステップと、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするステップと、を含む３Ｄ関節点回帰モデル生成方法を提供している。

【0005】

いくつかの実施例において、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするステップは、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、２Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数を第１所望出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングすることを含む。

【0006】

いくつかの実施例において、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするステップは、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とするとともに、３Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を第２所望出力の第１部分出力に対応する損失関数とし、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を第２所望出力の第２部分出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングすることを含む。

【0007】

いくつかの実施例において、幾何学的拘束損失関数は、各予測骨の長さ比率とサンプル画像セットにおける骨の長さ割合の平均値との間のユークリッド距離を含み、予測骨は、基本３Ｄ関節点回帰モデルから出力される関節点ヒートマップセットにおける骨であり、各予測骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおける各サンプル画像に対応する各予測骨の長さと基準データセットにおける骨の長さとの比率であり、サンプル画像セットにおける骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおけるすべてのサンプル画像に対応するすべての予測骨の長さと基準データセットにおける骨の長さとの比率である。

【0008】

いくつかの実施例において、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数は、３Ｄラベルの付されたサンプル画像を第２入力としたときに、基本３Ｄ関節点回帰モデルから出力される関節点奥行き情報マップセットにおける奥行き情報と、３Ｄラベルにおけるラベル付けされた関節点奥行き情報とのユークリッド距離を含む。

【0009】

いくつかの実施例において、基本３Ｄ関節点回帰モデルは、初期３Ｄ関節点回帰モデルか、２Ｄラベルの付されたサンプル画像を用いて初期３Ｄ関節点回帰モデルをトレーニングして得られる予めトレーニングされた３Ｄ関節点回帰モデルのいずれか一方を含む。

【0010】

いくつかの実施例において、予めトレーニングされた３Ｄ関節点回帰モデルは、２Ｄラベルの付されたサンプル画像を入力とし、２Ｄラベルを所望出力とし、関節点回帰モデルから出力される関節点ヒートマップセットに基づいて確定された関節点座標と２Ｄラベルにおける２Ｄ関節点座標との間のユークリッド距離を損失関数とし、初期３Ｄ関節点回帰モデルをトレーニングして得られるステップにより確定される。

【0011】

第２の態様によれば、本開示の実施例は、人物を含む画像を取得するステップと、画像をトレーニングされた３Ｄ関節点回帰モデルに入力して、トレーニングされた３Ｄ関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを得るステップであって、トレーニングされた３Ｄ関節点回帰モデルが上記実施例のいずれかの３Ｄ関節点回帰モデル生成方法を用いて、基本３Ｄ関節点回帰モデルをトレーニングして得られるステップと、関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、人物の３Ｄ関節点座標を確定するステップと、を含む３Ｄ関節点座標生成方法を提供している。

【0012】

いくつかの実施例において、方法は、人物の３Ｄ関節点座標に基づいて、人体の動作パラメータを確定するステップと、人体の動作パラメータに基づいて、人物の動作を提示する提示情報を生成するステップとをさらに含む。

【0013】

第３の態様によれば、本開示の実施例は、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を取得するように構成されるサンプル画像取得ユニットと、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするように構成される部分チャネルトレーニングユニットと、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするように構成される全チャネルトレーニングユニットと、を含む３Ｄ関節点回帰モデル生成装置を提供している。

【0014】

いくつかの実施例において、部分チャネルトレーニングユニットはさらに、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、２Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数を第１所望出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするように構成される。

【0015】

いくつかの実施例において、全チャネルトレーニングユニットはさらに、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とするとともに、３Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を第２所望出力の第１部分出力に対応する損失関数とし、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を第２所望出力の第２部分出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするように構成される。

【0016】

いくつかの実施例において、部分チャネルトレーニングユニット又は全チャネルトレーニングユニットの両方における幾何学的拘束損失関数は、各予測骨の長さ割合とサンプル画像セットにおける骨の長さ割合の平均値との間のユークリッド距離を含み、予測骨は、基本３Ｄ関節点回帰モデルから出力される関節点ヒートマップセットにおける骨であり、各予測骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおける各サンプル画像に対応する各予測骨の長さと基準データセットにおける骨の長さとの比率であり、サンプル画像セットにおける骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおけるすべてのサンプル画像に対応するすべての予測骨の長さと基準データセットにおける骨の長さとの比率である。

【0017】

いくつかの実施例において、全チャネルトレーニングユニットにおける３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数は、３Ｄラベルの付されたサンプル画像を第２入力としたときに、基本３Ｄ関節点回帰モデルから出力される関節点奥行き情報マップセットにおける奥行き情報と、３Ｄラベルにおいてラベル付けされた関節点奥行き情報とのユークリッド距離を含む。

【0018】

いくつかの実施例において、部分チャネルトレーニングユニット又は全チャネルトレーニングユニットの両方における基本３Ｄ関節点回帰モデルは、初期３Ｄ関節点回帰モデルか、２Ｄラベルの付されたサンプル画像を用いて初期３Ｄ関節点回帰モデルをトレーニングして得られる予めトレーニングされた３Ｄ関節点回帰モデルのいずれか一方を含む。

【0019】

いくつかの実施例において、予めトレーニングされた３Ｄ関節点回帰モデルは、２Ｄラベルの付されたサンプル画像を入力とし、２Ｄラベルを所望出力とし、関節点回帰モデルから出力される関節点ヒートマップセットに基づいて確定された関節点座標と２Ｄラベルにおける２Ｄ関節点座標との間のユークリッド距離を損失関数とし、初期３Ｄ関節点回帰モデルをトレーニングして得られるステップにより確定される。

【0020】

第４の態様によれば、本開示の実施例は、人物を含む画像を取得するように構成される画像取得ユニットと、画像をトレーニングされた３Ｄ関節点回帰モデルに入力して、トレーニングされた３Ｄ関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを取得するように構成される画像入力ユニットであって、トレーニングされた３Ｄ関節点回帰モデルが上記実施例のいずれかの３Ｄ関節点回帰モデル生成を用いて、基本３Ｄ関節点回帰モデルをトレーニングして得られる画像入力ユニットと、関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、人物の３Ｄ関節点座標を確定するように構成される座標確定ユニットと、を含む３Ｄ関節点座標生成装置を提供している。

【0021】

いくつかの実施例において、装置は、人物の３Ｄ関節点座標に基づいて、人体の動作パラメータを確定するように構成される動作パラメータ確定ユニットと、人体の動作パラメータに基づいて、人物の動作を提示する提示情報を生成するように構成される提示情報生成ユニットとをさらに含む。

【0022】

第５の態様によれば、本開示の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するための記憶装置と、を含む電子機器であって、１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行される場合に、１つ又は複数のプロセッサに上記のいずれかに記載の３Ｄ関節点回帰モデル生成方法及び／又は３Ｄ関節点座標生成方法を実現させる電子機器を提供している。

【0023】

第６の態様によれば、本開示の実施例は、コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、該プログラムがプロセッサによって実行される場合に、上記のいずれかに記載の３Ｄ関節点回帰モデル生成方法及び／又は３Ｄ関節点座標生成方法を実現するコンピュータ可読記憶媒体を提供している。

【0024】

第７の態様によれば、本開示の実施例は、コンピュータプログラムであって、該コンピュータプログラムがプロセッサによって実行される場合に、上記のいずれかに記載の３Ｄ関節点回帰モデル生成方法及び／又は３Ｄ関節点座標生成方法を実現するコンピュータプログラムを提供している。

【0025】

本開示の実施例に係る３Ｄ関節点回帰モデル生成方法及び装置は、３Ｄ関節点回帰モデル生成方法は、まず、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を取得するステップと、その後、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするステップと、その後、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするステップとを含む。このプロセスにおいて、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を用いて関節点回帰モデルにおける部分チャネル及び全チャネルをそれぞれトレーニングし、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を用いて３Ｄ関節点回帰モデルのパラメータを同時に調整することができ、３Ｄラベルの付されたサンプル画像が限られた場合に、高い予測能力を有する関節点回帰モデルをトレーニングすることができ、トレーニング済みの関節点回帰モデルに基づいて入力画像の３Ｄ関節点を生成する精度を向上させることができる。

【0026】

一部の実施例において、２Ｄラベルの付されたサンプル画像を用いて初期３Ｄ関節点回帰モデルを予めトレーニングして、予めトレーニングされた３Ｄ関節点回帰モデルを得るとともに、予めトレーニングされた３Ｄ関節点回帰モデルを基本３Ｄ関節点回帰モデルとして用い、さらに２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を用いて基本３Ｄ関節点ネットワークをトレーニングして、トレーニングされた３Ｄ関節点回帰モデルを得ることができる。このプロセスは、トレーニングされた３Ｄ関節点回帰モデルの生成効率及びトレーニングされた３Ｄ関節点回帰モデルに基づく３Ｄ関節点の生成精度を向上できる。

【0027】

本開示の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例の詳細な説明を読むことにより、より明らかになるであろう。

【図面の簡単な説明】

【0028】

【図1】本開示を適用できる例示的なシステムアーキテクチャを示す図である。

【図2】本開示の実施例に係る３Ｄ関節点回帰モデル生成方法の一実施例を示すフローチャートである。

【図3a】本開示の実施例に係る３Ｄ関節点回帰モデル生成方法の例示的な適用シーンである。

【図3b】図３ａにおける適用シーンを実現する３Ｄ関節点回帰モデル生成方法を示す概略図である。

【図4】本開示の実施例に係る３Ｄ関節点座標生成方法の一実施例を示す概略フローチャートである。

【図5】本開示の３Ｄ関節点回帰モデル生成装置の一実施例の例示的なブロック図である。

【図6】本開示の３Ｄ関節点座標生成装置の一実施例の例示的な構造図である。

【図7】本開示の実施例を実現するためのサーバに適用されるコンピュータシステムを示す構造概略図である。

【発明を実施するための形態】

【0029】

以下、添付図面及び実施例を参照しながら、本開示をより詳細に説明する。ここで説明する具体的な実施例は、関連する発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解されたい。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。

【0030】

なお、本開示の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、添付図面及び実施例を参照しながら、本開示を詳細に説明する。当業者はさらに、用語「第１」、「第２」等を用いて様々な入力、所望出力、部分出力等を本明細書で記述することができるが、これらの入力、所望出力、部分出力は、これらの用語によって限定されるべきではないことを理解するであろう。これらの用語は、１つの入力、所望出力、部分出力を他の入力、所望出力、部分出力から区別するためのものに過ぎない。

【0031】

図１は、本開示の３Ｄ関節点回帰モデル生成方法又は３Ｄ関節点回帰モデル生成装置を適用できる実施例の例示的なシステムアーキテクチャ１００が示されている。

【0032】

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供するために用いられる。ネットワーク１０４は、有線、無線通信リンク又は光ファイバケーブル等のような、様々な接続タイプを含んでもよい。

【0033】

ユーザは、メッセージ等を受送信するために、端末装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５とインタラクティブすることができる。端末装置１０１、１０２、１０３には、例えば、翻訳系アプリケーション、ブラウザアプリケーション、ショッピング系アプリケーション、検索系アプリケーション、インスタントメッセンジャー、メールボックスクライアント、ソーシャルプラットフォームソフトウェア等のような様々な通信クライアントアプリケーションがインストールされていてもよい。

【0034】

端末装置１０１、１０２、１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末装置１０１、１０２、１０３がハードウェアである場合には、ブラウザアプリケーションをサポートする様々な電子機器であってもよく、タブレットコンピュータ、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、これらに限定されない。端末装置１０１、１０２、１０３がソフトウェアである場合には、上記に挙げられた電子機器にインストールされてもよい。これは、例えば、分散サービスを提供するために用いられるなど、複数のソフトウェア又はソフトウェアモジュールとして実現されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは、特に限定しない。

【0035】

サーバ１０５は、例えば、端末装置１０１、１０２、１０３に行われるブラウザアプリケーションをサポートするバックグラウンドサーバ等の、様々なサービスを提供するサーバであってもよい。バックグラウンドサーバは、受信したリクエスト等のデータに対して分析などの処理を行うとともに、処理結果を端末装置にフィードバックすることができる。

【0036】

なお、サーバはハードウェアであってもよいし、ソフトウェアであってもよい。サーバがハードウェアである場合には、複数のサーバからなる分散サーバクラスタとして実現されてもよいし、単一のサーバとして実現されてもよい。サーバがソフトウェアである場合には、例えば、分散サービスを提供するための複数のソフトウェア又はソフトウェアモジュールとして実現されてもよいし、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは、特に限定しない。

【0037】

実際には、本開示の実施例に係る３Ｄ関節点回帰モデル生成方法、３Ｄ関節点座標生成方法は、端末装置１０１、１０２、１０３及び／又はサーバ１０５、１０６により実行されてもよく、３Ｄ関節点回帰モデル生成装置、３Ｄ関節点座標生成装置は、端末装置１０１、１０２、１０３及び／又はサーバ１０５、１０６に設けられてもよい。

【0038】

図１における端末装置、ネットワーク及びサーバの数は、単なる例示的なものに過ぎないことを理解されたい。必要に応じて、端末装置、ネットワーク及びサーバの数を任意に加減してもよい。

【0039】

引き続き図２を参照すると、図２は本開示に係る３Ｄ関節点回帰モデル生成方法の一実施例を示すフロー２００が示されている。該３Ｄ関節点回帰モデル生成方法は、ステップ２０１～２０３を含む。

【0040】

ステップ２０１：２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を取得する。

【0041】

本実施例において、３Ｄ関節点回帰モデル生成方法の実行主体（例えば、図１に示す端末又はサーバ）は、ローカル又はクラウドから２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を取得することができる。

【0042】

ステップ２０２：２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングする。

【0043】

本実施例において、２Ｄラベルの付されたサンプル画像とは、基本３Ｄ関節点回帰モデルをトレーニングするための、２次元座標ラベルの付されたトレーニングサンプル画像をいう。関節点ヒートマップは、関節を示すキーポイントがラベル付けされたヒートマップである。部分チャネルとは、出力層における完全に接続された出力チャネルの一部をいう。

【0044】

上記基本３Ｄ関節点回帰モデルは、初期３Ｄ関節点回帰モデルか、２Ｄラベルの付されたサンプル画像を用いて初期３Ｄ関節点回帰モデルをトレーニングして得られる予めトレーニングされた３Ｄ関節点回帰モデルのいずれか一方を含むことができる。

【0045】

ここで、初期関節点回帰モデルは、カスケードされる砂時計モデル（ｈｏｕｒｇｌａｓｓ）を用いて実現されてもよいし、さらに系列化に基づく全層畳み込みニューラルネットワーク構造を用いて空間情報及びテクスチャ情報を学習し、人体姿勢を推定するＣｏｎｖｏｌｕｔｉｏｎａｌ Ｐｏｓｅ Ｍａｃｈｉｎｅｓ（ＣＰＭ）モデルを用いて実現されてもよく、また、人体姿勢認識アイテムモデル（ＯｐｅｎＰｏｓｅ）、人体姿勢推定モデル（ＡｌｐｈａＰｏｓｅ）などを用いて実現されてもよい。

【0046】

ここで、２Ｄラベルの付されたサンプル画像を用いて初期３Ｄ関節点回帰モデルをトレーニングして、予めトレーニングされた３Ｄ関節点回帰モデルを得た後、予めトレーニングされた３Ｄ関節点回帰モデルを基本３Ｄ関節点回帰モデルとすることは、予めトレーニングされた３Ｄ関節点回帰モデルのいくつかの上位層を用いて浅層特徴を抽出し、最後に新たにトレーニングされた分類に入ることに相当する。これにより、初期３Ｄ関節点回帰モデルを完全に再トレーニングする必要がないので、３Ｄ関節点回帰モデルを生成する効率を向上させることができる。初期３Ｄ関節点回帰モデルを新たにトレーニングする場合、精度が非常に低い値から徐々に上昇し、予めトレーニングされた３Ｄ関節点回帰モデルを用いる場合、少ない反復回数だけでよりよい結果を得ることができる。

【0047】

２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングする際に、従来技術又は将来開発される技術における損失関数を用いてトレーニング効果を拘束してもよく、例えば、平均二乗誤差損失関数、平均絶対誤差損失関数、Ｈｕｂｅｒ損失関数、Ｌｏｇ－Ｃｏｓｈ損失関数、分位点損失関数のうちの１つ又は複数を損失関数として用いてもよい。

【0048】

具体的な例において、予めトレーニングされた３Ｄ関節点回帰モデルは、２Ｄラベルの付されたサンプル画像を入力とし、２Ｄラベルを所望出力とし、関節点回帰モデルから出力される関節点ヒートマップセットに基づいて確定された関節点座標と２Ｄラベルにおける２Ｄ関節点座標との間のユークリッド距離を損失関数とし、初期３Ｄ関節点回帰モデルをトレーニングして得られるステップにより確定されてもよい。

【0049】

本実施例のいくつかの選択可能な実施形態において、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするステップは、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、２Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数を第１所望出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングすることを含む。

【0050】

本実施形態において、幾何学的拘束損失関数とは、人体の骨の幾何学的拘束（例えば、骨の長さ、骨間の接続関係など）に基づいて確定される損失関数をいう。

【0051】

奥行き情報がラベル付けされていない２Ｄラベルの付されたサンプル画像に対して幾何学的拘束損失関数を損失関数として用いることで、ラベル付けされていない奥行き情報の最終的なトレーニング結果の正確慣習への影響を低減させ、トレーニングされた３Ｄ関節点回帰モデルの出力層における部分チャネルの正確性を向上させることができる。

【0052】

本実施例のいくつかの選択可能な実施形態において、幾何学的拘束損失関数は、各予測骨の長さ割合とサンプル画像セットにおける骨の長さ割合の平均値との間のユークリッド距離を含み、予測骨は、基本３Ｄ関節点回帰モデルから出力される関節点ヒートマップセットにおける骨であり、各予測骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおける各サンプル画像に対応する各予測骨の長さと基準データセットにおける骨の長さとの比率であり、サンプル画像セットにおける骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおけるすべてのサンプル画像に対応するすべての予測骨の長さと基準データセットにおける骨の長さとの比率である。

【0053】

【数1】

【0054】

【数2】

【0055】

ステップ２０３：３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングする。

【0056】

本実施例において、３Ｄラベルの付されたサンプル画像とは、基本３Ｄ関節点回帰モデルをトレーニングするための、３次元座標ラベルの付されたトレーニングサンプル画像をいう。関節点奥行き情報マップは、関節点の奥行き情報を示す画像である。全チャネルとは、出力層における完全に接続された出力チャネルの全てをいう。

【0057】

３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングする際に、従来技術又は将来開発される技術における損失関数を用いてトレーニング効果を拘束してもよく、例えば、平均二乗誤差損失関数、平均絶対誤差損失関数、Ｈｕｂｅｒ損失関数、Ｌｏｇ－Ｃｏｓｈ損失関数、分位点損失関数のうちの１つ又は複数を損失関数として用いてもよい。

【0058】

本実施例のいくつかの選択可能な実施形態において、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするステップは、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とするとともに、３Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を第２所望出力の第１部分出力に対応する損失関数とし、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を第２所望出力の第２部分出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングすることを含む。

【0059】

本実施形態において、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とするとともに、３Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を第２所望出力の第１部分出力に対応する損失関数とし、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を第２所望出力の第２部分出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングすることにより、２Ｄラベルの付されたデータを用いて基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングすることに加えて、３Ｄラベルの付されたサンプル画像を用いて基本３Ｄ関節点回帰モデルの出力層における全チャネルをさらにトレーニングすることができ、トレーニング済みの基本３Ｄ関節点回帰モデルの出力層における全チャネルの出力の正確性を少ない反復回数だけで向上させることができる。

【0060】

本実施例のいくつかの選択可能な実施形態において、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数は、３Ｄラベルの付されたサンプル画像を第２入力としたときに、基本３Ｄ関節点回帰モデルから出力される関節点奥行き情報マップセットにおける奥行き情報と、３Ｄラベルにおけるラベル付けされた関節点奥行き情報とのユークリッド距離を含む。

【0061】

本実施形態において、３Ｄ座標情報が完全にラベル付けされたサンプル画像に対して、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離を先に計算してユークリッド距離損失関数とし、ユークリッド距離損失関数の重み値を第２所望出力の第２部分出力に対応する損失関数とすることにより、損失関数を計算する効率を向上させ、３Ｄ関節点回帰モデルを生成する効率を向上させることができる。

【0062】

本開示の上記実施例に係る３Ｄ関節点回帰モデル生成方法は、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を用いて関節点回帰モデルにおける部分チャネル及び全チャネルをそれぞれトレーニングすることにより、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を用いて関節点回帰モデルのパラメータを同時に調整することができ、３Ｄラベルの付されたサンプル画像が限られた場合に、高い予測能力を有する関節点回帰モデルをトレーニングすることができ、トレーニング済みの関節点回帰モデルに基づいて入力画像の３Ｄ関節点を生成する精度を向上させることができる。

【0063】

以下、図３ａ及び図３ｂを参照して、本開示の３Ｄ関節点回帰モデル生成方法の例示的な適用シーンを説明する。

【0064】

図３ａに示すように、図３ａは本開示に係る３Ｄ関節点回帰モデル生成方法の例示的な適用シーンが示される。

【0065】

図３ａに示すように、３Ｄ関節点回帰モデル生成方法３００は電子機器３２０において実行され、方法３００は、
まず、２Ｄラベルの付されたサンプル画像３０１及び３Ｄラベルの付されたサンプル画像３０２を取得するステップと、
その後、２Ｄラベルの付されたサンプル画像３０１を第１入力３０３とし、２Ｄラベルに対応する関節点ヒートマップセット３０４を第１所望出力３０５とし、基本３Ｄ関節点回帰モデル３０６の出力層における部分チャネル３０７をトレーニングするステップと、
最後に、３Ｄラベルの付されたサンプル画像３０２を第２入力３０８とし、３Ｄラベルに対応する関節点ヒートマップセット３０９を第２所望出力３１０の第１部分出力３１１とし、３Ｄラベルに対応する関節点奥行き情報マップセット３１２を第２所望出力３１０の第２部分出力３１３とし、基本３Ｄ関節点回帰モデルの出力層における全チャネル３１４をトレーニングするステップと、を含む。

【0066】

上記図３ａに示される３Ｄ関節点回帰モデル生成方法の適用シーンは、３Ｄ関節点回帰モデル生成方法の例示的な説明に過ぎず、該方法を限定するものではないことを理解されたい。例えば、上記図３ａに示される各ステップは、より詳細な実施方法をさらに採用することができる。上記図３（ａ）に踏まえて、さらに他のステップを加えてもよい。

【0067】

図３ｂに示すように、図３ｂにおいて、３Ｄ関節点回帰モデルに２Ｄラベルの付された画像サンプルをロードすると、３Ｄ関節点回帰ネットワークが２Ｄラベルに対応する関節点ヒートマップセットを出力し、２Ｄラベルを用いて教師あり関節点ヒートマップ回帰を形成して３Ｄ関節点回帰ネットワークモデルをトレーニングし、３Ｄ関節点回帰モデルに３Ｄラベルの付された画像サンプルをロードすると、３Ｄ関節点回帰ネットワークが３Ｄラベルに対応する関節点ヒートマップセット及び奥行き情報マップセットを出力し、３Ｄラベルを用いて教師あり関節点ヒートマップ回帰及び教師あり奥行き情報マップ回帰を形成して３Ｄ関節点回帰ネットワークモデルをトレーニングする。２Ｄラベルの付された画像サンプル及び３Ｄラベルの付された画像サンプルを用いて交互にトレーニングすることにより、トレーニングされた３Ｄ関節点回帰ネットワークモデルを得ることができる。

【0068】

さらに図４を参照すると、図４は本開示に係る３Ｄ関節点座標生成方法の一実施例を示す概略フローチャートが示されている。

【0069】

図４に示すように、本実施例の３Ｄ関節点座標生成方法４００は、ステップ４０１～ステップ４０５を含むことができる。

【0070】

ステップ４０１において、人物を含む画像を取得する。
本実施例において、３Ｄ関節点座標生成方法の実行主体（例えば、図１に示す端末又はサーバ）は、ローカル又はクラウドからタスクを含む画像を取得することができる。

【0071】

ステップ４０２において、画像をトレーニングされた３Ｄ関節点回帰モデルに入力し、トレーニングされた３Ｄ関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを得る。

【0072】

本実施例において、上記実行主体は、画像をトレーニングされた３Ｄ関節点回帰モデルに入力し、トレーニングされた３Ｄ関節点回帰モデルの出力層の部分チャネルから出力される関節点ヒートマップセットと、トレーニングされた３Ｄ関節点回帰モデルの出力層の全チャネルのうち上記部分チャネルを除くチャネルから出力される関節点奥行き情報マップセットとを得ることができる。

【0073】

トレーニングされた３Ｄ関節点回帰モデルは、上記図２又は図３に記載の３Ｄ関節点回帰モデル生成方法を用いて基本３Ｄ関節点回帰モデルをトレーニングして得られる。

【0074】

ステップ４０３において、関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、人物の３Ｄ関節点座標を確定する。

【0075】

本実施例において、３Ｄ関節点座標生成方法（例えば、図１に示す端末又はサーバ）の実行主体は、関節点ヒートマップセットに基づいて、各関節点の２Ｄ座標を確定し、さらに関節点奥行き情報マップセットに基づいて、各関節点の奥行き座標を得ることができる。それによって、各関節点について、２Ｄ座標及び奥行き座標を組み合わせて３Ｄ関節点座標を得る。

【0076】

選択可能なステップ４０４において、人物の３Ｄ関節点座標に基づいて、人体の動作パラメータを確定する。

【0077】

本実施例において、上記実行主体は、画像における人物の３Ｄ関節点座標に基づいて、該人物が行われる動作を示すことができる人体の動作パラメータを確定する。

【0078】

ステップ４０５において、人体の動作パラメータに基づいて、人物の動作を提示する提示情報を生成する。

【0079】

本実施例において、上記実行主体は、人体の動作パラメータに基づいて、これらの動作パラメータが注意喚起条件に合致するか否かを判定し、合致すると、注意喚起条件に対応する、人物の動作を提示する提示情報を生成することができる。さらに、ユーザに次の動作を指導するために、これらの提示情報をユーザに提示することができる。

【0080】

例として、上記実行主体は、フィットネスアドバイスに際して、人体の動作パラメータがフィットネス注意喚起条件に合致するか否かに基づいて、フィットネス注意喚起条件に合致する際に、フィットネス注意喚起条件に対応する、人物の動作を提示する提示情報を生成するとともに、ユーザの次のフィットネス動作を指導するために、これらの提示情報をユーザに提示することができる。

【0081】

他の例として、３Ｄマン－マシンインタラクションサービスにおいて、上記実行主体は、人体の動作パラメータがマン－マシンインタラクション注意喚起条件に合致するか否かに基づいて、マン－マシンインタラクション注意喚起条件に合致する際に、マン－マシンインタラクション注意喚起条件に対応する、人物の動作を提示する提示情報を生成するとともに、ユーザの次のマン－マシンインタラクションアクションを指導するために、これらの提示情報をユーザに提示することができる。

【0082】

本開示の図４における実施例の３Ｄ関節点座標生成方法は、図２に示す３Ｄ関節点回帰モデル生成方法に加えて、人物を含む画像をトレーニングされた３Ｄ関節点回帰モデルに入力し、トレーニングされた３Ｄ関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを得るとともに、関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、人物の３Ｄ関節点座標を確定し、確定されたタスクの３Ｄ関節点座標の精度及び効率を向上できる。

【0083】

一部の実施例において、さらに人物の３Ｄ関節点座標に基づいて人体の動作パラメータを確定し、人体の動作パラメータに基づいて、人物の動作を提示する提示情報を生成することにより、人物の動作の正確性及び目標性を向上させることもできる。

【0084】

さらに図５を参照すると、上記各図に示される方法の実施態様として、本開示の実施例は、図２～図４に示される方法の実施例に対応する３Ｄ関節点回帰モデル生成装置の一実施例を提供し、当該装置は、具体的に上記端末装置又はサーバに適用可能である。

【0085】

図５に示すように、本実施例の３Ｄ関節点回帰モデル生成装置５００は、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を取得するように構成されるサンプル画像取得ユニット５１０と、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするように構成される部分チャネルトレーニングユニット５２０と、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするように構成される全チャネルトレーニングユニット５３０と、を含むことができる。

【0086】

いくつかの実施例において、部分チャネルトレーニングユニット５２０はさらに、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、２Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数を第１所望出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングするように構成される。

【0087】

いくつかの実施例において、全チャネルトレーニングユニット５３０はさらに、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とするとともに、３Ｄラベルの付されたサンプル画像に対応する幾何学的拘束損失関数の重み値を第２所望出力の第１部分出力に対応する損失関数とし、３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数の重み値を第２所望出力の第２部分出力に対応する損失関数とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングするように構成される。

【0088】

いくつかの実施例において、部分チャネルトレーニングユニット又は全チャネルトレーニングユニットの両方における幾何学的拘束損失関数は、各予測骨の長さ割合とサンプル画像セットにおける骨の長さ割合の平均値との間のユークリッド距離を含み、予測骨は、基本３Ｄ関節点回帰モデルから出力される関節点ヒートマップセットにおける骨であり、各予測骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおける各サンプル画像に対応する各予測骨の長さと基準データセットにおける骨の長さとの比率であり、サンプル画像セットにおける骨の長さ割合は、１回のトレーニングで選択されたサンプル画像セットにおけるすべてのサンプル画像に対応するすべての予測骨の長さと基準データセットにおける骨の長さとの比率である。

【0089】

いくつかの実施例において、全チャネルトレーニングユニットにおける３Ｄラベルの付されたサンプル画像に対応するユークリッド距離損失関数は、３Ｄラベルの付されたサンプル画像を第２入力としたときに、基本３Ｄ関節点回帰モデルから出力される関節点奥行き情報マップセットにおける奥行き情報と、３Ｄラベルにおいてラベル付けされた関節点奥行き情報とのユークリッド距離を含む。

【0090】

いくつかの実施例において、部分チャネルトレーニングユニット又は全チャネルトレーニングユニットの両方における基本３Ｄ関節点回帰モデルは、初期３Ｄ関節点回帰モデルか、２Ｄラベルの付されたサンプル画像を用いて初期３Ｄ関節点回帰モデルをトレーニングして得られる予めトレーニングされた３Ｄ関節点回帰モデルのいずれか一方を含む。

【0091】

いくつかの実施例において、予めトレーニングされた３Ｄ関節点回帰モデルは、２Ｄラベルの付されたサンプル画像を入力とし、２Ｄラベルを所望出力とし、関節点回帰モデルから出力される関節点ヒートマップセットに基づいて確定された関節点座標と２Ｄラベルにおける２Ｄ関節点座標との間のユークリッド距離を損失関数とし、初期３Ｄ関節点回帰モデルをトレーニングして得られることにより確定される。

【0092】

装置５００に記載されたそれぞれのユニットは、図２～図３を参照して記述された方法に記載のそれぞれのステップに対応することを理解されたい。したがって、方法について上述した動作及び特徴は、装置５００及び装置５００に含まれるユニットに同様に適用され、ここでその説明が省略される。

【0093】

さらに図６を参照すると、上記各図に示される方法の実施態様として、本開示の実施例は、図４に示される方法の実施例に対応する３Ｄ関節点座標生成装置の一実施例を提供し、当該装置は、具体的に上記端末装置又はサーバに適用可能である。

【0094】

図６に示すように、本実施例の３Ｄ関節点座標生成装置６００は、人物を含む画像を取得するように構成される画像取得ユニット６１０と、画像をトレーニングされた３Ｄ関節点回帰モデルに入力して、トレーニングされた３Ｄ関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを取得するように構成される画像入力ユニット６２０であって、トレーニングされた３Ｄ関節点回帰モデルが上記実施例のいずれかに記載の３Ｄ関節点回帰モデル生成装置を用いて、基本３Ｄ関節点回帰モデルをトレーニングして得られる画像入力ユニット６２０と、関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、人物の３Ｄ関節点座標を確定するように構成される座標確定ユニット６３０と、を含むことができる。

【0095】

いくつかの実施例において、装置は、人物の３Ｄ関節点座標に基づいて、人体の動作パラメータを確定するように構成される動作パラメータ確定ユニットと、人体の動作パラメータに基づいて、人物の動作を提示する提示情報を生成するように構成される提示情報生成ユニットとをさらに含む。

【0096】

なお、装置６００に記載されたそれぞれのユニットは、図４を参照して記述された方法に記載のそれぞれのステップに対応することを理解されたい。したがって、方法について上述した動作及び特徴は、装置６００及び装置６００に含まれるユニットに同様に適用され、ここでその説明が省略される。

【0097】

以下、本開示の実施例を実現するのに適した電子機器（例えば、図１におけるサーバ又は端末装置）７００の構造概略図が示される図７を参照する。本開示の実施例における端末装置は、ハンドヘルドコンピュータ、デスクトップコンピュータなどを含むことができるが、これらに限定されない。図７に示される端末装置／サーバはただの例示に過ぎず、本開示の実施例の機能及び使用範囲にいかなるの限定を加えるものではない。

【0098】

図７に示すように、電子機器７００は、読み出し専用メモリ（ＲＯＭ）７０２に格納されているプログラム又は記憶デバイス７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムによって、様々な適当な動作及び処理を実行することができる処理デバイス（例えば、中央処理装置、グラフィックプロセッサ等）７０１を含んでもよい。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラム及びデータがさらに格納されている。処理デバイス７０１、ＲＯＭ７０２及びＲＡＭ７０３がバス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。

【0099】

通常、Ｉ／Ｏインターフェース７０５には、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力デバイス７０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータ等を含む出力デバイス７０７、例えば磁気テープ、ハードディスク等を含む記憶デバイス７０８及び通信デバイス７０９が接続されてもよい。通信デバイス７０９は、電子機器７００が他のデバイスと無線又は有線で通信してデータを交換することを可能にする。図７は、様々なデバイスを有する電子機器７００が示されているが、示されたデバイスの全てを実施又は具備するように要求しないことを理解されたい。これより多い又は少ないデバイスが代替的に実施され又は具備されてもよい。図７に示すそれぞれのブロックは、１つのデバイスを示すものであってもよいし、必要に応じて複数のデバイスを示すものであってもよい。

【0100】

特に、本開示の実施例によれば、以上でフローチャートを参照して記述されたプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、コンピュータ可読媒体に担持されるコンピュータプログラムを備えるコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信デバイス７０９を介してネットワークからダウンロードされてインストールされてもよく、又は記憶デバイス７０８からインストールされてもよく、又はＲＯＭ７０２からインストールされてもよい。該コンピュータプログラムが処理デバイス７０１によって実行される場合に、本開示の実施例の方法で限定された上記の機能を実行する。

【0101】

注意すべきなのは、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又はこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線の、又は半導体のシステム、装置又はデバイス、或いはこれらの任意の組み合わせであってもよいがこれらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本又は複数の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光メモリ、磁気メモリ、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスで使用可能な、又はそれらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本開示の実施例において、コンピュータ可読信号媒体は、ベースバンド内で、又はキャリアの一部として伝送される、コンピュータ可読プログラムコードが担持されたデータ信号を含んでもよい。このような伝送されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。該コンピュータ可読信号媒体は、命令実行システム、装置若しくはデバイスによって使用されるか、又はそれらに組み込まれて使用されるプログラムを、送信、伝送又は転送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、有線、光ケーブル、ＲＦ（無線周波数）など、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。

【0102】

上記のコンピュータ可読媒体は、上記の電子機器に含まれるものであってもよく、独立に存在して該電子機器に組み込まれていないものであってもよい。上記のコンピュータ可読媒体に１つ又は複数のプログラムが担持され、上記１つ又は複数のプログラムが該電子機器によって実行される場合に、２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を取得し、２Ｄラベルの付されたサンプル画像を第１入力とし、２Ｄラベルに対応する関節点ヒートマップセットを第１所望出力とし、基本３Ｄ関節点回帰モデルの出力層における部分チャネルをトレーニングし、３Ｄラベルの付されたサンプル画像を第２入力とし、３Ｄラベルに対応する関節点ヒートマップセットを第２所望出力の第１部分出力とし、３Ｄラベルに対応する関節点奥行き情報マップセットを第２所望出力の第２部分出力とし、基本３Ｄ関節点回帰モデルの出力層における全チャネルをトレーニングさせること、又は、人物を含む画像を取得し、画像をトレーニングされた３Ｄ関節点回帰モデルに入力し、トレーニングされた３Ｄ関節点回帰モデルから出力される関節点ヒートマップセット及び関節点奥行き情報マップセットを得、関節点ヒートマップセット及び関節点奥行き情報マップセットに基づいて、人物の３Ｄ関節点座標を確定させること、を該電子機器に実行させる。

【0103】

１つ又は複数種のプログラミング言語又はそれらの組み合わせで、本開示の実施例の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語には、オブジェクト向けのプログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋が含まれ、通常のプロシージャ向けプログラミング言語、例えば「Ｃ」言語又は類似しているプログラミング言語も含まれる。プログラムコードは、完全にユーザコンピュータで実行されてもよいし、部分的にユーザコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバで実行されてもよい。リモートコンピュータに係る場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータ、又は、外部コンピュータに接続できる（例えば、インターネットサービスプロバイダによりインターネットを介して接続できる）。

【0104】

図面におけるフローチャート及びブロック図は、本開示の各実施例に係るシステム、方法及びコンピュータプログラム製品により実現可能なアーキテクチャ、機能及び操作を示す。ここで、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセクション若しくはコードの一部を示してもよく、該モジュール、プログラムセグメント、又はコードの一部は、規定されたロジック機能を達成するための１つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様において、ブロック内に示された機能は、図面に示された順番とは異なるもので実行されてもよい。例えば、連続して示された２つのブロックは、実際には関連する機能に応じて、ほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びに、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定された機能若しくは操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせで実行されてもよい。

【0105】

本開示の実施例に係るユニットは、ソフトウェアの形式で実現されてもよいし、ハードウェアの形式で実現されてもよい。記述されたユニットは、プロセッサに設けられてもよく、例えば、サンプル画像取得ユニット、部分チャネルトレーニングユニット及び全チャネルトレーニングユニットを含むプロセッサと記述されてもよい。ここで、これらのユニットの名称は、該ユニット自体を限定するものではなく、例えば、サンプル画像取得ユニットがさらに「２Ｄラベルの付されたサンプル画像及び３Ｄラベルの付されたサンプル画像を取得するユニット」と記述されてもよい。

【0106】

以上の記載は、本開示の好ましい実施例、及び使用される技術的原理に関する説明に過ぎない。本発明に係る発明の範囲が、上記の技術的特徴の特定の組み合わせからなる技術案に限定されるものではなく、上記の本発明の趣旨を逸脱しない範囲で、上記の技術的特徴又はそれらの同等の特徴を任意に組み合わせてなる他の技術案も含むべきであることを、当業者に理解されたい。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】