(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】骨格認識装置、学習方法および学習プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20241016BHJP
G06V 40/20 20220101ALI20241016BHJP
【ＦＩ】
G06T7/20 300Z
G06V40/20
【請求項の数】
4
(21)【出願番号】P 2022565004
(86)(22)【出願日】2020-11-30
(86)【国際出願番号】 JP2020044524
(87)【国際公開番号】W WO2022113349
(87)【国際公開日】2022-06-02
【審査請求日】2023-03-02
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】鈴木 達也
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１９－０７９４８７（ＪＰ，Ａ）
【文献】特開２０１９－１９１９７４（ＪＰ，Ａ）
【文献】Min-Yu Wu 他，Hand pose estimation in object-interaction based on deep learning for virtual reality applications，Journal of Visual Communication and Image Representation [online]，2020年04月04日，p.1-17，https://doi.org/10.1016/j.jvcir.2020.102802，[2024年05月09日検索]
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２０－ ７／２７７
Ｇ０６Ｖ ４０／２０
(57)【特許請求の範囲】
【請求項1】
教師データを学習モデルに入力し順伝播による出力を計算する認識処理部と、前記教師データの正解値である骨格情報と前記認識処理部の出力結果とに基づく骨の長さの第１の差と、前記骨格情報と前記認識処理部の出力結果とに基づく骨同士の角度の第２の差と、前記骨格情報と前記認識処理部の出力結果とに基づく関節位置の第３の差とを算出する損失関数算出部と
前記損失関数算出部に算出された前記第１の差、前記第２の差、前記第３の差のうち、前記第３の差が収束するように前記学習モデルを学習する学習部とを有し、
前記損失関数算出部は、前記第３の差の収束した値を基にして、前記第１の差に乗算する第１の重みと、前記第２の差に乗算する第２の重みを設定する
を有することを特徴とする骨格認識装置。
【請求項2】
前記損失関数算出部は、前記第１の差に前記第１の重みを乗算した値と、前記第２の差に前記第２の重みを乗算した値と、前記第３の差の値とを統合することで、損失関数の値を算出することを特徴とする請求項１に記載の骨格認識装置。
【請求項3】
コンピュータが実行する学習方法であって、教師データを学習モデルに入力し順伝播による出力結果を計算し、
前記教師データの正解値である骨格情報と前記出力結果とに基づく骨の長さの第１の差と、前記骨格情報と前記出力結果とに基づく骨同士の角度の第２の差と、前記骨格情報と前記出力結果とに基づく関節位置の第３の差とを算出し、
算出した前記第１の差、前記第２の差、前記第３の差のうち、前記第３の差が収束するように前記学習モデルを学習し、
前記第３の差の収束した値を基にして、前記第１の差に乗算する第１の重みと、前記第２の差に乗算する第２の重みを設定する
処理を実行することを特徴とする学習方法。
【請求項4】
コンピュータに、教師データを学習モデルに入力し順伝播による出力結果を計算し、
前記教師データの正解値である骨格情報と前記出力結果とに基づく骨の長さの第１の差と、前記骨格情報と前記出力結果とに基づく骨同士の角度の第２の差と、前記骨格情報と前記出力結果とに基づく関節位置の第３の差とを算出し、
算出した前記第１の差、前記第２の差、前記第３の差のうち、前記第３の差が収束するように前記学習モデルを学習し、
前記第３の差の収束した値を基にして、前記第１の差に乗算する第１の重みと、前記第２の差に乗算する第２の重みを設定する
処理を実行させることを特徴とする学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、骨格認識装置等に関する。
【背景技術】
【0002】
３次元の人の動きを検出する骨格認識に関しては、複数台の３Ｄレーザセンサから３Ｄ骨格座標を±１ｃｍの精度で抽出する３Ｄセンシング技術が確立され、様々なスポーツへの適用が期待されている。３Ｄレーザセンサを用いた方式を「レーザ方式」と表記する。
【0003】
上記のレーザ方式では、レーザを１秒間に約２００万回照射し、レーザの走行時間（Time of Flight：ToF）を基に、対象となる人を含めて、各照射点の深度データを求める。レーザ方式では、高精度な深度データを取得できるが、レーザスキャンやToF測定などの複雑な構成、処理を行うため、ハードウェアが複雑で高価になるという欠点がある。
【0004】
レーザ方式に対して、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャによって各ピクセルのＲＧＢデータを取得する画像方式では、安価なＲＧＢカメラを用いて３Ｄ骨格認識を行うことが可能となる。
【0005】
たとえば、画像方式によって骨格認識を行う従来技術として、従来技術１がある。図１１は、従来技術１を説明するための図である。従来技術１では、各入力画像１に2D backbone処理１ａをかけることで、各関節特徴を表す2D features２を取得する。従来技術１は、各2D features２をカメラパラメータに従って3Dcubeに投影することで、aggregated volumes３を取得する。
【0006】
従来技術１は、aggregated volumes３を、V2V（ニューラルネットワーク、Ｐ３）４に入力することで、各関節の尤度を表すprocessed volumes５を取得する。processed volumes５は、各関節の３Ｄでの尤度を表すheatmapに対応する。従来技術１は、processed volumes５に対して、soft-argmax６を実行することで、３Ｄ骨格情報７を取得する。
【0007】
従来技術１で用いるV2V４の学習の一例について説明する。V2V４は、主に３Ｄのカーネルで構成されており、カーネルの重みとバイアスとを誤差逆伝播で学習する。カーネルの重みとバイアスとをまとめて、適宜、「パラメータ」と表記する。従来技術１では、soft-argmax６から出力される３Ｄ骨格情報および正解値から関節位置誤差の平均値ＬｐをＬｏｓｓ値として算出し、このＬｏｓｓ値が最小化するように、パラメータを学習（調整）する。
【0008】
ここで、従来技術１では、オクルージョンの発生によって一部関節の誤差が大きくなると、V2V４のパラメータを適切に調整することが難しくなる。たとえば、一部関節の誤差が大きくても、他の関節の誤差が小さいと、平均化によって、一部関節の誤差が、Ｌｏｓｓ関数の出力に大きく影響を与えない。すなわち、一部関節の誤差が改善されるように、V2V４のパラメータが調整されなくなる。
【0009】
図１２は、一部関節の誤差が大きい骨格の例を示す図である。図１２において３Ｄ骨格情報１０ａは、正解値に対応する３Ｄ骨格情報である。３Ｄ骨格情報１０ｂは、soft-argmax６から出力される骨格認識結果に対応する。図１２に示す例では、左足首関節の誤差が大きいが、他の関節の誤差が小さいため、平均するとＬｏｓｓ値に大きく影響を与えないため、左足首位置を改善するような学習効果を期待することができない。
【0010】
上記の問題に対して、従来技術２がある。従来技術２では、１段階目において、距離画像を基にして、関節位置を推定しておき、２段階目において、推定した関節位置に対して、人体モデルを基に整合性を評価し、最も良い関節位置の組み合わせとなるように、推定した関節位置を補正する。従来技術２では、上記のように２段階で処理を行うことで、関節位置の推定精度を向上させている。
【先行技術文献】
【特許文献】
【0011】
【文献】特開２０１５－１６７００８公報
【文献】特開２００４－１３４７４号公報
【非特許文献】
【0012】
【文献】K. Iskakov, et al., “Learnable Triangulation of Human Pose”, ICCV 2019, oral
【文献】G. Moon, et al., “V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map”, CVPR 2018
【発明の概要】
【発明が解決しようとする課題】
【0013】
上述した従来技術２では、関節位置の推定精度を向上させているものの、補正した関節位置を出力するまでに、２段階の処理を実行することになり、骨格認識に処理時間を要してしまうという問題がある。
【0014】
１つの側面では、本発明は、処理時間をかけずに骨格認識結果を行うことができる骨格認識装置、学習方法および学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【0015】
第１の案では、骨格認識装置は、認識処理部と、損失関数算出部とを有する。認識処理部は、教師データを学習モデルに入力し順伝播による出力を計算する。損失関数算出部は、教師データの正解値である骨格情報と認識処理部の出力結果とに基づく骨の長さの差、および、骨格情報と前記認識処理部の出力結果とに基づく骨同士の角度の差に基づいて、損失関数の値を算出する。
【発明の効果】
【0016】
処理時間をかけずに骨格認識結果を行うことができる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
以下に、本願の開示する骨格認識装置、学習方法および学習プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【0019】
図１は、本実施例に係るシステムの一例を示す図である。図１に示すように、このシステムは、カメラ２０ａ，２０ｂ，２０ｃと、骨格認識装置１００とを有する。カメラ２０ａ～２０ｃと、骨格認識装置１００とは、無線又は有線によって相互に接続される。
【0020】
図１のシステムでは、一例として、カメラ２０ａ～２０ｃを示すが、他のカメラを含んでいてもよい。以下の説明では、カメラ２０ａ～２０ｃをまとめて、カメラ２０と表記する。
【0021】
カメラ２０は、人物１５の画像を撮影する装置である。カメラ２０は、撮影した画像のデータを、骨格認識装置１００に送信する。以下の説明では、人物１５の画像のデータを、画像データと表記する。後述するように、画像データは、骨格認識装置１００の推論フェーズにて使用される。
【0022】
骨格認識装置１００は、教師データを用いた「前処理フェーズ」、「学習フェーズ」の処理を実行することで、骨格認識を行うための学習モデルの学習を実行する。また、骨格認識装置１００は、「推論フェーズ」において、カメラ２０から入力される画像データと、学習済みの学習モデルとを基にして、人物１５の骨格認識結果を出力する。
【0023】
次に、本実施例に係る骨格認識装置の構成の一例について説明する。図２は、本実施例に係る骨格認識装置の構成を示す機能ブロック図である。図２に示すように、この骨格認識装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。
【0024】
通信部１１０は、有線又は無線で外部装置等に接続され、カメラ２０、外部装置等との間で情報の送受信を行う。たとえば、通信部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。制御部１５０は、通信部１１０を介して、カメラ２０から画像データを取得する。通信部１１０は、図示しないネットワークに接続されていてもよい。
【0025】
入力部１２０は、各種の情報を、骨格認識装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。
【0026】
表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。
【0027】
記憶部１４０は、教師データ１４１、人体モデル１４２、学習モデル１４３、画像データテーブル１４４を有する。記憶部１４０は、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0028】
教師データ１４１は、学習モデル１４３の学習に用いられるデータである。図３は、教師データのデータ構造の一例を示す図である。図３に示すように、教師データ１４１は、入力データと正解値との組を複数有する。入力データは、予め準備された複数の画像データから生成されるデータであり、たとえば「aggregated volumes」等に対応する。正解値は、入力データに対応する骨格認識結果の正解値であり、たとえば、各関節の３次元座標、関節を結ぶ骨の長さ、骨同士の角度等の情報が含まれる。
【0029】
人体モデル１４２は、予め定義される人体モデルであり、複数の関節が定義され、各関節が骨で接続される。図４は、人体モデルのデータ構造の一例を示す図である。図４に示すように、この人体モデル１４２は、関節Ａ０，Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ９，Ａ１０，Ａ１１，Ａ１２，Ａ１３，Ａ１４，Ａ１５，Ａ１６，Ａ１７，Ａ１８，Ａ１９，Ａ２０，Ａ２１を有する。また、人体モデル１４２には、各関節を接続する骨が２０本定義される。
【0030】
学習モデル１４３は、V2V等のニューラルネットワーク（NN：Neural Network）に対応する。たとえば、学習モデル１４３は、３Ｄのカーネルで構成されており、カーネルにはパラメータ（重み、バイアス等）が設定される。後述する学習フェーズの処理によって、パラメータが調整される。
【0031】
画像データテーブル１４４は、「推論フェーズ」において、カメラ２０から出力される画像データを登録するテーブルである。たとえば、画像データテーブル１４４は、カメラ２０の識別情報と、カメラ２０が撮影した画像データとを対応付けて保持する。
【0032】
図２の説明に戻る。制御部１５０は、認識処理部１５１と、損失関数算出部１５２と、学習部１５３と、画像データ処理部１５４とを有する。制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ(Micro Processing Unit)により実現される。また、制御部１５０は、例えばＡＳＩＣ（Application specific Integrated Circuit）やＦＰＧＡ（Field Programmable gate Array）等の集積回路により実行されてもよい。
【0033】
制御部１５０は、（１）前処理フェーズの処理、（２）学習フェーズの処理、（３）推論フェーズの処理を順に実行する。ここでは、説明の便宜上、まず、「学習フェーズの処理」を説明した後に、「前処理フェーズの処理」の説明を行い、最後に「推論フェーズの処理」について説明する。
【0034】
制御部１５０が実行する「学習フェーズの処理」について説明する。図５は、学習フェーズの処理を説明するための図である。制御部１５０が前処理フェーズを実行する場合には、認識処理部１５１、損失関数算出部１５２、学習部１５３が次の処理を実行する。
【0035】
学習フェーズにおける認識処理部１５１の処理について説明する。認識処理部１５１は、教師データ１４１に含まれる入力データを、学習モデル１４３に入力し、順伝播による出力（骨格認識結果ｐ＝（ｐ１，ｐ２，・・・，ｐＮｐ））を計算する。「ｐ１，ｐ２，・・・，ｐＮｐ」は、各関節を示し、３次元座標が設定される。図５に示す例では、骨格認識結果ｐにおいて、ある関節が、ｐｎで示される。
【0036】
より具体的には、認識処理部１５１は、入力データを、学習モデル１４３に入力することで、各関節の３Ｄでの尤度を示すheatmapを計算し、heatmapの重心を求めるsoft-argmaxを実行することで、骨格認識結果ｐを計算する。
【0037】
認識処理部１５１は、骨格認識結果を、損失関数算出部１５２に出力する。認識処理部１５１は、教師データ１４１に含まれる各入力データについて、上記処理を繰り返し実行することで、各入力データに対応する骨格認識結果を計算し、損失関数算出部１５２に出力する。
【0038】
学習フェーズにおける損失関数算出部１５２の処理について説明する。損失関数算出部１５２は、骨の長さの誤差をＬｏｓｓ値として算出する処理、骨同士の角度の誤差をＬｏｓｓ値として算出する処理、Ｌｏｓｓ値を統合する処理を実行する。
【0039】
損失関数算出部１５２が実行する「骨の長さの誤差をＬｏｓｓ値として算出する処理」について説明する。損失関数算出部１５２は、骨格認識結果ｐの各関節を、人体モデル１４２の各関節と対応付けることで、骨ベクトルｂ＝（ｂ１，ｂ２，・・・，ｂＮｐ）を算出する。図５に示す例では、骨ベクトルｂにおいて、ある骨ベクトルが、ｂｎで示される。
【0040】
損失関数算出部１５２は、骨ベクトルｂから骨の長さｌ＝（ｌ１，ｌ２，・・・，ｌＮｐ）を算出する。図５に示す例では、骨の長さｌにおいて、ある骨の長さが、ｌｎで示される。
【0041】
損失関数算出部１５２は、骨の長さｌと、教師データ１４１の正解値（骨の長さの正解値）との差から、骨の長さのＬｏｓｓ値を、式（１）に基づいて算出する。骨の長さのＬｏｓｓ値を「Ｌｌ」と表記する。式（１）において、Ｎｌは、骨の数（たとえば、Ｎｌ＝２０）を示す。ｌpred
ｉは、骨ベクトルｂから推定された骨の長さであって、ｉ番目の骨の長さである。ｌgt
ｉは、正解値の骨の長さであって、ｉ番目の骨の長さである。
【0042】
【数1】
【0043】
損失関数算出部１５２が実行する「骨同士の角度の誤差をＬｏｓｓ値として算出する処理」について説明する。損失関数算出部１５２は、骨ベクトルｂから骨同士の角度ｒ＝（ｒ１，ｒ２，・・・，ｒＮｐ）を算出する。図５に示す例では、骨同士の角度ｌにおいて、ある骨同士の角度が、ｌｎで示される。
【0044】
損失関数算出部１５２は、骨同士の角度ｒと、教師データ１４１の正解値（骨同士の角度の正解値）との差から、骨同士の角度のＬｏｓｓ値を、式（２）に基づいて算出する。骨同士の角度のＬｏｓｓ値を「Ｌｒ」と表記する。式（２）において、Ｎｒは、骨同士の角度の数を示す。ｒpred
ｉは、骨ベクトルｂから推定された骨同士の角度であって、ｉ番目の骨同士の角度である。ｒgt
ｉは、正解値の骨同士の角度であって、ｉ番目の骨同士の角度である。
【0045】
【数2】
【0046】
損失関数算出部１５２が実行する「Ｌｏｓｓ値を統合する処理」について説明する。損失関数算出部１５２は、骨格認識結果ｐと、教師データ１４１の正解値（各関節の３次元座標）とを基にして、関節座標Ｌｏｓｓ値を算出する。関節座標Ｌｏｓｓ値を「Ｌｐ」と表記する。式を省略するが、Ｌｐは、各関節の３次元座標の誤差を平均化した値となる。
【0047】
損失関数算出部１５２は、式（３）を基にして、Ｌｏｓｓ値を統合する。統合したＬｏｓｓ値を「Ｌ」と表記する。損失関数算出部１５２は、Ｌｏｓｓ値Ｌを、学習部１５３に出力する。式（３）に含まれるｗｌ、ｗｒは、Ｌｌ，Ｌｒがオーバーフィッティングしないように、「前処理フェーズ」で予め算出される重みである。
【0048】
【数3】
【0049】
損失関数算出部１５２は、認識処理部１５１から、骨格認識結果ｐを取得する度に、上記処理を繰り返し実行する。
【0050】
ところで、損失関数算出部１５２は、骨の長さ、骨同士の角度を計算する場合に、Kinematic Chain Space等の技術を用いてもよい。たとえば、Kinematic Chain Spaceに関しては「B. Wandt, et al., “A kinematic chain space for monocular motion capture”, (ECCV Work-shops, 2018)」に記載されている。以下の説明では、Kinematic Chain Spaceを「ＫＣＳ」と表記する。ＫＣＳでは、骨ベクトルｂをまとめた行列Ｂを算出する。行列Ｂを式（４）に示す。
【0051】
【数4】
【0052】
損失関数算出部１５２は、行列Ｂの転置行列ＢＴと、Ｂとの積を示す特徴Ψを算出する。特徴Ψは、式（５）によって示される。特徴Ψの対角成分が骨の長さに対応し、非対角成分が、骨同士の角度に相当する。
【0053】
【数5】
【0054】
損失関数算出部１５２は、特徴Ψと、教師データ１４１の正解値（ＧＴ）との差の平均値ＬＫＣＳを式（６）によって算出する。式（６）において、Ψpred
ｉｊは、式（６）のｉ行ｊ列の要素を示す。、Ψgt
ｉｊは、Ψpred
ｉｊに対応する正解値の要素である。ｂは、行列Ｂの要素の数に対応する。
【0055】
【数6】
【0056】
上記の説明では、骨の長さ、骨同士の角度を計算する場合に、Kinematic Chain Space等の技術を用いる場合について説明したが、これに限定されるものではない。損失関数算出部１５２は、骨の長さの計算を、ユークリッド距離を用いて計算してもよい。損失関数算出部１５２は、骨同士の角度の計算を、ｃｏｓ類似度を用いて計算してもよい。
【0057】
学習フェーズにおける学習部１５３の処理について説明する。学習部１５３は、Ｌｏｓｓ値Ｌが最小化するように、学習モデル１４３のパラメータを、誤差逆伝播によって学習（調整）する処理を繰り返し実行する。学習部１５３は、Ｌｏｓｓ値Ｌが収束した場合に、学習モデル１４３のパラメータの調整を終了する。
【0058】
学習フェーズでは、式（３）に示すように、人体を考慮した骨の長さの誤差に関する「Ｌｌ」、骨同士の角度の誤差に関する「Ｌｒ」を用いて、Ｌｏｓｓ値Ｌが算出されているため、一部関節が大きくずれた場合のＬｏｓｓ値Ｌへの寄与度が高くなる。これによって、一部関節の誤差が大きい場合に、かかる誤差を改善する学習を実行することができる。
【0059】
次に、制御部１５０が実行する「前処理フェーズ」について説明する。前処理フェーズでは、学習フェーズで利用されるｗｌ、ｗｒを算出する。学習フェーズにおいて、式（３）を用いて、Ｌｏｓｓ値を統合する場合に、Ｌｌ，Ｌｒがオーバーフィッティングしないように、関節座標Ｌｏｓｓ値「Ｌｐ」と、骨の長さのＬｏｓｓ値「Ｌｌ」との相対値から、「ｗｌ」を算出する。関節座標Ｌｏｓｓ値「Ｌｐ」と、骨の長さのＬｏｓｓ値「Ｌｒ」との相対値から、「ｗｒ」を算出する。
【0060】
制御部１５０が、前処理フェーズを実行する場合には、認識処理部１５１、損失関数算出部１５２、学習部１５３が次の処理を実行する。
【0061】
前処理フェーズにおける認識処理部１５１の処理について説明する。前処理フェーズにおける認識処理部１５１の処理は、学習フェーズにおける認識処理部１５１の処理と同様である。すなわち、認識処理部１５１は、教師データ１４１に含まれる入力データを、学習モデル１４３に入力し、順伝播による出力（骨格認識結果ｐ＝（ｐ１，ｐ２，・・・，ｐＮｐ））を計算する。認識処理部１５１は、骨格認識結果ｐを、損失関数算出部１５２に出力する。
【0062】
前処理フェーズにおける損失関数算出部１５２の処理について説明する。損失関数算出部１５２は、学習フェーズのおける損失関数算出部１５２の処理と同様にして、骨の長さのＬｏｓｓ値「Ｌｌ」、骨同士の角度のＬｏｓｓ値「Ｌｒ」、関節座標Ｌｏｓｓ値「Ｌｐ」をそれぞれ算出する。
【0063】
ここで、損失関数算出部１５２は、関節座標Ｌｏｓｓ値「Ｌｐ」のみを、学習部１５３に出力する。損失関数算出部１５２は、認識処理部１５１から、骨格認識結果ｐを取得する度に、上記処理を繰り返し実行する。
【0064】
損失関数算出部１５２は、学習部１５３から、関節座標Ｌｏｓｓ値「Ｌｐ」が収束した旨の情報を受け付けた場合に、関節座標Ｌｏｓｓ値「Ｌｐ」が収束した時点における「Ｌｌ」，「Ｌｒ」，「Ｌｐ」のオーダーをそれぞれ算出する。「Ｌｌ」のオーダーを「ｏＬｌ」とする。「Ｌｒ」のオーダーを「ｏＬｒ」とする。「Ｌｐ」のオーダーを「ｏＬｐ」とする。
【0065】
たとえば、損失関数算出部１５２は、Ｌｐ＝４．０×１０－３となる場合、「ｏＬｐ＝１０－３」とする。損失関数算出部１５２は、「ｏＬｌ」、「ｏＬｐ」についても同様に算出する。
【0066】
損失関数算出部１５２は、式（７）に基づいて、重みｗｌを算出する。式（８）に基づいて、重みｗｒを算出する。係る重みｗｌ、ｗｒは、学習フェーズで利用される。損失関数算出部１５２が、上記処理によって、重みｗｌ、ｗｒを決定することで、常に、Ｌｐのオーダーを、Ｌｌ、Ｌｒが上回ることがないので、Ｌｌ，Ｌｒがオーバーフィッティングしないようにしつつ、Ｌｌ，Ｌｒが学習に適切な影響を与えることができる。
【0067】
【数7】
【数8】
【0068】
前処理フェーズにおける学習部１５３の処理について説明する。学習部１５３は、Ｌｏｓｓ値Ｌｐが最小化するように、学習モデル１４３のパラメータを、誤差逆伝播によって学習（調整）する処理を繰り返し実行する。学習部１５３は、Ｌｏｓｓ値Ｌｐが収束した場合に、学習モデル１４３のパラメータの調整を終了する。
【0069】
学習部１５３は、Ｌｏｓｓ値Ｌｐが収束した場合に、Ｌｏｓｓ値Ｌｐが収束した旨を損失関数算出部１５２に出力し、学習を終了する。
【0070】
次に、制御部１５０が実行する「推論フェーズ」について説明する。制御部１５０が前処理フェーズを実行する場合には、認識処理部１５１、画像データ処理部１５４が次の処理を実行する。
【0071】
推論フェーズにおける認識処理部１５１の処理について説明する。認識処理部１５１は、画像データ処理部１５４から入力データを取得する。認識処理部１５１は、取得した入力データを、学習済みの学習モデル１４３に入力し、順伝播による出力（人物１５の骨格認識結果）を計算する。認識処理部１５１は、骨格認識結果を、表示部１３０に出力して表示してもよいし、骨格認識結果を用いて各種の処理を実行する外部装置に、骨格認識結果を出力してもよい。
【0072】
認識処理部１５１は、画像データ処理部１５４から入力データを取得する度に、上記処理を繰り返し実行する。
【0073】
推論フェーズにおける画像データ処理部１５４の処理について説明する。画像データ処理部１５４は、カメラ２０から画像データを取得し、取得した画像データを、画像データテーブル１４４に格納する。画像データ処理部１５４は、画像データに対して、2D backbone処理をかけることで、各関節特徴を表す2D featuresを特定する。画像データ処理部１５４は、各2D featuresをカメラパラメータに従って3Dcubeに投影することで、aggregated volumesを計算し、計算したaggregated volumesを入力データとして、認識処理部１５１に出力する。
【0074】
なお、上述した画像データ処理部１５４が、各画像データを基にして、入力データを計算する処理は一例あり、他の技術を用いて、複数の画像データを統合して、入力データを計算してもよい。画像データ処理部１５４は、時間毎に、カメラ２０から画像データを取得し、上記処理を繰り返し実行する。
【0075】
次に、本実施例に係る骨格認識装置１００の処理手順の一例について説明する。図６は、骨格認識装置の前処理フェーズの処理手順を示すフローチャートである。図６に示すように、骨格認識装置１００の認識処理部１５１は、教師データ１４１の入力データを学習モデル１４３に入力する（ステップＳ１０１）。認識処理部１５１は、学習モデル１４３の順伝播による骨格認識結果を算出する（ステップＳ１０２）。
【0076】
骨格認識装置１００の損失関数算出部１５２は、関節座標の誤差をＬｏｓｓ値として算出する（ステップＳ１０３）。損失関数算出部１５２は、骨の長さの誤差、骨同士の角度の誤差を非Ｌｏｓｓ値として算出する（ステップＳ１０４）。
【0077】
骨格認識装置１００の学習部１５３は、Ｌｏｓｓ値を最小化するように、誤差逆伝播による学習モデル１４３のパラメータを調整する（ステップＳ１０５）。
【0078】
損失関数算出部１５２は、Ｌｏｓｓ値と非Ｌｏｓｓ値とを基にして、重みｗｌ、ｗｒを算出する（ステップＳ１０６）。損失関数算出部１５２は、重みｗｌ、ｗｒを出力する（ステップＳ１０７）。
【0079】
図７は、骨格認識装置の学習フェーズの処理手順を示すフローチャートである。図７に示すように、骨格認識装置１００の認識処理部１５１は、教師データ１４１の入力データを学習モデル１４３に入力する（ステップＳ２０１）。認識処理部１５１は、学習モデル１４３の順伝播による骨格認識結果を算出する（ステップＳ２０２）。
【0080】
骨格認識装置１００の損失関数算出部１５２は、関節座標の誤差、骨の長さの誤差、骨同士の角度の誤差をＬｏｓｓ値として算出する（ステップＳ２０３）。損失関数算出部１５２は、重みｗｌ、ｗｒを使用してＬｏｓｓ値を統合する（ステップＳ２０４）。
【0081】
骨格認識装置１００の学習部１５３は、Ｌｏｓｓ値を最小化するように、誤差逆伝播による学習モデル１４３のパラメータを調整する（ステップＳ２０５）。学習部１５３は、学習済みの学習モデル１４３を出力する（ステップＳ２０６）。
【0082】
【0083】
画像データ処理部１５４は、複数の画像データから入力データを生成する（ステップＳ３０２）。骨格認識装置１００の認識処理部１５１は、入力データを学習済みの学習モデル１４３に入力する（ステップＳ３０３）。
【0084】
認識処理部１５１は、学習モデル１４３の順伝播による骨格認識結果を算出する（ステップＳ３０４）。認識処理部１５１は、骨格認識結果を出力する（ステップＳ３０５）。
【0085】
次に、本実施例に係る骨格認識装置１００の効果について説明する。骨格認識装置１００は、学習モデル１４３に教師データの入力データを入力して骨格認識結果を算出し、骨認識結果と、教師データの正解値との比較により、骨の長さの誤差、骨同士の角度の誤差を算出し、損失関数のＬｏｓｓ値を算出する。係る損失関数のＬｏｓｓ値が最小化するように、学習モデル１４３のパラメータを調整することで、一部関節が大きくずれた場合のＬｏｓｓ値への寄与度を高くすることができ、一部関節の誤差が大きい場合に、かかる誤差を改善する学習を行うことができる。また、かかる学習を行うことで、学習済みの学習モデル１４３に、入力データを入力するという一段階の処理によって、人物１５の骨格認識結果を算出可能であり、２段階で処理を実行する従来技術２と比較して、処理速度を向上させることができる。
【0086】
より具体的には、骨格認識装置１００は、教師データの正解値との比較により、関節座標の誤差、関節座標の誤差、関節座標の誤差をそれぞれ算出し、損失関数のＬｏｓｓ値を算出することによって、学習モデル１４３のパラメータを精度よく学習することができる。
【0087】
骨格認識装置１００は、式（７）に基づいて、重みｗｌを算出し、式（８）に基づいて、重みｗｒを算出する。係る重みｗｌ、ｗｒは、学習フェーズで利用される。重みｗｌ、ｗｒを決定することで、常に、関節座標の誤差Ｌｐのオーダーを、関節座標の誤差Ｌｌ、関節座標の誤差Ｌｒが上回ることがないので、Ｌｌ，Ｌｒがオーバーフィッティングしないようにしつつ、Ｌｌ，Ｌｒが学習に適切な影響を与えることができる。
【0088】
図９は、本実施例の効果を説明するための図である。図９において、骨格認識結果３０ａは、従来技術１による骨格認識結果であり、左膝の角度が異常となっている。骨格認識結果３０ｂは、本実施例に係る骨格認識装置１００の骨格認識結果であり、左膝の角度が正常化されている。
【0089】
次に、上記実施例に示した骨格認識装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１０は、実施例の骨格認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【0090】
図１０に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、有線または無線ネットワークを介して、カメラ２０、他の外部装置等との間でデータの授受を行う通信装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。
【0091】
ハードディスク装置２０７は、認識処理プログラム２０７ａ、損失関数算出プログラム２０７ｂ、学習プログラム２０７ｃ、学習データ処理プログラム２０７ｄを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｄを読み出してＲＡＭ２０６に展開する。
【0092】
認識処理プログラム２０７ａは、認識処理プロセス２０６ａとして機能する。損失関数算出プログラム２０７ｂは、損失関数算出プロセス２０６ｂとして機能する。学習プログラム２０７ｃは、学習プロセス２０６ｃとして機能する。画像データ処理プログラム２０７ｄは、画像データ処理プロセス２０６ｄとして機能する。
【0093】
認識処理プロセス２０６ａの処理は、認識処理部１５１の処理に対応する。損失関数算出プロセス２０６ｂの処理は、損失関数算出部１５２の処理に対応する。学習プロセス２０６ｃの処理は、学習部１５３の処理に対応する。画像データ処理プロセス２０６ｄの処理は、画像データ処理部１５４の処理に対応する。
【0094】
なお、各プログラム２０７ａ～２０７ｄについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｄを読み出して実行するようにしてもよい。
【符号の説明】
【0095】
１００ 骨格認識装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 教師データ
１４２ 人体モデル
１４３ 学習モデル
１４４ 画像データテーブル
１５０ 制御部
１５１ 認識処理部
１５２ 損失関数算出部
１５３ 学習部
１５４ 画像データ処理部
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 教師データ
１４２ 人体モデル
１４３ 学習モデル
１４４ 画像データテーブル
１５０ 制御部
１５１ 認識処理部
１５２ 損失関数算出部
１５３ 学習部
１５４ 画像データ処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】