特開 2023-141303 骨格認識プログラム、骨格認識方法および骨格認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023141303

(43)【公開日】2023-10-05

(54)【発明の名称】骨格認識プログラム、骨格認識方法および骨格認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230928BHJP

【ＦＩ】

G06T7/00 660B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022047542

(22)【出願日】2022-03-23

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】石川 優

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA08

5L096CA04

5L096DA02

5L096FA66

5L096FA69

5L096HA09

5L096JA11

5L096JA18

(57)【要約】

【課題】３Ｄ骨格認識の精度を向上させること。
【解決手段】骨格認識装置１００は、画像に含まれる人物の関節が存在する位置の尤度を示す複数方向からの２次元の特徴量に基づいて、人物の３次元の骨格情報を生成する。骨格認識装置１００は、人物の関節の位置情報を有する３次元の骨格モデルに基づいて、生成した人物の３次元の骨格情報に含まれる複数の関節の中から、関節の位置が異常である関節を特定する。骨格認識装置１００は、人物の関節の位置の時系列の変化から予測される関節の位置と、２次元の特徴量とに基づいて、異常である関節の位置を補正する。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像に含まれる人物の関節が存在する位置の尤度を示す複数方向からの２次元の特徴量に基づいて、前記人物の３次元の骨格情報を生成し、
前記人物の関節の位置情報を有する３次元の骨格モデルに基づいて、生成した前記人物の３次元の骨格情報に含まれる複数の関節の中から、前記関節の位置が異常である関節を特定し、
前記人物の関節の位置の時系列の変化から予測される関節の位置と、前記２次元の特徴量とに基づいて、前記異常である関節の位置を補正する
処理をコンピュータに実行させることを特徴とする骨格認識プログラム。

【請求項2】

前記３次元の骨格情報を生成する処理は、前記２次元の特徴量と、前記画像を撮影したカメラのパラメータを基にして、３次元座標と前記３次元座標に所定の関節が存在する尤度とを対応付けた３次元の特徴量を生成し、前記３次元の特徴量を基にして、前記３次元の骨格情報を生成することを特徴とする請求項１に記載の骨格認識プログラム。

【請求項3】

３次元の骨格情報を生成する処理は、時系列の画像を基に生成される時系列の２次元の特徴量を基にして、時系列の３次元の骨格情報を生成し、前記特定する処理は、前記３次元の骨格情報に含まれる関節間の長さ、または、時系列の３次元の骨格情報における同一関節の前後の変位を基にして、前記３次元座標に異常を有する関節を特定することを特徴とする請求項１または２に記載の骨格認識プログラム。

【請求項4】

前記補正する処理は、前記骨格モデルによる運動予測に基づいて、前記異常を有する関節の予測される３次元座標を特定し、前記異常を有する関節の親関節の３次元座標と、前記異常を有する関節の３次元座標と、予測される前記３次元座標との関係から、前記異常を有する関節の３次元座標を補正することを特徴とする請求項１に記載の骨格認識プログラム。

【請求項5】

前記補正する処理は、前記親関節の３次元座標および前記異常を有する関節の３次元座標の距離と前記骨格モデルに基づく関節間の距離との差分値、および、前記異常を有する関節の３次元座標と予測される前記３次元座標との距離の合計値が最小となるように、前記異常を有する関節の３次元座標を補正することを特徴とする請求項４に記載の骨格認識プログラム。

【請求項6】

画像に含まれる人物の関節が存在する位置の尤度を示す複数方向からの２次元の特徴量に基づいて、前記人物の３次元の骨格情報を生成し、
前記人物の関節の位置情報を有する３次元の骨格モデルに基づいて、生成した前記人物の３次元の骨格情報に含まれる複数の関節の中から、前記関節の位置が異常である関節を特定し、
前記人物の関節の位置の時系列の変化から予測される関節の位置と、前記２次元の特徴量とに基づいて、前記異常である関節の位置を補正する
処理をコンピュータが実行することを特徴とする骨格認識方法。

【請求項7】

画像に含まれる人物の関節が存在する位置の尤度を示す複数方向からの２次元の特徴量に基づいて、前記人物の３次元の骨格情報を生成し、
前記人物の関節の位置情報を有する３次元の骨格モデルに基づいて、生成した前記人物の３次元の骨格情報に含まれる複数の関節の中から、前記関節の位置が異常である関節を特定し、
前記人物の関節の位置の時系列の変化から予測される関節の位置と、前記２次元の特徴量とに基づいて、前記異常である関節の位置を補正する制御部を有する
ことを特徴とする骨格認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、骨格認識プログラム等に関する。

【背景技術】

【0002】

体操などのスポーツ、ヘルスケアやエンターテイメントの分野において、骨格認識のニーズが高まっている。また、Deep Learning技術の向上により、画像方式によって、２次元（２Ｄ）または３次元（３Ｄ）の骨格認識の精度も向上しつつある。

【0003】

画像方式では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャによって、各ピクセルのＲＧＢ（Red Green Blue）データを取得する方式であり、安価なＲＧＢカメラを用いることができる。

【0004】

ここで、複数カメラによる２Ｄ特徴を用いた３Ｄ骨格認識の従来技術について説明する。従来技術では、事前に定義された骨格モデルに従って、各カメラで２Ｄ特徴を取得した後、各２Ｄ特徴を統合した結果を用いて、３Ｄ骨格を認識する。たとえば、２Ｄ特徴は、２Ｄ骨格情報、heatmap情報が上げられる。

【0005】

図１７は、骨格モデルの一例を示す図である。図１７に示すように、骨格モデルＭ１は、２１個の関節で構成される。骨格モデルＭ１では、各関節をノードで示し、０～２０の番号を割り当てる。ノードの番号と、関節名との関係は、テーブルＴｅ１に示す関係となる。たとえば、ノード０に対応する関節名は「SPINE_BASE」となる。ノード１～２０に対する関節名の説明を省略する。

【0006】

従来技術には、三角測量を用いて骨格認識を行う手法、機械学習を用いて骨格認識を行う手法がある。三角測量を用いた手法には、カメラ２台による三角測量と、カメラ３台以上による三角測量がある。便宜的に、カメラ２台による三角測量を、従来技術１、カメラ３台以上による三角測量を、従来技術２、機械学習を用いた手法を、従来技術３とする。

【0007】

図１８は、カメラ２台による三角測量を説明するための図である。従来技術１において、三角測量とは、２台のカメラＣａ１Ａ，Ｃａ１Ｂの特徴を使って、三角形の関係から被写体Ｐの３次元座標を測定する方法である。カメラＣａ１Ａのカメラ画像をＩｍ２Ａとし、カメラＣａ１Ｂのカメラ画像をＩｍ２Ｂとする。

【0008】

被写体Ｐのカメラ画像Ｉｍ２Ａの２Ｄ関節座標をｐ_ｌ（ｘ_ｌ，ｙ_ｌ）とする。被写体Ｐのカメラ画像Ｉｍ２Ａの２Ｄ関節座標をｐ_ｒ（ｘ_ｒ，ｙ_ｒ）とする。また、カメラ間の距離をｂとし、焦点距離をｆとする。従来技術１では、２Ｄ関節座標をｐ_ｌ（ｘ_ｌ，ｙ_ｌ）、ｐ_ｒ（ｘ_ｒ，ｙ_ｒ）を特徴とし、３次元関節座標Ｐ（Ｘ，Ｙ，Ｚ）を、式（１）、式（２）、式（３）により算出する。（Ｘ，Ｙ，Ｚ）の原点は、２つのカメラＣａ１Ａ，Ｃａ１Ｂの光学中心の中央にあるものとする。

【0009】

【数1】

【数2】

【数3】

【0010】

図１８で説明した従来技術１では、３Ｄ骨格を求める際に誤った２Ｄ特徴が使用されると３Ｄ骨格の精度が低下してしまう。

【0011】

図１９は、カメラ３台による三角測量を説明するための図である。カメラ３台による三角測量では、図１８で説明した三角測量を、３台以上のカメラに拡張し、ＲＡＮＳＡＣ（Random Sample Consensus）と呼ばれるアルゴリズムにより、最も良いカメラの組み合わせを推定する。

【0012】

図１９に示すように、従来技術２の装置は、全てのカメラ１－１，１－２，１－３，１－４で、被写体の２Ｄ関節座標を取得する（ステップＳ１）。従来技術２の装置は、全てのカメラ１－１～１－４から、２つのカメラの組み合わせを選択し、図１８で説明した三角測量によって、３Ｄ関節座標を算出する（ステップＳ２）。

【0013】

従来技術２の装置は、３Ｄ骨格を全てのカメラ１－１～１－４に再投影して、２Ｄ関節座標とのずれが閾値以下となるカメラの数をカウントする（ステップＳ３）。従来技術２の装置は、ステップＳ２、Ｓ３の処理を繰り返し実行し、２Ｄ関節座標とのずれが閾値以下となるカメラの数が最も多い２つのカメラの組み合わせを、最も良いカメラの組み合わせとして採用する（ステップＳ４）。

【0014】

図１９で説明した従来技術２では、３Ｄ骨格を求める際に最適な２つのカメラを探索するために処理時間を要してしまう。

【0015】

一方、機械学習を用いた手法では、三角測量を用いた手法と比較して、高精度かつ高速に、３Ｄ骨格を認識することが可能となる。

【0016】

図２０は、機械学習を用いた手法を説明するための図である。機械学習を用いた従来技術３では、各カメラが撮影した各入力画像２１に対して、2D backbone処理２１ａをかけることで、各関節特徴を表す２Ｄ特徴（2D features）２２を取得する。従来技術３では、各２Ｄ特徴２２をカメラパラメータに従って3Dcubeに逆投影することで、aggregated volumes２３を取得する。

【0017】

従来技術３では、aggregated volumes２３を、V2V（ニューラルネットワーク、Ｐ３）２４に入力することで、各関節の尤度を表すprocessed volumes２５を取得する。processed volumes２５は、各関節の３Ｄでの尤度を表すheatmapに対応する。従来技術３では、processed volumes２５に対して、soft-argmax２６を実行することで、３Ｄ骨格情報２７を取得する。

【先行技術文献】

【特許文献】

【0018】

【特許文献1】米国特許出願公開第２０１２／０１３９９２５号明細書

【特許文献2】特開２０１７－１８２６１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0019】

しかしながら、従来技術のように、複数視点の画像フレームを用いて３Ｄ骨格認識を行う場合、２視点以上の画像フレームにおいて、正常な２Ｄ骨格認識を行えていないと、３Ｄ骨格認識の精度が低下するという問題がある。

【0020】

１つの側面では、本発明は、３Ｄ骨格認識の精度を向上させることができる骨格認識プログラム、骨格認識方法および骨格認識装置を提供することを目的とする。

【課題を解決するための手段】

【0021】

第１の案では、コンピュータが次の処理を実行する。コンピュータは、画像に含まれる人物の関節が存在する位置の尤度を示す複数方向からの２次元の特徴量に基づいて、人物の３次元の骨格情報を生成する。コンピュータは、人物の関節の位置情報を有する３次元の骨格モデルに基づいて、生成した人物の３次元の骨格情報に含まれる複数の関節の中から、関節の位置が異常である関節を特定する。コンピュータは、人物の関節の位置の時系列の変化から予測される関節の位置と、２次元の特徴量とに基づいて、異常である関節の位置を補正する。

【発明の効果】

【0022】

３Ｄ骨格認識の精度を向上させることができる。

【図面の簡単な説明】

【0023】

【図1】図１は、本実施例に係る骨格認識システムの一例を示す図である。

【図2】図２は、本実施例に係る骨格認識装置の処理を説明するための図である。

【図3】図３は、骨格認識処理部を説明するための図である。

【図4】図４は、２Ｄ骨格の一例を示す図である。

【図5】図５は、２Ｄ特徴を説明するための図である。

【図6】図６は、補正部を説明するための図である。

【図7】図７は、対象選択部の処理を説明するための図である。

【図8】図８は、各関節の優先度の一例を示す図である。

【図9】図９は、運動予測に基づいて３Ｄ関節座標を算出する処理を説明するための図（１）である。

【図10】図１０は、運動予測に基づいて３Ｄ関節座標を算出する処理を説明するための図（２）である。

【図11】図１１は、運動予測に基づいて３Ｄ関節座標を算出する処理を説明するための図（３）である。

【図12】図１２は、本実施例に係る骨格認識装置の構成を示す機能ブロック図である。

【図13】図１３は、画面情報の一例を示す図である。

【図14】図１４は、本実施例に係る骨格認識装置の処理手順を示すフローチャートである。

【図15】図１５は、従来技術の問題を説明するための図である。

【図16】図１６は、実施例の骨格認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図17】図１７は、骨格モデルの一例を示す図である。

【図18】図１８は、カメラ２台による三角測量を説明するための図である。

【図19】図１９は、カメラ３台による三角測量を説明するための図である。

【図20】図２０は、機械学習を用いた手法を説明するための図である。

【発明を実施するための形態】

【0024】

以下に、本願の開示する骨格認識プログラム、骨格認識方法および骨格認識装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0025】

図１は、本実施例に係る骨格認識システムの一例を示す図である。図１に示すように、この骨格認識システム３５は、カメラ３０ａ，３０ｂ，３０ｃ，３０ｄと、骨格認識装置１００とを有する。カメラ３０ａ～３０ｄと、骨格認識装置１００とは、有線または無線によってそれぞれ接続されている。図１では、カメラ３０ａ～３０ｄを示すが、この骨格認識システム３５は、他のカメラを更に有していてもよい。

【0026】

本実施例では一例として、被写体Ｈ１が、器具上で一連の演技を行うものとするがこれに限定されるものではない。たとえば、被写体Ｈ１は、器具の存在しない場所で演技を行ってもよいし、演技以外の動作を行ってもよい。

【0027】

カメラ３０ａは、被写体Ｈ１の画像を撮影するカメラである。カメラ３０ａは、ＣＭＯＳイメージャ、ＲＧＢカメラ等に対応する。カメラ３０ａは、所定のフレームレート（frames per second：FPS）によって、画像を連続して撮影し、時系列に画像のデータを骨格認識装置１００に送信する。以下の説明では、連続する複数の画像のデータのうち、ある一つの画像（静止画像）のデータを「画像フレーム」と表記する。画像フレームには、時系列にフレーム番号が付与される。

【0028】

カメラ３０ｂ，３０ｃ，３０ｄに関する説明は、カメラ３０ａに関する説明と同様である。以下の説明では、適宜、カメラ３０ａ～３０ｄをまとめて「カメラ３０」と表記する。

【0029】

骨格認識装置１００は、カメラ３０から取得する画像フレームを基にして、被写体Ｈ１の２Ｄ特徴を生成する。２Ｄ特徴は、被写体Ｈ１の２次元の関節座標の尤度を示すheatmapである。骨格認識装置１００は、２Ｄ特徴を基にして、被写体Ｈ１の３次元の関節座標を設定した３Ｄ骨格データを生成する。骨格認識装置１００は、カメラ３０から取得する画像フレームを取得する度に、３Ｄ骨格データを生成する処理を繰り返し実行する。以下の説明では、適宜、２次元の関節座標を２Ｄ関節座標、３次元の関節座標を３Ｄ関節座標と表記する。２Ｄ特徴は、たとえば、画像に含まれる人物の関節が存在する位置に関連する尤度を複数の方向から投影した２次元の特徴量である。

【0030】

ここで、骨格認識装置１００は、３Ｄ骨格データを生成する際に、３Ｄ骨格データに設定された複数の関節の３Ｄ関節座標を基にして、複数の関節のうち、異常のある関節の特定を行う。骨格認識装置１００は、２Ｄ特徴と、骨格モデルによる運動予測とを基にして、特定した異常のある関節の３Ｄ関節座標を補正する。

【0031】

図２は、本実施例に係る骨格認識装置の処理を説明するための図である。図２に示すように、骨格認識装置１００は、骨格認識処理部１５１と、異常特定部１５２と、補正部１５３と有する。

【0032】

骨格認識処理部１５１は、カメラ３０から画像フレームＩＭ３０を取得し、骨格認識処理を実行することで、３Ｄ骨格データ３２を生成する。骨格認識処理部１５１は、生成した３Ｄ骨格データ３２を、異常特定部１５２に出力する。骨格認識処理については後述する。

【0033】

骨格認識処理部１５１は、骨格認識処理を実行する過程で生成する２Ｄ特徴３１を、補正部１５３に出力する。骨格認識処理部１５１は、画像フレームＩＭ３０を取得する度に、２Ｄ特徴３１、および、３Ｄ骨格データ３２を生成し、上記処理を繰り返し実行する。

【0034】

以下の説明では適宜、Ｎ番目の画像フレームＩＭ３０－Ｎから生成される３Ｄ骨格データ、２Ｄ特徴を適宜、３Ｄ骨格データ３２－Ｎと、２Ｄ特徴３１－Ｎと表記する。Ｎは自然数である。特に区別しない場合には、単に、３Ｄ骨格データ３２、２Ｄ特徴３１と表記する。

【0035】

異常特定部１５２は、３Ｄ骨格データ３２に含まれる複数の関節の３Ｄ関節座標を基にして、異常のある関節の特定を行う。以下の説明では、異常のある関節を「異常関節」と表記する。異常特定部１５２は、たとえば、以下の処理を行って、異常関節を特定する。

【0036】

異常特定部１５２は、３Ｄ骨格データ３２の各関節の長さをそれぞれ算出する。異常特定部１５２は、基準となる骨格モデルの位置情報を基にして、各関節の長さの基準値を予め算出しておき、３Ｄ骨格データ３２の各関節のうち、関節の長さが基準値の±１０％に収まらない関節を、異常関節として特定する。

【0037】

異常特定部１５２は、１フレーム前の「３Ｄ骨格データ３２－Ｎ－１」の各関節の３次元座標と、現フレームの「３Ｄ骨格データ３２－Ｎ」の各関節の３次元座標とを比較して、各関節の変位を算出する。異常特定部１５２は、変位が予め設定した閾値以上となる関節を、異常関節として特定する。異常特定部１５２は、各関節について、移動可能な方向を定義しておき、かかる移動可能な方向以外の方向に変位した関節を、異常関節として特定してもよい。

【0038】

異常特定部１５２は、異常関節の情報を、補正部１５３に出力することで、異常関節の補正を依頼する。異常関節の情報には、異常関節の識別番号、異常関節を含む３Ｄ骨格データ３２のフレーム番号等が含まれる。異常関節の識別番号は、異常関節に対応する関節を一意に識別する識別番号が設定される。図１７で示したように、各関節には、関節番号１～２０が割り当てられる。３Ｄ骨格データ３２－Ｎのフレーム番号をフレーム番号Ｎとする。

【0039】

異常特定部１５２は、異常関節が含まれない正常な３Ｄ骨格データ３２については、正常な３Ｄ骨格データ３２のフレーム番号を、補正部１５３に通知する。異常特定部１５２は、時系列の３Ｄ骨格データ３２を、補正部１５３に出力してもよい。

【0040】

補正部１５３は、異常関節の情報を基にして、補正の対象となる関節を特定し、２Ｄ特徴３１を基にして、特定した関節の３Ｄ関節座標の補正を行う。たとえば、補正部１５３は、フレーム番号Ｎ－２からフレーム番号Ｎ（現フレーム）に至る骨格モデルの運動予測に基づいて、現フレームの異常関節の予測される３Ｄ関節座標を特定する。現フレームの異常関節の予測される３Ｄ関節座標を「予測３Ｄ関節座標」と表記する。たとえば、「予測３Ｄ関節座標」は、人物の関節の位置の時系列の変化から予測される関節の位置である。

【0041】

補正部１５３は、異常関節の親関節の３Ｄ関節座標と、異常関節の３Ｄ関節座標と、予測３Ｄ関節座標と、２Ｄ特徴との関係から、異常関節の３次元座標を補正する。補正部１５３は、異常関節の３次元座標を、補正後の３次元座標に置き換えた３Ｄ骨格データを生成し、生成した３Ｄ骨格データを異常特定部１５２に出力する。

【0042】

異常特定部１５２は、異常関節を含まない３Ｄ骨格データ３２については、そのまま出力し、異常関節を含む３Ｄ骨格データ３２については、補正部１５３によって補正された３Ｄ骨格データ３２に置き換えて、出力する。異常特定部１５２は、時系列（フレーム番号の順）に、３Ｄ骨格データを出力するものとする。

【0043】

上記のように骨格認識装置１００は、３Ｄ骨格データ３２に含まれる関節の３Ｄ関節座標の異常を特定した場合に、２Ｄ特徴と骨格モデルの運動予測とを基にして、異常関節の３Ｄ関節座標を修正する。これによって、３Ｄ骨格認識の精度を向上させることができる。

【0044】

次に、図２で説明した骨格認識処理部１５１についてより具体的に説明する。図３は、骨格認識処理部を説明するための図である。図３に示すように、骨格認識処理部１５１は、人検知部５１、２Ｄ骨格推定部５２、統合部５３、３Ｄ骨格推定部５４を有する。

【0045】

骨格認識処理部５０は、カメラ３０によって撮影された画像フレームＩＭ３０の入力を受け付ける。

【0046】

人検知部５１は、画像フレームＩＭ３０から、人物の領域を特定し、人物の領域の情報と画像フレームＩＭ３０とを、２Ｄ骨格推定部５２に出力する。２Ｄ骨格推定部５２は、画像フレームＩＭ３０の人物の領域を基にして、人物の２Ｄ骨格を推定し、各２Ｄ関節座標の尤度を示す２Ｄ特徴３１を生成する。

【0047】

図４は、２Ｄ骨格の一例を示す図である。一例として、カメラ３０ａ，３０ｂ，３０ｃ，３０ｄが撮影した画像フレームをそれぞれ、画像フレームＩＭ３０ａ，ＩＭ３０ｂ，ＩＭ３０ｃ，ＩＭ３０ｄとする。

【0048】

画像フレームＩＭ３０ａから、人物の２Ｄ骨格３０ａ－１が推定されている。画像フレームＩＭ３０ｂから、人物の２Ｄ骨格３０ｂ－１が推定されている。画像フレームＩＭ３０ｃから、人物の２Ｄ骨格３０ｃ－１が推定されている。画像フレームＩＭ３０ｄから、人物の２Ｄ骨格３０ｄ－１が推定されている。

【0049】

なお、２Ｄ特徴３１は、２Ｄ骨格の各関節座標の尤度を示すheatmapである。１つのカメラ３０から取得した１つの画像フレームから、各関節に対応する２Ｄ特徴が生成される。たとえば、関節数を２１個、カメラの数を４個とすると、画像フレーム毎に、８４個の２Ｄ特徴が生成される。

【0050】

図５は、２Ｄ特徴を説明するための図である。たとえば、図５に示す画像フレームＩｍ３０ａ１は、カメラ３０ａに撮影された画像である。画像フレームＩｍ３０ｂ１は、カメラ３０ｂに撮影された画像である。画像フレームＩｍ３０ｃ１は、カメラ３０ｃに撮影された画像である。画像フレームＩｍ３０ｄ１は、カメラ３０ｄに撮影された画像である。

【0051】

２Ｄ骨格推定部５２は、画像フレームＩｍ３０ａ１を基にして、特徴群情報Ｇ１ａを生成する。特徴群情報Ｇ１ａには、各関節に対応する２１個の２Ｄ特徴が含まれる。２Ｄ骨格推定部５２は、画像フレームＩｍ３０ｂ１を基にして、特徴群情報Ｇ１ｂを生成する。特徴群情報Ｇ１ｂには、各関節に対応する２１個の２Ｄ特徴が含まれる。

【0052】

２Ｄ骨格推定部５２は、画像フレームＩｍ３０ｃ１を基にして、特徴群情報Ｇ１ｃを生成する。特徴群情報Ｇ１ｃには、各関節に対応する２１個の２Ｄ特徴が含まれる。２Ｄ骨格推定部５２は、画像フレームＩｍ３０ｄ１を基にして、特徴群情報Ｇ１ｄを生成する。特徴群情報Ｇ１ｄには、各関節に対応する２１個の２Ｄ特徴が含まれる。

【0053】

図５では、２Ｄ特徴について、詳細に説明したが、以下の説明では、カメラ３０の画像フレーム毎に生成される２Ｄ特徴をまとめて、単に、２Ｄ特徴と表記する。

【0054】

たとえば、人検知部５１および２Ｄ骨格推定部５２は、画像フレームを入力、２Ｄ特徴を出力とするＮＮ（Neural Network）であり、事前に訓練されている。２Ｄ骨格推定部５２は、２Ｄ特徴３１を、統合部５３および補正部１５３に出力する。人検知部５１および２Ｄ骨格推定部５２の処理は、図２０で説明した2D backbone処理に対応する。

【0055】

統合部５３は、２Ｄ特徴３１を、カメラ３０のカメラパラメータに従って、3Dcubeに逆投影することで、aggregated volumesを生成する。aggregated volumesは、図２０で説明した、aggregated volumes２３等に対応する。統合部５３は、aggregated volumesを、３Ｄ骨格推定部５４に出力する。

【0056】

３Ｄ骨格推定部５４は、aggregated volumesを、V2V（訓練済みのニューラルネットワーク、Ｐ３）に入力することで、各関節の尤度を表すprocessed volumesを取得する。processed volumesは、各関節の３Ｄ関節座標の尤度を表すheatmapに対応する。たとえば、ある関節のheatmapでは、ある関節の３Ｄ関節座標として、最も確からしい３Ｄ関節座標に対応する尤度が最も大きい値となる。３Ｄ骨格推定部５４は、各関節の最も確からしい３Ｄ関節座標を特定していくことで、３Ｄ骨格データ３２を推定する。３Ｄ骨格データ３２は、３次元の関節座標を示す情報である。

【0057】

次に、図２で説明した補正部１５３についてより具体的に説明する。図６は、補正部を説明するための図である。図６に示すように、補正部１５３は、対象選択部６１と、推定部６２と、置換部６３とを有する。

【0058】

対象選択部６１は、異常関節の情報を取得し、補正の対象となる異常関節の選択を行う。対象選択部６１は、所定の選択条件を満たす３Ｄ骨格データを、修正対象骨格データとして選択する。

【0059】

図７は、対象選択部の処理を説明するための図である。所定の選択条件は、前２フレームで、該当関節が正常判定を受けているという条件である。たとえば、対象選択部６１は、３Ｄ骨格データ３２－Ｔに異常関節が含まれ、３Ｄ骨格データ３２－Ｔ－１、３２－Ｔ－２において、異常関節と同一の関節が正常な関節であると判定されている場合に、３Ｄ骨格データ３２－Ｔを、修正対象骨格データとして選択する。

【0060】

対象選択部６１は、後述する推定部６２、置換部６３によって、３Ｄ骨格データ３２－Ｔの異常関節の３Ｄ関節座標が補正された場合には、３Ｄ骨格データ３２－Ｔの各関節を正常な関節として取り扱う。

【0061】

３Ｄ骨格データ３２－Ｔが補正される前は、３Ｄ骨格データ３２－Ｔ＋１に異常関節が含まれている場合でも、３Ｄ骨格データ３２－Ｔ＋１は所定の選択条件を満たさない。しかし、３Ｄ骨格データ３２－Ｔが補正されることで、３Ｄ骨格データ３２－Ｔ＋１は、所定の選択条件を満たし、修正対象骨格データとして選択される。たとえば、対象選択部６１は、連続して異常関節が特定されても、異常関節を有する３Ｄ骨格データを順次、補正対象骨格データとして選択できる。

【0062】

対象選択部６１は、時系列の３Ｄ骨格データ３２と、選択した修正対象骨格データのフレーム番号と、異常関節となる関節の識別番号とを推定部６２に出力する。

【0063】

推定部６２は、２Ｄ特徴と、骨格モデルの運動予測に基づいて、補正対象骨格データに含まれる異常関節の正しい３Ｄ関節座標を推定し、３Ｄ関節座標を補正する。推定部６２は、補正対象骨格データに複数の異常関節が含まれる場合には、優先度の高い異常関節から順に、３Ｄ関節座標の推定、補正を行う。

【0064】

図８は、各関節の優先度の一例を示す図である。図８において、関節番号１～２０に対応する各関節には、優先度を示す数値（０）～（４）が設定され、カッコ内の数値が小さい関節ほど優先度が高いことを示す。親子関係にある関節については、親関節の方が優先度が高くなる。たとえば、関節番号１７番の関節「FOOT_RIGHT」には数値（４）であり、関節番号１６番の関節「ANKLE_RIGHT」には数値（３）が設定されている。このため、関節番号１６番の関節「ANKLE_RIGHT」の方が、関節番号１７番の関節「FOOT_RIGHT」よりも優先度が高いことを示す。なお、数値（０）が設定された、関節番号０番の関節「spine_base」は、補正の対象外とする。

【0065】

推定部６２が、骨格モデルの運動予測に基づいて、予測３Ｄ関節座標を算出する処理について説明する。たとえば、フレーム番号Ｔの修正対象骨格データに含まれる異常関節の関節番号を「ｉ」とした場合、フレーム番号Ｔ－２、Ｔ－１の関節番号ｉの関節の３Ｄ関節座標から、フレーム番号Ｔの関節番号ｉの予測３Ｄ関節座標を運動法則により算出する。

【0066】

図９、図１０、図１１は、運動予測に基づいて３Ｄ関節座標を算出する処理を説明するための図である。図９について説明する。図９では一例として、フレーム番号Ｔの関節番号ｉ＝６の関節が、異常関節として特定されている場合について説明を行う。フレーム番号Ｔ－２の関節番号ｉ＝６の関節の３Ｄ関節座標をＪ_Ｔ－２とする。フレーム番号Ｔ－１の関節番号ｉ＝６の関節の３Ｄ関節座標をＪ_Ｔ－１とする。推定部６２は、ステップＳ２－１、Ｓ２－２の順に、処理を実行する。

【0067】

ステップＳ２－１の処理について説明する。推定部６２は、３Ｄ関節座標Ｊ_Ｔ－２と、３Ｄ関節座標Ｊ_Ｔ－１との距離、および、フレーム間の時間を基にして、関節番号ｉ＝６の関節の移動速度ｖ（速度ベクトル）を算出する。推定部６２は、３Ｄ関節座標Ｊ_Ｔ－１と、移動速度ｖとを基にして、フレーム番号Ｔにおける関節番号ｉ＝６の３Ｄ関節座標Ｊ_ｐ，Ｔを算出する。

【0068】

ステップＳ２－１の処理について説明する。推定部６２は、関節番号ｉ＝６の関節と、親関節となる関節番号ｉ＝６の関節との長さに合わせて、関節番号ｉ＝６の３Ｄ関節座標Ｊ_ｐ，Ｔの座標を調整することで、予測３Ｄ関節座標Ｊ_{ｐｒｅｄ，Ｔ}を算出する。

【0069】

図１０の説明に移行する。図１０の説明では、異常関節の関節番号を「ｉ」とし、関節番号ｉの関節（異常関節）を関節ｉと表記する。推定部６２は、骨格認識処理部１５１から取得する２Ｄ特徴３１－Ｎを基にして、視点毎に、各関節の２Ｄ関節座標を算出する。フレーム番号Ｔ、視点ｖにおける関節ｉの２Ｄ関節座標を「Ｊ_{２ｄ ｖ，ｉ，ｔ}」とする。フレーム番号Ｔ、視点ｖ’における関節ｉの２Ｄ関節座標を「Ｊ_{２ｄ ｖ’，ｉ，ｔ}」とする。

【0070】

図１０の説明では、図９で算出された、関節ｉの予測３Ｄ関節座標を「Ｊ_{ｐｒｅｄ，ｉ，ｔ}」とする。推定部６２は、カメラパラメータを基にして、予測３Ｄ関節座標「Ｊ_{ｐｒｅｄ，ｉ，ｔ}」を、視点ｖに対応する２次元座標に再投影することで、２Ｄ関節座標「Ｊ_{ｖ，ｉ，ｔ}」を算出する。推定部６２は、カメラパラメータを基にして、予測３Ｄ関節座標「Ｊ_{ｐｒｅｄ，ｉ，ｔ}」を、視点ｖ’に対応する２次元座標に再投影することで、２Ｄ関節座標「Ｊ_{ｖ’，ｉ，ｔ}」を算出する。

【0071】

図１０では、説明を省略するが、推定部６２は、他の視点についても同様に、予測３Ｄ関節座標「Ｊ_{ｐｒｅｄ，ｉ，ｔ}」を該当する視点の２次元座標に再投影する。

【0072】

推定部６２は、予測３Ｄ関節座標「Ｊ_{ｐｒｅｄ，ｉ，ｔ}」を２次元座標に再投影した座標と、該当視点の関節ｉの座標との距離をそれぞれ算出し、最も距離の小さい関節ｉの２次元座標を特定する。図１０に示す例では、予測３Ｄ関節座標「Ｊ_{ｐｒｅｄ，ｉ，ｔ}」を２次元座標に再投影した座標との距離が最小となる関節ｉの座標は、視点ｖの「Ｊ_{２ｄ ｖ，ｉ，ｔ}」となる。

【0073】

図１１の説明に移行する。推定部６２は、前準備として、図１０で求めた視点ｖの「Ｊ_{２ｄ ｖ，ｉ，ｔ}」を３次元座標に逆投影し、カメラ３０の原点と、２Ｄ関節座標「Ｊ_{２ｄ ｖ，ｉ，ｔ}」の逆投影結果の座標とを通過する３次元の直線４０を求める。また、フレーム番号Ｔの異常関節（関節番号ｉの関節）の３Ｄ関節座標を「Ｊ_ｉ，ｔ」とし、異常関節の親関節の３Ｄ関節座標を「Ｊ_{ｐａｒｅｎｔ，ｉ，ｔ}」とする。

【0074】

推定部６２は、式（４）に示す目的関数を基にして、関節ｉの調整後の３Ｄ関節座標「Ｊ’_ｉ，ｔ」を算出する。推定部６２は、実験的に定めた閾値（threshold）を用いて、目的関数を切替えて利用する。式（４）の「ｒ_ｉ、ｔ」は、図１０で説明した、予測３Ｄ関節座標を２次元座標に再投影した座標と、各視点の関節ｉの座標との距離のうち、最小の距離に対応する。たとえば、「Ｊ_{２ｄ ｖ，ｉ，ｔ}」と「Ｊ_{ｖ，ｉ，ｔ}」との距離がｒ_ｉ、ｔに対応する。式（４）のｗ_ｐ、ｗ_ｌ、ｗ_ｄは、事前に設定される重みである。

【0075】

【数4】

【0076】

ｒ_ｉ、ｔが、閾値未満である場合には、式（４）の上段の式が選択される。上段の式において、第１項のｗ_ｐｐ_ｉは、運動予測の誤差を考慮した項である。「ｐ_ｉ」は、図１１に示すように、予測３Ｄ関節座標「Ｊ_{ｐｒｅｄ，ｉ，ｔ}」と３Ｄ関節座標「Ｊ’_ｉ，ｔ」との距離である。

【0077】

式（４）の上段の式において、第２項のｗ_ｌ（Ｌ_ｉ－ｌ_ｉ）^２は、関節長さや親関節の認識結果の誤差を考慮した項である。「Ｌ_ｉ」は、骨格モデル上の該当関節の長さであり、たとえば関節ｉと関節ｉの親関節との長さである。「ｌ_ｉ」は、図１１に示すように、異常関節の親関節の３Ｄ関節座標「Ｊ_{ｐａｒｅｎｔ，ｉ，ｔ}」と、３Ｄ関節座標「Ｊ’_ｉ，ｔ」との距離である。

【0078】

式（４）の上段の式において、第３項のｈ_ｉｗ_ｄｄ_ｉは、２Ｄ骨格座標の誤差項である。２Ｄ特徴（２Ｄheatmap）の尤度項（ｈ_ｉ）を追加することで、２Ｄ骨格認識の精度が低い場合に、推定結果が悪化することを抑止する。ｈ_ｉは、２Ｄ特徴３１－Ｔに設定された関節ｉの尤度である。「ｄ_ｉ」は、３Ｄ関節座標「Ｊ’_ｉ，ｔ」と直線４０との距離である。

【0079】

なお、ｒ_ｉ、ｔが、閾値未満でない場合には、式（４）の下段の式が選択される。

【0080】

推定部６２は、式（４）に示す目的関数の値が最小となるような３Ｄ関節座標「Ｊ’_ｉ，ｔ」を探索し、推定結果を置換部６３に出力する。推定結果には、フレーム番号、異常関節の関節番号ｉ、関節番号ｉの関節の調整後の３Ｄ関節座標が含まれる。

【0081】

推定部６２は、異常関節が複数存在する場合には、図８で説明した優先度を基にして、順に異常関節の３Ｄ関節座標「Ｊ’_ｉ，ｔ」を推定し、推定結果を、置換部６３に出力する。

【0082】

図６の説明に戻る。置換部６３は、推定結果を基にして、異常関節の３Ｄ関節座標を、調整後の３Ｄ関節座標に置換することで、補正した３Ｄ骨格データを生成する。置換部６３は、補正した３Ｄ骨格データを異常特定部１５２に出力する。

【0083】

次に、上述した処理を実行する骨格認識装置１００の構成例について説明する。図１２は、本実施例に係る骨格認識装置の構成を示す機能ブロック図である。図１２に示すように、この骨格認識装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

【0084】

通信部１１０は、カメラ３０から画像フレームを受信する。通信部１１０は、受信した画像フレームを制御部１５０に出力する。通信部１１０は、通信装置の一例である。通信部１１０は、図示しない他の外部装置からデータを受信してもよい。

【0085】

入力部１２０は、骨格認識装置１００の制御部１５０に各種の情報を入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。利用者は、入力部１２０を操作して、画面情報の表示要求、画面操作などを行う。

【0086】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、各種競技の技認定、採点結果等の画面情報を表示する。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。

【0087】

記憶部１４０は、技認識テーブル１４１等を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0088】

技認識テーブル１４１は、各骨格認識結果に含まれる各関節座標の時系列変化と、技の種別とを対応付けるテーブルである。また、技認識テーブル１４１は、技の種別の組み合わせと、スコアとを対応付ける。スコアは、Ｄ（Difficulty）スコアとＥ（Execution）スコアとの合計で算出される。たとえば、Ｄスコアは、技の難易度に基づいて算出されるスコアである。Ｅスコアは、技の完成度に応じて、減点法により算出されるスコアである。

【0089】

制御部１５０は、骨格認識処理部１５１、異常特定部１５２、補正部１５３、技認識部１５４を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。

【0090】

骨格認識処理部１５１は、カメラ３０から画像フレームＩＭ３０を取得し、骨格認識処理を実行することで、３Ｄ骨格データ３２を生成する。骨格認識処理部１５１は、生成した３Ｄ骨格データ３２を、異常特定部１５２に出力する。骨格認識処理部１５１のその他の処理は、上述した処理と同様である。

【0091】

異常特定部１５２は、３Ｄ骨格データ３２に含まれる複数の関節の３Ｄ関節座標を基にして、異常のある関節の特定を行う。異常特定部１５２は、特定した異常のある関節に関する異常関節の情報を、補正部１５３に出力する。異常特定部１５２は、異常関節を含まない３Ｄ骨格データ３２については、そのまま出力し、異常関節を含む３Ｄ骨格データ３２については、補正部１５３によって補正された３Ｄ骨格データ３２に置き換えて、技認識部１５４に出力する。

【0092】

技認識部１５４は、フレーム番号の順に３Ｄ骨格データ３２を取得し、連続する３Ｄ骨格データ３２を基にして、各関節座標の時系列変化を特定する。技認識部１５４は、各関節位置の時系列変化と、技認識テーブル１４１とを比較して、技の種別を特定する。また、技認識部１５４は、技の種別の組み合わせと、技認識テーブル１４１とを比較して、被写体Ｈ１の演技のスコアを算出する。

【0093】

技認識部１５４は、演技のスコアと、演技の開始から終了までの骨格認識結果データとを基にして、画面情報を生成する。技認識部１５５は、生成した画面情報を、表示部１３０に出力して表示させる。

【0094】

図１３は、画面情報の一例を示す図である。図１３に示すように、この画面情報６０には、領域６０ａ，６０ｂ，６０ｃが含まれる。領域６０ａは、被写体Ｈ１が行った演技において、認識された技の種別を表示する領域である。技の種別に加えて、技の難度も表示してもよい。領域６０ｂは、演技のスコアを表示する領域である。領域６０ａは、演技の開始から終了までの骨格認識結果データに基づく３次元モデルをアニメーション表示する領域である。利用者は、入力部１２０を操作して、アニメーションの再生、停止等を指示する。

【0095】

次に、本実施例に係る骨格認識装置１００の処理手順の一例について説明する。図１４は、本実施例に係る骨格認識装置の処理手順を示すフローチャートである。図１４に示すように、骨格認識装置１００の骨格認識処理部１５１は、カメラ３０から画像フレームを取得する（ステップＳ１０１）。骨格認識処理部１５１は、画像フレームを基にして、２Ｄ特徴を生成する（ステップＳ１０２）。

【0096】

骨格認識処理部１５１は、２Ｄ特徴を基にして、３Ｄ骨格データを推定する（ステップＳ１０３）。骨格認識装置１００の異常特定部１５２は、３Ｄ骨格データから異常関節を特定した場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０５に移行する。一方、異常特定部１５２は、３Ｄ骨格データから異常関節を特定しない場合には（ステップＳ１０４，Ｎｏ）、ステップＳ１０６に移行する。

【0097】

骨格認識処理部１５１の補正部１５３は、２Ｄ特徴と骨格モデルの運動予測とを基にして、異常関節の３Ｄ関節座標を補正する（ステップＳ１０５）。異常特定部１５２は、３Ｄ骨格データを出力する（ステップＳ１０６）。

【0098】

骨格認識装置１００の技認識部１５４は、３Ｄ骨格データを基にして、技認識を実行し、画面情報を生成する（ステップＳ１０７）。技認識部１５４は、画面情報を表示部１３０に出力して表示させる。

【0099】

次に、本実施例に係る骨格認識装置の効果について説明する。たとえば、従来技術では、複数視点の画像フレームを用いて３Ｄ骨格認識を行う場合、２視点以上の画像フレームにおいて、正常な２Ｄ骨格認識を行えていないと、３Ｄ骨格認識の精度が低下するという問題があった。

【0100】

図１５は、従来技術の問題を説明するための図である。図１５に示す２Ｄ骨格認識結果７０－１は、第１視点の画像フレームから予測された２Ｄ骨格認識結果である。２Ｄ骨格認識結果７０－２は、第２視点の画像フレームから予測された２Ｄ骨格認識結果である。２Ｄ骨格認識結果７０－３は、第３視点の画像フレームから予測された２Ｄ骨格認識結果である。２Ｄ骨格認識結果７０－１，７０－２では、右足の骨格認識結果が誤っている。一方、２Ｄ骨格認識結果７０－３では、右足の骨格認識結果が適切なものとなっている。

【0101】

従来技術において、２Ｄ骨格認識結果７０－１，７０－２，７０－３を用いて、３Ｄ骨格認識を行うと、３Ｄ骨格認識結果７１－１，７１－２，７１－３が得られる。３Ｄ骨格認識結果７１－１，７１－２，７１－３では、右足の骨格認識結果が誤っており、３Ｄ骨格認識の精度が低下している。

【0102】

これに対して、本実施例に係る骨格認識装置１００は、３Ｄ骨格データ３２に含まれる関節の３Ｄ関節座標の異常を特定した場合に、２Ｄ特徴と骨格モデルの運動予測とを基にして、異常関節の３Ｄ関節座標を修正する。これによって、３Ｄ骨格認識の精度を向上させることができる。

【0103】

骨格認識装置１００は、画像フレームを基にして生成した２Ｄ特徴と、カメラ３０のパラメータとを基にして、３Ｄ骨格データを推定する。骨格認識装置１００は、かかる３Ｄ骨格データに異常関節が含まれている場合でも、異常関節を修正して正しい３Ｄ骨格データを生成できる。

【0104】

骨格認識装置１００は、時系列に３Ｄ骨格データを生成し、３Ｄ骨格データの関節間の長さ、前後の関節座標の変位を基にして、異常関節を特定する。これによって、異常関節を精度よく特定することができる。

【0105】

骨格認識装置１００は、骨格モデルによる運動予測に基づいて、予測３Ｄ関節座標Ｊ_{ｐｒｅｄ，Ｔ}を算出し、式（４）を基にして、異常関節の３Ｄ関節座標を推定する。これによって、異常関節の３Ｄ関節座標を適切に修正することができる。

【0106】

骨格認識装置１００は、２Ｄ特徴と骨格モデルの運動予測とを基にして、異常関節の３Ｄ関節座標を修正するため、たとえば、骨格認識処理部１５１で利用するＮＮ等の再訓練を行わなくても、３Ｄ骨格データの精度を保つことができ計算コストを削減できる。

【0107】

次に、上記実施例に示した骨格認識装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１６は、実施例の骨格認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0108】

図１６に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置２０４と、インタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

【0109】

ハードディスク装置２０７は、骨格認識処理プログラム２０７ａ、異常特定プログラム２０７ｂ、補正プログラム２０７ｃ、技認識プログラム２０７ｄを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｄを読み出してＲＡＭ２０６に展開する。

【0110】

骨格認識処理プログラム２０７ａは、骨格認識処理プロセス２０６ａとして機能する。異常特定プログラム２０７ｂは、異常特定プロセス２０６ｂとして機能する。補正プログラム２０７ｃは、補正プロセス２０６ｃとして機能する。技認識プログラム２０７ｄは、技認識プロセス２０６ｄとして機能する。

【0111】

骨格認識処理プロセス２０６ａの処理は、骨格認識処理部１５１の処理に対応する。異常特定プロセス２０６ｂの処理は、異常特定部１５２の処理に対応する。補正プロセス２０６ｃの処理は、補正部１５３の処理に対応する。技認識プロセス２０６ｄの処理は、技認識部１５４の処理に対応する。

【0112】

なお、各プログラム２０７ａ～２０７ｄについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｄを読み出して実行するようにしてもよい。

【0113】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0114】

（付記１）画像に含まれる人物の関節が存在する位置の尤度を示す複数方向からの２次元の特徴量に基づいて、前記人物の３次元の骨格情報を生成し、
前記人物の関節の位置情報を有する３次元の骨格モデルに基づいて、生成した前記人物の３次元の骨格情報に含まれる複数の関節の中から、前記関節の位置が異常である関節を特定し、
前記人物の関節の位置の時系列の変化から予測される関節の位置と、前記２次元の特徴量とに基づいて、前記異常である関節の位置を補正する
処理をコンピュータに実行させることを特徴とする骨格認識プログラム。

【0115】

（付記２）前記３次元の骨格情報を生成する処理は、前記２次元の特徴量と、前記画像を撮影したカメラのパラメータを基にして、３次元座標と前記３次元座標に所定の関節が存在する尤度とを対応付けた３次元の特徴量を生成し、前記３次元の特徴量を基にして、前記３次元の骨格情報を生成することを特徴とする付記１に記載の骨格認識プログラム。

【0116】

（付記３）３次元の骨格情報を生成する処理は、時系列の画像を基に生成される時系列の２次元の特徴量を基にして、時系列の３次元の骨格情報を生成し、前記特定する処理は、前記３次元の骨格情報に含まれる関節間の長さ、または、時系列の３次元の骨格情報における同一関節の前後の変位を基にして、前記３次元座標に異常を有する関節を特定することを特徴とする付記１または２に記載の骨格認識プログラム。

【0117】

（付記４）前記補正する処理は、前記骨格モデルによる運動予測に基づいて、前記異常を有する関節の予測される３次元座標を特定し、前記異常を有する関節の親関節の３次元座標と、前記異常を有する関節の３次元座標と、予測される前記３次元座標との関係から、前記異常を有する関節の３次元座標を補正することを特徴とする付記１に記載の骨格認識プログラム。

【0118】

（付記５）前記補正する処理は、前記親関節の３次元座標および前記異常を有する関節の３次元座標の距離と前記骨格モデルに基づく関節間の距離との差分値、および、前記異常を有する関節の３次元座標と予測される前記３次元座標との距離の合計値が最小となるように、前記異常を有する関節の３次元座標を補正することを特徴とする付記４に記載の骨格認識プログラム。

【0119】

（付記６）画像に含まれる人物の関節が存在する位置の尤度を示す複数方向からの２次元の特徴量に基づいて、前記人物の３次元の骨格情報を生成し、
前記人物の関節の位置情報を有する３次元の骨格モデルに基づいて、生成した前記人物の３次元の骨格情報に含まれる複数の関節の中から、前記関節の位置が異常である関節を特定し、
前記人物の関節の位置の時系列の変化から予測される関節の位置と、前記２次元の特徴量とに基づいて、前記異常である関節の位置を補正する
処理をコンピュータが実行することを特徴とする骨格認識方法。

【0120】

（付記７）前記３次元の骨格情報を生成する処理は、前記２次元の特徴量と、前記画像を撮影したカメラのパラメータを基にして、３次元座標と前記３次元座標に所定の関節が存在する尤度とを対応付けた３次元の特徴量を生成し、前記３次元の特徴量を基にして、前記３次元の骨格情報を生成することを特徴とする付記６に記載の骨格認識方法。

【0121】

（付記８）３次元の骨格情報を生成する処理は、時系列の画像を基に生成される時系列の２次元の特徴量を基にして、時系列の３次元の骨格情報を生成し、前記特定する処理は、前記３次元の骨格情報に含まれる関節間の長さ、または、時系列の３次元の骨格情報における同一関節の前後の変位を基にして、前記３次元座標に異常を有する関節を特定することを特徴とする付記６または７に記載の骨格認識方法。

【0122】

（付記９）前記補正する処理は、前記骨格モデルによる運動予測に基づいて、前記異常を有する関節の予測される３次元座標を特定し、前記異常を有する関節の親関節の３次元座標と、前記異常を有する関節の３次元座標と、予測される前記３次元座標との関係から、前記異常を有する関節の３次元座標を補正することを特徴とする付記６に記載の骨格認識方法。

【0123】

（付記１０）前記補正する処理は、前記親関節の３次元座標および前記異常を有する関節の３次元座標の距離と前記骨格モデルに基づく関節間の距離との差分値、および、前記異常を有する関節の３次元座標と予測される前記３次元座標との距離の合計値が最小となるように、前記異常を有する関節の３次元座標を補正することを特徴とする付記９に記載の骨格認識方法。

【0124】

（付記１１）画像に含まれる人物の関節が存在する位置の尤度を示す複数方向からの２次元の特徴量に基づいて、前記人物の３次元の骨格情報を生成し、
前記人物の関節の位置情報を有する３次元の骨格モデルに基づいて、生成した前記人物の３次元の骨格情報に含まれる複数の関節の中から、前記関節の位置が異常である関節を特定し、
前記人物の関節の位置の時系列の変化から予測される関節の位置と、前記２次元の特徴量とに基づいて、前記異常である関節の位置を補正する制御部を有する
ことを特徴とする骨格認識装置。

【0125】

（付記１２）前記３次元の骨格情報を生成する処理は、前記２次元の特徴量と、前記画像を撮影したカメラのパラメータを基にして、３次元座標と前記３次元座標に所定の関節が存在する尤度とを対応付けた３次元の特徴量を生成し、前記３次元の特徴量を基にして、前記３次元の骨格情報を生成することを特徴とする付記１１に記載の骨格認識装置。

【0126】

（付記１３）３次元の骨格情報を生成する処理は、時系列の画像を基に生成される時系列の２次元の特徴量を基にして、時系列の３次元の骨格情報を生成し、前記特定する処理は、前記３次元の骨格情報に含まれる関節間の長さ、または、時系列の３次元の骨格情報における同一関節の前後の変位を基にして、前記３次元座標に異常を有する関節を特定することを特徴とする付記１１または１２に記載の骨格認識装置。

【0127】

（付記１４）前記補正する処理は、前記骨格モデルによる運動予測に基づいて、前記異常を有する関節の予測される３次元座標を特定し、前記異常を有する関節の親関節の３次元座標と、前記異常を有する関節の３次元座標と、予測される前記３次元座標との関係から、前記異常を有する関節の３次元座標を補正することを特徴とする付記１１に記載の骨格認識装置。

【0128】

（付記１５）前記補正する処理は、前記親関節の３次元座標および前記異常を有する関節の３次元座標の距離と前記骨格モデルに基づく関節間の距離との差分値、および、前記異常を有する関節の３次元座標と予測される前記３次元座標との距離の合計値が最小となるように、前記異常を有する関節の３次元座標を補正することを特徴とする付記１４に記載の骨格認識装置。

【符号の説明】

【0129】

１００ 骨格認識装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 技認識テーブル
１５０ 制御部
１５１ 骨格認識処理部
１５２ 異常特定部
１５３ 補正部
１５４ 技認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】