特許 7388576 骨格推定装置、骨格推定方法および体操採点支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】骨格推定装置、骨格推定方法および体操採点支援システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231121BHJP

   G06T 7/20 20170101ALI20231121BHJP

   A61B 5/107 20060101ALI20231121BHJP

   A61B 5/11 20060101ALI20231121BHJP

   A63B 71/06 20060101ALI20231121BHJP

【ＦＩ】

G06T7/00 660

G06T7/00 350B

G06T7/20 300Z

A61B5/107 300

A61B5/11 230

A63B71/06 M

【請求項の数】 11

(21)【出願番号】P 2022573819

(86)(22)【出願日】2021-01-05

(86)【国際出願番号】 JP2021000107

(87)【国際公開番号】W WO2022149190

(87)【国際公開日】2022-07-14

【審査請求日】2023-02-14

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】浅山 能久

【審査官】千葉 久博

(56)【参考文献】

【文献】国際公開第２０１９／０４９２１６（ＷＯ，Ａ１）

【文献】冨森英樹 ほか，３Ｄセンシングによる体操採点支援システム，日本ロボット学会誌，日本，一般社団法人日本ロボット学会，2020年05月15日，第38巻, 第4号，pp.339-344，ISSN 0289-1824

【文献】長谷川雄大 ほか，体操競技における自動採点のための骨格推定，第８２回（２０２０年）全国大会講演論文集（２） 人工知能と認知科学，2020年02月20日，pp.(2-539)-(2-540)

【文献】桝井昇一 ほか，３Ｄセンシング・技認識による体操採点支援，電子情報通信学会誌，日本，一般社団法人電子情報通信学会，2020年01月01日，第103巻, 第1号，pp.5-14，ISSN 0913-5693

【文献】世界が認めた富士通の体操判定ＡＩ 勝負分ける関節「僅か１度」の差を見極め，日経トレンディ，日経ＢＰ，2019年12月04日，第456号，pp.156-157

【文献】遠藤宏之，体操採点のシステム化からスポーツ産業の発展を目指す，ＧＩＳ ＮＥＸＴ，日本，株式会社ネクストパブリッシング，2019年01月28日，第66号，pp.12-15

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ａ６１Ｂ ５／１０７

Ａ６１Ｂ ５／１１

Ａ６３Ｂ ７１／０６

(57)【特許請求の範囲】

【請求項1】

所定期間における骨格の変化を推定した推定情報をフレーム単位で取得し、
前記所定期間における骨格の変化の特徴量を算出し、
算出した前記特徴量に基づいて近似線を算出し、
算出した前記特徴量と、前記近似線との相関状態を算出し、
前記相関状態に基づいて、前記所定期間の前記推定情報のうち推定が異常な前記フレーム部分を不良骨格として検出する制御部、
を備えたことを特徴とする骨格推定装置。

【請求項2】

前記制御部は、
前記特徴量があらかじめ設定した範囲を超える場合、前記所定期間における前記特徴量から多次元関数による近似曲線を算出し、
算出した前記特徴量と、前記近似曲線との相関係数から前記所定期間における前記特徴量に対する尤度を算出し、
前記尤度が予め設定した閾値より小さい場合、前記特徴量と前記近似曲線との差分が最大の前記フレームを前記不良骨格として検出する、
ことを特徴とする請求項１に記載の骨格推定装置。

【請求項3】

前記制御部は、
前記特徴量があらかじめ設定した範囲内の場合、前記所定期間を複数に分割した各分割区間毎に前記特徴量から多次元関数による近似曲線をそれぞれ算出し、
前記分割区間のそれぞれで算出した前記特徴量と、前記近似曲線との相関係数から尤度を算出し、
前記尤度が予め設定した閾値より小さい場合、前記特徴量と前記近似曲線との差分が最大の前記フレームを前記不良骨格として検出する、
ことを特徴とする請求項１に記載の骨格推定装置。

【請求項4】

前記制御部は、
複数の前記分割区間同士の一部が時間的に重なるよう分割することを特徴とする請求項３に記載の骨格推定装置。

【請求項5】

前記制御部は、
前記特徴量があらかじめ設定した範囲未満の場合、前記所定期間における前記特徴量の最大値と最小値を算出し、
算出した前記最大値と最小値を含む前記特徴量の累積量に基づき尤度を算出し、
前記尤度に基づき前記不良骨格を検出する、
ことを特徴とする請求項１に記載の骨格推定装置。

【請求項6】

前記制御部は、
検出された前記不良骨格の前記フレーム部分に対して再度、骨格の推定を行うことを特徴とする請求項１に記載の骨格推定装置。

【請求項7】

前記特徴量は、前記所定期間において予め想定した人体の所定の運動に対応する運動特徴量であることを特徴とする請求項１～６のいずれか一つに記載の骨格推定装置。

【請求項8】

コンピュータが、
所定期間における骨格の変化を推定した推定情報をフレーム単位で取得し、
前記所定期間における骨格の変化の特徴量を算出し、
算出した前記特徴量に基づいて近似線を算出し、
算出した前記特徴量と、前記近似線との相関状態を算出し、
前記相関状態に基づいて、前記所定期間の前記推定情報のうち推定が異常な前記フレーム部分を不良骨格として検出する、
処理を実行することを特徴とする骨格推定方法。

【請求項9】

選手が技を実施する体操競技の体操採点システムであって、
所定期間にわたる前記選手の骨格の変化を推定した推定情報をフレーム単位で取得し、
前記所定期間における骨格の変化の特徴量を算出し、
算出した前記特徴量に基づいて近似線を算出し、
算出した前記特徴量と、前記近似線との相関状態を算出し、
前記相関状態に基づいて、前記所定期間の前記推定情報のうち推定異常な前記フレーム部分を不良骨格として検出する制御部、
を備えたことを特徴とする体操採点システム。

【請求項10】

前記選手を撮像し、距離情報を含む３次元点群の画像をフレーム単位で出力する３Ｄレーザーセンサーと、骨格推定装置と、を備え、
前記骨格推定装置は、
前記３次元点群の画像から深度画像を生成し、前記深度画像から事前に学習した学習モデルに基づき、前記選手の３次元の骨格を認識する骨格認識部と、
前記３次元点群と前記３次元の骨格とに基づき、前記選手の骨格に適合した３次元の骨格を推定情報として出力するフィッティング部と、を有し、
前記制御部は、
前記技別の特徴量が予め設定され、前記選手による所定の技の実施に対応して前記フィッティング部が出力する前記推定情報のうち前記不良骨格を検出する、
ことを特徴とする請求項９に記載の体操採点システム。

【請求項11】

前記制御部は、前記推定情報を体操競技の採点者に提示し、
前記不良骨格の検出時には、前記不良骨格の前記フレーム部分に対して再度、骨格の推定を実施した後の前記推定情報を提示する、
ことを特徴とする請求項１０に記載の体操採点システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、変化する人体の骨格を推定する骨格推定装置、骨格推定方法および体操採点支援システムに関する。

【背景技術】

【0002】

体操や医療等の広い分野で人体の骨格認識が用いられてきている。例えば、現在の体操競技の採点方法は、複数の採点者による目視で行っているが、近年の技の高度化により採点者の目視では採点が困難な場合が増加している。このため、３Ｄレーザーセンサーにより取得した選手の３次元データを基に骨格推定装置が選手の骨格情報や各関節の角度、実施した技情報などを認識し、採点者に骨格（例えば姿勢）の情報を提供することで採点を支援することが考えられる。

【0003】

従来、骨格推定に関連する技術として、例えば、時系列の各フレーム画像からシルエット画像を生成し、姿勢状態予測により各姿勢状態の尤もらしさを生成されたシルエット画像を用いて評価し、多関節動物の姿勢を推定する技術がある。また、キネマティクスモデルの関節間の連結性拘束に応じた順番で関節位置を予測して２次元画像上に予測位置を射影し、射影位置の信頼性を評価することで、対象人物の姿勢や動作を認識し、モーションキャプチャに用いる技術がある。また、人のアニメーション生成を行う際に、データベースに記憶した人体の関節の動作パターンを用いることで、コンピュータグラフィックスでの多関節の動作生成および修正を行う技術がある（例えば、下記特許文献１～３参照。）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－０１５５５８号公報

【文献】特開２００７－３３３６９０号公報

【文献】特開平１０－１７１８５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、人体の骨格の動作について、例えば、隣接フレームでの骨格（関節）の急激な変化を検出し、修正を行うものであり、人体の一連（全体）の動作に基づく骨格の変化を検出することはできなかった。

【0006】

具体例として、体操競技のひねり技では、技全体で体を１回ひねる動作を行う。この場合、従来技術では、隣接するフレーム間での急激な骨格（姿勢）変化を検出するのみであり、技全体で体を１回ひねる動作に対する骨格の変化を検出することはできない。体操競技では、ひねる量が異なる場合や、技にひねりがない場合もある。このため、例えば、従来技術では、隣接したフレーム間の骨格の変化が人体の動作として可能な動きであるが、実際の動きと異なる骨格が推定された場合、これを不良骨格と検出することができない。ここで、従来技術では、体操競技の技等、所定時間で行う一連の動作において、装置内で修正すべき不良骨格を検出できなかった。

【0007】

一つの側面では、本発明は、人体の一連の動作における骨格の変化を正しく検出できることを目的とする。

【課題を解決するための手段】

【0008】

本発明の一側面によれば、所定期間における骨格の変化を推定した推定情報をフレーム単位で取得し、前記所定期間における骨格の変化の特徴量を算出し、算出した前記特徴量に基づいて近似線を算出し、算出した前記特徴量と、前記近似線との相関状態を算出し、前記相関状態に基づいて、前記所定期間の前記推定情報のうち推定が異常な前記フレーム部分を不良骨格として検出する制御部、を備えたことを要件とする。

【発明の効果】

【0009】

本発明の一態様によれば、人体の一連の動作における骨格の変化を正しく検出できるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態にかかる骨格推定装置の骨格判定例の説明図である。

【図2】図２は、骨格推定装置の機能例を示すブロック図である。

【図3】図３は、骨格推定装置のハードウェア構成例を示す図である。

【図4】図４は、骨格推定装置の処理例を示すフローチャートである。

【図5】図５は、所定期間で推定した骨格情報に対する不良骨格の検出例を示す図である。

【図6】図６は、実施の形態の骨格推定装置を含む体操採点支援システムの構成例を示す図である。

【図7】図７は、特徴量別の不良骨格検出の機能例を示すブロック図である。

【図8】図８は、特徴量が範囲未満のケース１の場合の説明図である。

【図9】図９は、特徴量が範囲を超えたケース３の場合の説明図である。（その１）

【図10】図１０は、特徴量が範囲を超えたケース３の場合の説明図である。（その２）

【図11A】図１１Ａは、特徴量が範囲以内のケース２の場合の説明図である。（その１）

【図11B】図１１Ｂは、特徴量が範囲以内のケース２の場合の説明図である。（その２）

【図12】図１２は、特徴量別の不良骨格検出の処理例を示すフローチャートである。

【図13】図１３は、他の特徴量に対する不良骨格の検出の説明図である。

【発明を実施するための形態】

【0011】

（実施の形態）
以下に図面を参照して、開示の骨格推定装置、骨格推定方法および体操採点支援システムの実施の形態を詳細に説明する。

【0012】

図１は、実施の形態にかかる骨格推定装置の骨格判定例の説明図である。実施の形態の骨格推定装置１００は、所定期間の運動等における人体の骨格の変化を正しく検出可能にする。例えば、骨格推定装置１００は、体操競技時に選手が実施した技に対応して変化する選手の骨格を推定する。ここで、実施の形態の骨格推定装置１００は、所定期間の運動（技）で推定した骨格のうち、実際の人体（選手）の動きと異なる骨格の部分を不良骨格として検出する。

【0013】

骨格推定装置１００には、所定期間において骨格の変化に関する情報が入力される。骨格変化に関する情報は、例えば、３Ｄレーザーセンサーが各直交するＸ，Ｙ，Ｚ軸それぞれの距離情報を含む画像（３次元点群）を所定期間分フレーム単位で出力する。骨格推定装置１００は、複数台の異なる位置から人体（選手）を撮像した３Ｄレーザーセンサーの出力を取得する。

【0014】

骨格推定装置１００の制御部１１０は、骨格推定プログラムを実行処理することで、所定期間の運動等により変化する人体の骨格を推定する。制御部１１０は、取得した所定期間において人体の運動等による骨格の変化に関する情報から人体の各関節の動き（角度）等を推定し、推定結果として骨格情報を出力する。所定期間の運動は、予め想定した運動であり、例えば、体操競技がある。体操競技では所定期間にわたって選手が技を実施し、この技に対応して選手の骨格が所定期間で変化する。

【0015】

そして、実施の形態の骨格推定装置１００は、所定期間の運動による人体の各関節の動きの推定した骨格情報のうち、実際の人体の動きと異なる部分について不良骨格として検出する。これにより、例えば、骨格推定装置１００は、実際の人体の動きと異なる推定結果の部分について、再度の骨格判定を行うことができるようになる。

【0016】

制御部１１０は、所定期間における人体の動きの特徴量（運動特徴量）に着目し、あるべき運動特徴量との関係性により、推定された骨格が尤もらしいかを推定することで、不良骨格を検出する。あるべき運動特徴量は、例えば、体操競技において、所定期間をかけて行う技に対応した特徴量である。これにより、体操競技の選手の技の実施に対応した骨格の推定結果を採点者に提示できる。また、骨格推定装置１００内部で検出した不良骨格について再度の骨格判定を実施できるようになる。これにより、選手の技に対応した骨格の推定結果を精度よく対象の競技の採点者に提示できるようになる。

【0017】

制御部１１０の処理概要について、体操競技の例を用いて説明する。
（１）３Ｄレーザーセンサー等から選手の３次元の骨格情報を取得する。
（２）所定期間（例えば、技の開始ｔｓ～終了ｔｅ）までの間の各フレームの特徴量を算出する。

【0018】

（３）所定期間における技全体の運動特徴量に対する尤度を算出する。例えば、技全体の運動特徴量の大きさ別に、尤度の算出方法をケース１～ケース３の３通りに場合分けしてもよい。

【0019】

ケース１：例えば、運動特徴量が予め設定した範囲未満の場合、各フレームの特徴量の最大値と最小値から尤度を算出する。
ケース２：運動特徴量が予め設定した範囲内の場合、予め設定した複数の分割区間で多次元関数による近似線を算出する。そして、分割区間毎に算出した近似線と運動特徴量との相関係数のうち、最大の相関係数から尤度を算出する。
ケース３：運動特徴量が予め設定した範囲を超える場合、技の開始ｔｓ～終了ｔｅまでの特徴量から多次元関数による近似線を算出する。
ケース２，３の場合、算出した近似線と運動特徴量との相関係数から尤度を算出する。

【0020】

（４）尤度が予め設定した閾値より小さい場合、近似線と運動特徴量の差が最大のフレームを算出する。これにより、推定した骨格情報のうち、不良骨格の部分のフレーム（最大誤差のフレーム）を検出できる。
（５）また、最大誤差フレームに基づき、不良骨格の部分のフレームに対し、再度の骨格判定を行うことができる。

【0021】

上記の運動特徴量としては、体操競技の“ひねり量”や“宙返り量”などがある。また、多次元関数としては１次関数（直線）や、３次関数（３次曲線）などがある。“ひねり量”について３次曲線を用い、“宙返り量”に対応して直線を用いることができる。

【0022】

図１（ａ），（ｂ）には、上記のケース３における近似線と運動特徴量との相関状態を示す。横軸は時間、縦軸は累積ひねり角度である。ここで、運動特徴量は”運動ひねり量”であり、技として１回以上ひねり、例えば、跳馬の第二空中局面の累積ひねり角度を示す。

【0023】

制御部１１０は、所定期間、すなわち技の開始ｔｓ～終了ｔｅまでの間における累積ひねり角度ａ（図中実線）からひねりの検出に適した近似３次曲線ｂを算出する（図中点線）。次に、制御部１１０は、累積ひねり角度と近似３次曲線の相関係数を算出する。

【0024】

次に、制御部１１０は、予め設定したパラメータの指数関数を利用して相関係数から尤度を算出する。そして、制御部１１０は、累積ひねり角度ａと近似３次曲線ｂの類似の度合い（相関係数）に基づき、不良骨格の有無を検出する。骨格が正しい場合は、図１（ａ）に示すように、累積ひねり角度ａと近似３次曲線ｂが類似しており、相関係数が高い。これにより、制御部１１０は、所定期間（技の開始ｔｓ～終了ｔｅまでの間）において推定した骨格情報が正しいと判断する。

【0025】

一方、骨格が誤っている場合は、図１（ｂ）に示すように、累積ひねり角度ａと近似３次曲線ｂに差があり、相関係数が低い。これにより、制御部１１０は、所定期間（技の開始ｔｓ～終了ｔｅまでの間）において推定した骨格情報が誤っている部分があると判断する。この場合、制御部１１０は、例えば、累積ひねり角度ａと近似３次曲線ｂに差があり、相関係数が低い期間Ｔ１，Ｔ２に対し、再度の骨格判定を行うことができる。

【0026】

このように、実施の形態によれば、所定期間における人体の動き、例えば、体操競技の技全体の動作としての運動特徴量に着目し、あるべき運動特徴量との関係性により、推定した骨格が尤もらしいかを推定する。これにより、所定期間において推定した骨格に対する不良骨格の有無を検出できるようになる。

【0027】

また、検出した不良骨格の部分に対し再度の骨格判定を行うことができるようになり、所定期間の全体にわたり推定した骨格の精度を向上させることができるようになる。例えば、対象の競技の採点者に対し、選手の技に対応した骨格の推定結果の精度を向上して提示できるようになる。

【0028】

図２は、骨格推定装置の機能例を示すブロック図である。図２には、実施の形態で主となる機能、すなわち、上記ケース３に示した運動特徴量が”運動ひねり量”であり、技として１回以上ひねり、例えば、跳馬の第二空中局面の累積ひねり角度の骨格推定に対応した機能を示す。

【0029】

骨格推定装置１００は、骨格取得部２０１、特徴量算出部２０２、近似３次曲線算出部２０３、尤度算出部２０４、不良骨格検出部２０５、を含む。骨格取得部２０１は、３Ｄレーザーセンサー等から選手の３次元の骨格情報を取得する。３次元の骨格情報は、例えば、Ｘ，Ｙ，Ｚ軸それぞれの距離情報を含む深度画像を所定期間、例えば、技の開始ｔｓ～終了ｔｅまでの間の複数フレームである。

【0030】

骨格推定装置１００は、取得した３次元の骨格情報に対し、学習型の骨格認識を行い、３Ｄ関節座標を算出し、この３Ｄ関節座標を人体にフィッティングさせる。このフィッティング後の関節座標に基づき、人体の動きの変化（技）を認識する。

【0031】

特徴量算出部２０２、近似３次曲線算出部２０３、尤度算出部２０４、不良骨格検出部２０５は、技の認識にかかる構成部である。特徴量算出部２０２は、技の開始ｔｓ～終了ｔｅまでの各フレームの特徴量を算出する。近似３次曲線算出部２０３は、ケース３に相当して運動特徴量が予め設定した範囲以上の場合に対応して、技の開始ｔｓ～終了ｔｅまでの特徴量から多次元関数による近似線を算出する（図１参照）。

【0032】

尤度算出部２０４は、算出した近似線と運動特徴量との相関係数から尤度を算出する。不良骨格検出部２０５は、尤度が予め設定した閾値より小さい場合、近似線と運動特徴量の差が最大のフレームを算出する。これにより、推定した骨格情報のうち、不良骨格の部分のフレームを検出する。

【0033】

図３は、骨格推定装置のハードウェア構成例を示す図である。上述した骨格推定装置１００は、図３に示すハードウェアで構成されたコンピュータ装置を用いることができる。

【0034】

例えば、骨格推定装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１、メモリ３０２、ネットワークインタフェース（ＩＦ）３０３、記録媒体ＩＦ３０４、記録媒体３０５、を含む。３００は各部を接続するバスである。

【0035】

ＣＰＵ３０１は、骨格推定装置１００の全体の処理を司る制御部として機能する演算処理装置である。メモリ３０２は、不揮発性メモリおよび揮発性メモリを含む。不揮発性メモリは、例えば、ＣＰＵ３０１のプログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。揮発性メモリは、例えば、ＣＰＵ３０１のワークエリアとして使用されるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。

【0036】

ネットワークＩＦ３０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク３１０に通信接続するインタフェースである。このネットワークＩＦ３０３を介して、骨格推定装置１００は、３Ｄレーザーセンサーや、採点者の端末等に通信接続することができる。

【0037】

記録媒体ＩＦ３０４は、ＣＰＵ３０１が処理した情報を記録媒体３０５との間で読み書きするためのインタフェースである。記録媒体３０５は、メモリ３０２を補助する記録装置である。記録媒体３０５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュドライブ等を用いることができる。

【0038】

メモリ３０２または記録媒体３０５に記録されたプログラムをＣＰＵ３０１が実行することにより、図２に示した骨格推定装置１００の各機能（制御部１１０）を実現することができる。

【0039】

図３に示したハードウェア構成は、採点者の端末（例えば、ＰＣやスマートフォン等）にも適用できる。例えば、実施の形態の骨格推定装置１００が採点者の端末に接続されてなる体操採点支援システムは、汎用のハードウェア構成を用いて実現できる。

【0040】

図４は、骨格推定装置の処理例を示すフローチャートである。図４は、骨格推定装置１００の制御部１１０が行う図２の構成に対応した処理例を示す。

【0041】

はじめに、制御部１１０は、３Ｄレーザーセンサー等から選手の３次元の骨格情報を取得する（ステップＳ４０１）。次に、制御部１１０は、技の開始ｔｓ～終了ｔｅまでの各フレームの特徴量を算出する（ステップＳ４０２）。次に、制御部１１０は、技の開始ｔｓ～終了ｔｅまでの特徴量から多次元関数による近似線（近似３次曲線、図１参照）を算出する（ステップＳ４０３）。

【0042】

次に、制御部１１０は、算出した近似線と運動特徴量との相関係数から尤度を算出する（ステップＳ４０４）。そして、制御部１１０は、尤度が予め設定した閾値より小さい場合、近似線と運動特徴量の差が最大のフレームを算出する。これにより、推定した骨格情報のうち、不良骨格の部分のフレームを検出する（ステップＳ４０５）。

【0043】

これにより、技の開始ｔｓ～終了ｔｅまでの所定期間において推定した骨格に対する不良骨格の有無を検出できるようになる。また、検出した不良骨格の部分に対し再度の骨格判定を行うことができるようになり、所定期間の全体にわたり推定した骨格の精度を向上させることができるようになる。例えば、対象の競技の採点者の端末に対し、選手の技に対応した骨格の推定結果の精度を向上して提示できるようになる。

【0044】

図５は、所定期間で推定した骨格情報に対する不良骨格の検出例を示す図である。図５（ａ）は、体操競技の跳馬のひねり技を行った選手の所定期間（技の開始ｔｓ～終了ｔｅまでの間）の複数フレームＦ１～Ｆ１１の画像である。図５（ｂ）は、図５（ａ）の各フレームに対応し、骨格推定装置１００が推定した選手の骨格情報を示すＣＧデータＫ１～Ｋ１１である。

【0045】

骨格推定装置１００は、３Ｄレーザーセンサーから取得した選手の３次元の骨格情報として、Ｘ，Ｙ，Ｚ軸それぞれの距離情報を含む深度画像に対し、学習型の骨格認識を行い、３Ｄ関節座標を算出し、この３Ｄ関節座標を人体モデルにフィッティングさせる。図５（ｂ）のＣＧデータＫ１～Ｋ１１は、フィッティング後の推定した骨格情報である。骨格推定装置１００は、推定した骨格情報（ＣＧデータＫ１～Ｋ１１）に対し、不良骨格の有無を検出する。

【0046】

図５（ａ）に示す実際の画像では、跳馬のひねり技で選手が１回の宙返り（上下回転）中に左右に１・１／２回のひねりを行っている。特にＦ３～Ｆ６の間で１回のひねりを行っている。これに対し、図５（ｂ）で推定した骨格情報では、ＣＧデータＫ３～Ｋ６について、ひねりがない状態である。

【0047】

骨格推定装置１００は、図４等に示す処理により、実際の動きと異なる部分のＣＧデータＫ３～Ｋ６部分の不良骨格を検出する。これにより、推定した骨格情報について、隣接したフレーム間の関節の変化としては人体の動作としておかしくない動きであるものの、実際の動きと異なる部分的な骨格情報（ＣＧデータＫ３～Ｋ６）を不良骨格ＮＧとして検出できるようになる。

【0048】

骨格推定装置１００は、検出した不良骨格ＮＧの骨格情報（ＣＧデータＫ３～Ｋ６）部分について、再度の骨格推定を行うことで、この不良骨格ＮＧ部分の骨格情報を正しいものに修正することができるようになる。

【0049】

（体操採点支援システムへの適用例）
図６は、実施の形態の骨格推定装置を含む体操採点支援システムの構成例を示す図である。骨格推定装置１００の制御部１１０は、体操競技で選手が実施する技を採点する採点者に対し、採点に有用な情報として、選手が所定期間で実施する技の骨格情報（例えば姿勢）を提供する。

【0050】

図示のように、３Ｄレーザーセンサー６０１は、体操競技の技Ａを実施する選手Ｈを撮像し、各直交するＸ，Ｙ，Ｚ軸それぞれの距離情報を含む画像（３次元点群）を、所定期間（技の開始ｔｓ～終了ｔｅ）の複数フレームを骨格推定装置１００に出力する。３Ｄレーザーセンサー６０１は、例えば、複数配置されそれぞれ選手Ｈを撮像することで、多視点の画像を骨格推定装置１００に出力する。

【0051】

骨格推定装置１００は、骨格認識部６０２、機械学習部６０３、フィッティング部６０４、技認識部６０５を含む。骨格推定装置１００は、技データベース（ＤＢ）６６０にアクセス可能である。

【0052】

機械学習部６０３は、深度画像６３１と関節座標６３２に基づき、３次元の骨格情報を学習モデル６３３として保持し、骨格認識部６０２に出力する。

【0053】

骨格認識部６０２は、選手Ｈの技の期間中における選手Ｈの骨格を各フレーム単位で認識処理し、フレーム単位で選手Ｈの３次元の関節座標を出力する。骨格認識部６０２は、深度画像生成部６２１、ディープラーニング部６２２、３Ｄ関節座標生成部６２３を含む。

【0054】

深度画像生成部６２１は、複数の３Ｄレーザーセンサー６０１が出力する３次元点群の情報に基づき、選手Ｈに対する多視点の深度画像を生成する。ディープラーニング部６２２は、機械学習部６０３の学習モデル６３３にアクセスして、深度画像生成部６２１が生成した多視点の深度画像を学習し、３次元の骨格情報を得る。３Ｄ関節座標生成部６２３は、選手Ｈのフレームごとの３次元の関節座標の情報を生成する。

【0055】

フィッティング部６０４は、骨格認識部６０２（３Ｄ関節座標生成部６２３）が出力する３次元の関節座標を、フレームごとに選手Ｈの深度画像にフィッティングさせる処理を行う。この際、フィッティング部６０４は、３Ｄ関節座標生成部６２３が出力する３次元の関節座標を一次骨格６４１として認識する。

【0056】

フィッティング部６０４は、この一次骨格６４１の各関節位置について、図中矢印方向に位置探索し、選手Ｈの深度画像（体幹）にフィッティングさせ、フィッティング後の３Ｄ関節座標６４２を得る。フィッティング後の３Ｄ関節座標６４２は、一次骨格を基に選手Ｈの体形に対応させたより高精度な骨格情報であり、上述した、推定した骨格情報（姿勢）として用いられる。

【0057】

技認識部６０５は、体操競技の各種技の技データベース６６０にアクセスし、技データベース６６０の技と一致する運動（選手Ｈが実施した技）を判定する。技認識部６０５は、技名ごとの特徴量（運動特徴量）、条件が予め設定された技認識テーブル６５１を保持する。

【0058】

上述した実施の形態で説明した、推定した骨格情報に対する不良骨格の検出は、この技認識部６０５が実施する。不良骨格の検出時、骨格推定装置１００は、不良骨格のフレーム、例えば、上述したＣＧデータＫ３～Ｋ６部分の情報に対しフィッティング部６０４によるフィッティングの処理を再度実施する。

【0059】

技認識部６０５が行う選手の骨格情報や各関節の角度、実施した技情報などの情報は、採点者に骨格（例えば姿勢）の情報として出力される。

【0060】

（特徴量別の不良骨格検出の構成例）
図７は、特徴量別の不良骨格検出の機能例を示すブロック図である。図７では、特徴量の大きさ（ひねり量）別の不良骨格の検出例を説明する。図７に示す不良骨格検出の機能は、図６に示す技認識部６０５に設けられる。

【0061】

図７において、図２と同様の構成には同一の符号を付している。図７に示す骨格推定装置１００は、図２同様の骨格取得部２０１、特徴量算出部２０２、近似３次曲線算出部２０３、尤度算出部２０４、不良骨格検出部２０５、を含む。また、算出方法判定部７０３、算出区間記憶部７０４、複数区間近似３次曲線算出部７０５、複数相関係数算出部７０６、相関係数算出部７０７、最大最小値算出部７０８、誤差算出部７０９を含む。

【0062】

ここで、算出方法判定部７０３は、技全体の運動特徴量の大きさ別に異なる尤度の算出方法を判定する。下記例では、運動特徴量の大きさ別にケース１～ケース３の３通りに場合分けする。

【0063】

ケース１：例えば、運動特徴量が予め設定した範囲未満の場合、各フレームの特徴量の最大値と最小値から尤度を算出する。ケース１では、最大最小値算出部７０８が機能する。

【0064】

ケース２：運動特徴量が予め設定した範囲内の場合、予め設定した複数の分割区間毎に多次元関数による近似線を算出する。そして、複数の算出した近似線と運動特徴量との相関係数のうち、最大の相関係数から尤度を算出する。ケース２では、算出区間記憶部７０４、複数区間近似３次曲線算出部７０５と複数相関係数算出部７０６が機能する。

【0065】

ケース３：運動特徴量が予め設定した範囲を超える場合、技の開始ｔｓ～終了ｔｅまでの特徴量から多次元関数による近似線を算出する。ケース３では、近似３次曲線算出部２０３と相関係数算出部７０７が機能する。このケース３は、図２の機能構成に対応している。

【0066】

骨格取得部２０１は、３Ｄレーザーセンサー等から選手の３次元の骨格情報を取得する。特徴量算出部２０２は、技の開始ｔｓ～終了ｔｅまでの各フレームの特徴量を算出する。

【0067】

算出方法判定部７０３は、特徴量算出部２０２が算出した特徴量の大きさに応じてケース１～ケース３を場合分けし、各ケース１～ケース３に応じた機能部を機能させる。

【0068】

特徴量の大きさが予め設定した範囲未満の場合、算出方法判定部７０３は、ケース１と判定し、該当する最大最小値算出部７０８を機能させる。また、特徴量の大きさが予め設定した範囲以内の場合、算出方法判定部７０３は、ケース２と判定し、該当する複数区間近似３次曲線算出部７０５と複数相関係数算出部７０６を機能させる。また、特徴量の大きさが予め設定した範囲を超える場合、算出方法判定部７０３は、ケース３と判定し、該当する近似３次曲線算出部２０３と相関係数算出部７０７を機能させる。

【0069】

ケース１の場合、特徴量が範囲未満、例えば、跳馬でひねり量がない技の場合に相当する。この場合、最大最小値算出部７０８は、技の開始ｔｓ～終了ｔｅまでの間の特徴量の最大値と最小値を算出する。

【0070】

ケース２の場合、特徴量が範囲以内、例えば、跳馬でひねり量が１／２回のひねり技の場合に相当する。この場合、複数区間近似３次曲線算出部７０５は、算出区間記憶部７０４に記憶された分割区間、すなわち、技の開始ｔｓ～終了ｔｅまでの所定期間を複数に分割した分割区間のそれぞれで近似３次曲線を算出する。また、複数相関係数算出部７０６は、分割区間のそれぞれについて累積ひねり角度と近似３次曲線の相関係数を算出する。

【0071】

ケース３の場合、特徴量が範囲を超え、例えば、跳馬でひねり量が１回を超えるひねり技の場合に相当する。この場合、近似３次曲線算出部２０３は、技の開始ｔｓ～終了ｔｅまでの特徴量から多次元関数による近似線を算出する。また、相関係数算出部７０７は、累積ひねり角度と近似３次曲線の相関係数を算出する。

【0072】

尤度算出部２０４は、上記ケース１～ケース３それぞれの出力に基づき、算出した近似線と運動特徴量との相関係数から尤度を算出する。誤差算出部７０９は、尤度算出部２０４が算出した尤度が予め設定した閾値との差（誤差）を算出する。不良骨格検出部２０５は、誤差尤度が予め設定した閾値より小さい場合、近似線と運動特徴量の差が最大のフレームを算出する。これにより、推定した骨格情報のうち、不良骨格の部分の最大誤差のフレームを検出できる。また、最大誤差のフレームに対する再度の骨格推定を行うことができるようになる。

【0073】

（ケース１の処理例）
図８は、特徴量が範囲未満のケース１の場合の説明図である。図８の横軸は時間、縦軸は累積ひねり角度である。図８においては、技がひねりなし、例えば、跳馬の第二空中局面の累積ひねり角度を示す。体操の技定義として、最終累積ひねり角度が９０°以上では１／２ひねり技となり、１回ひねり以上ではひねりあり技になる。このため、ひねりなし技は、最終累積ひねり角度が９０°未満である。最大最小値算出部７０８は、技の開始ｔｓ～終了ｔｅまでの所定期間におけるひねりの最大最小の角度を算出する。

【0074】

ここで、最終的な累積ひねり角度が９０°未満でひねりなし技と判定されたとしても、例えば、図８に示すように技を実施した区間の途中で一度９０°以上になった期間（Ｔ１）があったとする。この場合、一度９０°以上となったにも関わらず、最終的に累積ひねり角度が９０°未満になった場合は空中で逆回転をしたことになる。これは人体の動作として不可能な動きである。この場合、尤度算出部２０４は、所定期間の特徴量の累積量に基づき、尤度を低く出力することで、不良骨格検出部２０５により不良骨格として検出できる。

【0075】

（ケース３の処理例）
図９、図１０は、特徴量が範囲を超えたケース３の場合の説明図である。技が１回以上ひねりの場合、例えば、跳馬の第二空中局面の累積ひねり角度の場合を示す。図９（ａ），（ｂ）は、ケース３における近似線と運動特徴量との相関係数の例を示す図表である。横軸は時間、縦軸は累積ひねり角度である。近似３次曲線算出部２０３は、所定期間、すなわち技の開始ｔｓ～終了ｔｅまでの間における累積ひねり角度ａ（図中実線）から近似３次曲線ｂ（図中点線）を算出する。相関係数算出部７０７は、累積ひねり角度ａと近似３次曲線ｂの相関係数を算出する。

【0076】

尤度算出部２０４は、予め設定したパラメータの指数関数を利用して相関係数から尤度を算出する。図１０には、相関係数から尤度を算出する指数関数の一例を示す。図１０の横軸は相関係数、縦軸は尤度である。図１０に示すように、相関係数が予め設定した数値Ｘまでは尤度は高い数値になり、予め設定した数値Ｙ以下になると急激に尤度が低くなるように変換する指数関数を用いる。

【0077】

そして、不良骨格検出部２０５は、累積ひねり角度と近似３次曲線の類似の度合い（相関係数）に基づき、不良骨格の有無を検出する。骨格が正しい場合は、図９（ａ）に示すように、累積ひねり角度ａと近似３次曲線ｂが類似しており、相関係数が高い。これにより、制御部１１０は、所定期間（技の開始ｔｓ～終了ｔｅまでの間）において推定した骨格情報が正しいと判断する。

【0078】

一方、骨格が誤っている場合は、図９（ｂ）に示すように、累積ひねり角度ａと近似３次曲線ｂに差があり、相関係数が低い。これにより、不良骨格検出部２０５は、所定期間（技の開始ｔｓ～終了ｔｅまでの間）において推定した骨格情報が誤っている部分があると判断する。この場合、不良骨格検出部２０５は、例えば、累積ひねり角度ａと近似３次曲線ｂに差があり、相関係数が低い期間Ｔ１，Ｔ２に対し、再度の骨格判定を行うことができる。

【0079】

（ケース２の処理例）
図１１Ａ，図１１Ｂは、特徴量が範囲以内のケース２の場合の説明図である。技が１／２ひねり、例えば、跳馬の第二空中局面の累積ひねり角度の場合を示す。このケース２では、特徴量の検出について、基本的に上記ケース３の１回以上ひねりと同じ手法とする。但し、１／２ひねり技ではひねり数が少ないため、実施した技全体でひねらず、技を実施した区間の最初付近だけでひねるパターンや、技を実施した区間の最後付近だけでひねるパターンが存在することを考慮する。

【0080】

図１１Ａは、全体の技のうち最初付近だけでひねりの技を実施した時の説明図、図１１Ｂは、全体の技のうち最後付近だけでひねりの技を実施した時の説明図である。これらの図の横軸は時間、縦軸は累積ひねり角度である。

【0081】

図１１Ａ，図１１Ｂに示すパターンにおいて、実施した技全体で累積ひねり角度ａと近似３次曲線ｂの相関係数を算出すると、これら図１１Ａ（ａ），図１１Ｂ（ａ）に示すように尤度が低くなる。

【0082】

このため、技が１／２ひねりの場合には、技を実施した区間全体に対してではなく、技を実施した開始ｔｓ～終了ｔｅまでを複数の分割区間に分割し、各分割区間同士の一部を時間的に重ならせる。例えば、図１１Ａに示すように、３つの分割区間に分割し、前半の２／３の分割区間と後半の２／３の分割区間とし、各分割区間でそれぞれ近似３次曲線を算出する。

【0083】

例えば、全体の技のうち最初付近だけでひねりの技を実施する場合には、図１１Ａ（ｂ）に示すように、技の開始ｔｓ～時期ｔ２までの前半の２／３の分割区間と、時期ｔ１～終了ｔｅまでの後半の２／３の分割区間でそれぞれ近似３次曲線を算出する。これにより、前半の２／３の分割区間における尤度が高くなり、前半で実施したひねりの技を推定した骨格情報に対して不良骨格を精度よく検出できるようになる。

【0084】

同様に、全体の技のうち最後付近だけでひねりの技を実施する場合においても、図１１Ｂ（ｂ）に示すように、前半の２／３の分割区間と後半の２／３の分割区間でそれぞれ近似３次曲線を算出する。これにより、後半の２／３の分割区間における尤度が高くなり、後半で実施したひねりを推定した骨格情報に対して不良骨格を精度よく検出できるようになる。

【0085】

図１２は、特徴量別の不良骨格検出の処理例を示すフローチャートである。骨格推定装置１００の制御部１１０が行う図７の機能、および図８～図１１Ｂの各説明に対応した処理例を示す。

【0086】

はじめに、制御部１１０は、３Ｄレーザーセンサー等から選手の３次元の骨格情報を取得する（ステップＳ１２０１）。次に、制御部１１０は、技の開始ｔｓ～終了ｔｅまでの各フレームの特徴量を算出する（ステップＳ１２０２）。

【0087】

次に、制御部１１０は、特徴量の大きさを判断し、大きさ別の処理に移行する（ステップＳ１２０３）。特徴量が予め設定した範囲未満の場合、ケース１と判定し（ステップＳ１２０３：ケース１）、ステップＳ１２０４の処理に移行する。また、特徴量が予め設定した範囲内の場合、ケース２と判定し（ステップＳ１２０３：ケース２）、ステップＳ１２０５の処理に移行する。また、特徴量が予め設定した範囲を超える場合、ケース３と判定し（ステップＳ１２０３：ケース３）、ステップＳ１２０７の処理に移行する。

【0088】

ケース１の場合、制御部１１０は、所定期間（技の開始ｔｓ～終了ｔｅ）までの間の特徴量の最大値と最小値を算出し（ステップＳ１２０４）、ステップＳ１２０９の処理に移行する。

【0089】

ケース２の場合、制御部１１０は、所定期間（技の開始ｔｓ～終了ｔｅ）までの期間について、予め記憶した複数の区間別に多次元関数による近似線を算出する（ステップＳ１２０５）。この後、制御部１１０は、複数区間のそれぞれで算出した近似線と運動特徴量との相関係数を求め（ステップＳ１２０６）、ステップＳ１２０９の処理に移行する。

【0090】

ケース３の場合、制御部１１０は、所定期間（技の開始ｔｓ～終了ｔｅ）までの間の特徴量から近似３次曲線を算出する（ステップＳ１２０７）。この後、制御部１１０は、算出した３次近似曲線と特徴量との相関係数を算出し（ステップＳ１２０８）、ステップＳ１２０９の処理に移行する。

【0091】

次に、制御部１１０は、尤度を算出する（ステップＳ１２０９）。ここで、ケース２，３の処理データに対しては、算出した近似線と運動特徴量との相関係数から尤度を算出する。一方、ケース１の処理データに対しては、制御部１１０は、相関を用いず特徴量（ひねり角度の最大値と最小値、図８の説明）に基づき、不可能な動きに対して尤度を低く出力する。

【0092】

この後、制御部１１０は、尤度が予め設定した閾値より小さい場合、近似線と運動特徴量の誤差を算出する（ステップＳ１２１０）。そして、制御部１１０は、誤差が所定値以上のフレームを算出することで、推定した骨格情報のうち、不良骨格の部分のフレームを検出する（ステップＳ１２１１）。

【0093】

これにより、制御部１１０は、所定期間（技の開始ｔｓ～終了ｔｅ）において推定した骨格に対する不良骨格の有無を検出できるようになる。例えば、図５のＣＧフレームＫ３～Ｋ６が不良骨格ＮＧとして検出できる。これにより、制御部１１０は、検出した不良骨格ＮＧの部分に対し再度の骨格判定を行うことができる。

【0094】

（他の技に対する不良骨格の検出例）
上述した実施の形態では、体操の跳馬の競技を例とし、運動特徴量が”運動ひねり量”である場合の不良骨格の検出例について説明した。実施の形態では、体操競技に限らず、人体の関節の移動変化に基づき推定した骨格に対する不良骨格を検出できる。

【0095】

図１３は、他の特徴量に対する不良骨格の検出の説明図である。この図１３には、跳馬の第二空中局面の累積宙返り角度運動特徴量が”宙返り（上下回転）”の場合の近似線と運動特徴量との相関状態を示す。

【0096】

運動特徴量が”宙返り”の場合、１次直線を用いて累積宙返り角度との相関をとることができる。この場合、制御部１１０は、累積宙返り角度から近似直線（１次直線）を算出する。この後、制御部１１０は、累積宙返り角度と近似直線の相関係数を算出する。この後、制御部１１０は、予め設定したパラメータの指数関数を利用して相関係数から尤度を算出する。ここで、相関係数から尤度を算出する指数関数の一例として、図１０に示したひねりの場合と同様の指数係数を利用することができる。

【0097】

そして、制御部１１０は、累積宙返り角度と近似直線の類似の度合い（相関）に基づき推定した骨格について不良骨格を検出できるようになる。図１３（ａ）に示す例では、累積宙返り角度ａと近似直線ｂが類似しており、相関係数が高いため、推定した骨格が正しいと判定できる。一方、図１３（ｂ）のように、累積宙返り角度ａと近似直線ｂに差がある場合、相関係数が低くなり、推定した骨格が誤っている不良骨格を検出できるようになる。

【0098】

このように、各種技等の異なる特徴量であっても、上述した所定期間（技の開始ｔｓ～終了ｔｅまでの間）における累積角度と、技に適した多次元関数との相関に基づき、不良骨格を検出できる。

【0099】

以上説明した実施の形態によれば、骨格推定装置は、所定期間における骨格の変化を推定した推定情報をフレーム単位で取得し、所定期間における骨格の変化の特徴量を算出し、算出した特徴量に基づいて近似線を算出し、算出した特徴量と、近似線との相関状態を算出し、相関状態に基づいて、所定期間の推定情報のうち推定が異常なフレーム部分を不良骨格として検出する。特徴量は骨格の変化に対応し、例えば、体のひねりや回転などである。これにより、推定した骨格のうち実際の動きと異なる部分を不良骨格として検出できるようになる。また、所定期間全体での骨格の変化に基づき不良骨格を判断する。これにより、従来の如く部分的な隣接フレーム間で急激な変化に基づく検出に比して、隣接フレーム間だけでは変化が少なく検出できない場合や、所定期間全体で変化する場合における不良骨格を検出できるようになる。

【0100】

また、骨格推定装置は、特徴量の大きさに応じて不良骨格を異なる方法で検出することで、特徴量、例えば、異なるひねり量別の骨格の推定情報のうち不良骨格を検出できるようになる。特徴量があらかじめ設定した範囲を超える場合、所定期間における特徴量から多次元関数による近似曲線を算出し、算出した特徴量と、近似曲線との相関係数から尤度を算出し、尤度が予め設定した閾値より小さい場合、特徴量と近似曲線との差分が最大のフレームを不良骨格として検出する。これにより、骨格の変化が大きい場合における骨格不良を正確に検出できるようになる。

【0101】

また、骨格推定装置は、特徴量があらかじめ設定した範囲内の場合、所定期間を複数に分割した各分割区間毎に特徴量から多次元関数による近似曲線をそれぞれ算出し、分割区間のそれぞれで算出した特徴量と、近似曲線との相関係数から尤度を算出し、尤度が予め設定した閾値より小さい場合、特徴量と近似曲線との差分が最大のフレームを不良骨格として検出する。ここで、複数の分割区間同士の一部が時間的に重なるよう分割してもよい。これにより、分割区間毎に不良骨格を正確に検出できるようになる。例えば、所定期間のうち前半や後半のみでひねりを行った場合でも、分割区間を用いることで、ひねりの推定情報に対する不良骨格を正確に検出できるようになる。

【0102】

また、骨格推定装置は、特徴量があらかじめ設定した範囲未満の場合、所定期間における特徴量の最大値と最小値を算出し、算出した最大値と最小値を含む特徴量の累積量に基づき尤度を算出し、尤度に基づき不良骨格を検出する。これにより、特徴量の変化が小さい場合でも推定情報に対する不良骨格を正確に検出できるようになる。例えば、所定期間においてひねりを行わない場合における骨格の推定情報に対する不良骨格を正確に検出できるようになる。

【0103】

また、骨格推定装置は、検出された不良骨格のフレーム部分に対して再度、骨格の推定を行うことができる。これにより、所定期間全体にわたり正確な骨格情報を外部に提示できるようになる。

【0104】

また、上記の骨格推定装置は、選手が技を実施する体操競技の体操採点支援システムに適用できる。体操採点支援システムは、３Ｄレーザーセンサーにより、選手を撮像し、距離情報を含む３次元点群の画像を骨格推定装置がフレーム単位で取得し、３次元点群の画像から深度画像を生成し、深度画像から事前に学習した学習モデルに基づき、選手の３次元の骨格を認識する骨格認識部と、３次元点群と３次元骨格とに基づき、選手の骨格に適合した３次元の骨格を推定情報として出力するフィッティング部と、制御部とを有する。制御部は、技別の特徴量が予め設定され、選手による所定の技の実施に対応してフィッティング部が出力する推定情報のうち不良骨格を検出する。これにより、所定期間にわたる選手の骨格の変化を推定し、選手が所定期間で実施する技に対応した骨格情報を採点者に提示する。採点者は、目視のみに限らず、骨格推定装置が提示する骨格情報を用いて選手が実施した体操の技、例えば、各関節の角度等に基づいてより正確な採点ができるようになる。

【0105】

また、骨格推定装置は、推定情報を体操競技の採点者に提示し、不良骨格の検出時には、不良骨格のフレーム部分に対して再度、骨格の推定を実施した後の推定情報を提示する、これにより、骨格推定装置は、常に正しく推定した骨格情報を採点者に提示でき、骨格推定装置が提示する推定した骨格情報の信頼性を向上できるようになる。

【0106】

以上のことから、実施の形態によれば、所定期間全体で変化する骨格を正しく検出でき、推定した骨格情報の一部に不良骨格がある場合でも、この不良骨格を検出し再度、骨格を推定できるようになる。実施の形態の骨格の推定は、体操競技に限らず、医療における患者の検査や監視等、各種分野における骨格推定に適用できる。

【0107】

なお、本発明の実施の形態で説明した骨格推定方法は、予め用意されたプログラムをサーバ等のプロセッサに実行させることにより実現することができる。本骨格推定方法は、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本骨格推定方法は、インターネット等のネットワークを介して配布してもよい。

【0108】

上述した実施の形態に関し、さらに以下の付記を開示する。

【0109】

（付記１）所定期間における骨格の変化を推定した推定情報をフレーム単位で取得し、
前記所定期間における骨格の変化の特徴量を算出し、
算出した前記特徴量に基づいて近似線を算出し、
算出した前記特徴量と、前記近似線との相関状態を算出し、
前記相関状態に基づいて、前記所定期間の前記推定情報のうち推定が異常な前記フレーム部分を不良骨格として検出する制御部、
を備えたことを特徴とする骨格推定装置。

【0110】

（付記２）前記制御部は、
前記特徴量があらかじめ設定した範囲を超える場合、前記所定期間における前記特徴量から多次元関数による近似曲線を算出し、
算出した前記特徴量と、前記近似曲線との相関係数から前記所定期間における前記特徴量に対する尤度を算出し、
前記尤度が予め設定した閾値より小さい場合、前記特徴量と前記近似曲線との差分が最大の前記フレームを前記不良骨格として検出する、
ことを特徴とする付記１に記載の骨格推定装置。

【0111】

（付記３）前記制御部は、
前記特徴量があらかじめ設定した範囲内の場合、前記所定期間を複数に分割した各分割区間毎に前記特徴量から多次元関数による近似曲線をそれぞれ算出し、
前記分割区間のそれぞれで算出した前記特徴量と、前記近似曲線との相関係数から尤度を算出し、
前記尤度が予め設定した閾値より小さい場合、前記特徴量と前記近似曲線との差分が最大の前記フレームを前記不良骨格として検出する、
ことを特徴とする付記１に記載の骨格推定装置。

【0112】

（付記４）前記制御部は、
複数の前記分割区間同士の一部が時間的に重なるよう分割することを特徴とする付記３に記載の骨格推定装置。

【0113】

（付記５）前記制御部は、
前記特徴量があらかじめ設定した範囲未満の場合、前記所定期間における前記特徴量の最大値と最小値を算出し、
算出した前記最大値と最小値を含む前記特徴量の累積量に基づき尤度を算出し、
前記尤度に基づき前記不良骨格を検出する、
ことを特徴とする付記１に記載の骨格推定装置。

【0114】

（付記６）前記制御部は、
検出された前記不良骨格の前記フレーム部分に対して再度、骨格の推定を行うことを特徴とする付記１に記載の骨格推定装置。

【0115】

（付記７）前記特徴量は、前記所定期間において予め想定した人体の所定の運動に対応する運動特徴量であることを特徴とする付記１～６のいずれか一つに記載の骨格推定装置。

【0116】

（付記８）コンピュータが、
所定期間における骨格の変化を推定した推定情報をフレーム単位で取得し、
前記所定期間における骨格の変化の特徴量を算出し、
算出した前記特徴量に基づいて近似線を算出し、
算出した前記特徴量と、前記近似線との相関状態を算出し、
前記相関状態に基づいて、前記所定期間の前記推定情報のうち推定が異常な前記フレーム部分を不良骨格として検出する、
処理を実行することを特徴とする骨格推定方法。

【0117】

（付記９）選手が技を実施する体操競技の体操採点システムであって、
所定期間にわたる前記選手の骨格の変化を推定した推定情報をフレーム単位で取得し、
前記所定期間における骨格の変化の特徴量を算出し、
算出した前記特徴量に基づいて近似線を算出し、
算出した前記特徴量と、前記近似線との相関状態を算出し、
前記相関状態に基づいて、前記所定期間の前記推定情報のうち推定異常な前記フレーム部分を不良骨格として検出する制御部、
を備えたことを特徴とする体操採点システム。

【0118】

（付記１０）前記選手を撮像し、距離情報を含む３次元点群の画像をフレーム単位で出力する３Ｄレーザーセンサーと、骨格推定装置と、を備え、
前記骨格推定装置は、
前記３次元点群の画像から深度画像を生成し、前記深度画像から事前に学習した学習モデルに基づき、前記選手の３次元の骨格を認識する骨格認識部と、
前記３次元点群と前記３次元の骨格とに基づき、前記選手の骨格に適合した３次元の骨格を推定情報として出力するフィッティング部と、を有し、
前記制御部は、
前記技別の特徴量が予め設定され、前記選手による所定の技の実施に対応して前記フィッティング部が出力する前記推定情報のうち前記不良骨格を検出する、
ことを特徴とする付記９に記載の体操採点システム。

【0119】

（付記１１）前記制御部は、前記推定情報を体操競技の採点者に提示し、
前記不良骨格の検出時には、前記不良骨格の前記フレーム部分に対して再度、骨格の推定を実施した後の前記推定情報を提示する、
ことを特徴とする付記１０に記載の体操採点システム。

【0120】

（付記１２）前記特徴量は、前記選手が実施する技別に異なる運動特徴量であることを特徴とする付記１１に記載の体操採点システム。

【0121】

（付記１３）前記技は、ひねり、宙返りを含むことを特徴とする付記１２に記載の体操採点システム。

【符号の説明】

【0122】

１００ 骨格推定装置
１１０ 制御部
２０１ 骨格取得部
２０２ 特徴量算出部
２０３ 近似３次曲線算出部
２０４ 尤度算出部
２０５ 不良骨格検出部
３０１ ＣＰＵ
３０２ メモリ
３０３ ネットワークインタフェース
３０５ 記録媒体
３１０ ネットワーク
６０１ ３Ｄレーザーセンサー
６０２ 骨格認識部
６０３ 機械学習部
６０４ フィッティング部
６０５ 技認識部
６３３ 学習モデル
６５１ 技認識テーブル
６６０ 技データベース
７０３ 算出方法判定部
７０４ 算出区間記憶部
７０５ 複数区間近似３次曲線算出部
７０６ 複数相関係数算出部
７０７ 相関係数算出部
７０８ 最大最小値算出部
７０９ 誤差算出部
Ｆ１～Ｆ１１ 複数フレーム
Ｋ１～Ｋ１１ ＣＧデータ
ＮＧ 不良骨格

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】