特許 7268754 評価方法、評価プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-25

(45)【発行日】2023-05-08

(54)【発明の名称】評価方法、評価プログラムおよび情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230426BHJP

   G06T 7/20 20170101ALI20230426BHJP

   G06V 20/64 20220101ALI20230426BHJP

【ＦＩ】

G06T7/00 300Z

G06T7/00 C

G06T7/00 660B

G06T7/20 300A

G06V20/64

【請求項の数】 11

(21)【出願番号】P 2021550882

(86)(22)【出願日】2019-10-03

(86)【国際出願番号】 JP2019039125

(87)【国際公開番号】W WO2021064942

(87)【国際公開日】2021-04-08

【審査請求日】2022-04-19

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】鈴木 達也

(72)【発明者】

【氏名】池田 弘

(72)【発明者】

【氏名】村上 亮

【審査官】笠田 和宏

(56)【参考文献】

【文献】国際公開第２０１８／２０７２９２（ＷＯ，Ａ１）

【文献】特開２０１５－１６７００８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３３５７９０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｖ ２０／６４

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
被写体までの距離をセンシングするセンサの測定データに基づく、前記被写体の点群データを取得し、
前記被写体に応じた３次元モデルを取得し、
前記３次元モデルを前記点群データに当てはめる処理を実行する際に、
前回の当てはめ処理の結果を初期値として設定した前記３次元モデルを前記点群データに当てはめる第１処理と、前回の当てはめ処理から今回の当てはめ処理までの時間による変化を基に予測された値を、初期値として設定した前記３次元モデルを前記点群データに当てはめる第２処理と、前記測定データを、骨格認識モデルに入力した結果を基にして算出された値を、初期値として設定した前記３次元モデルを前記点群データに当てはめる第３処理とを実行し、
前記第１処理の結果の尤度と、前記第２処理の結果の尤度と、前記第３処理の結果の尤度とを基にして、前記第１処理の結果と、前記第２処理の結果と、前記第３処理の結果とを評価し、
評価結果を基にして、前記第１処理の結果、前記第２処理の結果、前記第３処理の結果のうち、いずれかの結果を、前記被写体の骨格認識結果として、出力する
処理を実行することを特徴とする評価方法。

【請求項2】

前記第１処理、前記第２処理、前記第３処理を並列して実行することを特徴とする請求項１に記載の評価方法。

【請求項3】

前記評価する処理は、人体の動きに関する制限を更に用いて、前記第１処理の結果、前記第２処理の結果、前記第３処理の結果を評価することを特徴とする請求項２に記載の評価方法。

【請求項4】

前記評価する処理は、前記第１処理の結果を出力候補として初期設定し、前記第２処理の結果の尤度から、前記出力候補の尤度を減算した値が、閾値以上である場合に、前記第２処理の結果を前記出力候補に設定し、前記出力候補の尤度から前記第３処理の結果の尤度を減算した値が、閾値以上である場合に、前記第３処理の結果を前記出力候補に設定することを特徴とする請求項３に記載の評価方法。

【請求項5】

前記評価する処理は、前記出力候補に設定された結果と前記第２処理の結果との相違が所定範囲内であり、かつ、前記出力候補の尤度が、前記第２処理の結果の尤度未満である場合に、前記第２処理の結果を前記出力候補に設定し、
前記出力候補に設定された結果と前記第３処理の結果との相違が所定範囲内であり、かつ、前記出力候補の尤度が、前記第３処理の結果の尤度未満である場合に、前記第３処理の結果を前記出力候補に設定することを特徴とする請求項４に記載の評価方法。

【請求項6】

前記３次元モデルは、人体の各部位に対応する複数の円柱を関節部分でそれぞれ接続した３次元モデルであり、前記第１処理、前記第２処理、前記第３処理は、前記３次元モデルの関節角度を変化させ、前記関節角度を変化させた前記３次元モデルと、前記点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が所定条件を満たすまで繰り返し実行することを特徴とする請求項１～５のいずれか一つに記載の評価方法。

【請求項7】

前記第１処理、前記第２処理、前記第３処理は、前記関節角度を変化させる方向を、人体の可動方向に限定することを特徴とする請求項６に記載の評価方法。

【請求項8】

前記被写体の点群データを基にして、前記被写体による一連の動作におけるシーンを特定する処理を更に実行し、前記第１処理、前記第２処理、前記第３処理は、前記シーンを基にして、前記評価関数の値を補正することを特徴とする請求項６に記載の評価方法。

【請求項9】

前記第１処理、前記第２処理、前記第３処理は、前記シーンを基にして、前記関節角度を変化させる場合の制約条件を設定し、前記制約条件を満たす範囲で、前記関節角度を変化させることを特徴とする請求項８に記載の評価方法。

【請求項10】

コンピュータに、
被写体までの距離をセンシングするセンサの測定データに基づく、前記被写体の点群データを取得し、
前記被写体に応じた３次元モデルを取得し、
前記３次元モデルを前記点群データに当てはめる処理を実行する際に、
前回の当てはめ処理の結果を初期値として設定した前記３次元モデルを前記点群データに当てはめる第１処理と、前回の当てはめ処理から今回の当てはめ処理までの時間による変化を基に予測された値を、初期値として設定した前記３次元モデルを前記点群データに当てはめる第２処理と、前記測定データを、骨格認識モデルに入力した結果を基にして算出された値を、初期値として設定した前記３次元モデルを前記点群データに当てはめる第３処理とを実行し、
前記第１処理の結果の尤度と、前記第２処理の結果の尤度と、前記第３処理の結果の尤度とを基にして、前記第１処理の結果と、前記第２処理の結果と、前記第３処理の結果とを評価し、
評価結果を基にして、前記第１処理の結果、前記第２処理の結果、前記第３処理の結果のうち、いずれかの結果を、前記被写体の骨格認識結果として、出力する
処理を実行させることを特徴とする評価プログラム。

【請求項11】

被写体までの距離をセンシングするセンサの測定データを取得して、前記測定データを点群データに変換する取得部と、
前記被写体に応じた３次元モデルを取得し、前記３次元モデルを前記点群データに当てはめる処理を実行する際に、前回の当てはめ処理の結果を初期値として設定した前記３次元モデルを前記点群データに当てはめる第１算出部と、
前記被写体の３次元モデルを取得し、前回の当てはめ処理から今回の当てはめ処理までの時間による変化を基に予測された値を、初期値として設定した前記３次元モデルを前記点群データに当てはめる第２算出部と、
前記測定データを、骨格認識モデルに入力した結果を基にして算出された値を、初期値として設定した前記３次元モデルを前記点群データに当てはめる第３算出部と、
前記第１算出部から出力される第１処理結果の尤度と、前記第２算出部から出力される第２処理結果の尤度と、前記第３算出部から出力される第３処理結果の尤度とを基にして、前記第１処理結果と、前記第２処理結果と、前記第３処理結果とを評価する評価部と、
評価結果を基にして、前記第１処理結果、前記第２処理結果、前記第３処理結果のうち、いずれかの結果を、前記被写体の骨格認識結果として、出力する出力制御部と
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価方法等に関する。

【背景技術】

【0002】

レーザセンサ等の距離画像測定装置を用いて、被写体の３次元点群を測定し、被写体の骨格等を認識する従来技術がある。図２８は、従来技術を説明するための図である。図２８に示すように、従来技術では、事前に準備したモデル１ｂを３次元点群１ａに当てはめ、当てはめたモデル１ｂの状態を手がかりとして、被写体の骨格情報１ｃを特定することで、３次元の骨格認識を行っている。

【0003】

以下の説明では、３次元点群１ａにモデル１ｂを当てはめる処理を「フィッティング」と表記する。また、レーザセンサ等の距離画像測定装置を「センサ」と表記する。なお、３次元点群１ａは、センサによって測定される距離画像から変換される情報である。距離画像では、点と距離値とをそれぞれ対応付ける。３次元点群１ａの各点は、直交座標系の座標情報と対応付けられる。

【0004】

フィッティングで用いられるモデル１ｂは、人体の各部位をそれぞれ円柱で表現した円筒モデルである。円筒モデルを構成する各円柱の太さと長さは、事前に決まっている。従来技術では、モデル１ｂの各関節角度をそれぞれ変えながら、３次元点群１ａに最もフィットする各関節角度を探索する。

【0005】

ここで、センサは、所定のフレームレートで、距離画像を連続して測定している。従来技術では、距離画像に対する３次元点群に対して、フィッティングを順次実施するが、フィッティング実施時には、初めに、３次元点群に対するモデルの初期値を設定する。たとえば、モデルの初期値には、モデルの位置、モデルの各関節角度等が含まれる。以下の説明では、連続する複数の距離画像のうち、ある一つの距離画像に対する３次元点群の情報を「点群フレーム」と表記する。

【0006】

初期値を特定する場合、従来技術では、前の点群フレームに対して実施したフィッティング結果を、初期値として流用する。または、従来技術では、フィッティングの対象となる点群フレームと同一の点群フレーム（あるいは、点群フレームに対応する距離画像）を、Deep Learning等の機械学習を利用した別の骨格認識手段に入力して、初期値を算出している。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０１８／２０７２９２号

【文献】国際公開第２０１９／０３０７９４号

【非特許文献】

【0008】

【文献】X.Wei et al.,“Accurate Realtime Full-body Motion Capture Using a Single Depth Camera,”ACM Transactions on Graphics,Vol.31,No.6,Article 188(2012)

【発明の概要】

【発明が解決しようとする課題】

【0009】

初期値の設定は、最終的な骨格認識結果に大きな影響を与えるため、初期値の精度を高めることが重要である。従来技術では、前の点群フレームに対して実施したフィッティング結果を初期値として流用することや、Deep Learning等の機械学習を利用した別の骨格認識手段に入力して、初期値を算出している。しかしながら、いずれも、被写体の動きが前の点群フレームから高速で変化すると、初期値の精度が低くなってしまう。

【0010】

また、被写体が演技を行っている際、あるタイミングの被写体の姿勢によっては、被写体の３次元点群の一部が消失し、骨格認識の精度が一時的に低下する場合がある。かかる骨格認識の結果を初期値として、次の点群フレームのフィッティングに流用すると、次の点群フレームにおいても、再度、骨格認識の精度が低下してしまう。また、３次元点群の一部が消失した情報を、Deep Learning等の機械学習による骨格認識手段に入力しても、骨格認識の精度が低下してしまうため、かかる骨格認識の結果を初期値として用いると、フィッティングによる骨格認識の精度の低下につながる。

【0011】

本発明は、上記に鑑みてなされたものであって、フィッティング型の骨格認識の最終出力結果の精度を向上させることができる評価方法、評価プログラムおよび情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0012】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、被写体までの距離をセンシングするセンサの測定データに基づく、被写体の点群データを取得し、被写体に応じた３次元モデルを取得する。コンピュータは、３次元モデルを点群データに当てはめる処理を実行する際に、前回の当てはめ処理の結果を初期値として設定した３次元モデルを点群データに当てはめる第１処理を実行する。コンピュータは、前回の当てはめ処理から今回の当てはめ処理までの時間による変化を基に予測された値を、初期値として設定した３次元モデルを点群データに当てはめる第２処理を実行する。コンピュータは、測定データを、骨格認識モデルに入力した結果を基にして算出された値を、初期値として設定した３次元モデルを点群データに当てはめる第３処理を実行する。コンピュータは、第１処理の結果の尤度と、第２処理の結果の尤度と、第３処理の結果の尤度とを基にして、第１処理の結果と、第２処理の結果と、第３処理の結果とを評価する。コンピュータは、評価結果を基にして、第１処理の結果、第２処理の結果、第３処理の結果のうち、いずれかの結果を、被写体の骨格認識結果として、出力する。

【発明の効果】

【0013】

フィッティング型の骨格認識の最終出力結果の精度を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施例１に係る情報処理システムの一例を示す図である。

【図2】図２は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。

【図3】図３は、Deep Learning等の機械学習による骨格認識モデルを説明するための図である。

【図4】図４は、円筒モデルデータの一例を示す図である。

【図5】図５は、優先テーブルのデータ構造の一例を示す図である。

【図6】図６は、本実施例１に係る評価処理部の構成を示す機能ブロック図である。

【図7】図７は、第１初期値を説明するための図である。

【図8】図８は、第２初期値を説明するための図である。

【図9】図９は、第３初期値を説明するための図である。

【図10】図１０は、ＥステップとＭステップとの関係を示す図である。

【図11】図１１は、Ｃｌｏｓｅ Ｐｏｉｎｔを説明するための図（１）である。

【図12】図１２は、Ｃｌｏｓｅ Ｐｏｉｎｔを説明するための図（２）である。

【図13】図１３は、画面情報の一例を示す図である。

【図14】図１４は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。

【図15】図１５は、フィッティング処理の処理手順を示すフローチャートである。

【図16】図１６は、評価処理の処理手順を示すフローチャートである。

【図17】図１７は、本実施例２に係る情報処理装置の処理を説明するための図である。

【図18】図１８は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。

【図19】図１９は、シーン切換判定テーブルのデータ構造の一例を示す図である。

【図20】図２０は、種目「跳馬」に対するシーン切換条件を示す図である。

【図21】図２１は、シーン限定テーブルのデータ構造の一例を示す図である。

【図22】図２２は、制約条件テーブルのデータ構造の一例を示す図である。

【図23】図２３は、本実施例２に係る評価処理部の構成を示す機能ブロック図である。

【図24】図２４は、変換量と評価関数の値との関係を示す図である。

【図25】図２５は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。

【図26】図２６は、シーン判定処理の処理手順を示すフローチャートである。

【図27】図２７は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図28】図２８は、従来技術を説明するための図である。

【発明を実施するための形態】

【0015】

以下に、本発明にかかる評価方法、評価プログラムおよび情報処理システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例1】

【0016】

図１は、本実施例１に係る情報処理システムの一例を示す図である。図１に示すように、この情報処理システムは、センサ１０ａ，１０ｂと、情報処理装置１００とを有する。センサ１０ａ，１０ｂと、情報処理装置１００とは、有線または無線によってそれぞれ接続されている。図１では、センサ１０ａ，１０ｂを示すが、情報処理システムは、他のセンサを有していてもよい。

【0017】

本実施例では一例として、被写体１が、器具上で一連の演技を行うものとするがこれに限定されるものではない。たとえば、被写体１は、器具の存在しない場所で演技を行ってもよいし、演技以外の動作を行ってもよい。

【0018】

センサ１０ａは、被写体１の表面とセンサ１０ａとの距離を測定する測定装置（レーザーセンサ）である。センサ１０ａは、測定結果となる距離画像のデータを、情報処理装置１００に出力する。距離画像のデータには、点群について、点と距離値とをそれぞれ対応付けた情報が含まれる。距離画像のデータは、「測定データ」に対応する。

【0019】

センサ１０ｂに関する説明は、センサ１０ａに関する説明と同様である。以下の説明では、適宜、センサ１０ａ，１０ｂをまとめて「センサ１０」と表記する。

【0020】

情報処理装置１００は、センサ１０から距離画像のデータを取得し、距離画像のデータを、３次元点群データに変換する。３次元点群データには、被写体表面を示す点群について、点と、３次元直交座標系の座標とをそれぞれ対応付けた情報が含まれる。

【0021】

情報処理装置１００は、３次元点群データに対して、３つの初期値を用いた３種類のフィッティングを実行し、最も確からしいフィッティング結果を、最終的な骨格認識結果として特定する。フィッティングは、３次元点群データに対して、円筒モデルを当てはめる処理である。円筒モデルに設定されるフィッティングの初期値には、円筒モデルの位置、離接する円筒モデル間の各関節角度等が含まれる。円筒モデルは「３次元モデル」に対応する。なお、人体の特定部位においては、必ずしも円筒である必要はなく、楕円筒、楕円体などであってもかまわない。

【0022】

３種類のフィッティングには、第１フィッティング、第２フィッティング、第３フィッティングが含まれる。第１フィッティングは「第１処理」に対応する。第２フィッティングは「第２処理」に対応する。第３フィッティングは「第３処理」に対応する。

【0023】

第１フィッティングでは、前回のフィッティングの結果を初期値として、円筒モデルに設定し、円筒モデルの関節角度を調整して、３次元点群データに当てはめる。第１フィッティングで用いる初期値を「第１初期値（Previous）」と表記する。

【0024】

第２フィッティングでは、前回のフィッティングから今回のフィッティングまでの時間変化を基に予測した値を初期値として、円筒モデルに設定し、円筒モデルの関節角度を調整して、３次元点群データに当てはめる。第２フィッティングで用いる初期値を「第２初期値（Predict）」と表記する。

【0025】

第３フィッティングでは、距離画像データを、Deep Learning等の機械学習による骨格認識モデルに入力した結果を基にして算出された値を初期値として、円筒モデルに設定し、円筒モデルの関節角度を調整して、３次元点群データに当てはめる。第３フィッティングで用いる初期値を「第３初期値（Skeleton）」と表記する。

【0026】

情報処理装置１００は、センサ１０から距離画像のデータを受け付ける度に、フィッティングによる最終的な骨格認識結果を特定する処理を繰り返し実行する。情報処理装置１００は、骨格認識結果の時系列情報を基にして、被写体１が行った技を認識し、各種競技の技認定、採点結果等を示す画面情報を生成して表示する。

【0027】

図２は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図２に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0028】

通信部１１０は、センサ１０から距離画像のデータを受信する処理部である。通信部１１０は、受信した距離画像のデータを、制御部１５０に出力する。通信部１１０は、通信装置の一例である。通信部１１０は、図示しない他の外部装置からデータを受信してもよい。

【0029】

入力部１２０は、情報処理装置１００の制御部１５０に各種の情報を入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。利用者は、入力部１２０を操作して、画面情報の表示要求、画面操作などを行う。また、利用者は、入力部１２０を操作して、被写体１が演技する種目のデータを制御部１５０に入力してもよい。

【0030】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、各種競技の技認定、採点結果等の画面情報を表示する。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。

【0031】

記憶部１４０は、測定テーブル１４１、骨格認識モデル１４２、円筒モデルデータ１４３、優先テーブル１４４、技認識テーブル１４５を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0032】

測定テーブル１４１は、センサ１０により測定される距離画像のデータを格納するテーブルである。たとえば、測定テーブル１４１は、距離画像のデータを時系列に格納する。測定テーブル１４１は、センサ１０ａに測定された各距離画像のデータと、センサ１０ｂに測定された各距離画像のデータとを区別して格納する。

【0033】

骨格認識モデル１４２は、学習データを基にして、事前に学習された骨格認識モデルのパラメータの集合である。図３は、骨格認識モデルを説明するための図である。たとえば、学習装置（図示略）は、学習データ５を用いて、骨格認識モデル６Ａの学習を行う。骨格認識モデル６Ａは、たとえば、ＮＮ（Neural Network）で構成される。学習データ５には、距離画像５ａと、その画像に含まれる人体の関節座標５ｂのデータが含まれる。

【0034】

学習装置は、距離画像５ａを骨格認識モデル６Ａに入力した際の出力が、関節座標５ｂに近づくように、骨格認識モデル６Ａのパラメータを学習する。学習されるパラメータには、ＮＮの重みやバイアス等が含まれる。学習処理によって学習されたパラメータを、骨格認識モデル６Ａに設定したものが、骨格認識モデル６Ｂとなる。学習装置によって学習された骨格認識モデル６Ｂのパラメータが、骨格認識モデル１４２として、記憶部１４０に格納される。

【0035】

骨格認識モデル６Ｂに、センサ１０が測定した距離画像３ａを入力することで、被写体１の関節座標３ｂが出力される。骨格認識モデル６Ｂは、後述する学習型骨格認識実行部１５２により実行される。

【0036】

円筒モデルデータ１４３は、被写体１となる人体の各部位を円筒（あるいは楕円柱など）で表現したモデルのデータであり、各円筒は、被写体１の関節に対応する部分で接続されている。図４は、円筒モデルデータの一例を示す図である。図４に示す例では、各円筒Ｍｄ１～Ｍｄ１４が含まれる。各円筒Ｍｄ１～Ｍｄ１４には円筒パラメータがそれぞれ設定されている。円筒パラメータには、円筒の高さ、円筒の半径等が含まれる。円筒モデルデータ１４３を構成する各円筒Ｍｄ１～Ｍｄ１４の高さ、半径、長径等は、被写体１に合わせて予め調整されているものとする。つまり、被写体１の体型に合わせた円筒モデルデータがフィッティングに使用される。

【0037】

優先テーブル１４４は、第１初期値、第２初期値、第３初期値を用いてそれぞれフィッティングを実行した結果、いずれのフィッティング結果を優先するのかを定義するテーブルである。図５は、優先テーブルのデータ構造の一例を示す図である。図５に示すように、この優先テーブル１４４は、種目毎に優先するフィッティング結果が定められている。ｉの値が小さいほど、優先する初期値であることを示す。

【0038】

たとえば、種目「あん馬」に対する初期値の優先順は、第１処理の結果、第２処理の結果、第３処理の結果となる。被写体１の動きが遅い種目については、第１処理の結果を優先し、動きの速い種目については、第２処理の結果を優先する。

【0039】

技認識テーブル１４５は、各骨格認識結果に含まれる各関節位置の時系列変化と、技の種別とを対応付けるテーブルである。また、技認識テーブル１４５は、技の種別の組み合わせと、スコアとを対応付ける。スコアは、Ｄ（Difficulty）スコアとＥ（Execution）スコアとの合計で算出される。たとえば、Ｄスコアは、技の難易度に基づいて算出されるスコアである。Ｅスコアは、技の完成度に応じて、減点法により算出されるスコアである。

【0040】

制御部１５０は、取得部１５１、学習型骨格認識実行部１５２、変換部１５３、評価処理部１５４、技認識部１５５、画面情報出力制御部１５６を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。

【0041】

取得部１５１は、センサ１０から距離画像のデータを取得する処理部である。取得部１５１は、センサごとに取得した距離画像のデータを、測定テーブル１４１に格納する。また、取得部１５１は、複数センサの距離画像を３次元点群データに変換する点群統合処理、ノイズ除去処理を実行する。距離画像のデータには、それぞれフレーム番号が割り振られているものとする。

【0042】

３次元点群データに変換する点群統合処理について説明する。取得部１５１は、センサ１０ａの外部パラメータと、センサ１０ｂの外部パラメータとを基にして、各３次元点群データを統合する。外部パラメータには、センサ１０の位置、設置方位角度等の情報が含まれる。取得部１５１は、３次元点群データに、変換前の距離画像のフレーム番号と同一のフレーム番号が付与する。

【0043】

取得部１５１は、連続するフレーム番号について、各３次元点群データを統合する処理を繰り返し実行する。以下の説明において、フレーム番号ｎにおいて統合した結果となる３次元点群データを、フレーム番号ｎの「点群フレーム」と表記する。

【0044】

ノイズ除去処理について説明する。取得部１５１は、各フレーム番号の点群フレームについて、ノイズ除去処理を実行する。たとえば、取得部１５１は、点群フレームに含まれる３次元点群に対してクラスタリングを実行し、３次元点群を複数のクラスタに分類する。取得部１５１は、分類した各クラスタのうち、クラスタに属する点の数が閾値未満となるクラスタを、ノイズとして除去する。以下の説明では、点群フレームからノイズを除去したものを、単に、点群フレームと表記する。取得部１５１は、各点群フレームについて、上記処理を繰り返し実行する。

【0045】

取得部１５１は、各フレーム番号に対応する点群フレームを、評価処理部１５４に順次出力する。

【0046】

学習型骨格認識実行部１５２は、骨格認識モデル１４２を基にして、骨格認識モデルを実行する処理部である。学習型骨格認識実行部１５２が使用する骨格認識モデルは、図３において説明した骨格認識モデル６Ｂに対応する。学習型骨格認識実行部１５２は、測定テーブル１４１に格納された距離画像のデータを、骨格認識モデル６Ｂに入力して、関節座標のデータを算出する。関節座標のデータには、被写体１の各関節位置の３次元座標が含まれる。学習型骨格認識実行部１５２は、関節座標のデータに、距離画像のフレーム番号が付与する。

【0047】

学習型骨格認識実行部１５２は、フレーム番号の順に、距離画像のデータを、骨格認識モデル６Ｂに入力し、上記処理を繰り返し実行する。学習型骨格認識実行部１５２は、関節座標のデータを、変換部１５３に出力する。

【0048】

学習型骨格認識実行部１５２は、センサ１０ａに測定された距離画像のデータを、骨格認識モデル６Ｂに入力してもよいし、センサ１０ｂに測定された距離画像のデータを、骨格認識モデル６Ｂに入力してもよい。

【0049】

変換部１５３は、関節座標のデータを、関節角度に変換する処理部である。学習型骨格認識により得られた各関節座標で定まる各部位の長さは、必ずしも、円筒モデルの各部位の長さと一致しないため、たとえば、変換部１５３は、学習型骨格認識によって得られた各関節座標から得られる各関節角度を、円筒モデルの関節角度に変換する。変換部１５３は、関節角度のデータを、評価処理部１５４に出力する。変換部１５３は、関節座標のデータに付与されたフレーム番号を、関節角度のデータに付与する。

【0050】

変換部１５３は、フレーム番号の順に、学習型骨格認識によって得られた関節座標のデータを、円筒モデルの関節角度のデータに変換する処理を、繰り返し実行する。

【0051】

評価処理部１５４は、３つの初期値を用いた３種類のフィッティングを実行し、それぞれのフィッティング結果を評価する処理部である。評価処理部１５４は、最も確からしいフィッティング結果を、最終的な骨格認識結果として、技認識部１５５に出力する。

【0052】

図６は、本実施例１に係る評価処理部の構成を示す機能ブロック図である。図６に示すように、この評価処理部１５４は、第１算出部１６１と、第２算出部１６２と、第３算出部１６３と、評価部１６４と、出力制御部１６５とを有する。

【0053】

第１算出部１６１は、第１フィッティングを実行する処理部である。第１算出部１６１は、フレーム番号ｎ－１の点群フレームからフィッティングにより特定された骨格認識結果データを、評価部１６４から取得しておく。骨格認識結果データから特定される円筒モデルデータ１４３の各関節角度を、第１初期値とする。以下の説明では、フレーム番号ｎ－１の点群フレームから特定された骨格認識結果データを、フレーム番号ｎ－１の骨格認識結果データと表記する。

【0054】

第１算出部１６１は、フレーム番号ｎの点群フレームに対して、フィッティングを実行する場合、円筒モデルデータ１４３の初期値として、第１初期値を設定する。第１算出部１６１は、ＥＭ（Expectation Maximization）アルゴリズムを用いて、評価関数の値が最小値となる円筒モデルデータ１４３の関節角度を算出する。第１算出部１６１は、第１フィッティングの結果と、尤度とを、評価部１６４に出力する。ここで、評価関数の値が小さいほど、点群のモデルとの距離が小さいことを示し、より確からしい（尤度が高い）ことを意味する。すなわち、「尤度は、評価関数の値の逆数」に対応する。

【0055】

図７は、第１初期値を説明するための図である。図７において、モデルＭ_ｎ－１は、フレーム番号ｎ－１の骨格認識結果データを示すものである。モデルＭ_１ｎは、第１初期値を設定した円筒モデルデータ１４３である。モデルＭ_１ｎの各関節角度は、モデルＭ_ｎ－１の各関節角度と同じである。

【0056】

第２算出部１６２は、第２フィッティングを実行する処理部である。第２算出部１６２は、フレーム番号ｎ－２、ｎ－１の点群フレームから特定された骨格認識結果のデータを、評価部１６４から取得しておき、各関節角度の直前の姿勢変化速度（角速度）を算出する。第２算出部１６２は、直前の姿勢変化速度Δθ_ｎ－１を、式（１）によって算出する。式（１）において、θ_ｎ－１は、フレーム番号ｎ－１の骨格認識結果のデータから特定される各関節角度を示す。θ_ｎ－２は、フレーム番号ｎ－２の骨格認識結果のデータから特定される各関節角度を示す。

【0057】

Δθ_ｎ－１＝θ_ｎ－１－θ_ｎ－２・・・（１）

【0058】

第２算出部１６２は、フレーム番号ｎの各関節角度θ_ｎを、式（２）によって予測する。第２算出部１６２は、式（２）によって予測した各関節角度θ_ｎを、第２初期値として用いる。

【0059】

θ_ｎ＝θ_ｎ－１＋Δθ_ｎ－１・・・（２）

【0060】

第２算出部１６２は、フレーム番号ｎの点群フレームに対して、フィッティングを実行する場合、円筒モデルデータ１４３の初期値として、第２初期値を設定する。第２算出部１６２は、ＥＭアルゴリズムを用いて、評価関数の値が最小値となる円筒モデルデータ１４３の関節角度を算出する。第２算出部１６２は、第２フィッティングの結果と、尤度とを、評価部１６４に出力する。

【0061】

図８は、第２初期値を説明するための図である。図８において、モデルＭ_ｎ－１は、フレーム番号ｎ－１の骨格認識結果データを示すものである。モデルＭ_ｎ－２は、フレーム番号ｎ－２の骨格認識結果データを示すものである。モデルＭ_２ｎは、第２初期値を設定した円筒モデルデータ１４３である。モデルＭ_２ｎの各関節角度は、モデルＭ_ｎ－１、Ｍ_ｎ－２の各関節角度から予測されるものである。

【0062】

第３算出部１６３は、第３フィッティングを実行する処理部である。第３算出部１６３は、変換部１５３から、フレーム番号ｎの関節角度のデータを取得し、第３初期値として用いる。

【0063】

第３算出部１６３は、フレーム番号ｎの点群フレームに対して、フィッティングを実行する場合、円筒モデルデータ１４３の初期値として、第３初期値を設定する。第３算出部１６３は、ＥＭアルゴリズムを用いて、評価関数の値が最小値となる円筒モデルデータ１４３の関節角度を算出する。第３算出部１６３は、第３フィッティングの結果と、尤度とを、評価部１６４に出力する。

【0064】

図９は、第３初期値を説明するための図である。図９において、学習型骨格認識結果ｍ_ｎは、フレーム番号ｎの距離画像のデータを、骨格認識モデル６Ｂに入力した際に得られる関節座標をつなぎ合わせたモデルである。モデルＭ_３ｎは、第３初期値を設定した円筒モデルデータ１４３である。学習型骨格認識結果ｍ_ｎの各関節角度と、モデルＭ_３ｎの各関節角度は同一である。

【0065】

続いて、第１算出部１６１が実行するＥＭアルゴリズムの一例について説明する。第２算出部１６２および第３算出部１６３が実行するＥＭアルゴリズムは、初期値が異なること以外、第１算出部１６１が実行するＥＭアルゴリズムと同様であるため、説明を省略する。

【0066】

第１算出部１６１は、ＥＭアルゴリズムにおいて、Ｅステップ、Ｍステップを繰り返し実行することで、円筒モデルデータ１４３の円筒パラメータ（各関節角度）を更新し、円筒パラメータを最適化する。

【0067】

Ｅステップでは、点群フレームに含まれる点群と、円筒モデルデータ１４３の各部位の表面残差、事後分布を点群割り当ての結果を元に算出し、評価関数を更新する。

【0068】

Ｍステップでは、Ｅステップで更新された評価関数に基づき、評価関数の値が最小となるように円筒パラメータを更新する。評価関数の値が小さいほど、点群と、円筒モデルデータ１４３の各部位とがより当てはまっていることを示す。

【0069】

図１０は、ＥステップとＭステップとの関係を示す図である。図１０のグラフの横軸は、姿勢（円筒パラメータに相当）に対応する軸である。図１０のグラフの縦軸は、評価関数の尤度に対応する軸である。たとえば、１回目のＥステップで更新した評価関数に基づき、Ｍステップを実行すると、極小値は、θ_ｏｌｄとなる。２回目のＥステップで更新した評価関数に基づき、Ｍステップを実行すると、極小値は、θ_ｎｅｗとなる。このように、Ｅステップ、Ｍステップを繰り返し実行することで、円筒パラメータが、最適点に近づいていく。本実施例１では、評価関数の値が小さいほど、より確からしいものとする。

【0070】

ここで、第１算出部１６１が実行するＥステップの一例について説明する。第１算出部１６１は、初期姿勢の円筒モデルデータ１４３と、点群フレームとを比較して、点群の事後分布ｐ_ｎｍを算出する。初期姿勢の円筒モデルデータ１４３は、第１初期値を、円筒モデルデータ１４３に設定したものである。

【0071】

事後分布ｐ_ｎｍは、式（３）によって定義される。式（３）に含まれる「ｎ」は、点群フレームに含まれる点を示すものであり、点群フレームに点がｎ_ａ個含まれている場合、ｎ＝１～ｎ_ａとなる。Ｍは、円筒モデルデータ１４３の各円筒（部位）を示すものであり、図４で示したように、各部位識別情報Ｍｄ１～Ｍｄ１４により識別される部位が１４個存在する場合、ｍ＝１～１４（Ｍｄ１～Ｍｄ１４）となる。

【0072】

【数1】

【0073】

式（３）に含まれるε_ｍは、表面残差を示すものであり、点群割り当てはガウス分布であることが仮定される。表面残差は、点群と、ｍ番目の円筒の表面との垂直な方向の差を示す。たとえば、１番目の円筒は、部位識別番号Ｍｄ１の円筒を示す。表面残差ε_ｍは、ｘ_ｎ、σ^２により特定される。ｘ_ｎは、ｎ番目の点の３次元座標を示す。σは、点群フレームに含まれる点群の３次元座標の分散を示す。

【0074】

第１算出部１６１は、事後分布ｐ_ｎｍを算出した後に、式（４）で定義される評価関数Ｑを更新する。式（４）において、Ｐは、ｐ_ｎｍの総和を示す。

【0075】

【数2】

【0076】

続いて、第１算出部１６１が実行するＭステップの一例について説明する。第１算出部１６１は、Levenberg-Marquardt（ＬＭ）法を用いて、評価関数Ｑの尤度が最小となるような円筒パラメータの変化量Δθを算出する。たとえば、第１算出部１６１は、式（５）、式（６）に基づいて、変化量Δθを算出する。第１算出部１６１は、ＬＭ法に限らず、ランダムに変化量Δθを生成してもよい。

【0077】

【数3】

【数4】

【0078】

第１算出部１６１は、現在の円筒パラメータに、変化量Δθを加算した値を、評価関数Ｑに入力することで、尤度を算出する。なお、尤度は、評価関数Ｑの値の逆数に相当する。

【0079】

第１算出部１６１は、所定の収束条件を満たすまで、Ｅステップ、Ｍステップを繰り返し実行する。第１算出部１６１は、Ｅステップ、Ｍステップを繰り返す回数を事前に設定しておいてもよい。第１算出部１６１は、所定の収束条件を満たした時点における、円筒パラメータと、評価関数Ｑの逆数に相当する尤度を、評価部１６４に出力する。第１算出部１６１が出力する円筒パラメータは、「第１処理の結果」に対応する。

【0080】

ところで、第２算出部１６２も同様にして、所定の収束条件を満たすまで、Ｅステップ、Ｍステップを繰り返し実行する。第２算出部１６２は、Ｅステップ、Ｍステップを繰り返す回数を事前に設定しておいてもよい。第２算出部１６２は、所定の収束条件を満たした時点における、円筒パラメータと、評価関数Ｑの逆数に相当する尤度を、評価部１６４に出力する。第２算出部１６２が出力する円筒パラメータは、「第２処理の結果」に対応する。

【0081】

第３算出部１６３も同様にして、所定の収束条件を満たすまで、Ｅステップ、Ｍステップを繰り返し実行する。第３算出部１６３は、Ｅステップ、Ｍステップを繰り返す回数を事前に設定しておいてもよい。第３算出部１６３は、所定の収束条件を満たした時点における、円筒パラメータと、評価関数Ｑの逆数に相当する尤度を、評価部１６４に出力する。第３算出部１６３が出力する円筒パラメータは、「第３処理の結果」に対応する。

【0082】

図６の説明に戻る。評価部１６４は、第１～３処理の結果の尤度を基にして、第１～３処理の結果を評価し、第１～３処理の結果のうち、いずれかの処理の結果を、最終的な骨格認識結果データとして特定する。評価部１６４は、フレーム番号毎に、上記処理を繰り返し実行する。評価部１６４は、特定したフレーム番号毎の骨格認識結果データを、第１算出部１６１、第２算出部１６２、出力制御部１６５に出力する。

【0083】

評価部１６４は、第１～３処理の結果の優先順を特定する処理、第１スクリーニング、第２スクリーニング処理を実行することで、最終的な骨格認識結果データを特定する。

【0084】

評価部１６４が、優先順を特定する処理について説明する。評価部１６４は、被写体１が演技する種目のデータと、優先テーブル１４４とを基にして、第１～３処理の結果の優先順を特定する。以下の説明では、最も優先する処理の結果を、１番目のＩｔｒ情報と表記し、２番目に優先する処理の結果を、２番目のＩｔｒ情報と表記し、３番目に優先する処理の結果を、３番目のＩｔｒ情報と表記する。評価部１６４は、１番目のＩｔｒ情報を「暫定採用Ｉｔｒ」に設定する。

【0085】

たとえば、種目が「あん馬」となる場合、１番目のＩｔｒ情報は「第１処理の結果」となる。２番目のＩｔｒ情報は「第２処理の結果」となる。３番目のＩｔｒ情報は「第３処理の結果」となる。

【0086】

評価部１６４が実行する、第１スクリーニングについて説明する。評価部１６４は、２番目のＩｔｒ情報が、第１棄却条件に適合するか否かを判定する。評価部１６４は、２番目のＩｔｒ情報が、第１棄却条件に適合する場合には、２番目のＩｔｒ情報を棄却する。ここでは、２番目のＩｔｒ情報が、第２処理の結果である場合について説明する。

【0087】

評価部１６４は、フレーム番号ｎ－１の第２処理の結果となる円筒パラメータを基にして、フレーム番号ｎ－１の骨格認識結果を特定する。評価部１６４は、フレーム番号ｎの第２処理の結果となる円筒パラメータを基にして、フレーム番号ｎの骨格認識結果を特定する。

【0088】

評価部１６４は、フレーム番号ｎ－１の骨格認識結果と、フレーム番号ｎの骨格認識結果とを比較し、骨格の動きが異常であるか否か（人体の移動の運動限界量や関節可動域を超えているか否かなど）を判定する。評価部１６４は、骨格の移動量が予め設定された基準移動量以上である場合、または、骨格の移動方向が予め設定された基準移動方向と異なる場合、骨格の動きが異常であると判定する。評価部１６４は、骨格の動きに異常がある場合、第１棄却条件に適合すると判定する。

【0089】

また、評価部１６４は、Ｃｌｏｓｅ Ｐｏｉｎｔを基にして、棄却条件に適合するか否かを判定してもよい。図１１および図１２は、Ｃｌｏｓｅ Ｐｏｉｎｔを説明するための図である。評価部１６４は、フレーム番号ｎにおける第２処理の結果となる円筒パラメータを円筒モデルデータ１４３に設定し、円筒モデルデータ１４３の各円筒と、フレーム番号ｎの点群フレームとを比較する。

【0090】

図１１では、円筒モデルデータ１４３の各円筒のうち、左腕の円筒Ｍｄ５を用いて、説明を行う。円筒Ｍｄ５には、点群Ｄ５が割り当てられているものとする。評価部１６４は、点群Ｄ５の各点と、円筒Ｍｄ５までの最短距離ｄをそれぞれ算出する。評価部１６４は、最短距離ｄが閾値Ｔｈ未満となる点の数をカウントとし、カウントした数を、Ｃｌｏｓｅ Ｐｏｉｎｔとする。点群Ｄ５の点の数を１００とし、全ての最短距離ｄが、閾値Ｔｈ未満の場合には、Ｃｌｏｓｅ Ｐｏｉｎｔ＝１００となる。

【0091】

図１２では、円筒モデルデータ１４３の各円筒のうち、左腕の円筒Ｍｄ５を用いて、説明を行う。円筒Ｍｄ５には、点群Ｄ５が割り当てられているものとする。評価部１６４は、点群Ｄ５の各点と、円筒Ｍｄ５までの最短距離ｄをそれぞれ算出する。評価部１６４は、最短距離ｄが閾値Ｔｈ未満となる点の数をカウントとし、カウントした数を、Ｃｌｏｓｅ Ｐｏｉｎｔとする。点群Ｄ５の点の数を１００とし、そのうち３０の点に関する最短距離ｄが、閾値Ｔｈ未満の場合には、Ｃｌｏｓｅ Ｐｏｉｎｔ＝３０となる。

【0092】

評価部１６４は、特定の円筒に割り当てられた点群の数に対するＣｌｏｓｅ Ｐｏｉｎｔの割合が所定の割合未満である場合に、第１棄却条件に適合すると判定する。

【0093】

評価部１６４は、第１スクリーニングを実行した結果、２番目のＩｔｒ情報が棄却されなかった場合には、暫定採用Ｉｔｒの尤度と、２番目のＩｔｒ情報の尤度とを比較する。評価部１６４は、２番目のＩｔｒ情報の尤度から暫定採用Ｉｔｒ情報の尤度を減算した尤度が、閾値以上である場合に、暫定採用Ｉｔｒを、２番目のＩｔｒ情報によって更新する。すなわち、２番目のＩｔｒ情報の尤度が、暫定座標Ｉｔｒの尤度よりも圧倒的に大きい場合には、暫定採用Ｉｔｒを、２番目のＩｔｒ情報によって更新する。

【0094】

評価部１６４は、３番目のＩｔｒ情報についても、２番目のＩｔｒ情報と同様にして、第１棄却条件に適合するか否かを判定する。評価部１６４は、３番目のＩｔｒ情報が棄却されなかった場合には、暫定採用Ｉｔｒの尤度と、３番目のＩｔｒ情報の尤度とを比較する。評価部１６４は、３番目のＩｔｒ情報の尤度から、暫定採用Ｉｔｒ情報の尤度を減算した尤度が、閾値以上である場合に、暫定採用Ｉｔｒを、３番目のＩｔｒ情報によって更新する。すなわち、３番目のＩｔｒ情報の尤度が、暫定座標Ｉｔｒの尤度よりも圧倒的に大きい場合には、暫定採用Ｉｔｒを、３番目のＩｔｒ情報によって更新する。

【0095】

評価部１６４が実行する、第２スクリーニングについて説明する。評価部１６４は、２番目のＩｔｒ情報が、第２棄却条件に適合するか否かを判定する。評価部１６４は、２番目のＩｔｒ情報が、第２棄却条件に適合する場合には、２番目のＩｔｒ情報を棄却する。ただし、２番目のＩｔｒ情報は、第１スクリーニングで棄却されず、かつ、暫定採用Ｉｔｒと２番目のＩｔｒ情報の尤度との差分が閾値未満であるものとする。

【0096】

評価部１６４は、暫定採用Ｉｔｒの円筒パラメータを基にして、骨格認識結果（暫定骨格認識結果）を特定する。評価部１６４は、２番目のＩｔｒ情報の円筒パラメータを基にして、骨格認識結果を特定する。評価部１６４は、暫定骨格認識結果と、骨格認識結果との差分が、閾値以上である場合に、第２棄却条件に適合すると判定する。すなわち、優先される、暫定骨格認識結果と、２番目のＩｔｒ情報の骨格認識結果が大きく異なっている場合には、２番目のＩｔｒ情報を棄却する。

【0097】

評価部１６４は、第２スクリーニングを実行した結果、２番目のＩｔｒ情報が棄却されなかった場合には、暫定採用Ｉｔｒの尤度と、２番目のＩｔｒ情報の尤度とを比較する。評価部１６４は、暫定採用Ｉｔｒの尤度よりも、２番目のＩｔｒ情報の尤度の方が大きい場合に、暫定採用Ｉｔｒを、２番目のＩｔｒ情報によって更新する。

【0098】

評価部１６４は、３番目のＩｔｒ情報についても、２番目のＩｔｒ情報と同様にして、第２棄却条件に適合するか否かを判定する。評価部１６４は、３番目のＩｔｒ情報が棄却されなかった場合には、暫定採用Ｉｔｒの尤度と、３番目のＩｔｒ情報の尤度とを比較する。評価部１６４は、暫定採用Ｉｔｒの尤度よりも、３番目のＩｔｒ情報の尤度の方が大きい場合に、暫定採用Ｉｔｒを、３番目のＩｔｒ情報によって更新する。

【0099】

上記のように、評価部１６４は、優先順を特定する処理、第１スクリーニング、第２スクリーニング処理を実行することで、最終的な骨格認識結果データを特定する。評価部１６４は、各フレーム番号に対応する第１～３処理の結果を、第１算出部１６１、第２算出部１６２、第３算出部１６３から取得する度に、最終的な骨格認識結果データを繰り返し実行する。評価部１６４は、最終的な骨格認識結果データを、出力制御部１６５に出力する。

【0100】

出力制御部１６５は、各フレーム番号に対応する最終的な骨格認識結果データを順次受け付け、受け付けた最終的な骨格認識結果データを、技認識部１５５に出力する処理部である。以下の説明では、技認識部１５５に出力される最終的な骨格認識結果データを、単に、骨格認識結果データと表記する。

【0101】

図２の説明に戻る。技認識部１５５は、フレーム番号の順に骨格認識結果データを、評価処理部１５４から取得し、連続する骨格認識結果データを基にして、各関節座標の時系列変化を特定する。技認識部１５５は、各関節位置の時系列変化と、技認識テーブル１４５とを比較して、技の種別を特定する。また、技認識部１５５は、技の種別の組み合わせと、技認識テーブル１４５とを比較して、被写体１の演技のスコアを算出する。

【0102】

技認識部１５５は、演技に含まれる技の種別、演技のスコア、演技の開始から終了までの骨格認識結果データ等を、画面情報出力制御部１５６に出力する。

【0103】

画面情報出力制御部１５６は、演技のスコアと、演技の開始から終了までの骨格認識結果データとを基にして、画面情報を生成する。画面情報出力制御部１５６は、生成した画面情報を、表示部１３０に出力して表示させる。

【0104】

図１３は、画面情報の一例を示す図である。図１３に示すように、この画面情報６０には、領域６０ａ，６０ｂ，６０ｃが含まれる。領域６０ａは、被写体１が行った演技において、認識された技の種別を表示する領域である。技の種別に加えて、技の難度も表示してもよい。領域６０ｂは、演技のスコアを表示する領域である。領域６０ａは、演技の開始から終了までの骨格認識結果データに基づく３次元モデルをアニメーション表示する領域である。利用者は、入力部１２０を操作して、アニメーションの再生、停止等を指示する。

【0105】

次に、本実施例１に係る情報処理装置１００の処理手順の一例について説明する。図１４は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図１４に示すように、情報処理装置１００の取得部１５１は、センサ１０から距離画像のデータを取得する（ステップＳ１０）。

【0106】

取得部１５１は、同一のフレーム番号の点群を統合する（ステップＳ１１ａ）。取得部１５１は、点群フレームからノイズを除去する（ステップＳ１２ａ）。また、情報処理装置１００の学習型骨格認識実行部１５２は、学習型骨格認識モデルを用いて、関節座標のデータを算出する（ステップＳ１１ｂ）。情報処理装置１００の変換部１５３は、関節座標のデータを、関節角度のデータに変換する（ステップＳ１２ｂ）。

【0107】

情報処理装置１００の評価処理部１５４は、第１フィッティング処理、第２フィッティング処理、第３フィッティング処理を並列して実行する（ステップＳ１３ａ、Ｓ１３ｂ、Ｓ１３ｃ）。評価処理部１５４は、種目と優先テーブル１４４とを基にして、１～３番目のＩｔｒ情報を設定する（ステップＳ１４）。

【0108】

評価処理部１５４は、評価処理を実行する（ステップＳ１５）。情報処理装置１００は、被写体１の演技が終了していない場合には（ステップＳ１６，Ｎｏ）、ステップＳ１０に移行する。情報処理装置１００は、被写体１の演技が終了した場合には（ステップＳ１６，Ｙｅｓ）、ステップＳ１７に移行する。

【0109】

情報処理装置１００の技認識部１５５は、技認識を実行し、技の種別、演技のスコアを特定する（ステップＳ１７）。情報処理装置１００の画面情報出力制御部１５６は、認識結果を基にして、画面情報を生成する（ステップＳ１８）。画面情報出力制御部１５６は、画面情報を表示部１３０に表示させる（ステップＳ１９）。

【0110】

次に、図１４のステップＳ１３に示したフィッティング処理（第１フィッティング処理、第２フィッティング処理、第３フィッティング処理）の処理手順について説明する。第１フィッティング処理、第２フィッティング処理、第３フィッティング処理では、第１算出部１６１、第２算出部１６２、第３算出部１６３がそれぞれフィッティング処理を実行する。

【0111】

図１５は、フィッティング処理の処理手順を示すフローチャートである。図１５では一例として、第１算出部１６１が実行する第１フィッティング処理について説明する。なお、第２算出部１６２、第３算出部１６３が実行する第２、３フィッティング処理は、上述したように、初期値の設定が異なる以外、第１算出部１６１が実行する第１フィッティング処理と同様であるため、説明を省略する。

【0112】

図１５に示すように、情報処理装置１００の第１算出部１６１は、点群フレームを取得する（ステップＳ２０）。第１算出部１６１は、円筒モデルデータ１４３の初期値状態を生成する（ステップＳ２１）。

【0113】

第１算出部１６１は、事後分布ｐ_ｎｍを算出する（ステップＳ２２）。第１算出部１６１は、円筒パラメータの変化量Δθを算出する（ステップＳ２３）。第１算出部１６１は、円筒パラメータを更新する（ステップＳ２４）。第１算出部１６１は、評価関数Ｑを用いて尤度を算出する（ステップＳ２５）。

【0114】

第１算出部１６１は、円筒パラメータが収束したか否かを判定する（ステップＳ２６）。ステップＳ２６において、第１算出部１６１は、Δθが十分小さくなった場合（予め設定される閾値Ｔｈθ未満となった場合）に、円筒パラメータが収束したと判定する。

【0115】

第１算出部１６１は、円筒パラメータが収束していない場合には（ステップＳ２６，Ｎｏ）、ステップＳ２２に移行する。一方、第１算出部１６１は、円筒パラメータが収束した場合には（ステップＳ２６，Ｙｅｓ）、ステップＳ２７に移行する。

【0116】

第１算出部１６１は、フィッティングに成功したか否かを判定する（ステップＳ２７）。ステップＳ２７において、第１算出部１６１は、事後分布ｐ_ｎｍの和が、予め設定される閾値Ｔｈｐ以上であれば、フィッティングに成功したと判定する。

【0117】

第１算出部１６１は、フィッティングに成功していない場合には（ステップＳ２７，Ｎｏ）、ステップＳ２１に移行する。一方、第１算出部１６１は、フィッティングに成功した場合には（ステップＳ２７，Ｙｅｓ）、ステップＳ２８に移行する。

【0118】

第１算出部１６１は、フィッティング結果および尤度を評価部１６４に出力する（ステップＳ２８）。たとえば、フィッティング結果には、フィッティングに成功した円筒パラメータが含まれる。

【0119】

次に、図１４のステップＳ１５に示した評価処理の処理手順について説明する。図１６は、評価処理の処理手順を示すフローチャートである。図１６に示すように、情報処理装置１００の評価部１６４は、ｉ＝１に設定する（ステップＳ１０１）。評価部１６４は、ｉ番目のＩｔｒ情報を取得する（ステップＳ１０２）。

【0120】

評価部１６４は、ｉ＝１となる場合には（ステップＳ１０３，Ｙｅｓ）、ステップＳ１１５に移行する。一方、評価部１６４は、ｉ＝１とならない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０４に移行する。

【0121】

評価部１６４は、第１スクリーニング処理を実行する（ステップＳ１０４）。評価部１６４は、第１廃却条件に適合するか否かを判定する（ステップＳ１０５）。評価部１６４は、第１棄却条件に適合する場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１１９に移行する。一方、評価部１６４は、第１棄却条件に適合しない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０６に移行する。

【0122】

評価部１６４は、ｉ番目のＩｔｒ情報の尤度が、暫定採用Ｉｔｒの尤度と比較して十分大きい否かを（より確からしいかを）判定する（ステップＳ１０６）。評価部１６４は、十分大きい場合には（ステップＳ１０７，Ｙｅｓ）、ステップＳ１１５に移行する。一方、評価部１６４は、十分大きくない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１１１に移行する。

【0123】

評価部１６４は、第２スクリーニング処理を実行する（ステップＳ１１１）。評価部１６４は、第２廃却条件に適合するか否かを判定する（ステップＳ１１２）。評価部１６４は、第２棄却条件に適合する場合には（ステップＳ１１２，Ｙｅｓ）、ステップＳ１１９に移行する。一方、評価部１６４は、第２棄却条件に適合しない場合には（ステップＳ１１２，Ｎｏ）、ステップＳ１１３に移行する。

【0124】

評価部１６４は、ｉ番目のＩｔｒ情報の尤度が、暫定採用Ｉｔｒの尤度と比較して、大きいか否かを判定する（ステップＳ１１３）。評価部１６４は、大きい場合には（ステップＳ１１４，Ｙｅｓ）、ステップＳ１１５に移行する。一方、評価部１６４は、大きくない場合には（ステップＳ１１４，Ｎｏ）、ステップＳ１１６に移行する。

【0125】

評価部１６４は、ｉ番目のＩｔｒ情報によって、暫定採用Ｉｔｒを更新する（ステップＳ１１５）。評価部１６４は、ｉ＝Ｎであるか否かを判定する（ステップＳ１１６）。本実施例１では、Ｎ＝３とする。評価部１６４は、ｉ＝Ｎである場合には、ステップＳ１１７に移行する。一方、評価部１６４は、ｉ＝Ｎでない場合には、ステップＳ１２０に移行する。

【0126】

評価部１６４は、暫定採用Ｉｔｒを、最終的な骨格認識結果として特定する（ステップＳ１１７）。情報処理装置１００の出力制御部１６５は、最終的な骨格認識結果を技認識部１５５に出力する（ステップＳ１１８）。

【0127】

ステップＳ１１９以降の処理について説明する。評価部１６４は、ｉ番目のＩｔｒ情報を棄却する（ステップＳ１１９）。評価部１６４は、ｉ＝ｉ＋１によって、ｉの値を更新し（ステップＳ１２０）、ステップＳ１０２に移行する。

【0128】

次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、点群フレームに対して、３つの初期値を用いた３種類のフィッティングを実行し、最も確からしいフィッティング結果を、最終的な骨格認識結果として特定して出力する。これによって、点群フレーム毎に、３つのフィッティング結果のうち、最も精度の高いフィッティング結果を出力することができる。

【0129】

情報処理装置１００は、第１算出部１６１、第２算出部１６２、第３算出部１６３が、フィッティング処理を並列して実行する。これによって、１つのフィッティング処理を実行した場合と同程度の時間で、複数のフィッティング結果を得られる。

【0130】

情報処理装置１００は、フレーム番号ｎ－１の骨格認識結果と、フレーム番号ｎの骨格認識結果とを比較し、骨格の動きが異常であるか否かを評価し、骨格の動きが異常である骨格認識結果を、棄却する。このように、情報処理装置１００が、被写体の動きに関する制限を更に用いて評価することで、骨格の動きが異常である骨格認識結果を、最終的な骨格認識結果から除外することができる。

【0131】

情報処理装置１００は、１番目のＩｔｒ情報を、出力候補に設定し、２番目のＩｔｒ情報の尤度から出力候補の尤度を減算した値が、閾値以上である場合に、２番目のＩｔｒ情報を出力候補に設定する。また、情報処理装置１００は、３番目のＩｔｒ情報の尤度から出力候補の尤度を減算した値が、閾値以上である場合に、３番目のＩｔｒ情報を出力候補に設定する。これによって、１番目のＩｔｒ情報を、優先して、出力候補に設定することができる。１番目のＩｔｒ情報に設定される情報は、種目と優先テーブル１４４によって特定される。

【0132】

情報処理装置１００は、出力候補に設定された情報と、２番目のＩｔｒ情報との相違が所定範囲内であり、出力候補の尤度よりも２番目のＩｔｒ情報の尤度が大きい場合に、２番目のＩｔｒ情報を出力候補に設定する。情報処理装置１００は、出力候補に設定された情報と、３番目のＩｔｒ情報との相違が所定範囲内であり、出力候補の尤度よりも３番目のＩｔｒ情報の尤度が大きい場合に、３番目のＩｔｒ情報を出力候補に設定する。

【実施例2】

【0133】

次に、本実施例２に係る情報処理システムについて説明する。本実施例２に係る情報処理システムは、図１で説明した情報処理システムと同様にして、センサ１０ａ，１０ｂを有しており、情報処理装置は、センサ１０ａ，１０ｂと接続されているものとする。

【0134】

本実施例２に係る情報処理装置は、被写体の演技のシーンを特定し、特定したシーンに応じて、フィッティング処理を実行する場合の制約条件、評価関数の値の算出方法を変更する。制約条件には、関節可動範囲、関節自由度、動き対称性が含まれる。本実施例でも、評価関数の値が小さいほど（尤度が大きいほど）、より確からしいものとする。

【0135】

図１７は、本実施例２に係る情報処理装置の処理を説明するための図である。図１７では一例として、被写体１が、跳馬を行う場合について説明する。情報処理装置は、被写体１が実行する一連の演技のシーンを順に特定する。

【0136】

たとえば、情報処理装置は、演技の期間Ｔ_１～Ｔ_２のシーンを、一般技シーン（非対称）と特定する。情報処理装置は、演技の期間Ｔ_２～Ｔ_３のシーンを、空中シーンと特定する。情報処理装置は、演技の期間Ｔ_３～Ｔ_４のシーンを、着地手前シーンと特定する。情報処理装置は、演技の期間Ｔ_４以降のシーンを、着地シーンと特定する。

【0137】

情報処理装置は、一般技シーン（非対称）である場合には「通常モデル」によって、フィッティングを実行する。通常モデルによるフィッティングは、実施例１で説明したフィッティングと同様である。

【0138】

情報処理装置は、空中シーンである場合には「空中モデル」によってフィッティングを実行する。空中モデルによるフィッティングでは、前フレームからの腕および脚の変化量が大きいほど、評価関数Ｑの値を大きくする補正を行う。

【0139】

情報処理装置は、着地手前シーンである場合には「着地手前モデル」によってフィッティングを実行する。着地手前モデルによるフィッティングでは、前フレームからの脚の変化量が大きいほど、評価関数Ｑの値を大きくする補正を行う。

【0140】

情報処理装置は、着地シーンである場合には「着地モデル」によってフィッティングを実行する。着地モデルによるフィッティングでは、足首の関節可動範囲を限定して、フィッティングを実行する。たとえば、情報処理装置は、足首の位置が地面近傍から離れないように関節の可動範囲を限定する。

【0141】

このように、本実施例２に係る情報処理装置は、被写体の演技のシーンを特定し、特定したシーンに応じて、フィッティング処理を実行する場合の制約条件、評価関数の値の算出方法を変更する。これによって、シーンに応じて最適なフィッティングを実行することができ、骨格認識結果の精度を向上させることができる。

【0142】

次に、本実施例２に係る情報処理装置の構成について説明する。図１８は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図１８に示すように、情報処理装置２００は、通信部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。

【0143】

通信部２１０は、センサ１０から距離画像のデータを受信する処理部である。通信部２１０は、受信した距離画像のデータを、制御部２５０に出力する。通信部２１０は、通信装置の一例である。通信部２１０は、図示しない他の外部装置からデータを受信してもよい。

【0144】

入力部２２０は、情報処理装置２００の制御部２５０に各種の情報を入力する入力装置である。入力部２２０は、キーボードやマウス、タッチパネル等に対応する。利用者は、入力部２２０を操作して、画面情報の表示要求、画面操作などを行う。また、利用者は、入力部２２０を操作して、被写体１が演技する種目のデータを制御部２５０に入力してもよい。

【0145】

表示部２３０は、制御部２５０から出力される情報を表示する表示装置である。たとえば、表示部２３０は、各種競技の技認定、採点結果等の画面情報を表示する。表示部２３０は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。

【0146】

記憶部２４０は、測定テーブル２４１、骨格認識モデル２４２、円筒モデルデータ２４３、優先テーブル１４４、技認識テーブル２４５、シーン切換判定テーブル２４６、シーン限定テーブル２４７、制約条件テーブル２４８を有する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0147】

測定テーブル２４１は、センサ１０により測定される距離画像のデータを格納するテーブルである。測定テーブル２４１の説明は、実施例１で説明した測定テーブル１４１の説明と同様である。

【0148】

骨格認識モデル２４２は、学習データを基にして、事前に学習された骨格認識モデルのパラメータの集合である。骨格認識モデル２４２の説明は、実施例１で説明した骨格認識モデル１４２の説明と同様である。

【0149】

円筒モデルデータ２４３は、被写体１となる人体の各部位を円筒（あるいは楕円柱など）で表現したモデルのデータであり、各円筒は、被写体１の関節に対応する部分で接続されている。円筒モデルデータ２４３の説明は、実施例１で説明した円筒モデルデータ１４３の説明と同様である。

【0150】

優先テーブル２４４は、第１初期値、第２初期値、第３初期値を用いてそれぞれフィッティングを実行した結果、いずれのフィッティング結果を優先するのかを定義するテーブルである。優先テーブル２４４の説明は、実施例１で説明した優先テーブル１４４の説明と同様である。

【0151】

技認識テーブル２４５は、各骨格認識結果に含まれる各関節位置の時系列変化と、技の種別とを対応付けるテーブルである。また、技認識テーブル２４５は、技の種別の組み合わせと、スコアとを対応付ける。技認識テーブル２４５の説明は、実施例１で説明した技認識テーブル２４５の説明と同様である。

【0152】

シーン切換判定テーブル２４６は、種目に応じたシーンの切換を判定するテーブルである。図１９は、シーン切換判定テーブルのデータ構造の一例を示す図である。図１９に示すように、このシーン切換判定テーブル２４６は、種目と、シーン切換条件とを対応付ける。種目は、演技の種目を示すものである。シーン切換条件は、シーンが切り替わる条件を定義するものである。たとえば、被写体１の所定の部位間の距離、Ｃｌｏｓｅ Ｐｏｉｎｔの大きさ等に応じて、シーンが切り替わる。なお、初期のシーンは、一般技シーンとなるが、人の動きに応じて変更が可能である。一般技シーンには、種目に応じて、一般技シーン（対称）または一般技シーン（非対処）となる。

【0153】

一例として、種目「跳馬」に対するシーン切換条件について説明する。図２０は、種目「跳馬」に対するシーン切換条件を示す図である。図２０に示すように、種目「跳馬」では、「一般技シーン」から「空中シーン」に切り替わる切換条件と、「空中シーン」から「着地手前シーン」に切り替わる切換条件と、「着地手前シーン」から「着地シーン」に切り替わる切換条件とが含まれる。

【0154】

「一般技シーン」から「空中シーン」に切り替わる切換条件は、腕と胴、または、腕と脚との距離が閾値未満という条件である。「空中シーン」から「着地手前シーン」に切り替わる切換条件は、腕のＣｌｏｓｅ Ｐｏｉｎｔが閾値未満という条件である。「着地手前シーン」から「着地シーン」に切り替わる切換条件は、足と地面との距離が閾値未満という条件である。

【0155】

シーン限定テーブル２４７は、種目に応じたシーンを限定する場合に利用するテーブルである。図２１は、シーン限定テーブルのデータ構造の一例を示す図である。図２１に示すように、このシーン限定テーブル２４７は、種目と、対称性と、一般技と、終末技とを有する。種目は、演技の種目を示すものである。対称性は、被写体１の左右の関節角度が「対称」であるか、「非対称」であるかを示すものである。

【0156】

各種目の一般技には、一般技シーン（非対称）と、一般技シーン（対称）と、特殊シーンとのうち、少なくとも一つが含まれる。一般技シーン（非対称）は、被写体１の左右の関節角度が非対称となる一般技を示す。一般技シーン（対称）は、被写体１の左右の関節角度が対称となる一般技を示す。特殊シーンには、ベントニーターン（bent-knee turn）、離れ技などが含まれる。

【0157】

各種目の終末技には、空中シーンと、着地手前シーンと、着地シーンとのうち、少なくとも一つのシーンが含まれる。

【0158】

図１９に示すように、種目と対称性により、一般技のシーン、終末技のシーンが絞られる。

【0159】

制約条件テーブル２４８は、シーンに応じた評価関数の値の算出方法、制約条件を定義するテーブルである。図２２は、制約条件テーブルのデータ構造の一例を示す図である。図２２に示すように、制約条件テーブル２４８は、シーン種別と、算出方法と、関節可動範囲と、対称性とを含む。シーン種別は、シーンの種別を示すものである。

【0160】

算出方法は、評価関数の算出方法を示すものである。算出方法が「通常」の場合には、式（４）に示した評価関数Ｑをそのまま用いて、値を算出することを示す。算出方法が「腕および脚の評価関数を補正」の場合には、フレーム番号ｎ－１の腕および脚の関節角度と、フレーム番号ｎの腕および脚の関節角度との変化量が大きいほど、評価関数Ｑの値を大きくする補正を行う。算出方法が「脚の評価関数を補正」の場合には、フレーム番号ｎ－１の脚の関節角度と、フレーム番号ｎの脚の関節角度との変化量が大きいほど、評価関数Ｑの値を大きくする補正を行う。

【0161】

関節可動範囲は、骨格の関節の可動範囲を示すものである。関節可動範囲が「通常」である場合には、骨格の関節の可動範囲を、制約のない人体の関節可動域とする。関節可動範囲が「通常」以外の場合には、関節可動範囲に定義された範囲に従う。たとえば、シーン種別「着地シーン」に対応する関節可動範囲は、「足首の位置を地面近傍から離れない角度に設定」となる。

【0162】

関節動き自由度は、関節角度の自由度を示すものである。関節動き自由度が「通常」である場合には、各関節の自由度を、一般の動きにおける人体の関節可動域に基づく自由度とする。関節動き自由度が「通常」でない場合には、関節動き自由度に定義された自由度に従う。たとえば、シーン種別「ひざ曲げターン」に対応する関節動き自由度は、膝の自由度を増加させる。

【0163】

対称性は、フィッティングにおいて、円筒モデルデータ２４３の各関節角度を変化させる場合に、左右の関節角度に対称性を持たせるか否かを示す情報である。図４に示した円筒モデルデータを用いて説明すると、対称性を持たせる部位は、円筒Ｍｄ４，Ｍｄ５と、円筒Ｍｄ６，Ｍｄ７との組、円筒Ｍｄ８、Ｍｄ９，Ｍｄ１３と、円筒Ｍｄ１０、Ｍｄ１１，Ｍｄ１４との組となる。

【0164】

図１７で説明した「通常モデル」は、制約条件テーブル２４８のシーン種別「一般技シーン（非対称）」の算出方法、関節可動範囲、関節動き自由度、対称性に基づくフィッティングに相当する。「空中モデル」は、制約条件テーブル２４８のシーン種別「空中シーン」の算出方法、関節可動範囲、関節動き自由度、対称性に基づくフィッティングに相当する。

【0165】

「着地手前モデル」は、制約条件テーブル２４８のシーン種別「着地手前シーン」の算出方法、関節可動範囲、関節動き自由度、対称性に基づくフィッティングに相当する。「着地モデル」は、制約条件テーブル２４８のシーン種別「着地シーン」の算出方法、関節可動範囲、関節動き自由度、対称性に基づくフィッティングに相当する。

【0166】

図１８の説明に戻る。制御部２５０は、取得部２５１、学習型骨格認識実行部２５２、変換部２５３、評価処理部２５４、技認識部２５５、画面情報出力制御部２５６を有する。制御部２５０は、ＣＰＵやＧＰＵ、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジック等によって実現される。

【0167】

取得部２５１は、センサ１０から距離画像のデータを取得する処理部である。取得部２５１に関する説明は、実施例１の取得部１５１に関する説明と同様である。取得部２５１は、各フレーム番号に対応する点群フレームを、評価処理部２５４に順次出力する。

【0168】

学習型骨格認識実行部２５２は、骨格認識モデル２４２を基にして、骨格認識モデルを実行する処理部である。学習型骨格認識実行部２５２に関する説明は、実施例１の学習型骨格認識実行部１５２に関する説明と同様である。学習型骨格認識実行部２５２は、関節座標のデータを、変換部２５３に出力する。

【0169】

変換部２５３は、関節座標のデータを、関節角度に変換する処理部である。変換部２５３に関する説明は、実施例１の変換部１５３に関する説明と同様である。変換部２５３は、関節角度のデータを、評価処理部２５４に出力する。

【0170】

評価処理部２５４は、３つの初期値を用いた３種類のフィッティングを実行し、それぞれのフィッティング結果を評価する処理部である。評価処理部２５４は、最も確からしいフィッティング結果を、最終的な骨格認識結果として、技認識部２５５に出力する。

【0171】

図２３は、本実施例２に係る評価処理部の構成を示す機能ブロック図である。図２３に示すように、この評価処理部２５４は、第１算出部２６１と、第２算出部２６２と、第３算出部２６３と、評価部２６４と、出力制御部２６５と、シーン判定部２７０とを有する。

【0172】

第１算出部２６１は、第１初期値を円筒モデルデータ２４３の初期状態とし、第１フィッティングを実行する処理部である。第１算出部２６１は、シーン判定部２７０から取得するシーン種別に応じて、第１フィッティングを実行する場合の、制約条件、評価関数の値の算出方法を変更する。第１算出部２６１は、第１処理の結果を、評価部２６４に出力する。

【0173】

第１算出部２６１は、シーン種別と、制約条件テーブル２４８とを比較して、制約条件、評価関数の値の算出方法を変更する。

【0174】

第１算出部２６１は、シーン種別が「一般技シーン（非対称）」である場合には、実施例１の第１算出部１６１と同様にして、第１フィッティングを実行する。

【0175】

第１算出部２６１は、シーン種別が「一般技シーン（対称）」である場合には、基本的には、実施例１の第１算出部１６１と同様にして、第１フィッティングを実行する。ただし、第１算出部２６１は、被写体１の左右の円筒Ｍｄ４，Ｍｄ５の関節角度と、円筒Ｍｄ６，Ｍｄ７の関節角度とが対称性をもつという制約条件のもと、第１フィッティングを実行する。第１算出部２６１は、被写体１の左右の円筒Ｍｄ８、Ｍｄ９，Ｍｄ１３と、円筒Ｍｄ１０、Ｍｄ１１，Ｍｄ１４との組についても、各関節角度の関係が対称性をもつという制約条件のもと、第１フィッティングを実行する。

【0176】

第１算出部２６１は、シーン種別が「ひざ曲げターン」である場合には、基本的には、実施例１の第１算出部１６１と同様にして、第１フィッティングを実行する。ただし、第１算出部２６１は、膝関節に対応する関節角度の自由度を増加させた上で、関節角度を更新し、第１フィッティングを実行する。たとえば、通常の自由度が「１」である場合には、自由度を「２」に変更する。

【0177】

第１算出部２６１は、シーン種別が「離れ技」である場合には、実施例１の第１算出部１６１と同様にして、第１フィッティングを実行する。

【0178】

第１算出部２６１は、シーン種別が「空中シーン」である場合には、基本的には、実施例１の第１算出部１６１と同様にして、第１フィッティングを実行する。ただし、第１算出部２６１は、フレーム番号ｎ－１の腕および脚の関節角度と、フレーム番号ｎの腕および脚の関節角度との変化量が大きいほど、評価関数Ｑの値を大きくする補正を行う。

【0179】

たとえば、第１算出部２６１は、式（４）に示す評価関数の値を算出する場合、腕（円筒Ｍｄ４、５，７，６）および脚（円筒Ｍｄ８，９，１０，１１）に関する「ｐ_ｎｍε_ｍ」の項目に、係数をかけることで、評価関数Ｑの値を大きくする補正を行う。係数は、フレーム番号ｎの腕および脚の関節角度との変化量が大きいほど、値を大きくする追加項である。

【0180】

図２４は、変換量と評価関数の値との関係を示す図である。図２４において横軸は変化量Δθに対応する軸であり、縦軸は評価関数の値に対応する軸である。評価関数の値が小さいほど、フィッティング結果がより確からしいことを示す。図２４において、線７ａは、補正しない評価関数Ｑの値を示すものである。線７ｂは、変化量に応じて補正を行った評価関数Ｑの値を示すものである。

【0181】

たとえば、空中シーンでは、被写体１の腕および脚は固定される（動きづらい）傾向がある。このため、フレーム番号ｎ－１の腕および脚の関節角度と、フレーム番号ｎの腕および脚の関節角度との変化量が大きいほど、評価関数の値を大きくすることで、適切にフィッティング結果を現実の人の動きに近づけることができる。

【0182】

第１算出部２６１は、シーン種別が「着地手前シーン」の場合には、基本的には、実施例１の第１算出部１６１と同様にして、第１フィッティングを実行する。ただし、第１算出部２６１は、フレーム番号ｎ－１の脚の関節角度と、フレーム番号ｎの脚の関節角度との変化量が大きいほど、評価関数Ｑの値を大きくする補正を行う。

【0183】

たとえば、着地手前シーンでは、被写体１の腕は動きやすく、脚は動きづらい傾向がある。このため、フレーム番号ｎ－１の脚の関節角度と、フレーム番号ｎの脚の関節角度との変化量が大きいほど、評価関数の値を大きくすることで、適切にフィッティング結果を現実の人の動きに近づけることができる。

【0184】

たとえば、第１算出部２６１は、式（４）に示す評価関数の値を算出する場合、脚（円筒Ｍｄ８，９，１０，１１）に関する「ｐ_ｎｍε_ｍ」の項目に、係数をかけることで、評価関数Ｑの値を大きくする補正を行う。係数は、フレーム番号ｎの脚の関節角度との変化量が大きいほど、値を大きくする追加項である。

【0185】

第１算出部２６１は、シーン種別が「着地シーン」の場合には、基本的には、実施例１の第１算出部１６１と同様にして、第１フィッティングを実行する。ただし、第１算出部２６１は、足首の位置が地面近傍から離れないように関節の可動範囲を限定して、フィッティングを実行する。

【0186】

たとえば、着地シーンでは、腕、脚が共に動きやすく、足が地面付近から離れづらいためであり、足首の位置が地面近傍から離れないように関節の可動範囲を限定することで、骨格認識結果を現実の人の動きに近づけることができる。

【0187】

第２算出部２６２は、第２初期値を円筒モデルデータ２４３の初期状態とし、第２フィッティングを実行する処理部である。初期値が異なる以外、第２算出部２６２の第２フィッティングは、第１算出部２６１の第１フィッティングと同様である。第２算出部２６２は、第２処理の結果を、評価部２６４に出力する。

【0188】

第３算出部２６３は、第３初期値を円筒モデルデータ２４３の初期状態とし、第３フィッティングを実行する処理部である。初期値が異なる以外、第３算出部２６３の第３フィッティングは、第１算出部２６１の第１フィッティングと同様である。第３算出部２６３は、第３処理の結果を、評価部２６４に出力する。

【0189】

評価部２６４は、第１～３処理の結果の尤度を基にして、第１～３処理の結果を評価し、第２～３処理の結果のうち、いずれかの処理の結果を、最終的な骨格認識結果データとして特定する。評価部２６４は、フレーム番号毎に、上記処理を繰り返し実行する。評価部２６４は、特定したフレーム番号毎の骨格認識結果データを、第１算出部２６１、第２算出部２６２、出力制御部２６５、シーン判定部２７０に出力する。

【0190】

評価部２６４に関するその他の説明は、実施例１の評価部１６４に関する説明と同様である。

【0191】

出力制御部２６５は、各フレーム番号に対応する最終的な骨格認識結果データを順次受け付け、受け付けた最終的な骨格認識結果データを、技認識部２５５に出力する処理部である。以下の説明では、技認識部２５５に出力される最終的な骨格認識結果データを、単に、骨格認識結果データと表記する。

【0192】

シーン判定部２７０は、評価部２６４から取得する骨格認識結果データ、シーン切換判定テーブル２４６、シーン限定テーブル２４７を基にして、シーン種別を判定する処理部である。シーン判定部２７０は、判定したシーン種別の情報を、第１算出部２６１、第２算出部２６２、第３算出部２６３に出力する。たとえば、第１算出部２６１、第２算出部２６２、第３算出部２６３は、フレーム番号ｎにおけるシーン種別の判別結果を基にして、フレーム番号ｎ＋１の点群フレームに対してフィッティングを実行する。

【0193】

シーン判定部２７０は、被写体１の演技の種目のデータを、入力部２２０等から事前に取得しておくものとする。シーン判定部２７０は、被写体１の演技の種目と、シーン切換判定テーブル２４６とを比較して、シーン切換条件を特定する。なお、初期のシーン種別を、一般技シーンとする。シーン判定部２７０は、被写体１の演技の種目と、シーン限定テーブル２４７とを比較して、一般技シーンが、一般技シーン（非対称）か、一般技シーン（対称）かを判定する。

【0194】

シーン判定部２７０は、骨格認識結果データを基にして、被写体１の部位を特定し、シーン切換条件と比較して、シーン種別を判定する。また、シーン判定部２７０は、Ｃｌｏｓｅ Ｐｏｉｎｔを算出し、シーン種別を判定する。

【0195】

図２０を用いて、シーン判定部２７０の処理を説明する。初期のシーン種別を、一般技シーンとする。シーン判定部２７０は、骨格認識結果データを順次取得し、腕と胴、または、腕と脚との距離が閾値未満となった場合、シーン種別を「空中シーン」と判定する。

【0196】

シーン判定部２７０は、骨格認識結果データを順次取得し、腕のＣｌｏｓｅ Ｐｏｉｎｔが閾値未満となった場合、シーン種別を「着地手前シーン」と判定する。シーン判定部２７０は、骨格認識結果データを順次取得し、足と地面との距離が閾値未満となった場合、シーン種別を「着地シーン」と判定する。各閾値や地面の位置等は、予めシーン判定部２７０に設定されているものとする。

【0197】

なお、シーン判定部２７０は、ある時点において、シーン種別が「一般技シーン」と判定され、骨格認識結果データが所定の条件を満たす場合に、シーン種別が「特殊シーン」であると判定する。シーン判定部２７０は、特殊シーンと判定した場合、被写体１の演技の種目と、シーン限定テーブル２４７とを比較して、特殊シーンの具体的なシーン種別を判定する。たとえば、種目が「平均台」である場合には、シーン種別は「ひざ曲げターン」となる。

【0198】

図１８の説明に戻る。技認識部２５５は、フレーム番号の順に骨格認識結果データを、評価処理部２５４から取得し、連続する骨格認識結果データを基にして、各関節座標の時系列変化を特定する。技認識部２５５は、各関節位置の時系列変化と、技認識テーブル２４５とを比較して、技の種別を特定する。また、技認識部２５５は、技の種別の組み合わせと、技認識テーブル２４５とを比較して、被写体１の演技のスコアを算出する。

【0199】

技認識部２５５は、演技に含まれる技の種別、演技のスコア、演技の開始から終了までの骨格認識結果データ等を、画面情報出力制御部２５６に出力する。

【0200】

画面情報出力制御部２５６は、演技のスコアと、演技の開始から終了までの骨格認識結果データとを基にして、画面情報を生成する。画面情報出力制御部２５６は、生成した画面情報を、表示部２３０に出力して表示させる。画面情報出力制御部２５６が生成する画面情報は、実施例１の画面情報出力制御部１５６が生成する画面情報と同様である。

【0201】

次に、本実施例２に係る情報処理装置２００の処理手順の一例について説明する。図２５は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図２５に示すように、情報処理装置２００の取得部２５１は、センサ１０から距離画像のデータを取得する（ステップＳ５０）。

【0202】

取得部２５１は、同一のフレーム番号の点群を統合する（ステップＳ５１ａ）。取得部２５１は、点群フレームからノイズを除去する（ステップＳ５２ａ）。また、情報処理装置２００の学習型骨格認識実行部２５２は、骨格認識モデルを用いて、関節座標のデータを算出する（ステップＳ５１ｂ）。情報処理装置２００の変換部２５３は、関節座標のデータを、関節角度のデータに変換する（ステップＳ５２ｂ）。

【0203】

情報処理装置２００の評価処理部２５４は、第１フィッティング処理、第２フィッティング処理、第３フィッティング処理を並列して実行する（ステップＳ５３ａ、Ｓ５３ｂ、Ｓ５３ｃ）。評価処理部２５４は、種目と優先テーブル２４４とを基にして、１～３番目のＩｔｒ情報を設定する（ステップＳ５４）。

【0204】

評価処理部２５４は、評価処理を実行する（ステップＳ５５）。評価処理部２５４は、シーン判定処理を実行する（ステップＳ５６）。情報処理装置２００は、被写体１の演技が終了していない場合には（ステップＳ５７，Ｎｏ）、ステップＳ５０に移行する。情報処理装置２００は、被写体１の演技が終了した場合には（ステップＳ５７，Ｙｅｓ）、ステップＳ５８に移行する。

【0205】

情報処理装置２００の技認識部２５５は、技認識を実行し、技の種別、演技のスコアを特定する（ステップＳ５８）。情報処理装置２００の画面情報出力制御部２５６は、認識結果を基にして、画面情報を生成する（ステップＳ５９）。画面情報出力制御部２５６は、画面情報を表示部２３０に表示させる（ステップＳ６０）。

【0206】

図２５のステップＳ５３に示したフィッティング処理は、シーン種別に応じた制約条件を設定すること、評価関数の値の算出方法を用いること以外、実施例１の図１５で示したフィッティング処理と同様である。

【0207】

図２５のステップＳ５５に示した評価処理は、実施例１の図１６で示した評価処理と同様である。

【0208】

続いて、図２５のステップＳ５６に示したシーン判定処理の処理手順の一例について説明する。図２６は、シーン判定処理の処理手順を示すフローチャートである。図２６に示すように、情報処理装置２００のシーン判定部２７０は、一般技か否かを判定する（ステップＳ２０１）。シーン判定部２７０は、一般技である場合には（ステップＳ２０１，Ｙｅｓ）、ステップＳ２０２に移行する。一方、シーン判定部２７０は、一般技でない場合（終末技である場合）には（ステップＳ２０１，Ｎｏ）、ステップＳ２０７に移行する。

【0209】

シーン判定部２７０は、特殊シーンであるか否かを判定する（ステップＳ２０２）。シーン判定部２７０により、特殊シーンであると判定された場合（ステップＳ２０２，Ｙｅｓ）、各算出部は、特殊シーンに応じた評価関数の値の算出方法および制約条件を選択する（ステップＳ２０３）。各算出部は、第１算出部２６１、第２算出部２６２、第３算出部２６３に対応する。

【0210】

一方、シーン判定部２７０は、特殊シーンでないと判定した場合（ステップＳ２０２，Ｎｏ）、ステップＳ２０４に移行する。シーン判定部２７０は、種目の対称性が非対称であるか否かを判定する（ステップＳ２０４）。シーン判定部２７０により、一般技シーン（非対称）であると判定された場合（ステップＳ２０４，Ｙｅｓ）、各算出部は、一般技シーン（非対称）に応じた評価関数の値の算出方法および制約条件を選択する（ステップＳ２０５）。

【0211】

シーン判定部２７０により、一般技シーン（非対称）でないと判定された場合（ステップＳ２０４，Ｎｏ）、各算出部は、一般技シーン（対称）に応じた評価関数の値の算出方法および制約条件を選択する（ステップＳ２０６）。

【0212】

シーン判定部２７０は、種目に応じたシーン切換条件と、骨格認識結果を基にして、シーン種別を判定する（ステップＳ２０７）。シーン種別には、空中シーン、着地手前シーン、着地シーンが含まれる。各算出部は、シーン種別に応じた評価関数の値の算出方法および制約条件を選択する（ステップＳ２０８）。

【0213】

次に、本実施例２に係る情報処理装置２００の効果について説明する。本実施例２に係る情報処理装置２００は、被写体の演技のシーン種別を特定し、特定したシーン種別に応じて、フィッティング処理を実行する場合の制約条件、評価関数の値の算出方法を変更する。これによって、シーン種別に応じて最適なフィッティングを実行することができ、骨格認識結果の精度を向上させることができる。また、フィッティングの確からしさを補正することができるので、最適な骨格認識結果を選択することもできる。

【0214】

ところで、本実施例１、２で説明した情報処理装置１００，２００の処理は、各種の採点競技に適用可能である。採点競技には、体操演技の他に、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー・ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。

【0215】

次に、上記実施例に示した情報処理装置１００（２００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２７は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0216】

図２７に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、センサ１０から距離画像のデータを受信する通信装置３０４と、各種の装置と接続するインタフェース装置３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0217】

ハードディスク装置３０７は、取得プログラム３０７ａ、学習型骨格認識実行プログラム３０７ｂ、変換プログラム３０７ｃ、評価処理プログラム３０７ｄ、技認識プログラム３０７ｅ、画面情報出力制御プログラム３０７ｆを有する。ＣＰＵ２０１は、取得プログラム３０７ａ、学習型骨格認識実行プログラム３０７ｂ、変換プログラム３０７ｃ、評価処理プログラム３０７ｄ、技認識プログラム３０７ｅ、画面情報出力制御プログラム３０７ｆを読み出してＲＡＭ３０６に展開する。

【0218】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。学習型骨格認識実行プログラム３０７ｂは、学習型骨格認識実行プロセス３０６ｂとして機能する。変換プログラム３０７ｃは、変換プロセス３０６ｃとして機能する。評価処理プログラム３０７ｄは、評価処理プロセス３０６ｄとして機能する。技認識プログラム３０７ｅは、技認識プロセス３０６ｅとして機能する。画面情報出力制御プログラム３０７ｆは、画面情報出力制御プロセス３０６ｆとして機能する。

【0219】

取得プロセス３０６ａの処理は、取得部１５１，２５１の処理に対応する。骨格認識モデル実行プロセス３０６ｂの処理は、学習型骨格認識実行部１５２，２５２の処理に対応する。変換プロセス３０６ｃの処理は、変換部１５３，２５３の処理に対応する。評価処理プロセス３０６ｄの処理は、評価処理部１５４，２５４の処理に対応する。技認識プロセス３０６ｅの処理は、技認識部１５５，２５５の処理に対応する。画面情報出力制御プロセス３０６ｆの処理は、画面情報出力制御部１５６，２５６の処理に対応する。

【0220】

なお、各プログラム３０７ａ～３０７ｆについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｆを読み出して実行するようにしてもよい。

【符号の説明】

【0221】

１０ａ，１０ｂ センサ
１００ 情報処理装置
１１０，２１０ 通信部
１２０，２２０ 入力部
１３０，２３０ 表示部
１４０，２４０ 記憶部
１４１，２４１ 測定テーブル
１４２，２４２ 骨格認識モデル
１４３，２４３ 円筒モデルデータ
１４４，２４４ 優先テーブル
１４５，２４５ 技認識テーブル
１５０，２５０ 制御部
１５１，２５１ 取得部
１５２，２５２ 学習型骨格認識実行部
１５３，２５３ 変換部
１５４，２５４ 評価処理部
１５５，２５５ 技認識部
１５６，２５６ 画面情報出力制御部
１６１ 第１算出部
１６２ 第２算出部
１６３ 第３算出部
１６４ 評価部
１６５ 出力制御部
２４６ シーン切換判定テーブル
２４７ シーン限定テーブル
２４８ 制約条件テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】