ホーム > 特許ランキング > 株式会社エクサウィザーズ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-03-25
(45)【発行日】2022-04-04
(54)【発明の名称】端末装置、情報処理方法、情報処理システム、及びプログラム
(51)【国際特許分類】
A61B 5/11 20060101AFI20220328BHJP
【ＦＩ】
A61B5/11
A61B5/11 ZDM
【請求項の数】
11
(21)【出願番号】P 2021148073
(22)【出願日】2021-09-10
【審査請求日】2021-09-10
【早期審査対象出願】
(73)【特許権者】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】黒木 孝志
【審査官】北島 拓馬
(56)【参考文献】
【文献】国際公開第２０２１／１３２４２６（ＷＯ，Ａ１）
【文献】特開２０２１－０２６５２７（ＪＰ，Ａ）
【文献】特開２０１７－０６４１２０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０２５１３４１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００ － ５／３９８
Ａ６３Ｂ １／００ －２６／００
Ａ６３Ｂ ６９／００ －６９／４０
Ａ６３Ｂ ７１／００ －７１／１６
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を、前記動画像における前記対象者に重畳して表示する表示部と、前記第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムであって、前記動画像から骨格を抽出する１又は複数の第２のアルゴリズムが抽出した前記対象者の骨格を参照し、前記対象者の身体の動作に関するパラメータを導出する導出部と、
を備える端末装置。
【請求項2】
前記１又は複数の第２のアルゴリズムによる骨格抽出処理は、前記第１のアルゴリズムによる骨格抽出処理よりも精度が高い請求項１に記載の端末装置。
【請求項3】
前記表示部は、前記第１のアルゴリズムを用いて抽出した骨格の確からしさを示す確度情報を取得し、
取得した確度情報に応じて、前記対象者に重畳する骨格の表示態様を変更する
請求項１又は２に記載の端末装置。
【請求項4】
前記表示部は、前記確度情報が示す確度が所定の値より低い場合、確度が高くなるように被写体を撮影することを促す表示を行う請求項３に記載の端末装置。
【請求項5】
前記第１のアルゴリズムと、前記１又は複数の第２のアルゴリズムとを用いて骨格抽出処理を実行する骨格抽出部を更に備える請求項１～４の何れか１項に記載の端末装置。
【請求項6】
前記骨格抽出部は、複数の第２のアルゴリズム候補から、前記１又は複数の第２のアルゴリズムを選択し、選択した１又は複数の第２のアルゴリズムを用いて前記対象者の骨格を抽出する請求項５に記載の端末装置。
【請求項7】
前記骨格抽出部は、前記第１のアルゴリズムを用いて抽出した前記対象者の骨格を参照して、前記１又は複数の第２のアルゴリズムを選択する請求項５に記載の端末装置。
【請求項8】
前記導出部は、前記１又は複数の第２のアルゴリズムを用いて抽出した、歩行中の前記対象者の骨格を参照し、前記対象者の歩行に関するパラメータを導出する請求項１～７の何れか１項に記載の端末装置。
【請求項9】
被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を、前記動画像における前記対象者に重畳して表示するステップと、前記第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムであって、前記動画像から骨格を抽出する１又は複数の第２のアルゴリズムが抽出した前記対象者の骨格を参照し、前記対象者の身体の動作に関するパラメータを導出するステップと、
を含む情報処理方法。
【請求項10】
端末装置と情報処理装置とを含む情報処理システムであって、前記端末装置は、
被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を、前記動画像における前記対象者に重畳して表示する表示部と、
前記動画像を前記情報処理装置に出力する出力部と、
を備え、
前記情報処理装置は、
前記端末装置から前記動画像を取得する取得部と、
前記第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムであって、前記動画像から骨格を抽出する１又は複数の第２のアルゴリズムが抽出した前記対象者の骨格を参照し、前記対象者の身体の動作に関するパラメータを導出する導出部と、
を備える情報処理システム。
【請求項11】
請求項１に記載の上記表示部及び上記導出部としてコンピュータを機能させるプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置、情報処理方法、情報処理システム、及びプログラムに関する。
【背景技術】
【0002】
歩行している対象者を含む動画像から、対象者の歩容を解析する技術において、解析の精度を高くすることを目的とした技術が知られている。特許文献１には、撮影時における撮影装置の内部状況である撮影状況を示す情報を含む状況情報を取得し、撮影画像に状況情報を表す状況画像を含めた合成画像を出力する端末が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許６８９５６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、歩容解析することによって、対象者の歩行を評価する技術も知られている。当該技術では、撮影している動画像が歩容解析に適しているか否かをユーザに通知するため、抽出した対象者の骨格を対象者に重畳し、表示することが知られている。ここで、撮影中に歩容解析のための骨格抽出を行うと、骨格抽出する処理の速さが要求されるため、骨格抽出の精度が低くなり、対象者の歩行を適切に評価できなくなる。一方、骨格抽出を撮影後に行うと、被写体を撮影するユーザに対して、歩容解析のために適切な動画像が撮影できているか否かを通知できないという問題がある。
【0005】
本発明の一態様は、対象者を撮影するユーザに適切な動画像が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る端末装置は、被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を、前記動画像における前記対象者に重畳して表示する表示部と、前記第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムを用いて前記動画像から抽出した前記対象者の骨格を参照し、前記対象者の身体の動作に関するパラメータを導出する導出部と、を備える端末装置。
【発明の効果】
【0007】
本発明の一態様によれば、対象者を撮影するユーザに適切な動画像が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態１に係る端末装置の構成例を示すブロック図である。
【図2】本発明の実施形態１に係る端末装置による処理の流れを示すシーケンス図である。
【図3】本発明の実施形態１に係る表示部が表示パネルに表示する動画像の一例を示す図である。
【図4】本発明の実施形態１に係る表示部が表示パネルに表示する動画像の他の例を示す図である。
【図5】本発明の実施形態１に係る表示部が表示パネルに表示する動画像のさらに他の例を示す図である。
【図6】本発明の実施形態１に係る表示部が表示パネルに表示する動画像のさらに他の例を示す図である。
【図7】本発明の実施形態１に係る表示部が表示パネルに表示する動画像のさらに他の例を示す図である。
【図8】本発明の実施形態２に係る情報処理システムの概要を示す模式図である。
【図9】本発明の実施形態２に係る情報処理システムに含まれる端末装置及び情報処理装置の構成例を示すブロック図である。
【図10】本発明の実施形態２に係る情報処理システムにおける処理の流れを示すシーケンス図である。
【図11】端末装置及び情報処理装置として用いられるコンピュータの物理的構成を例示したブロック図である。
【図12】実施例１における推定値と実測値との関係を示すグラフである。
【図13】実施例２における推定値と実測値との関係を示すグラフである。
【発明を実施するための形態】
【0009】
〔実施形態１〕
以下、本発明の一実施形態について説明する。
以下、本発明の一実施形態について説明する。
【0010】
【0011】
本実施形態に係る端末装置１は、被写体として対象者を含む動画像を撮影し、当該動画像を参照し、以下の処理を行う。
・対象者の骨格を抽出し、抽出した対象者の骨格を、動画像における対象者に重畳して表示する
・対象者の動作に関するパラメータを導出する
・導出したパラメータの確度を示す確度情報を導出する
ここで、上記対象者の例として被介護者が挙げられるが、これは本実施形態を限定するものではない。また、端末装置１のユーザとして、上記被介護者を介護する介護職員が挙げられるが、これは本実施形態を限定するものではない。
・対象者の骨格を抽出し、抽出した対象者の骨格を、動画像における対象者に重畳して表示する
・対象者の動作に関するパラメータを導出する
・導出したパラメータの確度を示す確度情報を導出する
ここで、上記対象者の例として被介護者が挙げられるが、これは本実施形態を限定するものではない。また、端末装置１のユーザとして、上記被介護者を介護する介護職員が挙げられるが、これは本実施形態を限定するものではない。
【0012】
（端末装置１の構成）
端末装置１は、図１に示すように、制御部１０、表示パネル１２、撮像部１３、及び記憶部１４を備えている。
端末装置１は、図１に示すように、制御部１０、表示パネル１２、撮像部１３、及び記憶部１４を備えている。
【0013】
表示パネル１２は、後述する制御部１０から供給されるデータを表示するディスプレイである。一例として、表示パネル１２は、対象者の骨格を当該対象者に重畳した動画像を表示する。
【0014】
撮像部１３は、動画像を撮像可能なカメラである。一例として、撮像部１３は、当該撮像部１３の画角に対象者が含まれるよう、ユーザによって向けられる。そして撮像部１３は、対象者が所定の動作（歩行、及び腕上げなど）を実行している様子を撮像し、被写体として当該対象者を含む動画像を生成する。撮像部１３は、撮像によって得られた動画像を後述する制御部１０に供給する。
【0015】
記憶部１４は、後述する制御部１０が参照する各種のデータが格納されている。一例として、記憶部１４には、撮像部１３によって撮像された動画像、及び後述する対象者の骨格を示す骨格情報などが格納されている。
【0016】
（制御部１０）
制御部１０は、端末装置１の各構成要素を制御する。一例として、制御部１０は、撮像部１３によって撮像された動画像を取得したり、表示パネル１２に表示する動画像データを供給したりする。
制御部１０は、端末装置１の各構成要素を制御する。一例として、制御部１０は、撮像部１３によって撮像された動画像を取得したり、表示パネル１２に表示する動画像データを供給したりする。
【0017】
また、制御部１０は、図１に示すように、取得部１５、骨格抽出部１６、パラメータ導出部１７（導出部）、確度導出部１８、及び表示部１９としても機能する。
【0018】
取得部１５は、撮像部１３によって撮像された動画像を取得する。取得部１５は、取得した動画像を、記憶部１４に格納する。
【0019】
骨格抽出部１６は、第１のアルゴリズムと、１又は複数の第２のアルゴリズムとを用いて、被写体として対象者を含む動画像から対象者の骨格を抽出する骨格抽出処理を実行する。
【0020】
ここで、第１のアルゴリズム及び第２のアルゴリズムは、対象者の骨格を抽出するアルゴリズムである。第１のアルゴリズムによって抽出された対象者の骨格は、当該骨格を示す第１の骨格情報として後述する表示部１９によってリアルタイムに参照される。そのため、第１のアルゴリズムは、後述する第２のアルゴリズムよりも骨格抽出処理が速いアルゴリズムであることが好ましい。より具体的には、第１のアルゴリズムは、映像のリフレッシュレート（３０ｆｐｓまたは６０ｆｐｓ）より速いことが好ましい。また、第１のアルゴリズムは、抽出した骨格の確からしさを示す第１の確度情報を生成する。第１の確度情報は、後述する表示部１９によって参照される。
【0021】
第２のアルゴリズムによって抽出された対象者の骨格抽出処理の結果は、当該骨格を示す第２の骨格情報として後述するパラメータ導出部１７によって参照される。詳細は後述するものの、１又は複数の第２のアルゴリズムによる骨格抽出処理は、第１のアルゴリズムによる骨格抽出処理よりも精度が高いことが好ましい。
【0022】
また、骨格抽出部１６は、複数のアルゴリズム候補から、１又は複数の第２のアルゴリズムを選択し、選択した１又は複数の第２のアルゴリズムを用いて対象者の骨格を抽出する構成であってもよい。例えば、骨格抽出部１６は、第１のアルゴリズムを用いて抽出した対象者の骨格を参照して、１又は複数の第２のアルゴリズムを選択してもよい。骨格抽出部１６が１又は複数の第２のアルゴリズムを選択する処理の具体例については、後述する。
【0023】
また、骨格抽出部１６は、第１のアルゴリズム及び第２のアルゴリズムの少なくとも何れかを用いた骨格抽出の際に、動画像に含まれるフレームのうち、骨格抽出に失敗したフレームを示すエラー情報を生成する。
【0024】
骨格抽出に失敗したフレームとは、第１のアルゴリズム又は第２のアルゴリズムを用いた骨格抽出の際に、骨格が抽出されなかったフレーム、又は適切に骨格が抽出されていないと考えられるフレームである。具体的な例として、
・骨格抽出処理が完了しなかったため、骨格抽出処理の戻り値を取得できなかったフレーム
・骨格抽出処理は完了したが、骨格抽出処理の戻り値が、所定の範囲外の値（外れ値）になっていたフレーム
が挙げられるが、これらに限定されない。
・骨格抽出処理が完了しなかったため、骨格抽出処理の戻り値を取得できなかったフレーム
・骨格抽出処理は完了したが、骨格抽出処理の戻り値が、所定の範囲外の値（外れ値）になっていたフレーム
が挙げられるが、これらに限定されない。
【0025】
エラー情報の例として、
・骨格抽出を失敗したフレームの数を示す情報
・骨格抽出を失敗したフレームの時間的な位置（骨格抽出を失敗したフレームが撮影された日時、又は動画像撮影開始からの経過時間など）を示す情報
・骨格抽出に失敗したフレームにおいて、骨格抽出できなかった部位を示す情報
などが挙げられるが、これらに限定されない。
・骨格抽出を失敗したフレームの数を示す情報
・骨格抽出を失敗したフレームの時間的な位置（骨格抽出を失敗したフレームが撮影された日時、又は動画像撮影開始からの経過時間など）を示す情報
・骨格抽出に失敗したフレームにおいて、骨格抽出できなかった部位を示す情報
などが挙げられるが、これらに限定されない。
【0026】
パラメータ導出部１７は、骨格抽出部１６が実行した骨格抽出処理の結果を参照して、対象者の身体の動作に関するパラメータを導出する。より具体的には、パラメータ導出部１７は、骨格抽出部１６が第２のアルゴリズムを用いて動画像から抽出した対象者の骨格を示す第２の骨格情報を参照し、対象者の身体の動作に関するパラメータを導出する。対象者の身体の動作に関するパラメータとは、対象者が動作を行った際に、当該動作をどの程度実行できたかを示すパラメータである。対象者の身体の動作に関するパラメータの例として、対象者が歩く、腕を上げる、及び立ち上がるといった動作を行った際の
・動作を行う速度
・動作を行うリズム
・動作を行う際の身体のふらつき
・動作の左右差
などが挙げられるが、これらに限定されない。パラメータ導出部１７がパラメータを導出する処理の具体例については、後述する。
・動作を行う速度
・動作を行うリズム
・動作を行う際の身体のふらつき
・動作の左右差
などが挙げられるが、これらに限定されない。パラメータ導出部１７がパラメータを導出する処理の具体例については、後述する。
【0027】
確度導出部１８は、パラメータ導出部１７が導出したパラメータの確度を示す第２の確度情報を、動画像に含まれる複数フレームのうち、骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。より具体的には、確度導出部１８は、パラメータ導出部１７が導出したパラメータの確度を示す第２の確度情報を、骨格抽出部１６が生成したエラー情報を参照して導出する。パラメータの確度とは、当該パラメータの確かさの度合いであり、当該パラメータの確度が高い程、パラメータの信頼度が高いことを示す。確度導出部１８が第２の確度情報を導出する処理の具体例については、後述する。
【0028】
表示部１９は、表示パネル１２に表示する動画像データを生成する。具体的には、表示部１９は、骨格抽出部１６が生成した第１の骨格情報を参照し、第１の骨格情報が示す骨格を、取得部１５が取得した動画像における対象者に重畳して、表示パネル１２に表示する。また、表示部１９は、確度導出部１８が導出した第２の確度情報を参照し、第２の確度情報が示す確度を表示パネル１２に表示する。
【0029】
【0030】
（ステップＳ１２）
ステップＳ１２において、取得部１５は、撮像部１３を介して、被写体として対象者を含む動画像の取得を開始する。例えば、取得部１５は、端末装置１のユーザからの操作を受け付ける操作受付部（不図示）から、撮影を開始する旨を示す情報を取得すると、撮像部１３を介して動画像の取得を開始する。
ステップＳ１２において、取得部１５は、撮像部１３を介して、被写体として対象者を含む動画像の取得を開始する。例えば、取得部１５は、端末装置１のユーザからの操作を受け付ける操作受付部（不図示）から、撮影を開始する旨を示す情報を取得すると、撮像部１３を介して動画像の取得を開始する。
【0031】
（ステップＳ１３）
ステップＳ１３において、骨格抽出部１６は、ステップＳ１２において取得部１５が取得した動画像から、第１のアルゴリズムを用いて対象者の骨格を抽出する。骨格抽出部１６は、抽出した骨格を示す第１の骨格情報を、表示部１９に供給する。また、ステップＳ１３において、骨格抽出部１６は、抽出した骨格の確からしさを示す第１の確度情報及び骨格抽出に失敗したフレームを示すエラー情報を生成してもよい。この場合、骨格抽出部１６は、第１の確度情報を表示部１９に供給し、エラー情報を確度導出部１８に供給する。
ステップＳ１３において、骨格抽出部１６は、ステップＳ１２において取得部１５が取得した動画像から、第１のアルゴリズムを用いて対象者の骨格を抽出する。骨格抽出部１６は、抽出した骨格を示す第１の骨格情報を、表示部１９に供給する。また、ステップＳ１３において、骨格抽出部１６は、抽出した骨格の確からしさを示す第１の確度情報及び骨格抽出に失敗したフレームを示すエラー情報を生成してもよい。この場合、骨格抽出部１６は、第１の確度情報を表示部１９に供給し、エラー情報を確度導出部１８に供給する。
【0032】
（ステップＳ１４）
ステップＳ１４において、表示部１９は、ステップＳ１３において骨格抽出部１６が供給した第１の骨格情報が示す骨格を動画像における対象者に重畳した動画像を示す動画像データを表示パネル１２に供給する。表示パネル１２は、取得した動画像データが示す動画像を表示する。
ステップＳ１４において、表示部１９は、ステップＳ１３において骨格抽出部１６が供給した第１の骨格情報が示す骨格を動画像における対象者に重畳した動画像を示す動画像データを表示パネル１２に供給する。表示パネル１２は、取得した動画像データが示す動画像を表示する。
【0033】
（表示部１９が表示する動画像の例１）
表示部１９が表示パネル１２に表示する動画像の一例について、図３を用いて説明する。図３は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像の一例を示す図である。
表示部１９が表示パネル１２に表示する動画像の一例について、図３を用いて説明する。図３は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像の一例を示す図である。
【0034】
表示部１９は、第１の骨格情報が示す骨格のうち、関節を対象者に重畳して表示パネル１２に表示する。例えば、図３に示すように、表示部１９は、関節を示す点ＪＴ１、点ＪＴ２、及び点ＪＴ３等を対象者ＴＰに重畳して表示パネル１２に表示する。また、表示部１９は、隣接する関節（例えば、図３における点ＪＴ１、点ＪＴ２）を線で結び、対象者ＴＰに重畳して表示パネル１２に表示する。換言すると、表示部１９は、第１のアルゴリズムを用いた骨格抽出において、抽出されなかった骨格は表示パネル１２に表示しない。当該構成により、端末装置１は、対象者を撮影しているユーザに対して、撮影している動画像が対象者の骨格抽出に適した動画像であるかどうかを通知することができる。
【0035】
ここで、撮影している動画像に含まれる対象者ＴＰの骨格が抽出されているか否かをユーザに通知するためには、骨格抽出の処理が速い方が好ましい。そのため、上述したように、第１の骨格情報が示す骨格を抽出する第１のアルゴリズムは、第２のアルゴリズムよりも抽出処理が速いアルゴリズムであることが好ましい。この構成により、端末装置１は、撮影中のユーザに対して、撮影している動画像が対象者の骨格抽出に適した動画像であるかどうかを通知することができる。
【0036】
（表示部１９が表示する動画像の例２）
骨格抽出部１６が第１の確度情報を表示部１９に供給した場合、表示部１９は、第１の確度情報を取得し、取得した第１の確度情報に応じて、対象者に重畳する骨格の表示態様を変更する構成であってもよい。本構成において表示部１９が表示パネル１２に表示する動画像の一例について、図４を用いて説明する。図４は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像の他の例を示す図である。
骨格抽出部１６が第１の確度情報を表示部１９に供給した場合、表示部１９は、第１の確度情報を取得し、取得した第１の確度情報に応じて、対象者に重畳する骨格の表示態様を変更する構成であってもよい。本構成において表示部１９が表示パネル１２に表示する動画像の一例について、図４を用いて説明する。図４は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像の他の例を示す図である。
【0037】
図４に示すように、表示部１９は、上述した図３と同様、関節を示す点ＪＴ２、点ＪＴ３、及び点ＪＴ４等を対象者ＴＰに重畳して表示パネル１２に表示する。ここで、対象者ＴＰの左膝における第１の確度情報が示す確度が所定の値より低い場合、表示部１９は、図４に示すように、左膝を示す点ＪＴ４の態様を、他の関節を示す表示の態様（形が丸）とは異なる態様（形が三角）に変更し、表示する。当該構成により、端末装置１は、撮影中のユーザに対して、撮影している動画像における対象者の骨格のうち、何れの骨格を確度高く抽出できているかを通知することができる。
【0038】
表示部１９が表示態様を異ならせる構成は、形を異ならせる構成以外にも、例えば、
・第１の確度情報に応じて骨格を示す表示の色を異ならせる
・第１の確度情報に応じて骨格を示す表示の色の濃淡を異ならせる
・第１の確度情報に応じて骨格を示す表示の大きさを異ならせる
などが挙げられるが、これらに限定されない。
・第１の確度情報に応じて骨格を示す表示の色を異ならせる
・第１の確度情報に応じて骨格を示す表示の色の濃淡を異ならせる
・第１の確度情報に応じて骨格を示す表示の大きさを異ならせる
などが挙げられるが、これらに限定されない。
【0039】
（表示部１９が表示する動画像の例３）
骨格抽出部１６が第１の確度情報を表示部１９に供給した場合、表示部１９は、第１の確度情報が示す確度が所定の値より低い場合、確度が高くなるように被写体を撮影することを促す表示を行う構成であってもよい。本構成において表示部１９が表示パネル１２に表示する動画像の一例について、図５を用いて説明する。図５は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像のさらに他の例を示す図である。
骨格抽出部１６が第１の確度情報を表示部１９に供給した場合、表示部１９は、第１の確度情報が示す確度が所定の値より低い場合、確度が高くなるように被写体を撮影することを促す表示を行う構成であってもよい。本構成において表示部１９が表示パネル１２に表示する動画像の一例について、図５を用いて説明する。図５は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像のさらに他の例を示す図である。
【0040】
例えば、動画像に含まれる対象者が小さいため、第１の確度情報が示す確度が全て又は一部の骨格において低い場合、図５に示すように、表示部１９は、確度が高くなるように被写体を撮影することを促す表示ＤＰ１を表示する。表示ＤＰ１は、「対象者がもう少し大きく映るように撮影してください」というテキストが含まれている。当該構成により、端末装置１は、撮影中のユーザに対して、どのように撮影すれば対象者の骨格抽出の確度を高くできるのかを通知することができる。
【0041】
確度が高くなるように被写体を撮影することを促す表示の例として、
・動画像に含まれる対象者が小さいため、第１の確度情報が示す確度が全ての骨格において低い場合、「画角を狭くしてください」と表示する
・動画像に含まれる対象者が左側に寄っているため、対象者の左側の骨格における第１の確度情報が示す確度が低い場合、「もう少し左側を撮影してください」と表示する
などが挙げられるが、これらに限定されない。
・動画像に含まれる対象者が小さいため、第１の確度情報が示す確度が全ての骨格において低い場合、「画角を狭くしてください」と表示する
・動画像に含まれる対象者が左側に寄っているため、対象者の左側の骨格における第１の確度情報が示す確度が低い場合、「もう少し左側を撮影してください」と表示する
などが挙げられるが、これらに限定されない。
【0042】
また、表示部１９は、確度が高くなるように被写体を撮影することを促す表示を、骨格抽出部１６が抽出した部位の数が、所定の数よりも小さい場合に表示する構成であってもよい。より具体的には、表示部１９は、骨格抽出部１６が供給した第１の骨格情報が示す部位を参照し、当該部位の数が、所定の数よりも小さい場合、確度が高くなるように被写体を撮影することを促す表示を行ってもよい。
【0043】
再び図２を参照し、端末装置１による処理のステップＳ１５以降について説明する。
【0044】
（ステップＳ１５）
ステップＳ１５において、取得部１５は、撮像部１３を介した動画像の取得を終了する。例えば、取得部１５は、端末装置１のユーザからの操作を受け付ける操作受付部（不図示）から、撮影を終了する旨を示す情報を取得すると、撮像部１３を介しての動画像の取得を終了する。
ステップＳ１５において、取得部１５は、撮像部１３を介した動画像の取得を終了する。例えば、取得部１５は、端末装置１のユーザからの操作を受け付ける操作受付部（不図示）から、撮影を終了する旨を示す情報を取得すると、撮像部１３を介しての動画像の取得を終了する。
【0045】
（ステップＳ１６）
ステップＳ１６において、骨格抽出部１６は、ステップＳ１２～ステップＳ１５において取得部１５が取得した動画像から、第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムを用いて対象者の骨格を抽出する。ステップＳ１６において、骨格抽出部１６は、複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択し、選択した１又は複数の第２のアルゴリズムを用いて対象者の骨格を抽出してもよい。また、ステップＳ１３において骨格抽出部１６がエラー情報を生成していない場合、ステップＳ１６において、骨格抽出部１６はエラー情報を生成してもよい。
ステップＳ１６において、骨格抽出部１６は、ステップＳ１２～ステップＳ１５において取得部１５が取得した動画像から、第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムを用いて対象者の骨格を抽出する。ステップＳ１６において、骨格抽出部１６は、複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択し、選択した１又は複数の第２のアルゴリズムを用いて対象者の骨格を抽出してもよい。また、ステップＳ１３において骨格抽出部１６がエラー情報を生成していない場合、ステップＳ１６において、骨格抽出部１６はエラー情報を生成してもよい。
【0046】
（骨格抽出部１６による第２のアルゴリズム選択処理例）
骨格抽出部１６による第２のアルゴリズム選択処理例について、以下に説明する。
骨格抽出部１６による第２のアルゴリズム選択処理例について、以下に説明する。
【0047】
骨格抽出部１６が複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択する構成では、複数のアルゴリズム候補は、それぞれ、抽出する部位、抽出の精度、及び抽出の速度といった特性が異なっていてもよい。この場合、骨格抽出部１６は、第１のアルゴリズムを用いて抽出した対象者の骨格を参照して、特性に応じたアルゴリズムを選択してもよい。
【0048】
一例として、複数のアルゴリズム候補がそれぞれ抽出する骨格の部位が異なる場合、骨格抽出部１６は、抽出する骨格の部位に応じて、複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択する。この場合、骨格抽出部１６は、第１のアルゴリズムによって抽出された対象者の骨格を参照し、第１のアルゴリズムにおいて抽出された骨格の部位を抽出することができるアルゴリズムを、複数のアルゴリズム候補から選択する。例えば、第１のアルゴリズムによって対象者の脚部が抽出された場合、骨格抽出部１６は、脚部を抽出することができるアルゴリズムを複数のアルゴリズム候補から選択する。
【0049】
さらに、骨格抽出部１６は、期間に応じて複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択してもよい。例えば、ある期間において第１のアルゴリズムによって対象者の脚部が抽出され、当該ある期間とは異なる期間において第１のアルゴリズムによって対象者の腕部が抽出された場合、骨格抽出部１６は、ある期間においては脚部を抽出することができるアルゴリズムを複数のアルゴリズム候補から選択し、異なる期間においては腕部を抽出することができるアルゴリズムを複数のアルゴリズム候補から選択する。
【0050】
また、骨格抽出部１６は、ユーザからの指示を参照し、複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択してもよい。例えば、歩く速度が加速する期間と、歩く速度が減速する期間とが動画像に含まれる場合、ユーザは、歩く速度が加速する期間と、歩く速度が減速する期間とのそれぞれに、加速期間であることを示すアノテーションと減速期間であることを示すアノテーションを当該動画像に付加する。骨格抽出部１６は、当該アノテーションを参照し、歩く速度が加速する期間においては、歩く速度が加速する動きに適した１又は複数の第２のアルゴリズムを選択し、歩く速度が減速する期間において、歩く速度が減速する動きに適した１又は複数の第２のアルゴリズムを選択する構成であってもよい。または、骨格抽出部１６は、期間及び部位に対して、何れの１又は複数の第２のアルゴリズムを選択するか、ユーザから直接指示される構成であってもよい。
【0051】
このように、骨格抽出部１６が第２のアルゴリズムを選択することにより、高い精度で対象者の骨格を抽出することができる。
【0052】
（ステップＳ１７）
ステップＳ１７において、パラメータ導出部１７は、ステップＳ１６において抽出された対象者の骨格を参照し、対象者の身体の動作に関するパラメータを導出する。
ステップＳ１７において、パラメータ導出部１７は、ステップＳ１６において抽出された対象者の骨格を参照し、対象者の身体の動作に関するパラメータを導出する。
【0053】
（パラメータ導出部１７によるパラメータ導出処理例）
パラメータ導出部１７によるパラメータ導出処理例について、以下に説明する。
パラメータ導出部１７によるパラメータ導出処理例について、以下に説明する。
【0054】
例えば、パラメータ導出部１７は、第２のアルゴリズムを用いて抽出した、歩行中の対象者の骨格を参照し、対象者の歩行に関するパラメータを導出する。より具体的には、骨格抽出部１６から取得した第２の骨格情報が対象者の右脚及び左脚が抽出されたことを示し、右脚及び左脚が、対象者が歩行していることを示す場合、パラメータ導出部１７は、対象者が歩行する速度を算出する。パラメータ導出部１７は、算出された速度に応じて、パラメータを導出する。例えば、対象者が歩行する速度が所定の値より大きい場合、パラメータ導出部１７は、歩行を行う速度のパラメータを、速度が速いことを示すパラメータに設定する。一方、対象者が歩行する速度が所定の値より小さい場合、パラメータ導出部１７は、歩行を行う速度のパラメータを、速度が遅いことを示すパラメータに設定する。
【0055】
他の例として、第２の骨格情報が対象者の右脚及び左脚が抽出されたことを示し、右脚及び左脚が、対象者が歩行していることを示す場合、パラメータ導出部１７は、対象者の右脚と左脚とがそれぞれ動く速度を算出する。パラメータ導出部１７は、算出された速度に応じて、パラメータを導出する。例えば、対象者の右脚が動く速度と、対象者の左脚の動く速度との差が所定の値より小さい場合、パラメータ導出部１７は、左右差のパラメータを、左右差がないことを示すパラメータに設定する。一方、対象者の右脚が動く速度と、対象者の左脚の動く速度との差が所定の値より大きい場合、パラメータ導出部１７は、左右差のパラメータを、左右差があることを示すパラメータに設定する。
【0056】
このように、端末装置１は、第２のアルゴリズムが抽出した骨格を示す第２の骨格情報を参照して、対象者の身体の動作に関するパラメータを導出する。すなわち、第２のアルゴリズムが抽出した骨格は、対象者の身体の動作に関するパラメータの導出に用いられるため、上述したように、第２のアルゴリズムの骨格抽出処理は、第１のアルゴリズムによる骨格抽出処理よりも精度が高いことが好ましい。この構成により、端末装置１は、第１のアルゴリズムが抽出した骨格を示す第１の骨格情報ではなく、第２のアルゴリズムが抽出した骨格を示す第２の骨格情報を参照することにより、対象者の身体の動作に関するパラメータの精度を高くすることができる。
【0057】
（ステップＳ１８）
ステップＳ１８において、確度導出部１８は、骨格抽出部１６が生成したエラー情報を参照し、ステップＳ１７において導出されたパラメータの確度を示す第２の確度情報を、動画像に含まれる複数フレームのうち、骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。
ステップＳ１８において、確度導出部１８は、骨格抽出部１６が生成したエラー情報を参照し、ステップＳ１７において導出されたパラメータの確度を示す第２の確度情報を、動画像に含まれる複数フレームのうち、骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。
【0058】
（確度導出部１８による確度導出処理例）
確度導出部１８による確度導出処理例について、以下に説明する。
確度導出部１８による確度導出処理例について、以下に説明する。
【0059】
確度導出部１８は、骨格抽出部１６が生成したエラー情報を参照することにより、骨格抽出処理による骨格抽出が失敗したフレームを特定し、特定したフレームに応じて第２の確度情報を導出する。
【0060】
一例として、エラー情報が骨格抽出処理による骨格抽出が失敗したフレームの数を示す場合、確度導出部１８は、骨格抽出処理による骨格抽出が失敗したフレームの数に応じて第２の確度情報を導出する。例えば、骨格抽出処理による骨格抽出が失敗したフレームの数が所定の値よりも多い場合、確度導出部１８は、第２の確度情報として、確度が低いことを示す第２の確度情報を導出する。一方、骨格抽出処理による骨格抽出が失敗したフレームの数が所定の値よりも少ない場合、確度導出部１８は、第２の確度情報として、確度が高いことを示す第２の確度情報を導出する。当該構成により、端末装置１は、骨格抽出処理による骨格抽出が失敗したフレームの数が多い場合は、パラメータの確度が低いことをユーザに通知することができる。
【0061】
他の例として、エラー情報が骨格抽出処理による骨格抽出が失敗したフレームの時間的な位置を示す場合、確度導出部１８は、骨格抽出処理による骨格抽出が失敗したフレームの時間的な位置に応じて第２の確度情報を導出する。例えば、骨格抽出処理による骨格抽出が失敗したフレームの時間的な位置が、対象者が動作する期間に含まれている場合（例えば、対象者の歩行動画であれば、対象者が歩行している期間に含まれている場合）、確度導出部１８は、第２の確度情報として、確度が低いことを示す第２の確度情報を導出する。一方、骨格抽出処理による骨格抽出が失敗したフレームの時間的な位置が、対象者が動作する期間に含まれていない場合（例えば、対象者の歩行動画であれば、対象者が歩行する前（又は歩行した後）の期間に含まれている場合）、確度導出部１８は、第２の確度情報として、確度が高いことを示す第２の確度情報を導出する。当該構成により、端末装置１は、対象者が動作している期間に骨格抽出が失敗した場合、パラメータの確度が低いことをユーザに通知することができる。
【0062】
さらに他の例として、エラー情報が骨格抽出処理による骨格抽出に失敗したフレームにおいて、骨格が抽出されなかった部位を示す場合、確度導出部１８は、骨格抽出処理による骨格抽出に失敗したフレームにおいて、骨格が抽出されなかった部位に応じて第２の確度情報を導出する。例えば、骨格抽出処理による骨格抽出に失敗したフレームにおいて、骨格が抽出されたかった部位が、対象者の動作をするために不可欠な部位（例えば、対象者の歩行動画であれば、対象者の脚部）であった場合、確度導出部１８は、第２の確度情報として、確度が低いことを示す第２の確度情報を導出する。一方、骨格抽出処理による骨格抽出に失敗したフレームにおいて、骨格が抽出されたかった部位が、対象者の動作をするために不可欠ではない部位（例えば、対象者の歩行動画であれば、対象者の頸部）であった場合、確度導出部１８は、第２の確度情報として、確度が高いことを示す第２の確度情報を導出する。当該構成により、端末装置１は、対象者の動作に不可欠な部位の骨格抽出に失敗した場合、パラメータの確度が低いことをユーザに通知することができる。
【0063】
再び図２を参照し、端末装置１による処理のステップＳ１９について説明する。
【0064】
（ステップＳ１９）
ステップＳ１９において、表示部１９は、ステップＳ１７においてパラメータ導出部１７が導出したパラメータと、ステップＳ１９において確度導出部１８が導出した第２の確度情報が示す確度を含む動画像データを表示パネル１２に供給する。表示パネル１２は、取得した動画像データが示す動画像を表示する。
ステップＳ１９において、表示部１９は、ステップＳ１７においてパラメータ導出部１７が導出したパラメータと、ステップＳ１９において確度導出部１８が導出した第２の確度情報が示す確度を含む動画像データを表示パネル１２に供給する。表示パネル１２は、取得した動画像データが示す動画像を表示する。
【0065】
（表示部１９が表示する動画像の例４）
表示部１９が表示パネル１２に表示する動画像の一例について、図６を用いて説明する。図６は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像のさらに他の例を示す図である。
表示部１９が表示パネル１２に表示する動画像の一例について、図６を用いて説明する。図６は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像のさらに他の例を示す図である。
【0066】
図６に示すように、表示部１９は、パラメータ導出部１７が導出したパラメータＰＭ１と、確度導出部１８が導出した第２の確度情報が示す確度ＡＣ１を含む動画像を表示パネル１２に表示する。また、表示部１９は、評価項目毎のパラメータＰＭ２も含む動画像を表示パネル１２に表示してもよい。当該構成により、端末装置１は、表示されているパラメータＰＭ１の確度をユーザに通知することができる。
【0067】
また、表示部１９は、第２の確度情報が示す確度を、評価項目毎に表示する構成であってもよい。当該構成では、確度導出部１８は、評価項目毎に第２の確度情報を導出する。例えば、対象者が歩く動作と、対象者が立ち止まって腕を上げる動作とが動画像に含まれている場合、対象者が歩く動作を行っている期間において、骨格抽出処理による骨格抽出が失敗したフレームの数が所定の数より多い場合、確度導出部１８は、対象者が歩く動作において評価される評価項目「速度」の確度が低くなるように第２の確度情報を導出する。
【0068】
（表示部１９が表示する動画像の例５）
表示部１９は、確度導出部１８が導出した第２の確度情報が示す確度に応じて、確度を表示する態様を変更する構成であってもよい。本構成において表示部１９が表示パネル１２に表示する動画像の一例について、図７を用いて説明する。図７は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像のさらに他の例を示す図である。
表示部１９は、確度導出部１８が導出した第２の確度情報が示す確度に応じて、確度を表示する態様を変更する構成であってもよい。本構成において表示部１９が表示パネル１２に表示する動画像の一例について、図７を用いて説明する。図７は、本実施形態に係る表示部１９が表示パネル１２に表示する動画像のさらに他の例を示す図である。
【0069】
図７に示すように、表示部１９は、第２の確度情報が示す確度が所定の値より低い場合、再度、動画像を撮影するよう促すメッセージＤＰ２を含む画像を表示パネル１２に表示する。この構成により、端末装置１は、確度の高いパラメータを導出するためには、再度の動画像の撮影が必要であることをユーザに通知することができる。
【0070】
また、図７に示すように、表示部１９は、動画像を撮影するよう促すメッセージＤＰ２に加えて、パラメータ導出部１７が導出したパラメータＰＭ３、評価項目毎のパラメータＰＭ４、及び確度導出部１８が導出した第２の確度情報が示す確度を表示してもよい。
【0071】
図７に示す動画像の他に、表示部１９は、第２の確度情報が示す確度が所定の値より高いか低いかに応じて、以下のように表示する態様を変更する構成であってもよい。
・第２の確度情報が示す確度のテキストの色を変更する
・第２の確度情報が示す確度のテキストの大きさを変更する
・第２の確度情報が示す確度が所定の値より高い場合、再度の動画像の撮影が不要であることをユーザに通知する（例えば、「測定が適切に完了しました」というテキストを表示する）
ただし、これらは本実施形態を限定するものではない。
・第２の確度情報が示す確度のテキストの色を変更する
・第２の確度情報が示す確度のテキストの大きさを変更する
・第２の確度情報が示す確度が所定の値より高い場合、再度の動画像の撮影が不要であることをユーザに通知する（例えば、「測定が適切に完了しました」というテキストを表示する）
ただし、これらは本実施形態を限定するものではない。
【0072】
このように、端末装置１は、被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した対象者の骨格を、動画像における前記対象者に重畳して表示し、１又は複数の第２のアルゴリズムを用いて動画像から抽出した対象者の骨格を参照し、対象者の身体の動作に関するパラメータを導出する。そのため、端末装置１は、第１のアルゴリズムを用いて抽出した対象者の骨格を、対象者に重畳して表示しつつ、第２のアルゴリズムを用いて抽出した対象者の骨格を参照して対象者の身体の動作に関するパラメータを導出するので、対象者を撮影するユーザに適切な動画が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価することができる。
【0073】
また、端末装置１は、被写体として対象者を含む動画像から対象者の骨格を抽出する骨格抽出処理を実行し、骨格抽出処理の結果を参照して、対象者の身体の動作に関するパラメータを導出し、当該パラメータの確度を示す確度情報を、動画像に含まれる複数のフレームのうち、骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。そのため、端末装置１は、骨格抽出処理による骨格抽出が失敗したフレームに応じてパラメータの確度を導出するので、パラメータの信頼度をユーザに通知することができる。
【0074】
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0075】
（情報処理システム１００）
図８を参照し、本実施形態に係る情報処理システム１００の概要について説明する。図８は、本実施形態に係る情報処理システム１００の概要を示す模式図である。図８に示すように、情報処理システム１００は、端末装置１Ａ及び情報処理装置３を含んで構成される。
図８を参照し、本実施形態に係る情報処理システム１００の概要について説明する。図８は、本実施形態に係る情報処理システム１００の概要を示す模式図である。図８に示すように、情報処理システム１００は、端末装置１Ａ及び情報処理装置３を含んで構成される。
【0076】
図８に示すように、端末装置１Ａ及び情報処理装置３は、ネットワークＮを介して互いに通信可能に接続されている。ここで、端末装置１Ａの例として、スマートフォン、ＰＣ（Personal Computer）、及びタブレットが挙げられ、情報処理装置３の例としてサーバが挙げられるが、これらは本実施形態を限定するものではない。
【0077】
また、ネットワークＮの具体的構成は本実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらのネットワークの組み合わせを用いることができる。
【0078】
本実施形態に係る情報処理システム１００において、端末装置１Ａは、端末装置１Ａのユーザが対象者を撮像した動画像から抽出した対象者の骨格を、動画像における対象者に重畳して表示する。そして、情報処理装置３は、端末装置１Ａから動画像を取得し、動画像から抽出した対象者の骨格を参照し、対象者の身体の動作に関するパラメータを導出する。また、情報処理装置３は、導出したパラメータの確度を示す確度情報を、骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。
【0079】
本実施形態においても、実施形態１と同様に、上記対象者の例として被介護者が挙げられるが、これは本実施形態を限定するものではない。また、端末装置１Ａのユーザとして、上記被介護者を介護する介護職員が挙げられるが、これは本実施形態を限定するものではない。
【0080】
（端末装置１Ａ）
図９を参照して、本実施形態に係る端末装置１Ａの構成例について説明する。図９は、本実施形態に係る情報処理システム１００に含まれる端末装置１Ａ及び情報処理装置３の構成例を示すブロック図である。図９に示すように、端末装置１Ａは、実施形態１における端末装置１における制御部１０に替えて制御部１０Ａを備え、通信部１１をさらに備えている。
図９を参照して、本実施形態に係る端末装置１Ａの構成例について説明する。図９は、本実施形態に係る情報処理システム１００に含まれる端末装置１Ａ及び情報処理装置３の構成例を示すブロック図である。図９に示すように、端末装置１Ａは、実施形態１における端末装置１における制御部１０に替えて制御部１０Ａを備え、通信部１１をさらに備えている。
【0081】
通信部１１は、ネットワークＮを介した通信を行うための通信モジュールである。通信部１１は、制御部１０Ａから取得したデータを、ネットワークＮを介して情報処理装置３に出力したり、ネットワークＮを介して情報処理装置３から取得したデータを、制御部１０Ａに供給したりする。
【0082】
（制御部１０Ａ）
制御部１０Ａは、端末装置１Ａの各構成要素を制御する。また、制御部１０Ａは、取得部１５、骨格抽出部１６、表示部１９、及び出力部２０としても機能する。表示部１９の機能は、実施形態１における表示部１９と同じであるため、説明を省略する。
制御部１０Ａは、端末装置１Ａの各構成要素を制御する。また、制御部１０Ａは、取得部１５、骨格抽出部１６、表示部１９、及び出力部２０としても機能する。表示部１９の機能は、実施形態１における表示部１９と同じであるため、説明を省略する。
【0083】
取得部１５は、実施形態１における取得部１５の機能に加えて、通信部１１を介して情報処理装置３からデータを取得する。取得部１５が取得するデータの例として、パラメータ及び第２の確度情報が挙げられるが、これらに限定されない。
【0084】
骨格抽出部１６は、第１のアルゴリズムを用いて、被写体として対象者を含む動画像から対象者の骨格を抽出する骨格抽出処理を実行する。第１のアルゴリズムによって抽出された対象者の骨格は、当該骨格を示す第１の骨格情報として後述する表示部１９によってリアルタイムに参照される。また、第１のアルゴリズムは、抽出した骨格の確からしさを示す第１の確度情報を生成する。第１の確度情報は、後述する表示部１９によって参照される。実施形態１と同様に、第１のアルゴリズムは、第２のアルゴリズムよりも骨格抽出処理が速いアルゴリズムであることが好ましい。
【0085】
また、骨格抽出部１６は、第１のアルゴリズムを用いた骨格抽出の際に、動画像に含まれるフレームのうち、骨格抽出に失敗したフレームを示すエラー情報を生成してもよい。エラー情報については、実施形態１において説明した通りである。
【0086】
出力部２０は、通信部１１を介して情報処理装置３にデータを出力する。出力部２０が出力するデータの例として、動画像及びエラー情報が挙げられるが、これらに限定されない。
【0087】
（情報処理装置３）
図９に示すように、情報処理装置３は、制御部３０、通信部３１、及び記憶部３４を備えている。
図９に示すように、情報処理装置３は、制御部３０、通信部３１、及び記憶部３４を備えている。
【0088】
通信部３１は、ネットワークＮを介した通信を行うための通信モジュールである。通信部３１は、制御部３０から取得したデータを、ネットワークＮを介して端末装置１に出力したり、ネットワークＮを介して端末装置１Ａから取得したデータを、制御部３０に供給したりする。
【0089】
記憶部３４は、後述する制御部３０が参照する各種のデータが格納されている。一例として、記憶部３４には、端末装置１Ａから取得した動画像、導出されたパラメータなどが格納されている。
【0090】
（制御部３０）
制御部３０は、情報処理装置３の各構成要素を制御する。一例として、制御部３０は、通信部３１を介して端末装置１Ａから出力された動画像を取得したり、通信部３１を介して生成したデータを出力したりする。
制御部３０は、情報処理装置３の各構成要素を制御する。一例として、制御部３０は、通信部３１を介して端末装置１Ａから出力された動画像を取得したり、通信部３１を介して生成したデータを出力したりする。
【0091】
また、制御部３０は、図９に示すように、取得部３５、骨格抽出部３６、パラメータ導出部３７、確度導出部３８、及び出力部４０としても機能する。
【0092】
取得部３５は、通信部３１を介して端末装置１Ａからデータを取得する。取得部３５が取得するデータの例として、動画像が挙げられるが、これに限定されない。
【0093】
骨格抽出部３６は、取得部３５が取得した動画像から、第２のアルゴリズムを用いて、対象者の骨格を抽出する骨格抽出処理を実行する。第２のアルゴリズムによって抽出された対象者の骨格の結果は、当該骨格を示す第２の骨格情報として後述するパラメータ導出部３７によって参照される。
【0094】
また、骨格抽出部３６は、第２のアルゴリズムを用いた骨格抽出の際に、動画像に含まれるフレームのうち、骨格抽出に失敗したフレームを示すエラー情報を生成してもよい。
【0095】
パラメータ導出部３７は、上述したパラメータ導出部１７と同様、骨格抽出部３６が実行した骨格抽出処理の結果を参照して、対象者の身体の動作に関するパラメータを導出する。対象者の身体の動作に関するパラメータについては、実施形態１において説明した通りである。
【0096】
確度導出部３８は、上述した確度導出部１８と同様、パラメータ導出部３７が導出したパラメータの確度を示す第２の確度情報を、動画像に含まれる複数フレームのうち、骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。
【0097】
出力部４０は、通信部３１を介して端末装置１Ａにデータを出力する。出力部４０が出力するデータの例として、パラメータ及び第２の確度情報が挙げられるが、これらに限定されない。
【0098】
【0099】
（ステップＳ１２～ステップＳ１５）
端末装置１Ａが動画像の取得を開始し、動画像の取得を終了するまでのステップＳ１２～ステップＳ１５の処理は、上述した処理と同じであるため、説明を省略する。
端末装置１Ａが動画像の取得を開始し、動画像の取得を終了するまでのステップＳ１２～ステップＳ１５の処理は、上述した処理と同じであるため、説明を省略する。
【0100】
（ステップＳ２０）
ステップＳ２０において、端末装置１Ａの出力部２０は、通信部１１を介して、動画像を情報処理装置３に出力する。ここで、骨格抽出部１６が第１の確度情報及びエラー情報の少なくとも何れかを生成している場合、出力部２０は、動画像と共に、生成された第１の確度情報及びエラー情報の少なくとも何れかを出力してもよい。また、出力部２０は、後述するパラメータ導出部３７によるパラメータ導出処理のために、撮像部１３のカメラパラメータ及び動画像の画像サイズなども出力してよい。
ステップＳ２０において、端末装置１Ａの出力部２０は、通信部１１を介して、動画像を情報処理装置３に出力する。ここで、骨格抽出部１６が第１の確度情報及びエラー情報の少なくとも何れかを生成している場合、出力部２０は、動画像と共に、生成された第１の確度情報及びエラー情報の少なくとも何れかを出力してもよい。また、出力部２０は、後述するパラメータ導出部３７によるパラメータ導出処理のために、撮像部１３のカメラパラメータ及び動画像の画像サイズなども出力してよい。
【0101】
（ステップＳ２１）
ステップＳ２１において、情報処理装置３の取得部３５は、通信部３１を介して、端末装置１Ａから動画像を取得する。
ステップＳ２１において、情報処理装置３の取得部３５は、通信部３１を介して、端末装置１Ａから動画像を取得する。
【0102】
（ステップＳ２２）
ステップＳ２２において、骨格抽出部３６は、取得部３５が取得した動画像から、第２のアルゴリズムを用いて、対象者の骨格を抽出する骨格抽出処理を実行する。より具体的には、骨格抽出部３６は、１又は複数の第２のアルゴリズムを用いて、動画像から対象者の骨格を抽出し、抽出した骨格を示す第２の骨格情報を生成する。また、骨格抽出部３６は、端末装置１Ａから第１の確度情報が出力されている場合、第１の確度情報を参照して、複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択し、選択した１又は複数の第２のアルゴリズムを用いて対象者の骨格を抽出する構成であってもよい。複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択する処理の詳細は、上述した通りである。また、ステップＳ２２において骨格抽出部３６は、エラー情報を生成してもよい。
ステップＳ２２において、骨格抽出部３６は、取得部３５が取得した動画像から、第２のアルゴリズムを用いて、対象者の骨格を抽出する骨格抽出処理を実行する。より具体的には、骨格抽出部３６は、１又は複数の第２のアルゴリズムを用いて、動画像から対象者の骨格を抽出し、抽出した骨格を示す第２の骨格情報を生成する。また、骨格抽出部３６は、端末装置１Ａから第１の確度情報が出力されている場合、第１の確度情報を参照して、複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択し、選択した１又は複数の第２のアルゴリズムを用いて対象者の骨格を抽出する構成であってもよい。複数のアルゴリズム候補から１又は複数の第２のアルゴリズムを選択する処理の詳細は、上述した通りである。また、ステップＳ２２において骨格抽出部３６は、エラー情報を生成してもよい。
【0103】
（ステップＳ２３）
ステップＳ２３において、パラメータ導出部３７は、ステップＳ２２において実行された骨格抽出処理の結果を参照して、対象者の身体の動作に関するパラメータを導出する。より具体的には、パラメータ導出部３７は、骨格抽出部３６が生成した第２の骨格情報を参照し、対象者の身体の動作に関するパラメータを導出する。パラメータ導出部３７がパラメータを導出する処理の詳細については、上述した通りである。
ステップＳ２３において、パラメータ導出部３７は、ステップＳ２２において実行された骨格抽出処理の結果を参照して、対象者の身体の動作に関するパラメータを導出する。より具体的には、パラメータ導出部３７は、骨格抽出部３６が生成した第２の骨格情報を参照し、対象者の身体の動作に関するパラメータを導出する。パラメータ導出部３７がパラメータを導出する処理の詳細については、上述した通りである。
【0104】
（ステップＳ２４）
ステップＳ２４において、確度導出部３８は、ステップＳ２３において導出されたパラメータの確度を示す第２の確度情報を、動画像に含まれる複数のフレームのうち、前記骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。より具体的には、確度導出部３８は、ステップＳ２０において端末装置１Ａから出力されたエラー情報及びステップＳ２２において生成されたエラー情報の少なくとも何れかを参照し、第２の確度情報を導出する。確度導出部３８が第２の確度情報を導出する処理の詳細については、上述した通りである。
ステップＳ２４において、確度導出部３８は、ステップＳ２３において導出されたパラメータの確度を示す第２の確度情報を、動画像に含まれる複数のフレームのうち、前記骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。より具体的には、確度導出部３８は、ステップＳ２０において端末装置１Ａから出力されたエラー情報及びステップＳ２２において生成されたエラー情報の少なくとも何れかを参照し、第２の確度情報を導出する。確度導出部３８が第２の確度情報を導出する処理の詳細については、上述した通りである。
【0105】
（ステップＳ２５）
ステップＳ２５において、出力部４０は、ステップＳ２３において導出されたパラメータと、ステップＳ２４において導出された第２の確度情報とを、通信部３１を介して端末装置１Ａに出力する。
ステップＳ２５において、出力部４０は、ステップＳ２３において導出されたパラメータと、ステップＳ２４において導出された第２の確度情報とを、通信部３１を介して端末装置１Ａに出力する。
【0106】
（ステップＳ２６）
ステップＳ２６において、端末装置１Ａの取得部１５は、通信部１１を介して、情報処理装置３から出力されたパラメータ及び第２の確度情報を取得する。
ステップＳ２６において、端末装置１Ａの取得部１５は、通信部１１を介して、情報処理装置３から出力されたパラメータ及び第２の確度情報を取得する。
【0107】
（ステップＳ２７）
ステップＳ２７において、表示部１９は、ステップＳ２６において取得部１５が取得したパラメータ及び第２の確度情報を含む動画像を、表示パネル１２に表示する。ステップＳ２７において表示部１９が表示する画像の例として、上述した図６及び図７の画像が挙げられる。
ステップＳ２７において、表示部１９は、ステップＳ２６において取得部１５が取得したパラメータ及び第２の確度情報を含む動画像を、表示パネル１２に表示する。ステップＳ２７において表示部１９が表示する画像の例として、上述した図６及び図７の画像が挙げられる。
【0108】
このように、情報処理システム１００における端末装置１Ａは、被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した対象者の骨格を、動画像における前記対象者に重畳して表示する。また、情報処理装置３は、被写体として対象者を含む動画像を取得し、取得した動画像から第２のアルゴリズムを用いて抽出した骨格を参照し、対象者の身体の動作に関するパラメータを導出する。そのため、情報処理システム１００では、対象者を撮影するユーザに適切な動画が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価することができる。
【0109】
また、情報処理システム１００における情報処理装置３は、被写体として対象者を含む動画像から対象者の骨格を抽出する骨格抽出処理を実行し、骨格抽出処理の結果を参照して、対象者の身体の動作に関するパラメータを導出する。また、情報処理装置３は、導出したパラメータの確度を示す確度情報を、動画像に含まれる複数のフレームのうち、骨格抽出処理による骨格抽出が失敗したフレームに応じて導出する。そのため、情報処理装置３は、骨格抽出処理による骨格抽出が失敗したフレームに応じてパラメータの確度を導出するので、パラメータの信頼度をユーザに通知することができる。
【0110】
（端末装置１Ａの物理的構成）
図１１は、端末装置１Ａ（１）及び情報処理装置３として用いられるコンピュータの物理的構成を例示したブロック図である。端末装置１Ａは、図１１に示すように、バス１１０と、プロセッサ１０１と、主メモリ１０２と、補助メモリ１０３と、通信インタフェース１０４と、カメラ１０５、表示パネル１０６とを備えたコンピュータによって構成可能である。プロセッサ１０１、主メモリ１０２、補助メモリ１０３、通信インタフェース１０４、カメラ１０５、及び表示パネル１０６は、バス１１０を介して互いに接続されている。
図１１は、端末装置１Ａ（１）及び情報処理装置３として用いられるコンピュータの物理的構成を例示したブロック図である。端末装置１Ａは、図１１に示すように、バス１１０と、プロセッサ１０１と、主メモリ１０２と、補助メモリ１０３と、通信インタフェース１０４と、カメラ１０５、表示パネル１０６とを備えたコンピュータによって構成可能である。プロセッサ１０１、主メモリ１０２、補助メモリ１０３、通信インタフェース１０４、カメラ１０５、及び表示パネル１０６は、バス１１０を介して互いに接続されている。
【0111】
プロセッサ１０１としては、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、またはこれらの組み合わせ等が用いられる。
【0112】
主メモリ１０２としては、例えば、半導体ＲＡＭ（random access memory）等が用いられる。
【0113】
補助メモリ１０３としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはこれらの組み合わせ等が用いられる。補助メモリ１０３には、上述した端末装置１Ａの動作をプロセッサ１０１に実行させるためのプログラムが格納されている。プロセッサ１０１は、補助メモリ１０３に格納されたプログラムを主メモリ１０２上に展開し、展開したプログラムに含まれる各命令を実行する。
【0114】
通信インタフェース１０４は、ネットワークＮに接続するインタフェースである。
【0115】
カメラ１０５は、撮像部１３を実現するハードウェア要素の一例である。
【0116】
表示パネル１０６は、表示パネル１２を実現するハードウェア要素の一例である。
【0117】
この例で、プロセッサ１０１は制御部１０Ａを実現するハードウェア要素の一例である。また、主メモリ１０２及び補助メモリ１０３は、記憶部１４を実現するハードウェア要素の一例である。また、通信インタフェース１０４は、通信部１１を実現するハードウェア要素の一例である。
【0118】
（情報処理装置３の物理的構成）
情報処理装置３は、図１１に示すように、バス３１０と、プロセッサ３０１と、主メモリ３０２と、補助メモリ３０３と、通信インタフェース３０４とを備えたコンピュータによって構成可能である。プロセッサ３０１、主メモリ３０２、補助メモリ３０３、及び通信インタフェース１０４は、バス１１０を介して互いに接続されている。
情報処理装置３は、図１１に示すように、バス３１０と、プロセッサ３０１と、主メモリ３０２と、補助メモリ３０３と、通信インタフェース３０４とを備えたコンピュータによって構成可能である。プロセッサ３０１、主メモリ３０２、補助メモリ３０３、及び通信インタフェース１０４は、バス１１０を介して互いに接続されている。
【0119】
この例で、プロセッサ３０１は制御部３０を実現するハードウェア要素の一例である。また、主メモリ３０２及び補助メモリ３０３は、記憶部３４を実現するハードウェア要素の一例である。また、通信インタフェース３０４は、通信部３１を実現するハードウェア要素の一例である。
【0120】
〔ソフトウェアによる実現例〕
端末装置１、１Ａ、及び情報処理装置３（以下、総称して「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０、１０Ａ、及び３０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
端末装置１、１Ａ、及び情報処理装置３（以下、総称して「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０、１０Ａ、及び３０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
【0121】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0122】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0123】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0124】
また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。
【実施例1】
【0125】
本発明の一実施例について以下に説明する。
【0126】
三次元動作分析装置を用いて測定した対象者の歩行速度の実測値と、対象者が歩行する動画像から歩容解析ＡＩを用いて推定した歩行速度の推定値と、の関係を示すグラフを、図１２に示す。図１２は、実施例１における推定値と実測値との関係を示すグラフである。
【0127】
図１２における〇、△、及び×はそれぞれ、以下の動画像を示している。
△：動画像の開始から動作が始まるまで、または動作が終了してから動画像が終了するまでの期間において、骨格抽出に失敗したフレームがある動画像
×：動作中の動画像において骨格抽出に失敗したフレームがある動画像
〇：骨格抽出に失敗したフレームがなかった動画像
図１２に示すように、動作中の動画像において骨格抽出に失敗したフレームがある場合、歩行速度の推定値は信頼度が低い（実測値に対する推定値のずれが大きい）ことが分かった。一方、動画像の開始から動作が始まるまで、または動作が終了してから動画像が終了するまでの期間において、骨格抽出に失敗したフレームがある場合、及び骨格抽出に失敗したフレームがなかった場合、歩行速度の推定値は信頼度が高い（実測値に対する推定値のずれが小さい）ことが分かった。
△：動画像の開始から動作が始まるまで、または動作が終了してから動画像が終了するまでの期間において、骨格抽出に失敗したフレームがある動画像
×：動作中の動画像において骨格抽出に失敗したフレームがある動画像
〇：骨格抽出に失敗したフレームがなかった動画像
図１２に示すように、動作中の動画像において骨格抽出に失敗したフレームがある場合、歩行速度の推定値は信頼度が低い（実測値に対する推定値のずれが大きい）ことが分かった。一方、動画像の開始から動作が始まるまで、または動作が終了してから動画像が終了するまでの期間において、骨格抽出に失敗したフレームがある場合、及び骨格抽出に失敗したフレームがなかった場合、歩行速度の推定値は信頼度が高い（実測値に対する推定値のずれが小さい）ことが分かった。
【実施例2】
【0128】
本発明の他の実施例について以下に説明する。
【0129】
三次元動作分析装置を用いて測定した頭部のふらつきの実測値と、対象者が歩行する動画像から歩容解析ＡＩを用いて推定した頭部のふらつきの推定値と、の関係を示すグラフを、図１３に示す。図１３は、実施例２における推定値と実測値との関係を示すグラフである。
【0130】
図１３における〇、△、及び×もそれぞれ、以下の動画像を示している。
△：動画像の開始から動作が始まるまで、または動作が終了してから動画像が終了するまでの期間において、骨格抽出に失敗したフレームがある動画像
×：動作中の動画像において骨格抽出に失敗したフレームがある動画像
〇：骨格抽出に失敗したフレームがなかった動画像
図１３に示すように、動作中の動画像において骨格抽出に失敗したフレームがある場合、頭部のふらつきの推定値は信頼度が低い（実測値に対する推定値のずれが大きい）ことが分かった。一方、動画像の開始から動作が始まるまで、または動作が終了してから動画像が終了するまでの期間において、骨格抽出に失敗したフレームがある場合、及び骨格抽出に失敗したフレームがなかった場合、頭部のふらつきの推定値は信頼度が高い（実測値に対する推定値のずれが小さい）ことが分かった。
△：動画像の開始から動作が始まるまで、または動作が終了してから動画像が終了するまでの期間において、骨格抽出に失敗したフレームがある動画像
×：動作中の動画像において骨格抽出に失敗したフレームがある動画像
〇：骨格抽出に失敗したフレームがなかった動画像
図１３に示すように、動作中の動画像において骨格抽出に失敗したフレームがある場合、頭部のふらつきの推定値は信頼度が低い（実測値に対する推定値のずれが大きい）ことが分かった。一方、動画像の開始から動作が始まるまで、または動作が終了してから動画像が終了するまでの期間において、骨格抽出に失敗したフレームがある場合、及び骨格抽出に失敗したフレームがなかった場合、頭部のふらつきの推定値は信頼度が高い（実測値に対する推定値のずれが小さい）ことが分かった。
【0131】
［まとめ］
各実施形態の一態様に係る端末装置は被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を、前記動画像における前記対象者に重畳して表示する表示部と、前記第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムを用いて前記動画像から抽出した前記対象者の骨格を参照し、前記対象者の身体の動作に関するパラメータを導出する導出部と、を備える。
各実施形態の一態様に係る端末装置は被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を、前記動画像における前記対象者に重畳して表示する表示部と、前記第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムを用いて前記動画像から抽出した前記対象者の骨格を参照し、前記対象者の身体の動作に関するパラメータを導出する導出部と、を備える。
【0132】
上記構成によれば、対象者を撮影するユーザに適切な動画が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価することができる。
【0133】
各実施形態の一態様に係る端末装置において、前記１又は複数の第２のアルゴリズムによる骨格抽出処理は、前記第１のアルゴリズムによる骨格抽出処理よりも精度が高いことが好ましい。
【0134】
上記構成によれば、対象者の身体の動作をより精度高く評価することができる。
【0135】
各実施形態の一態様に係る端末装置において、前記表示部は、前記第１のアルゴリズムを用いて抽出した骨格の確からしさを示す確度情報を取得し、取得した確度情報に応じて、前記対象者に重畳する骨格の表示態様を変更することが好ましい。
【0136】
上記構成によれば、ユーザに対して、撮影している動画像における対象者の骨格のうち、何れの骨格を確度高く抽出できているかを通知することができる。
【0137】
各実施形態の一態様に係る端末装置において、前記表示部は、前記確度情報が示す確度が所定の値より低い場合、確度が高くなるように被写体を撮影することを促す表示を行うことが好ましい。
【0138】
上記構成によれば、ユーザに対して、どのように撮影すれば対象者の骨格抽出の確度を高くできるのかを通知することができる。
【0139】
各実施形態の一態様に係る端末装置は、前記第１のアルゴリズムと、前記１又は複数の第２のアルゴリズムとを用いて骨格抽出処理を実行する骨格抽出部を更に備えることが好ましい。
【0140】
上記構成によれば、骨格抽出処理を実行することができる。
【0141】
各実施形態の一態様に係る端末装置において、前記骨格抽出部は、複数の第２のアルゴリズム候補から、前記１又は複数の第２のアルゴリズムを選択し、選択した１又は複数の第２のアルゴリズムを用いて前記対象者の骨格を抽出することが好ましい。
【0142】
上記構成によれば、より高い精度で対象者の骨格を抽出することができる。
【0143】
各実施形態の一態様に係る端末装置において、前記骨格抽出部は、前記第１のアルゴリズムを用いて抽出した前記対象者の骨格を参照して、前記１又は複数の第２のアルゴリズムを選択することが好ましい。
【0144】
上記構成によれば、より高い精度で対象者の骨格を抽出することができる。
【0145】
各実施形態の一態様に係る端末装置において、前記導出部は、前記１又は複数の第２のアルゴリズムを用いて抽出した、歩行中の前記対象者の骨格を参照し、前記対象者の歩行に関するパラメータを導出することが好ましい。
【0146】
上記構成によれば、歩行中の対象者の歩行に関するパラメータを導出することができる。
【0147】
各実施形態の一態様に係る情報処理方法は、被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を、前記動画像における前記対象者に重畳して表示するステップと、前記第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムを用いて前記動画像から抽出した前記対象者の骨格を参照し、前記対象者の身体の動作に関するパラメータを導出するステップと、を含む。
【0148】
上記構成によれば、対象者を撮影するユーザに適切な動画が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価することができる。
【0149】
各実施形態の一態様に係る情報処理システムは、端末装置と情報処理装置とを含む情報処理システムであって、前記端末装置は、被写体として対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を、前記動画像における前記対象者に重畳して表示する表示部と、前記動画像を前記情報処理装置に出力する出力部と、を備え、前記情報処理装置は、前記端末装置から前記動画像を取得する取得部と、前記第１のアルゴリズムとは異なる１又は複数の第２のアルゴリズムを用いて前記動画像から抽出した前記対象者の骨格を参照し、前記対象者の身体の動作に関するパラメータを導出する導出部と、を備える。
【0150】
上記構成によれば、対象者を撮影するユーザに適切な動画が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価することができる。
【0151】
各実施形態の一態様に係るプログラムは、上述した端末装置としてコンピュータを機能させるためのプログラムであって、上記表示部及び上記導出部としてコンピュータを機能させる。
【0152】
上記構成によれば、対象者を撮影するユーザに適切な動画が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価することができる。
【0153】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0154】
１、１Ａ 端末装置
３ 情報処理装置
１０、１０Ａ、３０ 制御部
１１、３１ 通信部
１２ 表示パネル
１３ 撮像部
１４、３４ 記憶部
１５、３５ 取得部
１６、３６ 骨格抽出部
１７、３７ パラメータ導出部
１８、３８ 確度導出部
１９ 表示部
２０、４０ 出力部
１００ 情報処理システム
３ 情報処理装置
１０、１０Ａ、３０ 制御部
１１、３１ 通信部
１２ 表示パネル
１３ 撮像部
１４、３４ 記憶部
１５、３５ 取得部
１６、３６ 骨格抽出部
１７、３７ パラメータ導出部
１８、３８ 確度導出部
１９ 表示部
２０、４０ 出力部
１００ 情報処理システム
【要約】
【課題】対象者を撮影するユーザに適切な動画像が撮影できているか否かを通知しつつ、対象者の身体の動作を精度高く評価する。
【解決手段】端末装置（１）は、対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を対象者に重畳して表示する表示部（１９）と、第２のアルゴリズムを用いて抽出した対象者の骨格を参照し、対象者の身体の動作に関するパラメータを導出する導出部（１７）と、を備える。
【選択図】図１
【解決手段】端末装置（１）は、対象者を含む動画像から第１のアルゴリズムを用いて抽出した前記対象者の骨格を対象者に重畳して表示する表示部（１９）と、第２のアルゴリズムを用いて抽出した対象者の骨格を参照し、対象者の身体の動作に関するパラメータを導出する導出部（１７）と、を備える。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】