知財求人 - 知財ポータルサイト「IP Force」
特開2025-12854情報処理装置、情報処理方法、プログラム、および情報処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025012854
(43)【公開日】2025-01-24
(54)【発明の名称】情報処理装置、情報処理方法、プログラム、および情報処理システム
(51)【国際特許分類】
A61B 5/11 20060101AFI20250117BHJP
【ＦＩ】
A61B5/11 210
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023116004
(22)【出願日】2023-07-14
(71)【出願人】
【識別番号】517319743
【氏名又は名称】株式会社Ｒｅｈａｂ ｆｏｒ ＪＡＰＡＮ
(74)【代理人】
【識別番号】110003937
【氏名又は名称】弁理士法人前川知的財産事務所
(72)【発明者】
【氏名】坪井 大和
(72)【発明者】
【氏名】久良木 遼
【テーマコード（参考）】
4C038
【Ｆターム（参考）】
4C038VA11
4C038VB15
4C038VB35
4C038VC05
(57)【要約】
【課題】被評価者の運動機能を容易かつより正確に評価して、効果的なリハビリを提案し、リハビリの質を向上する情報処理装置、情報処理方法、プログラム、および情報処理システムを提供すること。
【解決手段】片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得する動画取得部１０３１と、前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定する動画処理部１０３２と、前記キーポイントと前記片脚立位の期間情報とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成する評価部１０３３と、を備え、前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、前記評価部は、前記動作フェーズごとに、前記評価結果を生成する。
【選択図】図２
【解決手段】片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得する動画取得部１０３１と、前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定する動画処理部１０３２と、前記キーポイントと前記片脚立位の期間情報とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成する評価部１０３３と、を備え、前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、前記評価部は、前記動作フェーズごとに、前記評価結果を生成する。
【選択図】図２
【特許請求の範囲】
【請求項1】
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得する動画取得部と、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定する動画処理部と、
前記キーポイントと前記片脚立位の期間情報とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成する評価部と、
を備え、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価部は、前記動作フェーズごとに、前記評価結果を生成する、
情報処理装置。
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定する動画処理部と、
前記キーポイントと前記片脚立位の期間情報とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成する評価部と、
を備え、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価部は、前記動作フェーズごとに、前記評価結果を生成する、
情報処理装置。
【請求項2】
前記評価結果を記憶する記憶部をさらに備え、
前記評価部は、今回の評価結果と過去の評価結果とを分析してレポート情報を生成する、
請求項１に記載の情報処理装置。
前記評価部は、今回の評価結果と過去の評価結果とを分析してレポート情報を生成する、
請求項１に記載の情報処理装置。
【請求項3】
前記記憶部は、複数の運動メニューを記憶し、
前記評価結果と前記期間情報とに基づいて、１以上の前記運動メニューを選択する運動提案部をさらに備える、
請求項２に記載の情報処理装置。
前記評価結果と前記期間情報とに基づいて、１以上の前記運動メニューを選択する運動提案部をさらに備える、
請求項２に記載の情報処理装置。
【請求項4】
前記動画取得部は、前記評価用動画について、左脚を軸足とする片脚立位の左評価用動画と、右脚を軸足とする片脚立位の右評価用動画と、を取得し、
前記評価部は、前記左評価用動画と前記右評価用動画とに基づいて前記評価結果を生成する、
請求項１に記載の情報処理装置。
前記評価部は、前記左評価用動画と前記右評価用動画とに基づいて前記評価結果を生成する、
請求項１に記載の情報処理装置。
【請求項5】
前記評価部は、前記予測的姿勢制御フェーズの期間の前記キーポイントの物理量、前記物理量の統計値、前記物理量と前記統計値の演算結果、の少なくともいずれかを前記数理モデルの入力データとして入力し、前記数理モデルからの出力データとして前記予測的姿勢制御フェーズにおける前記評価結果を取得する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項6】
前記評価部は、前記姿勢維持フェーズの期間の前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記姿勢維持フェーズにおける前記評価結果を取得する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項7】
前記評価部は、前記反応的姿勢制御フェーズの期間の前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記反応的姿勢制御フェーズにおける前記評価結果を取得する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
前記評価部は、上肢代償動作および／または下肢代償動作に関連する、前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記上肢代償動作および／または前記下肢代償動作の有無を取得する、
請求項６または７に記載の情報処理装置。
請求項６または７に記載の情報処理装置。
【請求項9】
プロセッサと、記憶部とを備える情報処理装置により実行される情報処理方法であって、前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価結果を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
情報処理方法。
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価結果を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
情報処理方法。
【請求項10】
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価結果を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
プログラム。
前記プログラムは、前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価結果を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
プログラム。
【請求項11】
プロセッサと、記憶部とを備える情報処理装置およびユーザ端末からなる情報処理システムであって、
前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価結果を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
情報処理システム。
前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者のバランス能力の評価結果を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価結果を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は情報処理装置、情報処理方法、プログラム、および情報処理システムに関する。
【背景技術】
【0002】
日本の介護に係る社会保障費は増大し続けており、政府は自立支援・重症化予防を推進することで、持続可能な社会保障制度への転換を図っている。今後の介護保険制度は、成果を重視するアウトカムベース報酬体系へのシフトが加速し、介護事業所は成果を出すためにリハビリの質を向上させる必要が出てきている。しかしながら、リハビリ専門職を配置している介護事業所は少なく、特に通所介護においては約９０％がリハビリ専門職不在により「効果的なリハビリ」を提供しにくい状況にある。効果的なリハビリを提案する上で、課題や状態を適切に把握するための評価が重要だが、動作分析はリハビリ専門職の高度な専門スキルを要する。
【0003】
このようなリハビリの評価における課題に対し、特許文献１には、重心移動開始までの反応動作の速さを算出することで、被検者の重心制御運動能力を客観的に評価し、転倒の危険性を事前に診断する技術が開示されている。また、特許文献２には、被験者の動画を撮影して、被験者の動きや骨格情報を推定する技術が開始されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００５－１８５５５７号公報
【特許文献2】特開２０１７－０８０１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に開示の技術では重心以外の特徴量を考慮できていないという課題がある。また、特許文献２に開示の技術では、推定された被験者の動きや骨格情報から被験者の課題や状態を適切に把握するにはやはりリハビリ専門職が評価する必要がある。
【0006】
そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、被評価者の運動機能を容易かつより正確に評価して、効果的なリハビリを提案し、リハビリの質を向上する情報処理装置、情報処理方法、プログラム、および情報処理システムを提供することである。
【課題を解決するための手段】
【0007】
上記した目的を達成するために、本発明に係る情報処理装置では、片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得する動画取得部と、前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定する動画処理部と、前記キーポイントと前記片脚立位の期間情報とから、数理モデルを用いて、前記評価対象者の運動機能の評価結果を生成する評価部と、を備え、前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、前記評価部は、前記動作フェーズごとに、前記評価結果を生成する。
【0008】
上記した目的を達成するために、本発明に係る情報処理方法では、プロセッサと、記憶部とを備える情報処理装置により実行される情報処理方法であって、前記プロセッサに、片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、を実行させ、前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである。
【0009】
上記した目的を達成するために、本発明に係るプログラムでは、プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、を実行させ、前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである。
【0010】
上記した目的を達成するために、本発明に係る情報処理システムでは、プロセッサと、記憶部とを備える情報処理装置およびユーザ端末からなる情報処理システムであって、前記プロセッサに、片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、を実行させ、前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである。
【発明の効果】
【0011】
上記手段を用いる本開示によれば、被評価者の運動機能を容易かつより正確に評価して、効果的なリハビリを提案し、リハビリの質を向上させることができる。
【図面の簡単な説明】
【0012】
【図1】情報処理システムの全体の構成を示す図である。
【図2】情報処理サーバの機能構成を示すブロック図である。
【図3】情報処理サーバの記憶部に記憶される情報の一例を示す図である。
【図4】ユーザ端末の機能構成を示すブロック図である。
【図5】情報処理システムを使用して運動機能の測定を行う例を示す図である。
【図6】動画撮像時に表示されるガイドの例を示す図である。
【図7】情報処理システムで実行される運動機能評価処理の動作を示すフローチャートである。
【図8】推論処理の動作を示すフローチャートである。
【図9】評価対象者と推定されるキーポイントとの対応の一例を示す図である。
【図10】評価レポートの一例を示す図である。
【図11】提示される運動メニューの一覧表示の例を示す図である。
【図12】提示される運動メニューの内容の例を示す図である。
【図13】コンピュータの基本的なハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態を図面に基づき説明する。
【0014】
＜システム構成＞
本開示における情報処理システム１は、運動機能に関連する所定の機能動作を行う評価対象者を撮影し、撮影した動画に基づいて評価対象者の運動機能を評価し、評価結果に基づいて評価対象者の運動機能を改善する運動メニューを提案する、運動機能評価サービスを提供する、情報処理システムである。
本開示における情報処理システム１は、運動機能に関連する所定の機能動作を行う評価対象者を撮影し、撮影した動画に基づいて評価対象者の運動機能を評価し、評価結果に基づいて評価対象者の運動機能を改善する運動メニューを提案する、運動機能評価サービスを提供する、情報処理システムである。
【0015】
評価対象者は主に高齢者である。運動機能評価サービスを利用するユーザは、主に、評価対象者に介護や介助のサービスを提供する事業者、自治体や個人等である。以下の説明では、ユーザを介護サービスを提供する介護事業者として説明する。
【0016】
図１は、本開示の実施形態に係る情報処理システム１の全体の構成を示す図である。情報処理システム１は、ネットワークＮＷを介して接続された、情報処理サーバ１０、ユーザ端末２０、の情報処理装置を備える。
【0017】
各情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。
【0018】
ネットワークＮＷは、例えばインターネット、ＶＰＮ（ＶｉｒｔｕａｌＰｒｉｖａｔｅＮｅｔｗｏｒｋ）、イントラネット、近距離無線通信等のネットワークである。説明の簡略化のため、図１では、１のユーザ端末２０を示しているが、情報処理サーバ１０は、ネットワークＮＷを介して２以上のユーザ端末２０と接続可能である。また、１のユーザ端末２０を複数のユーザや評価対象者が使用しても構わない。
【0019】
運動機能評価サービスの運営事業者は、情報処理システム１を用いて、ユーザに対し、運動機能評価サービスを提供する。具体的には、情報処理システム１は、ユーザの使用するユーザ端末２０で動作するアプリケーションを提供する。ユーザは、当該アプリケーションを用いて、評価対象者の運動機能を測定する。当該測定において、ユーザは、運動機能に関連する所定の機能動作を行う評価対象者を撮像し、撮像した評価用動画と、評価対象者の情報とを情報処理サーバ１０に送信する。情報処理サーバ１０は、受信した評価用動画等に基づいて評価対象者の運動機能を評価する。また、情報処理サーバ１０は評価結果に基づいて適切な運動メニューを選択する。評価結果および選択された運動メニューはユーザ端末２０に送信される。運動機能は、バランス能力、歩行能力、機能的移動能力、柔軟性、全身協調性、全身耐久性、筋力、等を含む。バランス能力は静的バランス能力と動的バランス能力を含む。本実施形態では、運動機能としてバランス能力の評価を行う。
【0020】
図２は、情報処理サーバ１０の機能構成を示すブロック図である。
情報処理サーバ１０（以下単にサーバ１０という）は、運動機能評価サービスを提供する情報処理装置である。サーバ１０は、記憶部１０１と制御部１０３とを備える。
情報処理サーバ１０（以下単にサーバ１０という）は、運動機能評価サービスを提供する情報処理装置である。サーバ１０は、記憶部１０１と制御部１０３とを備える。
【0021】
＜情報処理サーバの記憶部の構成＞
サーバ１０の記憶部１０１は、情報処理システム１による管理を実行するのに用いる情報を記憶する記憶媒体または記憶装置である。図２ではサーバ１０と一体に記載しているが、サーバ１０と物理的に独立した記憶装置であっても構わない。
記憶部１０１は、アプリケーションプログラム１０１１、動画テーブル１０１２、評価テーブル１０１３、運動情報テーブル１０１４、ユーザテーブル１０１５、評価対象者テーブル１０１６、動画解析数理モデル１０２１、評価数理モデル１０２２、提案数理モデル１０２４、を備える。記憶部１０１は、これらの記憶部に属さないその他の情報についても記憶している。
サーバ１０の記憶部１０１は、情報処理システム１による管理を実行するのに用いる情報を記憶する記憶媒体または記憶装置である。図２ではサーバ１０と一体に記載しているが、サーバ１０と物理的に独立した記憶装置であっても構わない。
記憶部１０１は、アプリケーションプログラム１０１１、動画テーブル１０１２、評価テーブル１０１３、運動情報テーブル１０１４、ユーザテーブル１０１５、評価対象者テーブル１０１６、動画解析数理モデル１０２１、評価数理モデル１０２２、提案数理モデル１０２４、を備える。記憶部１０１は、これらの記憶部に属さないその他の情報についても記憶している。
【0022】
【0023】
動画テーブル１０１２は、動画取得部１０３１が取得する評価用動画を記憶し管理するテーブルである。動画テーブル１０１２は、記憶する情報の項目として、動画ＩＤ、動画データ、動画基本情報、作成ユーザ、撮像対象者情報、変換済動画、評価済動画、の項目を含む。
【0024】
動画ＩＤは、評価用動画を識別するための動画識別情報を記憶する項目である。動画識別情報は、評価用動画ごとにユニークな値が設定されている項目である。動画ＩＤは、取得した評価用動画ごとに生成される。
動画データは、評価用動画のファイル本体を記憶する項目である。ファイル本体は、他のサーバに記憶しておき、そのパスを記憶してもよい。
動画基本情報は、評価用動画の撮影日時、ファイル形式、圧縮方式、容量、解像度、フレームレート、ビットレート、撮影時間、等の動画基本情報を記憶する項目である。
作成ユーザは、評価用動画を撮影するユーザのユーザＩＤを記憶する項目である。これにより、評価用動画とユーザとを紐づけることができる。
撮像対象者情報は、評価用動画の被写体である評価対象者と評価用動画との関連情報である撮像対象者情報を記憶する項目である。撮像対象者情報には、機能動作種別、全動作期間Ｔａ、後述する評価対象者ＩＤ、を含む。評価対象者ＩＤを含むことにより、評価用動画と評価対象者とを紐づけることができる。機能動作種別に含まれる機能動作は、例えば、Ｔｉｍｅｄ ＵＰ＆Ｇｏ Ｔｅｓｔ、Ｆｕｎｃｔｉｏｎａｌ Ｒｅａｃｈ Ｔｅｓｔ、継ぎ足歩行（タンデム歩行）、片脚立位テスト、Ｂｅｒｇ Ｂａｌａｎｃｅ Ｓｃａｌｅ、である。各機能動作は、特定の運動機能と関連している。具体的には、Ｔｉｍｅｄ ＵＰ＆Ｇｏ Ｔｅｓｔは筋力、バランス能力、歩行能力、機能的移動能力に、Ｆｕｎｃｔｉｏｎａｌ Ｒｅａｃｈ Ｔｅｓｔは動的バランス能力に、継ぎ足歩行（タンデム歩行）は、動的バランス能力に、片脚立位テストは静的バランス能力に、Ｂｅｒｇ Ｂａｌａｎｃｅ Ｓｃａｌｅは、バランス能力、筋力、持久力、柔軟性、間隔に、それぞれ関連している。すなわち、Ｔｉｍｅｄ ＵＰ＆Ｇｏ Ｔｅｓｔ、Ｆｕｎｃｔｉｏｎａｌ Ｒｅａｃｈ Ｔｅｓｔ、継ぎ足歩行（タンデム歩行）、片脚立位テスト、Ｂｅｒｇ Ｂａｌａｎｃｅ Ｓｃａｌｅの全てがバランス能力と関連し、高齢者の転倒の危険性を判断するテストとして単独または組み合わせて用いることができる。全動作期間Ｔａとは、このような機能動作を開始した時点から終了した時点までの期間（時間）を数値で示す期間情報である。
変換済動画は、動画取得部１０３１が取得した評価用動画に対して前処理を実行することで生成される変換済動画を記憶する項目である。
評価済動画は、評価部１０３３の推論処理により生成された評価済動画を記憶し管理する項目である。評価済動画は、後述するレポート用動画を含む。
動画データは、評価用動画のファイル本体を記憶する項目である。ファイル本体は、他のサーバに記憶しておき、そのパスを記憶してもよい。
動画基本情報は、評価用動画の撮影日時、ファイル形式、圧縮方式、容量、解像度、フレームレート、ビットレート、撮影時間、等の動画基本情報を記憶する項目である。
作成ユーザは、評価用動画を撮影するユーザのユーザＩＤを記憶する項目である。これにより、評価用動画とユーザとを紐づけることができる。
撮像対象者情報は、評価用動画の被写体である評価対象者と評価用動画との関連情報である撮像対象者情報を記憶する項目である。撮像対象者情報には、機能動作種別、全動作期間Ｔａ、後述する評価対象者ＩＤ、を含む。評価対象者ＩＤを含むことにより、評価用動画と評価対象者とを紐づけることができる。機能動作種別に含まれる機能動作は、例えば、Ｔｉｍｅｄ ＵＰ＆Ｇｏ Ｔｅｓｔ、Ｆｕｎｃｔｉｏｎａｌ Ｒｅａｃｈ Ｔｅｓｔ、継ぎ足歩行（タンデム歩行）、片脚立位テスト、Ｂｅｒｇ Ｂａｌａｎｃｅ Ｓｃａｌｅ、である。各機能動作は、特定の運動機能と関連している。具体的には、Ｔｉｍｅｄ ＵＰ＆Ｇｏ Ｔｅｓｔは筋力、バランス能力、歩行能力、機能的移動能力に、Ｆｕｎｃｔｉｏｎａｌ Ｒｅａｃｈ Ｔｅｓｔは動的バランス能力に、継ぎ足歩行（タンデム歩行）は、動的バランス能力に、片脚立位テストは静的バランス能力に、Ｂｅｒｇ Ｂａｌａｎｃｅ Ｓｃａｌｅは、バランス能力、筋力、持久力、柔軟性、間隔に、それぞれ関連している。すなわち、Ｔｉｍｅｄ ＵＰ＆Ｇｏ Ｔｅｓｔ、Ｆｕｎｃｔｉｏｎａｌ Ｒｅａｃｈ Ｔｅｓｔ、継ぎ足歩行（タンデム歩行）、片脚立位テスト、Ｂｅｒｇ Ｂａｌａｎｃｅ Ｓｃａｌｅの全てがバランス能力と関連し、高齢者の転倒の危険性を判断するテストとして単独または組み合わせて用いることができる。全動作期間Ｔａとは、このような機能動作を開始した時点から終了した時点までの期間（時間）を数値で示す期間情報である。
変換済動画は、動画取得部１０３１が取得した評価用動画に対して前処理を実行することで生成される変換済動画を記憶する項目である。
評価済動画は、評価部１０３３の推論処理により生成された評価済動画を記憶し管理する項目である。評価済動画は、後述するレポート用動画を含む。
【0025】
評価テーブル１０１３は、評価対象者の運動機能の解析および評価に関する評価情報を記憶し管理するテーブルである。評価テーブル１０１３は、記憶する情報の項目として、評価情報ＩＤ、解析対象動画、関節点情報、フェーズ期間情報、評価情報、レポート情報、の項目を含む。
評価情報ＩＤは、評価情報を識別するための評価識別情報を記憶する項目である。評価識別情報は、評価情報ごとにユニークな値が設定されている項目である。評価情報は、運動機能の測定ごとに生成される。
解析対象動画は、解析の対象である評価動画の動画ＩＤが記憶される項目である。これにより、評価情報と評価用動画とが紐づけられる。機能動作種別が「片脚立位」の場合は、左脚を軸足として動作を行う評価用動画と、右脚を軸足として動作を行う評価用動画と、の２つの動画ＩＤを記憶することができる。
関節点情報は、変換済動画の各フレームについて、後述する評価部１０３３の推論処理により生成されるキーポイントと座標の組をフレームと紐づけて記憶し管理するテーブルである。キーポイントは関節点と重心とを含む。人体と、推論されるキーポイントと、の対応については後述する。
フェーズ期間情報は、解析する変換済動画の期間情報を記憶する項目である。変換済動画の期間情報としては、後述する区切り位置および第ｎフェーズ期間Ｔｎを含む。図３では、機能動作種別が片脚立位の場合の第ｎフェーズ期間Ｔｎとして、第１フェーズ期間Ｔ１から第３フェーズ期間Ｔ３が示されている。
評価情報は、期間情報と変換済動画を解析した結果である評価情報を記憶する項目である。評価情報は、後述する、全動作期間判定結果、フェーズ期間判定結果、フェーズ評価結果、フェーズ部位別評価結果、代償動作評価結果、総合評価、を含む。
評価レポート情報は、後述する評価レポートに関する情報としての評価レポート情報を記憶する項目である。評価レポート情報は、後述するレポート用動画、後述するフィードバックデータ、後述する提案運動メニュー情報、を含む。
評価情報ＩＤは、評価情報を識別するための評価識別情報を記憶する項目である。評価識別情報は、評価情報ごとにユニークな値が設定されている項目である。評価情報は、運動機能の測定ごとに生成される。
解析対象動画は、解析の対象である評価動画の動画ＩＤが記憶される項目である。これにより、評価情報と評価用動画とが紐づけられる。機能動作種別が「片脚立位」の場合は、左脚を軸足として動作を行う評価用動画と、右脚を軸足として動作を行う評価用動画と、の２つの動画ＩＤを記憶することができる。
関節点情報は、変換済動画の各フレームについて、後述する評価部１０３３の推論処理により生成されるキーポイントと座標の組をフレームと紐づけて記憶し管理するテーブルである。キーポイントは関節点と重心とを含む。人体と、推論されるキーポイントと、の対応については後述する。
フェーズ期間情報は、解析する変換済動画の期間情報を記憶する項目である。変換済動画の期間情報としては、後述する区切り位置および第ｎフェーズ期間Ｔｎを含む。図３では、機能動作種別が片脚立位の場合の第ｎフェーズ期間Ｔｎとして、第１フェーズ期間Ｔ１から第３フェーズ期間Ｔ３が示されている。
評価情報は、期間情報と変換済動画を解析した結果である評価情報を記憶する項目である。評価情報は、後述する、全動作期間判定結果、フェーズ期間判定結果、フェーズ評価結果、フェーズ部位別評価結果、代償動作評価結果、総合評価、を含む。
評価レポート情報は、後述する評価レポートに関する情報としての評価レポート情報を記憶する項目である。評価レポート情報は、後述するレポート用動画、後述するフィードバックデータ、後述する提案運動メニュー情報、を含む。
【0026】
運動情報テーブル１０１４は、評価対象者の運動機能の評価結果に応じて提案するための運動メニューに関する情報が記憶される項目である。運動情報テーブル１０１４は、記憶する情報の項目として、運動情報ＩＤ、運動基本情報、運動コンテンツ、の項目を含む。
運動メニューは、バランス運動と、筋力・柔軟性向上運動の２種類に分類されている。筋力・柔軟性向上運動は、体幹、股関節、足関節・足部に対する運動を含む。運動メニューの例については後述する。
運動メニューは、バランス運動と、筋力・柔軟性向上運動の２種類に分類されている。筋力・柔軟性向上運動は、体幹、股関節、足関節・足部に対する運動を含む。運動メニューの例については後述する。
【0027】
運動情報ＩＤは、運動メニューを識別するための運動識別情報を記憶する項目である。運動識別情報は、運動メニューごとにユニークな値が設定されている項目である。
運動基本情報は、運動メニューに関する基本的な情報を記憶する項目である。具体的には、運動の名称、対象部位、難易度、実施する回数やセット数、注意点、その他備考、等である。
運動コンテンツは、運動メニューに関する画像、説明テキスト、動画、説明音声、またはそれらの組み合わせから構成される運動の内容を説明するコンテンツを記憶する項目である。
運動基本情報は、運動メニューに関する基本的な情報を記憶する項目である。具体的には、運動の名称、対象部位、難易度、実施する回数やセット数、注意点、その他備考、等である。
運動コンテンツは、運動メニューに関する画像、説明テキスト、動画、説明音声、またはそれらの組み合わせから構成される運動の内容を説明するコンテンツを記憶する項目である。
【0028】
ユーザテーブル１０１５は、運動機能評価サービスを利用するユーザ（ユーザ会員）の情報を記憶し管理するテーブルである。ユーザテーブル１０１５は、記憶する情報の項目として、ユーザＩＤ、ユーザ基本情報、を含む。ユーザは、サービスの利用登録を行うことで、当該ユーザの情報がユーザテーブル１０１５の新しいレコードに記憶される。これにより、ユーザは本開示に係る運動機能評価サービスを利用できるようになる。
ユーザＩＤは、ユーザを識別するためのユーザ識別情報を記憶する項目である。ユーザ識別情報は、ユーザごとにユニークな値が設定されている項目である。
ユーザ基本情報は、ユーザの氏名や名称、住所、連絡先、パスワード等の基本情報を記憶する項目である。
ユーザＩＤは、ユーザを識別するためのユーザ識別情報を記憶する項目である。ユーザ識別情報は、ユーザごとにユニークな値が設定されている項目である。
ユーザ基本情報は、ユーザの氏名や名称、住所、連絡先、パスワード等の基本情報を記憶する項目である。
【0029】
評価対象者テーブル１０１６は、運動機能評価サービスを用いて運動機能の評価を行う対象の評価対象者の情報を記憶し管理するテーブルである。評価対象者テーブル１０１６は、記憶する情報の項目として、評価対象者ＩＤ、評価対象者基本情報、管理ユーザ、評価履歴、を含む。評価対象者の情報は、主に、運動機能評価サービスのユーザによって登録される。本実施形態では、介護事業者が評価対象者の情報を登録したり、介護事業者が利用する別のシステムやサービスに登録されている評価対象者の情報を連携したりする。
評価対象者ＩＤは、評価対象者を識別するための評価対象者識別情報を記憶する項目である。評価対象者識別情報は、評価対象者ごとにユニークな値が設定されている項目である。
評価対象者基本情報は、評価対象者の氏名、生年月日、年齢、性別、身長、体重、介護度、既往歴を含む健康状態、心身機能、ＡＤＬ／ＩＡＩＬ、環境・個人因子（福祉用具の利用状況、在宅環境）等を記憶する項目である。
管理ユーザは、評価対象者が所属する介護事業者のユーザＩＤを記憶する項目である。これにより、評価対象者の情報とユーザの情報とを紐づけることができる。
評価履歴は、本情報処理システム１が、評価情報ＩＤを評価履歴として記憶する項目である。これにより、運動機能の評価結果と評価対象者とを紐づけることができる。
評価対象者ＩＤは、評価対象者を識別するための評価対象者識別情報を記憶する項目である。評価対象者識別情報は、評価対象者ごとにユニークな値が設定されている項目である。
評価対象者基本情報は、評価対象者の氏名、生年月日、年齢、性別、身長、体重、介護度、既往歴を含む健康状態、心身機能、ＡＤＬ／ＩＡＩＬ、環境・個人因子（福祉用具の利用状況、在宅環境）等を記憶する項目である。
管理ユーザは、評価対象者が所属する介護事業者のユーザＩＤを記憶する項目である。これにより、評価対象者の情報とユーザの情報とを紐づけることができる。
評価履歴は、本情報処理システム１が、評価情報ＩＤを評価履歴として記憶する項目である。これにより、運動機能の評価結果と評価対象者とを紐づけることができる。
【0030】
図２に戻り、記憶部１０１の各数理モデルを説明する。
【0031】
動画解析数理モデル１０２１は、動画を入力データとして、動画に映る人体や動物の関節点、重心、骨格、姿勢等を推定する数理モデルである。動画解析数理モデル１０２１を用いた動画処理の詳細は後述する。
【0032】
本実施形態の動画解析数理モデル１０２１は、深層学習におけるディープニューラルネットワークによる深層学習モデルである。動画解析数理モデル１０２１は、深層学習済みの汎用の骨格推定モデルを用いて実現できる。汎用の骨格推定モデルとしては、例えば、Ｏｐｅｎｐｏｓｅ、ＰｏｓｅＮｅｔ、ＡｌｐｈａＰｏｓｅ、ＨＲＮｅｔ、ＭＭＰｏｓｅ、ＢｌａｚｅＰｏｓｅ、等が利用できる。動画解析数理モデル１０２１は、深層学習モデルである必要は必ずしもなく、任意の機械学習、人工知能モデルでも良い。動画解析数理モデル１０２１は、機能動作、性別、年代、要介護度、健康状態ごとに生成されてもよい。
【0033】
評価数理モデル１０２２は、変換済動画について推定されたキーポイントを入力データとして、変換済動画に映る評価対象者が行う機能動作の良否を出力する数理モデルである。評価数理モデル１０２２を用いた推論処理の詳細は後述する。評価数理モデル１０２２は、例えば機械学習、人工知能、深層学習モデル、ルールベースなどの一種またはその組み合わせである。評価数理モデル１０２２は、単一の数理モデルである必要はなく、複数の独立した複数の種類の数理モデルを組み合わせたり切り替えたりして実現してもよい。評価数理モデル１０２２は、評価する運動機能や機能動作、性別、年代、要介護度、健康状態ごとに生成されてもよい。
【0034】
提案数理モデル１０２３は、期間情報と評価結果とを入力データとして、１以上の運動メニューを選択し出力する数理モデルである。
提案数理モデル１０２３は、例えば機械学習、人工知能、深層学習モデル、ルールベースなどの一種またはその組み合わせである。提案数理モデル１０２３は、単一の数理モデルである必要はなく、複数の独立した複数の種類の数理モデルを組み合わせたり切り替えたりして実現してもよい。提案数理モデル１０２３は、評価する運動機能や機能動作、性別、年代、要介護度、健康状態ごとに生成されてもよい。
提案数理モデル１０２３は、例えば機械学習、人工知能、深層学習モデル、ルールベースなどの一種またはその組み合わせである。提案数理モデル１０２３は、単一の数理モデルである必要はなく、複数の独立した複数の種類の数理モデルを組み合わせたり切り替えたりして実現してもよい。提案数理モデル１０２３は、評価する運動機能や機能動作、性別、年代、要介護度、健康状態ごとに生成されてもよい。
【0035】
＜情報処理サーバの制御部の構成＞
サーバ１０の制御部１０３は、機能ユニットとして、動画取得部１０３１、動画処理部１０３２、評価部１０３３、運動提案部１０３４、評価結果出力部１０３５、数理モデル管理部１０３６、を備える。制御部１０３は、ＣＰＵを備えたコンピュータである。制御部１０３は、記憶部１０１に記憶されたアプリケーションプログラム１０１１を実行することにより、各機能ユニットが実現される。制御部１０３は、各機能ユニットを連携させて、後述する運動機能評価処理を実行する。図示しないが、制御部１０３は、ネットワークＮＷ等を介してサーバ１０に接続する外部機器との通信を制御する機能も備える。
サーバ１０の制御部１０３は、機能ユニットとして、動画取得部１０３１、動画処理部１０３２、評価部１０３３、運動提案部１０３４、評価結果出力部１０３５、数理モデル管理部１０３６、を備える。制御部１０３は、ＣＰＵを備えたコンピュータである。制御部１０３は、記憶部１０１に記憶されたアプリケーションプログラム１０１１を実行することにより、各機能ユニットが実現される。制御部１０３は、各機能ユニットを連携させて、後述する運動機能評価処理を実行する。図示しないが、制御部１０３は、ネットワークＮＷ等を介してサーバ１０に接続する外部機器との通信を制御する機能も備える。
【0036】
動画取得部１０３１は、ネットワークＮＷを介してサーバ１０に接続されているユーザ端末２０から、所定の機能動作を行う評価対象者を撮像した評価用動画と、所定の機能動作の期間情報と、を取得する。
【0037】
動画処理部１０３２は、評価用動画を前処理し、前処理した動画を変換済動画として記憶部１０１に記憶する。また、動画処理部１０３２は、変換済動画に映る評価対象者について、関節点と重心とを含むキーポイントを推定する。
【0038】
評価部１０３３は、キーポイントと、所定の機能動作の期間情報と、から、数理モデルを用いて、評価対象者の所定の機能動作および所定の機能動作に関連する運動機能の評価結果を推論する推論処理を実行し、推論結果を評価情報として記憶部１０１に記憶する。推論処理の詳細は後述する。
【0039】
運動提案部１０３４は、所定の機能動作の期間情報と、評価情報と、に基づいて、評価対象者の運動機能の改善、維持、向上に適した運動メニューを選択する。
【0040】
評価結果出力部１０３５は、評価情報と、選択された運動メニューと、に基づいて、評価レポート情報を生成し、ユーザ端末２０に出力する。
【0041】
数理モデル管理部１０３６は、記憶部１０１の各数理モデルを生成更新する。なお、数理モデルの生成には、学習の意味も含む。
【0042】
図４は、ユーザ端末２０の機能構成を示すブロック図である。ユーザ端末２０は、機能ユニットとして、記憶部２０１、制御部２０３、入力装置２０５、出力装置２０７、を備える。
ユーザ端末２０は、サービスを利用するユーザが操作する、撮像機能を有する情報処理装置である。ユーザ端末２０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ラップトップＰＣであってもよい。また、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、腕時計型端末等のウェアラブル端末であってもよい。
ユーザ端末２０は、サービスを利用するユーザが操作する、撮像機能を有する情報処理装置である。ユーザ端末２０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ラップトップＰＣであってもよい。また、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、腕時計型端末等のウェアラブル端末であってもよい。
【0043】
＜ユーザ端末の記憶部の構成＞
ユーザ端末２０の記憶部２０１は、情報処理システム１による運動機能評価サービスの提供に用いる情報を記憶できる記憶媒体または記憶装置である。図４ではユーザ端末２０と一体に記載しているが、ユーザ端末２０と物理的に独立した記憶装置であっても構わない。
記憶部２０１は、アプリケーションプログラム２０１１、ユーザＩＤ２０１２、を備える。記憶部２０１は、これらの記憶部に属さないその他の情報についても記憶している。
ユーザ端末２０の記憶部２０１は、情報処理システム１による運動機能評価サービスの提供に用いる情報を記憶できる記憶媒体または記憶装置である。図４ではユーザ端末２０と一体に記載しているが、ユーザ端末２０と物理的に独立した記憶装置であっても構わない。
記憶部２０１は、アプリケーションプログラム２０１１、ユーザＩＤ２０１２、を備える。記憶部２０１は、これらの記憶部に属さないその他の情報についても記憶している。
【0044】
アプリケーションプログラム２０１１は、記憶部２０１に予め記憶されていても良いし、通信ＩＦを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。アプリケーションプログラム２０１１は、ウェブブラウザアプリケーションなどのアプリケーションを含む。アプリケーションプログラム２０１１は、ユーザ端末２０に記憶されているウェブブラウザアプリケーション上で実行されるＪａｖａＳｃｒｉｐｔ（登録商標）などのインタープリター型プログラミング言語を含む。
【0045】
ユーザＩＤ２０１２は、ユーザが運動機能評価サービスを利用するための識別情報として、ユーザ端末２０を利用するユーザのユーザＩＤが記憶される。ユーザは、ユーザ端末２０からユーザＩＤを、サーバ１０へ送信する。サーバ１０は、受信したユーザＩＤを、ユーザテーブル１０１５に照会することでユーザを識別し、本開示に係るサービスをユーザに対して提供する。なお、ユーザＩＤ２０１２には、ユーザ端末２０を利用しているユーザを識別するにあたりサーバ１０から一時的に付与されるセッションＩＤなどの情報を含んでもよい。
【0046】
＜ユーザ端末の制御部の構成＞
ユーザ端末２０の制御部２０３は、入力制御部２０３１、出力制御部２０３２を備える。制御部２０３は、ＣＰＵを備えたコンピュータである。制御部２０３は、記憶部２０１に記憶されたアプリケーションプログラム２０１１を実行することにより、各機能ユニットが実現される。図示しないが、制御部２０３は、ネットワークＮＷ等を介してユーザ端末２０に接続する外部機器との通信を制御する機能も備える。
ユーザ端末２０の制御部２０３は、入力制御部２０３１、出力制御部２０３２を備える。制御部２０３は、ＣＰＵを備えたコンピュータである。制御部２０３は、記憶部２０１に記憶されたアプリケーションプログラム２０１１を実行することにより、各機能ユニットが実現される。図示しないが、制御部２０３は、ネットワークＮＷ等を介してユーザ端末２０に接続する外部機器との通信を制御する機能も備える。
【0047】
入力制御部２０３１は、入力装置２０５を制御する。
出力制御部２０３２は、出力装置２０７を制御する。
出力制御部２０３２は、出力装置２０７を制御する。
【0048】
ユーザ端末２０の入力装置２０５は、カメラ２０５１、マイク２０５２、位置情報センサ２０５３、モーションセンサ２０５４、タッチデバイス２０５５を備える。入力装置２０５は、ユーザが操作することにより情報の入力や選択が可能な各種入力装置である。情報の入力と選択とは、例えば数値や文字や記号の記入による入力、項目の選択、処理を決定する入力などである。
【0049】
カメラ２０５１は、例えば、可視光カメラであり、被写体から反射される光を検出して画像（静止画または動画）情報を生成する機能を有する入力装置である。カメラ２０５１は、ユーザ端末２０に内蔵されていてもよいし、独立したカメラをユーザ端末２０に接続したものでもよい。
【0050】
マイク２０５２は、設置場所近辺で発生する音を集音して電気信号に変換し音情報を生成する機能を有する入力装置である。例えばユーザから音声で指示の入力を受け付ける際に用いてもよい。
【0051】
位置情報センサ２０５３は、ユーザ端末２０の位置情報を生成する機能を有する入力装置である。
【0052】
モーションセンサ２０５４は、ユーザ端末２０の動きを検出、追跡することで、ユーザ端末２０の姿勢情報を生成する機能を有する。
【0053】
タッチデバイス２０５５は、ユーザ端末２０のユーザが、指やスタイラスペンなどを使って、画面上で行った操作の操作情報を生成する機能を有する入力装置である。
【0054】
ユーザ端末２０の出力装置２０７は、ディスプレイ２０７１、スピーカ２０７２を備える。出力装置２０７は、情報等をユーザに表示、再生、通知が可能な出力装置である。
【0055】
ディスプレイ２０７１は、文字、図形、画像、映像などを表示する表示出力装置である。ディスプレイ２０７１は、ユーザ端末２０と独立した表示出力装置であっても構わないし、スマートフォンやタブレットにおける液晶ディスプレイや有機ＥＬディスプレイ等の表示出力装置であっても構わない。
【0056】
スピーカ２０７２は、電気信号を音に変換することで周囲に音声を出力する音声出力装置である。スピーカ２０７２は、ユーザ端末２０に内蔵されていてもよいし、独立した音声出力装置をユーザ端末２０に接続したものでもよい。
【0057】
＜測定手順＞
図５は、本開示の実施形態に係る情報処理システムを使用して運動機能の測定を行う例を示す図である。図６は、評価用動画の撮像時に表示されるガイドの例を示す図である。図５、図６を参照しながら、運動機能の測定手順、すなわち、評価用動画の具体的な撮影方法について以下説明する。
図５は、本開示の実施形態に係る情報処理システムを使用して運動機能の測定を行う例を示す図である。図６は、評価用動画の撮像時に表示されるガイドの例を示す図である。図５、図６を参照しながら、運動機能の測定手順、すなわち、評価用動画の具体的な撮影方法について以下説明する。
【0058】
図５に示すように、ユーザはユーザ端末２０の撮影位置や撮影姿勢を、三脚などを用いて所定の位置および姿勢に固定する。ユーザは、ユーザ端末２０のディスプレイ２０７１上で、評価対象者に関する情報として、登録済みの評価対象者の識別情報（氏名等）と、評価する機能動作の種別と、を選択（入力）し送信する。そして、ユーザは、評価対象者を、ユーザ端末２０から所定の距離離れた位置（以下動作位置という）に誘導する。この時ユーザは、図６に示す、評価用動画の撮像時に表示されるガイドを利用してもよい。例えば、ユーザは、図６に示すガイドに従って、所定の撮像エリア内に評価対象者の全身が収まる位置を評価対象者に動作をさせる動作位置とすることができる。
【0059】
評価対象者が動作位置において待機状態となったら、ユーザは、ユーザ端末２０において撮像を開始し、評価対象者にディスプレイ２０７１上で選択した種別の機能動作の開始を指示する。評価対象者は、自身のタイミングで機能動作を開始する。ユーザは評価対象者の機能動作の開始から終了までの期間を手元のストップウォッチ等で計時する。機能動作種別が「片脚立位」の場合は、左脚、右脚、それぞれについて評価用動画の撮像と、全動作期間Ｔａの計時を実施する。
【0060】
動画の撮像開始から所定時間経過したら、撮像は自動で停止する。所定時間を経過する前に、評価対象者の機能動作の状態が所定の終了条件に該当した場合は、ユーザがユーザ端末２０において撮像を停止し評価用動画をサーバ１０に送信する。ユーザは、計時結果を、全動作期間Ｔａとして、ユーザ端末２０の表示画面上で入力し送信する。なお、このタイミングで機能動作種別や評価対象者の識別情報を選択し一緒に送信してもよい。所定の終了条件とは、機能動作種別が片脚立位の場合、（１）挙げた足が床や反対の足につく、（２）軸足がずれる、（３）手すりや壁に手などが触れる、（４）測定時間が６０秒を超える、である。
【0061】
＜運動機能評価処理＞
図７は、運動機能評価処理の動作を示すフローチャートである。
運動機能評価処理は、主として、運動機能に関連する所定の機能動作を行う評価対象者を撮像した評価用動画を取得し、取得した評価用動画に基づいて評価対象者の運動機能を評価し、評価結果に基づいて適切な運動メニューを選択し、評価結果と運動メニューを提供するための一連の処理である。以下の説明では、運動機能としてバランス能力を評価するために、所定の機能動作として「片脚立位」が選択されるものとする。
運動機能評価処理は、動画取得工程、撮像対象者情報取得工程、動画前処理工程、推論処理工程、レポート用動画生成工程、フィードバックデータ生成工程、運動判定工程、評価結果出力工程、を含む。
以下、同フローチャートに沿って運動機能評価処理の動作を説明する。
図７は、運動機能評価処理の動作を示すフローチャートである。
運動機能評価処理は、主として、運動機能に関連する所定の機能動作を行う評価対象者を撮像した評価用動画を取得し、取得した評価用動画に基づいて評価対象者の運動機能を評価し、評価結果に基づいて適切な運動メニューを選択し、評価結果と運動メニューを提供するための一連の処理である。以下の説明では、運動機能としてバランス能力を評価するために、所定の機能動作として「片脚立位」が選択されるものとする。
運動機能評価処理は、動画取得工程、撮像対象者情報取得工程、動画前処理工程、推論処理工程、レポート用動画生成工程、フィードバックデータ生成工程、運動判定工程、評価結果出力工程、を含む。
以下、同フローチャートに沿って運動機能評価処理の動作を説明する。
【0062】
ステップＳ１０１において、サーバ１０の動画取得部１０３１は、ユーザ端末２０から評価用動画を取得する（動画取得工程）。
具体的には、動画取得部１０３１は、ユーザ端末２０から、所定の機能動作を行う評価対象者の評価用動画を取得して、記憶部１０１の動画テーブル１０１２に記憶する。
具体的には、動画取得部１０３１は、ユーザ端末２０から、所定の機能動作を行う評価対象者の評価用動画を取得して、記憶部１０１の動画テーブル１０１２に記憶する。
【0063】
ステップＳ１０２において、サーバ１０の動画取得部１０３１は、ユーザ端末２０から撮像対象者情報を取得する（撮像対象者情報取得工程）。
具体的には、動画取得部１０３１は、ユーザ端末２０から、撮像対象者情報として、評価対象者を特定するための評価対象者の識別情報（評価対象者ＩＤまたは評価対象者ＩＤに紐づく情報）と、ユーザが入力した機能動作種別およびその機能動作の全動作期間Ｔａと、を取得して、記憶部１０１の動画テーブル１０１２に記憶する。
具体的には、動画取得部１０３１は、ユーザ端末２０から、撮像対象者情報として、評価対象者を特定するための評価対象者の識別情報（評価対象者ＩＤまたは評価対象者ＩＤに紐づく情報）と、ユーザが入力した機能動作種別およびその機能動作の全動作期間Ｔａと、を取得して、記憶部１０１の動画テーブル１０１２に記憶する。
【0064】
ステップＳ１０３において、サーバ１０の動画処理部１０３２は、ステップＳ１０１において取得した評価用動画の前処理を実行する（動画前処理工程）。具体的に、動画処理部１０３２は、前処理として所定のフレームレートおよび所定のフォーマット形式とする動画変換を実行し、変換済動画として記憶部１０１の動画テーブル１０１２に記憶する。
【0065】
ステップＳ１０４において、サーバ１０の評価部１０３３は、ステップＳ１０３において生成された変換済動画に基づいて推論処理を実行し評価結果を生成する（推論処理工程）。推論処理の詳細は後述する。
【0066】
ステップＳ１０５において、サーバ１０の動画処理部１０３２は、ステップＳ１０３で生成された変換済動画と、ステップＳ１０４の評価結果と、に基づいてレポート用動画生成を実行し、記憶部１０１の評価テーブル１０１３の評価レポート情報の項目に記憶する（レポート用動画作成工程）。レポート用動画は、動画、静止画像のいずれでもよい。レポート用動画は、ユーザ向けと、評価対象者向けの２種類が生成される。ユーザ向けのレポート用動画は、主に、リハビリ専門職と共有するための情報であり、主に評価結果に関連する部分動画またはフレーム画像を抽出したものであり、キーポイントが重畳表示される。このように、ユーザ向けのレポート用動画にキーポイントがつくことで、リハビリ専門職（理学療法士、作業療法士）に詳細な動作分析を依頼することが可能となる。評価対象者向けのレポート用動画は、主に、評価対象者やその家族・介助者と共有するための情報であり、後述する評価レポートにおいてキーポイントとともに表示される。これにより、評価レポートを提供された評価対象者等の測定時（動画撮像時）の姿勢や評価結果の理解を促進し、リハビリ提案の質や評価対象者のモチベーションを向上することができる。
【0067】
ステップＳ１０６において、サーバ１０の評価部１０３３は、ステップＳ１０４の評価結果（評価情報）と、記憶部１０１に記憶されている過去の評価結果（評価情報）と、に基づいて評価対象者の運動機能を分析して、フィードバックデータを生成し、記憶部１０１の評価テーブル１０１３の評価レポート情報の項目に記憶する（フィードバックデータ作成工程）。フィードバックデータの生成には、例えば、ルールベースや、汎用のテキスト生成ＡＩモデル等を用いることができる。
フィードバックデータは、評価レポートに表示される各項目に対応する情報を含む。
機能動作種別が「片脚立位」の場合の評価レポートの例は後述する。
フィードバックデータは、評価レポートに表示される各項目に対応する情報を含む。
機能動作種別が「片脚立位」の場合の評価レポートの例は後述する。
【0068】
ステップＳ１０７において、サーバ１０の運動提案部１０３４は、ステップＳ１０４の評価結果に基づいて、運動判定を実行する（運動判定工程）。
具体的には、運動提案部１０３４は、ステップＳ１０４の評価結果を入力データとして、提案数理モデル１０２３に適用し、出力データとして１以上の運動メニューを提案運動メニュー情報として取得（選択）し、記憶部１０１の評価テーブル１０１３のレポート情報の項目に記憶する。出力データは、バランス運動のカテゴリから少なくとも１つ選択されるのが好ましい。
なお、入力データとして過去の評価結果を追加してもよい。
具体的には、運動提案部１０３４は、ステップＳ１０４の評価結果を入力データとして、提案数理モデル１０２３に適用し、出力データとして１以上の運動メニューを提案運動メニュー情報として取得（選択）し、記憶部１０１の評価テーブル１０１３のレポート情報の項目に記憶する。出力データは、バランス運動のカテゴリから少なくとも１つ選択されるのが好ましい。
なお、入力データとして過去の評価結果を追加してもよい。
【0069】
ステップＳ１０８において、サーバ１０の評価結果出力部１０３５は、記憶部１０１の評価テーブル１０１３に記憶されているレポート情報にもとづいて評価レポートを出力する（評価結果出力工程）。
【0070】
＜推論処理＞
推論処理は、主として、動画を解析して評価対象者の運動機能を評価した評価結果を生成するための処理である。推論処理は、測定ごとに実行される。
図８は、推論処理の動作を示すフローチャートである。
推論処理は、関節点推定工程、動作フェーズ推論工程、全動作期間判定工程、フェーズ期間判定工程、フェーズ評価工程、フェーズ部位別評価工程、代償評価工程、および、評価結果統合工程、からなる一連の処理である。以下の説明では、所定の機能動作として「片脚立位」が選択されているものとする。
以下、同フローチャートに沿って推論処理の動作を説明する。
推論処理は、主として、動画を解析して評価対象者の運動機能を評価した評価結果を生成するための処理である。推論処理は、測定ごとに実行される。
図８は、推論処理の動作を示すフローチャートである。
推論処理は、関節点推定工程、動作フェーズ推論工程、全動作期間判定工程、フェーズ期間判定工程、フェーズ評価工程、フェーズ部位別評価工程、代償評価工程、および、評価結果統合工程、からなる一連の処理である。以下の説明では、所定の機能動作として「片脚立位」が選択されているものとする。
以下、同フローチャートに沿って推論処理の動作を説明する。
【0071】
ステップＳ２０１において、サーバ１０の動画処理部１０３２は、変換済動画の各フレームについて関節点推定処理を実行する（関節点推定工程）。１つの測定で、２以上の動画を撮影している場合は、各動画について関節点推定工程を実行する。
具体的には、動画処理部１０３２は、変換済動画の各フレーム画像を入力データとして、動画解析数理モデル１０２１に適用し、各フレームについて推定されたキーポイントおよびその座標の組（以下、単にキーポイント座標、関節点座標、重心座標という）を出力データとして取得し、サーバ１０の記憶部１０１の評価テーブル１０１３の関節点情報の項目に各フレームの識別情報と紐づけて記憶する。なお、重心は、関節点の座標から別途算出しても構わない。
図９は、動画に映る人体（評価対象者）と推定されるキーポイント（関節点および重心）との対応の一例を示す図である。図９を参照しながら、推論処理により推定されるキーポイントについて説明する。
本実施形態では、動画解析数理モデル１０２１によって、図９に示す各キーポイントの座標をフレームごとに推定することができる。なお、図９において各キーポイント付近に表示された数字は、同図のキーポイント一覧の数字と対応することを示すためにのみ用いるものであり、他の図面の符号番号とは無関係である。
図９には、推定されるキーポイントとして３３のポイントが黒丸で記載されている。人体は大きく、頭頚部（図９の破線領域）、体幹（図示せず）、体肢（図示せず）に分けられる。体肢は、上肢と下肢に分けられる（図示せず）。頭頚部領域に属するキーポイントは、鼻、左目内端、左目、左目外端、右目内端、右目、右目外端、左耳、右耳、口左端、口右端である。体幹領域に属するキーポイントは、左肩、右肩、左腰、右腰、である。上肢領域に属するキーポイントは、左肘、右肘、左手首、右手首、左手小指、右手小指、左手人差指、右手人差指、左手親指、右手親指、である。下肢領域に属するキーポイントとしては、左膝、右膝、左足首、右足首、左踵、右踵、左足人差指、右足人差指、である。
具体的には、動画処理部１０３２は、変換済動画の各フレーム画像を入力データとして、動画解析数理モデル１０２１に適用し、各フレームについて推定されたキーポイントおよびその座標の組（以下、単にキーポイント座標、関節点座標、重心座標という）を出力データとして取得し、サーバ１０の記憶部１０１の評価テーブル１０１３の関節点情報の項目に各フレームの識別情報と紐づけて記憶する。なお、重心は、関節点の座標から別途算出しても構わない。
図９は、動画に映る人体（評価対象者）と推定されるキーポイント（関節点および重心）との対応の一例を示す図である。図９を参照しながら、推論処理により推定されるキーポイントについて説明する。
本実施形態では、動画解析数理モデル１０２１によって、図９に示す各キーポイントの座標をフレームごとに推定することができる。なお、図９において各キーポイント付近に表示された数字は、同図のキーポイント一覧の数字と対応することを示すためにのみ用いるものであり、他の図面の符号番号とは無関係である。
図９には、推定されるキーポイントとして３３のポイントが黒丸で記載されている。人体は大きく、頭頚部（図９の破線領域）、体幹（図示せず）、体肢（図示せず）に分けられる。体肢は、上肢と下肢に分けられる（図示せず）。頭頚部領域に属するキーポイントは、鼻、左目内端、左目、左目外端、右目内端、右目、右目外端、左耳、右耳、口左端、口右端である。体幹領域に属するキーポイントは、左肩、右肩、左腰、右腰、である。上肢領域に属するキーポイントは、左肘、右肘、左手首、右手首、左手小指、右手小指、左手人差指、右手人差指、左手親指、右手親指、である。下肢領域に属するキーポイントとしては、左膝、右膝、左足首、右足首、左踵、右踵、左足人差指、右足人差指、である。
【0072】
ステップＳ２０２において、サーバ１０の動画処理部１０３２は、ステップＳ２０１で取得したキーポイント座標の時間変化に基づいて、変換済動画を動作フェーズごとに区切る（動作フェーズ推論工程）。１つの測定で、２以上の動画を撮影している場合は、各変換済動画について動作フェーズ推論工程を実行する。
機能動作は、機能動作の開始から終了までに、複数の動作フェーズを含み、時間の経過とともに動作フェーズ間で遷移する。含まれる動作フェーズの数、動作フェーズ間の遷移の結合関係や遷移方向、は機能動作の種別によって異なる。
機能動作種別が「片脚立位」の場合は、第１フェーズ、第２フェーズ、第３フェーズ、の３つの動作フェーズがあり、時間の経過とともに、第１フェーズから順に第３フェーズへ遷移する。この場合、１つの動画（変換済動画）に含まれ得る動作フェーズの組み合わせパターンとしては、１）第１フェーズのみ、２）第１フェーズおよび第２フェーズ、３）第１フェーズ、第２フェーズ、および、第３フェーズ、の３パターンである。
具体的には、動画処理部１０３２は、変換済動画の全てのフレームにおける所定の１以上のキーポイント座標の時間推移を入力データとして、動画解析数理モデル１０２１に適用し、推定された動作フェーズごとの区切り位置（時刻またはフレーム番号）を出力データとして取得する。当該工程における、所定の１以上のキーポイントの数は、３以上８以下であることが好ましい。機能動作種別が「片脚立位」の場合は、下肢領域のキーポイントを２以上含むことが好ましい。また、動画処理部１０３２は、区切り位置に基づいて、各動作フェーズのフェーズ期間を算出する。さらに、動画処理部１０３２は、推定された区切り位置と算出されたフェーズ期間とを記憶部１０１の評価テーブル１０１３のフェーズ期間情報の項目に記憶する。
フェーズ期間とは、動作フェーズの開始から終了までの経過期間（時間）であり、機能動作種別が「片脚立位」の場合は第１フェーズ期間Ｔ１、第２フェーズ期間Ｔ２、第３フェーズ期間Ｔ３である。なお、簡単のため、以下の説明において、ｎを自然数として、第ｎフェーズに対応するフェーズ期間を第ｎフェーズ期間Ｔｎと表記し、第ｎフェーズに対応する期間の動画を第ｎフェーズ動画と表記する。
機能動作種別が「片脚立位」であって、動画に上記３つすべての動作フェーズが含まれている場合には、ステップＳ２０２では、動画処理部１０３２は、第１フェーズと第２フェーズとの区切り位置、第２フェーズと第３フェーズとの区切り位置、第１フェーズ期間Ｔ１、第２フェーズ期間Ｔ２、第３フェーズ期間Ｔ３、を取得し、記憶部１０１の評価テーブル１０１３のフェーズ期間情報の項目に記憶する。取得および記憶するフェーズ期間情報は、上述した組み合わせパターンに応じて決まる。以下のステップの具体例では、動画に３つすべてのフェーズが含まれている場合として説明する。
機能動作は、機能動作の開始から終了までに、複数の動作フェーズを含み、時間の経過とともに動作フェーズ間で遷移する。含まれる動作フェーズの数、動作フェーズ間の遷移の結合関係や遷移方向、は機能動作の種別によって異なる。
機能動作種別が「片脚立位」の場合は、第１フェーズ、第２フェーズ、第３フェーズ、の３つの動作フェーズがあり、時間の経過とともに、第１フェーズから順に第３フェーズへ遷移する。この場合、１つの動画（変換済動画）に含まれ得る動作フェーズの組み合わせパターンとしては、１）第１フェーズのみ、２）第１フェーズおよび第２フェーズ、３）第１フェーズ、第２フェーズ、および、第３フェーズ、の３パターンである。
具体的には、動画処理部１０３２は、変換済動画の全てのフレームにおける所定の１以上のキーポイント座標の時間推移を入力データとして、動画解析数理モデル１０２１に適用し、推定された動作フェーズごとの区切り位置（時刻またはフレーム番号）を出力データとして取得する。当該工程における、所定の１以上のキーポイントの数は、３以上８以下であることが好ましい。機能動作種別が「片脚立位」の場合は、下肢領域のキーポイントを２以上含むことが好ましい。また、動画処理部１０３２は、区切り位置に基づいて、各動作フェーズのフェーズ期間を算出する。さらに、動画処理部１０３２は、推定された区切り位置と算出されたフェーズ期間とを記憶部１０１の評価テーブル１０１３のフェーズ期間情報の項目に記憶する。
フェーズ期間とは、動作フェーズの開始から終了までの経過期間（時間）であり、機能動作種別が「片脚立位」の場合は第１フェーズ期間Ｔ１、第２フェーズ期間Ｔ２、第３フェーズ期間Ｔ３である。なお、簡単のため、以下の説明において、ｎを自然数として、第ｎフェーズに対応するフェーズ期間を第ｎフェーズ期間Ｔｎと表記し、第ｎフェーズに対応する期間の動画を第ｎフェーズ動画と表記する。
機能動作種別が「片脚立位」であって、動画に上記３つすべての動作フェーズが含まれている場合には、ステップＳ２０２では、動画処理部１０３２は、第１フェーズと第２フェーズとの区切り位置、第２フェーズと第３フェーズとの区切り位置、第１フェーズ期間Ｔ１、第２フェーズ期間Ｔ２、第３フェーズ期間Ｔ３、を取得し、記憶部１０１の評価テーブル１０１３のフェーズ期間情報の項目に記憶する。取得および記憶するフェーズ期間情報は、上述した組み合わせパターンに応じて決まる。以下のステップの具体例では、動画に３つすべてのフェーズが含まれている場合として説明する。
【0073】
ステップＳ２０３において、サーバ１０の評価部１０３３は、運動機能評価処理のステップＳ１０１でユーザ端末２０から取得した全動作期間Ｔａの良否を判定する（全動作期間判定工程）。１つの測定で、２以上の評価用動画を撮影している場合は、各評価用動画について取得した全動作期間Ｔａに対して全動作期間判定工程を実行する。
具体的には、評価部１０３３は、全動作期間Ｔａが同年代かつ同性の標準（平均）値Ｔａａ以上の場合を「良」、所定のカットオフ値Ｔａｃ以上の場合を「可」、所定のカットオフ値Ｔａｃ未満の場合を「注意」と判定する。
評価部１０３３は、判定結果を、記憶部１０１の評価テーブル１０１３の評価情報の項目に全期間動作判定結果として記憶する。全期間動作判定は、２段階の良否のみの評価でもよく、４段階以上の段階的評価でもよい。
具体的には、評価部１０３３は、全動作期間Ｔａが同年代かつ同性の標準（平均）値Ｔａａ以上の場合を「良」、所定のカットオフ値Ｔａｃ以上の場合を「可」、所定のカットオフ値Ｔａｃ未満の場合を「注意」と判定する。
評価部１０３３は、判定結果を、記憶部１０１の評価テーブル１０１３の評価情報の項目に全期間動作判定結果として記憶する。全期間動作判定は、２段階の良否のみの評価でもよく、４段階以上の段階的評価でもよい。
【0074】
ステップＳ２０４において、サーバ１０の評価部１０３３は、ステップＳ２０２で算出した各第ｎフェーズ期間Ｔｎについて良否を判定する（フェーズ期間判定工程）。１つの測定で、２以上の評価用動画を撮影している場合は、各評価用動画について算出した各フェーズ期間のフェーズ期間判定工程を実行する。
具体的には、評価部１０３３は、第ｎフェーズ期間Ｔｎが、同年代かつ同性の標準（平均）値Ｔｎａ以上の場合を「良」、所定のカットオフ値Ｔｎｃ以上の場合を「可」、所定のカットオフ値Ｔｎｃ未満の場合を「注意」と判定する。そして、評価部１０３３は、判定結果を記憶部１０１の評価テーブル１０１３のフェーズ期間判定結果の項目に記憶する。
機能動作種別が「片脚立位」の場合、評価部１０３３は、第１フェーズ期間Ｔ１が同年代かつ同性の標準（平均）値Ｔ１ａ以上の場合を「良」、所定のカットオフ値Ｔ１ｃ以上の場合を「可」、所定のカットオフ値Ｔ１ｃ未満の場合を「注意」と判定する。第２フェーズ期間Ｔ２、第３フェーズ期間Ｔ３も同様に判定する。また、左脚、右脚それぞれについて判定を行う。評価部１０３３は、左脚、右脚それぞれの判定結果を、記憶部１０１の評価テーブル１０１３の評価情報の項目に、例えば、第１フェーズ左脚判定結果、第２フェーズ右脚判定結果、のように記憶する。フェーズ期間動作判定は、２段階の良否のみの評価でもよく、４段階以上の段階的評価でもよい。
具体的には、評価部１０３３は、第ｎフェーズ期間Ｔｎが、同年代かつ同性の標準（平均）値Ｔｎａ以上の場合を「良」、所定のカットオフ値Ｔｎｃ以上の場合を「可」、所定のカットオフ値Ｔｎｃ未満の場合を「注意」と判定する。そして、評価部１０３３は、判定結果を記憶部１０１の評価テーブル１０１３のフェーズ期間判定結果の項目に記憶する。
機能動作種別が「片脚立位」の場合、評価部１０３３は、第１フェーズ期間Ｔ１が同年代かつ同性の標準（平均）値Ｔ１ａ以上の場合を「良」、所定のカットオフ値Ｔ１ｃ以上の場合を「可」、所定のカットオフ値Ｔ１ｃ未満の場合を「注意」と判定する。第２フェーズ期間Ｔ２、第３フェーズ期間Ｔ３も同様に判定する。また、左脚、右脚それぞれについて判定を行う。評価部１０３３は、左脚、右脚それぞれの判定結果を、記憶部１０１の評価テーブル１０１３の評価情報の項目に、例えば、第１フェーズ左脚判定結果、第２フェーズ右脚判定結果、のように記憶する。フェーズ期間動作判定は、２段階の良否のみの評価でもよく、４段階以上の段階的評価でもよい。
【0075】
ステップＳ２０５において、サーバ１０の評価部１０３３は、各動作フェーズについて、ステップＳ２０１で取得したキーポイント座標に基づいて、各動作フェーズにおける評価対象者の動作の良否を推論する（フェーズ評価工程）。１つの測定で、２以上の動画を撮影している場合は、各動画についてフェーズ評価工程を実行する。
具体的には、評価部１０３３は、第ｎフェーズ動画の各フレームのキーポイント座標を用いて、所定の部位について、座標位置を含む物理量、その物理量の統計値、その物理量および/またはその統計値の演算結果を特徴量として算出する。評価部１０３３は、算出された特徴量を入力データとして、評価数理モデル１０２２に適用し、推論された動作の良否を出力データとして取得する。そして、評価部１０３３は、推論された動作の良否を動作フェーズに紐づけて記憶部１０１の評価テーブル１０１３のフェーズ評価結果の項目に記憶する。
当該工程における所定の部位は、上述の３３のキーポイント、および、６つの領域（頭頚部、体幹、左上肢、右上肢、左下肢、右下肢）の中から選択され、選択される数は３から８の範囲が好ましい。選択される所定の部位は動作フェーズごとに予めサーバ１０に設定登録されている。
所定の部位の物理量は、位置、距離、角度、を含む。角度は、あるキーポイントと、それに隣接する２つキーポイントとをそれぞれ結ぶ２つの線がなす角度であるキーポイント角度でもよい。例えば、右膝のキーポイント角度というときは、右膝と右腰とをつなぐ線、および、右膝と右足首を結ぶ線、のなす角を示す。また、角度は、ある領域と、それに隣接する２つの領域とをそれぞれ結ぶ２つの線がなす角度である量言い角度でもよい。例えば、体幹角度というときは、重心と頭頚部の中心（鼻でもよい）をつなぐ線、および、重心と片方の下肢の先端（足首でもよい）をつなぐ線、のなす角を示す。以下、キーポイント角度と領域角度とをまとめて部位角度と呼ぶ。また、物理量の統計値は、移動量、移動幅、平均値、最大値、最小値、を含む。演算は、四則演算を含む。選択される所定の部位に対して算出される特徴量は、動作フェーズごとに予めサーバ１０に設定登録されている。特徴量は、例えば、「重心の期間内移動量－重心の期間内移動幅」のように、所定の部位、物理量、統計値、演算、からそれぞれ選択して定義される。
機能動作種別が「片脚立位」の場合、第１フェーズは予測的姿勢制御フェーズ、第２フェーズは姿勢維持フェーズ、第３フェーズは反応的姿勢制御フェーズともいう。予測的姿勢制御フェーズは、目で見た情報から今から起こる運動に必要な姿勢を、以前の経験を利用することによって中枢神経系が感覚系や運動系の活動を予測し調節する状態の期間、姿勢維持フェーズは重心移動が収束し頭部・上部体幹が正中位で保てている状態の期間、反応的姿勢制御フェーズは、運動において予測しないことが起こった時に安定性を回復するために、運動時の体性感覚・視覚・前庭系からの情報を得て、計画している運動とのずれがないようにより良い姿勢を調整する状態の期間である。評価レポートでは、これらをそれぞれ、「なめらかさ」、「安定感」、「ふんばり力」、と言い換えて表現している。
評価レポートにおいて、「なめらかさ」は、主にスムーズに重心移動をする能力を示す指標としている。この指標により、歩く、またぐ等の意図した動きをする際に、バランスをコントロールしながら動けるかが分かる。
また、「安定感」は、安定してバランスをキープする能力を示す指標としている。評価対象者によって、どうバランスをキープするかは変わる。股関節や足首でバランスを取れるようになるのが理想だが、難しい場合、体幹や腕、あげた足で代償してバランスを取ることもある。
そして、「ふんばり力」は、バランスを崩した時に、ふんばる能力を示す指標としている。この指標により、生活の中でバランスを崩した時に反応して対処できるかどうかが分かる。「安定感」と同様に、股関節や足首でふんばれるのが理想だが、難しい場合、体幹や腕、あげた足で代償してふんばることもある。
機能動作種別が「片脚立位」の場合の第１フェーズの入力データとしては、１以上の部位角度の統計値またはその演算結果を用いることが好ましい。同様に、第２フェーズの入力データとしては、重心の統計値またはその演算結果と、１以上の部位角度の統計値またはその演算結果と、を用いることが好ましい。同様に、第３フェーズの入力データとしては、複数の部位角度の統計値またはその演算結果を用いることが好ましい。
具体的には、評価部１０３３は、第ｎフェーズ動画の各フレームのキーポイント座標を用いて、所定の部位について、座標位置を含む物理量、その物理量の統計値、その物理量および/またはその統計値の演算結果を特徴量として算出する。評価部１０３３は、算出された特徴量を入力データとして、評価数理モデル１０２２に適用し、推論された動作の良否を出力データとして取得する。そして、評価部１０３３は、推論された動作の良否を動作フェーズに紐づけて記憶部１０１の評価テーブル１０１３のフェーズ評価結果の項目に記憶する。
当該工程における所定の部位は、上述の３３のキーポイント、および、６つの領域（頭頚部、体幹、左上肢、右上肢、左下肢、右下肢）の中から選択され、選択される数は３から８の範囲が好ましい。選択される所定の部位は動作フェーズごとに予めサーバ１０に設定登録されている。
所定の部位の物理量は、位置、距離、角度、を含む。角度は、あるキーポイントと、それに隣接する２つキーポイントとをそれぞれ結ぶ２つの線がなす角度であるキーポイント角度でもよい。例えば、右膝のキーポイント角度というときは、右膝と右腰とをつなぐ線、および、右膝と右足首を結ぶ線、のなす角を示す。また、角度は、ある領域と、それに隣接する２つの領域とをそれぞれ結ぶ２つの線がなす角度である量言い角度でもよい。例えば、体幹角度というときは、重心と頭頚部の中心（鼻でもよい）をつなぐ線、および、重心と片方の下肢の先端（足首でもよい）をつなぐ線、のなす角を示す。以下、キーポイント角度と領域角度とをまとめて部位角度と呼ぶ。また、物理量の統計値は、移動量、移動幅、平均値、最大値、最小値、を含む。演算は、四則演算を含む。選択される所定の部位に対して算出される特徴量は、動作フェーズごとに予めサーバ１０に設定登録されている。特徴量は、例えば、「重心の期間内移動量－重心の期間内移動幅」のように、所定の部位、物理量、統計値、演算、からそれぞれ選択して定義される。
機能動作種別が「片脚立位」の場合、第１フェーズは予測的姿勢制御フェーズ、第２フェーズは姿勢維持フェーズ、第３フェーズは反応的姿勢制御フェーズともいう。予測的姿勢制御フェーズは、目で見た情報から今から起こる運動に必要な姿勢を、以前の経験を利用することによって中枢神経系が感覚系や運動系の活動を予測し調節する状態の期間、姿勢維持フェーズは重心移動が収束し頭部・上部体幹が正中位で保てている状態の期間、反応的姿勢制御フェーズは、運動において予測しないことが起こった時に安定性を回復するために、運動時の体性感覚・視覚・前庭系からの情報を得て、計画している運動とのずれがないようにより良い姿勢を調整する状態の期間である。評価レポートでは、これらをそれぞれ、「なめらかさ」、「安定感」、「ふんばり力」、と言い換えて表現している。
評価レポートにおいて、「なめらかさ」は、主にスムーズに重心移動をする能力を示す指標としている。この指標により、歩く、またぐ等の意図した動きをする際に、バランスをコントロールしながら動けるかが分かる。
また、「安定感」は、安定してバランスをキープする能力を示す指標としている。評価対象者によって、どうバランスをキープするかは変わる。股関節や足首でバランスを取れるようになるのが理想だが、難しい場合、体幹や腕、あげた足で代償してバランスを取ることもある。
そして、「ふんばり力」は、バランスを崩した時に、ふんばる能力を示す指標としている。この指標により、生活の中でバランスを崩した時に反応して対処できるかどうかが分かる。「安定感」と同様に、股関節や足首でふんばれるのが理想だが、難しい場合、体幹や腕、あげた足で代償してふんばることもある。
機能動作種別が「片脚立位」の場合の第１フェーズの入力データとしては、１以上の部位角度の統計値またはその演算結果を用いることが好ましい。同様に、第２フェーズの入力データとしては、重心の統計値またはその演算結果と、１以上の部位角度の統計値またはその演算結果と、を用いることが好ましい。同様に、第３フェーズの入力データとしては、複数の部位角度の統計値またはその演算結果を用いることが好ましい。
【0076】
ステップＳ２０６において、サーバ１０の評価部１０３３は、各動作フェーズについて、ステップＳ２０１で取得したキーポイント座標に基づいて、各動作フェーズにおける評価対象者の特定部位の動作の良否を推論する（フェーズ部位別評価工程）。１つの測定で、２以上の動画を撮影している場合は、各動画についてフェーズ評価工程を実行する。
具体的には、評価部１０３３は、第ｎ動作フェーズ動画の各フレームのキーポイント座標を用いて、所定の部位について、座標位置を含む物理量、その物理量の統計値、その物理量および/またはその統計値の演算結果を特徴量として算出する。そして評価部１０３３は、算出された特徴量を入力データとして、評価数理モデル１０２２に適用し、推論された特定部位の動作の良否を出力データとして取得する。そして、評価部１０３３は、推論された特定部位の動作の良否を動作フェーズに紐づけて記憶部１０１の評価テーブル１０１３のフェーズ部位別評価結果の項目に記憶する。
当該工程における所定の部位は、評価する特定部位ごとに異なる。また、当該工程における所定の部位は、上述の３３のキーポイント、および、６つの領域（頭頚部、体幹、左上肢、右上肢、左下肢、右下肢）の中から選択され、選択される数は２から８の範囲が好ましい。選択される所定の部位は評価する特定部位ごとに、予めサーバ１０に設定登録されている。
機能動作種別が「片脚立位」の場合、特定部位として、「体幹」、「股関節」、「足首」、の動作を良否で評価する。入力データとしては、１以上の部位角度の統計値と重心の統計値、またはそれらの演算結果を用いることが好ましい。「足首」の評価における入力データとしては、下肢のキーポイントの物理量、統計値、および、演算結果を除外してもよい。
具体的には、評価部１０３３は、第ｎ動作フェーズ動画の各フレームのキーポイント座標を用いて、所定の部位について、座標位置を含む物理量、その物理量の統計値、その物理量および/またはその統計値の演算結果を特徴量として算出する。そして評価部１０３３は、算出された特徴量を入力データとして、評価数理モデル１０２２に適用し、推論された特定部位の動作の良否を出力データとして取得する。そして、評価部１０３３は、推論された特定部位の動作の良否を動作フェーズに紐づけて記憶部１０１の評価テーブル１０１３のフェーズ部位別評価結果の項目に記憶する。
当該工程における所定の部位は、評価する特定部位ごとに異なる。また、当該工程における所定の部位は、上述の３３のキーポイント、および、６つの領域（頭頚部、体幹、左上肢、右上肢、左下肢、右下肢）の中から選択され、選択される数は２から８の範囲が好ましい。選択される所定の部位は評価する特定部位ごとに、予めサーバ１０に設定登録されている。
機能動作種別が「片脚立位」の場合、特定部位として、「体幹」、「股関節」、「足首」、の動作を良否で評価する。入力データとしては、１以上の部位角度の統計値と重心の統計値、またはそれらの演算結果を用いることが好ましい。「足首」の評価における入力データとしては、下肢のキーポイントの物理量、統計値、および、演算結果を除外してもよい。
【0077】
ステップＳ２０７において、サーバ１０の評価部１０３３は、変換済動画に基づいて、評価対象者の機能動作における代償動作の有無を評価する（代償評価工程）。代償動作は、上肢代償動作と下肢代償動作と、を含む。当該評価は、動作フェーズごとに行う。１つの測定で、２以上の動画を撮影している場合は、各動画に対応する各変換済動画について全動作期間判定工程を実行する。
具体的には、評価部１０３３は、第ｎ動作フェーズ動画の各フレームのキーポイント座標を用いて、所定の部位について、座標位置を含む物理量、その物理量の統計値、その物理量および/またはその統計値の演算結果を特徴量として算出する。評価部１０３３は、算出された特徴量を入力データとして、評価数理モデル１０２２に適用し、推定された上肢代償動作および／または下肢代償動作の有無を出力データとして取得する。そして評価部１０３３は、取得した代償動作の有無をサーバ１０の記憶部１０１の評価テーブル１０１３の評価結果の項目に第ｎフェーズ代償動作評価結果として記憶する。
機能動作種別が「片脚立位」の場合、評価部１０３３は、まず、第１フェーズ動画の所定の部位についての特徴量を入力データとして、評価数理モデル１０２２に適用し、推定された上肢代償動作および／または下肢代償動作の有無を出力データとして取得し、サーバ１０の記憶部１０１の評価テーブル１０１３の評価結果の項目に第１フェーズ代償動作評価結果として記憶する。第２フェーズ、第３フェーズも同様に行う。また、左脚、右脚それぞれ対して当該評価を行う。
当該工程における所定の部位は、上述の３３のキーポイント、および、６つの領域（頭頚部、体幹、左上肢、右上肢、左下肢、右下肢）の中から選択され、選択される所定の部位の数は２から５の範囲が好ましく、上肢代償動作、下肢代償動作ごとに予め設定されている。
上肢代償動作の特徴量の例としては、上肢領域から選択される所定の部位の移動量、上肢領域から選択される複数の所定の部位の部位角度の統計値、が挙げられる。
下肢代償動作の特徴量の例としては、重心座標の統計値、複数の部位角度の統計値、が挙げられる。また、下肢代償動作の特徴量は、下肢領域のキーポイントを除外してもよい。
具体的には、評価部１０３３は、第ｎ動作フェーズ動画の各フレームのキーポイント座標を用いて、所定の部位について、座標位置を含む物理量、その物理量の統計値、その物理量および/またはその統計値の演算結果を特徴量として算出する。評価部１０３３は、算出された特徴量を入力データとして、評価数理モデル１０２２に適用し、推定された上肢代償動作および／または下肢代償動作の有無を出力データとして取得する。そして評価部１０３３は、取得した代償動作の有無をサーバ１０の記憶部１０１の評価テーブル１０１３の評価結果の項目に第ｎフェーズ代償動作評価結果として記憶する。
機能動作種別が「片脚立位」の場合、評価部１０３３は、まず、第１フェーズ動画の所定の部位についての特徴量を入力データとして、評価数理モデル１０２２に適用し、推定された上肢代償動作および／または下肢代償動作の有無を出力データとして取得し、サーバ１０の記憶部１０１の評価テーブル１０１３の評価結果の項目に第１フェーズ代償動作評価結果として記憶する。第２フェーズ、第３フェーズも同様に行う。また、左脚、右脚それぞれ対して当該評価を行う。
当該工程における所定の部位は、上述の３３のキーポイント、および、６つの領域（頭頚部、体幹、左上肢、右上肢、左下肢、右下肢）の中から選択され、選択される所定の部位の数は２から５の範囲が好ましく、上肢代償動作、下肢代償動作ごとに予め設定されている。
上肢代償動作の特徴量の例としては、上肢領域から選択される所定の部位の移動量、上肢領域から選択される複数の所定の部位の部位角度の統計値、が挙げられる。
下肢代償動作の特徴量の例としては、重心座標の統計値、複数の部位角度の統計値、が挙げられる。また、下肢代償動作の特徴量は、下肢領域のキーポイントを除外してもよい。
【0078】
ステップＳ２０８において、サーバ１０の評価部１０３３は、ステップＳ２０３の全動作期間Ｔａの判定結果、ステップＳ２０４の各フェーズ期間Ｔｎの判定結果、ステップＳ２０５の各フェーズ評価結果、ステップＳ２０６の各フェーズ部位別評価結果、および、ステップＳ２０７の代償動作評価結果、から総合評価を生成する（評価結果統合工程）。総合評価は、例えば各結果をスコア化し、集計処理・統計処理を行って生成した運動機能の良否の評価を示す指標である。総合評価の生成は、評価数理モデル１０２２を用いて生成もよい。
【0079】
＜出力例＞
図１０は、評価レポートの一例を示す図である。図１１は、提示される運動メニューの一覧表示の例を示す図である。図１２は、提示される運動メニューの内容の例を示す図である。これらは、ユーザ端末２０のディスプレイ２０７１に表示されてもよいし、高齢者や第三者が使用する他のユーザ端末（図示せず）のディスプレイに表示されてもよいし、用紙に印刷出力されてもよい。ユーザはこれら評価レポート等を評価対象者やその家族、介助者に提供することにより、信頼度を向上したり、コミュニケーションを円滑にすることができる。
図１０は、評価レポートの一例を示す図である。図１１は、提示される運動メニューの一覧表示の例を示す図である。図１２は、提示される運動メニューの内容の例を示す図である。これらは、ユーザ端末２０のディスプレイ２０７１に表示されてもよいし、高齢者や第三者が使用する他のユーザ端末（図示せず）のディスプレイに表示されてもよいし、用紙に印刷出力されてもよい。ユーザはこれら評価レポート等を評価対象者やその家族、介助者に提供することにより、信頼度を向上したり、コミュニケーションを円滑にすることができる。
【0080】
図１０の評価レポートは、機能動作種別のうち「片脚立位バランス（片脚立位）」についての評価結果（図１０では測定結果と表記されている）を例示している。「バランス能力」は評価テーブル１０１３の評価情報の総合評価の「良」、「可」、「注意」の今回の結果と前回の結果を表示している。「なめらかさ」は第１フェーズのフェーズ期間判定結果とフェーズ評価結果の今回と前回の内容を表示している。同様に、「安定感」は第２フェーズについて、「ふんばり力」は第３フェーズについて表示している。「秒数」は全動作期間判定結果の履歴をグラフで表示している。「結果のまとめ」は、評価情報に基づいて生成されたフィードバックデータが表示されている。
【0081】
図１１の運動メニューの一覧の例では、おすすめの運動として、バランス運動と、筋力・柔軟性ＵＰ運動のカテゴリごとに運動メニューの一覧が示されている。表示される運動メニューは、評価テーブル１０１３のレポート情報の提案運動メニュー情報に対応している。評価対象者が高齢者の場合は、バランス運動のカテゴリに少なくとも１つの運動が提示されることが好ましい。ユーザまたは評価対象者がユーザ端末２０において、運動メニューを選択することで、図１２の運動メニューの内容が表示される。
【0082】
図１２には、２つの運動メニューの例が２つ示されている。運動メニューに表示される項目は、「意識するポイント」、「難易度」、「回数（回数とセット）」、「注意点」、および、「自由記載」、を含むの基本情報と、運動の内容を説明する運動コンテンツと、が含まれる。運動の内容は、図１２のように１以上の画像と説明のテキストの組み合わせでもよいし、動画でもよい。
【0083】
以上で説明したように、本開示に係る情報処理システム１は、動画の撮影と必要最低限の入力だけで、バランス機能等の運動機能の評価と、評価に対する分析と、運動機能の評価および評価に対する分析に基づいて選択された運動メニューを、ユーザや評価対象者に対し提供する。すなわち、情報処理システム１は、運動機能を容易かつより正確に評価して、効果的なリハビリを提案し、リハビリの質を向上させることができる。また、情報処理システム１によれば、ユーザは評価対象者のバランス能力等の運動機能の測定をユーザ端末２０から容易に行うことができる。
【0084】
＜プログラム＞
図１３は、コンピュータ８０１の構成を示す概略ブロック図である。コンピュータ８０１は、ＣＰＵ８０２（プロセッサ）、主記憶装置８０３、補助記憶装置８０４、インタフェース８０５、画像処理装置（ＧＰＵ）８０６を備える。
図１３は、コンピュータ８０１の構成を示す概略ブロック図である。コンピュータ８０１は、ＣＰＵ８０２（プロセッサ）、主記憶装置８０３、補助記憶装置８０４、インタフェース８０５、画像処理装置（ＧＰＵ）８０６を備える。
【0085】
ここで、上記実施形態に係るサーバ１０を構成する各機能を実現するためのプログラムの詳細について説明する。
【0086】
サーバ１０は、コンピュータ８０１に実装される。そして、サーバ１０の各構成要素の動作は、プログラムの形式で補助記憶装置８０４に記憶される。ＣＰＵ８０２は、プログラムを補助記憶装置８０４から読みだして主記憶装置８０３に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ８０２は、プログラムに従って、上記した記憶部１０１に対応する記憶領域を主記憶装置８０３または補助記憶装置８０４に確保する。
【0087】
当該プログラムは、具体的には、
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、前記推定した関節点および重心と前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、を実行させ、前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップであるプログラムである。
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、前記推定した関節点および重心と前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、を実行させ、前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップであるプログラムである。
【0088】
なお、補助記憶装置８０４は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース８０５を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムがネットワークＮＷを介してコンピュータ８０１に配信される場合、配信を受けたコンピュータ８０１が当該プログラムを主記憶装置８０３に展開し、上記処理を実行してもよい。
【0089】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置８０４に既に記憶される他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）
であってもよい。
であってもよい。
【0090】
以上、本発明の実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
【0091】
以上で本発明の実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。
【0092】
例えば、上記実施形態における測定手順において、動画処理部１０３２は、評価用動画の撮像中に、評価用動画に映る評価対象者の身体の特定部位と、評価対象者の周囲の物体と、をそれぞれ認識し、動画取得部１０３１は、前記身体の特定部位と前記周囲の物体と位置関係が所定の条件を満たす場合に前記評価用動画の撮像を自動で終了させてもよい。
【0093】
また、上記実施形態の運動機能の測定手順では、ユーザが全動作期間Ｔａを計時しているが、動画取得部１０３１がリアルタイムで評価対象者の動作を認識して全動作期間Ｔａを算出してもよい。これにより、より測定が容易になる。
【0094】
また、上記実施形態のステップＳ２０８では、総合評価を全動作期間の判定結果、各フェーズ期間の判定結果、各フェーズの総合評価結果、各フェーズの部位別評価結果、および、代償動作評価結果、から生成していたが、これら判定結果、評価結果の１つを総合評価としてもよく、２以上の組み合わせから生成仕手もよい。機能動作が片脚立位の場合は、単に全動作期間の判定結果のみを総合評価としてもかまわない。具体的には、「バランス能力」は、全動作期間Ｔａの秒数に基づいて、総合的なバランス能力を示す指標として３段階（例えば、良、可、注意）で判定される。「良」は、全動作期間Ｔａがカットオフ値以上、「可」は同年代／同性の標準（平均）以上、「注意」は同年代／同性の標準（平均）未満である。
【0095】
また、上記実施形態のステップＳ２０２では、変換済動画の全てのフレームを用いて動作フェーズの区切り位置を推定していたが、変換済動画のフレームのうち、機能動作の開始から終了までが映る範囲であればすべてのフレームを用いる必要はなく、一部でもよい。
【0096】
また、上記実施形態のステップＳ２０３の全動作期間Ｔａの判定は、同年代かつ同性の標準値Ｔａａ以上の場合を「良」、所定のカットオフ値Ｔａｃ以上の場合を可、所定のカットオフ値Ｔａｃ未満の場合を「注意」としてもよい。同様に上記実施形態のステップＳ２０４の第ｎフェーズ期間Ｔｎの判定は、所定のカットオフ値Ｔａｃ以上の場合を「良」、同年代かつ同性の標準値ａａ以上の場合を「可」、同年代かつ同性の標準値ａａ未満の場合を「注意」としてもよい。さらに、同年代かつ同性の標準値を用いていたが、介護度、環境・個人因子、健康状態、身長、体重、が同じ集団の、それぞれの集団別の標準値や、これらの和集団、積集合、差集合、対象差集合、の標準値を用いてもよい。
【0097】
＜付記＞
本実施形態の構成を例示すると以下のとおりである。
［１］
片脚立位所定の機能動作を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位所定の機能動作の期間情報と、を取得する動画取得部と、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定する動画処理部と、
前記キーポイントと前記片脚立位所定の機能動作の期間情報とから、数理モデルを用いて、前記評価対象者の前記バランス能力所定の機能動作の評価結果を生成する評価部と、
を備え、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価部は、前記動作フェーズごとに、前記評価結果を生成する、
情報処理装置。
これにより運動機能としてバランス能力を評価するにあたり、重心と関節点の両方を考慮しつつ、特徴量の異なる運動機能の動作フェーズごとに評価をすることができ、運動機能の評価の精度を向上することができる。また、動画撮影という簡単な操作のみで運動機能を測定できるため、測定を省力化できる。すなわち、被評価者の運動機能を容易かつより正確に評価することができる。
［２］
前記評価結果を記憶する記憶部をさらに備え、
前記評価部は、今回の評価結果と過去の評価結果とを分析してレポート情報を生成する、
［１］に記載の情報処理装置。
これにより、リハビリの効果を確認することができる。
［３］
前記記憶部は、複数の運動メニューを記憶し、
前記評価結果と前記期間情報とに基づいて、１以上の前記運動メニューを選択する運動提案部をさらに備える、
［２］に記載の情報処理装置。
これにより、現在の運動機能の状態に適切な運動メニューを提示することができる。
［４］
前記動画取得部は、前記評価用動画について、左脚を軸足とする片脚立位の左評価用動画と、右脚を軸足とする片脚立位の右評価用動画と、を取得し、
前記評価部は、前記左評価用動画と前記右評価用動画とに基づいて前記評価結果を生成する、
を備える［１］から［３］に記載の情報処理装置。
これにより、左右それぞれの評価と、左右を対比する評価と、を提示することができる。
［５］
前記評価部は、前記予測的姿勢制御フェーズの期間の前記キーポイントの物理量、前記物理量の統計値、前記物理量と前記統計値の演算結果、の少なくともいずれかを前記数理モデルの入力データとして入力し、前記数理モデルからの出力データとして前記予測的姿勢制御フェーズにおける前記評価結果を取得する、
［１］から［４］に記載の情報処理装置。
これにより、予測的姿勢制御フェーズに影響する特徴量を考慮して運動機能を評価するので、予測的姿勢制御フェーズに特化した評価結果を提供できる。
［６］
前記評価部は、前記予測的姿勢制御フェーズの期間の前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記姿勢維持フェーズにおける前記評価結果を取得する、
［１］から［５］のいずれかに記載の情報処理装置。
これにより、姿勢維持フェーズに影響する特徴量を考慮して運動機能を評価するので、姿勢維持フェーズに特化した評価結果を提供できる。
［７］
前記評価部は、前記反応的姿勢制御フェーズの期間の前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記反応的姿勢制御フェーズにおける前記評価結果を取得する、
［１］から［６］のいずれかに記載の情報処理装置。
これにより、反応的姿勢制御フェーズに影響する特徴量を考慮して運動機能を評価するので、反応的姿勢制御フェーズに特化した評価結果を提供できる。
［８］
前記評価部は、上肢代償動作および／または下肢代償動作に関連する、前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記上肢代償動作および／または前記下肢代償動作の有無を取得する、
［１］または［７］に記載の情報処理装置。
これにより、上肢代償動作・下肢代償動作を考慮して運動機能を評価するので、より具体的な評価結果を提示できる。さらに、上肢代償動作・下肢代償動作に対し、より適切な運動メニューを提案できる。
［９］
プロセッサと、記憶部とを備える情報処理装置により実行される情報処理方法であって、前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、情報処理方法。
［１０］
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
プログラム。
［１１］
プロセッサと、記憶部とを備える情報処理装置およびユーザ端末からなる情報処理システムであって、
前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
情報処理システム。
［１２］
前記動画処理部は、前記評価用動画に映る前記評価対象者の身体の特定部位と、前記評価対象者の周囲の物体と、をそれぞれ認識し、
前記動画取得部は、前記身体の特定部位と前記周囲の物体と位置関係が所定の条件を満たす場合に前記評価用動画の撮像を終了する指示を生成する、
［１］から［８］のいずれかに記載の情報処理装置。
これにより、測定が所定の終了条件に該当した場合に、自動で撮像を停止するので、ユーザの測定時の負担を軽減できる。
本実施形態の構成を例示すると以下のとおりである。
［１］
片脚立位所定の機能動作を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位所定の機能動作の期間情報と、を取得する動画取得部と、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定する動画処理部と、
前記キーポイントと前記片脚立位所定の機能動作の期間情報とから、数理モデルを用いて、前記評価対象者の前記バランス能力所定の機能動作の評価結果を生成する評価部と、
を備え、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価部は、前記動作フェーズごとに、前記評価結果を生成する、
情報処理装置。
これにより運動機能としてバランス能力を評価するにあたり、重心と関節点の両方を考慮しつつ、特徴量の異なる運動機能の動作フェーズごとに評価をすることができ、運動機能の評価の精度を向上することができる。また、動画撮影という簡単な操作のみで運動機能を測定できるため、測定を省力化できる。すなわち、被評価者の運動機能を容易かつより正確に評価することができる。
［２］
前記評価結果を記憶する記憶部をさらに備え、
前記評価部は、今回の評価結果と過去の評価結果とを分析してレポート情報を生成する、
［１］に記載の情報処理装置。
これにより、リハビリの効果を確認することができる。
［３］
前記記憶部は、複数の運動メニューを記憶し、
前記評価結果と前記期間情報とに基づいて、１以上の前記運動メニューを選択する運動提案部をさらに備える、
［２］に記載の情報処理装置。
これにより、現在の運動機能の状態に適切な運動メニューを提示することができる。
［４］
前記動画取得部は、前記評価用動画について、左脚を軸足とする片脚立位の左評価用動画と、右脚を軸足とする片脚立位の右評価用動画と、を取得し、
前記評価部は、前記左評価用動画と前記右評価用動画とに基づいて前記評価結果を生成する、
を備える［１］から［３］に記載の情報処理装置。
これにより、左右それぞれの評価と、左右を対比する評価と、を提示することができる。
［５］
前記評価部は、前記予測的姿勢制御フェーズの期間の前記キーポイントの物理量、前記物理量の統計値、前記物理量と前記統計値の演算結果、の少なくともいずれかを前記数理モデルの入力データとして入力し、前記数理モデルからの出力データとして前記予測的姿勢制御フェーズにおける前記評価結果を取得する、
［１］から［４］に記載の情報処理装置。
これにより、予測的姿勢制御フェーズに影響する特徴量を考慮して運動機能を評価するので、予測的姿勢制御フェーズに特化した評価結果を提供できる。
［６］
前記評価部は、前記予測的姿勢制御フェーズの期間の前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記姿勢維持フェーズにおける前記評価結果を取得する、
［１］から［５］のいずれかに記載の情報処理装置。
これにより、姿勢維持フェーズに影響する特徴量を考慮して運動機能を評価するので、姿勢維持フェーズに特化した評価結果を提供できる。
［７］
前記評価部は、前記反応的姿勢制御フェーズの期間の前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記反応的姿勢制御フェーズにおける前記評価結果を取得する、
［１］から［６］のいずれかに記載の情報処理装置。
これにより、反応的姿勢制御フェーズに影響する特徴量を考慮して運動機能を評価するので、反応的姿勢制御フェーズに特化した評価結果を提供できる。
［８］
前記評価部は、上肢代償動作および／または下肢代償動作に関連する、前記キーポイントの物理量、および／または、前記キーポイントの物理量の統計値、を前記数理モデルに入力データとして入力し、前記数理モデルからの出力データとして前記上肢代償動作および／または前記下肢代償動作の有無を取得する、
［１］または［７］に記載の情報処理装置。
これにより、上肢代償動作・下肢代償動作を考慮して運動機能を評価するので、より具体的な評価結果を提示できる。さらに、上肢代償動作・下肢代償動作に対し、より適切な運動メニューを提案できる。
［９］
プロセッサと、記憶部とを備える情報処理装置により実行される情報処理方法であって、前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、情報処理方法。
［１０］
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
プログラム。
［１１］
プロセッサと、記憶部とを備える情報処理装置およびユーザ端末からなる情報処理システムであって、
前記プロセッサに、
片脚立位を行う評価対象者の全身を撮像した評価用動画と、前記片脚立位の期間情報と、を取得するステップと、
前記評価用動画に映る前記評価対象者の、関節点と重心とを含むキーポイントを推定するステップと、
前記キーポイントと前記片脚立位の経過時間とから、数理モデルを用いて、前記評価対象者の運動機能の評価を生成するステップと、
を実行させ、
前記片脚立位は、動作フェーズとして、予測的姿勢制御フェーズと、姿勢維持フェーズおよび／または反応的姿勢制御フェーズと、を含み、
前記評価を生成するステップは、前記動作フェーズごとに、前記評価結果を生成するステップである、
情報処理システム。
［１２］
前記動画処理部は、前記評価用動画に映る前記評価対象者の身体の特定部位と、前記評価対象者の周囲の物体と、をそれぞれ認識し、
前記動画取得部は、前記身体の特定部位と前記周囲の物体と位置関係が所定の条件を満たす場合に前記評価用動画の撮像を終了する指示を生成する、
［１］から［８］のいずれかに記載の情報処理装置。
これにより、測定が所定の終了条件に該当した場合に、自動で撮像を停止するので、ユーザの測定時の負担を軽減できる。
【符号の説明】
【0098】
１ ：情報処理システム
１０ ：情報処理サーバ
１０１ ：記憶部
１０３ ：制御部
１０３１ ：動画取得部
１０３２ ：動画処理部
１０３３ ：評価部
１０３４ ：運動提案部
１０３５ ：評価結果出力部
１０３６ ：数理モデル管理部
２０ ：ユーザ端末
２０１ ：記憶部
２０３ ：制御部
２０５ ：入力装置
２０７ ：出力装置
１０ ：情報処理サーバ
１０１ ：記憶部
１０３ ：制御部
１０３１ ：動画取得部
１０３２ ：動画処理部
１０３３ ：評価部
１０３４ ：運動提案部
１０３５ ：評価結果出力部
１０３６ ：数理モデル管理部
２０ ：ユーザ端末
２０１ ：記憶部
２０３ ：制御部
２０５ ：入力装置
２０７ ：出力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
