ホーム > 特許ランキング > ソニーグループ株式会社
▶ ソニー株式会社の特許一覧 ▶ エムスリー株式会社の特許一覧
特開2023-115876リハビリテーション支援システム、情報処理方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023115876
(43)【公開日】2023-08-21
(54)【発明の名称】リハビリテーション支援システム、情報処理方法およびプログラム
(51)【国際特許分類】
G16H 30/40 20180101AFI20230814BHJP
【ＦＩ】
G16H30/40
【審査請求】未請求
【請求項の数】47
【出願形態】ＯＬ
(21)【出願番号】P 2022071101
(22)【出願日】2022-04-22
(31)【優先権主張番号】P 2022018204
(32)【優先日】2022-02-08
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(71)【出願人】
【識別番号】501138622
【氏名又は名称】エムスリー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】石村 悠二
(72)【発明者】
【氏名】唐沢 彰太
(72)【発明者】
【氏名】福田 俊樹
(72)【発明者】
【氏名】唐沢 綾香
(72)【発明者】
【氏名】山田 江里
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA26
(57)【要約】
【課題】的確な動作分析に基づいてリハビリテーションを支援することが可能なリハビリテーション支援システム、情報処理方法およびプログラムを提案する。
【解決手段】リハビリテーション支援システムは、姿勢情報抽出部、ステートマシンおよび動作分析部を有する。姿勢情報抽出部は、リハビリテーション対象者のトレーニングまたは評価運動の動画データからリハビリテーション対象者の姿勢情報を抽出する。ステートマシンは、リハビリテーション対象者の姿勢情報に基づいて、トレーニングまたは評価運動におけるリハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出する。動作分析部は、フェーズごとに姿勢情報を分析し、一連の動作の評価結果を示す分析情報を生成する。
【選択図】図１１
【解決手段】リハビリテーション支援システムは、姿勢情報抽出部、ステートマシンおよび動作分析部を有する。姿勢情報抽出部は、リハビリテーション対象者のトレーニングまたは評価運動の動画データからリハビリテーション対象者の姿勢情報を抽出する。ステートマシンは、リハビリテーション対象者の姿勢情報に基づいて、トレーニングまたは評価運動におけるリハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出する。動作分析部は、フェーズごとに姿勢情報を分析し、一連の動作の評価結果を示す分析情報を生成する。
【選択図】図１１
【特許請求の範囲】
【請求項1】
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出する姿勢情報抽出部と、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出するステートマシンと、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する動作分析部と、
を有するリハビリテーション支援システム。
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出するステートマシンと、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する動作分析部と、
を有するリハビリテーション支援システム。
【請求項2】
前記動作分析部は、前記リハビリテーション対象者の障害情報に基づいて前記フェーズごとに前記姿勢情報を分析することにより前記分析情報を生成する、
請求項１に記載のリハビリテーション支援システム。
請求項１に記載のリハビリテーション支援システム。
【請求項3】
前記動画データから、前記フェーズごとに、前記フェーズに応じた特定シーンを示す１以上の特定のフレーム画像を抽出するシーン抽出部を有し、
前記姿勢情報抽出部は、前記１以上の特定のフレーム画像からフレーム画像ごとに前記リハビリテーション対象者の姿勢情報を抽出する、
請求項１に記載のリハビリテーション支援システム。
前記姿勢情報抽出部は、前記１以上の特定のフレーム画像からフレーム画像ごとに前記リハビリテーション対象者の姿勢情報を抽出する、
請求項１に記載のリハビリテーション支援システム。
【請求項4】
前記シーン抽出部は、前記特定シーンよりも前のフレーム画像群の姿勢解析結果に基づいて前記特定シーンへの切り替わりを検出し、前記特定シーンへの切り替わりに応じて取得した、前記フレーム画像群よりも高解像度の１以上のフレーム画像を前記１以上の特定のフレーム画像として抽出する、
請求項３に記載のリハビリテーション支援システム。
請求項３に記載のリハビリテーション支援システム。
【請求項5】
前記シーン抽出部は、前記リハビリテーション対象者と、前記トレーニングまたは前記評価運動に用いられる特定のオブジェクトと、が所定の位置関係にあるときの前記リハビリテーション対象者の動作、または、前記リハビリテーション対象者と前記特定のオブジェクトとの位置関係の変化に基づいて、前記特定シーンへの切り替わりを検出する、
請求項４に記載のリハビリテーション支援システム。
請求項４に記載のリハビリテーション支援システム。
【請求項6】
前記シーン抽出部は、前記姿勢情報抽出部で用いられる分析モデルよりも姿勢の推定精度が低い分析モデルを用いて前記リハビリテーション対象者の姿勢情報を抽出し、抽出された前記姿勢情報から推定される前記リハビリテーション対象者の姿勢の変化に基づいて前記特定シーンへの切り替わりを検出する、
請求項４に記載のリハビリテーション支援システム。
請求項４に記載のリハビリテーション支援システム。
【請求項7】
前記リハビリテーション対象者の障害情報、および、前記トレーニングまたは前記評価運動の種類に基づいて、前記動画データを取得する際の前記リハビリテーション対象者の撮影方向を決定する撮影条件決定部を有する、
請求項１に記載のリハビリテーション支援システム。
請求項１に記載のリハビリテーション支援システム。
【請求項8】
前記ステートマシンは、複数の方向から取得される前記姿勢情報によって死角となる情報を補いながら、前記一連の動作に含まれる複数のフェーズを検出する、
請求項７に記載のリハビリテーション支援システム。
請求項７に記載のリハビリテーション支援システム。
【請求項9】
前記リハビリテーション対象者が立ち上がり動作についてのリハビリテーションを行う場合、前記撮影条件決定部は、前記リハビリテーション対象者の正面方向および側面方向を前記撮影方向として決定する、
請求項８に記載のリハビリテーション支援システム。
請求項８に記載のリハビリテーション支援システム。
【請求項10】
前記ステートマシンは、臀部と座面との位置関係、腰の角度の変化、重心点の移動速度の変化、および、腰の高さの変化に基づいて、複数のフェーズを検出する、
請求項９に記載のリハビリテーション支援システム。
請求項９に記載のリハビリテーション支援システム。
【請求項11】
前記ステートマシンは、前記臀部が椅子の座面から離れる直前の状態を第１フェーズとして検出する、
請求項１０に記載のリハビリテーション支援システム。
請求項１０に記載のリハビリテーション支援システム。
【請求項12】
前記ステートマシンは、前記重心点が両足の踝の間にあり、かつ、前記第１フェーズの直後に最も前記腰が曲がった状態を第２フェーズとして検出する、
請求項１１に記載のリハビリテーション支援システム。
請求項１１に記載のリハビリテーション支援システム。
【請求項13】
前記ステートマシンは、前記第２フェーズの直後に前記重心点の高さ方向の移動速度が最大に達した状態を第３フェーズとして検出する、
請求項１２に記載のリハビリテーション支援システム。
請求項１２に記載のリハビリテーション支援システム。
【請求項14】
前記ステートマシンは、前記第３フェーズの直後に前記腰の高さが最高点に達し、その後、前記腰の高さが低変動基準を満たす範囲で変動して停止した状態を第４フェーズとして検出する、
請求項１３に記載のリハビリテーション支援システム。
請求項１３に記載のリハビリテーション支援システム。
【請求項15】
前記動作分析部は、前記側面方向から見た両肩の肩関節の位置ずれに基づいて回旋を検出する、
請求項９に記載のリハビリテーション支援システム。
請求項９に記載のリハビリテーション支援システム。
【請求項16】
前記フェーズごとに前記リハビリテーション対象者の動きを一時停止し、前記分析情報を前記フェーズにおける前記リハビリテーション対象者の静止画像とともに表示する出力部を有する、
請求項１に記載のリハビリテーション支援システム。
請求項１に記載のリハビリテーション支援システム。
【請求項17】
前記出力部は、前記分析情報として、健常者の動作との比較を示す情報を表示する、
請求項１６に記載のリハビリテーション支援システム。
請求項１６に記載のリハビリテーション支援システム。
【請求項18】
前記出力部は、前記分析情報として、前記リハビリテーション対象者の骨格情報と前記比較の基準となる基準骨格情報とを表示する、
請求項１７に記載のリハビリテーション支援システム。
請求項１７に記載のリハビリテーション支援システム。
【請求項19】
前記出力部は、前記リハビリテーション対象者の骨格情報および前記基準骨格情報として、前記フェーズにおいて分析されるべき前記リハビリテーション対象者の部位に対応した骨格の情報を選択的に表示する、
請求項１８に記載のリハビリテーション支援システム。
請求項１８に記載のリハビリテーション支援システム。
【請求項20】
前記出力部は、前記リハビリテーション対象者の骨格情報と前記基準骨格情報との間に許容基準を超える差分が生じたタイミングで、前記リハビリテーション対象者の骨格情報および前記基準骨格情報を表示する、
請求項１８に記載のリハビリテーション支援システム。
請求項１８に記載のリハビリテーション支援システム。
【請求項21】
前記出力部は、前記リハビリテーション対象者の骨格情報と前記基準骨格情報とが許容基準を超えて相違する部分の前記リハビリテーション対象者の骨格をハイライト表示する、
請求項１８に記載のリハビリテーション支援システム。
請求項１８に記載のリハビリテーション支援システム。
【請求項22】
前記出力部は、前記分析情報として、前記リハビリテーション対象者の動作を前記健常者の動作に近づけるための指針を示す情報を表示する、
請求項１７に記載のリハビリテーション支援システム。
請求項１７に記載のリハビリテーション支援システム。
【請求項23】
前記出力部は、前記分析情報として、過去の前記リハビリテーション対象者の動作との比較を示す情報を表示する、
請求項１６に記載のリハビリテーション支援システム。
請求項１６に記載のリハビリテーション支援システム。
【請求項24】
前記出力部は、前記分析情報として、現在の前記リハビリテーション対象者の骨格情報と前記比較の基準となる過去の前記リハビリテーション対象者の骨格情報とを表示する、
請求項２３に記載のリハビリテーション支援システム。
請求項２３に記載のリハビリテーション支援システム。
【請求項25】
前記出力部は、現在の前記リハビリテーション対象者の骨格情報と健常者の動作を示す基準骨格情報との間に許容基準を超える差分が生じたタイミングで、現在の前記リハビリテーション対象者の骨格情報および過去の前記リハビリテーション対象者の骨格情報を表示する、
請求項２４に記載のリハビリテーション支援システム。
請求項２４に記載のリハビリテーション支援システム。
【請求項26】
前記出力部は、現在の前記リハビリテーション対象者の骨格情報と前記基準骨格情報とが許容基準を超えて相違する部分の前記リハビリテーション対象者の骨格をハイライト表示する、
請求項２５に記載のリハビリテーション支援システム。
請求項２５に記載のリハビリテーション支援システム。
【請求項27】
前記分析情報は、過去から現在までの採点項目ごとの各フェーズの採点結果の推移を示す情報を含む、
請求項１に記載のリハビリテーション支援システム。
請求項１に記載のリハビリテーション支援システム。
【請求項28】
前記分析情報に基づいて前記リハビリテーション対象者への介入情報を生成する介入情報生成部を有する、
請求項１に記載のリハビリテーション支援システム。
請求項１に記載のリハビリテーション支援システム。
【請求項29】
前記介入情報は、前記リハビリテーション対象者に動作の改善を促すための判断材料となる判断情報、または、前記リハビリテーション対象者のトレーニングプランを含む、
請求項２８に記載のリハビリテーション支援システム。
請求項２８に記載のリハビリテーション支援システム。
【請求項30】
前記介入情報生成部は、前記分析情報から前記リハビリテーション対象者の１以上の症状を抽出し、症状ごとに決められた優先度、および、個々の症状の重さに基づいて前記トレーニングプランを決定する、
請求項２９に記載のリハビリテーション支援システム。
請求項２９に記載のリハビリテーション支援システム。
【請求項31】
前記介入情報生成部は、現在の前記リハビリテーション対象者のレベルを認証する認証情報を生成する、
請求項２８に記載のリハビリテーション支援システム。
請求項２８に記載のリハビリテーション支援システム。
【請求項32】
前記介入情報は、前記認証情報に基づく保険に関する提言を含む、
請求項３１に記載のリハビリテーション支援システム。
請求項３１に記載のリハビリテーション支援システム。
【請求項33】
前記介入情報は、前記認証情報に基づく薬効についての評価情報を含む、
請求項３１に記載のリハビリテーション支援システム。
請求項３１に記載のリハビリテーション支援システム。
【請求項34】
前記ステートマシンは、指標データベースに記憶されたフェーズごとの判定方法に基づいて前記複数のフェーズを検出する、
請求項１に記載のリハビリテーション支援システム。
請求項１に記載のリハビリテーション支援システム。
【請求項35】
前記動作分析部は、前記指標データベースに記憶されたフェーズごとの採点項目および採点基準に基づいて、前記フェーズごとに前記リハビリテーション対象者の動作を分析する、
請求項３４に記載のリハビリテーション支援システム。
請求項３４に記載のリハビリテーション支援システム。
【請求項36】
前記指標データベースは、判定項目ごとの、動画の撮影条件、フェーズの定義、分析対象となる特定シーン、採点項目および採点基準のうちの１以上の情報を、動作分析の指標として記憶する、
請求項３４に記載のリハビリテーション支援システム。
請求項３４に記載のリハビリテーション支援システム。
【請求項37】
前記判定項目は、動作分析の対象となる運動の種類と関連付けられている、
請求項３６に記載のリハビリテーション支援システム。
請求項３６に記載のリハビリテーション支援システム。
【請求項38】
前記動作分析部は、前記一連の動作の評価結果を、前記リハビリテーション対象者に介入する介入者が保有する端末またはサーバに送信する、
請求項１に記載のリハビリテーション支援システム。
請求項１に記載のリハビリテーション支援システム。
【請求項39】
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出し、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出し、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する、
ことを有する、コンピュータにより実行される情報処理方法。
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出し、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する、
ことを有する、コンピュータにより実行される情報処理方法。
【請求項40】
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出し、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出し、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する、
ことをコンピュータに実現させるプログラム。
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出し、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する、
ことをコンピュータに実現させるプログラム。
【請求項41】
前記動作分析部は、１以上の評価観点に基づいて各フェーズの評価項目を評価し、各評価観点での評価結果に基づいて前記リハビリテーション対象者の症状分類を行う、
請求項１に記載のリハビリテーション支援システム。
請求項１に記載のリハビリテーション支援システム。
【請求項42】
前記１以上の評価観点は、判定項目となる動作が適切に行われたと判定されるために合格基準を満たすことが必須となる１以上のメイン観点を含み、
前記動作分析部は、各フェーズの評価項目に対する評価をメイン観点に基づくものから行い、前記合格基準を満たさないメイン観点が検出された場合には、前記判定項目となる動作が適切に行われていないと判定し、残りの評価観点に基づく評価を停止する、
請求項４１に記載のリハビリテーション支援システム。
前記動作分析部は、各フェーズの評価項目に対する評価をメイン観点に基づくものから行い、前記合格基準を満たさないメイン観点が検出された場合には、前記判定項目となる動作が適切に行われていないと判定し、残りの評価観点に基づく評価を停止する、
請求項４１に記載のリハビリテーション支援システム。
【請求項43】
前記評価観点に対応する特定のフェーズごとに前記リハビリテーション対象者の動きを一時停止し、前記分析情報を前記特定のフェーズにおける前記リハビリテーション対象者の静止画像とともに表示する出力部を有する、
請求項４１に記載のリハビリテーション支援システム。
請求項４１に記載のリハビリテーション支援システム。
【請求項44】
前記指標データベースは、障害情報と前記判定項目とを紐づけて記憶し、
前記動作分析部は、前記リハビリテーション対象者の障害情報に紐づけられた前記判定項目の動作を分析する、
請求項３６に記載のリハビリテーション支援システム。
前記動作分析部は、前記リハビリテーション対象者の障害情報に紐づけられた前記判定項目の動作を分析する、
請求項３６に記載のリハビリテーション支援システム。
【請求項45】
前記撮影条件決定部は、カメラに写る前記リハビリテーション対象者の状態が撮影開始条件を満たしたことに応答して前記リハビリテーション対象者の動作の記録を開始する、
請求項７に記載のリハビリテーション支援システム。
請求項７に記載のリハビリテーション支援システム。
【請求項46】
前記撮影条件決定部は、前記撮影開始条件が満たされるまで前記カメラの映像を表示装置に表示し、前記撮影開始条件が満たされて前記動作の記録が開始されると前記カメラの映像の前記表示装置への表示を停止する、
請求項４５に記載のリハビリテーション支援システム。
請求項４５に記載のリハビリテーション支援システム。
【請求項47】
前記撮影条件決定部は、前記撮影開始条件が満たされたことを前記リハビリテーション対象者に通知した後、前記動作の記録を開始する、
請求項４６に記載のリハビリテーション支援システム。
請求項４６に記載のリハビリテーション支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リハビリテーション支援システム、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
リハビリテーションは医療・介護保険で十分にカバーされていない。そのため、姿勢推定技術を用いて気軽かつ手ごろにリハビリテーションの支援を行う手法が提案されている。姿勢推定技術は、ターゲットとなる人物または物の画像から複数のキーポイント（ターゲットが人間であれば、肩・肘・手首・腰・膝・足首などを示す複数の特徴点）を抽出し、キーポイント同士の相対位置に基づいてターゲットの姿勢を推定する技術である。姿勢推定技術は、スポーツにおける学習支援、ヘルスケア、自動運転および危険予知などの広範な分野で応用が期待されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第４１６６０８７号公報
【特許文献2】特許第４５９４１５７号公報
【特許文献3】特許第５５４７９６８号公報
【特許文献4】特許第６０４５１３９号公報
【特許文献5】特開２０２１－０４９３１９号公報
【特許文献6】特開２０２０－１４１８０６号公報
【特許文献7】特許第６４４７６０９号公報
【特許文献8】特許第６２８９１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ターゲットの動画を用いて動作分析を行う場合、一連の動作をポイントとなるフェーズごとに分析することが望ましい。ターゲットの一連の動作は、複数の特徴的な動作（フェーズ）の組み合わせとして捉えることができる。フェーズごとに分析を行えば、一連の動作を的確に分析することができる。従来の手法では、フェーズによる動作の分類は行われていない。そのため、一連の動作を全体にわたって的確に評価することができない。
【0005】
そこで、本開示では、的確な動作分析に基づいてリハビリテーションを支援することが可能なリハビリテーション支援システム、情報処理方法およびプログラムを提案する。
【課題を解決するための手段】
【0006】
本開示によれば、リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出する姿勢情報抽出部と、前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出するステートマシンと、前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する動作分析部と、を有するリハビリテーション支援システムが提供される。また、本開示によれば、前記リハビリテーション支援システムの情報処理がコンピュータにより実行される情報処理方法、ならびに、前記リハビリテーション支援システムの情報処理をコンピュータに実現させるプログラムが提供される。
【図面の簡単な説明】
【0007】
【図1】リハビリテーションを行う在宅患者向けのリハビリテーション支援サービスの一例を示す図である。
【図2】リハビリテーション支援システムの機能構成の一例を示すブロック図である。
【図3】動作分析の指標の一例を示す図である。
【図4】動作分析の指標の一例を示す図である。
【図5】動作分析処理の概略を示すフローチャートである。
【図6】動画取得処理の一例を示すフローチャートである。
【図7】前処理の具体例を説明する図である。
【図8】前処理の具体例を説明する図である。
【図9】前処理の具体例を説明する図である。
【図10】分析・評価処理の一例を示すフローチャートである。
【図11】分析・介入処理に関わる機能構成の一例を示す図である。
【図12】立ち上がり動作におけるランドマークを示す図である。
【図13】動作分析の一例を示す図である。
【図14】動作分析の一例を示す図である。
【図15】第２フェーズの検出処理の一例を示す図である。
【図16】第３フェーズの検出方法の一例を示す図である。
【図17】分析情報の一例を示す図である。
【図18】システム構成のバリエーションを示す図である。
【図19】症状分類の具体的手法を示す図である。
【図20】動作分析処理の変形例を示す図である。
【図21】問診データの入力を行うためのＵＩの一例を示す図である。
【図22】問診データの入力を行うためのＵＩの一例を示す図である。
【図23】問診データの入力を行うためのＵＩの一例を示す図である。
【図24】動作チェックのＵＩの一例を示す図である。
【図25】動作チェックのＵＩの一例を示す図である。
【図26】動作チェックのＵＩの一例を示す図である。
【図27】撮影の準備を行うためのＵＩの一例を示す図である。
【図28】撮影の準備を行うためのＵＩの一例を示す図である。
【図29】撮影の準備を行うためのＵＩの一例を示す図である。
【図30】撮影の準備を行うためのＵＩの一例を示す図である。
【図31】ＡＩチェックにおける評価結果の表示例を示す図である。
【図32】ＡＩチェックにおける評価結果の表示例を示す図である。
【発明を実施するための形態】
【0008】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0009】
なお、説明は以下の順序で行われる。
［１．リハビリテーション支援サービスの概要］
［２．リハビリテーション支援システムの構成］
［３．情報処理方法］
［３－１．動作分析処理の概略］
［３－２．動画取得処理］
［３－３．分析・評価処理］
［４．分析・介入処理に関わる機能構成］
［５．動作分析の具体例］
［５－１．立ち上がり動作におけるランドマーク］
［５－２．立ち上がり動作の分析］
［５－３．分析情報］
［６．システム構成のバリエーション］
［７．効果］
［８．症状分類の具体的手法］
［９．動作分析処理の変形例］
［１０．ＵＩの具体例］
［１．リハビリテーション支援サービスの概要］
［２．リハビリテーション支援システムの構成］
［３．情報処理方法］
［３－１．動作分析処理の概略］
［３－２．動画取得処理］
［３－３．分析・評価処理］
［４．分析・介入処理に関わる機能構成］
［５．動作分析の具体例］
［５－１．立ち上がり動作におけるランドマーク］
［５－２．立ち上がり動作の分析］
［５－３．分析情報］
［６．システム構成のバリエーション］
［７．効果］
［８．症状分類の具体的手法］
［９．動作分析処理の変形例］
［１０．ＵＩの具体例］
【0010】
［１．リハビリテーション支援サービスの概要］
図１は、リハビリテーションを行う在宅患者向けのリハビリテーション支援サービスの一例を示す図である。
図１は、リハビリテーションを行う在宅患者向けのリハビリテーション支援サービスの一例を示す図である。
【0011】
リハビリテーション支援サービスは、医療機関や自宅、職場等において行われるリハビリテーションを支援するサービスである。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。また、リハビリテーションの対象となる者をリハビリテーション対象者ＴＧと表記する。リハビリテーション対象者ＴＧは、例えば、病人やけが人、高齢者、障害者等である。
【0012】
リハビリテーション支援サービスは、リハビリテーション対象者ＴＧが行うリハビリテーション用のトレーニングまたは評価運動の動画データに基づいてリハビリテーションの進捗状況を把握し、適切な介入情報ＶＩを提示する。リハビリテーションの手法としては、運動療法、物理療法、日常生活動作練習および装具療法などがあるが、本開示では運動療法によってリハビリテーションを行う例が説明される。運動療法では、立つ、座る、歩くなどの運動の障害が、関節可動域訓練、基本動作訓練、筋力増強訓練などを行うことにより改善される。
【0013】
リハビリテーション支援サービスは、図１に示すようなリハビリテーション支援システム１により実施される。リハビリテーション支援システム１は、クライアント端末１００、動作分析サーバ２００、医療関係者端末３００、家族端末４００、および、サービス提供者サーバ５００を有する。クライアント端末１００、動作分析サーバ２００、医療関係者端末３００、家族端末４００およびサービス提供者サーバ５００は、ネットワークＮＷ（図１１参照）を介して接続されている。
【0014】
クライアント端末１００は、スマートフォン、タブレット端末、ノートパソコンおよびデスクトップパソコンなどの情報端末である。クライアント端末１００は、リハビリテーション対象者ＴＧの動作分析を依頼したクライアントによって保有される。通常、クライアントは、リハビリテーション対象者ＴＧの家族ＦＭかリハビリテーション対象者ＴＧ自身であるが、本開示では、リハビリテーション対象者ＴＧ自身がクライアントである例が説明される。クライアント端末１００は、リハビリテーション対象者ＴＧがリハビリテーションのためのトレーニングまたは評価運動を行う様子を映した動画データＭＤを動作分析サーバ２００に送信する。
【0015】
動作分析サーバ２００は、動画データＭＤに基づいてリハビリテーション対象者ＴＧの動作を分析する。リハビリテーション対象者ＴＧの一連の動作は、時間軸に沿って並ぶ複数の特徴的な動作の組み合わせとして捉えられる。動作分析サーバ２００は、個々の特徴的な動作をフェーズとして抽出する。フェーズどうしの境界は所定の指標に基づいて定義される。動作分析サーバ２００は、所定の指標に基づいてフェーズごとに動作分析を行うことで、一連の動作を評価する。
【0016】
動作分析サーバ２００は、評価結果を示す分析情報ＭＡＩを生成し、クライアント端末１００に送信する。動作分析サーバ２００は、生成された分析情報ＭＡＩを医療関係者端末３００および家族端末４００に送信することもできる。リハビリテーション対象者ＴＧ、医療関係者ＤＴおよび家族ＦＭは、送信された分析情報ＭＡＩに基づいてリハビリテーション対象者ＴＧの健康状態を把握することができる。
【0017】
分析情報ＭＡＩは、健常者あるいは医学標準との比較におけるリハビリテーション対象者ＴＧの運動能力、障害の重さおよび障害の特徴に関する評価結果を含む。分析情報ＭＡＩは、過去のリハビリテーション対象者ＴＧの運動能力との比較に基づくリハビリテーションの効果に関する評価結果を含むこともできる。医師、理学療法士、薬剤師および健康アドバイザなどの医療関係者ＤＴは、医療関係者端末３００で受信した分析情報ＭＡＩに基づいてリハビリテーション対象者ＴＧの診断を行う。医療関係者ＤＴは、診断結果を示す診断情報ＤＧを医療関係者端末３００を介して動作分析サーバ２００に送信する。動作分析サーバ２００は、診断情報ＤＧを分析情報ＭＡＩとともにサービス提供者サーバ５００に送信する。
【0018】
サービス提供者サーバ５００は、分析情報ＭＡＩおよび／または診断情報ＤＧに基づいて、物販データベースからリハビリテーション対象者ＴＧの健康状態に応じた装具、杖、マットなどの物販情報ＰＳＩを抽出し、動作分析サーバ２００に送信する。動作分析サーバ２００は、分析情報ＭＡＩ、診断情報ＤＧおよび物販情報ＰＳＩに基づいて、リハビリテーション対象者ＴＧへの介入情報ＶＩを生成し、クライアント端末１００に送信する。介入情報ＶＩは、リハビリテーション対象者ＴＧの診断結果、運動機能の認証、リハビリテーション対象者ＴＧの機能回復を手助けするための各種提案、および、物販情報ＰＳＩを含む。
【0019】
［２．リハビリテーション支援システムの構成］
図２は、リハビリテーション支援システム１の機能構成の一例を示すブロック図である。
図２は、リハビリテーション支援システム１の機能構成の一例を示すブロック図である。
【0020】
クライアント端末１００は、センサ部１１０、入力デバイス１２０および表示装置１７０を有する。センサ部１１０は、リハビリテーション対象者ＴＧの症状分析に利用可能なバイタルデータおよび運動データを収集する。運動データは、リハビリテーションのためのトレーニングまたは評価運動を行っている最中のリハビリテーション対象者ＴＧの映像を記録した動画データＭＤを含む。入力デバイス１２０は、問診データＣＤを入力可能な各種入力機器を含む。表示装置１７０は、リハビリテーション対象者ＴＧの動作分析によって得られた各種判定結果（分析情報ＭＡＩ）および介入情報ＶＩを表示する。
【0021】
例えば、センサ部１１０は、心拍センサ、ＶＯ２ＭＡＸ（最大酸素摂取量）センサ、歩数計、筋力計、ゴニオメータ、カメラ１６０、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、加速度センサおよびジャイロセンサを含むことができる。入力デバイス１２０は、タッチパネル、キーボード、マウス、アイトラッキング装置および音声入力装置を含むことができる。表示装置１７０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を含む。センサ部１１０、入力デバイス１２０および表示装置１７０は一つのデバイス内に一体的に設けられてもよいし、それぞれ独立した装置として設けられてもよい。
【0022】
クライアント端末１００は、リハビリテーション対象者ＴＧのバイタルデータ、運動データおよび問診データＣＤを動作分析サーバ２００に送信する。動作分析サーバ２００は、クライアント端末１００から取得した各種データに基づいてリハビリテーション対象者ＴＧの健康状態を分析する。
【0023】
問診データＣＤは、問診表に基づいて入力される。問診データＣＤは、例えば、氏名、年齢、性別、体重、病名および服用中の薬などの一次情報と、一次情報に関連した二次情報と、を含む。二次情報には、気になる症状、痛み、症状の発症時間、麻痺部位、介護状況、装具の有無、および、直近の生活活動範囲などの情報が含まれる。問診データＣＤは、リハビリテーション対象者ＴＧによって手動で入力されてもよいし、電子カルテなどの医療機関の保有する情報から抽出されてもよい。心拍数などのバイタル情報や生活活動範囲などの位置情報は、センサ部１１０の計測データから取得されてもよい。
【0024】
クライアント端末１００は、ネットワークを介して医療情報データベースからリハビリテーション対象者ＴＧのカルテ情報、投薬情報およびゲノム情報などを取得することができる。また、クライアント端末１００は、健康情報を記録した健康情報データベースからリハビリテーション対象者ＴＧの食事、睡眠および体重などの生活習慣に関する情報を取得することができる。クライアント端末１００は、医療情報データベースおよび健康情報データベースから取得した各種情報を問診データＣＤに含めることができる。
【0025】
動作分析サーバ２００は、健康情報算出部２１０、評価部２２０、介入情報生成部２３０および記憶装置２９０を有する。
【0026】
健康情報算出部２１０は、センサデータおよび問診データＣＤに基づいてリハビリテーション対象者ＴＧの健康情報を算出する。健康情報は、リハビリテーション対象者ＴＧの障害情報、バイタル情報、機能情報（歩行能力、筋力および関節の可動域などの身体機能に関する情報）およびリハビリテーションの状況など、リハビリテーション対象者ＴＧの健康状態を示す各種情報を含む。
【0027】
例えば、健康情報算出部２１０は、センサデータ解析部２１１、特徴量抽出部２１２および問診データ解析部２１３を含む。センサデータ解析部２１１は、心拍センサ、ＶＯ２ＭＡＸ（最大酸素摂取量）センサ、歩数計、筋力計、ゴニオメータおよび加速度センサのセンシング結果に基づいて、リハビリテーション対象者ＴＧのバイタル情報と運動能力とのうちの少なくとも一方を検出する。センサデータ解析部２１１は、リハビリテーション対象者ＴＧがリハビリテーションを行う様子を映した動画データＭＤを解析して、リハビリテーション対象者ＴＧの姿勢情報ＨＰＩ（図８参照）を抽出する。
【0028】
特徴量抽出部２１２は、姿勢情報ＨＰＩから、指標データベース２９５に記憶されている指標に基づいて特徴量を抽出する。指標データベース２９５には、患者の持つ障害（疾患、機能障害、行動障害）ごとに動作分析を行うための指標が記憶されている。
【0029】
【0030】
指標には、動作分析を行うための種々の情報が含まれる。指標には、動作分析に必要な作業および処理の基準となる様々な要素が含まれる。個々の障害には、動作分析の対象となる１以上の判定項目が紐づけられている。記憶装置２９０（指標データベース２９５）には、判定項目ごとに、動画の撮影条件、特徴量の定義情報および動作分析アルゴリズムＡＬが、動作分析を行うための指標として記憶されている。動作分析アルゴリズムＡＬは、フェーズ情報、各フェーズの評価方法、および、症状分類の定義などに関する情報を含んでもよい。各フェーズの評価方法には、各フェーズの評価項目および採点基準などの情報が含まれることが望ましい。
【0031】
例えば、図４には、立ち上がり動作およびスクワット動作などに関する指標の一例が示されている。指標データベース２９５には、撮影条件情報として動画の撮影方向が規定されている。動作分析アルゴリズムＡＬは、フェーズ情報として、例えば、フェーズの定義およびフェーズの境界の検出方法などの情報を含む。動作分析アルゴリズムＡＬは、フェーズの評価方法として、例えば、フェーズごとの評価項目、採点基準およびロールモデル（手本となる健常者などの動作）などの情報を含む。図３および図４に示される情報は、動作分析の指標の一例であって、動作分析の指標はこれに限られない。
【0032】
日常生活動作（ＡＤＬ）に支障がある患者については、ＦＩＭ（Ｆｕｎｃｔｉｏｎａｌ Ｉｎｄｅｐｅｎｄｅｎｃｅ Ｍｅａｓｕｒｅ）およびＢＩ（Ｂａｒｔｈｅｌ Ｉｎｄｅｘ）などの評価方法に応じた指標が用いられる。ＦＩＭおよびＢＩには、移動や移乗などの複数の評価項目が存在する。これらの評価は身体の動きについては言及しておらず、あくまでできたかできていないか、あるいは、生活の中でしているかしていないかで評価が行われる。これに対して本手法では、日常生活動作の基盤となる起き上がり、立ち上がり、歩行および階段昇降などの動作ならびにそれらの動作を構成する運動（以下、基本動作という）が評価の対象となる。そのため、身体の動き方自体を評価することができる。指標データベース２９５には、個々の基本動作が判定項目として定義されている。動画データＭＤは判定項目ごとに取得され、動作分析も判定項目ごとに行われる。
【0033】
図２に戻って、問診データ解析部２１３は、問診データＣＤからリハビリテーション対象者ＴＧの障害情報を抽出する。障害情報は、リハビリテーション対象者ＴＧの障害の種類および障害の重さの情報を含む。リハビリテーション対象者の疾患が脳血管障害である場合には、麻痺側の情報も障害情報に含まれる。障害情報は、動作分析において考慮され得る。障害の種類や重さが異なれば、同じ動作が検出された場合でも、その動作に対して異なる解釈がされる可能性があるからである。例えば、麻痺側の情報は、動画の撮影方向を決定する際に用いられる。動画の撮影は、麻痺側の動作が詳細に記録できるような方法で行われる。
【0034】
問診データ解析部２１３は、問診データＣＤに基づいて、リハビリテーション対象者ＴＧに運動をさせることが適切か否かを判定する。リハビリテーション対象者ＴＧに運動をさせることが不可能、または、適切でないと判定された場合には、問診データ解析部２１３は、リハビリテーションの中止または医師への確認を促すアラートをクライアント端末１００に通知する。問診データ解析部２１３は、クライアント端末１００にアラートを通知する代わりに、医療関係者端末３００に問い合わせを行ってもよい。
【0035】
評価部２２０は、特徴量抽出部２１２で抽出された特徴量と指標データベース２９５に記憶された動作分析アルゴリズムＡＬとに基づいて、リハビリテーション対象者ＴＧの動作を分析する。例えば、評価部２２０は、動作分析アルゴリズムＡＬに基づいて、動画データＭＤに記録されたリハビリテーション対象者ＴＧの一連の動作を複数のフェーズに分類する。評価部２２０は、リハビリテーション対象者ＴＧの障害情報を考慮してフェーズごとに動作を分析する。フェーズの境界の検出方法および各フェーズの動作の評価方法は、動作分析アルゴリズムＡＬに定義されている。評価部２２０は、一連の動作の評価結果を示す分析情報ＭＡＩを生成する。
【0036】
介入情報生成部２３０は、分析情報ＭＡＩに基づいてリハビリテーション対象者ＴＧへの介入情報ＶＩを生成する。介入情報ＶＩは、リハビリテーション対象者ＴＧに動作の改善を促すための判断材料となる情報（判断情報）、または、リハビリテーション対象者ＴＧのトレーニングプランを含む。判断情報には、例えば、リハビリテーションや糖尿病などの点数、あるいは、バイタル情報などが含まれる。リハビリテーション等の点数と物販情報ＰＳＩとを紐づけることで、リハビリテーション対象者ＴＧに適した商品の検索が容易となる。客観的な判断情報は、プロモーションやマーケティングにも利用できる。
【0037】
介入情報生成部２３０は、分析情報ＭＡＩからリハビリテーション対象者ＴＧの１以上の症状を抽出し、症状ごとに決められた優先度、および、個々の症状の重さに基づいてトレーニングプランを決定することができる。介入情報生成部２３０は、分析情報ＭＡＩ以外にも、問診データなどの情報を参考にしてトレーニングプランを決定することもできる。症状には、健常者と比較したリハビリテーション対象者ＴＧ特有の動作から推測される障害の重さ、筋力の低下および関節の可動域の減少などが含まれる。複数の症状が検出された場合には、例えば、最も優先度の高い症状に基づくトレーニングプランが提示される。
【0038】
症状の優先度および症状ごとのトレーニングプランは、疾患別ソリューションデータベース２９４に記憶されている。疾患別ソリューションデータベース２９４は、症状ごとに１以上のトレーニングプランが紐づけられている。介入情報生成部２３０は、リハビリテーションの点数の推移および症状の改善の進捗に基づいて、症状に紐づけられた他のトレーニングプランを提示することができる。
【0039】
介入情報生成部２３０は、分析情報ＭＡＩに基づいて、現在のリハビリテーション対象者ＴＧの運動能力のレベルを判定する。レベルの情報は、類似の障害を持つ他の患者との比較や、症状改善の認定処理などに用いられる。例えば、介入情報生成部２３０は、現在のリハビリテーション対象者ＴＧのレベルを認証する認証情報を生成する。リハビリテーション対象者ＴＧは、認証情報に基づいて、保険料低減に対する貢献度合いを計算し、返還金の計算などをすることができる。介入情報ＶＩは、認証情報に基づく保険に関する提言を含むことができる。介入情報ＶＩは、認証情報に基づく薬効およびリハビリテーション支援サービスについての評価情報を含むこともできる。
【0040】
記憶装置２９０には、個人情報データベース２９１、匿名化センシング情報データベース２９２、介入情報データベース２９３、疾患別ソリューションデータベース２９４および指標データベース２９５を有する。
【0041】
個人情報データベース２９１は、リハビリテーション対象者ＴＧの年齢、身長、体重、食事、睡眠、歩行情報、筋力情報、可動域情報などのリハビリテーション対象者ＴＧ個人に関する情報を記憶する。図２の例では、個人情報がデータベースとして動作分析サーバ２００上で記憶される構成となっている。しかし、リハビリテーション対象者ＴＧの個人情報は、リハビリテーション対象者ＴＧの保有するクライアント端末１００に記憶されてもよい。
【0042】
匿名化センシング情報データベース２９２は、健康情報算出部２１０により用いられるリハビリテーション対象者ＴＧの過去のセンシングデータを記憶する。過去のセンシングデータは、匿名化データとして、年齢や性別、疾患等の匿名加工情報に紐づけて記憶される。
【0043】
介入情報データベース２９３は、介入情報生成部２３０により生成された介入情報ＶＩを、リハビリテーション対象者ＴＧの健康情報に対応付けて記憶する。
【0044】
疾患別ソリューションデータベース２９４は、介入情報生成部２３０により用いられる、フレイル、パーキンソン、心疾患、脳梗塞などの脳血管疾患、および副作用予防などの疾患別のソリューションを記憶する。例えば、疾患毎にアドバイスや教育コンテンツ、リハビリテーション・運動プログラムなどのコンテンツが格納されている。各コンテンツは評価結果や診断結果に紐づいて記憶されていてもよい。これにより、リハビリテーション対象者ＴＧの状態に応じた適切なアドバイスやコンテンツが提供される。
【0045】
指標データベース２９５には、評価部２２０で使用される指標が記憶されている。指標データベース２９５は、特徴量の定義情報、および、特徴量を用いた動作分析アルゴリズムＡＬを動作分析の指標として含む。動作分析アルゴリズムＡＬは、特定の閾値に基づくものでもよいし、機械学習が実施された学習モデルに基づくものでもよい。
【0046】
医療関係者端末３００は、スマートフォン、タブレット端末、ノートパソコンおよびデスクトップパソコンなどの情報端末である。医療関係者端末３００は、評価部３１０と、診断およびレセプト情報データベース３９０を有する。医療関係者端末３００は、動作分析サーバ２００から送信されてくるリハビリテーション対象者ＴＧの健康情報、分析情報ＭＡＩおよび症状に関する情報などを受信し、表示する。
【0047】
評価部３１０は、医師などが入力する情報、動作分析サーバ２００により受信されたリハビリテーション対象者ＴＧの健康情報や分析情報ＭＡＩと、診断およびレセプト情報データベース３９０に記憶されている情報に基づいて、現在のリハビリテーション対象者ＴＧの健康状態を診断し、その診断結果や、診断結果に応じたアドバイスを、動作分析サーバ２００に送信する。診断結果や診断結果に応じたアドバイスは、動作分析サーバ２００を介さず、リハビリテーション対象者ＴＧの保有するクライアント端末１００に直接送信されてもよい。
【0048】
診断およびレセプト情報データベース３９０には、リハビリテーション対象者ＴＧが過去に診断された診断情報、薬情報、通信情報、ゲノム情報およびレセプト情報などが記憶されている。
【0049】
医療関係者端末３００にはリハビリテーション対象者ＴＧの健康情報や評価結果などが送信されるので、リハビリテーション対象者ＴＧの主治医は、リハビリテーション対象者ＴＧと遠く離れたところに住んでいても、リハビリテーション対象者ＴＧの健康状態や行動変容がわかる。これにより、医師は、現在のリハビリテーション対象者ＴＧの健康状態を遠隔で診断し、その診断結果を提供することができる。
【0050】
家族端末４００は、スマートフォン、タブレット端末、ノートパソコンおよびデスクトップパソコンなどの情報端末である。家族端末４００は、動作分析サーバ２００から送信されてくるリハビリテーション対象者ＴＧの健康情報や分析情報ＭＡＩなどを受信し、表示する。これにより、リハビリテーション対象者ＴＧの家族ＦＭは、リハビリテーション対象者ＴＧと遠く離れたところに住んでいても、リハビリテーション対象者ＴＧの健康状態や行動変容を知ることができる。
【0051】
サービス提供者サーバ５００は、物販データベース５９１を有する。物販データベース５９１は、各健康情報や分析情報ＭＡＩに適する健康食品などの物販情報ＰＳＩを記憶している。サービス提供者サーバ５００は、動作分析サーバ２００から送信されてくるリハビリテーション対象者ＴＧの健康情報、分析情報ＭＡＩおよび症状に関する情報などを受信する。サービス提供者サーバ５００は、受信したリハビリテーション対象者ＴＧの健康情報、分析情報ＭＡＩおよび症状に関する情報に応じた物販情報ＰＳＩを物販データベース５９１から検索する。サービス提供者サーバ５００は、検索した物販情報ＰＳＩを動作分析サーバ２００に送信する。
【0052】
サービス提供者サーバ５００にはリハビリテーション対象者ＴＧの健康情報や分析情報ＭＡＩなどが送信されるので、サービス提供者は、リハビリテーション対象者ＴＧの健康状態や行動変容に基づいて、お勧めの健康食品などの物販情報ＰＳＩをリハビリテーション対象者ＴＧに提供することができる。医療関係者端末３００およびサービス提供者サーバ５００が受信したリハビリテーション対象者ＴＧの健康情報、分析情報ＭＡＩおよび症状に関する情報は匿名化されることが望ましい。
【0053】
図２の例では、動作分析サーバ２００において、健康情報が算出され、分析情報ＭＡＩや介入情報ＶＩが提供される。しかし、健康情報を算出するサーバと、動作の評価を行い、分析情報ＭＡＩや介入情報ＶＩを提供するサーバは別々に構成されてもよい。また、サービス提供者サーバ５００は、動作分析サーバ２００と異なるサーバとして説明されたが、動作分析サーバ２００とサービス提供者サーバ５００とは一体化されてもよい。
【0054】
また、図２の例では、動作分析サーバ２００が各種データベースを備える例が説明された。しかし、各種データベースを備えるデータベースサーバが別途設けられてもよい。さらに、記憶装置２９０内の各データベースは、動作分析サーバ２００とは異なるサーバで管理されてもよい。
【0055】
【0056】
クライアント端末１００は、センサ部１１０および入力デバイス１２０からセンサデータおよび問診データＣＤを取得する（ステップＳ１）。クライアント端末１００は、取得したセンサデータを動作分析サーバ２００に送信する（ステップＳ２）。この際、クライアント端末１００は問診データＣＤも動作分析サーバ２００に送信することが望ましい。
【0057】
問診データ解析部２１３は、問診データＣＤからリハビリテーション対象者ＴＧの障害情報を抽出する（ステップＳ３）。センサデータ解析部２１１は、センサデータからリハビリテーション対象者ＴＧの身体機能に関する機能情報、および、リハビリテーションのためのトレーニングまたは評価運動を行っている最中のリハビリテーション対象者ＴＧの姿勢情報ＨＰＩを抽出する（ステップＳ４）。なお、リハビリテーション対象者ＴＧの姿勢情報ＨＰＩのみに基づいて動作分析が行われる場合には、問診データＣＤから障害情報を抽出する処理（ステップＳ３）、および、センサデータから機能情報を抽出する処理（ステップＳ４）は不要である。
【0058】
特徴量抽出部２１２は、指標データベース２９５から、項目に応じた動作分析の指標（特徴量の定義情報、動作分析アルゴリズムＡＬ）を抽出する。特徴量抽出部２１２は、特徴量の定義情報に基づいて、姿勢情報ＨＰＩから特徴量を抽出する（ステップＳ５）。特徴量の定義情報が障害情報に紐づけて指標データベース２９５に規定されている場合には、指標の抽出に際して、特徴量抽出部２１２はリハビリテーション対象者ＴＧの障害情報もあわせて参照することが望ましい。
【0059】
評価部２２０は、抽出された特徴量のデータを動作分析アルゴリズムＡＬに当てはめて、リハビリテーション対象者ＴＧの動作を分析する。動作分析は、動作のフェーズごとに行われる。評価部２２０は、動作分析アルゴリズムＡＬに基づいて、リハビリテーション対象者ＴＧの一例の動作を複数のフェーズに分類する。評価部２２０は、指標（評価項目と評価基準）に基づいて、フェーズごとに姿勢情報ＨＰＩ（特徴量のデータ）を分析する。評価部２２０は、フェーズごとの動作の分析結果に基づいてリハビリテーション対象者ＴＧの一連の動作を評価し、評価結果を示す分析情報ＭＡＩを生成する（ステップＳ６）。障害の大きさや運動機能などを考慮した詳細な評価を行う場合には、評価部２２０は、リハビリテーション対象者ＴＧの障害情報および／または機能情報を考慮してリハビリテーション対象者ＴＧの一連の動作を評価することもできる。
【0060】
介入情報生成部２３０は、医療関係者端末３００およびサービス提供者サーバ５００から、分析情報ＭＡＩに関連する診断情報ＤＧおよび物販情報ＰＳＩを取得する。介入情報生成部２３０は、分析情報ＭＡＩ、診断情報ＤＧ、症状に関する情報および物販情報ＰＳＩに基づいて、リハビリテーション対象者ＴＧに介入するための介入情報ＶＩを生成する（ステップＳ７）。
【0061】
介入情報生成部２３０は、生成された介入情報ＶＩをクライアント端末１００に送信する（ステップＳ８）。クライアント端末１００は、介入情報ＶＩを表示装置１７０に表示し、リハビリテーションの状況をリハビリテーション対象者ＴＧに認識させる（ステップＳ９）。これにより、リハビリテーション対象者ＴＧの行動の変化が促される。
【0062】
［３－２．動画取得処理］
図６は、動画取得処理の一例を示すフローチャートである。
図６は、動画取得処理の一例を示すフローチャートである。
【0063】
＜ステップＳＡ１：身分認識＞
クライアント端末１００は、動作分析の対象となる人物（リハビリテーション対象者ＴＧ）を認識する。リハビリテーション対象者ＴＧはカメラ１６０の撮影視野の中央にいる人物として認識されてもよいし、アカウント情報、顔認証または指紋認証などによりリハビリテーション対象者ＴＧの認証がおこなわれてもよい。
クライアント端末１００は、動作分析の対象となる人物（リハビリテーション対象者ＴＧ）を認識する。リハビリテーション対象者ＴＧはカメラ１６０の撮影視野の中央にいる人物として認識されてもよいし、アカウント情報、顔認証または指紋認証などによりリハビリテーション対象者ＴＧの認証がおこなわれてもよい。
【0064】
＜ステップＳＡ２：撮影準備＞
クライアント端末１００は、問診データＣＤに基づいてリハビリテーションの可否を判定する。クライアント端末１００は、リハビリテーションが可能と判定した場合には、撮影の準備として、判定項目や撮影条件を決定する。
クライアント端末１００は、問診データＣＤに基づいてリハビリテーションの可否を判定する。クライアント端末１００は、リハビリテーションが可能と判定した場合には、撮影の準備として、判定項目や撮影条件を決定する。
【0065】
判定項目は、リハビリテーション対象者ＴＧまたはトレーナの選択により選択される。トレーニングプランに分析対象となるトレーニング項目が設定されている場合には、設定されたトレーニング項目が判定項目として決定されてもよい。本開示では、判定項目は、例えばユーザ入力情報（リハビリテーション対象者ＴＧの選択）または問診データＣＤに基づいて決定される。
【0066】
クライアント端末１００は、問診データＣＤに基づいて、リハビリテーション対象者ＴＧの持つ障害を特定する。クライアント端末１００は、指標データベース２９５から、リハビリテーション対象者ＴＧの障害に紐づけられた１以上の判定項目を抽出する。判定項目が１つしか存在しない場合には、その１つの判定項目が動作分析の対象として決定される。判定項目が複数存在する場合には、ユーザ入力情報に基づいて選択された１つの判定項目が動作分析の対象として決定される。判定項目は、医師や理学療法士により指定されることも可能である。
【0067】
クライアント端末１００は、指標データベース２９５から、判定項目と紐づけられた撮影条件を抽出し、音声や映像を用いてリハビリテーション対象者ＴＧに通知する。撮影条件には、リハビリテーション対象者ＴＧとカメラ１６０との位置関係や画角内のリハビリテーション対象者ＴＧの位置（例えば、両肩の座標、骨格の中心線の位置）などについての基準が含まれる。クライアント端末１００は、カメラ１６０の撮影位置が上述の基準を満たさないと判定した場合には、音声や映像を用いてリハビリテーション対象者ＴＧに通知する。
【0068】
撮影位置が上述の基準を満たすか否かの判定は、動作分析サーバ２００などの他の分析機器によって行われてもよい。判定の一部（例えば姿勢推定のみ）がクライアント端末１００によって行われ、残りが他の分析機器によって行われてもよい。また、ＴｏＦセンサなどを用いてリハビリテーション対象者ＴＧとカメラ１６０との位置関係が検出される場合には、検出された位置関係に基づいて、カメラ１６０の映像を上述の基準が満たされるように補正してもよい。
【0069】
クライアント端末１００は、ジャイロセンサなどを用いて自身の水平度を検知し、水平から傾いている場合にはリハビリテーション対象者ＴＧに通知することができる。リハビリテーション対象者ＴＧの動作を分析する場合には、リハビリテーション対象者ＴＧの姿勢が鉛直方向からどの方向にどの程度傾いているかを正確に検知する必要がある。そのため、撮影前の準備として、リハビリテーション対象者ＴＧにクライアント端末１００の水平度を調整してもらう。
【0070】
クライアント端末１００は、画像解析によりリハビリテーション対象者ＴＧを背景から精度よく分離できないと判定した場合には、リハビリテーション対象者ＴＧに通知することができる。洋服の色と背景（例えば壁）の色が同じである場合、あるいは、髪の毛の色と背景（例えば暗い廊下）の色とが同じである場合には、画像解析によってリハビリテーション対象者ＴＧを背景から精度よく分離することができない。リハビリテーション対象者ＴＧの背景に別の人物が存在する場合にも、リハビリテーション対象者ＴＧと別の人物とを分離して解析することができない。リハビリテーション対象者ＴＧを背景から分離できないと、リハビリテーション対象者ＴＧの姿勢情報ＨＰＩを精度よく抽出することができない。そのため、リハビリテーション対象者ＴＧに通知して、撮影位置や照明の状態を調整してもらう。
【0071】
＜ステップＳＡ３：動画取得＞
撮影条件が適正化されたら、クライアント端末１００は動画の撮影を実施する。クライアント端末１００は、動画を撮影する前に、アセスメント用動画を撮影してもよい。アセスメント用動画は、リハビリテーション対象者ＴＧの症状を分析するために取得される、立ち上がり、歩行、階段の上り下り、および、起き上がりなどの基本動作を映した動画を意味する。アセスメント用動画は、問診データＣＤとともに、リハビリテーション対象者ＴＧの症状を分析するための判断材料として用いられる。
撮影条件が適正化されたら、クライアント端末１００は動画の撮影を実施する。クライアント端末１００は、動画を撮影する前に、アセスメント用動画を撮影してもよい。アセスメント用動画は、リハビリテーション対象者ＴＧの症状を分析するために取得される、立ち上がり、歩行、階段の上り下り、および、起き上がりなどの基本動作を映した動画を意味する。アセスメント用動画は、問診データＣＤとともに、リハビリテーション対象者ＴＧの症状を分析するための判断材料として用いられる。
【0072】
なお、アセスメント用動画の分析結果に基づいて１以上の追加試験用動画が撮影されてもよい。追加試験用動画は、上述した基本動作よりも細かい動作、あるいは補助分析用の他の動作を映した動画を意味する。追加試験用動画は、問診データＣＤとともに、リハビリテーション対象者ＴＧの症状を分析するための判断材料として用いることができる。
【0073】
動画の撮影開始および撮影終了の指示は、音声によって入力することができる。あるいは、動作の開始時と終了時のポーズを画像解析によって検知し、これらのポーズが検知されたときに自動的に動画の撮影開始と撮影終了の処理が行われるようにしてもよい。
【0074】
＜ステップＳＡ４：動作分析のための前処理＞
動画が撮影されたら、クライアント端末１００は、必要に応じて、動作分析サーバ２００で動作分析を行うための前処理を行う。
動画が撮影されたら、クライアント端末１００は、必要に応じて、動作分析サーバ２００で動作分析を行うための前処理を行う。
【0075】
動画データＭＤを用いてリハビリテーション対象者ＴＧの動作を分析する場合、実際に分析が必要なフレーム画像の数はそれほど多くない（例えば、１フェーズあたり１枚以上１０枚以下）。動画データＭＤに含まれる全てのフレーム画像を高性能な動作分析サーバ２００で解析すると、解析コストが大きくなる。そのため、クライアント端末１００は、動作分析の前処理として、フェーズの動作を示す重要なフレーム画像が含まれていると予想される特定の動作シーン（以下、特定シーンと記載する）を抽出する。特定シーンは、各フェーズに対応して抽出される。クライアント端末１００は、特定シーンのフレーム画像のみを動作分析サーバ２００に送信する。
【0076】
例えば、クライアント端末１００は、低画質モード（例えば、１フレームあたり３６８画素×３６８画素の解像度）で取得した動画データＭＤを解析して、特定シーンの受信タイミングを予測する。クライアント端末１００は、予測されたタイミングに合わせて、動画データＭＤの取得モードを低画質モードから高画質モード（例えば、１フレームあたり６４０画素×４８０画素の解像度）に切り替え、高画質のフレーム画像を動作分析サーバ２００に送信する。クライアント端末１００は、特定シーン以外のシーンのフレーム画像は低画質のまま動作分析サーバ２００に送信する。
【0077】
抽出すべき特定シーンの特徴は、動作分析アルゴリズムＡＬに規定されている。特定シーンは、リハビリテーション対象者ＴＧの輪郭情報、姿勢情報ＬＰＩ（図７参照）、および、リハビリテーション対象者ＴＧが使用する特定のオブジェクトＯＢとリハビリテーション対象者ＴＧとの位置関係などに基づいて検出される。特定のオブジェクトＯＢは、例えば立ち上がり動作であれば椅子であり、歩行動作であれば杖であり、入浴動作であれば浴槽である。例えば、立ち上がり動作については、座面と臀部との位置関係、腰の曲がり具合、および、体の重心の移動方向の変化などに基づく特定シーンの抽出方法が動作分析アルゴリズムＡＬに規定されている。
【0078】
特定シーンを検出するだけであれば、低性能なクライアント端末１００でも高速に実施できる。特定シーンに含まれるフレーム画像のみが動作分析の対象となるため、動作分析サーバ２００による解析コストが抑えられる。
【0079】
【0080】
クライアント端末１００は、リハビリテーション対象者ＴＧの動画を撮影する（ステップＳＤ１）。動画データＭＤは時系列的に並ぶ複数のフレーム画像ＦＩによって構成される。動画には、分析の対象となる特定シーンと、特定シーンの前後のシーンと、が含まれる。
【0081】
クライアント端末１００は、動画データＭＤから特定シーンを示す１以上のフレーム画像ＦＩ（特定のフレーム画像ＳＦＩ）を抽出する（ステップＳＤ２）。特定シーンの判定は、例えば、リハビリテーション対象者ＴＧの動作に基づいて行われる。リハビリテーション対象者ＴＧの動作は、例えば、低精度低計算量の第１分析モデル１４３（図１１参照）を用いて動画データＭＤの全フレーム画像ＦＩから抽出されたリハビリテーション対象者ＴＧの姿勢情報ＬＰＩ（第１分析モデル１４３による低精度姿勢推定結果を示す情報）に基づいて推定される。
【0082】
以上により、高精度姿勢推定の対象を抽出するための前処理が完了する。抽出されたフレーム画像は、動作分析サーバ２００による動作分析の対象となる。
【0083】
例えば、動作分析サーバ２００は、抽出された１以上の特定のフレーム画像ＳＦＩからフレーム画像ＳＦＩごとにリハビリテーション対象者ＴＧの姿勢情報ＨＰＩを抽出する（ステップＳＤ３）。リハビリテーション対象者ＴＧの姿勢情報ＨＰＩは、例えば、高精度高計算量の第２分析モデル２９７（図１１参照）を用いて１以上の特定のフレーム画像ＳＦＩのみから抽出される。
【0084】
動作分析サーバ２００は、抽出された１以上の姿勢情報ＨＰＩ（第２分析モデル２９７による高精度姿勢推定結果を示す情報）の中から、各フェーズの動作タイミングを示す姿勢情報ＨＰＩを抽出する。これにより、一連の動作に含まれる複数のフェーズが検出される。動作分析サーバ２００は、各フェーズの動作タイミングを示す姿勢情報ＨＰＩを用いて、フェーズごとにリハビリテーション対象者ＴＧの動作を分析する（ステップＳＤ４）。
【0085】
クライアント端末１００は、動作分析サーバ２００から分析情報ＭＡＩを受信し、リハビリテーション対象者ＴＧに通知する（ステップＳＤ５）。
【0086】
なお、図７ないし図９の例では、低精度姿勢推定がクライアント端末１００で行われ、高精度姿勢推定が動作分析サーバ２００で行われたが、姿勢推定の分担はこれに限られない。例えば、クライアント端末１００で全ての姿勢推定（低精度姿勢推定および高精度姿勢推定）が行われてもよいし、動作分析サーバ２００で全ての姿勢推定が行われてもよい。いずれの場合でも、特定シーンの迅速な検出、および、高精度姿勢推定における計三個ストの低減という優れた効果が得られる。
【0087】
［３－３．分析・評価処理］
図１０は、分析・評価処理の一例を示すフローチャートである。
図１０は、分析・評価処理の一例を示すフローチャートである。
【0088】
＜ステップＳＢ１：姿勢推定＞
動作分析サーバ２００には、クライアント端末１００から、複数の特定シーンの映像が動画データＭＤから抽出されて送信される。動作分析サーバ２００は、各特定シーンの姿勢分析を行う。姿勢分析は、公知の姿勢推定技術を用いて行われる。例えば、動作分析サーバ２００は、ディープラーニングの手法を用いて、リハビリテーション対象者ＴＧの画像から複数のキーポイントＫＰ（肩・肘・手首・腰・膝・足首などを示す複数の特徴点：図１２参照）を抽出する。動作分析サーバ２００は、抽出されたキーポイントＫＰどうしの相対位置に基づいてリハビリテーション対象者ＴＧの姿勢を推定する。
動作分析サーバ２００には、クライアント端末１００から、複数の特定シーンの映像が動画データＭＤから抽出されて送信される。動作分析サーバ２００は、各特定シーンの姿勢分析を行う。姿勢分析は、公知の姿勢推定技術を用いて行われる。例えば、動作分析サーバ２００は、ディープラーニングの手法を用いて、リハビリテーション対象者ＴＧの画像から複数のキーポイントＫＰ（肩・肘・手首・腰・膝・足首などを示す複数の特徴点：図１２参照）を抽出する。動作分析サーバ２００は、抽出されたキーポイントＫＰどうしの相対位置に基づいてリハビリテーション対象者ＴＧの姿勢を推定する。
【0089】
動作分析サーバ２００は、特定シーンに含まれる個々のフレーム画像からリハビリテーション対象者ＴＧの姿勢情報ＨＰＩを抽出する。姿勢情報ＨＰＩは、各キーポイントＫＰの位置（座標）およびキーポイントＫＰどうしの位置関係（関節の角度など）を示す情報を意味する。動作分析サーバ２００は、クライアント端末１００よりも高性能な情報処理装置である。そのため、クライアント端末１００で姿勢分析を行うよりも高精度な姿勢情報ＨＰＩが抽出される。高精度な姿勢情報ＨＰＩを用いることで、動作分析の精度も高まる。
【0090】
＜ステップＳＢ２：フェーズ分析＞
動作分析アルゴリズムＡＬには、各フェーズの姿勢をどのように定義すべきかについての定義情報が規定されている。姿勢の定義は、例えば、キーポイントＫＰどうしの位置関係、および、特定のキーポイントＫＰの移動の態様（移動方向、移動速度、移動速度の変化の様子など）などに基づいて行われる。リハビリテーション対象者ＴＧが使用する特定のオブジェクトＯＢ（椅子、杖、浴槽など）との位置関係に基づいて、姿勢の定義が行われてもよい。
動作分析アルゴリズムＡＬには、各フェーズの姿勢をどのように定義すべきかについての定義情報が規定されている。姿勢の定義は、例えば、キーポイントＫＰどうしの位置関係、および、特定のキーポイントＫＰの移動の態様（移動方向、移動速度、移動速度の変化の様子など）などに基づいて行われる。リハビリテーション対象者ＴＧが使用する特定のオブジェクトＯＢ（椅子、杖、浴槽など）との位置関係に基づいて、姿勢の定義が行われてもよい。
【0091】
１つのフェーズには、複数の姿勢が定義されてもよい。複数の姿勢を分析対象とすることで、同一フェーズ内で生じる姿勢の推移を分析することができる。
【0092】
例えば、壁から少し離れたところに壁を背にして立っている状態で、壁に寄り掛かった後に壁から跳ね上がるというようなリハビリテーショントレーニングがある。一連の動作には、壁に寄りかかるフェーズと、壁から跳ね上がるフェーズという２つのフェーズが含まれる。壁から跳ね上がるフェーズでは、肩から跳ね上がるのが正しい動きとなる。臍から跳ね上がるのは誤った動作であるが、フェーズの終了時点（跳ね上がった直後）だけ見ても、肩から跳ね上がったか臍から跳ね上がったかがわからない。しかし、跳ね上がり期間中の姿勢の推移を分析すれば、正しい動作が行われたかどうかをチェックすることができる。
【0093】
跳ね上がりの姿勢は、例えば、首の付け根、股関節中心部および撮影側の膝の位置によって算出される腰の角度を用いて分析することができる。壁から跳ね上がっている期間（フェーズ）の複数または全てのフレーム画像ＳＦＩを解析することで、跳ね上がりのフェーズの開始から終了までの姿勢の推移を詳細に分析することができる。
【0094】
動作分析サーバ２００は、特定シーンに含まれる１以上のフレーム画像ＳＦＩの中から、定義情報に規定された１以上のフレーム画像ＳＦＩを抽出する。これにより、定義情報に規定された、同一フェーズ内に紐づく１以上の姿勢が検出される。姿勢の判別手法としては、閾値に基づく判別手法を用いてもよいし、ディープラーニングなどの機械学習に基づく判別手法を用いてもよい。
【0095】
＜ステップＳＢ３：評価＞
＜＜項目分け＞＞
動作分析アルゴリズムＡＬには、フェーズごとに、１以上の評価項目が規定されている。個々の評価項目および採点基準は、理学療法士などの医療関係者ＤＴによって設定される。標準的な評価項目および採点基準が知られている場合には、公知の評価項目および採点基準がそのまま流用されてもよい。採点基準は、健常者データベースに集められた教師データに基づいて機械学習されてもよいし、統計学的な処理に基づいて算出されてもよいし、これらの組み合わせに基づいて算出されてもよい。採点基準として用いられる分析時の閾値は、学習結果または統計処理などに基づいて自動的に算出することができる。例えば、リハビリテーション対象者ＴＧの臀部が座面から離れるときには、リハビリテーション対象者ＴＧの足の角度が分析の対象となる。この足の角度は健常者のデータから算出することができる。
＜＜項目分け＞＞
動作分析アルゴリズムＡＬには、フェーズごとに、１以上の評価項目が規定されている。個々の評価項目および採点基準は、理学療法士などの医療関係者ＤＴによって設定される。標準的な評価項目および採点基準が知られている場合には、公知の評価項目および採点基準がそのまま流用されてもよい。採点基準は、健常者データベースに集められた教師データに基づいて機械学習されてもよいし、統計学的な処理に基づいて算出されてもよいし、これらの組み合わせに基づいて算出されてもよい。採点基準として用いられる分析時の閾値は、学習結果または統計処理などに基づいて自動的に算出することができる。例えば、リハビリテーション対象者ＴＧの臀部が座面から離れるときには、リハビリテーション対象者ＴＧの足の角度が分析の対象となる。この足の角度は健常者のデータから算出することができる。
【0096】
＜＜採点＞＞
動作分析サーバ２００は、フェーズの動作を示すフレーム画像ＳＦＩから姿勢情報ＨＰＩを抽出する。動作分析サーバ２００は、抽出された姿勢情報ＨＰＩを評価項目ごとに採点する。採点は、個々の姿勢情報ＨＰＩについて行われてもよいし、複数のフレームにまたがる平均的な姿勢情報ＨＰＩについて行われてもよい。採点方法としては、閾値に基づく採点手法を用いてもよいし、ディープラーニングなどの機械学習に基づく採点手法を用いてもよい。採点のタイミングは、リアルタイムでもよいし、動画撮影後でもよい。
動作分析サーバ２００は、フェーズの動作を示すフレーム画像ＳＦＩから姿勢情報ＨＰＩを抽出する。動作分析サーバ２００は、抽出された姿勢情報ＨＰＩを評価項目ごとに採点する。採点は、個々の姿勢情報ＨＰＩについて行われてもよいし、複数のフレームにまたがる平均的な姿勢情報ＨＰＩについて行われてもよい。採点方法としては、閾値に基づく採点手法を用いてもよいし、ディープラーニングなどの機械学習に基づく採点手法を用いてもよい。採点のタイミングは、リアルタイムでもよいし、動画撮影後でもよい。
【0097】
＜ステップＳＢ５：症状分類＞
全フェーズの分析が完了したら（ステップＳＢ４：Ｙｅｓ）、動作分析サーバ２００は、各フェーズの採点結果に基づいて、リハビリテーション対象者ＴＧの動作の特徴を検出する。動作分析サーバ２００は、動作の特徴に基づいてリハビリテーション対象者ＴＧの症状を分類する。分類手法としては、閾値に基づく分類手法を用いてもよいし、ディープラーニングなどの機械学習に基づく分類手法を用いてもよい。症状の分類項目は、理学療法士などの医療関係者ＤＴによって設定される。症状の分類項目の一例としては、回旋の方向（麻痺側、非麻痺側）などが挙げられる。動作分析アルゴリズムＡＬには、例えば、１５０以上の分類項目が規定されている。症状分類の結果、複数の症状が検出される可能性がある。この場合には、動作分析サーバ２００は全ての症状を出力してもよいし、個々の症状を重要度に基づいて順位付けし、上位の症状のみを出力してもよい。
全フェーズの分析が完了したら（ステップＳＢ４：Ｙｅｓ）、動作分析サーバ２００は、各フェーズの採点結果に基づいて、リハビリテーション対象者ＴＧの動作の特徴を検出する。動作分析サーバ２００は、動作の特徴に基づいてリハビリテーション対象者ＴＧの症状を分類する。分類手法としては、閾値に基づく分類手法を用いてもよいし、ディープラーニングなどの機械学習に基づく分類手法を用いてもよい。症状の分類項目は、理学療法士などの医療関係者ＤＴによって設定される。症状の分類項目の一例としては、回旋の方向（麻痺側、非麻痺側）などが挙げられる。動作分析アルゴリズムＡＬには、例えば、１５０以上の分類項目が規定されている。症状分類の結果、複数の症状が検出される可能性がある。この場合には、動作分析サーバ２００は全ての症状を出力してもよいし、個々の症状を重要度に基づいて順位付けし、上位の症状のみを出力してもよい。
【0098】
なお、症状の分類ができない場合、あるいは、より詳細な分類を行いたい場合には、追加試験を行うことができる。動作分析サーバ２００は、追加試験用の動作を記録した動画データに基づいて再度症状の分類を行う。図１０の例では、全フェーズの分析が完了した後に症状分類が行われるが、症状の検出はフェーズごとに行われてもよい。フェーズごとの症状を全フェーズの分析完了後に総合評価し、最終的な症状評価を行うこともできる。
【0099】
＜＜比較＞＞
動作分析サーバ２００は、各評価項目の採点結果および症状の分類結果に基づいて、リハビリテーション対象者ＴＧの一連の動作を評価する。動作分析サーバ２００は、リハビリテーション対象者ＴＧの評価結果を他者（健常者、他の患者）の評価結果または過去のリハビリテーション対象者ＴＧの評価結果と比較し、比較結果をリハビリテーション対象者ＴＧに通知することができる。
動作分析サーバ２００は、各評価項目の採点結果および症状の分類結果に基づいて、リハビリテーション対象者ＴＧの一連の動作を評価する。動作分析サーバ２００は、リハビリテーション対象者ＴＧの評価結果を他者（健常者、他の患者）の評価結果または過去のリハビリテーション対象者ＴＧの評価結果と比較し、比較結果をリハビリテーション対象者ＴＧに通知することができる。
【0100】
比較方法としては、比較の対象となる複数の骨格画像をオーバーレイ表示または並列表示するなどの方法が挙げられる。この際、骨格画像のサイズは一致させることが好ましい。例えば、動作分析サーバ２００は、比較対象となる人物の骨格画像をリハビリテーション対象者ＴＧの骨格の大きさに合わせて拡大または縮小する。この際、動作分析サーバ２００は、リハビリテーション対象者ＴＧの骨格の動きを比較対象となる人物の骨格の動きと同期させることが好ましい。同一フェーズを示すリハビリテーション対象者ＴＧの映像のフレーム数が比較対象となる人物の映像のフレーム数と異なる場合には、必要なフレームを補間することが好ましい。これにより、比較が行いやすくなる。
【0101】
＜＜レポート＞＞
動作分析サーバ２００は、一連の動作の評価結果を示す分析情報ＭＡＩを生成し、リハビリテーション対象者ＴＧ、家族ＦＭおよび医療関係者ＤＴなどにレポートを行う。分析情報ＭＡＩには、例えば、リハビリテーション対象者ＴＧの現在の症状（採点結果、症状の分類結果）、症状の推移、アドバイス、および、推奨されるトレーニングプランなど、リハビリテーションを支援するための各種情報が含まれる。レポートのタイミングは、任意に設定することができる。症状の種類、重さおよびリハビリテーションの期間などに応じて、一日ごと、一週間ごと、あるいは、一か月ごとなどと設定することができる。
動作分析サーバ２００は、一連の動作の評価結果を示す分析情報ＭＡＩを生成し、リハビリテーション対象者ＴＧ、家族ＦＭおよび医療関係者ＤＴなどにレポートを行う。分析情報ＭＡＩには、例えば、リハビリテーション対象者ＴＧの現在の症状（採点結果、症状の分類結果）、症状の推移、アドバイス、および、推奨されるトレーニングプランなど、リハビリテーションを支援するための各種情報が含まれる。レポートのタイミングは、任意に設定することができる。症状の種類、重さおよびリハビリテーションの期間などに応じて、一日ごと、一週間ごと、あるいは、一か月ごとなどと設定することができる。
【0102】
［４．分析・介入処理に関わる機能構成］
図１１は、分析・介入処理に関わる機能構成の一例を示す図である。
図１１は、分析・介入処理に関わる機能構成の一例を示す図である。
【0103】
＜クライアント端末＞
クライアント端末１００は、処理装置１３０、記憶装置１４０とおよび通信装置１５０を有する。処理装置１３０は、動画取得部１３１、撮影条件決定部１３２、シーン抽出部１３３および出力部１３４を有する。
クライアント端末１００は、処理装置１３０、記憶装置１４０とおよび通信装置１５０を有する。処理装置１３０は、動画取得部１３１、撮影条件決定部１３２、シーン抽出部１３３および出力部１３４を有する。
【0104】
動画取得部１３１は、カメラ１６０で撮影されたリハビリテーション対象者ＴＧの動画データＭＤを取得する。動画には、各フェーズに対応した複数の特定シーンが含まれる。
【0105】
シーン抽出部１３３は、動画取得部１３１から動画データＭＤを取得する。シーン抽出部１３３は、動画データＭＤからフェーズごとに特定シーンを示す１以上のフレーム画像ＳＦＩを抽出する。抽出されるフレーム画像ＳＦＩの数は、例えば、１以上１０以下である。例えば、シーン抽出部１３３は、リハビリテーション対象者ＴＧの動作に基づいて特定シーンを判定する。シーン抽出部１３３は、リハビリテーション対象者ＴＧの動作の特徴をシーン情報１４２と照合して特定シーンの判定を行う。
【0106】
例えば、シーン抽出部１３３は、特定シーンよりも前のフレーム画像群の姿勢解析結果に基づいて特定シーンへの切り替わりを検出する。シーン抽出部１３３は、特定シーンへの切り替わりに応じて取得した、フレーム画像群よりも高解像度の１以上のフレーム画像ＦＩを、特定シーンを示す１以上の特定のフレーム画像ＳＦＩとして抽出する。
【0107】
シーン情報１４２には、各フェーズに対応した複数の特定シーンと、それぞれの特定シーンを判定するための判定条件と、が関連付けて規定されている。特定シーンの定義情報および特定シーンの判定方法は、動作分析アルゴリズムＡＬに規定されている。クライアント端末１００は、指標データベース２９５から、特定シーンの定義情報および特定シーンの判定方法を抽出し、記憶装置１４０にシーン情報１４２として記憶する。
【0108】
シーン抽出部１３３は、例えば、機械学習によって得られた第１分析モデル１４３を用いてリハビリテーション対象者ＴＧの姿勢情報ＬＰＩを抽出する。第１分析モデル１４３は、例えば、動作分析サーバ２００で姿勢情報ＨＰＩを抽出する際に用いられる分析モデル（第２分析モデル２９７）よりも姿勢の推定精度が低い分析モデルである。シーン抽出部１３３は、抽出された姿勢情報ＬＰＩから推定されるリハビリテーション対象者ＴＧの姿勢の変化に基づいて、特定シーンへの切り替わりを検出する。
【0109】
動画データＭＤは、時系列で生じる複数の特定シーンを含む一連の動作の情報を含む。シーン抽出部１３３は、どの特定シーンが生じているかを、動作の流れの中で、前後の文脈を考慮しながら、それぞれ個別の観点で判定する。
【0110】
例えば、立ち上がり動作は、両足が床につく位置で椅子やベッドに座った状態から真っ直ぐに立った姿勢へと移行する動作として定義される。立ち上がり動作は、（ｉ）座った姿勢から臀部が座面から浮くまでの動作（第１フェーズ）、（ｉｉ）臀部が座面から浮いてから足に体の重心を移動するまでの動作（第２フェーズ）、（ｉｉｉ）十分に足に重心が移動した状態（前方へ重心が移動しきった状態）から足を伸ばしながら上方へ重心を移動するまでの動作（第３フェーズ）、および、（ｉｖ）最終的に立った状態（第４フェーズ）に分類される。各フェーズに対応した特定シーンは、特定シーンごとに想定される体の動きに基づいて判定される。
【0111】
判定を容易にするために、シーン抽出部１３３は、例えば、リハビリテーション対象者ＴＧと、リハビリテーションのためのトレーニングまたは評価運動に用いられる特定のオブジェクトＯＢ（立ち上がり動作の場合は椅子など）と、が所定の位置関係にあるときのリハビリテーション対象者ＴＧの動作、または、リハビリテーション対象者ＴＧと特定のオブジェクトＯＢとの位置関係の変化に基づいて、特定シーンへの切り替わりを検出する。この構成では、骨格同士の相対的な位置関係のみに基づいて特定シーンを判定する場合よりも、精度よく特定シーンが判定される。
【0112】
姿勢の推定精度は、分析モデルに用いられるニューラルネットワークの規模によって変化する。規模の大きいニューラルネットワークを用いた場合には、画像データから多くのキーポイントＫＰが抽出され、リハビリテーション対象者ＴＧの様々な動作が精度よく推定される。オクルージョン等による情報の欠落があっても、リハビリテーション対象者ＴＧのキーポイントＫＰは精度よく抽出される。ニューラルネットワークの規模を大きくする方法としては、特徴マップ（チャンネル）を増やす方法と層（レイヤ）を深くする方法とがある。いずれの方法でも、畳み込み演算の処理量が増加し、計算速度が低下する。姿勢の推定精度と計算速度とはトレードオフの関係にある。
【0113】
シーン抽出部１３３は、例えば、ニューラルネットワークの規模が小さい低精度低計算量の第１分析モデル１４３を用いて、動画データＭＤを構成する全てのフレーム画像ＦＩからリハビリテーション対象者ＴＧの姿勢情報ＬＰＩを抽出する。リハビリテーション対象者ＴＧの特定シーンを判定するだけであれば、リハビリテーション対象者ＴＧの大まかな動作が把握できればよい。オクルージョン等による情報の欠落があっても、姿勢の大まかな変化によって動作の特徴は把握される。よって、低精度低計算量の第１分析モデル１４３を用いても、リハビリテーション対象者ＴＧの動作シーンを判定することができる。第１分析モデル１４３を用いた場合には、フレーム画像ＦＩごとの畳み込み演算の処理量が小さいため、動画データＭＤが大きくても迅速な処理が可能である。
【0114】
特定シーンを示す１以上のフレーム画像ＳＦＩのデータは通信装置１５０を介して動作分析サーバ２００に送信される。動作分析サーバ２００は、受信した１以上のフレーム画像ＳＦＩを用いて、特定シーンに対応するフェーズの動作分析を行う。出力部１３４は、動作分析に基づく評価結果（分析情報ＭＡＩ）を通信装置１５０を介して動作分析サーバ２００から受信する。出力部１３４は、受信した分析情報ＭＡＩをリハビリテーション対象者ＴＧに通知する。通知は、例えば、文字、図表および音声の組み合わせによって行われる。
【0115】
撮影条件決定部１３２は、リハビリテーション対象者ＴＧの障害情報、および、リハビリテーションのためのトレーニングまたは評価運動の種類（判定項目）に基づいて、動画データＭＤを取得する際のリハビリテーション対象者ＴＧの撮影方向を決定する。指標データベース２９５には、判定項目ごとに、撮影を行うべき１以上の撮影方向が規定されている。撮影方向は、ポイントなる動作の把握のしやすさという観点から決められる。例えば、分析対象となる動作の特徴に基づいて、リハビリテーション対象者ＴＧの正面方向（前額面に垂直な方向）、側面方向（矢状面に垂直な方向）、あるいは、正面方向と側面方向の両方、などのように撮影方向が決定される。
【0116】
撮影条件決定部１３２は、指標データベース２９５に規定された撮影方向をリハビリテーション対象者ＴＧに通知する。例えば、リハビリテーション対象者ＴＧが立ち上がり動作についてのリハビリテーションを行う場合、撮影条件決定部１３２は、リハビリテーション対象者ＴＧの正面方向および側面方向を撮影方向として決定する。障害情報に麻痺側の情報が含まれる場合には、撮影条件決定部１３２は、麻痺側の動作が詳細に記録できるような撮影方向を決定する。
【0117】
記憶装置１４０は、例えば、撮影条件情報１４１、シーン情報１４２、第１分析モデル１４３およびプログラム１４４を記憶する。撮影条件情報１４１は、動作分析アルゴリズムＡＬに規定された撮影条件に関する情報を含む。クライアント端末１００は、指標データベース２９５から、撮影条件に関する情報を抽出し、記憶装置１４０に撮影条件情報１４１として記憶する。なお、撮影条件情報１４１およびシーン情報１４２は、指標データベース２９５からダウンロードされてもよいし、最初からクライアント端末１００にインストールされていてもよい。
【0118】
プログラム１４４は、クライアント端末１００の情報処理をコンピュータに実行させるプログラムである。処理装置１３０は、プログラム１４４にしたがって各種の処理を行う。記憶装置１４０は、処理装置１３０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶装置１４０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶装置１４０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム１４４は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。
【0119】
処理装置１３０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理装置１３０のメモリには、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）が含まれる。処理装置１３０は、プログラム１４４を実行することにより、動画取得部１３１、撮影条件決定部１３２、シーン抽出部１３３および出力部１３４として機能する。
【0120】
＜動作分析サーバ＞
動作分析サーバ２００は、処理装置２５０、記憶装置２９０および通信装置２６０を有する。処理装置２５０は、姿勢情報抽出部２１４、ステートマシン２２１および動作分析部２２２を有する。姿勢情報抽出部２１４は、センサデータ解析部２１１に含まれる。ステートマシン２２１および動作分析部２２２は、評価部２２０に含まれる。
動作分析サーバ２００は、処理装置２５０、記憶装置２９０および通信装置２６０を有する。処理装置２５０は、姿勢情報抽出部２１４、ステートマシン２２１および動作分析部２２２を有する。姿勢情報抽出部２１４は、センサデータ解析部２１１に含まれる。ステートマシン２２１および動作分析部２２２は、評価部２２０に含まれる。
【0121】
姿勢情報抽出部２１４は、クライアント端末１００から送信された特定シーンを示す１以上のフレーム画像ＳＦＩを通信装置２６０を介して取得する。姿勢情報抽出部２１４は、機械学習によって得られた第２分析モデル２９７を用いて、特定シーンを示す１以上のフレーム画像ＳＦＩからフレーム画像ＳＦＩごとにリハビリテーション対象者ＴＧの姿勢情報ＨＰＩを抽出する。
【0122】
第２分析モデル２９７は、シーン抽出部１３３で特定シーンを判定する際に用いる分析モデル（第１分析モデル１４３）よりも姿勢の推定精度が高い分析モデルである。姿勢情報抽出部２１４は、例えば、ニューラルネットワークの規模が大きい高精度高計算量の第２分析モデル２９７を用いて特定の１以上のフレーム画像ＳＦＩからリハビリテーション対象者ＴＧの姿勢情報ＨＰＩを抽出する。姿勢情報抽出部２１４による姿勢推定処理の対象となるのは、動画データＭＤを構成する複数のフレーム画像ＦＩから選択された特定の１以上のフレーム画像ＳＦＩのみである。そのため、フレーム画像ＳＦＩごとの畳み込み演算の処理量が大きくても迅速な処理が可能である。
【0123】
ステートマシン２２１は、リハビリテーション対象者ＴＧの姿勢情報ＨＰＩに基づいて、リハビリテーション対象者ＴＧの一連の動作に含まれる複数のフェーズを検出する。例えば、ステートマシン２２１は、リハビリテーション対象者ＴＧの姿勢情報ＨＰＩに含まれる特徴をフェーズ情報２９８と照合する。フェーズ情報２９８には、分析の対象となる複数のフェーズと、それぞれのフェーズを判定するための判定条件と、が関連付けて規定されている。フェーズの定義情報およびフェーズの判定方法（フェーズの境界の検出方法）は、動作分析アルゴリズムＡＬに規定されている。図１１では、動作分析アルゴリズムＡＬに規定された、フェーズに関する種々の情報（フェーズごとの定義情報および判定方法など）をフェーズ情報２９８として示している。
【0124】
ステートマシン２２１は、姿勢情報抽出部２１４で抽出された１以上の姿勢情報ＨＰＩの中から、照合結果に応じた１以上の姿勢情報ＨＰＩを抽出する。照合結果に基づいて抽出された１以上の姿勢情報ＨＰＩは、それぞれフェーズ情報２９８に規定されたフェーズにおけるリハビリテーション対象者ＴＧの姿勢を示す。この処理により、一連の動作に含まれる複数のフェーズが検出される。
【0125】
リハビリテーション対象者ＴＧの動作が複数の方向から撮影される場合、ステートマシン２２１は、複数の方向から取得される姿勢情報ＨＰＩに基づいて、一連の動作に含まれる複数のフェーズを検出する。これにより、死角となる情報を補いながら複数のフェーズが検出される。
【0126】
動作分析部２２２は、姿勢情報抽出部２１４で抽出された特定シーンにおけるリハビリテーション対象者ＴＧの姿勢情報ＨＰＩ（特定シーンに含まれる１以上のフレーム画像ＳＦＩからフレーム画像ＳＦＩごとに抽出された姿勢情報）を取得する。動作分析部２２２は、特定シーンに含まれる１以上のフレーム画像ＳＦＩから、ステートマシン２２１で検出されたフェーズを示す１以上のフレーム画像ＳＦＩを分析対象として抽出する。
【0127】
動作分析部２２２は、ステートマシン２２１から取得したフェーズの検出結果に基づいて、フェーズごとに、分析対象となる１以上のフレーム画像ＳＦＩを抽出する。動作分析部２２２は、リハビリテーション対象者ＴＧの障害情報に基づいて、フェーズごとに、分析対象となる姿勢情報ＨＰＩを分析し、一連の動作の評価結果を示す分析情報ＭＡＩを生成する。動作分析の方法（採点項目の定義、採点方法など）は、動作分析アルゴリズムＡＬに規定されている。動作分析部２２２は、指標データベース２９５から取得した動作分析アルゴリズムＡＬに基づいて動作分析を行う。
【0128】
例えば、動作分析部２２２は、フェーズごとに設定された１以上の採点項目に基づいて各フェーズの動作を採点し、各フェーズの採点結果に基づいて分析情報ＭＡＩを生成する。動作分析部２２２は、分析情報ＭＡＩを通信装置２６０を介してクライアント端末１００、医療関係者端末３００、家族端末４００およびサービス提供者サーバ５００に送信する。
【0129】
記憶装置２９０は、ロールモデル情報２９６、第２分析モデル２９７、フェーズ情報２９８およびプログラム２９９を記憶する。ロールモデル情報２９６およびフェーズ情報２９８は、動作分析アルゴリズムＡＬの一部として指標データベース２９５に規定されている。プログラム２９９は、動作分析サーバ２００の情報処理をコンピュータに実行させるプログラムである。処理装置２５０は、記憶装置２９０に記憶されているプログラム２９９にしたがって各種の処理を行う。記憶装置２９０は、処理装置２５０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶装置２９０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶装置２９０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム２９９は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。
【0130】
処理装置２５０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理装置２５０のメモリには、ＲＡＭおよびＲＯＭが含まれる。処理装置２５０は、プログラム２９９を実行することにより、センサデータ解析部２１１、評価部２２０、姿勢情報抽出部２１４、ステートマシン２２１および動作分析部２２２として機能する。
【0131】
＜サービス提供者サーバ＞
サービス提供者サーバ５００は、処理装置５１０、記憶装置５９０および通信装置５２０を有する。処理装置５１０は、情報取得部５１１および物販情報生成部５１２を有する。情報取得部５１１は、分析情報ＭＡＩを通信装置５２０を介して取得する。物販情報生成部５１２は、情報取得部５１１から取得した分析情報ＭＡＩに基づいて、リハビリテーション対象者ＴＧのリハビリテーションの状況に適した製品群の情報を物販データベース５９１から抽出する。物販情報生成部５１２は、抽出された物品群の情報に基づいて物販情報ＰＳＩを生成し、通信装置５２０を介して動作分析サーバ２００に送信する。動作分析サーバ２００は、分析情報ＭＡＩおよび物販情報ＰＳＩなどを用いて介入情報ＶＩを生成し、クライアント端末１００に送信する。
サービス提供者サーバ５００は、処理装置５１０、記憶装置５９０および通信装置５２０を有する。処理装置５１０は、情報取得部５１１および物販情報生成部５１２を有する。情報取得部５１１は、分析情報ＭＡＩを通信装置５２０を介して取得する。物販情報生成部５１２は、情報取得部５１１から取得した分析情報ＭＡＩに基づいて、リハビリテーション対象者ＴＧのリハビリテーションの状況に適した製品群の情報を物販データベース５９１から抽出する。物販情報生成部５１２は、抽出された物品群の情報に基づいて物販情報ＰＳＩを生成し、通信装置５２０を介して動作分析サーバ２００に送信する。動作分析サーバ２００は、分析情報ＭＡＩおよび物販情報ＰＳＩなどを用いて介入情報ＶＩを生成し、クライアント端末１００に送信する。
【0132】
記憶装置５９０は、物販データベース５９１およびプログラム５９２を記憶する。プログラム５９２は、処理装置５１０の情報処理をコンピュータに実行させるプログラムである。処理装置５１０は、プログラム５９２を実行することにより、情報取得部５１１および物販情報生成部５１２として機能する。記憶装置５９０および処理装置５１０の構成は、動作分析サーバ２００の記憶装置２９０および処理装置２５０と同様である。
【0133】
【0134】
［５－１．立ち上がり動作におけるランドマーク］
図１２は、立ち上がり動作におけるランドマークを示す図である。
図１２は、立ち上がり動作におけるランドマークを示す図である。
【0135】
立ち上がり動作では、リハビリテーション対象者ＴＧの正面方向と側面方向の２つの方向で撮影が行われる。リハビリテーション対象者ＴＧの動作を複数の視点から撮影することで、前後方向および左右方向の姿勢のゆがみや脳血管疾患などに基づく回旋などの状況が分析される。
【0136】
側面方向から見たリハビリテーション対象者ＴＧのランドマークはキーポイントＫＰ－Ｓ１～ＫＰ－Ｓ５である。キーポイントＫＰ－Ｓ１は、耳の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｓ２は、肩の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｓ３は、股関節の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｓ４は、膝の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｓ５は、踝の位置を示すキーポイントＫＰである。
【0137】
正面方向から見たリハビリテーション対象者ＴＧのランドマークはキーポイントＫＰ－Ｆ１～ＫＰ－Ｆ９である。キーポイントＫＰ－Ｆ１は、鼻の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｆ２は、右肩の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｆ３は、左肩の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｆ４は、右側の骨盤の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｆ５は、左側の骨盤の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｆ６は、右膝の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｆ７は、左膝の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｆ８は、右足首の位置を示すキーポイントＫＰである。キーポイントＫＰ－Ｆ９は、左足首の位置を示すキーポイントＫＰである。
【0138】
［５－２．立ち上がり動作の分析］
図１３および図１４は、動作分析の一例を示す図である。動作のフェーズは、上側から下側に向けて進行する。図１３および図１４において、左側の列は、手本となる特定人物ＲＭ（例えば健常者）の動作を示す。中央の列は、リハビリテーション対象者ＴＧの動作を示す。右側の列は、特定人物ＲＭの動作とリハビリテーション対象者ＴＧの動作との比較結果を示す。比較結果は、分析情報ＭＡＩとして提示される。
図１３および図１４は、動作分析の一例を示す図である。動作のフェーズは、上側から下側に向けて進行する。図１３および図１４において、左側の列は、手本となる特定人物ＲＭ（例えば健常者）の動作を示す。中央の列は、リハビリテーション対象者ＴＧの動作を示す。右側の列は、特定人物ＲＭの動作とリハビリテーション対象者ＴＧの動作との比較結果を示す。比較結果は、分析情報ＭＡＩとして提示される。
【0139】
指標データベース２９５には、立ち上がり動作を評価するための指標が記憶されている。指標には、動作分析に必要な作業および処理の基準となる様々な要素が含まれる。例えば、立ち上がり動作の動画を撮影するための撮影条件、姿勢情報ＨＰＩから抽出すべき特徴量の定義情報、および、姿勢情報ＨＰＩに基づいて動作分析を行う際の手順（動作分析アルゴリズムＡＬ）などが、立ち上がり動作を評価するための指標として挙げられる。動作分析サーバ２００は、指標データベース２９５に記憶された立ち上がり動作の指標に基づいてリハビリテーション対象者ＴＧの動作を分析する。
【0140】
例えば、立ち上がり動作では、姿勢情報ＨＰＩに含まれる各キーポイントＫＰの位置関係（キーポイントＫＰどうしの距離、関節の角度など）、あるいは、特定のキーポイントＫＰの高さのピーク値、所定時間内の高さの平均値、および、所定時間内の位置の変化の態様などが特徴量として抽出される。
【0141】
特徴量に基づいて一連の動作が４つのフェーズに分類される。例えば、ステートマシン２２１は、リハビリテーション対象者ＴＧの臀部と座面との位置関係、リハビリテーション対象者ＴＧの腰の角度の変化、リハビリテーション対象者ＴＧの重心点の移動速度の変化、および、腰の高さの変化に基づいて、複数のフェーズを検出する。
【0142】
ステートマシン２２１は、臀部が椅子の座面から離れる直前の状態を第１フェーズとして検出する。ステートマシン２２１は、重心点が両足の踝の間にあり、かつ、第１フェーズの直後に最も腰が曲がった状態を第２フェーズとして検出する。ステートマシン２２１は、第２フェーズの直後に重心点の高さ方向の移動速度が最大に達した状態を第３フェーズとして検出する。ステートマシン２２１は、第３フェーズの直後に腰の高さが最高点に達し、その後、腰の高さが低変動基準を満たす範囲で変動して停止した状態を第４フェーズとして検出する。
【0143】
図１５は、第２フェーズの検出処理の一例を示す図である。縦軸は、肩（右肩、左肩）と腰との鉛直方向の距離（ｍｍ）を示す。横軸は、時間（秒）を示す。
【0144】
前述のように、第２フェーズは、第１フェーズの直後に最も腰が曲がった状態として定義される。図１５の例では、腰の曲がり具合が、肩と腰の距離に基づいて判定される。肩と腰の距離が最も小さくなる矢印の時刻の動作が第２フェーズとして算出される。図１５の例では、右肩と左肩とで距離の大きさが異なる。動作分析部２２２は、側面方向から見た両肩の肩関節の位置ずれに基づいて回旋を検出する。回旋が生じた場合でも、腰との距離が最も短くなる時刻は、右肩と左肩で同じである。
【0145】
図１６は、第３フェーズの検出方法の一例を示す図である。縦軸は、体の重心点の鉛直方向の移動速度（ｍｍ／秒）を示す。横軸は、時間（秒）を示す。
【0146】
第３フェーズは、第２フェーズの直後に重心点の高さ方向の移動速度が最大に達した状態として定義される。図１６の例では、移動速度を微分して得られる加速度の情報が移動速度とともに表示されている。加速度がゼロになる矢印の時刻の動作が第３フェーズとして算出される。
【0147】
なお、上述の例では、立ち上がり動作が第１フェーズ、第２フェーズ、第３フェーズおよび第４フェーズの順に進行することが想定されている。しかし、障害の大きさによっては、この順に動作が進行しない可能性もある。例えば、第２フェーズの動作が行われた後に、第３フェーズの動作に移行せずに第１フェーズの動作に戻ってしまうような事態も考えられる。そのため、ステートマシン２２１のフェーズ検出アルゴリズムとしては、フェーズが逆方向に進行してしまうような事態を考慮したアルゴリズムが採用されてもよい。
【0148】
［５－３．分析情報］
図１７は、分析情報ＭＡＩの一例を示す図である。
図１７は、分析情報ＭＡＩの一例を示す図である。
【0149】
動作分析部２２２は、フェーズごとの分析結果に基づいて分析情報ＭＡＩを生成する。出力部１３４は、分析情報ＭＡＩを分析対象となったリハビリテーションの映像（動画データＭＤの映像）とともに表示装置１７０に表示する。例えば、出力部１３４は、フェーズごとにリハビリテーション対象者ＴＧの動きを一時停止し、分析情報ＭＡＩをフェーズにおけるリハビリテーション対象者ＴＧの静止画像ＩＭとともに表示する。
【0150】
出力部１３４は、例えば、分析情報ＭＡＩとして、第１分析情報ＭＡＩ１および第２分析情報ＭＡＩ２を通知する。第１分析情報ＭＡＩ１は、フェーズごとに、リハビリテーション対象者ＴＧの動作と、動作の手本となる特定人物ＲＭ（例えば健常者）の動作と、の比較を示す情報を含む。第２分析情報ＭＡＩ２は、リハビリテーション対象者ＴＧの動作を特定人物ＲＭの動作に近づけるための指針を示す情報を含む。
【0151】
特定人物ＲＭの動作の情報は、ロールモデル情報２９６として記憶装置２９０に記憶されている。動作分析アルゴリズムＡＬには、動作分析を行う上で比較の対象となる動作の情報が規定されている。図１１では、動作分析アルゴリズムＡＬに規定された比較対象に関する情報（特定人物ＲＭの動作の情報など）をロールモデル情報２９６として示している。分析情報ＭＡＩは、過去から現在までの採点項目ごとの各フェーズの採点結果の推移を示す情報を含んでもよい。
【0152】
第１分析情報ＭＡＩ１は、例えば、各フェーズにおける、リハビリテーション対象者ＴＧの骨格情報ＳＩと、比較の基準となる基準骨格情報ＲＳＩ（特定人物ＲＭの骨格情報）と、を含む。基準骨格情報ＲＳＩは、例えば、各フェーズにおける特定人物ＲＭの骨格情報を、リハビリテーション対象者ＴＧと特定人物ＲＭとの体格差に基づいて修正した骨格情報を用いて生成される。各フェーズにおける基準骨格情報ＲＳＩは、ロールモデル情報２９６に含まれている。
【0153】
基準骨格情報ＲＳＩの縮尺は、例えば、次のように設定される。まず、特定人物ＲＭとリハビリテーション対象者ＴＧの体格を比較するのに適した１以上の骨が定義される。例えば、図１７の例では、背骨と足の骨が比較の基準として定義されている。動作分析部２２２は、例えば、特定人物ＲＭとリハビリテーション対象者ＴＧのそれぞれについて、姿勢が揃うタイミングにおける背骨と足の骨の長さを検出する。動作分析部２２２は、背骨と足の骨の長さの和の比を特定人物ＲＭとリハビリテーション対象者ＴＧの体の大きさの比として算出し、この比に基づいて特定人物ＲＭの骨格の縮尺を変更する。
【0154】
図１７の例では、スクワットにおける膝関節の屈曲動作に対応するフェーズが示されている。出力部１３４は、リハビリテーション対象者ＴＧの骨格情報ＳＩおよび基準骨格情報ＲＳＩとして、フェーズにおいて分析されるべきリハビリテーション対象者ＴＧの部位に対応した骨格の情報を選択的に表示する。図１７の例では、肩、腰、膝および踝の骨格の情報が選択的に表示されている。表示画面の下側には動作についてのコメントが表示され、リハビリテーション対象者ＴＧの腰の位置には、特定人物ＲＭの腰の位置に向けた矢印が表示されている。コメントおよび矢印は第２分析情報ＭＡＩ２として提示されている。
【0155】
基準骨格情報ＲＳＩは、スクワットの一連の動作の期間中、常に、リハビリテーション対象者ＴＧの動きに連動させて表示されてもよい。しかし、特定人物ＲＭとの比較を明確にするために、特定人物ＲＭの動作との間に乖離が生じたタイミングで基準骨格情報ＲＳＩを表示することもできる。例えば、出力部１３４は、リハビリテーション対象者ＴＧの骨格情報ＳＩと基準骨格情報ＲＳＩとの間に許容基準を超える差分が生じたタイミングで、リハビリテーション対象者ＴＧの骨格情報ＳＩおよび基準骨格情報ＲＳＩを表示する。出力部１３４は、リハビリテーション対象者ＴＧの骨格情報ＳＩと基準骨格情報ＲＳＩとが許容基準を超えて相違する部分のリハビリテーション対象者ＴＧの骨格をハイライト表示する。
【0156】
一連の動作に要する時間は特定人物ＲＭとリハビリテーション対象者ＴＧとで異なる。そのため、比較を行うのに効果的なタイミングがフェーズとして定義され、定義されたフェーズが一致するように基準骨格情報ＲＳＩがリハビリテーション対象者ＴＧに重畳される。これにより、特定人物ＲＭとの比較が容易になり、リハビリテーション対象者ＴＧがどのように動作すべきかが理解しやすくなる。
【0157】
図１７には、スクワットの分析情報ＭＡＩが示されているが、立ち上がり動作についても同様の分析情報ＭＡＩを表示することができる。図１３および図１４の右側の列には、各フェーズにおける、骨格情報ＳＩと基準骨格情報ＲＳＩとの比較結果が示されている。出力部１３４は、図１３および図１４の右側の列に示すような比較結果の情報を動画に重畳して表示させることができる。
【0158】
分析情報ＭＡＩは、各フェーズの動作タイミングを示すフレーム画像に重畳して表示される。表示装置１７０は、各フェーズの動作タイミングにおいて分析動画データＡＭＤの再生を一時停止する。そして、表示装置１７０は、分析情報ＭＡＩを各フェーズのフレーム画像に重畳させた静止画像ＩＭを表示する。複数のフェーズが設定されている場合には、フェーズごとに分析動画データＡＭＤの再生が一時停止され、対応するフェーズの分析情報ＭＡＩが通知される。なお、動画データＭＤの再生は、リハビリテーション対象者ＴＧの姿勢を確認しやすいように、スローモーションで行われてもよい。この際、スローモーション再生は、最初のフェーズから最後のフェーズまでの区間についてのみ適用され、その区間の前後の映像については通常の再生速度で再生されてもよい。
【0159】
上述の例では、第１分析情報ＭＡＩ１は、他者との比較を示す情報として提示される。しかし、第１分析情報ＭＡＩ１は、過去のリハビリテーション対象者ＴＧの動作との比較を示す情報を含んでもよい。例えば、第１分析情報ＭＡＩ１は、現在のリハビリテーション対象者ＴＧの骨格情報ＳＩと、比較の基準となる過去のリハビリテーション対象者ＴＧの骨格情報ＳＩと、を含むことができる。
【0160】
例えば、出力部１３４は、現在のリハビリテーション対象者ＴＧの骨格情報ＳＩと特定の人物ＲＭの動作を示す基準骨格情報ＲＳＩとの間に許容基準を超える差分が生じたタイミングで、現在のリハビリテーション対象者ＴＧの骨格情報ＳＩおよび過去のリハビリテーション対象者ＴＧの骨格情報ＳＩを表示する。出力部１３４は、現在のリハビリテーション対象者ＴＧの骨格情報ＳＩと基準骨格情報ＲＳＩとが許容基準を超えて相違する部分のリハビリテーション対象者ＴＧの骨格をハイライト表示する。
【0161】
上述の例では、出力部１３４が動画データＭＤの再生画面に分析情報ＭＡＩを重畳して表示する例が説明された。しかし、分析情報ＭＡＩの通知手法はこれに限られない。例えば、クライアント端末１００が分析情報ＭＡＩを組み込んだ新たな動画データ（修正動画データ）を生成し、生成された修正動画データを表示装置１７０で再生してもよい。例えば、修正動画データの各フェーズを示すフレーム画像には、分析情報ＭＡＩが書きこまれている。修正動画データでは、フェーズごとにリハビリテーション対象者ＴＧの動きが停止され、分析情報ＭＡＩを含むリハビリテーション対象者ＴＧの静止画像ＩＭが所定時間だけ表示された後、次のフェーズに向けて続きの映像が再開されるように表示が調整される。
【0162】
修正動画データは、動作分析部２２２によって生成されてもよい。動作分析部２２２は、生成された修正動画データを分析情報ＭＡＩとともに、または、分析情報ＭＡＩの代わりに、クライアント端末１００、医療関係者端末３００、家族端末４００およびサービス提供者サーバ５００に送信することができる。
【0163】
上述の例では、立ち上がり動作の分析が行われたが、ジャンプやスクワットなどの他のリハビリテーションの動作についても同様の分析が可能である。ただし、ジャンプやスクワットの評価には、ジャンプやスクワットに対応した独自の指標（ジャンプやスクワットの動画を撮影するための撮影条件、姿勢情報ＨＰＩから抽出すべき特徴量の定義情報、および、姿勢情報ＨＰＩに基づいて動作分析を行う際の手順など）が用いられる。すなわち、ジャンプやスクワットの動作については、立ち上がり動作とは異なる基準でフェーズの分類および動作分析が行われる。撮影条件も立ち上がり動作とは異なる。例えば、ジャンプやスクワットの撮影は、リハビリテーション対象者ＴＧの正面方向のみから行われる。
【0164】
なお、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサなどを用いてリハビリテーション対象者ＴＧの３次元座標情報が取得できる場合には、１つの動画データＭＤから正面方向および側面方向のリハビリテーション対象者ＴＧの姿勢情報ＨＰＩが抽出できる。このような場合には、正面方向と側面方向の映像を別々に撮影する必要はない。
【0165】
［６．システム構成のバリエーション］
図１８は、システム構成のバリエーションを示す図である。
図１８は、システム構成のバリエーションを示す図である。
【0166】
図１８の上段側のリハビリテーション支援システム１Ａは、図２と同様に、センサ部１１０がクライアント端末１００に内蔵された構成を有する。図１８の下段側のリハビリテーション支援システム１Ｂでは、センサ部１１０はクライアント端末１００から独立したデバイスとして設けられる。センサ部１１０の一部がクライアント端末１００の内臓センサとして構成され、内蔵センサ以外のセンサがクライアント端末１００から独立した外部センサとして構成されてもよい。外部センサで検出されたセンサデータは、いったんクライアント端末１００に蓄積されてから動作分析サーバ２００に送信される。外部センサで検出されたセンサデータは、クライアント端末１００を経由せずに直接動作分析サーバ２００に送信されてもよい。
【0167】
なお、上述した例では、サービス提供者が保有するデバイスがサーバ（サービス提供者サーバ５００）である例が示された。しかし、サービス提供者が保有するデバイスは、必ずしもサーバである必要はなく、スマートフォン、タブレット端末、ノートパソコンおよびデスクトップパソコンなどの情報端末でもよい。
【0168】
［７．効果］
リハビリテーション支援システム１は、姿勢情報抽出部２１４、ステートマシン２２１および動作分析部２２２を有する。姿勢情報抽出部２１４は、リハビリテーション対象者ＴＧのトレーニングまたは評価運動の動画データＭＤからリハビリテーション対象者ＴＧの姿勢情報ＨＰＩを抽出する。ステートマシン２２１は、リハビリテーション対象者ＴＧの姿勢情報ＨＰＩに基づいて、トレーニングまたは評価運動におけるリハビリテーション対象者ＴＧの一連の動作に含まれる複数のフェーズを検出する。動作分析部２２２は、フェーズごとに姿勢情報ＨＰＩを分析し、一連の動作の評価結果を示す分析情報ＭＡＩを生成する。本開示の情報処理方法は、リハビリテーション支援システム１の処理がコンピュータにより実行される。本開示のプログラムは、リハビリテーション支援システム１の処理をコンピュータに実現させる。
リハビリテーション支援システム１は、姿勢情報抽出部２１４、ステートマシン２２１および動作分析部２２２を有する。姿勢情報抽出部２１４は、リハビリテーション対象者ＴＧのトレーニングまたは評価運動の動画データＭＤからリハビリテーション対象者ＴＧの姿勢情報ＨＰＩを抽出する。ステートマシン２２１は、リハビリテーション対象者ＴＧの姿勢情報ＨＰＩに基づいて、トレーニングまたは評価運動におけるリハビリテーション対象者ＴＧの一連の動作に含まれる複数のフェーズを検出する。動作分析部２２２は、フェーズごとに姿勢情報ＨＰＩを分析し、一連の動作の評価結果を示す分析情報ＭＡＩを生成する。本開示の情報処理方法は、リハビリテーション支援システム１の処理がコンピュータにより実行される。本開示のプログラムは、リハビリテーション支援システム１の処理をコンピュータに実現させる。
【0169】
この構成によれば、リハビリテーション対象者ＴＧの一連の動作が、ポイントとなるフェーズごとに分析される。そのため、一連の動作が全体にわたって的確に評価される。よって、効果的なリハビリテーションの支援が行われる。
【0170】
動作分析部２２２は、リハビリテーション対象者ＴＧの障害情報に基づいてフェーズごとに姿勢情報ＨＰＩを分析することにより分析情報ＭＡＩを生成する。
【0171】
この構成によれば、分析は障害情報を考慮して行われる。そのため、同じ動作であっても疾患ごとに異なる意味づけが行われる。フェーズごとに障害情報を加味した分析結果が得られるため、一連の動作が全体にわたって的確に評価される。
【0172】
リハビリテーション支援システム１はシーン抽出部１３３を有する。シーン抽出部１３３は、動画データＭＤから、フェーズごとに、フェーズに応じた特定シーンを示す１以上の特定のフレーム画像ＳＦＩを抽出する。姿勢情報抽出部２１４は、抽出された１以上の特定のフレーム画像ＳＦＩからフレーム画像ＳＦＩごとにリハビリテーション対象者ＴＧの姿勢情報ＨＰＩを抽出する。
【0173】
この構成によれば、分析が必要な特定シーンのフレーム画像ＦＩ（特定のフレーム画像ＳＦＩ）のみから姿勢情報ＨＰＩが抽出される。リハビリテーション対象者ＴＧの動画を撮影する場合、特定シーンが確実に動画データＭＤに含まれるように、特定シーンの前後の動作まで撮影される場合が多い。特定シーンの前後の動画データＭＤは、動作分析に寄与しない。動作分析に寄与しないデータ領域の画像処理を省略することで、動作分析に必要な時間およびコストが軽減される。
【0174】
シーン抽出部１３３は、特定シーンよりも前のフレーム画像群の姿勢解析結果に基づいて特定シーンへの切り替わりを検出する。シーン抽出部１３３は、特定シーンへの切り替わりに応じて取得した、フレーム画像群よりも高解像度の１以上のフレーム画像ＦＩを１以上の特定のフレーム画像ＳＦＩとして抽出する。
【0175】
この構成によれば、低画質モードで取得された動画データＭＤに基づいて特定シーンの受信タイミングが予測される。予測されたタイミングに合わせて、動画データＭＤの取得モードが低画質モードから高画質モードに切り替わる。リハビリテーション対象者ＴＧの姿勢情報ＨＰＩは、高画質モードで取得された動画データＭＤから抽出される。そのため、特定シーンの特定を低い処理負荷で行いつつ、分析対象となる姿勢情報ＨＰＩを高精度に抽出することができる。
【0176】
シーン抽出部１３３は、リハビリテーション対象者ＴＧと、リハビリテーションのためのトレーニングまたは評価運動に用いられる特定のオブジェクトＯＢと、が所定の位置関係にあるときのリハビリテーション対象者ＴＧの動作、または、リハビリテーション対象者ＴＧと特定のオブジェクトＯＢとの位置関係の変化に基づいて、特定シーンへの切り替わりを検出する。
【0177】
この構成によれば、骨格同士の相対的な位置関係のみに基づいて特定シーンを検出する場合よりも、精度よく特定シーンが検出される。
【0178】
シーン抽出部１３３は、姿勢情報抽出部２１４で用いられる分析モデル（第２分析モデル２９７）よりも姿勢の推定精度が低い分析モデル（第１分析モデル１４３）を用いてリハビリテーション対象者ＴＧの姿勢情報ＬＰＩを抽出する。シーン抽出部１３３は、抽出された姿勢情報ＬＰＩから推定されるリハビリテーション対象者ＴＧの姿勢の変化に基づいて特定シーンへの切り替わりを検出する。
【0179】
この構成によれば、簡易的な第１分析モデル１４３を用いてリハビリテーション対象者ＴＧの動作が迅速かつ低コストで推定される。特定シーンを検出するだけであれば、精度のよい動作分析は必要とされない。特定シーンの判定に用いる第１分析モデル１４３と詳細な動作分析を行う際の第２分析モデル２９７の姿勢推定精度を異ならせることにより、低コストで効率のよい動作分析が行われる。
【0180】
リハビリテーション支援システム１は、撮影条件決定部１３２を有する。撮影条件決定部１３２は、リハビリテーション対象者ＴＧの障害情報、および、リハビリテーションのためのトレーニングまたは評価運動の種類に基づいて、動画データＭＤを取得する際のリハビリテーション対象者ＴＧの撮影方向を決定する。
【0181】
この構成によれば、動作分析に適した動画データＭＤが容易に得られる。
【0182】
ステートマシン２２１は、複数の方向から取得される姿勢情報ＨＰＩによって死角となる情報を補いながら、一連の動作に含まれる複数のフェーズを検出する。
【0183】
この構成によれば、オクルージョン等による情報の欠落が生じにくい。そのため、精度のよい動作分析が行われる。
【0184】
リハビリテーション対象者ＴＧが立ち上がり動作についてのリハビリテーションを行う場合、撮影条件決定部は、リハビリテーション対象者ＴＧの正面方向および側面方向を撮影方向として決定する。
【0185】
この構成によれば、立ち上がり動作におけるリハビリテーション対象者ＴＧの姿勢が、死角を有することなく撮影される。
【0186】
ステートマシン２２１は、臀部と座面との位置関係、腰の角度の変化、重心点の移動速度の変化、および、腰の高さの変化に基づいて、複数のフェーズを検出する。
【0187】
この構成によれば、立ち上がり動作の特徴を適切に反映した複数のフェーズが検出される。
【0188】
ステートマシン２２１は、臀部が椅子の座面から離れる直前の状態を第１フェーズとして検出する。
【0189】
この構成によれば、臀部が座面から離れる直前の特徴的な動作が第１フェーズとして検出される。
【0190】
ステートマシン２２１は、重心点が両足の踝の間にあり、かつ、第１フェーズの直後に最も腰が曲がった状態を第２フェーズとして検出する。
【0191】
この構成によれば、臀部を浮かせて重心を足に移動させるときの特徴的な動作が第２フェーズとして検出される。
【0192】
ステートマシン２２１は、第２フェーズの直後に重心点の高さ方向の移動速度が最大に達した状態を第３フェーズとして検出する。
【0193】
この構成によれば、脚を伸ばしながら状態を起こすときの特徴的な動作が第３フェーズとして検出される。
【0194】
ステートマシン２２１は、第３フェーズの直後に腰の高さが最高点に達し、その後、腰の高さが低変動基準を満たす範囲で変動して停止した状態を第４フェーズとして検出する。
【0195】
この構成によれば、脚と背中がまっすぐ伸びたときの特徴的な動作が第４フェーズとして検出される。
【0196】
動作分析部２２２は、側面方向から見た両肩の肩関節の位置ずれに基づいて回旋を検出する。
【0197】
この構成によれば、脳血管障害における麻痺側が把握される。
【0198】
リハビリテーション支援システム１は、出力部１３４を有する。出力部１３４は、フェーズごとにリハビリテーション対象者ＴＧの動きを一時停止し、分析情報ＭＡＩをフェーズにおけるリハビリテーション対象者ＴＧの静止画像ＩＭとともに表示する。
【0199】
この構成によれば、分析結果は動画の再生シーンとリンクした態様で提供される。そのため、着目すべきリハビリテーション対象者ＴＧの動作およびその分析結果が効率よく把握される。
【0200】
出力部１３４は、分析情報ＭＡＩとして、健常者の動作との比較を示す情報を表示する。
【0201】
この構成によれば、リハビリテーション対象者ＴＧがどのような動作を行っているのかが、健常者の動作との比較に基づいて容易に把握される。
【0202】
出力部１３４は、分析情報ＭＡＩとして、リハビリテーション対象者ＴＧの骨格情報ＳＩと比較の基準となる基準骨格情報ＲＳＩとを表示する。
【0203】
この構成によれば、リハビリテーション対象者ＴＧの動作と健常者の動作との差が把握しやすくなる。
【0204】
出力部１３４は、リハビリテーション対象者ＴＧの骨格情報ＳＩおよび基準骨格情報ＲＳＩとして、フェーズにおいて分析されるべきリハビリテーション対象者ＴＧの部位に対応した骨格の情報を選択的に表示する。
【0205】
この構成によれば、着目すべき骨格の情報が容易に把握される。
【0206】
出力部１３４は、リハビリテーション対象者ＴＧの骨格情報ＳＩと基準骨格情報ＲＳＩとの間に許容基準を超える差分が生じたタイミングで、リハビリテーション対象者ＴＧの骨格情報ＳＩおよび基準骨格情報ＲＳＩを表示する。
【0207】
この構成によれば、健常者の動作と乖離している動作のフェーズが容易に把握される。
【0208】
出力部１３４は、リハビリテーション対象者ＴＧの骨格情報ＳＩと基準骨格情報ＲＳＩとが許容基準を超えて相違する部分のリハビリテーション対象者ＴＧの骨格をハイライト表示する。
【0209】
この構成によれば、健常者の動作との間に乖離が生じている部分の骨格が容易に把握される。
【0210】
出力部１３４は、分析情報ＭＡＩとして、リハビリテーション対象者ＴＧの動作を健常者の動作に近づけるための指針を示す情報を表示する。
【0211】
この構成によれば、指針に基づいてリハビリテーション対象者ＴＧに動作の改善を促すことができる。
【0212】
出力部１３４は、分析情報ＭＡＩとして、過去のリハビリテーション対象者ＴＧの動作との比較を示す情報を含む。
【0213】
この構成によれば、動作の改善の状況が容易に把握される。
【0214】
出力部１３４は、分析情報ＭＡＩとして、現在のリハビリテーション対象者ＴＧの骨格情報ＳＩと比較の基準となる過去のリハビリテーション対象者ＴＧの骨格情報ＳＩとを含む。
【0215】
この構成によれば、改善すべき動作の部位が容易に把握される。
【0216】
出力部１３４は、現在のリハビリテーション対象者ＴＧの骨格情報ＳＩと健常者の動作を示す基準骨格情報ＲＳＩとの間に許容基準を超える差分が生じたタイミングで、現在のリハビリテーション対象者ＴＧの骨格情報ＳＩおよび過去のリハビリテーション対象者ＴＧの骨格情報ＳＩを表示する。
【0217】
この構成によれば、健常者の動作との間に乖離が生じるタイミングが容易に把握される。
【0218】
出力部１３４は、現在のリハビリテーション対象者ＴＧの骨格情報ＳＩと基準骨格情報ＲＳＩとが許容基準を超えて相違する部分のリハビリテーション対象者ＴＧの骨格をハイライト表示する。
【0219】
この構成によれば、改善すべき動作の部位が容易に把握される。
【0220】
分析情報ＭＡＩは、過去から現在までの採点項目ごとの各フェーズの採点結果の推移を示す情報を含む。
【0221】
この構成によれば、動作の改善の状況が容易に把握される。
【0222】
リハビリテーション支援システム１は、介入情報生成部２３０を有する。介入情報生成部２３０は、分析情報ＭＡＩに基づいてリハビリテーション対象者ＴＧへの介入情報ＶＩを生成する。
【0223】
この構成によれば、リハビリテーション対象者ＴＧのリハビリテーションに積極的に関与することができる。
【0224】
介入情報ＶＩは、リハビリテーション対象者ＴＧに動作の改善を促すための判断材料となる判断情報、または、リハビリテーション対象者ＴＧのトレーニングプランを含む。
【0225】
この構成によれば、動作を改善するための指針をリハビリテーション対象者ＴＧに提示することができる。
【0226】
介入情報生成部２３０は、分析情報ＭＡＩからリハビリテーション対象者ＴＧの１以上の症状を抽出し、症状ごとに決められた優先度、および、個々の症状の重さに基づいてトレーニングプランを決定する。
【0227】
この構成によれば、重要度の高い情報に基づいて適切なトレーニングプランが提示される。
【0228】
介入情報生成部２３０は、現在のリハビリテーション対象者ＴＧのレベルを認証する認証情報を生成する。
【0229】
この構成によれば、認証情報に基づいてリハビリテーション対象者ＴＧのレベルが客観的に把握される。
【0230】
介入情報ＶＩは、認証情報に基づく保険に関する提言を含む。
【0231】
この構成によれば、保険プランなどの見直しをリハビリテーション対象者ＴＧに促すことができる。
【0232】
介入情報ＶＩは、認証情報に基づく薬効についての評価情報を含む。
【0233】
この構成によれば、処方薬などの見直しをリハビリテーション対象者ＴＧや医師に促すことができる。
【0234】
ステートマシン２２１は、指標データベース２９５に記憶されたフェーズごとの判定方法に基づいて複数のフェーズを検出する。動作分析部２２２は、指標データベース２９５に記憶されたフェーズごとの採点項目および採点基準に基づいて、フェーズごとにリハビリテーション対象者ＴＧの動作を分析する。指標データベース２９５は、判定項目ごとの、動画の撮影条件、フェーズの定義、分析対象となる特定シーン、採点項目および採点基準のうちの１以上の情報を、動作分析の指標として記憶する。判定項目は、動作分析の対象となる運動の種類と関連付けられている。動作分析部２２２は、一連の動作の評価結果を、リハビリテーション対象者ＴＧに介入する介入者（医療関係者ＤＴ、家族ＦＭ、サービス提供者など）が保有する端末またはサーバに送信する。この構成によれば、的確な分析および介入が可能となる。
【0235】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0236】
［８．症状分類の具体的手法］
以下、上述した実施形態の具体例および変形例について説明する。図１９は、症状分類の具体的手法を示す図である。
以下、上述した実施形態の具体例および変形例について説明する。図１９は、症状分類の具体的手法を示す図である。
【0237】
前述のように、動作分析サーバ２００は、各フェーズの姿勢情報ＨＰＩの分析結果に基づいてリハビリテーション対象者ＴＧの動作を評価する。動作分析サーバ２００は、全フェーズの分析が完了したら、各フェーズの採点結果に基づいて、リハビリテーション対象者ＴＧの動作の特徴を検出する。動作分析サーバ２００は、動作の特徴に基づいてリハビリテーション対象者ＴＧの症状を分類する（図１０参照）。
【0238】
図１９では、各フェーズの採点結果に基づいて検出される動作の特徴が「評価観点」という用語で表現されている。評価観点とは、各フェーズの評価項目を評価するための規準を意味する。各フェーズには達成すべき目標（規準）が設定されており、目標が達成されたか否かのふるい分けの基準が評価観点となる。動作分析部２２２は、１以上の評価観点に基づいて各フェーズの評価項目を評価する。動作分析部２２２は、各評価観点での評価結果に基づいてリハビリテーション対象者ＴＧの症状分類を行う。
【0239】
評価観点において設定される動作の目標は任意である。例えば、図１９には、日常生活を行う上での基盤となる動作（生活基盤動作）の例として、「起き上がり」、「座位」、「立ち上がり」、「立位」、「歩行」および「階段」が示されている。それぞれの生活基盤動作には、１以上の要素動作（ステップ）が基本動作（判定項目）として含まれる。指標データベース２９５には、要素動作ごとに１以上の評価観点が規定されている。
【0240】
例えば、「起き上がり」には、「身体の向きをかえる」、「仰向けの状態で脚を動かす」、「腕で上半身を支える」および「手で上半身を支える」という４つの要素動作が含まれる。
【0241】
「身体の向きをかえる」には、「身体を横に向けることができたか」、「横向きになった際に肩が引けていないか」、「横向きになった際に腰が引けていないか」および「上半身や下半身が伸びきっていないか」という４つの評価観点が設定されている。
【0242】
「仰向けの状態で脚を動かす」には、「両脚をベッドから下ろせたか」、「上半身が仰け反っていないか」および「両脚を揃えて下ろすことができているか」という３つの評価観点が設定されている。
【0243】
「腕で上半身を支える」には、「肘をついて上半身を起こすことができたか」、「手すりを使わずにできたか」および「身体がのけ反らずに行えたか」という３つの評価観点が設定されている。
【0244】
「手で上半身を支える」には、「手をついて上半身を起こせたか」および「身体がのけ反らずに行えたか」という２つの評価観点が設定されている。
【0245】
「起き上がり」以外の生活基盤動作についても、要素動作ごとに１以上の評価観点が設定されている。生活基盤動作に含まれる要素動作の数および内容は、生活基盤動作ごとに独立に設定される。例えば、「歩行」には、８つの要素動作が含まれる。各要素動作における評価観点の数および内容も動作の内容に応じて独立に設定される。
【0246】
各要素動作には、１以上のフェーズが含まれる。各フェーズには、１以上の評価項目が設定されている。評価項目は、例えば、リハビリテーション対象者ＴＧの動作が設定された目標（例えば、手本となる特定人物ＲＭの骨格の配置）からどれだけずれているかである。ずれがどれだけ許容されるかは、閾値などを用いて設定されてもよいし、機械学習の結果を用いて決定されてもよい。
【0247】
評価項目の結果は、それ単独では動作の特徴を表しにくい。複数の評価項目の結果を組み合わせることで、症状に応じた動作の特徴が表れやすくなる。そのため、複数の評価項目の組み合わせによって把握される動作の特徴が評価観点として規定される。評価観点が示す規準は、評価項目が示す規準よりも人間の理解に近い。そのため、人間が理解しやすい評価結果が得られる。
【0248】
評価項目の組み合わせが異なれば、把握される動作の特徴も異なる。図１９の例では、１つの判定項目に対して、評価項目の組み合わせが異なる複数の評価観点が規定されている。動作分析部２２２は、複数の評価観点に基づいて総合的な動作の特徴を評価する。動作分析部２２２は、総合的な動作の特徴に基づいて症状分類を行う。
【0249】
図１９の例では、「フェーズ２」および「フェーズ４」の各評価項目の評価結果に基づいて「観点１」の評価が行われる。図１９中の「〇」は、リハビリテーション対象者ＴＧの動作が評価観点に関して合格基準を満たしていることを意味する。合格基準を満たすか否かは、達成された評価項目の組み合わせによって決まる。例えば、「フェーズ２」の「評価項目１」および「評価項目２」と「フェーズ４」の「評価項目１」とが達成される場合に「観点１」が合格基準を満たすといった取り決めが可能である。合格基準を満たすための評価項目の組み合わせは医療関係者ＤＴまたはシステム設計者により事前に設計される。
【0250】
１つの要素動作に割り当てられる１以上の評価観点には、１以上のメイン観点が含まれる。メイン観点とは、判定項目となる動作が適切に行われたと判定されるために合格基準を満たすことが必須となる評価観点を意味する。合格基準を満たさないメイン観点が１つでも存在すれば、判定項目となる動作は全体として適切に行われたと認められない。メイン観点以外の評価観点はサブ観点に分類される。サブ観点は、判定項目となる動作の達成度、動作の良さおよび動作の適切さを算出または評価するために使用される評価観点である。
【0251】
動作分析部２２２は、各フェーズの評価項目に対する評価をメイン観点に基づくものから行う。動作分析部２２２は、合格基準を満たさないメイン観点が検出された場合には、判定項目となる動作が適切に行われていないと判定し、残りの評価観点に基づく評価を停止することができる。この構成によれば、不要な評価処理が省略されるため、処理負荷が低減される。
【0252】
介入情報生成部２３０は、合格基準を満たす評価観点の組み合わせ、または、合格基準を満たしていない評価観点の組み合わせに基づいてトレーニングプランを決定する。図１９の例では、トレーニングプランとして、３つのトレーニングプログラムが示されている。指標データベース２９５には、合格基準を満たす評価観点の組み合わせ、または、合格基準を満たしていない評価観点の組み合わせと、実施すべきトレーニングプログラムとの対応関係が規定されている。
【0253】
リハビリテーション支援システム１を用いた動作チェックは、いつでも行うことができる。リハビリテーション対象者ＴＧは、介入情報ＶＩを参考にしながら毎日トレーニングと評価を繰り返すことで、専門職の人間がいなくてもリハビリテーション対象者ＴＧ自身で効果的なトレーニングを積み重ねることができる。前回のトレーニングから一定の期間が過ぎると、リハビリテーション対象者ＴＧの症状および生活環境などが変わっている可能性がある。そのため、一定期間後に動作チェックが行われた場合には、リハビリテーション対象者ＴＧに問診データＣＤの再提示を義務付け、判定項目の再設定を行うことができる。
【0254】
【0255】
図５の例では、判定項目となる動作の種類は問診データＣＤによらずに決定されている。しかし、指標データベース２９５には、障害ごとに１以上の判定項目が紐づけられている。そのため、問診データＣＤから障害情報を抽出し、抽出された障害情報に基づいて判定項目を決定することも考えられる。図２０はこのような例を示している。
【0256】
まず、クライアント端末１００は、入力デバイス１２０から問診データＣＤを取得する（ステップＳ１１）。クライアント端末１００は、取得した問診データＣＤを動作分析サーバ２００に送信する（ステップＳ１２）。問診データ解析部２１３は、問診データＣＤからリハビリテーション対象者ＴＧの障害情報を抽出する（ステップＳ１３）。問診データ解析部２１３は、指標データベース２９５から、障害情報に紐づけられた１以上の判定項目を抽出する（ステップＳ１４）。
【0257】
問診データ解析部２１３は、抽出された１以上の判定項目から、リハビリテーション対象者ＴＧが実施すべき１以上の判定項目を選択する。判定項目の選択は任意である。抽出された１以上の判定項目が全て選択されてもよいし、抽出された１以上の判定項目のうち一部のみが選択されてもよい。クライアント端末１００は、選択された１以上の判定項目を１つずつ指定してリハビリテーション対象者ＴＧに実施を促す。
【0258】
リハビリテーション対象者ＴＧは、クライアント端末１００が指定する判定項目の動作を行う。クライアント端末１００は、センサ部１１０を用いて、リハビリテーション対象者ＴＧが行う動作をセンシングし、センサデータ（動作の映像）を動作分析サーバ２００に送信する（ステップＳ１５）。センサデータの分析処理および介入情報の生成処理（ステップＳ１６～Ｓ２１）は図５に示すもの（ステップＳ４～Ｓ９）と同じである。
【0259】
上述の例では、指標データベース２９５は、障害情報と判定項目とを紐づけて記憶する。動作分析部２２２は、リハビリテーション対象者ＴＧの障害情報に紐づけられた判定項目の動作を分析する。この構成によれば、障害に応じた適切な動作分析が行われる。
【0260】
［１０．ＵＩの具体例］
以下、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の具体例を説明する。出力部１３４は、情報の入力や手順の指示などを行うための各種ＵＩを表示装置１７０を介してリハビリテーション対象者ＴＧに提示する。図２１ないし図２３は、問診データＣＤの入力を行うためのＵＩの一例を示す図である。
以下、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の具体例を説明する。出力部１３４は、情報の入力や手順の指示などを行うための各種ＵＩを表示装置１７０を介してリハビリテーション対象者ＴＧに提示する。図２１ないし図２３は、問診データＣＤの入力を行うためのＵＩの一例を示す図である。
【0261】
まず、クライアント端末１００は、表示装置１７０に患者の一次情報の入力欄を表示する。リハビリテーション対象者ＴＧ（患者）は、一次情報として、例えば、氏名、年齢、性別、体重、病名および服用中の薬などの情報を入力する（図２１参照）。
【0262】
一次情報の入力が完了したら、クライアント端末１００は、表示装置１７０に患者の二次情報の入力欄を表示する。リハビリテーション対象者ＴＧは、二次情報として、例えば、気になる症状、痛み、症状の発症時間、麻痺部位、介護状況、装具の有無、および、直近の生活活動範囲などの情報などの情報を入力する（図２２および図２３参照）。
【0263】
【0264】
問診データＣＤの入力が完了したら、クライアント端末１００は、問診データＣＤからリハビリテーション対象者ＴＧの障害情報を抽出する。クライアント端末１００は、指標データベース２９５から、障害情報に紐づけられた１以上の判定項目を抽出する。クライアント端末１００は、抽出された１以上の判定項目をリハビリテーション対象者ＴＧに提示し、全ての判定項目を順番に実施することを促す。
【0265】
図２４の例では、問診データＣＤから抽出された障害情報に基づいて、「起き上がり」、「立ち上がり」、「歩行」および「階段昇降」の４つの生活基盤動作と、「座る」および「立つ」の２つの基本姿勢が判定項目として抽出されている。ＵＩは、リハビリテーション対象者ＴＧに対して、「起き上がり」、「立ち上がり」、「歩行」および「階段昇降」をこの順番で実施するように促す。ＵＩには、生活基盤動作ごとに、生活基盤動作に含まれる要素動作の数および実施済みの要素動作の数が表示されている。
【0266】
動作チェックには、自己評価によるチェックとＡＩを用いたチェック（ＡＩチェック）がある。図２５は、自己評価による歩行動作のチェックの一例を示す図である。
【0267】
歩行動作には、８つの要素動作が含まれる。リハビリテーション対象者ＴＧは、要素動作ごとに、チェック対象となる基本動作（判定項目）の実施、および、実施動作に対する自己評価を行う。図２６の例では、リハビリテーション対象者ＴＧが基本動作を実施する前に、手本となる特定人物ＲＭ（例えば健常者）の映像が表示される。特定人物ＲＭとなる健常者には、理学療法士やトレーナなどが含まれる。リハビリテーション対象者ＴＧは、映像を見ながら特定人物ＲＭの動作をまねる。ＵＩには、要素動作に対して定義された１以上の評価観点が表示される。リハビリテーション対象者ＴＧは、各評価観点に基づいて自己の動作を評価する。
【0268】
図２５の例では、「歩く前の重心移動のチェック」について、「右脚へ重心移動ができたか」および「左脚へ重心移動ができたか」という２つの評価観点が表示されている。「脚を一歩前に出した姿勢のバランスチェック」について、「右脚を一歩前に出した姿勢を保つことができたか」および「左脚を一歩前に出した姿勢を保つことができたか」という２つの評価観点が表示されている。「脚を一歩前に出した姿勢のバランスチェック」については、さらに、「上半身は垂直に保てているか」および「支え脚がまっすぐに伸びているか」という２つの評価観点が続けて表示される。
【0269】
「歩く前の重心移動のチェック」では、「右脚へ重心移動ができたか」および「左脚へ重心移動ができたか」は、いずれもメイン観点である。「脚を一歩前に出した姿勢のバランスチェック」では、「右脚を一歩前に出した姿勢を保つことができたか」および「左脚を一歩前に出した姿勢を保つことができたか」がメイン観点であり、「上半身は垂直に保てているか」および「支え脚がまっすぐに伸びているか」はサブ観点である。
【0270】
リハビリテーション対象者ＴＧは、評価観点に関して自己の動作が合格基準を満たす場合に、チェックボタンにチェックを行う。１つでも合格基準を満たさないメイン観点が存在する場合には、判定項目となる動作が適切に行われていないと判定され、残りの評価観点に基づく評価は行われない。そのため、全てのメイン観点に対してチェックが行われなければ、サブ観点に関するＵＩは表示されない。
【0271】
図２６は、ＡＩによる歩行動作のチェックの一例を示す図である。
【0272】
ＡＩチェックとは、前述した動作分析部２２２による動作チェックを意味する。リハビリテーション対象者ＴＧは、特定人物ＲＭの映像の再生が終了した後、自己評価によるチェックを行うか、ＡＩチェックを行うかを選択することができる。ＡＩチェックが選択された場合には、図６および図１０のフローにしたがって、リハビリテーション対象者ＴＧの撮影および動作分析が行われる。
【0273】
【0274】
出力部１３４は、動作分析に適した動画を得るために、画像および音声を用いて、撮影環境を整えるための手順を提示する。リハビリテーション対象者ＴＧは、提示された手順にしたがって、撮影を行う場所の照明状態を調整したり、背景に不要なものが映り込まないように部屋を整理したりする（図２７参照）。
【0275】
撮影はカメラ１６０（クライアント端末１００）を三脚に設置して行われる。出力部１３４は、カメラ１６０が適切な位置および姿勢で撮影を行えるように、三脚の位置およびカメラ１６０の姿勢についてリハビリテーション対象者ＴＧに指示を行う（図２８および図２９参照）。
【0276】
図２９には、表示装置１７０に表示された水準器を用いてカメラ１６０の水平度を調節する様子が示されている。動作分析を行う場合には、リハビリテーション対象者ＴＧの姿勢が鉛直方向からどの方向にどの程度傾いているかを正確に検知する必要がある。そのため、撮影前の準備として水平度の調整を行うことが望ましい。水平度の調整が完了したら、出力部１３４は、撮影条件決定部１３２で決定された撮影方向を通知する。
【0277】
撮影は、リハビリテーション対象者ＴＧから離れた位置で行われる。そのため、必要な通知は映像（テキスト情報を含む）と音声とを組み合わせて行われる。クライアント端末１００上で直接操作を行うことは難しいため、必要な操作は音声やジェスチャに基づいて行われる。例えば、撮影の開始および終了の処理は、カメラ１６０の映像から撮影開始条件および撮影終了条件となるトリガ（ジェスチャや撮影開始位置への移動など）を検出したことに応答して行われる。
【0278】
例えば、撮影条件決定部１３２は、カメラ１６０に写るリハビリテーション対象者ＴＧの状態が撮影開始条件を満たしたことに応答してリハビリテーション対象者ＴＧの動作の記録を開始する。撮影条件決定部１３２は、撮影開始条件が満たされるまでカメラ１６０の映像を表示装置１７０に表示し、撮影開始条件が満たされて動作の記録が開始されるとカメラ１６０の映像の表示装置１７０への表示を停止する。撮影条件決定部１３２は、撮影開始条件が満たされたことをリハビリテーション対象者ＴＧに通知した後、動作の記録を開始する。
【0279】
図３０の例では、撮影開始位置ＰＯＳがサークルで示されている。撮影の準備が完了したら、リハビリテーション対象者ＴＧは、表示装置１７０に映るカメラの映像を見ながら、映像内に示された撮影開始位置ＰＯＳに移動する。
【0280】
リハビリテーション対象者ＴＧの両足がサークル内に収まっており、且つ、リハビリテーション対象者ＴＧの全身がカメラ１６０の画角に入っている状態（撮影待機状態）が検出されると、画面を縁取るフレーム部ＦＭの色が変わる。撮影待機状態が所定時間だけ継続すると、フレーム部ＦＭが点滅を開始する。さらに撮影待機状態が続くと、音声による撮影開始の通知が行われ、撮影が自動的に開始する。撮影開始後は、リハビリテーション対象者ＴＧが動作に集中できるように、表示装置１７０は消灯される（全面黒表示）。
【0281】
【0282】
出力部１３４は、評価観点ごとに評価結果を提示する。動作の評価は、手本となる特定人物ＲＭとの比較に基づいて行われる。図３２の例では、ポイントとなるフェーズの映像を比較しながら動作の評価が行われる。リハビリテーション対象者ＴＧと特定人物ＲＭの映像は、同一画面上に並べて表示されてもよいし、画面切り替えによって択一的に表示されてもよい。
【0283】
例えば、出力部１３４は、評価観点に対応する特定のフェーズごとにリハビリテーション対象者ＴＧの動きを一時停止し、分析情報ＭＡＩを特定のフェーズにおけるリハビリテーション対象者ＴＧの静止画像とともに表示する。出力部１３４は、分析情報ＭＡＩとして、リハビリテーション対象者ＴＧの骨格情報ＳＩと比較の基準となる特定人物ＲＭの基準骨格情報ＲＳＩとを表示する。出力部１３４は、リハビリテーション対象者ＴＧの骨格情報ＳＩおよび基準骨格情報ＲＳＩとして、特定のフェーズにおいて分析されるべきリハビリテーション対象者ＴＧの部位に対応した骨格の情報を選択的に表示する。
【0284】
［付記］
なお、本技術は以下のような構成も採ることができる。
（１）
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出する姿勢情報抽出部と、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出するステートマシンと、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する動作分析部と、
を有するリハビリテーション支援システム。
（２）
前記動作分析部は、前記リハビリテーション対象者の障害情報に基づいて前記フェーズごとに前記姿勢情報を分析することにより前記分析情報を生成する、
上記（１）に記載のリハビリテーション支援システム。
（３）
前記動画データから、前記フェーズごとに、前記フェーズに応じた特定シーンを示す１以上の特定のフレーム画像を抽出するシーン抽出部を有し、
前記姿勢情報抽出部は、前記１以上の特定のフレーム画像からフレーム画像ごとに前記リハビリテーション対象者の姿勢情報を抽出する、
上記（１）または（２）に記載のリハビリテーション支援システム。
（４）
前記シーン抽出部は、前記特定シーンよりも前のフレーム画像群の姿勢解析結果に基づいて前記特定シーンへの切り替わりを検出し、前記特定シーンへの切り替わりに応じて取得した、前記フレーム画像群よりも高解像度の１以上のフレーム画像を前記１以上の特定のフレーム画像として抽出する、
上記（３）に記載のリハビリテーション支援システム。
（５）
前記シーン抽出部は、前記リハビリテーション対象者と、前記トレーニングまたは前記評価運動に用いられる特定のオブジェクトと、が所定の位置関係にあるときの前記リハビリテーション対象者の動作、または、前記リハビリテーション対象者と前記特定のオブジェクトとの位置関係の変化に基づいて、前記特定シーンへの切り替わりを検出する、
上記（４）に記載のリハビリテーション支援システム。
（６）
前記シーン抽出部は、前記姿勢情報抽出部で用いられる分析モデルよりも姿勢の推定精度が低い分析モデルを用いて前記リハビリテーション対象者の姿勢情報を抽出し、抽出された前記姿勢情報から推定される前記リハビリテーション対象者の姿勢の変化に基づいて前記特定シーンへの切り替わりを検出する、
上記（４）または（５）に記載のリハビリテーション支援システム。
（７）
前記リハビリテーション対象者の障害情報、および、前記トレーニングまたは前記評価運動の種類に基づいて、前記動画データを取得する際の前記リハビリテーション対象者の撮影方向を決定する撮影条件決定部を有する、
上記（１）ないし（６）のいずれか１つに記載のリハビリテーション支援システム。
（８）
前記ステートマシンは、複数の方向から取得される前記姿勢情報によって死角となる情報を補いながら、前記一連の動作に含まれる複数のフェーズを検出する、
上記（７）に記載のリハビリテーション支援システム。
（９）
前記リハビリテーション対象者が立ち上がり動作についてのリハビリテーションを行う場合、前記撮影条件決定部は、前記リハビリテーション対象者の正面方向および側面方向を前記撮影方向として決定する、
上記（８）に記載のリハビリテーション支援システム。
（１０）
前記ステートマシンは、臀部と座面との位置関係、腰の角度の変化、重心点の移動速度の変化、および、腰の高さの変化に基づいて、複数のフェーズを検出する、
上記（９）に記載のリハビリテーション支援システム。
（１１）
前記ステートマシンは、前記臀部が椅子の座面から離れる直前の状態を第１フェーズとして検出する、
上記（１０）に記載のリハビリテーション支援システム。
（１２）
前記ステートマシンは、前記重心点が両足の踝の間にあり、かつ、前記第１フェーズの直後に最も前記腰が曲がった状態を第２フェーズとして検出する、
上記（１１）に記載のリハビリテーション支援システム。
（１３）
前記ステートマシンは、前記第２フェーズの直後に前記重心点の高さ方向の移動速度が最大に達した状態を第３フェーズとして検出する、
上記（１２）に記載のリハビリテーション支援システム。
（１４）
前記ステートマシンは、前記第３フェーズの直後に前記腰の高さが最高点に達し、その後、前記腰の高さが低変動基準を満たす範囲で変動して停止した状態を第４フェーズとして検出する、
上記（１３）に記載のリハビリテーション支援システム。
（１５）
前記動作分析部は、前記側面方向から見た両肩の肩関節の位置ずれに基づいて回旋を検出する、
上記（９）ないし（１４）のいずれか１つに記載のリハビリテーション支援システム。
（１６）
前記フェーズごとに前記リハビリテーション対象者の動きを一時停止し、前記分析情報を前記フェーズにおける前記リハビリテーション対象者の静止画像とともに表示する出力部を有する、
上記（１）ないし（１５）のいずれか１つに記載のリハビリテーション支援システム。
（１７）
前記出力部は、前記分析情報として、健常者の動作との比較を示す情報を表示する、
上記（１６）に記載のリハビリテーション支援システム。
（１８）
前記出力部は、前記分析情報として、前記リハビリテーション対象者の骨格情報と前記比較の基準となる基準骨格情報とを表示する、
上記（１７）に記載のリハビリテーション支援システム。
（１９）
前記出力部は、前記リハビリテーション対象者の骨格情報および前記基準骨格情報として、前記フェーズにおいて分析されるべき前記リハビリテーション対象者の部位に対応した骨格の情報を選択的に表示する、
上記（１８）に記載のリハビリテーション支援システム。
（２０）
前記出力部は、前記リハビリテーション対象者の骨格情報と前記基準骨格情報との間に許容基準を超える差分が生じたタイミングで、前記リハビリテーション対象者の骨格情報および前記基準骨格情報を表示する、
上記（１８）または（１９）に記載のリハビリテーション支援システム。
（２１）
前記出力部は、前記リハビリテーション対象者の骨格情報と前記基準骨格情報とが許容基準を超えて相違する部分の前記リハビリテーション対象者の骨格をハイライト表示する、
上記（１８）ないし（２０）のいずれか１つに記載のリハビリテーション支援システム。
（２２）
前記出力部は、前記分析情報として、前記リハビリテーション対象者の動作を前記健常者の動作に近づけるための指針を示す情報を表示する、
上記（１７）ないし（２１）のいずれか１つに記載のリハビリテーション支援システム。
（２３）
前記出力部は、前記分析情報として、過去の前記リハビリテーション対象者の動作との比較を示す情報を表示する、
上記（１６）ないし（２２）のいずれか１つに記載のリハビリテーション支援システム。
（２４）
前記出力部は、前記分析情報として、現在の前記リハビリテーション対象者の骨格情報と前記比較の基準となる過去の前記リハビリテーション対象者の骨格情報とを含む、
上記（２３）に記載のリハビリテーション支援システム。
（２５）
前記出力部は、現在の前記リハビリテーション対象者の骨格情報と健常者の動作を示す基準骨格情報との間に許容基準を超える差分が生じたタイミングで、現在の前記リハビリテーション対象者の骨格情報および過去の前記リハビリテーション対象者の骨格情報を表示する、
上記（２４）に記載のリハビリテーション支援システム。
（２６）
前記出力部は、現在の前記リハビリテーション対象者の骨格情報と前記基準骨格情報とが許容基準を超えて相違する部分の前記リハビリテーション対象者の骨格をハイライト表示する、
上記（２５）に記載のリハビリテーション支援システム。
（２７）
前記分析情報は、過去から現在までの採点項目ごとの各フェーズの採点結果の推移を示す情報を含む、
上記（１）ないし（２６）のいずれか１つに記載のリハビリテーション支援システム。
（２８）
前記分析情報に基づいて前記リハビリテーション対象者への介入情報を生成する介入情報生成部を有する、
上記（１）ないし（２７）のいずれか１つに記載のリハビリテーション支援システム。
（２９）
前記介入情報は、前記リハビリテーション対象者に動作の改善を促すための判断材料となる判断情報、または、前記リハビリテーション対象者のトレーニングプランを含む、
上記（２８）に記載のリハビリテーション支援システム。
（３０）
前記介入情報生成部は、前記分析情報から前記リハビリテーション対象者の１以上の症状を抽出し、症状ごとに決められた優先度、および、個々の症状の重さに基づいて前記トレーニングプランを決定する、
上記（２９）に記載のリハビリテーション支援システム。
（３１）
前記介入情報生成部は、現在の前記リハビリテーション対象者のレベルを認証する認証情報を生成する、
上記（２８）ないし（３０）のいずれか１つに記載のリハビリテーション支援システム。
（３２）
前記介入情報は、前記認証情報に基づく保険に関する提言を含む、
上記（３１）に記載のリハビリテーション支援システム。
（３３）
前記介入情報は、前記認証情報に基づく薬効についての評価情報を含む、
上記（３１）または（３２）に記載のリハビリテーション支援システム。
（３４）
前記ステートマシンは、指標データベースに記憶されたフェーズごとの判定方法に基づいて前記複数のフェーズを検出する、
上記（１）ないし（３３）のいずれか１つに記載のリハビリテーション支援システム。
（３５）
前記動作分析部は、前記指標データベースに記憶されたフェーズごとの採点項目および採点基準に基づいて、前記フェーズごとに前記リハビリテーション対象者の動作を分析する、
上記（３４）に記載のリハビリテーション支援システム。
（３６）
前記指標データベースは、判定項目ごとの、動画の撮影条件、フェーズの定義、分析対象となる特定シーン、採点項目および採点基準のうちの１以上の情報を、動作分析の指標として記憶する、
上記（３４）または（３５）に記載のリハビリテーション支援システム。
（３７）
前記判定項目は、動作分析の対象となる運動の種類と関連付けられている、
上記（３６）に記載のリハビリテーション支援システム。
（３８）
前記動作分析部は、前記一連の動作の評価結果を、前記リハビリテーション対象者に介入する介入者が保有する端末またはサーバに送信する、
上記（１）ないし（３７）のいずれか１つに記載のリハビリテーション支援システム。
（３９）
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出し、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出し、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する、
ことを有する、コンピュータにより実行される情報処理方法。
（４０）
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出し、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出し、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する、
ことをコンピュータに実現させるプログラム。
（４１）
前記動作分析部は、１以上の評価観点に基づいて各フェーズの評価項目を評価し、各評価観点での評価結果に基づいて前記リハビリテーション対象者の症状分類を行う、
上記（１）に記載のリハビリテーション支援システム。
（４２）
前記１以上の評価観点は、判定項目となる動作が適切に行われたと判定されるために合格基準を満たすことが必須となる１以上のメイン観点を含み、
前記動作分析部は、各フェーズの評価項目に対する評価をメイン観点に基づくものから行い、前記合格基準を満たさないメイン観点が検出された場合には、前記判定項目となる動作が適切に行われていないと判定し、残りの評価観点に基づく評価を停止する、
上記（４１）に記載のリハビリテーション支援システム。
（４３）
前記評価観点に対応する特定のフェーズごとに前記リハビリテーション対象者の動きを一時停止し、前記分析情報を前記特定のフェーズにおける前記リハビリテーション対象者の静止画像とともに表示する出力部を有する、
上記（４１）に記載のリハビリテーション支援システム。
（４４）
前記指標データベースは、障害情報と前記判定項目とを紐づけて記憶し、
前記動作分析部は、前記リハビリテーション対象者の障害情報に紐づけられた前記判定項目の動作を分析する、
上記（３６）に記載のリハビリテーション支援システム。
（４５）
前記撮影条件決定部は、カメラに写る前記リハビリテーション対象者の状態が撮影開始条件を満たしたことに応答して前記リハビリテーション対象者の動作の記録を開始する、
上記（７）に記載のリハビリテーション支援システム。
（４６）
前記撮影条件決定部は、前記撮影開始条件が満たされるまで前記カメラの映像を表示装置に表示し、前記撮影開始条件が満たされて前記動作の記録が開始されると前記カメラの映像の前記表示装置への表示を停止する、
上記（４５）に記載のリハビリテーション支援システム。
（４７）
前記撮影条件決定部は、前記撮影開始条件が満たされたことを前記リハビリテーション対象者に通知した後、前記動作の記録を開始する、
上記（４６）に記載のリハビリテーション支援システム。
なお、本技術は以下のような構成も採ることができる。
（１）
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出する姿勢情報抽出部と、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出するステートマシンと、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する動作分析部と、
を有するリハビリテーション支援システム。
（２）
前記動作分析部は、前記リハビリテーション対象者の障害情報に基づいて前記フェーズごとに前記姿勢情報を分析することにより前記分析情報を生成する、
上記（１）に記載のリハビリテーション支援システム。
（３）
前記動画データから、前記フェーズごとに、前記フェーズに応じた特定シーンを示す１以上の特定のフレーム画像を抽出するシーン抽出部を有し、
前記姿勢情報抽出部は、前記１以上の特定のフレーム画像からフレーム画像ごとに前記リハビリテーション対象者の姿勢情報を抽出する、
上記（１）または（２）に記載のリハビリテーション支援システム。
（４）
前記シーン抽出部は、前記特定シーンよりも前のフレーム画像群の姿勢解析結果に基づいて前記特定シーンへの切り替わりを検出し、前記特定シーンへの切り替わりに応じて取得した、前記フレーム画像群よりも高解像度の１以上のフレーム画像を前記１以上の特定のフレーム画像として抽出する、
上記（３）に記載のリハビリテーション支援システム。
（５）
前記シーン抽出部は、前記リハビリテーション対象者と、前記トレーニングまたは前記評価運動に用いられる特定のオブジェクトと、が所定の位置関係にあるときの前記リハビリテーション対象者の動作、または、前記リハビリテーション対象者と前記特定のオブジェクトとの位置関係の変化に基づいて、前記特定シーンへの切り替わりを検出する、
上記（４）に記載のリハビリテーション支援システム。
（６）
前記シーン抽出部は、前記姿勢情報抽出部で用いられる分析モデルよりも姿勢の推定精度が低い分析モデルを用いて前記リハビリテーション対象者の姿勢情報を抽出し、抽出された前記姿勢情報から推定される前記リハビリテーション対象者の姿勢の変化に基づいて前記特定シーンへの切り替わりを検出する、
上記（４）または（５）に記載のリハビリテーション支援システム。
（７）
前記リハビリテーション対象者の障害情報、および、前記トレーニングまたは前記評価運動の種類に基づいて、前記動画データを取得する際の前記リハビリテーション対象者の撮影方向を決定する撮影条件決定部を有する、
上記（１）ないし（６）のいずれか１つに記載のリハビリテーション支援システム。
（８）
前記ステートマシンは、複数の方向から取得される前記姿勢情報によって死角となる情報を補いながら、前記一連の動作に含まれる複数のフェーズを検出する、
上記（７）に記載のリハビリテーション支援システム。
（９）
前記リハビリテーション対象者が立ち上がり動作についてのリハビリテーションを行う場合、前記撮影条件決定部は、前記リハビリテーション対象者の正面方向および側面方向を前記撮影方向として決定する、
上記（８）に記載のリハビリテーション支援システム。
（１０）
前記ステートマシンは、臀部と座面との位置関係、腰の角度の変化、重心点の移動速度の変化、および、腰の高さの変化に基づいて、複数のフェーズを検出する、
上記（９）に記載のリハビリテーション支援システム。
（１１）
前記ステートマシンは、前記臀部が椅子の座面から離れる直前の状態を第１フェーズとして検出する、
上記（１０）に記載のリハビリテーション支援システム。
（１２）
前記ステートマシンは、前記重心点が両足の踝の間にあり、かつ、前記第１フェーズの直後に最も前記腰が曲がった状態を第２フェーズとして検出する、
上記（１１）に記載のリハビリテーション支援システム。
（１３）
前記ステートマシンは、前記第２フェーズの直後に前記重心点の高さ方向の移動速度が最大に達した状態を第３フェーズとして検出する、
上記（１２）に記載のリハビリテーション支援システム。
（１４）
前記ステートマシンは、前記第３フェーズの直後に前記腰の高さが最高点に達し、その後、前記腰の高さが低変動基準を満たす範囲で変動して停止した状態を第４フェーズとして検出する、
上記（１３）に記載のリハビリテーション支援システム。
（１５）
前記動作分析部は、前記側面方向から見た両肩の肩関節の位置ずれに基づいて回旋を検出する、
上記（９）ないし（１４）のいずれか１つに記載のリハビリテーション支援システム。
（１６）
前記フェーズごとに前記リハビリテーション対象者の動きを一時停止し、前記分析情報を前記フェーズにおける前記リハビリテーション対象者の静止画像とともに表示する出力部を有する、
上記（１）ないし（１５）のいずれか１つに記載のリハビリテーション支援システム。
（１７）
前記出力部は、前記分析情報として、健常者の動作との比較を示す情報を表示する、
上記（１６）に記載のリハビリテーション支援システム。
（１８）
前記出力部は、前記分析情報として、前記リハビリテーション対象者の骨格情報と前記比較の基準となる基準骨格情報とを表示する、
上記（１７）に記載のリハビリテーション支援システム。
（１９）
前記出力部は、前記リハビリテーション対象者の骨格情報および前記基準骨格情報として、前記フェーズにおいて分析されるべき前記リハビリテーション対象者の部位に対応した骨格の情報を選択的に表示する、
上記（１８）に記載のリハビリテーション支援システム。
（２０）
前記出力部は、前記リハビリテーション対象者の骨格情報と前記基準骨格情報との間に許容基準を超える差分が生じたタイミングで、前記リハビリテーション対象者の骨格情報および前記基準骨格情報を表示する、
上記（１８）または（１９）に記載のリハビリテーション支援システム。
（２１）
前記出力部は、前記リハビリテーション対象者の骨格情報と前記基準骨格情報とが許容基準を超えて相違する部分の前記リハビリテーション対象者の骨格をハイライト表示する、
上記（１８）ないし（２０）のいずれか１つに記載のリハビリテーション支援システム。
（２２）
前記出力部は、前記分析情報として、前記リハビリテーション対象者の動作を前記健常者の動作に近づけるための指針を示す情報を表示する、
上記（１７）ないし（２１）のいずれか１つに記載のリハビリテーション支援システム。
（２３）
前記出力部は、前記分析情報として、過去の前記リハビリテーション対象者の動作との比較を示す情報を表示する、
上記（１６）ないし（２２）のいずれか１つに記載のリハビリテーション支援システム。
（２４）
前記出力部は、前記分析情報として、現在の前記リハビリテーション対象者の骨格情報と前記比較の基準となる過去の前記リハビリテーション対象者の骨格情報とを含む、
上記（２３）に記載のリハビリテーション支援システム。
（２５）
前記出力部は、現在の前記リハビリテーション対象者の骨格情報と健常者の動作を示す基準骨格情報との間に許容基準を超える差分が生じたタイミングで、現在の前記リハビリテーション対象者の骨格情報および過去の前記リハビリテーション対象者の骨格情報を表示する、
上記（２４）に記載のリハビリテーション支援システム。
（２６）
前記出力部は、現在の前記リハビリテーション対象者の骨格情報と前記基準骨格情報とが許容基準を超えて相違する部分の前記リハビリテーション対象者の骨格をハイライト表示する、
上記（２５）に記載のリハビリテーション支援システム。
（２７）
前記分析情報は、過去から現在までの採点項目ごとの各フェーズの採点結果の推移を示す情報を含む、
上記（１）ないし（２６）のいずれか１つに記載のリハビリテーション支援システム。
（２８）
前記分析情報に基づいて前記リハビリテーション対象者への介入情報を生成する介入情報生成部を有する、
上記（１）ないし（２７）のいずれか１つに記載のリハビリテーション支援システム。
（２９）
前記介入情報は、前記リハビリテーション対象者に動作の改善を促すための判断材料となる判断情報、または、前記リハビリテーション対象者のトレーニングプランを含む、
上記（２８）に記載のリハビリテーション支援システム。
（３０）
前記介入情報生成部は、前記分析情報から前記リハビリテーション対象者の１以上の症状を抽出し、症状ごとに決められた優先度、および、個々の症状の重さに基づいて前記トレーニングプランを決定する、
上記（２９）に記載のリハビリテーション支援システム。
（３１）
前記介入情報生成部は、現在の前記リハビリテーション対象者のレベルを認証する認証情報を生成する、
上記（２８）ないし（３０）のいずれか１つに記載のリハビリテーション支援システム。
（３２）
前記介入情報は、前記認証情報に基づく保険に関する提言を含む、
上記（３１）に記載のリハビリテーション支援システム。
（３３）
前記介入情報は、前記認証情報に基づく薬効についての評価情報を含む、
上記（３１）または（３２）に記載のリハビリテーション支援システム。
（３４）
前記ステートマシンは、指標データベースに記憶されたフェーズごとの判定方法に基づいて前記複数のフェーズを検出する、
上記（１）ないし（３３）のいずれか１つに記載のリハビリテーション支援システム。
（３５）
前記動作分析部は、前記指標データベースに記憶されたフェーズごとの採点項目および採点基準に基づいて、前記フェーズごとに前記リハビリテーション対象者の動作を分析する、
上記（３４）に記載のリハビリテーション支援システム。
（３６）
前記指標データベースは、判定項目ごとの、動画の撮影条件、フェーズの定義、分析対象となる特定シーン、採点項目および採点基準のうちの１以上の情報を、動作分析の指標として記憶する、
上記（３４）または（３５）に記載のリハビリテーション支援システム。
（３７）
前記判定項目は、動作分析の対象となる運動の種類と関連付けられている、
上記（３６）に記載のリハビリテーション支援システム。
（３８）
前記動作分析部は、前記一連の動作の評価結果を、前記リハビリテーション対象者に介入する介入者が保有する端末またはサーバに送信する、
上記（１）ないし（３７）のいずれか１つに記載のリハビリテーション支援システム。
（３９）
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出し、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出し、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する、
ことを有する、コンピュータにより実行される情報処理方法。
（４０）
リハビリテーション対象者のトレーニングまたは評価運動の動画データから前記リハビリテーション対象者の姿勢情報を抽出し、
前記リハビリテーション対象者の姿勢情報に基づいて、前記トレーニングまたは前記評価運動における前記リハビリテーション対象者の一連の動作に含まれる複数のフェーズを検出し、
前記フェーズごとに前記姿勢情報を分析し、前記一連の動作の評価結果を示す分析情報を生成する、
ことをコンピュータに実現させるプログラム。
（４１）
前記動作分析部は、１以上の評価観点に基づいて各フェーズの評価項目を評価し、各評価観点での評価結果に基づいて前記リハビリテーション対象者の症状分類を行う、
上記（１）に記載のリハビリテーション支援システム。
（４２）
前記１以上の評価観点は、判定項目となる動作が適切に行われたと判定されるために合格基準を満たすことが必須となる１以上のメイン観点を含み、
前記動作分析部は、各フェーズの評価項目に対する評価をメイン観点に基づくものから行い、前記合格基準を満たさないメイン観点が検出された場合には、前記判定項目となる動作が適切に行われていないと判定し、残りの評価観点に基づく評価を停止する、
上記（４１）に記載のリハビリテーション支援システム。
（４３）
前記評価観点に対応する特定のフェーズごとに前記リハビリテーション対象者の動きを一時停止し、前記分析情報を前記特定のフェーズにおける前記リハビリテーション対象者の静止画像とともに表示する出力部を有する、
上記（４１）に記載のリハビリテーション支援システム。
（４４）
前記指標データベースは、障害情報と前記判定項目とを紐づけて記憶し、
前記動作分析部は、前記リハビリテーション対象者の障害情報に紐づけられた前記判定項目の動作を分析する、
上記（３６）に記載のリハビリテーション支援システム。
（４５）
前記撮影条件決定部は、カメラに写る前記リハビリテーション対象者の状態が撮影開始条件を満たしたことに応答して前記リハビリテーション対象者の動作の記録を開始する、
上記（７）に記載のリハビリテーション支援システム。
（４６）
前記撮影条件決定部は、前記撮影開始条件が満たされるまで前記カメラの映像を表示装置に表示し、前記撮影開始条件が満たされて前記動作の記録が開始されると前記カメラの映像の前記表示装置への表示を停止する、
上記（４５）に記載のリハビリテーション支援システム。
（４７）
前記撮影条件決定部は、前記撮影開始条件が満たされたことを前記リハビリテーション対象者に通知した後、前記動作の記録を開始する、
上記（４６）に記載のリハビリテーション支援システム。
【符号の説明】
【0285】
１、１Ａ，１Ｂ リハビリテーション支援システム
１３２ 撮影条件決定部
１３３ シーン抽出部
１３４ 出力部
１４３ 第１分析モデル
１６０ カメラ
１７０ 表示装置
２１４ 姿勢情報抽出部
２２１ ステートマシン
２２２ 動作分析部
２３０ 介入情報生成部
２９７ 第２分析モデル
ＦＩ，ＳＦＩ フレーム画像
ＩＭ 静止画像
ＬＰＩ，ＨＰＩ 姿勢情報
ＭＡＩ 分析情報
ＭＤ 動画データ
ＯＢ オブジェクト
ＲＳＩ 基準骨格情報
ＳＩ 骨格情報
ＴＧ リハビリテーション対象者
ＶＩ 介入情報
１３２ 撮影条件決定部
１３３ シーン抽出部
１３４ 出力部
１４３ 第１分析モデル
１６０ カメラ
１７０ 表示装置
２１４ 姿勢情報抽出部
２２１ ステートマシン
２２２ 動作分析部
２３０ 介入情報生成部
２９７ 第２分析モデル
ＦＩ，ＳＦＩ フレーム画像
ＩＭ 静止画像
ＬＰＩ，ＨＰＩ 姿勢情報
ＭＡＩ 分析情報
ＭＤ 動画データ
ＯＢ オブジェクト
ＲＳＩ 基準骨格情報
ＳＩ 骨格情報
ＴＧ リハビリテーション対象者
ＶＩ 介入情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】