特許 6381918 動作情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6381918

(24)【登録日】2018年8月10日

(45)【発行日】2018年8月29日

(54)【発明の名称】動作情報処理装置

(51)【国際特許分類】

   A61B 5/11 20060101AFI20180820BHJP

   G06T 13/40 20110101ALI20180820BHJP

【ＦＩ】

   A61B5/11 200

   G06T13/40

   A61B5/11 230

【請求項の数】22

【全頁数】61

(21)【出願番号】特願2014-10603(P2014-10603)

(22)【出願日】2014年1月23日

(65)【公開番号】特開2015-109937(P2015-109937A)

(43)【公開日】2015年6月18日

【審査請求日】2016年11月8日

(31)【優先権主張番号】特願2013-10524(P2013-10524)

(32)【優先日】2013年1月23日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2013-10547(P2013-10547)

(32)【優先日】2013年1月23日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2013-223470(P2013-223470)

(32)【優先日】2013年10月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】特許業務法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】宇都宮 和樹

(72)【発明者】

【氏名】坂上 弘祐

(72)【発明者】

【氏名】小西 勇人

(72)【発明者】

【氏名】池田 智

【審査官】 松本 隆彦

(56)【参考文献】

【文献】 再公表特許第２０１１／０１３２９９（ＪＰ，Ａ１）

【文献】 特開２００６−３２３８３９（ＪＰ，Ａ）

【文献】 特開２００９−０１７１７９（ＪＰ，Ａ）

【文献】 特開２００８−０１６０４２（ＪＰ，Ａ）

【文献】 特開２００６−３５０５７８（ＪＰ，Ａ）

【文献】 特開２０１３−２４７５８６（ＪＰ，Ａ）

【文献】 特開２００９−７４８３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ５／１１

Ｇ０８Ｂ２５／００

Ｇ０６Ｔ７／２０

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

所定の動作を実行する対象者に対して複数の異なる位置から収集された当該対象者の動作情報をそれぞれ取得する取得部と、
前記取得部によって取得された各動作情報にそれぞれ含まれる前記対象者の特徴点の位置に基づいて、前記各動作情報を位置合わせするための関連情報を算出する算出部と、
前記算出部によって算出された関連情報に基づいて、前記各動作情報が位置合わせされた出力情報を出力部にて出力させるように制御する出力制御部と、
を備え、
前記出力制御部は、前記出力部の表示面内において、前記算出部によって算出された位置関係に応じた位置又は予め設定された前記複数の動作情報が収集される各位置に、前記異なる動作情報によって示される画像を配置した表示情報を出力させるように制御する、動作情報処理装置。

【請求項2】

前記算出部は、前記取得部によって取得された複数の動作情報にそれぞれ含まれる前記特徴点の位置の相対関係又は絶対値を用いて前記関連情報を算出する、請求項１に記載の動作情報処理装置。

【請求項3】

前記算出部は、前記関連情報として、前記取得部によって取得された複数の動作情報にそれぞれ含まれる前記特徴点の位置の移動を比較することで、前記複数の動作情報が収集された各位置の位置関係を算出する、請求項１又は２に記載の動作情報処理装置。

【請求項4】

前記複数の動作情報にそれぞれ含まれる前記特徴点の位置を指定するための指定操作を受付ける受付け部をさらに備え、
前記算出部は、前記受付け部によって受付けられた前記特徴点の位置に基づいて、前記関連情報を算出する、請求項１〜３のいずれか一つに記載の動作情報処理装置。

【請求項5】

前記出力制御部は、前記複数の動作情報に含まれる対象者の動きに応じて、前記複数の動作情報を表示する際の表示情報を変化させる、請求項１〜４のいずれか一つに記載の動作情報処理装置。

【請求項6】

前記出力制御部は、前記歩行動作を実行する対象者から収集された当該対象者の動作情報に応じて、前記表示情報を変化させて表示させる、請求項５に記載の動作情報処理装置。

【請求項7】

前記取得部は、前記対象者の歩行の進行方向に沿った複数の位置から収集された当該対象者の動作情報をそれぞれ取得する、請求項１〜６のいずれか一つに記載の動作情報処理装置。

【請求項8】

前記取得部は、前記対象者の進行方向と平行となる方向、前記進行方向と所定の角度をなす方向、又は、前記進行方向と直交する方向で前記複数の位置から収集された当該対象者の動作情報をそれぞれ取得する、請求項７に記載の動作情報処理装置。

【請求項9】

前記取得部は、前記対象者によって実行される前記所定の動作における一連の動作情報を収集できるように複数の位置から収集された当該対象者の動作情報をそれぞれ取得する、請求項１〜６のいずれか一つに記載の動作情報処理装置。

【請求項10】

前記出力制御部は、歩行動作を実行する対象者の動作情報に基づいて生成された当該対象者の所定の部位の移動の軌跡を示す軌跡情報、前記所定の部位における速度情報、又は、前記対象者の所定の部位の角度情報を含めた出力情報を前記出力部にて出力させるように制御する、請求項１〜９のいずれか一つに記載の動作情報処理装置。

【請求項11】

前記取得部によって取得される動作情報とは種類の異なる対象者情報を取得する対象者情報取得部と、
前記動作情報と前記対象者情報とを関連付けた表示情報を生成する生成部と、
をさらに備え、
前記表示制御部は、前記生成部によって生成された表示情報を前記出力部にて表示させるように制御する、請求項１〜１０のいずれか一つに記載の動作情報処理装置。

【請求項12】

前記生成部は、前記対象者が前記所定の動作を実行した場合の当該対象者の対象者情報を前記表示情報として生成する、請求項１１に記載の動作情報処理装置。

【請求項13】

前記対象者情報取得部は、前記対象者情報として生体情報を取得し、
前記生成部は、前記対象者が前記所定の動作を実行した場合の当該対象者の生体情報を前記表示情報として生成する、請求項１１又は１２に記載の動作情報処理装置。

【請求項14】

前記取得部によって取得された動作情報を用いて、前記対象者の動作を解析する解析部をさらに備え、
前記生成部は、前記解析部によって解析された対象者の動作に含まれる前記所定の動作を実行した時点の対象者情報を前記表示情報として生成する、請求項１１〜１３のいずれか一つに記載の動作情報処理装置。

【請求項15】

前記取得部は、前記動作情報と比較して高精度である高精度動作情報を取得し、
前記解析部は、前記取得部によって取得された高精度動作情報を用いて、前記動作情報を補正した後に、前記対象者の動作を解析する、請求項１４に記載の動作情報処理装置。

【請求項16】

前記表示制御部は、前記解析部による解析結果に基づいて、警告情報を含む表示情報を前記出力部にて表示させるように制御する、請求項１４又は１５に記載の動作情報処理装置。

【請求項17】

移動動作を実行する対象者に対して所定の位置から当該対象者の動作情報を収集するように、前記動作情報を収集するセンサを移動させる移動部と、
前記センサによって収集され、前記取得部によって取得された動作情報に基づいて、前記対象者の移動動作を解析する解析部と、
をさらに備える、請求項１〜１６のいずれか一つに記載の動作情報処理装置。

【請求項18】

前記移動部は、前記対象者の動作情報を収集するセンサの認識範囲内に前記移動動作を実行する対象者が入るように前記センサの位置を変化させ、
前記取得部は、前記センサによって収集された前記対象者の動作情報を取得し、
前記解析部は、前記取得部によって取得された前記移動動作を実行する対象者の動作情報、及び、前記センサの位置の変化量に基づいて、前記対象者の移動動作を解析する、請求項１７に記載の動作情報処理装置。

【請求項19】

前記解析部は、前記取得部によって取得された経時的な動作情報を用いて前記センサとの相対位置を算出し、算出した相対位置及び前記センサの位置の変化量に基づいて、前記対象者の移動動作を解析する、請求項１８に記載の動作情報処理装置。

【請求項20】

前記センサの位置の変化量は、前記センサの加速度から算出された当該センサの移動速度に基づいて算出される、請求項１８又は１９に記載の動作情報処理装置。

【請求項21】

前記移動部は、前記対象者に対して所定の範囲内で前記移動動作を実行させ、
前記取得部は、前記移動部において前記移動動作を実行する対象者から所定の距離で収集された当該対象者の動作情報を取得する、請求項１７に記載の動作情報処理装置。

【請求項22】

前記移動部は動く床であり、
前記取得部は、前記動く床のうえで移動動作を実行する対象者の動作情報を取得し、
前記解析部は、前記取得部によって取得された前記移動動作を実行する対象者の動作情報、及び、前記動く床の移動量に基づいて、前記対象者の移動動作を解析する、請求項２１に記載の動作情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施の形態は、動作情報処理装置に関する。

【背景技術】

【0002】

従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。

【0003】

一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平９−５６６９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、リハビリを実行する対象者に対して有効な支援を行うことを可能にする動作情報処理装置を提供することである。

【課題を解決するための手段】

【0006】

実施の形態の動作情報処理装置は、取得部と、算出部と、出力制御部とを備える。取得部は、所定の動作を実行する対象者に対して複数の異なる位置から収集された当該対象者の動作情報をそれぞれ取得する。算出部は、前記取得部によって取得された各動作情報にそれぞれ含まれる前記対象者の特徴点の位置に基づいて、前記各動作情報を位置合わせするための関連情報を算出する。出力制御部は、前記算出部によって算出された関連情報に基づいて、前記各動作情報が位置合わせされた出力情報を出力部にて出力させるように制御する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る動作情報処理装置の構成の一例を示す図である。

【図2】図２は、第１の実施形態に係る動作情報収集部の構成の一例を示す図である。

【図3A】図３Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。

【図3B】図３Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。

【図3C】図３Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。

【図4】図４は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。

【図5】図５は、第１の実施形態に係る動作情報処理装置の詳細な構成の一例を示す図である。

【図6】図６は、第１の実施形態に係る動作情報記憶部によって記憶される動作情報の一例を示す図である。

【図7A】図７Ａは、第１の実施形態に係る取得部によって取得される動作情報の一例を説明するための模式図である。

【図7B】図７Ｂは、第１の実施形態に係る取得部によって取得される動作情報の一例を説明するための模式図である。

【図7C】図７Ｃは、第１の実施形態に係る取得部によって取得される動作情報の一例を説明するための模式図である。

【図7D】図７Ｄは、第１の実施形態に係る取得部によって取得される動作情報の一例を説明するための模式図である。

【図8】図８は、第１の実施形態に係る位置算出部による処理の一例を説明するための図である。

【図9】図９は、第１の実施形態に係る表示制御部によって表示される表示情報の一例を示す図である。

【図10】図１０は、第１の実施形態に係る表示制御部によって表示される表示情報の一例を示す図である。

【図11】図１１は、第１の実施形態に係る動作情報の同期の変形例を説明するための図である。

【図12】図１２は、第１の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。

【図13】図１３は、第２の実施形態に係る位置算出部による処理の一例を説明するための図である。

【図14】図１４は、第２の実施形態に係る表示制御部によって表示される表示情報の一例を示す図である。

【図15】図１５は、第３の実施形態に係る表示制御部によって表示される表示情報の一例を説明するための図である。

【図16】図１６は、第３の実施形態に係る表示制御部によって表示される表示情報の表示例を示す図である。

【図17A】図１７Ａは、第４の実施形態に係る表示制御部によって制御される表示情報の一例を説明するための図である。

【図17B】図１７Ｂは、第４の実施形態に係る表示制御部によって制御される表示情報の一例を説明するための図である。

【図18A】図１８Ａは、第４の実施形態に係る動作情報収集部の配置の一例を示す図である。

【図18B】図１８Ｂは、第４の実施形態に係る動作情報収集部の配置の一例を示す図である。

【図19】図１９は、第４の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。

【図20】図２０は、第５の実施形態に係る動作情報処理装置の構成の一例を示す図である。

【図21】図２１は、第５の実施形態に係る対象者情報収集部として適用されるセンサの一例を示す図である。

【図22】図２２は、第５の実施形態に係る動作情報処理装置の詳細な構成の一例を示す図である。

【図23】図２３は、第５の実施形態に係る動作情報記憶部によって記憶される動作情報の一例を示す図である。

【図24】図２４は、第５の実施形態に係る対象者情報記憶部によって記憶される対象者情報の一例を示す図である。

【図25】図２５は、第５の実施形態に係る取得部によって取得される動作情報の一例を説明するための模式図である。

【図26】図２６は、第５の実施形態に係る表示情報生成部によって生成される表示情報の一例を示す図である。

【図27】図２７は、第５の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。

【図28A】図２８Ａは、第６の実施形態に係る動作情報収集の一例を説明するための図である。

【図28B】図２８Ｂは、第６の実施形態に係る動作情報収集の一例を説明するための図である。

【図29A】図２９Ａは、第７の実施形態に係る表示情報生成部によって生成される表示情報の一例を示す図である。

【図29B】図２９Ｂは、第７の実施形態に係る表示情報生成部によって生成される表示情報の一例を示す図である。

【図30】図３０は、第７の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。

【図31】図３１は、第８の実施形態に係る動作情報処理装置の構成の一例を示す図である。

【図32】図３２は、第８の実施形態に係る動作情報処理装置の詳細な構成の一例を示す図である。

【図33】図３３は、第８の実施形態に係る取得部によって取得される動作情報の一例を説明するための模式図である。

【図34】図３４は、第８の実施形態に係る解析部による動作情報収集部の移動距離の算出例を説明するための図である。

【図35】図３５は、第８の実施形態に係る解析部による対象者の位置の解析例を説明するための図である。

【図36】図３６は、第８の実施形態に係る解析部による歩行訓練の解析の一例を説明するための図である。

【図37】図３７は、第８の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。

【図38】図３８は、第９の実施形態に係る移動機構の一例を示す図である。

【図39】図３９は、第１０の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。

【発明を実施するための形態】

【0008】

以下、図面を参照して、実施形態に係る動作情報処理装置を説明する。なお、以下で説明する動作情報処理装置は、動作情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。ここで、本願に係る動作情報処理装置は、リハビリを実行する対象者の詳細な動作の情報を取得したり、リハビリを実行する対象者の精密な情報を取得したり、移動動作を実行する対象者に対して安定した支援を行ったりすることにより、リハビリを実行する対象者に対して有効な支援を行う。以下、第１〜第４の実施形態において、リハビリを実行する対象者の詳細な動作の情報を取得する動作情報処理装置について説明し、第５〜第７の実施形態において、リハビリを実行する対象者の精密な情報を取得する動作情報処理装置について説明し、第８〜１０の実施形態において、移動動作を実行する対象者に対して安定した支援を行う動作情報処理装置について説明する。

【0009】

（第１の実施形態）
図１は、第１の実施形態に係る動作情報処理装置１００の構成の一例を示す図である。第１の実施形態に係る動作情報処理装置１００は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。

【0010】

図１に示すように、第１の実施形態において、動作情報処理装置１００は、動作情報収集部１０ａ及び動作情報収集部１０ｂに接続される。なお、図１においては、２つの動作情報収集部を図示しているが、実施形態はこれに限定されるものではなく、例えば、３つ以上の動作情報収集部が動作情報処理装置１００に接続される場合であってもよい。また、以下、動作情報収集部１０ａ及び動作情報収集部１０ｂについて区別しない場合に、それらをまとめて動作情報収集部１０として説明する場合がある。

【0011】

動作情報収集部１０ａ及び動作情報収集部１０ｂについて説明する。なお、動作情報収集部１０ａ及び動作情報収集部１０ｂは、同様の処理を実行するため、まとめて動作情報収集部１０として説明する。図２は、第１の実施形態に係る動作情報収集部１０の構成の一例を示す図である。動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部１４の処理を説明する際に詳述する。また、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。

【0012】

図２に示すように、動作情報収集部１０は、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図２に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。

【0013】

カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。

【0014】

距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。

【0015】

音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。

【0016】

動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。

【0017】

図３Ａから図３Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図３Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図３Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。

【0018】

第１の実施形態においては、例えば、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。

【0019】

ここで、人体パターンについて説明する。図３Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図３Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。

【0020】

図３Ｂに示す例では、人体パターンは、関節２ａから関節２ｔまでの２０点の関節の情報を有する。このうち、関節２ａは、頭部に対応し、関節２ｂは、両肩の中央部に対応し、関節２ｃは、腰に対応し、関節２ｄは、臀部の中央部に対応する。また、関節２ｅは、右肩に対応し、関節２ｆは、右肘に対応し、関節２ｇは、右手首に対応し、関節２ｈは、右手に対応する。また、関節２ｉは、左肩に対応し、関節２ｊは、左肘に対応し、関節２ｋは、左手首に対応し、関節２ｌは、左手に対応する。また、関節２ｍは、右臀部に対応し、関節２ｎは、右膝に対応し、関節２ｏは、右足首に対応し、関節２ｐは、右足の足根に対応する。また、関節２ｑは、左臀部に対応し、関節２ｒは、左膝に対応し、関節２ｓは、左足首に対応し、関節２ｔは、左足の足根に対応する。

【0021】

なお、図３Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節２ａから関節２ｄまでのうち、関節２ｂ及び関節２ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節２ｈのみならず、右手の指の関節を新たに設定して良い。なお、図３Ｂの関節２ａ、関節２ｈ、関節２ｌ、関節２ｐ、関節２ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。

【0022】

動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図３Ｂに示す人体パターンの人体表面と、図３Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図３Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。

【0023】

なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節２ａと関節２ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。

【0024】

続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。

【0025】

ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。

【0026】

そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図４は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図４に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図４において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「２ａ」は、頭部に対応し、関節識別情報「２ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。

【0027】

図４の１行目には、関節識別情報「２ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図４の２行目には、関節識別情報「２ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図４の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。

【0028】

このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、動作情報処理装置１００へ出力し、後述の動作情報記憶部１３０１へ格納する。

【0029】

なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。

【0030】

また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。

【0031】

また、動作情報生成部１４は、カラー画像収集部１１によって生成されたカラー画像情報、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３０１へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節２ａがあれば、その関節２ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３０１へ格納する。

【0032】

なお、ここでは、動作情報収集部１０によって一人の対象者の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の検知範囲に含まれていれば、動作情報収集部１０は、複数人の対象者の動作を検知しても良い。

【0033】

また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて動作情報処理装置１００へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を動作情報処理装置１００へ出力しない場合には、音声認識部１３を有していなくても良い。

【0034】

更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、動作情報処理装置１００側で行ってもよい。以上、動作情報収集部１０の詳細な例について説明した。例えば、動作情報処理装置１００に接続された動作情報収集部１０ａ及び動作情報収集部１０ｂは、それぞれ上述した構成を備える。

【0035】

図１の説明に戻る。動作情報処理装置１００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。具体的には、動作情報処理装置１００は、動作情報収集部１０ａ及び動作情報収集部１０ｂによって収集されたリハビリを実行する対象者の動作情報を同期して表示する。

【0036】

上述したように、従来、リハビリテーションの機能訓練においては、歩行訓練や、関節可動域訓練などの種々の訓練が行われている。ここで、これらの訓練においては、例えば
対象者を多方向から観察したり、所定の距離をとって実行されたりする訓練がある。一例を挙げると、歩行訓練においては、約１０ｍ程度の距離を歩行する場合があったり、その様子を前方や側方から観察する場合があったりする。そこで、本実施形態に係る動作情報処理装置１００は、リハビリを実行する対象者の詳細な動作の情報を取得することを可能にするように構成される。

【0037】

例えば、動作情報処理装置１００は、コンピュータ、ワークステーション等の情報処理装置であり、図１に示すように、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。

【0038】

出力部１１０は、リハビリを実行する対象者の動作に係る各種情報などを出力する。例えば、出力部１１０は、動作情報処理装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、動作情報処理装置１００において対象者の歩行状態を示す画像情報を表示したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。

【0039】

入力部１２０は、リハビリを実行する対象者の動作に係る各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報処理装置１００の操作者から各種要求（例えば、表示される画像の選択要求や、ＧＵＩ上で計測を実行させるための計測要求など）の入力を受け付け、受け付けた各種要求を動作情報処理装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部１２０は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。

【0040】

記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。

【0041】

以上、第１の実施形態に係る動作情報処理装置１００の構成について説明した。かかる構成のもと、第１の実施形態に係る動作情報処理装置１００は、以下、詳細に説明する構成により、リハビリを実行する対象者の詳細な動作の情報を取得することを可能にする。図５は、第１の実施形態に係る動作情報処理装置１００の詳細な構成の一例を示す図である。まず、動作情報処理装置１００における記憶部１３０の詳細について説明する。図５に示すように、動作情報処理装置１００においては、例えば、記憶部１３０が動作情報記憶部１３０１と、位置情報記憶部１３０２とを備える。

【0042】

動作情報記憶部１３０１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３０１は、動作情報収集部１０ａ及び動作情報収集部１０ｂそれぞれの動作情報生成部１４によって生成された各動作情報を記憶する。より具体的には、動作情報記憶部１３０１は、各動作情報収集部１０の動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３０１は、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。

【0043】

図６は、第１の実施形態に係る動作情報記憶部１３０１によって記憶される動作情報の一例を示す図である。動作情報記憶部１３０１は、図６に示すように、氏名ごとに、氏名番号と、実施日と、センサと、動作情報とを対応付けた動作情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者がリハビリの訓練を実施した日時を示す。「センサ」とは、リハビリを実行している対象者の動作情報を収集したセンサを示す。「動作情報」とは、動作情報収集部１０ａ又は動作情報収集部１０ｂによって収集された情報を示す。

【0044】

例えば、動作情報記憶部１３０１は、図６に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、センサ：１０ａ、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。また、例えば、動作情報記憶部１３０１は、図６に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、センサ：１０ｂ、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」のリハビリにおいて、「センサ：１０ａ」によって収集された動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報など」と、「センサ：１０ｂ」によって収集された動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報など」とが記憶されていることを示す。

【0045】

ここで、図６に示す動作情報においては、リハビリの動作を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」などが時系列順に時間に対応付けて、センサごとに記憶される。すなわち、動作情報記憶部１３０１は、１回のリハビリ動作中に動作情報収集部１０ａ及び動作情報収集部１０ｂによってそれぞれ収集された「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」などを収集された時間に対応付けて記憶する。換言すると、動作情報記憶部１３０１は、動作情報収集部１０ａ及び動作情報収集部１０ｂによって収集された動作情報をフレームの時間でそれぞれ対応付けて記憶する。

【0046】

また、動作情報記憶部１３０１は、図６に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、センサ：１０ａ、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」及び「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、センサ：１０ｂ、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、動作情報記憶部１３０１は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」のリハビリにおける動作情報も同様に記憶する。

【0047】

同様に、動作情報記憶部１３０１は、図６に示すように、他の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」などを含む動作情報を記憶する。このように、動作情報記憶部１３０１は、対象者ごとに収集されたリハビリの動作情報を、それぞれの対象者に対応付けて記憶する。なお、図６に示す動作情報はあくまでも一例である。すなわち、動作情報記憶部１３０１は、図６に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報がさらに対応付けて記憶することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果が含まれないものとして記憶することとなる。

【0048】

位置情報記憶部１３０２は、後述する制御部１４０による解析結果を記憶する。具体的には、位置情報記憶部１３０２は、後述する制御部１４０が動作情報記憶部１３０１によって記憶された動作情報を用いて算出したセンサ間の位置を補正するための位置情報を記憶する。なお、位置情報については、後述する。

【0049】

次に、動作情報処理装置１００の制御部１４０の詳細について説明する。図５に示すように、動作情報処理装置１００においては、例えば、制御部１４０が取得部１４０１と、位置算出部１４０２と、表示制御部１４０３とを備える。

【0050】

取得部１４０１は、所定の動作（例えば、リハビリなど）を実行する対象者に対して異なる位置から収集した当該対象者の動作情報をそれぞれ取得する。具体的には、取得部１４０１は、動作情報記憶部１３０１によって記憶された動作情報を取得する。例えば、取得部１４０１は、動作情報収集部１０ａ及び動作情報収集部１０ｂによってそれぞれ収集された動作情報を取得する。一例を挙げると、取得部１４０１は、動作情報収集部１０ａ及び動作情報収集部１０ｂによってそれぞれ収集され、動作情報記憶部１３０１によってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報をそれぞれ取得する。

【0051】

図７Ａ〜図７Ｄは、第１の実施形態に係る取得部１４０１によって取得される動作情報の一例を説明するための模式図である。図７Ａにおいては、動作情報収集部１０ａと、動作情報収集部１０ｂとが図示のように配置（動作情報収集部１０ａの位置からスライド移動された位置に動作情報収集部１０ａを配置）され、対象者がｚ軸方向に沿って歩行訓練を実施している状態の動作情報を取得する場合について示す。例えば、取得部１４０１は、図７Ａに示すように、対象者がｚ軸方向に沿って歩行訓練を実施している際に、動作情報収集部１０ａによって収集された動作情報と、動作情報収集部１０ｂによって収集された動作情報とを、動作情報記憶部１３０１から取得する。

【0052】

すなわち、取得部１４０１は、図７Ａに示すように、動作情報収集部１０ａの撮影領域である領域Ｒ１における対象者のカラー画像情報、距離画像情報及び骨格情報などを取得するとともに、動作情報収集部１０ｂの撮影領域である領域Ｒ２における対象者のカラー画像情報、距離画像情報及び骨格情報などを取得する。ここで、取得部１４０１は、例えば、氏名、氏名番号、実施日などをキーとしてそれぞれの動作情報を取得する。換言すると、取得部１４０１は、各動作情報収集部１０によって収集された対象者の歩行訓練における一連の歩行動作にかかる全てのフレームのカラー画像情報、距離画像情報及び骨格情報をそれぞれ取得する。或いは、取得部１４０１は、リアルタイムで動作情報記憶部１３０１に格納される各動作情報をリアルタイムに取得する。

【0053】

なお、上述した例はあくまでも一例であり、取得部１４０１は、その他種々の状態に配置された動作情報収集部１０ａと、動作情報収集部１０ｂとによって収集された動作情報を取得することができる。例えば、取得部１４０１は、図７Ｂに示すように、動作情報収集部１０ａと、動作情報収集部１０ｂとがｚ軸方向に沿って配置され、対象者がｚ軸方向に沿って歩行訓練を実施している際に、動作情報収集部１０ａによって収集された動作情報と、動作情報収集部１０ｂによって収集された動作情報とを、動作情報記憶部１３０１から取得する。

【0054】

また、例えば、取得部１４０１は、図７Ｃに示すように、動作情報収集部１０ａと、動作情報収集部１０ｂとがｚ軸方向に沿って斜め方向に向けた状態で配置され、対象者がｚ軸方向に沿って歩行訓練を実施している際に、動作情報収集部１０ａによって収集された動作情報と、動作情報収集部１０ｂによって収集された動作情報とを、動作情報記憶部１３０１から取得する。動作情報収集部１０ａと、動作情報収集部１０ｂとがこのように配置されることで、対象者の歩行の妨げとならないように歩行ルートが確保される。なお、動作情報収集部１０ａと、動作情報収集部１０ｂとが図示のように配置された場合においても、動作情報のデータを３次元変換することにより、対象者を正面から表示させることができる。例えば、対象者の歩行の進行方向（ｚ軸方向）に対する動作情報収集部１０ａ及び動作情報収集部１０ｂの向きの角度情報を取得して、角度情報を用いて動作情報の３次元変換を行う。

【0055】

また、例えば、取得部１４０１は、図７Ｄに示すように、動作情報収集部１０ａと、動作情報収集部１０ｂとがｚ軸方向に沿って真横方向（ｚ軸方向）に向けた状態で配置され、対象者がｚ軸方向に沿って歩行訓練を実施している際に、動作情報収集部１０ａによって収集された動作情報と、動作情報収集部１０ｂによって収集された動作情報とを、動作情報記憶部１３０１から取得する。これにより、対象者の歩行にかかる動作情報を真横から取得し続けることができる。

【0056】

図５に戻って、位置算出部１４０２は、取得部１４０１によって取得された各動作情報を関連付けるための関連情報を算出する。具体的には、位置算出部１４０２は、取得部１４０１によって取得された各動作情報を同期させるための同期情報を算出する。より具体的には、位置算出部１４０２は、動作情報収集部１０ａ及び動作情報収集部１０ｂによってそれぞれ収集された動作情報の位置を同期させる（位置を合わせる）ための同期情報を算出する。以下、位置算出部１４０２による処理の一例を説明する。

【0057】

図８は、第１の実施形態に係る位置算出部１４０２による処理の一例を説明するための図である。図８においては、図７Ａに示す対象者の歩行訓練において、動作情報収集部１０ａと動作情報収集部１０ｂとによってそれぞれ収集された動作情報を同期させる場合について示す。また、図８の（Ａ）においては、動作情報収集部１０ａによって収集されたあるフレームにおける動作情報を模式的に示す。また、図８の（Ｂ）においては、動作情報収集部１０ｂによって収集された、（Ａ）と同一時間のフレームにおける動作情報を模式的に示す。

【0058】

例えば、位置算出部１４０２は、まず、図８の（Ａ）に示すように、動作情報収集部１０ａによって収集されたあるフレームにおいて、腰の関節に対応する２ｃの座標情報（８，３０，１０）を抽出する。さらに、位置算出部１４０２は、図８の（Ｂ）に示すように、動作情報収集部１０ｂによって収集された、（Ａ）と同一時間のフレームにおける腰の関節に対応する２ｃの座標情報（２，４５，３）を抽出する。

【0059】

すなわち、図７Ａを用いて説明すると、位置算出部１４０２は、例えば、領域Ｒ１における対象者の２ｃの座標（８，３０，１０）と領域Ｒ２における対象者の２ｃの座標（２，４５，３）とを抽出する。そして、位置算出部１４０２は、抽出した２つの座標から動作情報収集部１０ａと、動作情報収集部１０ｂとの位置の相対関係を算出する。例えば、位置算出部１４０２は、２つの２ｃの座標（８，３０，１０）と（２，４５，３）とから、２つの動作情報収集部１０ａ及び動作情報収集部１０ｂの位置の相対関係（２−８，４５−３０，３−１０）＝（−６，１５，−７）を算出する。そして、位置算出部１４０２は、算出した相対関係の情報を動作情報と対応付けて位置情報記憶部１３０２に格納する。

【0060】

なお、上述した例はあくまでも一例である。すなわち、相対位置を算出するために抽出される位置は、腰に対応する関節２ｃに限定されるものではなく、例えば、その他の関節が用いられる場合であってもよい。また、相対位置を算出するために抽出されるものは、関節に限定されるものではなく、例えば、各動作情報にそれぞれ含まれる任意の点であってもよい。ここで、任意の点としては、例えば、所定の目印（例えば、運動訓練に用いられる平行棒やダンベル、壁、ドアノブ、電球（光源）などの日常品など）が挙げられる。すなわち、位置算出部１４０２は、各動作情報収集部１０によって収集された動作情報に含まれる所定の目印を用いて、各動作情報収集部１０の相対位置を算出する。

【0061】

図５に戻って、表示制御部１４０３は、位置算出部１４０２によって算出された関連情報に基づいて、動作情報を関連付けた出力情報を出力部１１０にて出力させる。具体的には、表示制御部１４０３は、位置算出部１４０２によって算出された同期情報に基づいて、動作情報を同期させた出力情報を出力部１１０にて出力させる。より具体的には、表示制御部１４０３は、同期情報に基づいて、対象者の位置を合わせた表示情報を出力部１１０にて表示させるように制御する。より具体的には、表示制御部１４０３は、位置情報記憶部１３０２によって記憶された相対位置の情報を用いて、各動作情報に含まれる対象者の位置を合わせた表示情報を表示させる。

【0062】

図９は、第１の実施形態に係る表示制御部１４０３によって表示される表示情報の一例を示す図である。ここで、図９においては、動作情報収集部１０ａによって収集されたカラー画像情報Ｉ１と動作情報収集部１０ｂによって収集されたカラー画像情報Ｉ２とを位置合わせして表示する場合について示す。例えば、表示制御部１４０３は、位置算出部１４０２によって算出された同期情報を用いて、カラー画像情報Ｉ１とカラー画像情報Ｉ２とを同期させた（位置合わせした）表示画像を出力部１１０にて表示させる。

【0063】

例えば、位置算出部１４０２によって、２つの動作情報収集部１０の位置の相対関係（−６，１５，−７）が算出されると、表示制御部１４０３は、算出された相対関係（−６，１５，−７）によって、各動作情報収集部１０における世界座標系の位置を位置合わせした後に、距離画像座標系に変換することで、同一画面上で２つのカラー画像情報の位置を合わせた表示画像を表示させる。すなわち、表示制御部１４０３は、図９に示すように、算出された相対関係（−６，１５，−７）を用いて、カラー画像情報Ｉ１の世界座標系の位置をカラー画像情報Ｉ２の世界座標系の位置に位置合わした後に、距離画像座標系に変換することで、カラー画像情報Ｉ２にカラー画像情報Ｉ１を同期させた表示画像を出力部１１０に表示させる。

【0064】

従って、表示制御部１４０３によって位置合わせされた後の表示情報においては、図９に示すように、カラー画像情報Ｉ１とカラー画像情報Ｉ２とをつなげた領域内を単一の対象者が歩行する様子を表示させることができる。

【0065】

このように、第１の実施形態に係る動作情報処理装置１００は、複数の動作情報収集部１０によって収集された動作情報それぞれを位置合わせして表示させることができる。すなわち、動作情報処理装置１００は、複数の動作情報収集部１０によって収集された複数の動作情報を一つの画像上につなげて表示させることができる。従って、動作情報処理装置１００は、図１０に示すような画像の表示も可能である。

【0066】

図１０は、第１の実施形態に係る表示制御部１４０３によって表示される表示情報の一例を示す図である。図１０においては、図１０の（Ａ）に動作情報収集部１０ａによって収集されたカラー画像情報Ｉ３と動作情報収集部１０ｂによって収集されたカラー画像情報Ｉ４とをつなげた表示情報の例を示す。図１０の（Ａ）におけるカラー画像情報は、例えば、図７Ｄに示すように配置された複数の動作情報収集部１０によって収集される。また、図１０の（Ｂ）においては、図１０の（Ａ）において示すカラー画像情報にて描出される対象者の歩行訓練における足の着地点の情報に対応する位置に足跡を示した表示情報の一例を示す。すなわち、図１０の（Ｂ）は、図１０の（Ａ）に示す対象者の足跡を上から見た図を示す。

【0067】

例えば、図１０の（Ａ）に示すように、歩行訓練を実施している対象者の側方に動作情報収集部１０ａ及び動作情報収集部１０ｂが並べて配置され、収集された動作情報を取得部１４０１が取得する。そして、位置算出部１４０２は、取得された各動作情報から動作情報収集部１０ａ及び動作情報収集部１０ｂの相対位置の情報を同期情報として算出する。そして、表示制御部１４０３は、図１０の（Ａ）に示すように、カラー画像情報Ｉ３とカラー画像情報Ｉ４とをつなげた表示情報を出力部１１０にて表示させる。

【0068】

すなわち、表示制御部１４０３は、図１０の（Ａ）に示すように、動作情報収集部１０ａの横方向の撮影範囲の距離Ｄ１と、動作情報収集部１０ｂの横方向の撮影範囲の距離Ｄ２とが位置合わせによってつながれた距離Ｄ３の横幅で対象者の歩行訓練の様子を示した表示情報を出力部１１０にて表示させる。これにより、単一の動作情報収集部１０では収集できなかった範囲における対象者の動作（例えば、歩行動作）の情報を取得することができる。

【0069】

さらに、表示制御部１４０３は、図１０の（Ｂ）に示すように、対象者の歩行動作について解析された解析結果をつなげて表示させることも可能である。例えば、図１０の（Ｂ）に示すように、図１０の（Ａ）にて示される歩行訓練を実施している対象者の足の着地点の情報をつなげて表示させることができる。

【0070】

かかる場合には、例えば、制御部１４０は、取得部１４０１によって取得された動作情報に基づいて、対象者の足の着地点を解析する。一例を挙げると、制御部１４０は、取得部１４０１によって取得された各動作情報における足の着地点の位置を解析する。すなわち、制御部１４０は、動作情報収集部１０ａによって収集された動作情報（座標情報）に基づいて、当該動作情報における足の着地点の位置の座標を算出する。同様に、制御部１４０は、動作情報収集部１０ｂによって収集された動作情報（座標情報）に基づいて、当該動作情報における足の着地点の位置の座標を算出する。

【0071】

そして、表示制御部１４０３は、位置算出部１４０２によって算出された同期情報を用いて、制御部１４０にて算出されたそれぞれの足の着地点の位置の位置合わせを実行する。その後、表示制御部１４０３は、各足の着地点を図１０の（Ｂ）に示すような足跡の点で示した表示情報を出力部１１０にて表示する。これにより、表示制御部１４０３は、横方向が距離Ｄ３となる範囲の足の着地点の情報を表示させることができる。

【0072】

なお、上述した例はあくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、表示情報として表示される情報は、図示した例に限られず、例えば、骨格情報の座標を用いて表示される情報であれば、どのようなものにも適用することができる。すなわち、身体の部位（例えば、頭など）に対応する関節の位置をカラー画像情報の上に線上に示すような場合にも適用することができる。

【0073】

例えば、取得部１４０１によって取得された動作情報に基づいて、対象者の足の着地点の位置を示した軌跡情報や、対象者の体の所定の部位の角度の情報をカラー画像情報に重畳させた重畳画像情報を表示情報として表示させることができる。ここで、所定の部位の角度とは、対象者の進行方向の前後のゆれを示す回転角度及び対象者の上下方向のゆれを示す回転角度のうち、少なくとも一方である。換言すると、所定の部位の角度とは、垂直方向（鉛直方向）の軸周りの回転角度及び進行方向の軸周りの回転角度である。ここで、この角度は、例えば、肩の向き、腰の向きの角度である。

【0074】

さらに、取得部１４０１によって取得された動作情報に基づいて、足の着地点の位置の軌跡に加えて、対象者の移動の軌跡を示した軌跡情報を表示情報として表示させることができる。ここで、対象者の移動の軌跡は、対象者の特徴位置の移動軌跡である。また、特徴位置は、対象者の所定の部位の位置、複数の部位の位置を用いて求められた位置、対象者の複数の中心位置及び前記対象者の重心位置のうち、少なくとも一つである。

【0075】

例えば、表示制御部１４０３は、動作情報収集部１０によって動作情報を収集することが可能な空間において足の着地点の軌跡、体の移動した軌跡、体の所定の部位の角度のうち、少なくとも１つを含んだ軌跡情報を出力部１１０にて表示させる。表示制御部１４０３は、これらの軌跡情報を上からみた場合や、横からみた場合、或いは、鳥瞰した場合などで示した表示情報を表示させることができる。一例を挙げると、表示制御部１４０３は、対象者が歩行訓練を実行している間に収集されたｘｚ平面上に左右の足跡と、体の重心の軌跡と、両肩に対応する各関節を結んだ線分とを示した軌跡情報を出力部１１０にて表示させる。

【0076】

ここで、足跡の情報や、体の移動の軌跡の情報、及び、線分の情報は、それぞれ識別可能に表示させることができる。例えば、表示制御部１４０３は、足跡において、色などを変えることにより、右足及び左足を区別させたり、歩数を区別させたり、或いは、対象者の歩行の状態（安定した歩行であるか否か）を区別させたりする。

【0077】

また、表示制御部１４０３は、取得部１４０１によって取得されたカラー画像情報に種々の情報を重畳させた重畳画像情報を表示情報として出力部１１０にて表示させることも可能である。具体的には、表示制御部１４０３は、対象者の体の所定の部位の角度の情報をカラー画像情報に重畳させた重畳画像情報を表示情報として表示させる。例えば、表示制御部１４０３は、対象者の任意の位置（例えば、関節や、所定の骨の所定の位置）間で結んだ直線をカラー画像情報に重畳した重畳画像情報を表示情報として表示させる。

【0078】

ここで、表示制御部１４０３は、直線以外にも所定の基準を示す情報（例えば、鉛直方向や水平方向などを示す線分）も同時に重畳させて表示させることも可能である。すなわち、表示制御部１４０３は、所定の基準に対する対象者の所定の部位の動きを示した重畳画像情報を表示させる。また、表示制御部１４０３は、対象者が動作を実行している間の当該対象者の所定の部位の位置の軌跡をカラー画像情報に重畳した重畳画像情報を表示させることも可能である。すなわち、表示制御部１４０３は、カラー画像情報の上に所定の部位の軌跡を示す曲線が重畳された重畳画像情報を表示させる。

【0079】

また、表示制御部１４０３は、表示情報として、対象者の所定の部位の角度情報（例えば、肘の関節の角度の経時的な変化を示すグラフや、鉛直方向に対する対象者の体軸の角度の経時的な変化を示すグラフなど）を出力部１１０にて表示させる。また、表示制御部１４０３は、対象者の所定の部位の速度情報を示すグラフや、加速度情報を示すグラフのなどを表示情報として表示させる。

【0080】

また、上述した例では、動作情報に含まれる所定の部位（例えば、腰に対応する関節）の位置や、平行棒などのものの位置により複数の動作情報を同期させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、観察者によって指定される場合であってもよい。かかる場合には、入力部１２０は、複数の動作情報を同期させるための基準の情報を受付ける。

【0081】

図１１は、第１の実施形態に係る動作情報の同期の変形例を説明するための図である。図１１においては、図１１の（Ａ）に動作情報収集部１０ａによって収集されたカラー画像情報を示し、図１１の（Ｂ）に動作情報収集部１０ｂによって収集されたカラー画像情報を示す。例えば、入力部１２０は、図１１の（Ａ）に示すように、対象者の足もとを矢印２１で指示された状態でクリックされた場合に、その位置を同期させるための基準の情報として受付ける。同様に、入力部１２０は、図１１の（Ｂ）に示すように、対象者の足もとを矢印２１で指示された状態でクリックされた場合に、その位置を直前に受付けた基準に情報に対応する基準の情報として受付ける。

【0082】

ここで、入力部１２０によって各動作情報における基準の情報が受付けられると、位置算出部１４０２は、それぞれの基準の情報の座標情報から、同期情報を算出する。そして、表示制御部１４０３は、位置算出部１４０２によって算出された同期情報を用いて位置を合わせた表示情報を出力部１１０にて表示させる。

【0083】

また、上述した例では、対象者や所定の目印の相対的な位置関係に基づいて複数の動作情報を同期させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、複数の動作情報に含まれる固定のものによる絶対値情報を用いて動作情報を同期させる場合であってもよい。かかる場合には、例えば、動作情報収集部１０ａ及び動作情報収集部１０ｂによってそれぞれ収集されるカラー画像情報にそれぞれ含まれる固定の位置マーカを、当該位置マーカの絶対座標に基づいて位置合わせする。すなわち、動作情報収集部１０ａによって収集される動作情報と、動作情報収集部１０ｂによって収集される動作情報とを、双方動作情報に含まれる固定の位置マーカの絶対座標で位置合わせすることで、各動作情報を同期させる。なお、固定の位置マーカの絶対座標によって動作情報を同期させるために、動作情報収集部１０ａ及び動作情報収集部１０ｂによって収集される固定の位置マーカの座標と、予め割り当てられた絶対座標との座標変換にかかるキャリブレーションが定期的に実行される。また、上記では位置マーカを用いて、動作情報の同期を行ったが、複数の動作情報収集部１０の設置位置を予め決めておき、その決められた設置位置におくことで、動作情報収集部１０間の位置関係の把握を行って、動作情報の同期を行うようにしても良い。

【0084】

また、上述した例では、操作者によって指定された基準の情報を用いて動作情報を同期させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、動作情報収集部１０ａ及び動作情報収集部１０ｂを予め決められた位置に配置する場合であってもよい。かかる場合には、動作情報収集部１０ａ及び動作情報収集部１０ｂによって収集される動作情報に含まれる所定のものの位置関係は常に一定であり、それを用いることで、各動作情報を同期させる場合であってもよい。

【0085】

次に、図１２を用いて、第１の実施形態に係る動作情報処理装置１００の処理について説明する。図１２は、第１の実施形態に係る動作情報処理装置１００による処理の手順を示すフローチャートである。なお、図１２においては、リハビリとして歩行訓練を実行した場合を一例に挙げて説明する。

【0086】

図１２に示すように、第１の実施形態に係る動作情報処理装置１００においては、歩行訓練が開始されると、取得部１４０１が、歩行を実行した対象者の動作情報をそれぞれのセンサから取得する（ステップＳ１０１）。すなわち、取得部１４０１は、複数のセンサによって収集された複数の動作情報を動作情報記憶部１３０１から取得する。

【0087】

そして、位置算出部１４０２は、絶対値情報による同期であるか否かを判定する（ステップＳ１０２）。一例を挙げると、位置算出部１４０２は、動作情報収集部１０によって収集される動作情報に、例えば、絶対座標の情報を有する固定の位置マーカなどの情報が含まれている場合に、絶対値情報による同期を行うと判定する。或いは、位置算出部１４０２は、予め操作者によって指定されている場合に、絶対値情報による同期を行うと判定することとしてもよい。

【0088】

ここで、絶対値情報による同期ではないと判定した場合には（ステップＳ１０２否定）、位置算出部１４０２は、取得された各動作情報における所定の基準点に基づいて、センサの相対位置を算出する（ステップＳ１０３）。そして、表示制御部１４０３が、相対位置の情報に基づいて、表示情報を同期させて（ステップＳ１０４）、同期させた表示情報を出力部１１０にて表示するように制御する（ステップＳ１０５）。

【0089】

一方、ステップＳ１０２において、絶対値情報による同期であると判定した場合には（ステップＳ１０２肯定）、位置算出部１４０２は、各動作情報における絶対値情報を取得する（ステップＳ１０６）。そして、表示制御部１４０３は、絶対値情報に基づいて表示情報を同期させて（ステップＳ１０７）、表示情報を表示させる（ステップＳ１０５）。

【0090】

上述したように、第１の実施形態によれば、取得部１４０１は、リハビリテーションを実行する対象者に対して異なる位置から収集された当該対象者の動作情報をそれぞれ取得する。位置算出部１４０２は、取得部１４０１によって取得された各動作情報を同期させるための同期情報を算出する。表示制御部１４０３は、位置算出部１４０２によって算出された同期情報に基づいて、各動作情報を同期させた出力情報を出力部１１０にて出力させるように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、複数の動作情報を同期させた単一の表示情報として観察者に提供することができ、リハビリを実行する対象者の詳細な動作の情報を取得することを可能にする。その結果、第１の実施形態に係る動作情報処理装置１００は、リハビリテーションに対する医師や理学療法士などの評価をより精度よく行うことを可能にする。

【0091】

また、第１の実施形態によれば、位置算出部１４０２は、取得部１４０１によって取得された複数の動作情報にそれぞれ含まれる所定の位置に基づいて、同期情報を算出する。従って、第１の実施形態に係る動作情報処理装置１００は、精度の高い位置合わせを簡易に実行することを可能にする。

【0092】

また、第１の実施形態によれば、位置算出部１４０２は、取得部１４０１によって取得された複数の動作情報にそれぞれ含まれる所定の位置の相対関係又は絶対値を用いて同期情報を算出する。従って、第１の実施形態に係る動作情報処理装置１００は、動作情報に含まれる種々の情報を用いて動作情報を同期させることを可能にする。

【0093】

また、第１の実施形態によれば、取得部１４０１は、対象者の進行方向と平行となる方向、進行方向と所定の角度をなす方向、又は、進行方向と直交する方向で複数の位置から収集された当該対象者の動作情報をそれぞれ取得する。従って、第１の実施形態に係る動作情報処理装置１００は、通常のユースケースに容易に適用することを可能にする。

【0094】

また、第１の実施形態によれば、表示制御部１４０３は、歩行動作を実行する対象者の動作情報に基づいて生成された当該対象者の所定の部位の移動の軌跡を示す軌跡情報、所定の部位における速度情報、又は、対象者の所定の部位の角度情報を含めた表示情報を出力部１１０にて出力させるように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、対象者の歩行訓練に関して、同期情報だけでなく、歩行に関する詳細な評価を提供することを可能にする。

【0095】

（第２の実施形態）
上述した第１の実施形態においては、各動作情報に含まれる所定のフレームの基準点（例えば、腰に対応する関節や、指定されたものなど）の座標を用いて、複数の動作情報の位置合わせを実行する場合について説明した。第２の実施形態においては、各動作情報に含まれる基準点の経時的な位置の変化に基づいて、位置合わせを実行する場合について説明する。第２の実施形態においては、位置算出部１４０２及び表示制御部１４０３による処理内容が第１の実施形態と異なる。以下、これらを中心に説明する。

【0096】

第２の実施形態に係る位置算出部１４０２は、取得部１４０１によって取得された複数の動作情報にそれぞれ含まれる基準点の位置の経時的変化に基づいて、同期情報を算出する。具体的には、位置算出部１４０２は、リハビリを実行する対象者における所定の基準点（例えば、腰に対応する関節など）の座標の動きから各動作情報収集部１０が配置された位置関係及び向きを算出する。

【0097】

図１３は、第２の実施形態に係る位置算出部１４０２による処理の一例を説明するための図である。図１３においては、図１３の（Ａ）に動作情報収集部１０ａによって収集された動作情報における基準点の座標の動きを示し、図１３の（Ｂ）に動作情報収集部１０ｂによって収集された動作情報における基準点の座標の動きを示す。

【0098】

例えば、位置算出部１４０２は、図１３の（Ａ）に示すように、動作情報収集部１０ａによって収集された動作情報において、時刻「ｔ１」における基準点の座標Ｐ１から時刻「ｔ２」における基準点の座標Ｐ２までの座標の変化を算出する。同様に、位置算出部１４０２は、図１３の（Ｂ）に示すように、動作情報収集部１０ｂによって収集された動作情報において、時刻「ｔ１」における基準点の座標Ｐ３から時刻「ｔ２」における基準点の座標Ｐ４までの座標の変化を算出する。

【0099】

ここで、実空間においては、図１３の（Ａ）及び（Ｂ）それぞれに示す矢印は同一方向に同一の距離動くものである。従って、各矢印の向きから動作情報収集部１０ａ及び動作情報収集部１０ｂが配置された位置関係を算出することができる。すなわち、位置算出部１４０２は、各動作情報における基準点の座標の動きから動作情報収集部１０ａ及び動作情報収集部１０ｂの位置関係を算出する。そして、位置算出部１４０２は、算出した位置関係の情報を動作情報に対応付けて位置情報記憶部１３０２に格納する。

【0100】

第２の実施形態に係る表示制御部１４０３は、出力部１１０の表示面内の仮想空間内において、位置算出部１４０２によって算出された位置関係に応じた位置に、異なる動作情報によって示される２次元画像を配置した表示情報を出力させるように制御する。図１４は、第２の実施形態に係る表示制御部１４０３によって表示される表示情報の一例を示す図である。

【0101】

例えば、表示制御部１４０３は、図１４に示すように、表示ウィンドウ内の仮想３次元空間内に、２次元画像を配置した表示情報を表示させる。ここで、表示制御部１４０３は、図１４に示すように、左側の画像（動作情報収集部１０ａによって収集されたカラー画像情報）と、右側の画像（動作情報収集部１０ｂによって収集されたカラー画像情報）とを位置算出部１４０２によって算出された位置関係に応じた位置に２次元の各カラー画像情報を配置した表示情報を表示させる。すなわち、表示制御部１４０３は、動作情報収集部１０ａ及び動作情報収集部１０ｂが配置された位置関係を反映した位置に２次元のカラー画像情報を配置する。

【0102】

なお、上述した表示情報はあくまでも一例であり、位置算出部１４０２によって算出された位置関係を用いた表示情報は種々表示させることができる。例えば、表示制御部１４０３は、算出された位置関係によって対象者の位置を合わせた表示情報を表示させることができる。また、表示制御部１４０３は、位置算出部１４０２によって算出された位置関係だけではなく、予め設定された位置関係に応じた位置に２次元の各カラー画像情報を配置した表示情報を表示させることも可能である。

【0103】

上述したように、第２の実施形態によれば、位置算出部１４０２は、同期情報として、取得部１４０１によって取得された複数の動作情報にそれぞれ含まれる所定の位置の移動を比較することで、複数の動作情報が収集された各位置の位置関係を算出する。従って、第２の実施形態に係る動作情報処理装置１００は、対象者の動きに応じた同期情報を算出することができ、より高精度な位置合わせを実行することを可能にする。

【0104】

また、第２の実施形態によれば、表示制御部１４０３は、出力部１１０の表示面内において、位置算出部１４０２によって算出された位置関係に応じた位置に、異なる動作情報によって示される画像を配置した表示情報を出力させるように制御する。従って、第２の実施形態に係る動作情報処理装置１００は、動作情報収集部１０の位置関係を反映させた表示情報を表示させることを可能にする。

【0105】

（第３の実施形態）
上述した第１及び第２の実施形態では、動作情報の位置及び時間を同期させる場合について説明した。第３の実施形態では、複数の動作情報収集部１０によって収集された複数の動作情報を表示する際に、時間を同期させて表示させる場合について説明する。第３に実施形態においては、表示制御部１４０３による処理内容が第１及び第２の実施形態と異なる。以下、これを中心に説明する。

【0106】

第３の実施形態に係る表示制御部１４０３は、取得部１４０１によって取得された複数の動作情報を時系列に沿って、時間を同期させて出力部１１０にて表示させるように制御する。図１５は、第３の実施形態に係る表示制御部１４０３によって表示される表示情報の一例を説明するための図である。

【0107】

例えば、表示制御部１４０３は、図１５に示すように、対象者の正面に配置された動作情報収集部１０ｂによって収集された動作情報と、対象者の側方に配置された動作情報収集部１０ａによって収集された動作情報とを時刻を同期させて表示する。ここで、対象者は、例えば、図１５に示すように、首の前屈及び後屈運動や、腰の前屈及び後屈運動などを実行している。

【0108】

図１６は、第３の実施形態に係る表示制御部１４０３によって表示される表示情報の表示例を示す図である。例えば、表示制御部１４０３は、図１６に示すように、表示ウィンドウの左側に対象者の正面のカラー画像情報（動作情報収集部１０ｂによって収集されたカラー画像情報）を配置し、表示ウィンドウの右側に対象者の側方のカラー画像情報（動作情報収集部１０ａによって収集されたカラー画像情報）を配置した表示情報を出力部１１０に表示させる。ここで、表示制御部１４０３は、各動作情報のカラー画像情報をフレームの時刻で同期させて各領域に表示させる。これにより、第３の実施形態に係る動作情報処理装置１００は、複数の角度から対象者を観察した場合のカラー画像情報を時刻を同期させて観察者に提供することができ、観察者にとっては、リハビリを実行する対象者の詳細な動作の情報を取得することができる。

【0109】

（第４の実施形態）
さて、これまで第１〜第３の実施形態について説明したが、上述した第１〜第３の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

【0110】

上述した第１〜第３の実施形態においては、動作情報収集部１０が２つである場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、３つ以上の動作情報収集部１０が用いられる場合であってもよい。かかる場合には、取得部１４０１は、各動作情報収集部１０によって収集された動作情報を取得する。そして、位置算出部１４０２は、各動作情報間の同期情報を算出する。そして、表示制御部１４０３は、算出された同期情報に基づいて、同期させた動作情報を表示させる。

【0111】

上述した第３の実施形態においては、複数の動作情報を複数の領域に時間を同期させて表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、時間を同期させ、かつ、対象者の動きに応じて表示情報を変化させる場合であってもよい。

【0112】

第４の実施形態に係る表示制御部１４０３は、動作情報に含まれる対象者の動きに応じて、複数の動作情報を表示する際の表示情報を変化させる。図１７Ａ及び図１７Ｂは、第４の実施形態に係る表示制御部１４０３によって制御される表示情報の一例を説明するための図である。ここで、図１７Ａ及び図１７Ｂにおいては、歩行訓練を実施している対象者の側方に３つの動作情報収集部１０を配置して、動作情報を収集した場合について示す。また、図１７Ａ及び図１７Ｂにおいては、収集された動作情報のカラー画像情報を表示させる場合について示す。

【0113】

例えば、表示制御部１４０３は、図１７Ａに示すように、表示ウィンドウに各動作情報収集部１０によって収集されたカラー画像情報をそれぞれ表示させるための表示領域を備えた表示情報を表示させる。例えば、表示制御部１４０３は、図１７Ａに示すように、３つの動作情報収集部１０にそれぞれ対応する３つの表示領域を、動作情報収集部１０の配置に合わせて横方向に並列させた表示情報を表示させる。ここで、例えば、図１７Ｂに示すように、対象者が図の左側から右側に向かって歩行した際の歩行を表示させる場合には、表示制御部１４０３は、対象者の移動に伴って、表示ウィンドウ内の表示領域を変化させる。

【0114】

一例を挙げると、表示制御部１４０３は、図１７Ｂに示すように、対象者がセンサ１付近を通過している場合には、現時点で直近のセンサ１によって収集されるカラー画像情報を表示させる表示領域と、対象者が次ぎに接近するセンサ２によって収集されるカラー画像情報を表示させる表示領域とを大きく表示させる。そして、対象者がセンサ２付近を通過している場合には、表示制御部１４０３は、図１７Ｂに示すように、現時点で直近のセンサ２によって収集されるカラー画像情報を表示させる表示領域と、対象者が次ぎに接近するセンサ３によって収集されるカラー画像情報を表示させる表示領域とを大きく表示させる。このように、表示制御部１４０３は、対象者の移動に伴って、対象者が大きく映っている領域のカラー画像情報を強調して表示する。なお、かかる強調表示は、単一の領域が表示ウィンドウ全体に表示されるように制御することも可能である。すなわち、表示制御部１４０３は、現時点で対象者が最大に映る動作情報を抽出して、抽出した動作情報を表示させる表示領域を表示ウィンドウ全体に拡大表示させる。

【0115】

また、表示制御部１４０３は、強調表示として、強調させたい領域を表示ウィンドウの中心に配置したり、強調させたい領域の枠に色をつけて表示させたりすることができる。また、表示制御部１４０３は、動作情報収集部１０が配置されているか分かるように、表示させることも可能である。例えば、表示制御部１４０３は、図１７Ｂに示すように、動作情報収集部１０が配置されている側（左側表示ウィンドウの右端、或いは、右側表示ウィンドウの左端）に、小さな表示領域を表示させておくことで、観察者に動作情報収集部１０の配置状態を把握させることができる。

【0116】

なお、図１７Ａ及び図１７Ｂに示す表示情報はあくまでも一例である。例えば、表示領域の配置は横方向に限られず、縦方向や、斜め方向に表示される場合であってもよい。かかる場合には、実際の動作情報収集部１０の配置状態が反映された表示領域の配置となる場合であってもよい。

【0117】

また、上述した第１〜第３の実施形態にて説明した動作情報収集部１０の配置の例は、あくまでも一例であり、対象者の状況によって種々のユースケースに用いることが可能である。図１８Ａ及び図１８Ｂは、第４の実施形態に係る動作情報収集部１０の配置の一例を示す図である。例えば、図１８Ａに示すように、動作情報収集部１０は、障害物が存在する動作空間における対象者の歩行訓練の動作情報を網羅するように配置される。すなわち、動作情報収集部１０は、障害物によって死角が発生してしまうような動作空間においてリハビリを実行している対象者の動作情報をもれなく収集することが可能である。換言すると、リハビリを実行している対象者に対する死角をなくすことが可能である。

【0118】

また、例えば、図１８Ｂに示すように、動作情報収集部１０は、深度方向（縦方向）、水平方向（横方向）、鉛直方向（上下方向）から対象者の動作情報を収集するように配置される。すなわち、動作情報収集部１０は、対象者の動作情報をあらゆる方向から収集するように配置される。これにより、観察者の様々なニーズに応じることが可能になる。

【0119】

また、上述した第１〜第３の実施形態では、動作情報収集部１０が２つ又は３つである場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、４つ以上配置される場合であってもよい。

【0120】

上述した第１の実施形態では、動作情報処理装置１００が、リハビリを実行する対象者の動作情報を取得して、表示情報を表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。

【0121】

図１９は、第４の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。図１９に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０ａ及び動作情報収集部１０ｂがそれぞれ接続される。そして、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。なお、図１９においては、動作情報収集部１０が２つのみ示されているが、実際には、任意の数の動作情報収集部１０（種々のユースケースによって異なる）が各端末装置３００に接続される。

【0122】

サービス提供装置２００は、動作情報処理装置１００と同様の処理をサービスとして端末装置３００に提供する。すなわち、サービス提供装置２００は、取得部１４０１と、位置算出部１４０２と、表示制御部１４０３と同様の機能部を有する。そして、取得部１４０１と同様の機能部は、リハビリテーションを実行する対象者に対して異なる位置から収集された当該対象者の動作情報をそれぞれ取得する。そして、位置算出部１４０２と同様の機能部は、取得部１４０１と同様の機能部によって取得された各動作情報を同期させるための同期情報を算出する。そして、表示制御部１４０３と同様の機能部は、位置算出部１４０２と同様の機能部によって算出された同期情報に基づいて、各動作情報を同期させた出力情報を端末装置３００のモニタにて出力させるように制御する。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。

【0123】

また、上述した第１の実施形態における動作情報処理装置１００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、動作情報記憶部１３０１と位置情報記憶部１３０２とを統合したり、取得部１４０１を複数の動作情報をそれぞれ取得する複数の取得部に分離したりすることが可能である。

【0124】

また、第１の実施形態から第３の実施形態において説明した取得部１４０１、位置算出部１４０２及び表示制御部１４０３の機能は、ソフトウェアによって実現することもできる。例えば、取得部１４０１、位置算出部１４０２及び表示制御部１４０３の機能は、上記の実施形態において取得部１４０１、位置算出部１４０２及び表示制御部１４０３が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。

【0125】

上述したように、第１〜第４の実施形態に係る動作情報処理装置１００は、リハビリを実行する対象者の詳細な動作の情報を取得することで、リハビリを実行する対象者に対して有効な支援を行う。次に、第５〜第８の実施形態において、リハビリを実行する対象者の精密な情報を取得することで、リハビリを実行する対象者に対して有効な支援を行う動作情報処理装置について説明する。

【0126】

（第５の実施形態）
図２０は、第５の実施形態に係る動作情報処理装置１００ａの構成の一例を示す図である。第５の実施形態に係る動作情報処理装置１００ａは、第１〜第４の実施形態に係る動作情報処理装置１００と同様に、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。

【0127】

図２０に示すように、第５の実施形態において、動作情報処理装置１００ａは、動作情報収集部１０及び対象者情報収集部２０に接続される。なお、図２０においては、１つの動作情報収集部１０と１つの対象者情報収集部２０とを図示しているが、実施形態はこれに限定されるものではなく、例えば、２つ以上の動作情報収集部１０と２つ以上の対象者情報収集部２０とが動作情報処理装置１００ａに接続される場合であってもよい。ここで、図２０に示す動作情報収集部１０は、図２に示す動作情報収集部１０と同様である。すなわち、図２０に示す動作情報収集部１０は、対象者の動作の情報を収集し、収集した各種情報を動作情報処理装置１００ａに送り、後述する記憶部１３０ａ（例えば、動作情報記憶部１３０３など）に格納する。なお、これらの処理については、上述した処理と同様であることから詳細な説明を省略する。

【0128】

対象者情報収集部２０は、リハビリテーションを実行する対象者の情報を収集する。具体的には、対象者情報収集部２０は、対象者の生体情報や、詳細な動作情報などを収集する。例えば、対象者情報収集部２０は、種々のセンサなどである。図２１は、第５の実施形態に係る対象者情報収集部２０として適用されるセンサの一例を示す図である。図２１に示すように、対象者情報収集部２０は、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）センサや、高解像度ジェスチャーセンサ、五感センサなどが挙げられる。

【0129】

ここで、対象者情報収集部２０として適用されるＭＥＭＳセンサとしては、例えば、体温、脈拍、血圧、発汗、脳波、運動量（三軸加速度）などの生体情報を収集するセンサや、圧力センサ、振動センサ、位置センサ、速度センサ、角度センサなどが挙げられる。また、高解像度ジェスチャーセンサとしては、例えば、ＬＥＡＰ（登録商標）や、マーカとトラッキング装置を用いたモーションセンサなどが挙げられる。なお、ＬＡＥＰは、１／１００ｍｍ以下の解像度を備える精密なモーションキャプチャシステムである。また、五感センサとしては、例えば、触覚、音声、熱量などを検知するセンサなどが挙げられる。なお、上述したセンサは、あくまでも例であり、対象者情報収集部２０として適用されるセンサは、動作情報処理装置１００ａの用途に応じて、任意に選択される。例えば、上記したセンサ以外にも、身体の導電率、皮膚温度、血中酸素、足圧、眼球運動、咀嚼力などを含めた生体情報を収集することができるセンサであればどのようなものであってもよく、また、赤外線センサ、超音波センサ、衝撃センサ、回転センサ、傾斜センサなどであってもよい。

【0130】

そして、対象者情報収集部２０は、収集した対象者情報（例えば、各センサによって収集される対象者の各種情報）を動作情報処理装置１００ａに対して出力して、後述の対象者情報記憶部に記憶させる。ここで、対象者情報収集部２０による対象者情報の収集タイミングは操作者によって任意に設定される。すなわち、対象者情報収集部２０は、予め設定された時間ごとに対象者情報を収集する。一例を挙げると、対象者情報収集部２０は、動作情報収集部１０によって動作情報が収集されるフレームと同じタイミング（同じ時刻）で対象者情報を収集するように設定される。

【0131】

図１に戻って、動作情報処理装置１００ａは、動作情報収集部１０から出力される動作情報と、対象者情報収集部２０によって収集される対象者情報を用いて、リハビリテーションを支援するための処理を行う。具体的には、動作情報処理装置１００ａは、動作情報収集部１０によって収集された対象者の動作情報と対象者情報収集部２０によって収集された対象者情報とを同期させた表示情報を生成して表示する。

【0132】

上述したように、従来、リハビリテーションの機能訓練においては、歩行訓練や、関節可動域訓練などの種々の訓練が行われている。このような、リハビリテーションにおいては、対象者も様々であり、対象者によっては、例えば、自分に合ったスピードや負荷などでリハビリを実行することが重要であると考えられる。そこで、本実施形態に係る動作情報処理装置１００ａは、リハビリを実行している対象者の詳細な状態を評価するために、リハビリを実行する対象者の精密な情報を取得することを可能にするように構成される。

【0133】

例えば、動作情報処理装置１００ａは、コンピュータ、ワークステーション等の情報処理装置であり、図２０に示すように、出力部１１０と、入力部１２０と、記憶部１３０ａと、制御部１４０ａとを有する。

【0134】

出力部１１０は、リハビリを実行する対象者の動作に係る各種情報などを出力する。例えば、出力部１１０は、動作情報処理装置１００ａを操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、動作情報処理装置１００ａにおいて対象者の歩行状態を示す画像情報を表示したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。

【0135】

入力部１２０は、リハビリを実行する対象者の動作に係る各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報処理装置１００ａの操作者から各種要求（例えば、表示される画像の選択要求や、ＧＵＩ上で計測を実行させるための計測要求など）の入力を受け付け、受け付けた各種要求を動作情報処理装置１００ａに転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。

【0136】

記憶部１３０ａは、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。

【0137】

以上、第５の実施形態に係る動作情報処理装置１００ａの構成について説明した。かかる構成のもと、第５の実施形態に係る動作情報処理装置１００ａは、以下、詳細に説明する構成により、リハビリを実行する対象者の精密の情報を取得することを可能にする。図２２は、第５の実施形態に係る動作情報処理装置１００ａの詳細な構成の一例を示す図である。まず、動作情報処理装置１００ａにおける記憶部１３０ａの詳細について説明する。図２２に示すように、動作情報処理装置１００ａにおいては、例えば、記憶部１３０ａが動作情報記憶部１３０３と、対象者情報記憶部１３０４と、表示情報記憶部１３０５とを備える。

【0138】

動作情報記憶部１３０３は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３０３は、動作情報収集部１０の動作情報生成部１４によって生成された各動作情報を記憶する。より具体的には、動作情報記憶部１３０３は、動作情報収集部１０の動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３０３は、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。

【0139】

図２３は、第５の実施形態に係る動作情報記憶部１３０３によって記憶される動作情報の一例を示す図である。動作情報記憶部１３０３は、図２３に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とを対応付けた動作情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者が歩行訓練を実施した日時を示す。「動作情報」とは、動作情報収集部１０によって収集された情報を示す。

【0140】

例えば、動作情報記憶部１３０３は、図２３に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」のリハビリにおける動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とが記憶されていることを示す。

【0141】

ここで、図２３に示す動作情報においては、リハビリを実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。

【0142】

また、動作情報記憶部１３０３は、図２３に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、動作情報記憶部１３０３は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」の歩行における動作情報も同様に記憶する。

【0143】

また、動作情報記憶部１３０３は、図２３に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を記憶する。このように、動作情報記憶部１３０３は、対象者ごとに収集されたリハビリの動作情報を、それぞれの対象者に対応付けて記憶する。なお、図２３に示す動作情報はあくまでも一例である。すなわち、動作情報記憶部１３０３は、図２３に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報をさらに対応付けて記憶することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果を含まれないものとして記憶することとなる。

【0144】

図２２に戻って、対象者情報記憶部１３０４は、対象者情報収集部２０によって収集された各種情報を記憶する。具体的には、対象者情報記憶部１３０４は、対象者がリハビリを実行している間、各時刻で対象者情報収集部２０が収集した対象者情報を記憶する。例えば、対象者情報記憶部１３０４は、動作情報収集部１０によって収集されたフレームと同じタイミング（同じ時刻）で収集された対象者情報を記憶する。

【0145】

図２４は、第５の実施形態に係る対象者情報記憶部１３０４によって記憶される対象者情報の一例を示す図である。例えば、対象者情報記憶部１３０４は、図２４に示すように、氏名ごとに、氏名番号と、実施日と、センサと、対象者情報とを対応付けた対象者情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者がリハビリを実施した日時を示す。「センサ」とは、リハビリを実行している対象者の情報を収集したセンサを示す。「対象者情報」とは、対象者情報収集部２０によって収集された情報を示す。

【0146】

例えば、対象者情報記憶部１３０４は、図２４に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、センサ：圧力センサ、対象者情報：圧力情報」を記憶する。また、例えば、動作情報記憶部１３０３は、図２４に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、センサ：高解像度ジェスチャーセンサ、対象者情報：動作情報」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」のリハビリにおいて、「センサ：圧力センサ」によって収集された対象者情報「圧力情報」と、「センサ：高解像度ジェスチャーセンサ」によって収集された対象者情報「動作情報」とが記憶されていることを示す。

【0147】

ここで、図２４に示す対象者情報においては、リハビリを実行している際に所定の時刻（時間間隔）で、センサごとに記憶される。例えば、対象者情報記憶部１３０４は、対象者が動作情報収集部１０によって撮影された全てのフレームごとの各対象者情報を時系列順に時間に対応付けて、センサごとに記憶する。

【0148】

また、対象者情報記憶部１３０４は、図２４に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、センサ：血圧計、対象者情報：血圧」及び「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、センサ：心拍計、対象者情報：心拍」を記憶する。すなわち、対象者情報記憶部１３０４は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」のリハビリにおける対象者情報も同様に記憶する。

【0149】

同様に、対象者情報記憶部１３０４は、図２４に示すように、他の人物についても、センサごとの対象者情報を記憶する。このように、対象者情報記憶部１３０４は、対象者ごとに収集されたリハビリ中の対象者情報を、それぞれの対象者に対応付けて記憶する。なお、図２４に示す対象者情報はあくまでも一例である。すなわち、対象者情報記憶部１３０４は、図２４に示すセンサや対象者以外にも種々のセンサにおける対象者情報を記憶することができる。また、図２４においては、１回のリハビリに２つのセンサを対象者情報収集部２０として適用した対象者情報を記憶する場合について示すが、センサが１つの場合や、３つ以上の場合も同様に記憶される。

【0150】

図２２に戻って、表示情報記憶部１３０５は、後述する制御部１４０ａによって生成された表示情報を記憶する。具体的には、表示情報記憶部１３０５は、後述する制御部１４０ａが動作情報と対象者情報とを同期させた表示情報を記憶する。なお、表示情報については、後述する。

【0151】

次に、動作情報処理装置１００ａの制御部１４０ａの詳細について説明する。図２２に示すように、動作情報処理装置１００ａにおいては、例えば、制御部１４０ａが取得部１４０４と、解析部１４０５と、表示情報生成部１４０６と、表示制御部１４０７とを備える。

【0152】

取得部１４０４は、リハビリを実行する対象者の動作情報と、当該対象者の身体の状態を示す対象者情報をそれぞれ取得する。具体的には、取得部１４０４は、動作情報記憶部１３０３によって記憶された動作情報と、対象者情報記憶部１３０４によって記憶された対象者情報とを取得する。一例を挙げると、取得部１４０４は、動作情報収集部１０によって収集され、動作情報記憶部１３０３によってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報と、対象者情報収集部２０によって収集され、対象者情報記憶部１３０４によって収集時刻に対応付けて記憶された圧力情報とをそれぞれ取得する。

【0153】

図２５は、第５の実施形態に係る取得部１４０４によって取得される動作情報の一例を説明するための模式図である。図２５においては、動作情報収集部１０が図示のように配置され、対象者がｚ軸方向に沿って歩行訓練を実施している状態の動作情報を取得する場合について示す。また、図２５においては、対象者が対象者情報収集部２０としての圧力センサ（対象者の足元に図示）及び脳波計（対象者の頭に図示）を装着して歩行訓練を実施する場合について示す。

【0154】

例えば、取得部１４０４は、図２５に示すように、対象者がｚ軸方向に沿って歩行訓練を実施している際に、動作情報収集部１０によって収集された動作情報を、動作情報記憶部１３０３から取得する。さらに、取得部１４０４は、例えば、図２５に示すように、対象者が歩行訓練を実施している際に対象者情報収集部２０としての脳波計によって収集された脳波情報と、対象者情報収集部２０としての圧力センサによって収集された圧力情報とを、対象者情報記憶部１３０４から取得する。

【0155】

すなわち、取得部１４０４は、図２５に示すように、動作情報収集部１０の撮影領域である領域Ｒ３における対象者のカラー画像情報、距離画像情報及び骨格情報などを取得するとともに、歩行訓練時の対象者の脳波情報と足の圧力情報とを取得する。ここで、取得部１４０４は、例えば、氏名、氏名番号、実施日などをキーとしてそれぞれの動作情報を取得する。換言すると、取得部１４０４は、動作情報収集部１０によって収集された対象者の歩行訓練における一連の歩行動作にかかる全てのフレームのカラー画像情報、距離画像情報及び骨格情報を取得するとともに、対象者情報収集部２０によって所定のタイミングで収集された対象者情報を取得する。或いは、取得部１４０４は、リアルタイムで動作情報記憶部１３０３に格納される動作情報及び対象者情報記憶部１３０４に格納される対象者情報をリアルタイムに取得する。

【0156】

図２２に戻って、解析部１４０５は、取得部１４０４によって取得されたリハビリの動作を実行する対象者の動作情報を用いて種々の解析を実行する。具体的には、解析部１４０５は、取得部１４０４よって取得された動作情報における対象者の所定の部位の経時的な位置の変化に基づいて、動作の状態を解析する。例えば、解析部１４０５は、歩行訓練を実施している対象者の足根や、足首、膝などの経時的な位置の変化に基づいて、対象者の足の着地点の位置や、歩数、歩幅、歩隔、歩行率（単位時間における歩数）、或いは、重複歩距離（一方の足が接地してから同じ側の足が再び接地するまでの距離）などの歩行状態を解析する。

【0157】

また、例えば、解析部１４０５は、取得部１４０４によって取得されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報などの動作情報を用いて、リハビリを実施する対象者の傾きや、所定の部位の速度、加速度、移動距離などを解析する。

【0158】

表示情報生成部１４０６は、取得部１４０４によって取得された動作情報と対象者情報とを同期させた表示情報を生成する。具体的には、表示情報生成部１４０６は、対象者がリハビリテーションに係る所定の動作を実行した場合の当該対象者の対象者情報を表示情報として生成する。より具体的には、表示情報生成部１４０６は、解析部１４０５による解析結果に基づいて、対象者が歩行訓練や、関節可動域訓練などのリハビリテーションを実行している場合に、各リハビリにおける所定の動作を実行した場合の対象者情報を示した表示情報を生成する。

【0159】

図２６は、第５の実施形態に係る表示情報生成部１４０６によって生成される表示情報の一例を示す図である。図２６においては、対象者がリハビリテーションとして歩行訓練を実行した場合を一例に挙げて説明する。また、図２６においては、Ｉ５に動作情報収集部１０によって収集された動作情報のカラー画像情報を示す。また、図２６においては、Ｉ６に解析部１４０５による解析結果に基づいて生成された足の着地点の図を示す。また、図２６においては、Ｉ７に解析部１４０５による解析結果や、対象者情報収集部２０によって収集された対象者情報の表を示す。

【0160】

例えば、表示情報生成部１４０６は、図２６に示すように、対象者の歩行の様子を示すカラー画像情報と、カラー画像情報にて示される対象者の足の着地点の位置を示す図と、解析結果及び対象者情報の表を同一画面に示した表示情報を生成する。すなわち、表示情報生成部１４０６は、取得部１４０４によって取得された動作情報に含まれるカラー画像情報を、図２６に示すように配置する。そして、表示情報生成部１４０６は、配置したカラー画像情報の下部に解析部１４０５によって解析された対象者の足の着地点の位置を示す図を配置する。

【0161】

ここで、図２６に示すＩ６の図について説明する。上述したように、図２６のＩ６の図は、解析部１４０５によって解析された対象者の足の着地点の位置を示す図である。表示情報生成部１４０６は、解析部１４０５によって解析された足の座標に基づいて、Ｉ６の図を生成する。以下、足の着地点の位置の解析の一例について説明する。例えば、解析部１４０５は、取得部１４０４によって取得された動作情報の骨格情報（座標情報）において、足根、足首、又は、膝などの高さ（ｙ座標）の値から足が接地しているか否かを判定する。そして、解析部１４０５は、足が接地したと判定した位置の座標を足の着地点の位置として表示情報生成部１４０６に出力する。

【0162】

なお、上述した足の着地点の位置の解析方法はあくまでも一例である。すなわち、解析部１４０５は、動作情報に含まれる対象者の骨格情報を用いた種々の方法により、対象者の足の着地点の位置を解析することができる。例えば、解析部１４０５は、対象者の足根、足首、膝などの関節が歩行の進行方向において移動していない場合に足が接地していると判定することも可能である。

【0163】

また、足の着地点の位置の情報は、動作情報収集部１０によって収集された対象者の動作情報に含まれる骨格情報だけではなく、対象者情報収集部２０によって収集することもできる。例えば、歩行訓練を実行する対象者が対象者情報収集部２０としてＭＥＭＳの位置情報センサを装着し、取得部１４０４が、対象者情報収集部２０から対象者の足の着地点の位置に関する高精度な情報を取得する。このような情報を用いることにより、図２６のＩ６の図をより高精度な情報として表示させることが可能になる。

【0164】

そして、表示情報生成部１４０６は、解析部１４０５によって出力された足の着地点の位置の情報、或いは、取得部１４０４によって取得された対象者の足の着地点の位置に関する高精度な情報を受付けて、図２６のＩ６の図を生成する。例えば、表示情報生成部１４０６は、図２６のＩ６に示すように、足の着地点を上から観察した状態を示す図を生成する。かかる場合には、表示情報生成部１４０６は、解析部１４０５から受け付けた足の着地点の位置のｘ座標とｚ座標とを抽出して、ｘｚ平面上における抽出した位置に足型を配置した図を生成する。そして、表示情報生成部１４０６は、図２６に示すように、ｘｚ平面に配置された足型の位置がカラー画像情報Ｉ５に描出された対象者の足が着地する位置に合うように、ｘｚ平面の大きさを調節して、カラー画像情報の下部にＩ６を配置する。

【0165】

さらに、表示情報生成部１４０６は、図２６に示すように、足の着地点の位置それぞれにおける解析情報や、対象者情報を表として配置する。例えば、表示情報生成部１４０６は、図２６に示すように、歩ごとに、各パラメータを対応付けた表Ｉ７をＩ６の下部に配置する。ここで、表示情報生成部１４０６は、表Ｉ７の歩の位置がＩ６に示される各足跡の位置に合うように、表Ｉ７の大きさを調節して、表Ｉ７をＩ６の下部に配置する。

【0166】

例えば、表示情報生成部１４０６は、図２６に示すように、各歩における「歩幅」、「歩隔」、「圧力」及び「脳波」などを示した表示情報を生成する。ここで、表示情報生成部１４０６は、例えば、「歩幅」及び「歩隔」について、解析部１４０５による解析結果を受けつける。また、表示情報生成部１４０６は、「圧力」及び「脳波」について。取得部１４０４によって取得された対象者情報において、足が接地したと判定された時刻の値をそれぞれ取得し、取得した値を表中に示す。すなわち、表示情報生成部１４０６は、歩行訓練を実行している対象者の足が着地した時点の各パラメータ（解析結果及び対象者情報）を示した表を足跡の位置に合わせて配置した表示情報を生成する。

【0167】

なお、上述した例では、「歩幅」や「歩隔」の情報を動作情報から解析する場合について説明したが、これはあくまでも一例であり、「歩幅」や「歩隔」の情報を対象者情報から解析する場合であってもよい。例えば、歩行訓練を実行する対象者が対象者情報収集部２０としてＭＥＭＳの位置情報センサを装着し、取得部１４０４が、対象者情報収集部２０から対象者の足の着地点の位置に関する高精度な情報を取得する。そして、解析部１４０５は、取得部１４０４によって取得された足の着地点の位置に関する高精度な情報を用いて、対象者の「歩幅」や「歩隔」を解析する。このような情報を用いることにより、図２６のＩ７の表をより高精度な情報として表示させることが可能になる。

【0168】

なお、上述した例はあくまでも一例である。すなわち、対象者によって実行されるリハビリは歩行訓練に限られるものではなく、その他種々のリハビリが実行される場合であってもよい。また、上記した例では、歩行訓練における所定の動作として足が着地した時点について説明したが、実施形態はこれに限定されるものではなく、例えば、歩行訓練において対象者の足が最も高く上がっている時点の対象者情報が表示される場合であってもよい。また、上述した例では、パラメータとして、「歩幅」、「歩隔」、「圧力」及び「脳波」を例に挙げて説明したが、実施形態はこれに限定されるものではなく、例えば、血圧や、心拍数が用いられる場合であってもよい。

【0169】

図２２に戻って、表示制御部１４０７は、表示情報生成部１４０６によって生成された表示情報を出力部１１０にて表示させる。例えば、表示制御部１４０７は、図２６に示す表示情報を出力部１１０にて表示させる。

【0170】

このように、第５の実施形態に係る動作情報処理装置１００ａは、動作情報収集部１０によって収集された動作情報に対象者情報を同期させた表示情報を表示する。これにより、動作情報処理装置１００ａは、対象者の所定の動作における身体の状態を示す対象者情報を提供することができ、リハビリを実行する対象者の精密な情報を取得することを可能にする。

【0171】

次に、図２７を用いて、第５の実施形態に係る動作情報処理装置１００ａの処理について説明する。図２７は、第５の実施形態に係る動作情報処理装置１００ａによる処理の手順を示すフローチャートである。なお、図２７においては、リハビリとして歩行訓練を実行した場合を一例に挙げて説明する。

【0172】

図２７に示すように、第５の実施形態に係る動作情報処理装置１００ａにおいては、歩行訓練が開始されると、取得部１４０４が、歩行を実行した対象者の動作情報と、対象者情報とをそれぞれ取得する（ステップＳ２０１）。すなわち、取得部１４０４は、動作情報記憶部１３０３から動作情報を取得し、さらに、対象者情報記憶部１３０４から取得した動作情報に対応する時刻の対象者情報を取得する。

【0173】

そして、解析部１４０５は、所定のパラメータについて取得された動作情報又は対象者情報を用いて解析する（ステップＳ２０２）。例えば、解析部１４０５は、高精度な情報を求められているパラメータについては、対象者情報を用いて解析を実行し、その他のパラメータについては、動作情報を用いて解析を実行する。

【0174】

その後、表示情報生成部１４０６は、動作情報と、対象者情報と、解析結果とを関連付けた（同期させた）表示情報を生成する（ステップＳ２０３）。例えば、表示制御部１４０７は、動作情報に含まれる画像情報や、対象者情報に含まれる所定のパラメータの情報、解析部１４０５によって解析された解析結果を関連付けた表示情報を生成する。そして、表示制御部１４０７は、生成された表示情報を出力部１１０にて表示するように制御する（ステップＳ２０４）。

【0175】

上述したように、第５の実施形態によれば、取得部１４０４は、リハビリテーションを実行する対象者の動作情報と、当該対象者の身体の状態を示す対象者情報をそれぞれ取得する。そして、表示情報生成部１４０６は、取得部１４０４によって取得された動作情報と対象者情報とを同期させた表示情報を生成する。そして、表示制御部１４０７は、表示情報生成部１４０６によって生成された表示情報を出力部１１０にて表示させるように制御する。従って、第５の実施形態に係る動作情報処理装置１００ａは、リハビリを実行する対象者の動作に同期した対象者情報を表示させることができ、リハビリを実行する対象者の精密な情報を取得することを可能にする。

【0176】

また、第５の実施形態によれば、表示情報生成部１４０６は、対象者がリハビリテーションに係る所定の動作を実行した場合の当該対象者の対象者情報を表示情報として生成する。従って、第５の実施形態に係る動作情報処理装置１００ａは、リハビリ特有の動作における対象者情報を提供することを可能にする。

【0177】

また、第５の実施形態によれば、取得部１４０４は、対象者情報として生体情報を取得する。そして、表示情報生成部１４０６は、対象者がリハビリテーションに係る所定の動作を実行した場合の当該対象者の生体情報を表示情報として生成する。従って、第５の実施形態に係る動作情報処理装置１００ａは、リハビリ実行時の対象者のバイタル情報を提供することができ、対象者の精密な情報を取得することを可能にする。

【0178】

また、第５の実施形態によれば、解析部１４０５は、取得部１４０４によって取得された動作情報を用いて、対象者の動作を解析する。表示情報生成部１４０６は、解析部１４０５によって解析された対象者の動作に含まれる所定の動作を実行した時点の対象者情報を表示情報として生成する。従って、第５の実施形態に係る動作情報処理装置１００ａは、動作情報に基づいて所定の動作のタイミングを決定することができ、より精密な情報を提供することを可能にする。

【0179】

（第６の実施形態）
上述した第５の実施形態においては、動作情報収集部１０によって収集された骨格情報又は対象者情報収集部２０によって収集された対象者情報を用いて、各種解析を実行する場合について説明した。第６の実施形態では、対象者情報として収集した情報を用いて、動作情報を補正し、補正した動作情報を用いて各種解析を実行する場合について説明する。なお、第６の実施形態においては、解析部１４０５の処理が異なる。以下、これを中心に説明する。

【0180】

第６の実施形態に係る解析部１４０５は、高精度の動作情報を用いて、動作情報を補正し、補正した動作情報を用いて各種解析を実行する。具体的には、解析部１４０５は、取得部１４０４によって取得された対象者情報が高精度の動作情報であった場合に、当該高精度の動作情報を用いて、動作情報収集部１０によって収集された動作情報を補正し、補正した動作情報により、対象者の動作を解析する。

【0181】

かかる場合には、対象者情報収集部２０は、例えば、マーカ及びトラッキング装置が適用され、高精度の動作情報を収集する。図２８Ａ〜図２８Ｂは、第６の実施形態に係る動作情報収集の一例を説明するための図である。ここで、図２８Ａにおいては、対象者の所定の部位の位置を補正する場合について示す。また、図２８Ｂにおいては、対象者の所定の部位の角度及び速度を補正する場合について示す。例えば、位置について、高精度の動作情報を収集する場合には、図２８Ａに示すように、対象者情報収集部２０としてのマーカを対象者が右膝に装着し、図示しないトラッキング装置がマーカの位置をトラッキングすることで、対象者の膝の動作情報を取得する。

【0182】

解析部１４０５は、動作情報収集部１０によって収集される右膝に対応する関節「２ｎ」の座標と、対象者情報収集部２０によって収集される右膝の座標とから対象者の他の関節の座標を補正する。すなわち、解析部１４０５は、動作情報収集部１０によって収集される右膝に対応する関節「２ｎ」の座標と対象者情報収集部２０によって収集される右膝の座標とから、対象者情報収集部２０によって収集される座標空間におけるその他の関節の座標それぞれの位置の座標を算出する。

【0183】

一例を挙げると、動作情報収集部１０によって収集された右膝に対応する関節「２ｎ」の座標が（１０，１０，１０）であり、対象者情報収集部２０によって収集された右膝の座標が（１１．５，１０．８，１１．２）であった場合に、解析部１４０５は、関節「２ｎ」の座標を（１０，１０，１０）から（１１．５，１０．８，１１．２）に補正する。そして、解析部１４０５は、右膝に対応する関節「２ｎ」の座標（１０，１０，１０）と、対象者情報収集部２０によって収集された右膝の座標（１１．５，１０．８，１１．２）とから算出される変換係数を用いて、動作情報収集部１０によって収集されたその他の関節「２ａ」〜「２ｔ」の座標それぞれを補正する。すなわち、解析部１４０５は、その他の関節「２ａ」〜「２ｔ」の座標それぞれに対して変換係数をかけることにより、各座標を補正する。

【0184】

そして、解析部１４０５は、上記した補正によって算出した対象者の各部位の座標（対象者情報収集部２０によって収集される座標空間における座標）を用いて、各種解析を実行する。これにより、第２の動作情報処理装置１００ａは、より正確な座標を用いた解析を実行することができ、当該解析の結果を用いることで、より精密な表示情報を提供することを可能にする。

【0185】

なお、上述した実施形態では、高精度の動作情報を対象者情報収集部２０としてのマーカ及びトラッキング装置で収集する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、複数の動作情報収集部１０を設置し、そのうちの１つをマーカ及びトラッキング装置とする場合であってもよい。

【0186】

また、同様に、対象者の所定の部位の角度及び速度を補正することも可能である。例えば、角度や速度について、高精度の動作情報を収集する場合には、図２８Ｂの右側の図に示すように、対象者が、対象者情報収集部としての関節角度センサ２２や、速度センサ２３を装着して、動作情報収集部１０による動作収集範囲内で歩行訓練を実行する。これにより、解析部１４０５が動作情報を用いて角度や速度を解析し、さらに、対象者情報収集部（関節角度センサ２２、速度センサ２３）から高精度な角度情報や速度情報を収集することができる。

【0187】

かかる状態において、例えば、操作者によって高精度な角度情報が求められた場合には、まず、解析部１４０５は、図２８Ｂの左側に示すように、右肩に対応する関節「２ｅ」と右肘に対応する関節「２ｆ」とを結ぶ骨に対する右肘に対応する関節「２ｆ」と右手首に対応する関節「２ｇ」とを結ぶ骨の角度「θ１」をフレームごとに算出する。すなわち、解析部１４０５は、歩行動作中の対象者の右肘の角度を解析する。そして、解析部１４０５は、歩行動作中に関節角度センサ２２によって取得される右肘の角度を用いて、フレームごとに算出した右肘の角度を補正する。すなわち、解析部１４０５は、所定のフレームの右肘の角度を、当該フレームの時間において関節角度センサ２２によって取得された右肘の角度に補正する。

【0188】

一例を挙げると、解析部１４０５によって算出された「θ１」の角度が「１７０°」であり、関節角度センサ２２によって収集された右肘の角度が「１７６°」であった場合に、解析部１４０５は、「θ１」の角度を「１７０°」から「１７６°」に補正する。そして、解析部１４０５は、「θ１」の角度「１７０°」と、関節角度センサ２２によって収集された右肘の角度「１７６°」とから算出される変換係数を用いて、動作情報収集部１０によって収集されたそれ以降の右肘の角度や、その他の関節の角度をそれぞれ補正する。すなわち、解析部１４０５は、それ以降の右肘の角度や、その他の関節の角度それぞれに対して変換係数をかけることにより、各角度を補正する。

【0189】

例えば、操作者によって高精度な速度情報が求められた場合には、まず、解析部１４０５は、図２８Ｂの右側に示すように、速度センサ２３が装着された体の重心の速度情報をフレームごとに算出する。そして、解析部１４０５は、歩行動作中に速度センサ２３によって取得される速度情報を用いて、フレームごとに算出した体の重心の速度を補正する。すなわち、解析部１４０５は、所定のフレームの体の重心の速度を、当該フレームの時間において速度センサ２３によって取得された速度情報に補正する。

【0190】

一例を挙げると、解析部１４０５によって算出された体の重心の速度が「０．５ｍ／ｓｅｃ」であり、速度センサ２３によって収集された速度が「０．５８ｍ／ｓｅｃ」であった場合に、解析部１４０５は、体の重心の速度を「０．５ｍ／ｓｅｃ」から「０．５８ｍ／ｓｅｃ」に補正する。そして、解析部１４０５は、体の重心の速度「０．５ｍ／ｓｅｃ」と、速度センサ２３によって収集された速度「０．５８ｍ／ｓｅｃ」とから算出される変換係数を用いて、動作情報収集部１０によって収集されたそれ以降の体の重心の速度や、その他の部位の速度をそれぞれ補正する。すなわち、解析部１４０５は、それ以降の体の重心の速度や、その他の部位の速度それぞれに対して変換係数をかけることにより、各速度を補正する。

【0191】

上述したように、第６の実施形態によれば、取得部１４０４は、動作情報と比較して高解像度である高解像度動作情報を取得する。そして、解析部１４０５は、取得部１４０４によって取得された高解像度動作情報を用いて、動作情報を補正した後に、対象者の動作を解析する。従って、第６の実施形態に係る動作情報処理装置１００ａは、より正確な情報を用いて対象者の動作を解析することを可能にする。

【0192】

（第７の実施形態）
さて、これまで第５及び第６の実施形態について説明したが、上述した第５及び第６の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

【0193】

上述した第５の実施形態においては、カラー画像情報と、足の着地点の位置を示す図と、表とを配置した表示情報を生成する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、任意の図を配置した表示情報を生成する場合であってもよい。例えば、動作情報収集部１０によって収集された動作情報に含まれるカラー画像情報と、対象者情報収集部２０によって収集された動作情報に含まれるカラー画像情報との時間を同期させた表示情報を生成する場合であってもよい。

【0194】

図２９Ａ及び図２９Ｂは、第７の実施形態に係る表示情報生成部１４０６によって生成される表示情報の一例を示す図である。例えば、表示情報生成部１４０６は、図２９Ａに示すように、表示ウィンドウの左側の領域に動作情報収集部１０によって収集されたカラー画像情報を配置し、表示ウィンドウの右側の領域に対象者情報収集部２０によって収集されたカラー画像情報を配置した表示情報を生成する。

【0195】

ここで、対象者情報収集部２０においては、例えば、ＬＥＡＰなどの高解像度のモーションキャプチャシステムが適用される。これにより、表示情報生成部１４０６は、例えば、図２９Ａに示すように、表示ウィンドウの右側の領域に対象者の手の詳細なカラー画像情報を配置した表示情報を生成する。ここで、表示情報生成部１４０６は、表示ウィンドウの左側の領域のカラー画像情報と右側の領域のカラー画像情報との時刻を同期させる。

【0196】

また、例えば、表示情報生成部１４０６は、図２９Ｂに示すように、同一のカラー画像情報に動作情報収集部１０によって収集された骨格情報と、対象者情報収集部２０によって収集された対象者の右手の高解像度な骨格情報とを重畳した表示情報を生成する。

【0197】

また、上述した第５及び第６の実施形態においては、表示情報を出力部１１０にて表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者情報のバイタル情報に基づいて、リハビリテーションを実行する対象者に対して、誘導を促したりすることも、警告を発するようにすることも可能である。

【0198】

かかる場合には、例えば、記憶部１３０ａが血圧や心拍数に関する所定の閾値を記憶する。そして、制御部１４０ａが、対象者情報収集部２０によって収集される血圧や心拍数を監視して、所定の閾値を超えた場合に、リハビリを実行する対象者に対して、「ペースを遅くしてください」或いは「負荷を軽くしてください」などの警告を示すメッセージを出力するように制御する。例えば、制御部１４０ａは、出力部１１０を介して、音声や映像によりメッセージを出力する。

【0199】

上述したように、本願に係る動作情報処理装置１００ａは、動作情報と対象者情報とを用いて、種々の解析と表示を実行することができる。これをにより、動作情報処理装置１００ａは、例えば、対象者情報収集部２０として音声センサを用いることで言語療法や音楽療法に利用したり、対象者情報収集部２０として脳波計や五感センサを用いることで精神疾患の患者に対して利用したりすることも可能である。

【0200】

また、例えば、日常生活にも付与可能な小型センサやウェアラブルセンサが提供された場合に、本願に係る動作情報処理装置１００ａは、対象者情報収集部２０としてそれらを用いることで、日常生活情報と訓練時の情報を連携して扱うことが可能になる。例えば、本願に係る動作情報処理装置１００ａは、日常生活時の改善状況の確認や訓練後の効果の評価などを行うことができる。また、本願に係る動作情報処理装置１００ａは、対象者情報収集部２０として表示するためのセンサを用いることで、リハビリの訓練状況・回復状況・維持改善状況をリアルタイムでわかりやすく提供することも可能である。すなわち、対象者は、リハビリ中に映像を見る余裕がない場合がほとんどであると考えられる。そこで、対象者に対するリアルタイム表示においては、メガネタイプの表示機器（表示するためのセンサ）を用いることが望ましい。或いは、本願に係る動作情報処理装置１００ａは、対象者に対して、ＭＥＭＳなどを用いて、映像以外で体に直接情報を伝えることも可能である。また、本願に係る動作情報処理装置１００ａは、メガネタイプの表示機器を用いてリアルタイム表示する場合には、ナビを実行させることも可能であり、ナビの出し方（実施者が真似しやすい魅せ方など）やタイミング（何秒後にする動作を表示するか）などを任意に設定することができる。

【0201】

上述した第５及び第６の実施形態では、動作情報処理装置１００ａが、リハビリを実行する対象者の動作情報及び対象者情報を取得して、表示情報を表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。

【0202】

図３０は、第７の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。図３０に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０及び動作情報収集部２０がそれぞれ接続される。そして、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。なお、図３０においては、動作情報収集部１０及び対象者情報収集部２０がそれぞれ１つのみ示されているが、接続される数は任意である。

【0203】

サービス提供装置２００は、動作情報処理装置１００ａと同様の処理をサービスとして端末装置３００に提供する。すなわち、サービス提供装置２００は、取得部１４０４と、表示情報生成部１４０６と、表示制御部１４０７と同様の機能部を有する。そして、取得部１４０４と同様の機能部は、リハビリテーションを実行する対象者の動作情報と、当該対象者の身体の状態を示す対象者情報をそれぞれ取得する。そして、表示情報生成部１４０６と同様の機能部は、取得部１４０４と同様の機能部によって取得された対象者情報とを同期させた表示情報を生成する。そして、表示制御部１４０７と同様の機能部は、表示情報生成部１４０６と同様の機能部によって生成された表示情報を端末装置３００のモニタにて表示させるように制御する。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。

【0204】

また、上述した第５の実施形態における動作情報処理装置１００ａの構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、動作情報記憶部１３０３と対象者情報記憶部１３０４とを統合したり、取得部１４０４を動作情報を取得する動作情報取得部と、対象者情報を取得する対象者情報取得部に分離したりすることが可能である。

【0205】

また、第５の実施形態から第７の実施形態において説明した取得部１４０４、表示情報生成部１４０６及び表示制御部１４０７の機能は、ソフトウェアによって実現することもできる。例えば、取得部１４０４、表示情報生成部１４０６及び表示制御部１４０７の機能は、上記の実施形態において取得部１４０４、表示情報生成部１４０６及び表示制御部１４０７が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。

【0206】

上述したように、第５〜第７の実施形態に係る動作情報処理装置１００は、リハビリを実行する対象者の精密な情報を取得することで、リハビリを実行する対象者に対して有効な支援を行う。次に、第８〜第１０の実施形態において、移動動作を実行する対象者に対して安定した支援を行うことで、リハビリを実行する対象者に対して有効な支援を行う動作情報処理装置について説明する。

【0207】

（第８の実施形態）
図３１は、第８の実施形態に係る動作情報処理装置１００ｂの構成の一例を示す図である。第８の実施形態に係る動作情報処理装置１００ｂは、第１〜第４の実施形態に係る動作情報処理装置１００と同様に、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。

【0208】

図３１に示すように、第８の実施形態において、動作情報処理装置１００ｂは、動作情報収集部１０及び移動機構３０に接続される。ここで、図３１に示す動作情報収集部１０は、図２に示す動作情報収集部１０と同様である。すなわち、図３１に示す動作情報収集部１０は、対象者の動作の情報を収集し、収集した各種情報を動作情報処理装置１００ｂに送り、後述する記憶部１３０ｂ（例えば、動作情報記憶部１３０６など）に格納する。なお、これらの処理については、上述した処理と同様であることから詳細な説明を省略する。

【0209】

移動機構３０は、対象者が移動動作を実行した場合でも、対象者の動作情報を安定して収集するため機構である。具体的には、移動機構３０は、移動動作を実行する対象者に対して所定の位置から当該対象者の動作情報を収集するように、動作情報を収集する動作情報収集部１０を移動させる。例えば、第１の実施形態に係る移動機構３０は、動作情報収集部１０を乗せる台車である。かかる場合、移動機構３０としての台車は、モータを有し、対象者との距離を一定に保つように自走する。すなわち、移動機構３０は、移動動作を実行する対象者が常に動作情報収集部１０の認識範囲内に入るように、動作情報収集部１０の位置を変化させる。なお、移動機構３０の詳細については、後述する。

【0210】

動作情報処理装置１００ｂは、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。具体的には、動作情報処理装置１００ｂは、移動動作を伴うリハビリテーションを実行する対象者に対して安定した支援を行なう。

【0211】

上述したように、従来、リハビリテーションの機能訓練においては、歩行訓練や、関節可動域訓練などの種々の訓練が行われている。ここで、これらの訓練においては、例えば歩行訓練のように移動を伴う訓練がある。一例を挙げると、歩行訓練においては、約１０ｍ程度の距離を歩行する場合がある。しかしながら、動作情報収集部１０が対象者を認識する認識範囲はそれほど広くないため、対象者が移動してしまうと、動作情報収集部１０の認識範囲から外れてしまう場合がある。そこで、本実施形態に係る動作情報処理装置１００ｂは、移動動作を実行する対象者に対して安定した支援を行なうことを可能にするように構成される。

【0212】

例えば、動作情報処理装置１００ｂは、コンピュータ、ワークステーション等の情報処理装置であり、図３１に示すように、出力部１１０と、入力部１２０と、記憶部１３０ｂと、制御部１４０ｂとを有する。

【0213】

出力部１１０は、リハビリを実行する対象者の動作に係る各種情報などを出力する。例えば、出力部１１０は、動作情報処理装置１００ｂを操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、動作情報処理装置１００ｂにおいて対象者の歩行状態を評価するための情報（リハビリの効果を評価することができる情報）などを表示したりする。一例を挙げると、出力部１１０は、歩行状態を評価するための情報として、対象者の画像や、対象者の各部位の座標情報、画像と座標情報を合わせた情報、或いは、過去の情報と比較した際の改善度情報などを表示する。なお、上記した例は、あくまでも一例であり、歩行状態を評価するための情報であればどのような情報が出力される場合であってもよい。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。

【0214】

入力部１２０は、リハビリを実行する対象者の動作に係る各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報処理装置１００ｂの操作者から各種要求（例えば、表示される画像の選択要求や、ＧＵＩ上で計測を実行させるための計測要求など）の入力を受け付け、受け付けた各種要求を動作情報処理装置１００ｂに転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部１２０は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。

【0215】

記憶部１３０ｂは、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０ｂは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。

【0216】

以上、第８の実施形態に係る動作情報処理装置１００ｂの構成について説明した。かかる構成のもと、第８の実施形態に係る医動作情報処理装置１００ｂは、以下、詳細に説明する構成により、移動動作を実行する対象者に対して安定した支援を行なうことを可能にする。図３２は、第８の実施形態に係る動作情報処理装置１００ｂの詳細な構成の一例を示す図である。まず、動作情報処理装置１００ｂにおける記憶部１３０ｂの詳細について説明する。図３２に示すように、動作情報処理装置１００ｂにおいては、例えば、記憶部１３０ｂが動作情報記憶部１３０６と、移動距離記憶部１３０７とを備える。

【0217】

動作情報記憶部１３０６は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３０６は、動作情報収集部１０の動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部１３０６は、動作情報収集部１０の動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３０６は、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。

【0218】

例えば、第８の実施形態に係る動作情報記憶部１３０６は、上述した図２３に示す動作情報を記憶する。すなわち、動作情報記憶部１３０６は、図２３に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とを対応付けた動作情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者がリハビリの訓練を実施した日時を示す。「動作情報」とは、動作情報収集部１０によって収集された情報を示す。

【0219】

例えば、動作情報記憶部１３０６は、図２３に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」のリハビリにおいて、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報など」が記憶されていることを示す。

【0220】

ここで、図２３に示す動作情報においては、リハビリの動作を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」などが時系列順に時間に対応付けて記憶される。すなわち、動作情報記憶部１３０６は、１回のリハビリ動作中に動作情報収集部１０によって収集された「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」などを収集された時間に対応付けて記憶する。換言すると、動作情報記憶部１３０６は、動作情報収集部１０によって収集された動作情報をフレームの時間でそれぞれ対応付けて記憶する。

【0221】

また、動作情報記憶部１３０６は、図２３に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、動作情報記憶部１３０６は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」のリハビリにおける動作情報も同様に記憶する。

【0222】

同様に、動作情報記憶部１３０６は、図２３に示すように、他の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」などを含む動作情報を記憶する。このように、動作情報記憶部１３０６は、対象者ごとに収集されたリハビリの動作情報を、それぞれの対象者に対応付けて記憶する。なお、図２３に示す動作情報はあくまでも一例である。すなわち、動作情報記憶部１３０６は、図２３に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報をさらに対応付けて記憶することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果が含まれないものとして記憶することとなる。

【0223】

移動距離記憶部１３０７は、後述する制御部１４０ｂによる解析結果を記憶する。具体的には、移動距離記憶部１３０７は、後述する制御部１４０ｂが動作情報記憶部１３０６によって記憶された動作情報を用いて算出したセンサの移動距離を記憶する。なお、移動距離については、後述する。

【0224】

次に、動作情報処理装置１００ｂの制御部１４０ｂの詳細について説明する。図３２に示すように、動作情報処理装置１００ｂにおいては、例えば、制御部１４０ｂが取得部１４０８と、移動機構制御部１４０９と、解析部１４１０と、表示制御部１４１１とを備える。

【0225】

取得部１４０８は、移動動作（例えば、歩行訓練など）を実行する対象者に対して所定の位置から収集された当該対象者の動作情報を取得する。具体的には、取得部１４０８は、対象者の動作情報を収集する動作情報収集部１０の認識範囲内に移動動作を実行する対象者が入り続けるように移動機構３０によって位置が変化された動作情報収集部１０によって収集された対象者の動作情報を動作情報記憶部１３０６から取得する。一例を挙げると、取得部１４０８は、対象者の移動動作に応じて移動機構３０によって位置が変化された動作情報収集部１０によって収集され、動作情報記憶部１３０６によってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報をそれぞれ取得する。

【0226】

図３３は、第８の実施形態に係る取得部１４０８によって取得される動作情報の一例を説明するための模式図である。図３３においては、動作情報収集部１０が移動機構３０の上に乗せられ、ｚ軸方向に沿って歩行訓練を実施している対象者の動作情報を取得する場合について示す。ここで、移動機構３０は、後述する移動機構制御部１４０９の制御により、対象者との位置関係に基づいて、図３３の矢印３２又は矢印３３の方向に移動する。なお、移動機構制御部１４０９による制御について、後に詳述する。例えば、取得部１４０８は、図３３に示すように、対象者がｚ軸方向に沿った矢印３１の向きに歩行訓練を実施している際に、動作情報収集部１０の認識範囲である領域Ｒ４内に入り続けるように移動機構３０が移動しながら収集された対象者の動作情報を動作情報記憶部１３０６から取得する。

【0227】

すなわち、取得部１４０８は、図３３に示すように、移動動作を実行する対象者が動作情報収集部１０の認識範囲である領域Ｒ４に入るように移動機構３０が移動し、移動後の領域Ｒ４における対象者のカラー画像情報、距離画像情報及び骨格情報などを取得する。ここで、取得部１４０８は、例えば、氏名、氏名番号、実施日などをキーとしてそれぞれの動作情報を取得する。換言すると、取得部１４０８は、各動作情報収集部１０によって収集された対象者の歩行訓練における一連の歩行動作にかかる全てのフレームのカラー画像情報、距離画像情報及び骨格情報をそれぞれ取得する。或いは、取得部１４０８は、リアルタイムで動作情報記憶部１３０６に格納される各動作情報をリアルタイムに取得する。

【0228】

図３２に戻って、移動機構制御部１４０９は、取得部１４０８によって取得された対象者の動作情報に基づいて、移動機構３０を移動させる。具体的には、移動機構制御部１４０９は、移動動作を実行している対象者が移動機構３０の上に乗せられた動作情報収集部１０の認識範囲内に入り続けるように移動機構３０を移動させる。例えば、図３３を用いて説明すると、移動機構制御部１４０９は、歩行訓練を実施している対象者がｚ軸方向に歩いてきた場合に、当該対象者の動作情報から動作情報収集部１０と対象者との距離を算出し、算出した距離に応じてモータを駆動させることで、移動機構３０を矢印３２又は矢印３３の方向に移動させる。

【0229】

ここで、移動機構制御部１４０９は、例えば、動作情報収集部１０と対象者との距離を「３ｍ」に保つように移動機構３０を制御する。一例を挙げると、移動機構制御部１４０９は、取得部１４０８によって取得された対象者の動作情報において、対象者の所定の部位（例えば、腰に対応する関節２ｃ）のｚ軸座標の値から動作情報収集部１０と対象者との距離を算出し、算出した距離が「３ｍ」よりも短い場合には、図３３の矢印３２の方向に移動機構３０を移動させる。一方、算出した距離が「３ｍ」よりも長い場合には、移動機構制御部１４０９は、図３３の矢印３３の方向に移動機構３０を移動させる。

【0230】

上述したように、移動機構制御部１４０９が動作情報収集部１０と対象者との距離を一定に保つように移動機構３０を制御することで、対象者が動作情報収集部１０の認識範囲内に入り続けるように制御することができる。なお、動作情報収集部１０と対象者との距離の閾値は、任意に決定される。ここで、上述した例（図３３に示す例）では、対象者がｚ軸方向に沿って歩行訓練を実施している場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、任意の方向への歩行訓練が実施される場合であってもよい。例えば、対象者がｘ軸方向や、ｚ軸方向から４５°ずれた方向などに沿った歩行訓練が実施される場合であってもよい。かかる場合には、移動機構制御部１４０９は、移動機構３０がｘ軸に沿って移動するように制御したり、ｚ軸方向から４５°ずれた方向に沿って移動するように制御したりする。すなわち、移動機構３０は、図３３に示す矢印３２及び矢印３３の方向だけではなく、３６０°いずれの方向にも移動可能となるように構成され、移動機構制御部１４０９は、動作情報収集部１０と対象者との距離を一定に保つように、移動機構３０を制御する。

【0231】

図３２に戻って、解析部１４１０は、取得部１４０８によって取得された動作情報に基づいて、対象者の移動動作を解析する。具体的には、解析部１４１０は、取得部１４０８によって取得された移動動作を実行する対象者の動作情報、及び、動作情報収集部１０の位置の変化量に基づいて、対象者の移動動作を解析する。より具体的には、解析部１４１０は、取得部１４０８によって取得された経時的な動作情報を用いて動作情報収集部１０との相対位置を算出し、算出した相対位置及び動作情報収集部１０の位置の変化量に基づいて、対象者の移動動作を解析する。ここで、動作情報収集部１０の位置の変化量は、動作情報収集部１０の加速度、移動機構３０に備えられた車輪又はモータの回転数、又は、移動機構３０に備えられた無線装置によって算出される。

【0232】

以下、図３４及び図３５を用いて解析部１４１０の処理の一例を説明する。図３４は、第８の実施形態に係る解析部１４１０による動作情報収集部１０の移動距離の算出例を説明するための図である。図３４においては、加速度を用いて動作情報収集部１０の移動距離を算出する場合について示す。

【0233】

例えば、解析部１４１０は、図３４の（Ａ）に示すように、動作情報が収集されている各フレームに対応する時間（例えば、図中ｔ１）の加速度（ｍ／ｓ²）をそれぞれ取得する。そして、解析部１４１０は、図３４の（Ｂ）に示すように、取得した加速度に対して時間で積分することにより、速度を算出する。その後、解析部１４１０は、図３４の（Ｃ）に示すように、算出した速度に対して経過時間を積算することで、移動距離を算出する。これにより、解析部１４１０は、ある時点からある時点まで（例えば、ｔ０〜ｔ１まで）の動作情報収集部１０の移動距離を算出する。そして、解析部１４１０は、算出した移動距離を時間に対応付けて移動距離記憶部１３０７に格納する。すなわち、移動距離記憶部１３０７は、動作情報が収集されている各フレームの時点における動作情報収集部１０の移動距離が対応付けられた情報を記憶する。

【0234】

なお、解析部１４１０は、上述した加速度による動作情報収集部１０の移動距離の算出のほかに、移動機構３０の車輪の回転数や、モータの回転数、或いは、ＧＰＳ（Global Positioning System）によって動作情報収集部１０の移動距離を算出することができる。したがって、動作情報収集部１０において加速度が取得できない場合であっても動作情報収集部１０の移動距離を算出することができる。

【0235】

図３５は、第８の実施形態に係る解析部１４１０による対象者の位置の解析例を説明するための図である。ここで、図３５においては、ｚ軸方向に歩行訓練を実施する対象者の時間「ｔ１」における床に対する位置を、時間「ｔ０」の位置を用いて算出する場合について示す。すなわち、本願においては、動作情報収集部１０が対象者の移動に伴って移動することから、固定された位置での固定された認識範囲の座標内での位置情報を取得することができないため、解析部１４１０は、動作情報収集部１０に対する対象者の相対位置を算出し、算出した相対位置と、移動距離記憶部１３０７に格納した動作情報収集部１０の移動距離とから、床に対する対象者の位置を算出する。

【0236】

ここで、図３５の上側の図は、時間「ｔ０」における対象者と動作情報収集部１０の状態を示し、図３５の下側の図は、時間「ｔ１」における対象者と動作情報収集部１０の状態を示す。例えば、解析部１４１０は、図３５の上側の図に示すように、歩行開始時「ｔ０」における骨格情報に基づいて、対象者の所定の部位の動作情報収集部１０に対する相対位置（図中、センサに対応する見た目上の座標）を算出する。一例を挙げると、解析部１４１０は、図３５の上側の図に示すように、対象者の腰に対応する関節「２ｃ」の動作情報収集部１０に対する相対位置「Ｚ＿ｔ０（２ｃ）＝３．０ｍ」、左足首に対応する関節「２ｓ」の動作情報収集部１０に対する相対位置「Ｚ＿ｔ０（２ｓ）＝２．９ｍ」、及び、右足首に対応する関節「２ｏ」の動作情報収集部１０に対する相対位置「Ｚ＿ｔ０（２ｏ）＝３．１ｍ」をそれぞれ算出する。

【0237】

そして、解析部１４１０は、図３５の下側の図に示すように、時刻「ｔ１」における骨格情報に基づいて、対象者の腰に対応する関節「２ｃ」の動作情報収集部１０に対する相対位置「Ｚ＿ｔ１（２ｃ）＝３．１ｍ」、左足首に対応する関節「２ｓ」の動作情報収集部１０に対する相対位置「Ｚ＿ｔ１（２ｓ）＝３．２ｍ」、及び、右足首に対応する関節「２ｏ」の動作情報収集部１０に対する相対位置「Ｚ＿ｔ１（２ｏ）＝２．９ｍ」をそれぞれ算出する。

【0238】

そして、解析部１４１０は、「ｔ１」に対応する移動距離を移動距離記憶部１３０７から読み出して、算出した各部位の相対位置の情報と、動作情報収集部１０の移動距離とに基づいて、床に対する対象者の位置を算出する。例えば、解析部１４１０は、「ｔ１」における動作情報収集部１０（図中のセンサ）の移動距離「Ａ＝２．５」を読み出し、以下のように、床に対する対象者の位置を算出する。

【0239】

例えば、解析部１４１０は、対象者の移動前後の相対位置の差分に動作情報収集部１０の移動距離を加算することで、床に対する対象者の位置を算出する。一例を挙げると、上述した腰に対応する関節「２ｃ」の場合、解析部１４１０は、関節「２ｃ」のｚ座標の位置を「Ｂ＿ｔ１（２ｃ）＝（Ｚ＿ｔ０（２ｃ）−Ｚ＿ｔ１（２ｃ））＋Ａ＝（３．０−３．１）＋２．５＝２．４ｍ」と算出する。すなわち、解析部１４１０は、「ｔ１」の時点の対象者の腰の関節「２ｃ」のｚ軸座標の値を「２．４ｍ」と算出する。ここで、「２．４ｍ」は、歩行開始時点「ｔ０」における「２ｃ」のｚ座標の位置からの距離に相当する。

【0240】

同様に、解析部１４１０は、関節「２ｓ」についても、ｚ座標の位置を「Ｂ＿ｔ１（２ｓ）＝（Ｚ＿ｔ０（２ｓ）−Ｚ＿ｔ１（２ｓ））＋Ａ＝（２．９−３．２）＋２．５＝２．２ｍ」と算出する。また、解析部１４１０は、関節「２ｏ」についても、ｚ座標の位置を「Ｂ＿ｔ１（２ｏ）＝（Ｚ＿ｔ０（２ｏ）−Ｚ＿ｔ１（２ｏ））＋Ａ＝（３．１−２．９）＋２．５＝２．７ｍ」と算出する。

【0241】

このように、解析部１４１０は、動作情報が収集された各フレームについて、移動機構３０の移動方向と同一軸における対象者の各部位の座標を算出する。なお、ｙ軸の座標に関しては、移動機構３０の位置（床に対する動作情報収集部１０の認識範囲の位置）に関係なく、動作情報収集部１０によって収集された値を用いることができる。また、ｘ軸の座標に関しても、移動機構３０の移動に伴って、認識範囲のｘ軸方向の範囲がズレなければ、動作情報収集部１０によって収集された値を用いることができる。

【0242】

そして、解析部１４１０は、算出した座標情報を用いて、対象者の移動動作に関する解析を実行する。例えば、解析部１４１０は、対象者が歩行訓練を実施していた場合に、対象者の足のｚ座標の変化から足の着地点を解析する。図３６は、第８の実施形態に係る解析部１４１０による歩行訓練の解析の一例を説明するための図である。例えば、解析部１４１０は、対象者の歩行訓練中の各フレームにおける左右の足のｚ座標の値をそれぞれ算出して、図９に示すように、縦軸に奥行（ｍ）、横軸に時刻をとったグラフを左右の足それぞれで生成する。

【0243】

そして、解析部１４１０は、図３６に示すグラフの左右の足それぞれにおいて、時刻経過に伴う奥行の変化がない時点に足が床に着地していると判定する。すなわち、解析部１４１０は、図３６の各足のグラフにおいて、単位時間あたりのｚ座標の値の変化が所定の閾値以下となっている時点を足が床についている時点と判定して、判定した時点（フレーム）の足の座標情報を足の着地点とする。ここで、判定に用いられる所定の閾値は、任意に設定される。

【0244】

なお、上述した例は、あくまでも一例であり、用いられる座標は上記した例に限られない。すなわち、関節「２ｓ」及び「２ｏ」のｚ座標だけではなく、例えば、関節「２ｔ」及び「２ｐ」のｚ座標、或いは、膝のｚ座標が用いられる場合であってもよい。また、単一の関節だけではなく、例えば、２つの関節のｚ座標の変化を用いて総合的に判定する場合であってもよい。また、解析部１４１０は、ｚ座標だけではなく、例えば、ｙ座標、又はｘ座標を用いて足の着地点を算出することも可能である。

【0245】

一例を挙げると、ｙ座標を用いる場合には、解析部１４１０は、各関節におけるｙ座標の値（各関節の高さ）から足が地面についているか否かを判定する。すなわち、解析部１４１０は、関節のｙ座標の値が所定の閾値以下である場合に、足が地面についていると判定する。なお、所定の閾値は関節ごとに任意に設定される。また、ｘ座標を用いる場合には、解析部１４１０は、ｘ座標の値が略一定である場合に足が地面についていると判定する。すなわち、対象者が歩行している際に、地面に着いている側の足の関節のｘ座標の値の変化はほとんどないが、足が宙にういている場合には、ｘ座標の値が小刻みに変化する。そこで、解析部１４１０は、ｘ座標の値が略一定である場合に足が地面についていると判定する。

【0246】

また、座標について、複数の座標を総合的に用いて判定される場合であってもよい。例えば、ｚ座標の変化とｙ座標の変化をそれぞれ解析して、それぞれの解析結果に基づいて、足が地面についたか否かを判定する場合であってもよい。また、各座標の値に対して、所定の係数を加える場合であってもよい。例えば、ｙ座標の値に係数「α」を加えた上で、判定される場合であってもよい。

【0247】

また、上述したように、解析部１４１０は、足が着地したことを判定するだけではなく、足が浮いていることを判定することもできる。例えば、解析部１４１０は、ｚ座標の単位時間当たりの値の変化が所定の閾値を超えている場合に、足が浮いていると判定する。また、例えば、解析部１４１０は、ｙ座標の値が所定の閾値を超えている場合に、足が浮いていると判定する。また、例えば、解析部１４１０は、ｘ座標の値が小刻みに変化している場合に、足が浮いていると判定する。そして、解析部１４１０は、浮いていると判定した足とは反対側の足が地面に着いていると判定する。例えば、解析部１４１０は、歩行中に右足が浮いていれば、左足は着地していると判定できる。また、予め地面の座標をシステムにインプットしておくことで、解析部１４１０は、足が地面の座標に近くなった場合に、着地していると判定することも可能である。

【0248】

上述したように、解析部１４１０は、足の着地点の位置（座標）を解析する。これにより、解析部１４１０は、例えば、解析した着地点の位置を基に、重複歩距離、歩幅、歩隔、歩数、歩行率、歩行時間、足が着地している時間などを解析する。すなわち、解析部１４１０は、着地点の座標を用いて、上記した種々の情報を解析する。ここで、解析部１４１０は、重複歩距離、歩幅、歩隔などを、歩行の方向を基準にして算出することが可能である。なお、「重複歩行距離」とは、片足が着地してから、再び着地するまでの距離を示す情報である。また、「歩幅」とは、対象者の歩行において右足（左足）の着地点から左足（右足）の着地点までの進行方向の距離を示す情報である。また、「歩隔」とは、対象者の歩行において右足（左足）の着地点から左足（右足）の着地点までの進行方向に直交する方向の距離を示す情報である。また、「歩数」とは、対象者が歩行訓練で歩いた歩数を示す情報である。また、「歩行率」とは、単位時間あたりの歩数を示す情報である。

【0249】

また、解析部１４１０は、床に対する対象者の各部位の位置（座標）を用いて、角度を解析することも可能である。例えば、解析部１４１０は、フレームごとの床に対する対象者の各部位の座標を用いて、所定の基準に対する対象者の体の所定の部位の角度を算出する。例えば、図３３に示す世界座標系の所定の空間（動作情報収集部１０によって座標情報を収集することが可能な空間）において、ｚ軸方向に沿った矢印の向きで対象者が歩行訓練を実行した場合に、解析部１４１０は、種々の角度を算出することが可能である。

【0250】

例えば、解析部１４１０は、ｘｙ平面における鉛直方向に対する頭に対応する関節「２ａ」から臀部の中央部に対応する関節「２ｄ」までの軸（体軸）の角度を算出する。かかる場合には、解析部１４１０は、所定のフレームにおける頭に対応する関節「２ａ」における座標情報と、臀部の中央部に対応する関節「２ｄ」の座標情報とを通過する直線を算出して、算出した直線とｙ軸と平行の直線とのなす角度を算出する。すなわち、解析部１４１０は、対象者を前方から見た場合の左右への角度（対象者にとって左右の角度）の度合いを算出する。

【0251】

また、例えば、解析部１４１０は、ｘｚ平面における水平方向に対する右肩に対応する関節「２ｅ」から左肩に対応する関節「２ｉ」までの軸の角度を算出する。かかる場合には、解析部１４１０は、所定のフレームにおける右肩に対応する関節「２ｅ」における座標情報と、左肩に対応する関節「２ｉ」の座標情報とを通過する直線を算出して、算出した直線とｘ軸と平行の直線とのなす角度を算出する。すなわち、解析部１４１０は、対象者を上方から見た場合の体軸を中心とする回転方向の体のブレの度合いを算出する。

【0252】

また、例えば、解析部１４１０は、ｙｚ平面における鉛直方向に対する頭に対応する関節「２ａ」から臀部の中央部に対応する関節「２ｄ」までの軸（体軸）の角度を算出する。かかる場合には、解析部１４１０は、所定のフレームにおける頭に対応する関節「２ａ」における座標情報と、臀部の中央部に対応する関節「２ｄ」の座標情報とを通過する直線を算出して、算出した直線とｙ軸と平行の直線とのなす角度を算出する。すなわち、解析部１４１０は、対象者を横から見た場合の左右への角度（対象者にとって前後の角度）の度合いを算出する。

【0253】

また、解析部１４１０は、所定の基準として対象者の体の一部を用いることも可能である。具体的には、解析部１４１０は、フレームごとに算出した床に対する対象者の各部位の位置を用いて、対象者の体の一部に対する対象者の体の所定の部位の角度を算出する。例えば、図３３に示すように、世界座標系の所定の空間（動作情報収集部１０によって座標情報を収集することが可能な空間）において、ｚ軸方向に沿った矢印の向きで対象者が歩行訓練を実行した場合に、解析部１４１０は、右肩に対応する関節「２ｅ」と右肘に対応する関節「２ｆ」とを結ぶ骨に対する右肘に対応する関節「２ｆ」と右手首に対応する関節「２ｇ」とを結ぶ骨の角度を算出する。すなわち、解析部１４１０は、歩行動作中の対象者の右腕（右肘）の角度を解析する。かかる場合には、解析部１４１０は、所定のフレームにおける関節「２ｅ」における座標情報と、関節「２ｆ」の座標情報とを通過する直線を算出する。さらに、解析部１４１０は、関節「２ｆ」の座標情報と、関節「２ｇ」の座標情報とを通過する直線を算出する。そして、解析部１４１０は、算出した２本の直線のなす角度を算出する。

【0254】

また、解析部１４１０は、対象者の各部位における速度を解析することもできる。例えば、解析部１４１０は、速度を解析する場合には、所定時間（例えば、０．５秒）ごとに、床に対する対象者の所定の部位の座標が移動した移動距離［ｍ］を算出する。そして、解析部１４１０は、算出した所定時間当たりの移動距離に基づいて、対象者の移動速度［ｍ／秒］を所定時間ごとに算出する。ここで、解析部１４１０は、歩行訓練を行っている間の対象者の移動速度の平均値を、対象者が歩く速度として算出することも可能である。一例を挙げると、解析部１４１０は、操作者が入力部１２０を介して指示した部位（例えば、いずれかの関節、或いは、各関節から導出される体の部位）の移動速度を算出する。また、解析部１４１０は、算出した速度を用いて加速度を算出する。具体的には、解析部１４１０は、上述した手法により算出した単位時間あたりの速度を用いて、加速度（単位時間あたりの速度の変化率）を算出する。

【0255】

上述したように、解析部１４１０は、フレームごとの床に対する対象者の各部位の座標情報を用いて、種々の解析を実行する。ここで、解析部１４１０は、上述した解析を自動で実行してもよく、或いは、操作者による操作のもと実行する場合であってもよい。また、解析部１４１０は、解析結果を用いて、対象者の歩行が所定の基準を満たす歩行（安定した歩行）であるか否かを判定することも可能である。また、解析部１４１０は、操作者による操作のもと実行する解析として、距離の測定などを実行することもできる。

【0256】

図３２に戻って、表示制御部１４１１は、動作情報収集部１０によって収集された情報や、解析部１４１０による解析結果などを出力部１１０にて出力させる。例えば、表示制御部１４１１は、動作情報収集部１０によって収集されたカラー画像情報や、解析部１４１０によって解析された歩行訓練の解析結果などを出力部１１０にて出力させる。

【0257】

次に、図３７を用いて、第８の実施形態に係る動作情報処理装置１００ｂの処理について説明する。図３７は、第８の実施形態に係る動作情報処理装置１００ｂによる処理の手順を示すフローチャートである。

【0258】

図３７に示すように、第８の実施形態に係る動作情報処理装置１００ｂにおいては、移動動作が開始されると、取得部１４０８が、移動動作を実行した対象者の動作情報をセンサから取得する（ステップＳ３０１）。すなわち、取得部１４０８は、動作情報収集部１０としてのセンサによって収集された動作情報を動作情報記憶部１３０６から取得する。

【0259】

そして、解析部１４１０は、センサの移動距離を算出して（ステップＳ３０２）、対象者の動作情報を用いて、センサに対する相対距離を各時間（各フレーム）で算出する（ステップＳ３０３）。その後、解析部１４１０は、算出した相対距離及びセンサの移動距離に基づいて、床に対する対象者の位置を算出する（ステップＳ３０４）。

【0260】

そして、解析部１４１０は、フレームごとの床に対する対象者の位置に基づいて、動作情報を解析する（ステップＳ３０５）。例えば、解析部１４１０は、歩行訓練を実施する対象者の歩行動作について、各種解析を実行する。

【0261】

上述したように、第８の実施形態によれば、取得部１４０８は、移動動作を実行する対象者に対して所定の位置から収集された当該対象者の動作情報を取得する。解析部１４１０は、取得部１４０８によって取得された動作情報に基づいて、対象者の移動動作を解析する。従って、第８の実施形態に係る動作情報処理装置１００ｂは、移動動作を実行している対象者に対して、常に所定の位置から動作情報を取得することができ、移動動作を実行する対象者に対して安定した支援を行なうことを可能にする。その結果、第８の実施形態に係る動作情報処理装置１００ｂは、リハビリテーションに対する医師や理学療法士などの評価をより精度よく行うことを可能にする。

【0262】

また、第８の実施形態によれば、取得部１４０８は、対象者の動作情報を収集する動作情報収集部１０の認識範囲内に移動動作を実行する対象者が入り続けるように移動機構３０によって位置が変化された動作情報収集部１０によって収集された対象者の動作情報を取得する。そして、解析部１４１０は、取得部１４０８によって取得された移動動作を実行する対象者の動作情報、及び、動作情報収集部１０の位置の変化量に基づいて、対象者の移動動作を解析する。従って、第８の実施形態に係る動作情報処理装置１００ｂは、常に精度の高い動作情報を取得することができ、より安定した支援を行なうことを可能にする。例えば、歩行訓練においては、動作情報収集部１０の認識範囲が長く、精度が一定な歩行訓練支援機能を提供し、歩行訓練において臨床上有用な評価を可能とする。

【0263】

また、第８の実施形態によれば、解析部１４１０は、取得部１４０８によって取得された経時的な動作情報を用いて動作情報収集部１０との相対位置を算出し、算出した相対位置及び動作情報収集部１０の位置の変化量に基づいて、対象者の移動動作を解析する。従って、第８の実施形態に係る動作情報処理装置１００ｂは、動作情報収集部１０が位置を移動した場合であっても、正確な解析を実行することを可能にする。

【0264】

また、第８の実施形態によれば、動作情報収集部１０の位置の変化量は、動作情報収集部１０の加速度、移動機構３０に備えられた車輪又はモータの回転数、又は、移動機構３０に備えられた無線装置によって算出される。従って、第８の実施形態に係る動作情報処理装置１００ｂは、種々の状況において、移動動作を実行する対象者に安定した支援を行なうことを可能にする。

【0265】

（第９の実施形態）
上述した第８の実施形態においては、動作情報収集部１０が移動機構３０に乗せられ、対象者の移動に応じて、位置を移動する場合について説明した。第９の実施形態は、動作情報収集部１０が位置を移動せずに移動動作を実行する対象者を支援する場合について説明する。第９の実施形態においては、移動機構３０と、移動機構制御部１４０９及び解析部１４１０の処理の内容とが第８の実施形態と異なる。以下、これらを中心に説明する。

【0266】

図３８は、第９の実施形態に係る移動機構３０の一例を示す図である。例えば、第９の実施形態に係る移動機構３０は、図３８に示すように、動く床である。そして、第９の実施形態に係る移動機構制御部１４０９は、図３８に示す移動機構（動く床）３０を所定の速度で動かすように制御する。すなわち、移動機構制御部１４０９は、図３８に示すローラを所定の速度で回転させることで、対象者が移動動作を実行する床を所定の速度で移動させる。なお、床の速度は任意の速度で移動させることができ、対象者に応じて種々調整される。

【0267】

そして、第９の実施形態に係る取得部１４０８は、対象者に対して所定の範囲内で移動動作を実行させる移動機構３０（例えば、動く床など）において移動動作を実行する対象者から所定の距離で収集された当該対象者の動作情報を取得する。例えば、動作情報収集部１０が、動く床の上で歩行訓練を実施する対象者に対して所定の位置に配置され、当該対象者の動作情報を収集して、動作情報記憶部１３０６に格納する。そして、取得部１４０８は、動作情報記憶部１３０６に記憶された動作情報を取得する。

【0268】

そして、第９の実施形態に係る解析部１４１０は、取得部１４０８によって取得された移動動作を実行する対象者の動作情報、及び、動く床の移動量に基づいて、対象者の移動動作を解析する。例えば、解析部１４１０は、図３８に示すように、移動機構（動く床）３０のローラの回転数などから床の移動距離Ａを算出する。そして、解析部１４１０は、各フレームの対象者の座標情報と、算出した移動距離Ａとを用いて、第８の実施形態と同様に対象者の位置を算出する。すなわち、解析部１４１０は、対象者が実際の床で歩行訓練を実施した場合の床に対する対象者の位置と同様の世界座標系における対象者の座標を算出する。

【0269】

そして、解析部１４１０は、算出した世界座標系における対象者の座標を用いて、上述したように、移動動作における種々の解析を実行する。すなわち、解析部１４１０は、歩行に関する解析や、対象者の角度、速度などの解析を実行する。

【0270】

上述したように、第９の実施形態によれば、取得部１４０８は、対象者に対して所定の範囲内で移動動作を実行させる移動機構（例えば、動く床など）３０において移動動作を実行する対象者から所定の距離で収集された当該対象者の動作情報を取得する。従って、第９の実施形態に係る動作情報処理装置１００ｂは、限られたスペースで移動動作を実行する対象者の動作情報を精度よく取得することを可能にする。

【0271】

また、第９の実施形態によれば、取得部１４０８は、動く床のうえで移動動作を実行する対象者の動作情報を取得する。そして、解析部１４１０は、取得部１４０８によって取得された移動動作を実行する対象者の動作情報、及び、動く床の移動量に基づいて、対象者の移動動作を解析する。従って、第９の実施形態に係る動作情報処理装置１００ｂは、限られたスペースでの移動動作を容易に実行させることを可能にする。

【0272】

（第１０の実施形態）
さて、これまで第８及び第９の実施形態について説明したが、上述した第８及び第９の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

【0273】

上述した第８の実施形態においては、動作情報収集部１０を乗せた移動機構３０が対象者の前を移動する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、移動機構３０が対象者と並んで移動する場合であってもよい。かかる場合には、例えば、歩行訓練を実施する対象者は、動作情報収集部１０に認識範囲においてｘ軸に沿って歩行することとなる。したがって、例えば、移動機構制御部１４２が、対象者の中心の位置（例えば、腰に対応する関節「２ｃ」など）がｘ軸の「０」となる（認識範囲のｘ軸方向の中心の位置となる）ように、移動機構３０を制御する。そして、解析部１４１０は、移動機構３０の移動距離を算出する。さらに、解析部１４１０は、フレームごとに、対象者のｘ軸の「０」からのズレを算出し、異なる時点の２つのフレームにおけるズレと、移動距離とを用いて、床に対する対象者の位置（座標）を算出する。

【0274】

上述した第８の実施形態では、移動機構３０が平らな面を移動して、揺れなどが発生しない場合について説明したが、実施形態はこれに限定されるものではなく、例えば、凹凸のある面を移動して揺れなどが発生する場合であっても適用することが可能である。例えば、移動機構３０がちょっとした障害物などにより凹凸のある面を移動した場合や、自走による揺れが生じた場合などにおいては、動作情報である座標がすべての軸でぶれてしまう場合がある。そこで、第１０の実施形態に係る動作情報処理装置１００ｂは、移動機構３０を用いたことによる軸のぶれを解消・微調整する。

【0275】

具体的には、第１０の実施形態に係る解析部１４１０は、基準位置の座標に基づいて、移動中の移動機構３０の座標のぶれを算出し、算出したぶれに基づいて、動作情報の座標を補正する。例えば、解析部１４１０は、歩行動作が実行される際の移動機構３０の自走開始時のある位置の座標を基準として、動作情報が収集された各時点の当該位置の座標のぶれを算出する。すなわち、解析部１４１０は、自走開始時からどの方向へどの程度の速度で移動したかに基づいて、各時点における座標のぶれを算出する。そして、解析部１４１０は、算出したぶれに基づいて、収集された動作情報の座標を補正する。これにより、より精度の高い動作情報を収集することができる。

【0276】

上述した第８の実施形態では、動作情報処理装置１００ｂが、移動動作を実行する対象者の動作情報を取得して、移動動作を解析する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。

【0277】

図３９は、第１０の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。図３９に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０及び移動機構３０がそれぞれ接続される。そして、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。

【0278】

サービス提供装置２００は、動作情報処理装置１００ｂと同様の処理をサービスとして端末装置３００に提供する。すなわち、サービス提供装置２００は、取得部１４０８と、解析部１４１０と同様の機能部を有する。そして、取得部１４０８と同様の機能部は、移動動作を実行する対象者に対して所定の位置から収集された当該対象者の動作情報を取得する。そして、解析部１４１０と同様の機能部は、取得部１４０８と同様の機能部によって取得された動作情報に基づいて、対象者の移動動作を解析する。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。

【0279】

また、上述した第８の実施形態における動作情報処理装置１００ｂの構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、動作情報記憶部１３０６と移動距離記憶部１３０７とを統合したり、解析部１４１０を、移動距離を算出する算出部と、移動動作を解析する移動情報解析部とに分離したりすることが可能である。

【0280】

また、第８の実施形態から第１０の実施形態において説明した取得部１４０８、移動機構制御部１４０９、解析部１４１０及び表示制御部１４１１の機能は、ソフトウェアによって実現することもできる。例えば、取得部１４０８、移動機構制御部１４２、解析部１４１０及び表示制御部１４１１の機能は、上記の実施形態において取得部１４０８、移動機構制御部１４０９、解析部１４１０及び表示制御部１４１１が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。

【0281】

（第１１の実施形態）
さて、これまで第１〜第１０の実施形態について説明したが、上述した第１〜第１０の実施形態以外にも、種々の異なる形態にて実施されてよいものである。例えば、上述した第１〜第１０の実施形態では、第１〜第４の実施形態において、リハビリを実行する対象者の詳細な動作の情報を取得する動作情報処理装置について説明し、第５〜第７の実施形態において、リハビリを実行する対象者の精密な情報を取得する動作情報処理装置について説明し、第８〜１０の実施形態において、移動動作を実行する対象者に対して安定した支援を行う動作情報処理装置について説明した。しかしながら、本願に係る動作情報処理装置は、各実施形態で説明した構成及び処理を任意に組み合わせて行うことが可能である。

【0282】

例えば、複数の動作情報を同期させた単一の表示情報として観察者に提供するとともに、動作情報に同期させた対象者情報を提供することも可能である。かかる場合には、例えば、動作情報処理装置は、図１に示すように複数の動作情報収集部が接続され、さらに、図２０に示すように対象者情報収集部が接続される。そして、動作情報収集部は、図５に示す各部と、図２２に示す各部とを有し、複数の動作情報と対象者情報とを同期させた表示情報を生成して表示する。すなわち、動作情報処理装置においては、装置に含まれる位置算出部が複数の動作情報収集部によって生成された各動作情報を同期させ、さらに、装置に含まれる表示情報生成部が動作情報と対象者情報とを関連付けた（同期させた）表示情報を生成して、表示部に表示する。なお、上記した動作情報処理装置は、装置に含まれる解析部によって解析された解析結果をさらに関連付けた（同期させた）表示情報を生成して表示することも可能である。

【0283】

また、例えば、複数の動作情報を同期させるとともに、複数の動作情報収集部を移動機構で移動させるようにすることも可能である。かかる場合には、例えば、動作情報処理装置は、図１に示すように複数の動作情報収集部が接続され、さらに、図３１に示すように移動機構が接続される。そして、動作情報収集部は、図５に示す各部と、図３２に示す各部とを有し、移動機構によって移動される複数の動作情報収集部によって生成される各動作情報を同期させた表示情報を生成して表示する。すなわち、動作情報処理装置においては、装置に含まれる移動機構制御部が複数の動作情報収集部と対象者との距離が一定となるように複数の移動機構を制御し、装置に含まれる位置算出部が複数の動作情報収集部によって生成された各動作情報を同期させた表示情報を生成して、表示部が表示情報を表示する。

【0284】

また、例えば、移動機構によって移動される動作情報収集部によって生成される各動作情報と、対象者情報とを関連づけた（同期させた）表示情報を生成して表示することも可能である。かかる場合には、例えば、動作情報処理装置は、図２０に示すように動作情報収集部と、対象者情報収集部とが接続され、さらに、図３１に示すように移動機構が接続される。そして、動作情報収集部は、図２０に示す各部と、図３２に示す各部とを有し、移動機構によって移動される動作情報収集部によって生成される各動作情報と、対象者情報とを関連づけた（同期させた）表示情報を生成して表示する。すなわち、動作情報処理装置においては、装置に含まれる移動機構制御部が動作情報収集部と対象者との距離が一定となるように移動機構を制御し、装置に含まれる表示情報生成部が動作情報と対象者情報とを関連付けた（同期させた）表示情報を生成して、表示部に表示する。

【0285】

また、例えば、複数の移動機構によって移動される複数の動作情報収集部によって生成される複数の動作情報を同期させ、さらに、対象者情報と関連づけた（同期させた）表示情報を生成して表示することも可能である。かかる場合には、例えば、動作情報処理装置は、複数の動作情報収集部と、対象者情報収集部と、複数の移動機構とが接続され、図５、図２２、図３２に示される各部を有し、各移動機構によって移動される動作情報収集部それぞれによって生成される複数の動作情報を同期させ、さらに、対象者情報と関連づけた（同期させた）表示情報を生成して表示する。なお、本願に係る動作情報処理装置は、上述した構成及び処理の組み合わせだけでなく、その他の構成及び処理を種々組み合わせることが可能である。

【0286】

なお、上述した第１の実施形態〜第１０の実施形態でリハビリは、日本整形外科学会などで規定されたものだけでなく、その他種々の団体によって規定されたものの場合であってもよい。例えば、「International Society of Orthopaedic Surgery and Traumatology（SICOT）：国際整形外科学会」、「American Academy of Orthopaedic Surgeons(AAOS)：米国整形外科学会」、「European Orthopaedic Research Society（EORS）：欧州整形外科学研究会」、「International Society of Physical and Rehabilitation Medicine (ISPRM) ：国際リハビリテーション医学会」、「American Academy of Physical Medicine and Rehabilitation(AAPM&R)：米国物理療法リハビリテーション学会」などによって規定されたリハビリの場合であってもよい。

【0287】

以上説明したとおり、第１〜第１１の実施形態によれば、本実施形態の動作情報処理装置は、リハビリを実行する対象者に対して有効な支援を行うことを可能にする。

【0288】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0289】

１０ 動作情報収集部
１００、１００ａ、１００ｂ 動作情報処理装置
１４０、１４０ａ、１４０ｂ 制御部
１４０１、１４０４、１４０８ 取得部
１４０２ 位置算出部
１４０３、１４０７、１４１１ 表示制御部
１４０５、１４１０ 解析部
１４０６ 表示情報生成部
１４０９ 移動機構制御部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図18A】

【図18B】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28A】

【図28B】

【図29A】

【図29B】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】