(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023066240
(43)【公開日】2023-05-15
(54)【発明の名称】歩行態様可視化方法、プログラム、および装置
(51)【国際特許分類】
A61B 5/11 20060101AFI20230508BHJP
【FI】
A61B5/11 200
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021176847
(22)【出願日】2021-10-28
(71)【出願人】
【識別番号】501387839
【氏名又は名称】株式会社日立ハイテク
(71)【出願人】
【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】福井 大輔
(72)【発明者】
【氏名】角家 健
(72)【発明者】
【氏名】宝満 健太郎
(72)【発明者】
【氏名】三宅 賢稔
(72)【発明者】
【氏名】田中 毅
(72)【発明者】
【氏名】中川 弘充
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VA06
4C038VA12
4C038VA14
4C038VB35
4C038VC05
4C038VC09
(57)【要約】
【課題】個々の現場における多様なニーズに細かく対応して骨格情報を可視化する。
【解決手段】歩行態様可視化システムは、被計測者の歩行について、被計測者に設定された複数の部位の3次元空間における軌跡を示す時系列データである骨格データと、骨格データについて、一歩行を構成する期間の夫々に対応する時刻の特定に用いる情報である期間判定データと、期間、部位、および軌跡の表示方法を指定して定義される観点と、を記憶し、骨格データと期間判定データとを対照することにより、骨格データについて期間に対応する時刻を特定し、観点に指定されている期間の骨格データに基づき、観点に指定されている部位の軌跡を観点に指定されている表示方法に従って提示する画面を生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
プロセッサおよびメモリを有する情報処理装置が、
被計測者の歩行について、被計測者に設定された複数の部位の3次元空間における軌跡を示す時系列データである骨格データと、
前記骨格データについて、一歩行を構成する期間の夫々に対応する時刻の特定に用いる情報である期間判定データと、
前記期間、前記部位、および前記軌跡の表示方法を指定して定義される観点と、
を記憶するステップと、
前記骨格データと前記期間判定データとを対照することにより、前記骨格データについて前記期間に対応する時刻を特定するステップと、
前記観点に指定されている前記期間の前記骨格データに基づき、前記観点に指定されている前記部位の軌跡を前記観点に指定されている前記表示方法に従って提示する画面を生成するステップと、
を実行する、歩行態様可視化方法。
【請求項2】
請求項1に記載の歩行態様可視化方法であって、
前記情報処理装置が、前記骨格データに基づき算出される特徴量を記憶するステップを更に実行し、
前記観点は、前記特徴量を更に指定して定義され、
前記情報処理装置が、前記観点に指定されている前記特徴量に基づく情報を前記部位の軌跡とともに提示する前記画面を生成するステップ
を更に実行する、歩行態様可視化方法。
【請求項3】
請求項2に記載の歩行態様可視化方法であって、
前記特徴量に基づく情報が、前記特徴量の時間変化を示すグラフである、
歩行態様可視化方法。
【請求項4】
請求項1に記載の歩行態様可視化方法であって、
前記情報処理装置が、複数の前記部位の軌跡とともに前記観点に指定されている複数の前記部位を結ぶ線分の軌跡を提示する前記画面を生成するステップ
を更に実行する、歩行態様可視化方法。
【請求項5】
請求項1に記載の歩行態様可視化方法であって、
前記観点は、前記軌跡を表示する際の基準となる位置である基準点を更に指定して定義され、
前記情報処理装置が、前記観点に指定されている前記期間の前記骨格データに基づき、前記観点に指定されている前記部位の軌跡を前記観点に指定されている前記基準点からの相対的な位置で示した前記画面を生成するステップ、
を更に実行する、歩行態様可視化方法。
【請求項6】
請求項1に記載の歩行態様可視化方法であって、
前記情報処理装置が、
指定されている内容が異なる複数の前記観点を記憶するステップと、
前記観点の夫々に基づき前記部位の軌跡を同時に表示した前記画面を生成するステップと、
を更に実行する、歩行態様可視化方法。
【請求項7】
請求項1に記載の歩行態様可視化方法であって、
前記情報処理装置が、複数の前記被計測者の夫々に基づく前記部位の軌跡を同時に表示
した前記画面を生成するステップ
を更に実行する、歩行態様可視化方法。
【請求項8】
請求項1に記載の歩行態様可視化方法であって、
前記情報処理装置が、
前記骨格データに基づき算出される特徴量を記憶するステップと、
前記特徴量を機械学習モデルに入力することにより前記被計測者の歩行態様を解析するステップと、
解析により得られた歩行態様に基づき特定される前記観点に指定されている前記期間の前記骨格データに基づき、前記観点に指定されている前記部位の軌跡を前記観点に指定されている前記表示方法に従って提示する画面を生成するステップと、
を更に実行する、歩行態様可視化方法。
【請求項9】
請求項1に記載の歩行態様可視化方法であって、
前記情報処理装置が、
印刷イメージの生成に用いるテンプレートデータを記憶するステップと、
前記画面の内容を前記テンプレートデータに適用することにより紙媒体への印刷が可能な印刷イメージを生成するステップと、
を更に実行する、歩行態様可視化方法。
【請求項10】
請求項1に記載の歩行態様可視化方法であって、
前記情報処理装置は、前記観点の指定を受け付けるユーザインタフェースを更に備え、
前記情報処理装置が、
前記ユーザインタフェースを介してユーザから前記観点の指定を受け付けるステップと、
受け付けた前記観点に指定されている前記期間の前記骨格データに基づき、前記観点に指定されている前記部位の軌跡を前記観点に指定されている前記表示方法に従って提示する画面を生成するステップと、
を更に実行する、歩行態様可視化方法。
【請求項11】
請求項1に記載の歩行態様可視化方法であって、
前記情報処理装置は、前記観点の設定をユーザから受け付けるユーザインタフェースを更に備え、
前記情報処理装置が、前記ユーザインタフェースを介して前記観点の内容の設定を受け付けるステップ
を更に実行する、歩行態様可視化方法。
【請求項12】
プロセッサおよびメモリを有する情報処理装置に、
被計測者の歩行について、被計測者に設定された複数の部位の3次元空間における軌跡を示す時系列データである骨格データと、
前記骨格データについて、一歩行を構成する期間の夫々に対応する時刻の特定に用いる情報である期間判定データと、
前記期間、前記部位、および前記軌跡の表示方法を指定して定義される観点と、
を記憶する機能と、
前記骨格データと前記期間判定データとを対照することにより、前記骨格データについて前記期間に対応する時刻を特定する機能と、
前記観点に指定されている前記期間の前記骨格データに基づき、前記観点に指定されている前記部位の軌跡を前記観点に指定されている前記表示方法に従って提示する画面を生成する機能と、
を実現するためのプログラム。
【請求項13】
プロセッサおよびメモリを有する情報処理装置であって、
被計測者の歩行について、被計測者に設定された複数の部位の3次元空間における軌跡を示す時系列データである骨格データと、
前記骨格データについて、一歩行を構成する期間の夫々に対応する時刻の特定に用いる情報である期間判定データと、
前記期間、前記部位、および前記軌跡の表示方法を指定して定義される観点と、
を記憶し、
前記骨格データと前記期間判定データとを対照することにより、前記骨格データについて前記期間に対応する時刻を特定し、
前記観点に指定されている前記期間の前記骨格データに基づき、前記観点に指定されている前記部位の軌跡を前記観点に指定されている前記表示方法に従って提示する画面を生成する、
装置。
【請求項14】
請求項13に記載の装置であって、
前記骨格データに基づき算出される特徴量を記憶し、
前記特徴量を機械学習モデルに入力することにより前記被計測者の歩行態様を解析し、
解析により得られた歩行態様に基づき特定される前記観点に指定されている前記期間の前記骨格データに基づき、前記観点に指定されている前記部位の軌跡を前記観点に指定されている前記表示方法に従って提示する画面を生成する、
装置。
【請求項15】
請求項13に記載の装置であって、
印刷イメージの生成に用いるテンプレートデータを記憶し、
前記画面の内容を前記テンプレートデータに適用することにより紙媒体への印刷が可能な印刷イメージを生成する、
装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歩行態様可視化方法、プログラム、および装置に関する。
【背景技術】
【0002】
近年、光学式カメラや深度カメラ(深度センサ)等の3次元データを取得可能なデバイスが普及し、こうしたデバイスを用いた3Dセンシングにより取得される人の骨格情報を利用した様々な情報提供の仕組みが提案されている。
【0003】
例えば、特許文献1には、歩行状況を評価しやすい表示情報を提供することを目的として構成された動作情報処理装置について記載されている。動作情報処理装置は、歩行動作を実行する対象者の動作情報を取得し、動作情報に基づき対象者の足の着地点の位置および対象者の移動を示した軌跡情報を生成し、軌跡情報のうち選択操作によって選択された情報を表示部にて表示させる。動作情報処理装置は、軌跡情報として、対象者の体における所定の部位の角度や対象者の特徴位置の移動軌跡を示した軌跡情報を生成する。
【0004】
また例えば、特許文献2には、歩行者の歩行態様を分析とともに分かりやすく表示可能とし、改善方法を提示可能にすることにより、ロコモの予防、早期の発見、適切な対処につなげることを目的として構成された歩行態様表示システムについて記載されている。歩行態様表示システムは、歩行者の計測と歩行者と比較対照する参照歩行者の計測とを選択し、歩行者の1歩行分の歩行をアニメーションとして表示する第1の歩行モデルを表示し、参照歩行者の1歩行分の歩行をアニメーションとして表示する第2の歩行モデルを表示し、歩行者の計測に係る所定の特徴量データの大きさと参照歩行者の計測に係る所定の特徴量データの大きさとを比較可能に表示する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2015-42241号公報
【特許文献2】特開2019-187878号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、骨格情報に基づく情報の可視化に対するニーズはこれを利用する現場ごとに様々である。例えば、医療現場における医師等は医学的な観点での骨格情報の可視化を希望するし、また例えば、トレーニングジム等におけるトレーナは、トレーニング効率や安全性等の観点での骨格情報の可視化を希望する。
【0007】
特許文献1では、歩行動作を実行する対象者の足の着地点の位置および対象者の移動を示した軌跡情報を生成し、軌跡情報のうち選択操作によって選択された情報を表示部にて表示させる。また、特許文献2では、歩行者と参照歩行者の1歩行分の歩行をアニメーションとして表示し、所定の特徴量データの大きさを比較可能に表示する。しかしいずれの特許文献においても、汎用的な観点に基づき骨格情報を可視化しているに過ぎず、個々の現場におけるニーズに細かく対応して骨格情報を可視化することについてはとくに考慮されていない。
【0008】
本発明は、このような背景に鑑みてなされたものであり、個々の現場における多様なニーズに細かく対応して骨格情報を可視化することが可能な、歩行態様可視化方法、プログラム、および装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明の一つは、歩行態様可視化方法であって、プロセッサおよびメモリを有する情報処理装置が、被計測者の歩行について、被計測者に設定された複数の部位の3次元空間における軌跡を示す時系列データである骨格データと、前記骨格データについて、一歩行を構成する期間の夫々に対応する時刻の特定に用いる情報である期間判定データと、前記期間、前記部位、および前記軌跡の表示方法を指定して定義される観点と、を記憶するステップと、前記骨格データと前記期間判定データとを対照することにより、前記骨格データについて前記期間に対応する時刻を特定するステップと、前記観点に指定されている前記期間の前記骨格データに基づき、前記観点に指定されている前記部位の軌跡を前記観点に指定されている前記表示方法に従って提示する画面を生成するステップと、を実行する。
【0010】
その他、本願が開示する課題、およびその解決方法については、発明を実施するための形態の欄、および図面により明らかにされる。
【発明の効果】
【0011】
本発明によれば、個々の現場における多様なニーズに細かく対応して骨格情報を可視化することができる。
【図面の簡単な説明】
【0012】
【
図1】歩行態様可視化システムの概略的な構成を示す図である。
【
図3A】一歩行を構成する期間(時間区間)の例である。
【
図8】歩行態様可視化システムの構成に用いる情報処理装置の一例である。
【
図9】情報提示画面に表示される情報の例であり、(a)、(b)、(c)は夫々、前額面、水平面、および矢状面における、被計測者の骨盤の軌跡を示す画像(もしくはアニメーション映像)である。
【
図10】情報提示画面に表示される情報の例であり、(a)、(b)、(c)は夫々、前額面、水平面、および矢状面における、被計測者の右肩と左肩を結ぶ線分の軌跡を示す画像(もしくはアニメーション映像)である。
【
図11】情報提示画面に表示される情報の例であり、(a)、(b)、(c)は夫々、前額面、水平面、および矢状面における、被計測者の右肩と左肩を結ぶ線分の軌跡を示す画像(もしくはアニメーション映像)である。
【
図12】情報提示画面に表示される情報の例であり、(a)、(b)、(c)は夫々、前額面、水平面、および矢状面における、被計測者の被計測者の骨盤(基準点)に対する左下肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)である。
【
図13】歩行態様可視化処理を説明するフローチャートである。
【
図14F】情報提示画面に表示する特徴量の一例である。
【
図15】第2実施形態の歩行態様可視化システムの概略的な構成を示す図である。
【
図16】第2実施形態の歩行態様可視化処理を説明するフローチャートである。
【
図18】第3実施形態の歩行態様可視化システムの概略的な構成を示す図である。
【
図19】第3実施形態の歩行態様可視化処理を説明するフローチャートである。
【発明を実施するための形態】
【0013】
以下、実施形態について図面を参照しつつ説明する。尚、以下の記載および図面は、本発明を説明するための例示に過ぎず、説明の明確化のため、適宜、省略もしくは簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。とくに限定しない限り、各構成要素は単数でも複数でも構わない。
【0014】
以下の説明において、同一のまたは類似する構成について同一の符号を付して重複した説明を省略することがある。また、以下の説明において、符号の前に付した「S」の文字は処理ステップを意味する。また、以下の説明では「情報」、「データ」、「表(テーブル)」等の表現にて各種情報を説明することがあるが、各種情報は例示した以外のデータ構造により取り扱ってもよい。
【0015】
[第1実施形態]
図1に第1実施形態として示す情報処理システム「以下、「歩行態様可視化システム1」と称する。」の概略的な構成を示している。同図に示すように、歩行態様可視化システム1は、歩行態様可視化装置100、計測装置2、およびユーザ装置3を含む。これらの装置は、いずれも情報処理装置(コンピュータ)を用いて構成されており、通信媒体5(通信基盤)を介して互いに双方向の通信可能な状態で接続されている。歩行態様可視化装置100、計測装置2、およびユーザ装置3の2つ以上を共通の情報処理装置(ハードウェア)により実現してもよい。
【0016】
歩行態様可視化装置100は、計測装置2により計測される情報に基づき生成される、被計測者(被験者)の体の複数の部位に設定された計測点の夫々の3次元空間における軌跡(動作軌跡)を示す時系列データ群(以下、「骨格データ」と称する。)に基づく情報を記載した画面(以下、「情報提示画面」と称する。)を生成する。また、歩行態様可視化装置100は、生成した情報提示画面をユーザ装置3に送信し、ユーザ装置3は、ユーザインタフェースを介して情報提示画面をユーザに提示する。
【0017】
同図に示すように、歩行態様可視化装置100は、記憶部110、情報設定部130、骨格データ管理部120、および可視化処理部140の各機能を有する。
【0018】
記憶部110は、骨格データ111、期間判定データ112、観点データ113、特徴量管理データ114、期間特定データ116、特徴量データ117、情報提示画面データ118、および計測メタデータ119を記憶する。
【0019】
骨格データ111は、被計測者の各計測点について所定の時間間隔で計測された時間断面ごとの骨格データの集合(計測時刻と、当該計測時刻における各計測点の位置座標(X,Y,Z)とを対応づけたデータの集合)である。骨格データ111は、被計測者ごとに生成され、被計測者の識別子(以下、「被計測者ID」と称する。)に対応づけて管理される。
【0020】
図2Aに、骨格データ111の一例を示す。例示する骨格データ111は、計測時刻1111および計測値1112の各項目を有する複数のエントリ(レコード)で構成される
。骨格データ111の一つのエントリは、ある計測時刻(時間断面)に対応している。上記項目のうち、計測時刻1111には、当該計測が行われた日時(タイムスタンプ)が格納される。また、計測値1112には、各計測点(部位)について計測された3次元空間における座標値(X,Y,Z)が格納される。
【0021】
図2Bに、計測点となる部位の例を示す。同図に示すように、例えば、人の体の主要部や間接等(頭、左手、左手首、左肘、左肩、肩中央、右肩、右肘、右手首、右手、背骨、左腰、腰中央、右腰、左足、右足、左膝、右膝、左踵、右踵、左足、右足等)が計測点として設定される。
【0022】
図1に戻り、期間判定データ112は、人の一歩行を複数の時間区間で分割した期間(時点(瞬間)を含む。)の夫々に対応する骨格データ111の時刻(計測時刻1111)の特定に用いる情報(以下、「期間判定データ」と称する。)を含む。
【0023】
図3Aに、上記期間の一例を示す。同図の例では、人の一歩行を、歩行開始から時系列順に、「踵接地」、「立脚前期」、「立脚中期」、「立脚後期」、「爪先離地」、「遊脚前期」、「遊脚中期」、および「遊脚後期」の各期間に分割している。尚、一歩行の分割方法は必ずしも限定されない。
【0024】
図3Bに、期間判定データ112の一例を示す。同図に示すように、例示する期間判定データ112は、期間名称1121と判定基準1122の各項目を有する複数のエントリ(レコード)で構成される。期間判定データ112は、例えば、ユーザ装置3が提供するユーザインタフェースを介してユーザが設定する。
【0025】
上記項目のうち、期間名称1121には、各期間の名称(以下、「期間名称」と称する。)が格納される。判定基準1122には、当該期間の時刻を特定するための条件である判定基準が格納される。尚、例示する判定基準は、自然言語で表記しているが、歩行態様可視化装置100への実装時には、判定基準は、例えば、所定のプログラミング言語を用いて記述される。
【0026】
図1に戻り、観点データ113は、骨格データ111に基づく情報を可視化する際の観点(情報表示画面に記載する情報を生成する際の観点。)を定義した情報(以下、「観点データ」と称する。)を含む。尚、観点データは、例えば、歩行態様可視化システム1が導入される個々の現場ごとにカスタマイズされる。例えば、上記利用現場が医療現場である場合、観点データは、医師等が希望する観点を定義したものとなる。また、例えば、利用現場がトレーニングジムである場合、観点データは、トレーナ等が希望する観点を定義したものとなる。
【0027】
図4に、観点データ113の一例を示す。例示する観点データ113は、観点名1131、期間1132、表示部位1133、基準点1134、表示面1135、および特徴量1136の各項目を有する複数のエントリ(レコード)で構成される。観点データ113は、例えば、ユーザ装置3が提供するユーザインタフェースを介してユーザが設定する。
【0028】
上記項目のうち、観点名1131には、観点の名称(観点の識別情報)が格納される。
【0029】
期間1132には、当該観点において対象となる前述の期間を示す情報が格納される。
【0030】
表示部位1133には、当該観点において可視化の対象となる部位の名称(以下、「表示部位」と称する。)が格納される。表示部位1133は、複数の部位を結ぶ線分(線分を構成する計測点群)が指定される場合もある。表示部位1133には角括弧「[]」で
括られた複数の表示部位が格納されることもあるが、これは角括弧内の複数の表示部位を結ぶ線分を意味する。
【0031】
基準点1134には、当該表示部位を可視化する際の基準となる部位を示す情報(以下、「基準点」と称する。)が格納される。例えば、歩行中を通じて振れの少ない計測点が基準点として選択される。例えば、基準点1134に基準点となる部位を示す情報が格納されている場合、当該表示部位に関する情報は、当該部位を基準とした相対的な位置(位置座標)の軌跡として可視化される。尚、基準点1134に「なし」が格納されている場合、当該表示部位に関する情報は、3次元空間における絶対座標を用いて可視化される。
【0032】
表示面1135には、骨格データ111に基づく軌跡の表示方法(前額面、水平面、矢状面。以下、これらを「表示面」と総称する。)を指定する情報が格納される。
【0033】
特徴量1136には、当該観点に従って生成する情報表示画面に表示する特徴量が格納される。尚、情報表示画面に特徴量を表示しない場合は特徴量1136に「表示せず」が格納される。
【0034】
図1に戻り、特徴量管理データ114は、特徴量算出部135が骨格データ111に基づき特徴量を算出する際に用いる情報(以下、「特徴量管理データ」と称する。)を含む。特徴量は、例えば、歩行中における被計測者の関節や軸の動きや相関である。特徴量管理データ114は、例えば、ユーザ装置3が提供するユーザインタフェースを介してユーザが設定する。
【0035】
図5に特徴量管理データ114の一例を示す。特徴量管理データ114には、特徴量算出部135が骨格データ111に基づき特徴量を算出する際に用いる情報が管理される。
【0036】
同図に示すように、特徴量管理データ114は、分析種別1141、特徴量種別1142、対象部位1143等の項目からなる複数のエントリ(レコード)で構成される。尚、特徴量管理データ114は更に別の情報を含んでいてもよい。
【0037】
上記項目のうち、分析種別1141には、骨格データ111に基づき特徴量を算出する際の分析手法を示す情報が格納される。特徴量種別1142には、特徴量の種類を示す情報(以下、「特徴量種別」と称する。)が格納される。対象部位1143には、特徴量の算出に関わる部位を示す情報(以下、「対象部位」と称する。)が格納される。
【0038】
図1に戻り、期間特定データ116は、情報設定部130の後述する期間特定部121が特定した、骨格データ111における各期間に相当(対応)する時刻(期間の開始時刻、終了時刻、時点等。以下、「期間特定時刻」と称する。)を含む。
【0039】
図6に期間特定データ116の一例を示す。同図に示すように、例示する期間特定データ116は、計測ID1161および期間特定時刻1162の各項目を含む一つ以上のエントリ(レコード)で構成される。期間特定データ116の一つのエントリは、被計測者の一歩行についての一回の計測機会に対応している。
【0040】
上記項目のうち、計測ID1161には、計測機会ごとに付与される識別子(以下、「計測ID」と称する。)が格納される。期間特定時刻1162には、前述した期間特定時刻が格納される。
【0041】
図1に戻り、特徴量データ117は、後述する可視化処理部140の特徴量算出部135が、骨格データ111と特徴量管理データ114に基づき算出した特徴量(特徴量の具
体的な値)を含む。
【0042】
図7に特徴量データ117の一例を示す。同図に示すように、特徴量データ117は、計測ID1171および特徴量項目群1172の各項目からなる複数のエントリ(レコード)で構成される。
【0043】
上記項目のうち、計測ID1171には、計測IDが格納される。特徴量項目群1172には、特徴量算出部135が骨格データ111に基づき算出した一つ以上の特徴量が格納される。
【0044】
図1に戻り、情報提示画面データ118は、後述する可視化処理部140の情報提示画面生成部144が生成する画面のデータ(以下、「情報提示画面データ」と称する。)である。情報提示画面データは、例えば、所定の画像データフォーマットのデータやHTML(HyperText Markup Language)等のWebページ記述言語で記述されたデータである
。歩行態様可視化装置100は、生成した情報提示画面データ118をユーザ装置3に送信する。ユーザ装置3は、歩行態様可視化装置100から送られてくる情報提示画面データ118に基づき情報提示画面を生成してユーザに提示する。
【0045】
計測メタデータ119は、計測ID、被計測者ID、および骨格データの所在を示す情報(例えば、ファイル名)を対応づけた情報(以下、「計測メタデータ」と称する。)を含む。歩行態様可視化装置100は、計測メタデータ119に基づき、被計測者ID、計測ID、および骨格データ111の少なくとも2つ以上の対応をとることができる。
【0046】
図1に示す骨格データ管理部120は、計測装置2から送られてくる計測値および計測メタデータを取得する。骨格データ管理部120は、取得した計測値に基づき骨格データ111を生成する。また、骨格データ管理部120は、取得した計測メタデータを計測メタデータ119として管理する。
【0047】
図1に示す情報設定部130は、骨格データ111の可視化に際して用いる各種情報(期間判定データ112、観点データ113、および特徴量管理データ114)の設定に関する処理を行う。
【0048】
同図に示すように、情報設定部130は、期間判定データ設定部131、観点設定部132、特徴量管理部133、期間特定部134、および特徴量算出部135を含む。
【0049】
このうち期間判定データ設定部131は、期間判定データ112の設定に関する処理を行う。情報設定部130は、ユーザ装置3が提供するユーザインタフェースを介して期間判定データの設定をユーザから受け付け、受け付けた内容を期間判定データ112に反映する。
【0050】
観点設定部132は、観点データ113の設定に関する処理を行う。観点設定部132は、ユーザ装置3が提供するユーザインタフェースを介して観点データの設定をユーザから受け付け、受け付けた内容を観点データ113に反映する。
【0051】
特徴量管理部133は、特徴量管理データ114を管理する。特徴量管理部133は、ユーザ装置3が提供するユーザインタフェースを介して特徴量管理データの設定をユーザから受け付け、受け付けた内容を特徴量管理データ114に反映する。
【0052】
期間特定部134は、骨格データ111の計測時刻1111を期間判定データ112の判定基準1122と対照することにより、前述した期間特定時刻を特定し、特定した期間
特定時刻を期間特定データ116に反映する。
【0053】
特徴量算出部135は、骨格データ111と特徴量管理データ114とに基づき特徴量を算出し、算出した特徴量を特徴量データ117に反映する。具体的には、特徴量算出部135は、1歩行の全期間に加え、期間判定データ112の各期間(立脚前期、立脚後期等)に対応する期間の骨格データを骨格データ111から抽出し、抽出した骨格データと特徴量管理データ114とに基づき特徴量を算出する。特徴量データ117は、例えば、「立脚前期の部位1のX座標の振幅」等を含む。尚、特徴量の算出に際し、特徴量算出部135が、算出精度の向上等を目的として、距離や時間等の正規化、スムージング等の前処理を行ってもよい。
【0054】
図1に示す可視化処理部140は、ユーザ装置3が提供するユーザインタフェースを介してユーザから観点の指定を受け付け、受け付けた観点に基づき情報提示画面を生成し、生成した情報提示画面をユーザ装置3に送信する。
【0055】
同図に示すように、可視化処理部140は、観点受付部141、対象骨格データ取得部142、情報提示画面生成部144、および情報提示画面表示部145を含む。
【0056】
このうち観点受付部141は、ユーザ装置3が提供するユーザインタフェースを介してユーザから観点の指定を受け付ける。
【0057】
対象骨格データ取得部142は、観点受付部141がユーザから受け付けた観点の期間1132に対応する骨格データを骨格データ111から取得する。具体的には、対象骨格データ取得部142は、受け付けた観点の期間1132と表示部位1133を観点データ113から取得し、取得した期間1132と表示部位1133に対応する骨格データを骨格データ111から取得する。
【0058】
情報提示画面生成部144は、対象骨格データ取得部142が取得した骨格データを用いて、観点受付部141が受け付けた観点に基づく情報提示画面を生成する。また、情報提示画面生成部144は、情報提示画面に特徴量を記載する場合は特徴量データ117から必要な特徴量を取得して情報提示画面に記載する。
【0059】
情報提示画面表示部145は、情報提示画面生成部144が生成した情報提示画面をユーザ装置3に送信する。
【0060】
図1に示す計測装置2は、3次元センシングデバイス(以下、「3Dセンサ」と称する。)を備える。計測装置2は、被計測者の歩行態様を捉えるため、歩行中における被計測者の身体の各計測点の3次元空間における動き(動作軌跡)を計測し、その計測値および計測メタデータを歩行態様可視化装置100に送信する。3Dセンサは、例えば、被写体(対象物)について3次元の位置情報(距離情報(Depth情報)、距離信号等)を含むデ
ータである距離画像(depth画像、range image data)を取得する。尚、3Dセンサは、
必ずしも距離画像を取得するものに限定されない。例えば、3Dセンサとして、加速度センサ、角度センサ、ジャイロセンサのようなセンサを用いてもよい。3Dセンサの例として、Kinect(登録商標)等の深度センサ、タイムオブフライト(TOF:Time Of Flight)カメラ、ステレオカメラ、光探知機(LiDAR:Laser imaging Detection and Ranging
)、ミリ波レーダ、超音波センサ等がある。3Dセンサは、複数種類のデバイスを組み合わせて構成されるものでもよい。
【0061】
図1に示すユーザ装置3は、歩行態様可視化装置100の情報設定部130と連携し、ユーザインタフェースを介したユーザとの対話処理により、記憶部110が記憶する各種
情報の設定(登録、編集、削除等)を行う。また、ユーザ装置3は、歩行態様可視化装置100の可視化処理部140と連携し、可視化処理部140から送られてくる情報提示画面を受信し、ユーザインタフェースを介してユーザに提示(表示、音声出力等)する。各種情報の設定や情報提示画面の提示を行うためのユーザインタフェースは、ユーザ装置3が生成するものでもよいし、歩行態様可視化装置100から提供されるものでもよい。
【0062】
図8に、歩行態様可視化装置100、計測装置2、およびユーザ装置3の実現に用いる情報処理装置のハードウェア構成の一例を示す。例示する情報処理装置10は、プロセッサ11、主記憶装置12、補助記憶装置13、入力装置14、出力装置15、および通信装置16を備える。情報処理装置10は、例えば、パーソナルコンピュータ、サーバ装置、スマートフォン、タブレットである。
【0063】
尚、情報処理装置10は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、情報処理装置10によって提供される機能の全部または一部は、例えば、クラウドシステムがAPI(Application Programming Interface)等を介して提供するサービスによって実現してもよ
い。
【0064】
また、情報処理装置10によって提供される機能の全部または一部は、例えば、SaaS(Software as a Service)、PaaS(Platform as a Service)、IaaS(Infrastructure as a Service)等を利用して実現されるものであってもよい。歩行態様可視化
装置100は、例えば、通信可能に接続された複数の情報処理装置10を用いて実現してもよい。
【0065】
同図に示すプロセッサ11は、例えば、CPU(Central Processing Unit)、MPU
(Micro Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、
AI(Artificial Intelligence)チップ等を用いて構成されている。
【0066】
主記憶装置12は、プログラムやデータを記憶する装置であり、例えば、ROM(Read
Only Memory)、RAM(Random Access Memory)、不揮発性メモリ(NVRAM(Non Volatile RAM))等である。
【0067】
補助記憶装置13は、例えば、SSD(Solid State Drive)、ハードディスクドライ
ブ、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、ストレージシステム、ICカード、SDカードや光学式記録媒体等の記録媒体の読取/書込装置、クラウドサーバの記憶領域等である。補助記憶装置13には、記録媒体の読取装置や通信装置16を介してプログラムやデータを読み込むことができる。補助記憶装置13に格納(記憶)されているプログラムやデータは主記憶装置12に随時読み込まれる。
【0068】
入力装置14は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。
【0069】
出力装置15は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置15は、例えば、上記の各種情報を可視化する表示装置(液晶モニタ、LCD(Liquid Crystal Display)、グラフィックカード等)、上記の各種情報を音声化する装置(音声出力装置(スピーカ等))、上記の各種情報を文字化する装置(印字装置等)である。尚、例えば、情報処理装置10が通信装置16を介して他の装置との間で情報の入力
や出力を行う構成としてもよい。
【0070】
入力装置14と出力装置15は、ユーザとの間での対話処理(情報の受け付け、情報の提示等)を実現するユーザインタフェースを構成する。
【0071】
通信装置16は、他の装置との間の通信を実現する装置である。通信装置16は、通信媒体5を介して他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)、無線通信モジュール、USBモジュール等である。尚、通信媒体5は、有線または無線による通信基盤を提供する。例えば、通信媒体5は、USB(Universal Serial Bus)やRS-232C等の所定規格に準じたシリアル通信媒体、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、専用線、各種公衆通信網(有線、無線)である。
【0072】
情報処理装置10には、例えば、オペレーティングシステム、ファイルシステム、DBMS(DataBase Management System)(リレーショナルデータベース、NoSQL等)、KVS(Key-Value Store)等が導入されていてもよい。
【0073】
歩行態様可視化装置100、計測装置2、およびユーザ装置3の機能は、夫々が備えるプロセッサ11が、主記憶装置12に格納されているプログラムを読み出して実行することにより、もしくは、夫々を構成するハードウェア(FPGA、ASIC、AIチップ等)自体によって実現される。
【0074】
歩行態様可視化装置100、計測装置2、およびユーザ装置3は、各種の情報(データ)を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。
【0075】
図9は、情報提示画面に表示される情報の例であり、情報提示画面生成部144が骨格データ111に基づき生成する、被計測者の骨盤の軌跡を示す画像(もしくはアニメーション映像)である。同図において、(a)は、前額面における被計測者の骨盤の軌跡を示す画像(もしくはアニメーション映像)であり、(b)は、水平面における被計測者の骨盤の軌跡を示す画像(もしくはアニメーション映像)であり、(c)は、矢状面における被計測者の骨盤の軌跡を示す画像(もしくはアニメーション映像)である。
【0076】
図10は、情報提示画面に表示される情報の他の例であり、情報提示画面生成部144が骨格データ111に基づき生成する、被計測者の右肩と左肩を結ぶ線分の軌跡を示す画像(もしくはアニメーション映像)である。同図において、(a)は、前額面における被計測者の上記線分の軌跡を示す画像(もしくはアニメーション映像)であり、(b)は、水平面における被計測者の上記線分の軌跡を示す画像(もしくはアニメーション映像)であり、(c)は、矢状面における被計測者の上記線分の軌跡を示す画像(もしくはアニメーション映像)である。
【0077】
図11は、情報提示画面に記載される情報の他の例であり、情報提示画面生成部144が骨格データ111に基づき生成する、被計測者の肩中央に対する左上肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)である。同図において、(a)は、前額面における被計測者の肩中央(基準点)に対する左上肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)であり、(b)は、水平面における被計測者の肩中央(基準点)に対する左上肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)であり、(c)は、矢状面における被計測者の肩中央(基準点)に対する左上肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)である。
【0078】
図12は、情報提示画面に記載される情報の他の例であり、情報提示画面生成部144が骨格データ111に基づき生成する、被計測者の骨盤に対する左下肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)である。同図において、(a)は、前額面における被計測者の骨盤(基準点)に対する左下肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)であり、(b)は、水平面における被計測者の骨盤(基準点)に対する左下肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)であり、(c)は、矢状面における被計測者の骨盤(基準点)に対する左下肢の相対的な位置の軌跡を示す画像(もしくはアニメーション映像)である。
【0079】
図13は、歩行態様可視化装置100が行う処理(以下、「歩行態様可視化処理S1300」と称する。)を説明するフローチャートである。同図に示すように、歩行態様可視化処理S1300は、計測処理S1310および可視化処理S1320を含む。以下、同図とともに歩行態様可視化処理S1300について説明する。
【0080】
計測処理S1310では、歩行態様可視化装置100が、骨格データ111の取得、期間特定データ116の生成、および特徴量データ117の生成を行う。
【0081】
まず骨格データ管理部120が、計測装置2に計測開始指示を送信し(S1311)、それによい計測装置2から送られてくる、人の歩行中の動作についての各計測点の計測値を取得し、取得した計測値に基づき1歩行分を含む骨格データ111(ピッチデータ)を生成する(S1312)。尚、人の1歩行は、例えば、被計測者が歩行中に右足の踵を地面につけてから、右足の踵が地面から離れて再び地面につくまでの時間区間として定義することができる。骨格データ管理部120は、例えば、計測装置2から送られてくる計測値に基づき「右足の踵が着地した時間」、「右足の踵が地面から離れて再び着地した時間」を検出し、夫々、一歩行の開始時刻、一歩行の終了時刻として特定する。
【0082】
続いて、情報設定部130の期間特定部134が、骨格データ111の計測時刻1111を期間判定データ112の判定基準1122と対照することにより、人の歩行中の期間の夫々に対応する骨格データ111の期間特定時刻を特定し、特定した期間特定時刻を期間特定データ116に反映する(S1313)。
【0083】
続いて、情報設定部130の特徴量算出部135が、骨格データ111に基づき特徴量を算出し、算出した特徴量を特徴量データ117に反映する(S1314)。
【0084】
以上で計測処理S1310は終了し、可視化処理S1320において必要となる、骨格データ111、期間特定データ116、および特徴量データ117の準備が完了する。
【0085】
可視化処理S1320では、歩行態様可視化装置100が、ユーザから観点の指定を受け付け、受け付けた観点について可視化に用いる骨格データを取得し、特定した骨格データに基づき情報提示画面を生成し、生成した情報提示画面をユーザ装置3に送信してユーザに提示する。
【0086】
まず可視化処理部140の観点受付部141が、ユーザ装置3が提供するユーザインタフェースを介してユーザから観点の指定を受け付ける(S1321)。
【0087】
続いて、可視化処理部140の対象骨格データ取得部142が、受け付けた観点の期間1132と表示部位1133を観点データ113から取得し、取得した期間1132と表示部位1133に対応する骨格データを骨格データ111から取得する(S1322)。
【0088】
続いて、可視化処理部140の情報提示画面生成部144が、対象骨格データ取得部1
42が取得した骨格データを用いて、観点受付部141が受け付けた観点に基づく情報提示画面を生成する。また、情報提示画面に特徴量を記載する場合、情報提示画面生成部144は、特徴量データ117から必要な特徴量を取得する(S1323)。
【0089】
続いて、可視化処理部140の情報提示画面表示部145が、情報提示画面生成部144が生成した情報提示画面をユーザ装置3に送信する。ユーザ装置3は、ユーザインタフェースを介して、情報提示画面をユーザに提示する(S1324)。
【0090】
以上で可視化処理S1320は終了する。尚、その後、歩行態様可視化装置100がユーザから観点の変更を受け付け、新たに受け付けた観点に基づき可視化処理S1320を繰り返し実行するようにしてもよい。
【0091】
続いて、情報提示画面の具体例を示す。尚、以下の例において、観点データ113は
図4に示す内容であるものとする。
【0092】
図14Aに、情報提示画面の一例を示す。例示する情報提示画面1410は、被計測者IDの指定欄1411、計測IDの指定欄1412、観点の指定欄1413、および観点内容の表示欄1414を有する。
【0093】
ユーザは、被計測者IDの指定欄1411に直接入力するかもしくはプルダウンメニュー14111を操作して、歩行態様を表示する被計測者の被計測者IDを指定する。
【0094】
続いて、ユーザは、計測IDの指定欄1412に直接入力するかもしくはプルダウンメニュー14121を操作して、対象となる計測IDを指定する。尚、計測IDの指定は必須ではなく、例えば、指定しない場合は直近に計測した計測値の計測IDが自動的に指定される(以下の各例について同様)。
【0095】
続いて、ユーザは、観点の指定欄1413に直接入力するかもしくはプルダウンメニュー14131を操作して観点を指定する。これらの操作を行うことにより、観点内容の表示欄1414には、観点データ113において観点の指定欄1413で指定された観点に対応づけられている情報(期間1132、表示部位1133、基準点1134、表示面1135、および特徴量1136の値)が表示される。
【0096】
図14Bは、
図14Aにおいて、ユーザが、被計測者ID1411で「0000001」を指
定し、計測IDの指定欄1412で「0000101」を指定し、観点の指定欄1413で観点
「スラスト歩行」を指定した場合である。観点「スラスト歩行」が指定されたため、観点内容の表示欄1414には、
図4に示す観点データ113において観点「スラスト歩行」に対応づけられている情報、即ち、期間「立脚前期」、表示部位「[左腰, 左膝, 左踵]」、基準点「左腰」、表示面「前額面」、特徴量「なし」が、夫々表示される。また、観点内容の表示欄1414の下方には、期間「立脚前期」における表示面「前額面」から見た表示部位「[左腰, 左膝, 左踵]」の軌跡(左腰、左膝、左踵の各部位の軌跡とこれらを結ぶ線分の軌跡)が画像またはアニメーション映像で表示される。尚、当該軌跡により、例えば医師であるユーザは、左膝の部分の振れが小さいことを確認し、例えば、当該被計測者は健常者であると診断する。
【0097】
図14Cは、
図14Aにおいて、ユーザが、被計測者ID1411で「0000002」を指
定し、計測IDの指定欄1412で「0000101」を指定し、観点の指定欄1413で観点
「スラスト歩行」を指定した場合である。
図14Bと同様に観点「スラスト歩行」が指定されたため、観点内容の表示欄1414には、
図4に示す観点データ113において観点「スラスト歩行」に対応づけられている情報、即ち、期間「立脚前期」、表示部位「[左
腰, 左膝, 左踵]」、基準点「左腰」、表示面「前額面」、特徴量「なし」が、夫々表示
される。また、観点内容の表示欄1414の下方には、期間「立脚前期」における表示面「前額面」から見た表示部位「[左腰, 左膝, 左踵]」の軌跡(左腰、左膝、左踵の各部位の軌跡とこれらを結ぶ線分の軌跡)が画像またはアニメーション映像で表示される。尚、当該軌跡により、例えば医師であるユーザは、左膝の部分の振れが大きいことを確認し、例えば、当該被計測者は重度OA患者であると診断する。
【0098】
図14Dは、
図14Aにおいて、ユーザが、被計測者ID1411で「0000001」を指
定し、計測IDの指定欄1412で「0000101」を指定し、観点の指定欄1413で観点
「中殿筋歩行」を指定した場合である。観点「中殿筋歩行」が指定されたため、観点内容の表示欄1414には、
図4に示す観点データ113において観点「中殿筋歩行」に対応づけられている情報が表示される。ここで
図4に示す観点データ113では、観点「中殿筋歩行」に対応づけられている情報が2行存在するため、この場合はこれら各行の情報、即ち、1つめの、期間「[踵接地,立脚中期]」、表示部位「[左腰,骨盤,右腰],[骨盤,背骨中央,肩中央]」、基準点「右腰」、表示面「前額面」、特徴量「なし」と、2つめの、期間「一歩行期間」、表示部位「[左腰,骨盤,右腰],[骨盤,背骨中央,肩中央]」、基準点「
右腰」、表示面「水平面」、特徴量「なし」が、夫々表示される。観点内容の表示欄1414の下方には、上記1つめの情報に対応する「前額面」の軌跡と、上記2つめの情報に対応する「水平面」の軌跡とが画像またはアニメーション映像で表示される。同図において、部位を結ぶ線分の線種は期間の違いを表す。このように観点名の指定欄1412の内容が同じ行が観点データ113に複数存在する場合に夫々の観点に基づく情報を同時に情報提示画面に表示することで、ユーザは、関連する観点に基づく情報を比較対照可能な状態で同時に確認することができ、例えば、歩行態様を総合的な観点で診断することが可能になる。
【0099】
図14Eは、
図14Aにおいて、ユーザが、被計測者ID1411で「0000001」を指
定し、計測IDの指定欄1412で「0000101」を指定し、観点の指定欄1413で観点
「接地強度」を指定した場合である。観点「接地強度」が指定されたため、観点内容の表示欄1414には、
図4に示す観点データ113において観点「接地強度」に対応づけられている情報が表示される。ここで
図4に示す観点データ113では、観点「接地強度」に対応づけられている情報が2行あるため、各行の情報、即ち、1つめの、期間「一歩行分」、表示部位「右踵」、基準点「なし」、表示面「矢状面」、特徴量「なし」と、2つめの、期間「踵接地」、表示部位「右踵」、基準点「なし」、表示面「矢状面」、特徴量「右踵の前後方向の加速度」が、夫々表示される。観点内容の表示欄1414の下方には、上記1つめおよび2つめ情報に対応する「矢状面」の軌跡の画像またはアニメーション映像と、上記2つめの情報の特徴量「右踵の前後方向の加速度」が所定の閾値を超えていることを強調表示する円1430が該当する「右踵」の部分に表示されている。尚、特徴量の表示態様は限定されず、他の態様(加速度の大きさに応じて色替えする、加速度の大きさに応じて半径を大きくする等)で表示してもよい。
【0100】
また、特徴量は、夫々の性質に応じた態様で表示してもよい。例えば、
図14Fに示すように、特徴量の時間変化をグラフで表示してもよい。同図において、(a)は、左踵や左手の特徴量(変位)の時間変化を表すグラフであり、(b)は、(a)のグラフをスムージングしたグラフである。このように被計測者について計測された様々な特徴量が可視化されて提示されることで、ユーザは被計測者に関する多様な情報を効率よく取得することができる。
【0101】
尚、以上では一人の被計測者についての歩行態様(部位や部位を結ぶ線分の軌跡)を情報提示画面に表示する場合を示したが、例えば、複数の被計測者の歩行態様を同時に表示して比較対照できるようにしてもよい。その場合、夫々を個別に表示してもよいし、差分
を把握し易くなるように重畳して表示するようにしてもよい。
【0102】
以上に説明したように、本実施形態の歩行態様可視化システム1によれば、指定された観点の期間における骨格データに基づき、観点で指定されている部位、および軌跡の表示方法に従って歩行態様を可視化した情報提示画面を生成してユーザに提示することができる。そのため、例えば、現場における医師やトレーナ等の専門家たるユーザは、個々の現場のニーズに即した観点で歩行態様を確認することができる。例えば、ユーザは、関節点や線分(骨盤、右肩と左肩を結んだ線分等)、関節点や線分等の基準点からの相対的な位置の軌跡等を、これらを表示するのに適切な表示面(前額面、矢状面、水平面)で確認することができる。また、歩行態様可視化システム1は、これらの情報とともに各種の特徴量を様々な態様でユーザに提示する。そのため、ユーザは、被計測者に関する有用な情報を容易かつ確実に取得することができ、被計測者の治療や被計測者へのアドバイス等に有効に役立てることができる。
【0103】
[第2実施形態]
図15に第2実施形態として示す歩行態様可視化システム1の概略的な構成を示している。第2実施形態の歩行態様可視化システム1における歩行態様可視化装置100は、第1実施形態の歩行態様可視化装置100が備える機能に加えて、歩行態様解析処理部150を更に備える。また、第2実施形態の歩行態様可視化システム1の記憶部110は、更に解析結果データ191を記憶する。第2実施形態の歩行態様可視化システム1における歩行態様可視化装置100は、特徴量に基づき被計測者の歩行を解析するように学習された機械学習モデルを用いて観点を特定する。
【0104】
同図に示すように、歩行態様解析処理部150は、歩行態様解析部151と観点特定部152とを含む。このうち歩行態様解析部151は、特徴量算出部135により生成された特徴量データ117を機械学習モデルに入力することより被計測者の歩行を解析して解析結果データ191を生成する。また、観点特定部152は、解析結果データ191に基づき観点を特定し、特定した観点を可視化処理部140の観点受付部141に入力する。
【0105】
上記の機械学習モデルは、被計測者の歩行態様の解析と観点の特定の双方を行うものでもよいし、被計測者の歩行態様の解析のみを行うものでもよい。後者の場合、例えば、特徴量算出部135が、歩行態様の解析結果と観点との対応を示す情報を予め記憶し、上記機械学習モデルの解析結果を上記情報と対照して観点を特定する。
【0106】
図16は、第2実施形態の歩行態様可視化装置100が行う処理(以下、「歩行態様可視化処理S1600」と称する。)を説明するフローチャートである。同図に示すように、第2実施形態の歩行態様可視化処理S1600は、第1実施形態で説明した計測処理S1310および可視化処理S1320を実行するとともに、解析処理S1330を更に実行する。同図に示すように、解析処理S1330は、歩行態様解析処理S1331と観点特定処理S1332を含む。
【0107】
歩行態様解析処理S1331では、歩行態様解析処理部150が、特徴量算出部135により生成された特徴量データ117に基づき機械学習モデルにより被計測者の歩行を解析して解析結果データ191を生成する。
【0108】
図17に解析結果データ191の一例を示す。例示する解析結果データ191は、計測ID1191および解析結果1192の各項目を有する一つ以上のエントリ(レコード)で構成される。上記項目のうち、計測ID1191には、前述した計測ID(解析に用いた特徴量データ117の計測ID1171)が格納される。解析結果1192には、機械学習モデルの出力に基づく値が格納される。本例では、「スラスト歩行の確率」と「中殿
筋歩行の確率」を解析結果として例示している。
【0109】
図16に戻り、観点特定処理S1332では、観点特定部152が、解析結果データ191に基づき観点を特定して可視化処理部140の観点受付部141に入力する。例えば、解析結果データ191が
図17に示す内容である場合、観点特定部152は、確率の高い歩行態様の表示に適した観点を選択(特定)する(本例では、「スラスト歩行の確率」が「中殿筋歩行の確率」よりも高いため、観点特定部152は、例えば、観点データ113が
図4の内容であれば観点名1131が「スラスト歩行」のエントリの観点を選択(特定)する。
【0110】
可視化処理部140は、観点特定部152が観点受付部141に入力した観点に基づき第1実施形態の場合と同様の方法で情報提示画面を生成し、生成した情報提示画面をユーザ装置3に送信する。
【0111】
以上のように、第2実施形態の歩行態様可視化システム1は、被計測者について算出された特徴量に基づき機械学習モデルにより被計測者の歩行を解析し、解析した結果に基づき観点を自動的に選択(特定)する。そのため、機械学習モデルにより自動的に選択された適切な観点で歩行態様を可視化した情報提示画面を生成してユーザに提示することができる。
【0112】
[第3実施形態]
図18に第3実施形態として示す歩行態様可視化システム1の概略的な構成を示している。第3実施形態の歩行態様可視化システム1における歩行態様可視化装置100は、第1実施形態の歩行態様可視化装置100が備える機能に加えて、印刷イメージ生成部160を更に備える。また、第3実施形態の歩行態様可視化システム1の記憶部110は、更にテンプレートデータ211と印刷イメージデータ212を記憶する。
【0113】
印刷イメージ生成部160は、可視化処理部140によって生成された情報提示画面データ118に基づき印刷イメージデータ212(例えば、PDF(登録商標:Portable Document Format)形式のファイルデータ)を生成する。テンプレートデータ211は、印刷イメージデータ212の雛型(レイアウトフォーム等)である。印刷イメージ生成部160は、情報提示画面データ118に含まれている情報をテンプレートデータ211に適用することにより印刷イメージデータ212を生成する。尚、印刷イメージ生成部160は、必要な場合は骨格データ111も用いて印刷イメージデータ212を生成する。
【0114】
上記のテンプレートデータ211は、例えば、現場のユーザがレイアウト作成のためのアプリケーションソフトウェアを利用して予め用意する。例えば、現場が医療現場であれば、テンプレートデータ211は、クライアントへの歩行態様等の説明用にデザインされたデータであり、また例えば、現場がトレーニングジムであれば、テンプレートデータ211は、利用者へのトレーニングの指導用にデザインされたデータである。
【0115】
図19は、第3実施形態の歩行態様可視化装置100が行う処理(以下、「歩行態様可視化処理S1900」と称する。)を説明するフローチャートである。同図に示すように、第3実施形態の歩行態様可視化処理S1900は、第1実施形態で説明した計測処理S1310および可視化処理S1320を実行するとともに、更に印刷イメージ生成処理S1340を実行する。同図に示すように、印刷イメージ生成処理S1340は、イメージ生成処理S1341を含む。
【0116】
イメージ生成処理S1341では、印刷イメージ生成部160が、情報提示画面データ118に含まれている情報や骨格データ111に基づく情報をテンプレートデータ211
に適用することにより印刷イメージデータ212を生成する。
【0117】
図20に印刷イメージデータ212に基づき生成される印刷イメージの一例を示す。同図に示すように、例示する印刷イメージ2000には、被計測者の氏名2010(被計測者IDでもよい)、歩行姿勢を確認するための被計測者の重心や計測点の軌跡(矢状面)2020、被計測者の骨盤の動き(水平面)2030、部位を結ぶ線分の軌跡(矢状面)2040等が記載されている。
【0118】
ユーザは、例えば、ユーザ装置3に印刷指示操作を行うことで、印刷イメージ2000を、可搬性や利便性に優れた紙媒体等に印刷(プリントアウト)することができる。
【0119】
以上、本発明のいくつかの実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0120】
また以上の実施形態では、人の歩行態様を可視化する場合を例として説明したが、歩行態様可視化システム1は、歩行以外の人の歩行態様を可視化する場合にも適用することが可能である。
【0121】
また以上の実施形態では、被計測者が人である場合を例として説明したが、歩行態様可視化システム1は、被計測者が、動物等の人以外である場合にも適用することができる。
【0122】
上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、またはI
Cカード、SDカード、DVD等の記録媒体に置くことができる。
【0123】
また、図面において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【0124】
また、以上に説明した情報処理システムの各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、歩行態様可視化システム1が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
【0125】
また、前述した各種データやデータベースの構成(スキーマ(Schema)等)は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。
【符号の説明】
【0126】
1 歩行態様可視化システム、2 計測装置、3 ユーザ装置、5 通信媒体、100 歩行態様可視化装置、111 骨格データ、112 期間判定データ、113 観点データ、114 特徴量管理データ、116 期間特定データ、117 特徴量データ、118 情報提示画面データ、191 解析結果データ、120 骨格データ管理部、130
情報設定部、131 期間判定データ設定部、132 観点設定部、133 特徴量管理部、134 期間特定部、135 特徴量算出部、140 可視化処理部、141 観点受付部、142 対象骨格データ取得部、144 情報提示画面生成部、145 情報提示画面表示部、150 歩行態様解析処理部、151 歩行態様解析部、152 観点特定部、160 印刷イメージ生成部、211 テンプレートデータ、212 印刷イメージデータ、1410 情報提示画面、S1300 歩行態様可視化処理、S1600 歩行態様可視化処理、S1900 歩行態様可視化処理、2000 印刷イメージ