特開2019-187878(P2019-187878A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立ハイテクノロジーズの特許一覧
特開2019-187878歩行態様表示方法、歩行態様表示システム及び歩行態様分析装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-187878(P2019-187878A)
(43)【公開日】2019年10月31日
(54)【発明の名称】歩行態様表示方法、歩行態様表示システム及び歩行態様分析装置
(51)【国際特許分類】
   A61B 5/11 20060101AFI20191004BHJP
【FI】
   A61B5/11 200
【審査請求】有
【請求項の数】16
【出願形態】OL
【全頁数】17
(21)【出願番号】特願2018-84952(P2018-84952)
(22)【出願日】2018年4月26日
(11)【特許番号】特許第6509406号(P6509406)
(45)【特許公報発行日】2019年5月8日
(71)【出願人】
【識別番号】501387839
【氏名又は名称】株式会社日立ハイテクノロジーズ
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール特許業務法人
(72)【発明者】
【氏名】福井 大輔
(72)【発明者】
【氏名】恵木 正史
(72)【発明者】
【氏名】中川 弘充
(72)【発明者】
【氏名】田中 毅
(72)【発明者】
【氏名】三宅 賢稔
(72)【発明者】
【氏名】小野 貴司
(72)【発明者】
【氏名】堀越 伸也
(72)【発明者】
【氏名】野口 稔
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VA12
(57)【要約】
【課題】利用者の歩行態様を分析とともに分かりやすく表示可能とする歩行態様表示方法、歩行態様表示システム、歩行態様分析装置を提供する。
【解決手段】歩行者の計測と歩行者と比較対照する参照歩行者の計測とを選択し、歩行者の1歩行分の歩行をアニメーションとして表示する第1の歩行モデル604を表示し、参照歩行者の1歩行分の歩行をアニメーションとして表示する第2の歩行モデル603を表示し、歩行者の計測に係る所定の特徴量データの大きさと参照歩行者の計測に係る所定の特徴量データの大きさとを比較可能に表示する(607)。
【選択図】図6A
【特許請求の範囲】
【請求項1】
歩行者の歩行態様を表示する歩行態様表示方法であって、
複数の被計測者の歩行について、計測ごとに、被計測者の計測点の3次元空間の軌跡を示す骨格データと、骨格データにおける被計測者の1歩行を定義するピッチデータと、被計測者の1歩行分の骨格データから算出される特徴量データとをあらかじめ記憶し、
前記複数の被計測者のうち、表示画面に表示させる歩行者の計測と前記歩行者と比較対照する参照歩行者の計測とを選択し、
前記歩行者の計測に係る骨格データ及びピッチデータに基づき、前記歩行者の1歩行分の歩行をアニメーションとして表示する第1の歩行モデルを表示し、
前記参照歩行者の計測に係る骨格データ及びピッチデータに基づき、前記参照歩行者の1歩行分の歩行をアニメーションとして表示する第2の歩行モデルを表示し、
前記歩行者の計測に係る所定の特徴量データの大きさと前記参照歩行者の計測に係る所定の特徴量データの大きさとを比較可能に表示する歩行態様表示方法。
【請求項2】
請求項1において、
前記表示画面に表示される所定の特徴量データは、前記歩行者の計測に係る特徴量データの大きさと前記参照歩行者の計測に係る特徴量データの大きさとの差の割合が大きな特徴量データから選択される歩行態様表示方法。
【請求項3】
請求項1において、
被計測者の1歩行分の骨格データから算出される特徴量データの内容を説明する特徴量説明データをあらかじめ記憶し、
前記表示画面に表示される所定の特徴量データのいずれかが選択されると、前記特徴量説明データより、前記選択された特徴量データの説明を表示し、前記選択された特徴量データの算出に用いられる計測点を前記第1の歩行モデル及び前記第2の歩行モデルに表示する歩行態様表示方法。
【請求項4】
請求項3において、
被計測者の1歩行分の骨格データから算出される特徴量データに関する専門知識であるドメイン知識データをあらかじめ記憶し、
前記ドメイン知識データに前記選択された特徴量データに関する専門知識が存在する場合には、当該専門知識を前記表示画面に表示する歩行態様表示方法。
【請求項5】
請求項1において、
特徴量データから所定の歩行態様に該当する程度を示す歩行態様度を算出する歩行態様分析モデルをあらかじめ記憶し、
歩行態様分析モデルに前記歩行者の計測に係る特徴量データを適用して前記歩行者の計測に係る第1の歩行態様度を算出し、
歩行態様分析モデルに前記参照歩行者の計測に係る特徴量データを適用して前記参照歩行者の計測に係る第2の歩行態様度を算出し、
前記第1の歩行態様度及び前記第2の歩行態様度を前記表示画面に表示する歩行態様表示方法。
【請求項6】
請求項5において、
複数の歩行態様分析モデルに前記歩行者の計測に係る特徴量データを適用して算出された最も大きな歩行態様度を、前記第1の歩行態様度として表示する歩行態様表示方法。
【請求項7】
請求項6において、
前記表示画面に表示される所定の特徴量データは、前記第1の歩行態様度の算出に係る歩行態様分析モデルにおいて寄与の大きな特徴量データから選択される歩行態様表示方法。
【請求項8】
請求項5において、
前記歩行態様分析モデルは、前記複数の被計測者の計測に係る特徴量データを学習データとして作成または更新される教師有り学習モデルである歩行態様表示方法。
【請求項9】
歩行態様分析装置と、前記歩行態様分析装置とネットワークを介して接続される歩行態様表示端末とを有する歩行態様表示システムであって、
前記歩行態様分析装置は、第1のプロセッサと、第1のメモリと、ストレージと、前記第1のメモリに読み込まれ、前記第1のプロセッサにより実行されるデータ分析プログラムとを有し、
前記歩行態様表示端末は、第2のプロセッサと、第2のメモリと、前記第2のメモリに読み込まれ、前記第2のプロセッサにより実行されるデータ可視化プログラムとを有し、
前記歩行態様分析装置の前記ストレージは、複数の被計測者の歩行について、計測ごとに、被計測者の計測点の3次元空間の軌跡を示す骨格データと、骨格データにおける被計測者の1歩行を定義するピッチデータと、被計測者の1歩行分の骨格データから算出される特徴量データとをあらかじめ記憶し、
前記歩行態様表示端末の前記データ可視化プログラムは、
前記複数の被計測者のうち、表示画面に表示させる歩行者の計測と前記歩行者と比較対照する参照歩行者の計測との選択を受ける入出力処理部と、
前記歩行者及び前記参照歩行者の1歩行分の歩行をアニメーションとして表示する歩行モデルを表示する骨格データ表示処理部と、
前記歩行者の計測に係る所定の特徴量データの大きさと前記参照歩行者の計測に係る所定の特徴量データの大きさとを比較可能に表示する特徴量データ表示処理部とを有しており、
前記歩行態様分析装置の前記データ分析プログラムは、
前記ストレージより前記歩行者の計測及び前記参照歩行者の計測に係る1歩行分の骨格データを抽出して、前記骨格データ表示処理部に送信する骨格データ取得処理部と、
前記ストレージより前記歩行者の計測及び前記参照歩行者の計測に係る前記所定の特徴量データを抽出して、前記特徴量データ表示処理部に送信する特徴量データ取得処理部とを有する歩行態様表示システム。
【請求項10】
請求項9において、
前記特徴量データ取得処理部は、前記歩行者の計測に係る特徴量データの大きさと前記参照歩行者の計測に係る特徴量データの大きさとの差の割合が大きな特徴量データから選択する歩行態様表示システム。
【請求項11】
請求項9において、
前記歩行態様分析装置の前記ストレージは、特徴量データから所定の歩行態様に該当する程度を示す歩行態様度を算出する歩行態様分析モデルをあらかじめ記憶し、
前記歩行態様表示端末の前記データ可視化プログラムは、前記歩行者の計測及び前記参照歩行者の計測に係る歩行態様度を表示する歩行態様度表示処理部を有し、
前記歩行態様分析装置の前記データ分析プログラムは、前記ストレージより抽出した前記歩行者の計測及び前記参照歩行者の計測に係る特徴量データを歩行態様分析モデルに適用して前記歩行者の計測及び前記参照歩行者の計測に係る歩行態様度を算出し、前記歩行態様度表示処理部に送信する歩行態様定量化処理部を有する歩行態様表示システム。
【請求項12】
請求項11において、
前記歩行態様定量化処理部は、複数の歩行態様分析モデルに前記歩行者の計測に係る特徴量データを適用して算出された最も大きな歩行態様度を、前記歩行者の計測に係る歩行態様度として前記歩行態様度表示処理部に送信する歩行態様表示システム。
【請求項13】
歩行態様表示端末とネットワークを介して接続される歩行態様分析装置であって、
プロセッサと、
メモリと、
ストレージと、
前記メモリに読み込まれ、前記プロセッサにより実行されるデータ分析プログラムとを有し、
前記ストレージは、複数の被計測者の歩行について、計測ごとに、被計測者の計測点の3次元空間の軌跡を示す骨格データと、骨格データにおける被計測者の1歩行を定義するピッチデータと、被計測者の1歩行分の骨格データから算出される特徴量データとをあらかじめ記憶し、
前記データ分析プログラムは、
前記歩行態様表示端末に歩行者及び前記歩行者と比較対照する参照歩行者の1歩行分の歩行をアニメーションとして表示させるため、前記ストレージより前記歩行者の計測及び前記参照歩行者の計測に係る1歩行分の骨格データを抽出する骨格データ取得処理部と、
前記歩行態様表示端末に前記歩行者の計測に係る所定の特徴量データの大きさと前記参照歩行者の計測に係る所定の特徴量データの大きさとを比較可能に表示させるため、前記ストレージより前記歩行者の計測及び前記参照歩行者の計測に係る前記所定の特徴量データを抽出する特徴量データ取得処理部とを有する歩行態様分析装置。
【請求項14】
請求項13において、
前記特徴量データ取得処理部は、前記歩行者の計測に係る特徴量データの大きさと前記参照歩行者の計測に係る特徴量データの大きさとの差の割合が大きな特徴量データから選択する歩行態様分析装置。
【請求項15】
請求項13において、
前記ストレージは、特徴量データから所定の歩行態様に該当する程度を示す歩行態様度を算出する歩行態様分析モデルをあらかじめ記憶し、
前記データ分析プログラムは、前記歩行態様表示端末に前記歩行者の計測及び前記参照歩行者の計測に係る歩行態様度を表示させるため、前記ストレージより抽出した前記歩行者の計測及び前記参照歩行者の計測に係る特徴量データを歩行態様分析モデルに適用して前記歩行者の計測及び前記参照歩行者の計測に係る歩行態様度を算出する歩行態様定量化処理部を有する歩行態様分析装置。
【請求項16】
請求項15において、
前記歩行態様定量化処理部は、複数の歩行態様分析モデルに前記歩行者の計測に係る特徴量データを適用して算出された最も大きな歩行態様度を、前記歩行者の計測に係る歩行態様度とする歩行態様分析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歩行態様表示方法、歩行態様表示システム及び歩行態様分析装置に関する。
【背景技術】
【0002】
人が自分の身体を自由に動かすには、骨、関節、筋肉や神経で構成される運動器が正常に機能する必要がある。ロコモティブシンドローム(運動器症候群、「ロコモ」)は運動器のいずれかあるいは複数に障害が起こり、立つ、歩く、走る、座るといった移動機能が低下している状態をいう。このような移動機能の低下が進行すると日常生活にも支障が生じるようになる。入院治療が必要になるような運動器障害は50歳以降に多発しているといわれており、高齢での運動器障害は支援や介護が必要になるリスクにつながる。運動器障害は徐々に進行するため、ロコモの予防、早期の発見、適切な対処の必要性が認識されている。
【0003】
特許文献1は、歩行者の歩行状態を把握可能な歩行状態表示システムについて開示する。本システムでは対象者に歩行動作計測装置を取り付けて歩行させ、対象者の歩行状態を示す指標を求めて表示する。指標としては、歩行状態を示す歩幅、歩行周期、重心の変動状態、足部高さ、ひざ高さなどが例示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2012−65723号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
人の移動機能の低下は歩行障害として表れる。このため、ロコモの早期発見、改善を進める人の歩行状態を把握し、対象者に分かりやすく伝えることが有効と考えられる。特許文献1では、求めた指標を歩行動作パターンとして、現状の対象者の歩行動作パターンと予め規定された最適な歩行動作パターンとを比較表示したり、指標を時系列的にグラフ表示したりすることが記載されているが、具体的にどのように表示するかについては記載されていない。
【0006】
本発明の目的は、歩行者の歩行態様を分析とともに分かりやすく表示可能とし、さらに改善方法を提示可能にすることにより、ロコモの予防、早期の発見、適切な対処につなげることである。
【課題を解決するための手段】
【0007】
本発明の一実施態様である、歩行者の歩行態様を表示する歩行態様表示方法は、複数の被計測者の歩行について、計測ごとに、被計測者の計測点の3次元空間の軌跡を示す骨格データと、骨格データにおける被計測者の1歩行を定義するピッチデータと、被計測者の1歩行分の骨格データから算出される特徴量データとをあらかじめ記憶し、複数の被計測者のうち、表示画面に表示させる歩行者の計測と歩行者と比較対照する参照歩行者の計測とを選択し、歩行者の計測に係る骨格データ及びピッチデータに基づき、歩行者の1歩行分の歩行をアニメーションとして表示する第1の歩行モデルを表示し、参照歩行者の計測に係る骨格データ及びピッチデータに基づき、参照歩行者の1歩行分の歩行をアニメーションとして表示する第2の歩行モデルを表示し、歩行者の計測に係る所定の特徴量データの大きさと参照歩行者の計測に係る所定の特徴量データの大きさとを比較可能に表示する。
【0008】
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【発明の効果】
【0009】
歩行者の歩行態様を分析とともに分かりやすく表示可能とする。
【図面の簡単な説明】
【0010】
図1】歩行態様表示システムのハードウェア構成である。
図2】歩行態様表示システムのソフトウェア構成である。
図3】歩行の計測及び歩行態様分析モデルの作成、更新フローを示す図である。
図4】ドメイン知識の登録フローを示す図である。
図5】利用者の歩行態様を表示するフローである。
図6A】歩行態様の表示画面の例である。
図6B】歩行態様の表示画面の例である。
図7】表示画面を表示させる全体フローである。
図8】歩行モデルの表示フローである。
図9】特徴量の表示フローである。
図10】歩行態様度の表示フローである。
図11】ドメイン知識の表示フローである。
図12】ドメイン知識データのデータ構造である。
図13】計測メタデータのデータ構造である。
図14】骨格データのデータ構造である。
図15】ピッチデータのデータ構造である。
図16A】特徴量データのデータ構造である。
図16B】特徴量の例示である。
図17】特徴量説明データのデータ構造である。
図18】分析モデルのデータ構造である。
【発明を実施するための形態】
【0011】
図1に歩行態様表示システム1のハードウェア構成を示す。歩行態様表示システム1は、被計測者に対する歩行の計測とその計測結果より歩行態様分析モデルの作成を行う歩行態様分析システム110と、利用者の歩行態様を歩行態様分析装置による分析とともに表示する歩行態様表示端末120とを有し、歩行態様分析システム110の歩行態様分析装置100と歩行態様表示端末120とはネットワーク130により接続されている。
【0012】
歩行態様分析装置100は、CPU(Central Processing Unit)101、入力I/F(Interface)102、出力I/F103、メモリ104、ストレージ105、通信I/F106、I/Oポート107を備え、それらは内部バス108により結合され、汎用計算機として実現可能なものである。入力I/F102は、キーボードやマウス等の入力装置に接続され、また出力I/F103は、ディスプレイやプリンタに接続され、オペレータに対するGUI(Graphical User Interface)を実現する。通信I/F106はネットワーク130と接続するためのインタフェースである。ストレージ105は通常、HDDやROM、フラッシュメモリなどの不揮発性メモリで構成され、歩行態様表示システム1が実行するプログラムやプログラムが処理対象とするデータ等を記憶する。メモリ104はRAM(Random Access Memory)で構成され、CPU101の命令により、プログラムやプログラムの実行に必要なデータ等を一時的に記憶する。CPU101は、ストレージ105からメモリ104にロードしたプログラムを実行する。
【0013】
歩行態様分析装置100はI/Oポート107を介してセンサ111と接続され、歩行態様分析システム110を構成する。歩行態様分析装置100は、センサ111に対してセンシングデータの収集命令を出し、センサ111はこれに応じて被計測者の歩行についてセンシングを行い、計測結果を歩行態様分析装置100に送信する。本実施例では、センサ111としてTOF(Time of Flight)方式による距離センサを用いる例を説明する。センサ111は、被計測者の歩行態様を捉えるため、被計測者の歩行中における身体の計測点(関節等)の3次元空間における動き(軌跡)を計測する。距離センサは、3次元空間における計測点の座標を直接的に求めることができる利点を有している。なお、センサ111は距離センサに限定されるものではない。例えば、センサ111をビデオカメラとし、ビデオカメラにより歩行中の計測者を撮影した映像から画像解析を行ってもよいし、加速度センサ、角度センサ、ジャイロセンサのようなセンサを用いてもよい。複数種類のセンサを用いることも可能である。センサ111自体が計測点の3次元空間の軌跡を出力するものであってもよく、センサ111の計測結果あるいは撮影結果から歩行態様分析装置100が計測点の3次元空間の軌跡を算出するように構成してもよい。
【0014】
歩行態様表示端末120は、利用者の歩行態様を歩行態様分析装置100による分析とともに表示する。歩行態様表示端末120は、CPU121、メモリ122、通信I/F123、入力I/F124、出力I/F125を備え、それらは内部バス126により結合され、タブレットやスマートフォンとして実現可能なものである。歩行態様表示端末120の各構成要素は歩行態様分析装置100の相当する構成要素と同等である。
【0015】
図2は歩行態様表示システム1のソフトウェア構成であり、システム1において実行されるプログラムとその関係を示している。オペレータプログラム210は、歩行を計測し、その計測結果より歩行態様分析モデルの作成、更新を行うためのGUIを実現する機能を有する。データ可視化プログラム220は、利用者の歩行態様を分かりやすく表示する機能を有する。骨格データ抽出プログラム230は、オペレータプログラム210の骨格データ抽出呼出部212により起動され、センサ111からのセンシングデータより骨格データを抽出する機能を有する。特徴量算出プログラム240は、オペレータプログラム210の特徴量算出呼出部213により起動され、骨格データから被計測者の歩行態様を分析するための特徴量を算出する機能を有する。データ分析プログラム250は、特徴量から利用者の歩行態様を分析する歩行態様分析モデルの作成、更新を行う機能、計測データや分析モデルをデータベースに格納させる機能、データ可視化プログラム220により分析データを表示する際に、歩行態様の表示に必要なデータ取得や歩行態様分析モデルに基づく利用者の歩行態様の評価を行う機能を有する。データベースプログラム260は、歩行態様表示システム1に必要な計測データや分析モデルを、ストレージ105に格納し、管理する機能を有する。なお、オペレータプログラム210、骨格データ抽出プログラム230、特徴量算出プログラム240、データ分析プログラム250、データベースプログラム260は歩行態様分析装置100にて実行されるプログラムであり、データ可視化プログラム220は歩行態様表示端末120で実行されるプログラムである。
【0016】
図3を用いて、歩行態様分析装置100が実行する、歩行の計測及びその計測結果より歩行態様分析モデルを作成、更新するフローについて説明する。被計測者310はオペレータ320に計測を依頼し(S01)、オペレータ320は、被計測者310の計測メタデータをシステムに入力し、計測を開始するよう、オペレータプログラム210のユーザ入出力処理部211に対して指示する(S02)。計測メタデータのデータ構造を図13に示す。
【0017】
計測メタデータ335は計測ごとに作成される(S10)。計測メタデータは、データを一意に特定するための計測ID1301、センサ111による計測結果を格納する計測ファイル名1302、被計測者310に関する基礎データ1303〜1305を含む。基礎データは、歩行態様分析モデルの学習を行う際の学習データの母集団の決定、または歩行態様分析モデルの変数の一部として用いられる。基礎データとしては例えば、年齢1303、性別1304、歩行態様1305といった項目が挙げられる。
【0018】
骨格データ抽出呼出部212(オペレータプログラム210)が、骨格データ抽出プログラム230を起動し、計測が開始される(S03)。骨格データ抽出処理部231は、被計測者の歩行を計測し(S04)、骨格データ331を出力する(S05)。本実施例では、骨格データ抽出プログラム230がオンラインでセンサ111からセンシングデータを取得することを想定しているが、センサ111で取得したセンシングデータをオフラインで装置に入力することも可能である。骨格データ331のデータ構造を図14に示す。
【0019】
骨格データ331は、被計測者の計測点の3次元空間の軌跡であり、縦軸に時間(タイムスタンプ)1401、横軸に各計測点の(X,Y,Z)座標1402が格納されている。計測点には、歩行態様に影響する関節等が設定される。骨格データ331は、後述するように、被計測者の歩行に関する特徴量の抽出に用いられる。このため、被計測者個々の体格に依存する相違を捨象するため、例えば、歩行中を通じて振れの少ない身体中の計測点を、歩行中常に原点として相対化した相対座標として格納することが望ましい。
【0020】
骨格データ抽出プログラム230は、骨格データ331を抽出すると、計測が終了した旨をオペレータプログラム210に返す。これを受けて、特徴量算出呼出部213(オペレータプログラム210)が、特徴量算出プログラム240を起動する(S06)。まず、骨格データ取得部241は、骨格データ331を取得する(S07)。次に、ピッチデータ抽出処理部242は、骨格データ331よりピッチデータを抽出する(S08)。ピッチデータ332のデータ構造を図15に示す。
【0021】
ピッチデータ332は、骨格データ331における被計測者の1歩行を定義する。図15の例では、計測ID1301により指定される骨格データは、ピッチ開始1501に規定される時間からピッチ終了1502に規定される時間までが1歩行であることを意味している。1歩行は例えば、歩行者が歩行中に右足のかかとを地面につけてから、再び右足のかかとが地面から離れるまでとして定義することができ、センシングデータより「右足のかかとが着地した時間」、「右足のかかとが地面から離れた時間」を検出し、それぞれをピッチ開始時刻、ピッチ終了時刻として、ピッチデータ332に登録する。
【0022】
続いて、特徴量算出処理部243は、1歩行分の骨格データ331から特徴量データを算出する(S08)。算出する特徴量は、図16Bに示すように、あらかじめシステムにおいて定められている。特徴量は、歩行中における被計測者の関節や軸の動き、相関であって、骨格データ331から算出される。特徴量データ333のデータ構造を図16Aに示す。計測ID1301毎に、算出した特徴量1601が格納される。なお、後述するように計測した歩行態様を表示する際、特徴量の内容を被計測者にも理解できるように表示する。このため、システムで算出する特徴量を定義するのにあわせて、利用者に特徴量の内容を説明するために特徴量説明データ334を格納している。特徴量説明データ334のデータ構造を図17に示す。特徴量説明データ334は、特徴量を一意に特定する特徴量ID1701、特徴量IDで特定される特徴量の名称である特徴量名称1702、特徴量の内容を説明する特徴量説明1703を含む。
【0023】
1回の計測により得られる、計測メタデータ335、骨格データ331、ピッチデータ332、特徴量データ333は、オペレータプログラム210のデータ永続化呼出部214よりデータ分析プログラム250に対して、データベースに格納するよう依頼される(S11)。
【0024】
データ分析プログラム250のデータ分析処理部256は、データベースに蓄積された被計測者の歩行データを学習データとして用い、歩行態様分析モデルの学習を行い(S12)、分析モデル336を作成または更新する(S13)。分析モデル336のデータ構造を図18に示す。分析モデル336は、モデルを一意に特定するモデルID1801、モデルの分析タイプ1802、目的変数1803、モデルデータ1804を含む。例えば、本例のモデルID「1」の歩行態様分析モデルは、歩行態様「健常歩行」に該当する程度(「歩行態様度」という)を算出するロジスティック回帰分析モデルであって、その判定プログラムが「Binary Data 1」であることを意味している。なお、ここでは分析モデルとして教師有り学習モデルを使用するが、特定のモデルに限定されるものではない。
【0025】
データ分析プログラムのデータ永続化処理部251は、オペレータプログラム210より依頼された計測メタデータ335、骨格データ331、ピッチデータ332、特徴量データ333、及びデータ分析処理部256が作成または更新した分析モデル336をデータベースプログラム260に保存、管理するよう依頼し(S14)、データベースプログラム260がそれを実行する。
【0026】
このように、歩行態様分析装置100は分析モデル336を有し、これを用いてシステムの利用者の歩行態様の分析を行う。本実施例のシステムでは、分析した歩行態様を分かりやすく表示し、あるいは歩行態様を改善するためのアドバイスを行う。
【0027】
図4を用いて、利用者の歩行態様に対してアドバイスを行うため、システムにドメイン知識を登録するフローについて説明する。データベースへの登録フローは歩行態様分析モデルの作成、更新フローの場合と同様であるため、詳細な説明は省略する。なお、上述した特徴量説明データ334の登録フローも図4と同じフローでシステムに登録される。
【0028】
ドメイン知識とは、利用者の歩行態様を特徴づける特徴量に関する専門知識である。ドメイン知識データ401のデータ構造を図12に示す。ドメイン知識データ401は、ドメイン知識を一意に特定する知識ID1201、知識分野1202、特徴量ID1701、条件1203、知識1204を含む。知識分野1202は、ドメイン知識が何の専門分野に関わる知識であるかを示す。特徴量ID1701はドメイン知識がどの特徴量についての専門知識であるかを示し、当該特徴量が条件1203に示される条件である場合における専門知識1204が登録されている。例えば、知識ID「2」では、フィットネス分野の知識であって、左手首の左右方向の動きの速さが10以上20未満の場合はトレーニングAを受けることを勧める、ことが登録されている。知識ID「3」では、医療分野の知識であって、左手首の上下方向の動きの速さが20以上の場合は検査を受けることを勧める、ことが登録されている。知識1204の内容は、特徴量データが所定の条件にあるときに、利用者へ伝達することが望ましい注意、警告、アドバイス等であり、その内容は特に限定されない。
【0029】
図5を用いて、利用者の歩行をセンシングして、利用者の歩行態様を歩行態様分析装置100により分析し、利用者の歩行態様を表示するフローについて説明する。まずは、利用者315の歩行を歩行態様分析システム110により計測する。図3に関して説明したフローと同様に利用者315の歩行についての特徴量データ333を算出する。なお、この場合は利用者315の歩行態様は未知であるので、計測メタデータ335に歩行態様の情報はない。図5は利用者315の特徴量データが算出され、データベースに登録された後に、利用者の歩行態様を表示するフローを示している。この例では、オペレータ320が歩行態様表示端末120を操作する例を示しているが、利用者315が直接操作するようにしてもよい。
【0030】
オペレータ320は歩行態様表示端末120に対して、利用者315の歩行態様を表示装置に表示させるため、データ可視化プログラム220を起動させる(S31)。プログラムの起動や表示させる内容についての指示入力、端末(ディスプレイ)への表示はユーザ入出力処理部221(図2参照)によって実行される。データ可視化プログラム220は利用者の歩行態様を表示するために歩行態様分析装置100に対して、表示用データを要求する(S32)。表示用データの要求を受けて、データ分析プログラム250はデータベースプログラム260を通じて可視化に必要なデータを取得する(S33)。なお、必要なデータは既にデータベースに格納されている。すなわち、利用者315に関する計測メタデータ335、骨格データ331、特徴量データ333、ピッチデータ332及び、歩行形態を分析する分析モデル336、特徴量説明データ334、ドメイン知識データ401である。その後、データ分析プログラム250は、取得したデータを表示するために必要な加工及び分析モデルを用いた歩行態様度データの算出等を実行する(S34)。データ分析プログラム250はこれら表示に必要なデータを歩行態様表示端末120に送信する(S35)。歩行態様表示端末120は受信した表示用データを用いて利用者315の歩行態様を表示する。オペレータ320はその結果を利用者315にフィードバックする(S36)。
【0031】
図6A図6Bは、歩行態様表示端末120により表示される利用者の歩行態様の表示画面の例である。表示画面600は2名の歩行者の歩行態様を表示するようにされている。複数の歩行態様を一目で比較可能にすることで、利用者に自己の歩行態様の課題を理解しやすくするためである。比較対象とする歩行者(参照歩行者という)は、歩行態様の異なる他者であってもよいし、自己の過去の歩行態様であってもよい。
【0032】
表示画面600の構成について説明する。歩行者データ1が参照歩行者、歩行者データ2が利用者に係るものとする。第1選択欄601、第2選択欄602においてそれぞれ参照歩行者の計測ID、利用者の計測IDを選択することにより、参照歩行者及び利用者の歩行態様を表示させる。
【0033】
歩行モデル603、604は、歩行者の歩行をアニメーションとして表示するものである。歩行者を示すスケルトンモデルによる1歩行の動きを繰り返し表示する。本例のスケルトンモデルでは、歩行者の身体を模したスケルトンモデルに計測点が丸で示されている。歩行モデル603、歩行モデル604はそれぞれ参照歩行者、利用者の歩行を表す。
【0034】
歩行態様度605、606は、歩行態様分析モデルを用いて歩行者の歩行を分析した歩行態様度を表示するものである。歩行態様度605は参照歩行者の歩行態様度である。この値は、図18に示す分析モデルにおけるモデルID1を用いて分析することにより得ることができる。歩行態様度606は利用者の歩行態様度である。同様にモデルID1による分析に加えて、老人歩きを分析する分析モデルを用いて分析することで歩行態様度606を表示することができる。
【0035】
表示画面600の下部には特徴量表示欄607と特徴量説明欄608が設けられている。特徴量表示欄607は算出された特徴量のうち、利用者の歩行態様を特徴づける特徴量が表示される。本例では、参照歩行者と利用者の歩行態様に係る特徴量を比較しやすいように、棒グラフにより表されている。特徴量説明欄608には、特徴量表示欄607に表示されている内容の説明が表示される。図6Aの場合は、利用者の歩行態様を特徴づける特徴量として、参照歩行者と利用者との間で差の割合が大きな特徴量を示しているので、その説明が表示されている。例えば、差の割合が大きな特徴量から順に所定数選択する。また、特徴量表示欄607に表示されている特徴量の名称またはグラフをクリック、あるいはタッチすることにより、オペレータが特定の特徴量について選択することができるようになっている。
【0036】
図6Bは、図6Aの画面表示において、オペレータが2番目の特徴量「首のZ軸と背骨のZ軸の速度の相互相関関数のピーク強度」を選択した場合の表示画面を示している。このとき、以下のように表示が変化する。
(1)特徴量表示欄607では選択した特徴量611が他の特徴量とは視覚的に識別可能に表示される。
(2)選択した特徴量611についての特徴量説明が、特徴量説明欄608に表示される。
(3)歩行モデル603、604のそれぞれに、選択した特徴量611を算出するのに使用される計測点612,613が識別可能に表示される。
(4)選択した特徴量611についてドメイン知識が存在する場合には、対応するドメイン知識614が表示される。
【0037】
図7図11を用いて、表示画面600を表示させるフローについて説明する。図7は表示画面を表示する全体フローである。オペレータ320は、ブラウザ(データ可視化プログラム)220に対して、結果表示要求を行う(S41)。結果表示要求には、端末120のURLや、表示画面に表示させる参照歩行者、利用者の計測IDの選択等を含む。ピッチ抽出済骨格データ取得要求(S42)は歩行モデル603、604の表示に関する。特徴量データ取得要求(S44)は特徴量表示欄607、特徴量説明欄608の表示に関する。歩行態様度データ取得要求(S46)は歩行態様度605、606の表示に関する。ドメイン知識データ取得要求(S48)は、選択した特徴量611に関するドメイン知識614の表示に関する。
【0038】
図8を用いて、表示画面600への歩行モデルの表示フローについて説明する。骨格データ表示処理部222(データ可視化プログラム220、図2参照)は骨格データ取得処理部252(データ分析プログラム)にピッチ抽出済骨格データ取得要求を出す(S42)。骨格データ取得処理部252はデータベースプログラム260を介して、選択された計測IDに係る骨格データ(図14参照)及びピッチデータ(図15参照)を取得する(S51,S52)。取得した骨格データ、ピッチデータから、1歩行分の骨格データ(ピッチ抽出済骨格データ)を抽出する(S53)。ピッチ抽出済骨格データは、骨格データ取得処理部252から骨格データ表示処理部222に送信され、骨格データ表示処理部222は当該データに基づき、アニメーション化して歩行モデルとして表示する(S43)。
【0039】
図9を用いて、表示画面600への特徴量の表示フローについて説明する。特徴量データ表示処理部223は特徴量データ取得処理部253に特徴量データ取得要求を出す(S44)。特徴量データ取得処理部253はデータベースプログラム260を介して、選択された計測IDに係る特徴量データ(図16A参照)を取得する(S61)。特徴量は、歩行者の歩行態様を正確に分析することを意図しているため膨大な種類を有する。このため、歩行者の歩行態様の特徴に密接にかかわる特徴量を選択して表示する必要がある。図6Aの例では、選択した2つの計測IDにおける差の割合の大きさを基準に表示する特徴量を選択するようにしている。このように、特徴量データ取得処理部253は、表示対象とする特徴量をあらかじめ定めた所定の基準で抽出する(S62)。また、特徴量データ取得処理部253はデータベースプログラム260を介して、特徴量説明データ(図17参照)を取得し(S63)、表示対象として抽出した特徴量データに対応する特徴量データ説明を抽出する(S64)。表示対象として抽出された特徴量データと特徴量説明データは、特徴量データ取得処理部253から特徴量データ表示処理部223に送信され、特徴量データ表示処理部223は当該データに基づき、棒グラフ等を作成して表示する(S45)。
【0040】
図10を用いて、表示画面600への歩行態様度の表示フローについて説明する。歩行態様度表示処理部225は歩行態様定量化処理部255に歩行態様度データ取得要求を出す(S46)。歩行態様定量化処理部255はデータベースプログラム260を介して、歩行態様分析モデル(図18参照)、及び選択された計測IDに係る特徴量データを取得する(S71)。取得した特徴量データを各分析モデルに適用し、各分析モデルに基づく歩行態様度データを算出する(S73)。歩行態様度データは、歩行態様定量化処理部255から歩行態様度表示処理部225に送信され、歩行態様度表示処理部225は当該データに基づき、歩行態様度データを表示する(S47)。表示方法は特に限定されないが、歩行態様が健常歩行でなく、何らかの異常が見られる場合には、図6Aに示すように歩行態様度に高い値が算出された分析モデルの目的変数である歩行態様(図6Aの場合は「老人歩き」)をあわせて表示することが望ましい。例えば、取得した特徴量データを分析モデル336に格納されている全ての分析モデルに適用し、このとき最も大きな値となる歩行態様度を表示するようにすればよい。
【0041】
図11を用いて、表示画面600へのドメイン知識の表示フローについて説明する。ドメイン知識表示処理部224はドメイン知識取得処理部254にドメイン知識データ取得要求を出す(S48)。ドメイン知識取得処理部254はデータベースプログラム260を介して、ドメイン知識データ(図12参照)を取得する(S81)。取得したドメイン知識データは、ドメイン知識取得処理部254からドメイン知識表示処理部224に送信され、ドメイン知識表示処理部224は当該データに基づき、ドメイン知識を表示する(S49)。ドメイン知識取得処理部254が送付するドメイン知識は歩行態様分析装置100に格納されているドメイン知識をすべて送付してもよいし、表示対象とする特徴量に関係するドメイン知識を抽出して送付するようにしてもよい。
【0042】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能なものである。例えば、表示画面600が表示する特徴量として、歩行態様度に高い値が算出された分析モデルにおいて、高い重み付けがなされている特徴量を選択して表示するようにしてもよい。その場合、オペレータ320のブラウザ220への指示入力をインタラクティブに実行可能として、表示する特徴量を切り換えられるようにしてもよい。例えば、表示画面600に対して特徴量の選択欄を設け、選択肢として「参照歩行者との差の割合の大きな特徴量」、「歩行態様度分析に寄与の大きな特徴量」等を選択可能にすることで、利用者315は複数の観点から自己の歩行態様を認識することが可能になる。
【符号の説明】
【0043】
1:歩行態様表示システム、100:歩行態様分析装置、101:CPU、102:入力I/F、103:出力I/F、104:メモリ、105:ストレージ、106:通信I/F、107:I/Oポート、108:内部バス、110:歩行態様分析システム、111:センサ、120:歩行態様表示端末、121:CPU、122:メモリ、123:通信I/F、124:入力I/F、125:出力I/F、126:内部バス、130:ネットワーク、210:オペレータプログラム、220:データ可視化プログラム、230:骨格データ抽出プログラム、240:特徴量算出プログラム、250:データ分析プログラム。
図1
図2
図3
図4
図5
図6A
図6B
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16A
図16B
図17
図18