特開 2025-3010 骨格推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025003010

(43)【公開日】2025-01-09

(54)【発明の名称】骨格推定システム

(51)【国際特許分類】

   A61B 5/11 20060101AFI20241226BHJP

   A61H 3/00 20060101ALI20241226BHJP

   A61H 1/02 20060101ALI20241226BHJP

   G06T 7/00 20170101ALI20241226BHJP

   G06T 7/70 20170101ALI20241226BHJP

【ＦＩ】

A61B5/11 200

A61H3/00 B

A61H1/02 R

G06T7/00 660Z

G06T7/70 A

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023103443

(22)【出願日】2023-06-23

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000125381

【氏名又は名称】学校法人藤田学園

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中村 卓磨

(72)【発明者】

【氏名】平野 哲

(72)【発明者】

【氏名】井伊 卓真

【テーマコード（参考）】

4C038

4C046

5L096

【Ｆターム（参考）】

4C038VA04

4C038VA12

4C038VB14

4C038VB35

4C038VC05

4C046AA25

4C046AA42

4C046AA43

4C046BB07

4C046CC01

4C046DD02

4C046DD13

4C046DD14

4C046DD33

4C046DD38

4C046DD39

4C046EE17

5L096AA06

5L096AA09

5L096BA02

5L096CA04

5L096DA01

5L096DA03

5L096FA09

5L096FA32

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】人物行動の解析に必要な部位が他の部位によって隠された場合や対象者の体格差が大きい場合であっても、必要な部位の位置を推定することが可能な骨格推定システムを提供する。
【解決手段】骨格推定システム１０は、トレッドミル上で移動するユーザを撮影又はセンシングすることにより得られた画像データを入力する入力部１１と、画像データに基づき、ユーザの骨格の位置を認識し、骨格の位置を示すユーザ骨格情報を得る制御部１２と、を備える。制御部１２は、ユーザ骨格情報によって位置が示される骨格の部位のうち第１所定部位の位置が認識できず且つ第２所定部位の位置が認識できた場合、現在認識できた第２所定部位の位置を示す情報と、以前に認識された第１所定部位と第２所定部位との位置関係を示す情報とに基づき、現在認識できなかった第１所定部位の位置を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

トレッドミル上で移動するユーザを撮影又はセンシングすることにより得られた画像データを入力する入力部と、
前記画像データに基づき、前記ユーザの骨格の位置を認識し、前記骨格の位置を示すユーザ骨格情報を得る制御部と、
を備え、
前記制御部は、前記ユーザ骨格情報によって位置が示される骨格の部位のうち第１所定部位の位置が認識できず且つ第２所定部位の位置が認識できた場合、現在認識できた前記第２所定部位の位置を示す情報と、以前に認識された前記第１所定部位と前記第２所定部位との位置関係を示す情報とに基づき、現在認識できなかった前記第１所定部位の位置を推定する、
骨格推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、骨格推定システムに関する。

【背景技術】

【0002】

特許文献１には、所定の画角で人物を含む撮影画像を取得し、撮影画像から人物が存在する人物画像領域を抽出し、人物画像領域から人物骨格を検出し、人物骨格から人物行動を解析する行動解析装置が記載されている。

【0003】

特許文献１に記載の行動解析装置では、人物画像領域と人物骨格とのいずれかを用いて、上記所定の画角外への人物のフレームアウトの発生状態あるいはフレームアウトが予知される状態にあるか否かを判定し、フレームアウトの発生が有るか、フレームアウトの予知が有る場合に、その判定を上記人物に通知している。

【0004】

ここで、フレームアウトの発生状態に有ることは、人物画像領域の一部が撮影画像の最外郭に存在すること、あるいは、人物骨格の一部が撮影画像の最外郭に存在すること、あるいは、深度が所定の範囲内に無いこと、のいずれかによって判定している。また、フレームアウトが予知される状態にあることは、人物画像領域の重心が撮影画像の中心から所定の範囲内に存在しないこと、あるいは、人物骨格の重心が撮影画像の中心から所定の範囲内に存在しないこと、あるいは、人物骨格が撮影画像の最外郭に存在せず、かつ、人物骨格の一部が撮影画像の最外郭から内側に向かって所定の範囲に存在すること、あるいは、人物骨格のうち行動解析に必要な人物骨格の一部が撮影画像内に存在しないこと、のいずれかによって判定している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－０８４９５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の技術では、人物行動の解析に必要な人物骨格についてのフレームアウトの発生や予知だけを考慮したとしても、必要な人物骨格が他の部位によって隠された場合や対象者の体格差などを吸収できなかった場合にもフレームアウトの発生や予知があったとの判定がなされて通知がなされる。このような通知は、ユーザにとっては煩わしい通知となり、ユーザに余計なストレスを与えてしまう。

【0007】

このような煩わしい通知を防ぐために、解析等において必要な部位が他の部位によって隠された場合や対象者の体格差が大きい場合であっても対応できる、必要な部位が存在するか否かを推定する方法の開発が望まれる。

【0008】

本開示は、このような問題を解決するためになされたもので、その目的は、人物行動の解析に必要な部位が他の部位によって隠された場合や対象者の体格差が大きい場合であっても、必要な部位の位置を推定することが可能な骨格推定システムを提供することにある。

【課題を解決するための手段】

【0009】

本開示の一態様に係る骨格推定システムは、トレッドミル上で移動するユーザを撮影又はセンシングすることにより得られた画像データを入力する入力部と、前記画像データに基づき、前記ユーザの骨格の位置を認識し、前記骨格の位置を示すユーザ骨格情報を得る制御部と、を備え、前記制御部は、前記ユーザ骨格情報によって位置が示される骨格の部位のうち第１所定部位の位置が認識できず且つ第２所定部位の位置が認識できた場合、現在認識できた前記第２所定部位の位置を示す情報と、以前に認識された前記第１所定部位と前記第２所定部位との位置関係を示す情報とに基づき、現在認識できなかった前記第１所定部位の位置を推定する、ものである。

【0010】

上記の骨格推定システムでは、上記位置関係を示す情報に基づき、現在認識できなかった第１所定部位の位置を推定するため、人物行動の解析に必要な部位が他の部位によって隠された場合や対象者の体格差が大きい場合であっても、必要な部位の位置を推定することができる。

【発明の効果】

【0011】

本開示により、人物行動の解析に必要な部位が他の部位によって隠された場合や対象者の体格差が大きい場合であっても、必要な部位の位置を推定することが可能な骨格推定システムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態に係る骨格推定システムの一構成例を示すブロック図である。

【図2】図１の骨格推定システムを搭載できる歩行訓練装置の一構成例を示す概略側面図である。

【図3】図２の歩行訓練装置で表示される画像の一例を示す模式図である。

【図4】人の骨格情報の一例を示す模式図である。

【図5】図２の歩行訓練装置で撮影された画像の一例及びその画像で認識された骨格情報の一例を示す模式図である。

【図6】図５の骨格情報から抽出したユーザ骨格情報を示す図である。

【図7】図２の歩行訓練装置における骨格推定処理の一例を説明するためのフロー図である。

【図8】図７の骨格推定処理により或る場面で認識された骨格情報の例を示す図である。

【図9】図７の骨格推定処理により他の場面で認識された骨格情報の例を示す図である。

【図10】図７の骨格推定処理により更に他の場面で認識された骨格情報の例を示す図である。

【図11】図７の骨格推定処理で用いられるテーブルの一例を示す図である。

【発明を実施するための形態】

【0013】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

【0014】

（実施の形態）
以下、図面を参照して実施の形態について説明する。
図１は、本実施の形態に係る骨格推定システムの一構成例を示すブロック図である。

【0015】

図１に示すように、本実施の形態に係る骨格推定システム１０は、入力部１１及び制御部１２を備えることができる。

【0016】

入力部１１は、トレッドミル上で移動するユーザを撮影又はセンシングすることにより得られた画像データを入力する。トレッドミルは、例えば、歩行訓練装置に搭載されるものであっても、ルームランナー等の訓練支援装置に搭載されるものであってもよい。

【0017】

入力される画像データは、カメラ画像データ、深度データなどとすることができる。カメラ画像データは、可視光又は赤外線のカメラで撮影されたデータである。カメラ画像データを採用する場合には、このようなカメラは、骨格推定システム１０に備えるか、あるいは外部に接続されることができる。深度データは、赤外線などのレーザー光を対象物に当てて対象物との距離を計測する深度センサや、３Ｄカメラなどで撮影して得られた各位置の深度を画像としてマッピングしたデータとすることができる。この場合、深度センサ又は３Ｄカメラは、骨格推定システム１０に備えるか、あるいは外部に接続されることができる。また、深度センサの一種とも言えるが、ＬｉＤＡＲを用いて計測したＬｉＤＡＲデータを、入力される画像データとすることもできる。

【0018】

制御部１２は、入力部１１で入力された画像データに基づき、ユーザの骨格の位置を認識し、骨格の位置を示すユーザ骨格情報を得る。

【0019】

特に、制御部１２は、ユーザ骨格情報によって位置が示される骨格の部位のうち第１所定部位の位置が認識できず且つ第２所定部位の位置が認識できた場合、次のような推定を行う。即ち、制御部１２は、この場合、現在認識できた第２所定部位の位置を示す情報と、以前に認識された第１所定部位と第２所定部位との位置関係を示す情報とに基づき、現在認識できなかった第１所定部位の位置を推定する。なお、制御部１２による推定処理の具体例については、図２以降を参照しながら説明する。

【0020】

このように、骨格推定システム１０では、上記位置関係を示す情報に基づき、現在認識できなかった第１所定部位の位置を推定する。そのため、骨格推定システム１０では、人物行動の解析に必要な部位が他の部位によって隠された場合や対象者の体格差が大きい場合であっても、必要な部位の位置を推定することができる。

【0021】

また、骨格推定システム１０では、このような推定が可能となっているため、ユーザに位置を変えさせるための通知のうち不要な煩わしい通知を防止することができ、ユーザのストレスを低減させることができる。

【0022】

次に、制御部１２による推定処理の具体例について、図２～図１１を参照しながら説明する。以下の具体例では、トレッドミルが図２に示す歩行訓練装置１００に搭載され、骨格推定システム１０がその歩行訓練装置１００に搭載される例を挙げて説明するが、このような例に限ったものではない。

【0023】

まず、図２及び図３を参照しながら、骨格推定システムを搭載できる歩行訓練装置１００の例について説明する。図２は、骨格推定システム１０を搭載できる歩行訓練装置１００の一構成例を示す概略側面図である。また、図３は、歩行訓練装置１００で表示される画像の一例を示す模式図である。

【0024】

図２に示す歩行訓練装置１００は、一方の脚に麻痺を患う片麻痺患者である訓練者（ユーザ）Ｕが、訓練スタッフＰＴの指導に従って歩行訓練を行うための装置である。なお、訓練スタッフＰＴは、療法士（理学療法士）又は医師とすることができ、訓練者の訓練を指導又は介助などにより補助することから、訓練指導者、訓練介助者、訓練補助者などと称することもできる。ここで例示したように、訓練スタッフＰＴは人である。

【0025】

歩行訓練装置１００は、下側フレーム１０１、上側フレーム１０２、前方フレーム１０３、及び後方フレーム１０４を備え、主にこれらにより全体的な形状が形成されている。また、歩行訓練装置１００は、訓練者Ｕが歩行時に必要に応じて把持するための手摺り１０５を備えることができる。手摺り１０５は、訓練者Ｕが歩行する領域の両脇側において、例えば下側フレーム１０１に配設されることができる。

【0026】

また、歩行訓練装置１００は、後述する訓練用モニタ１１５及びカメラ１１７を取り付けるための取付具１０６を備えることができる。訓練用モニタ１１５及びカメラ１１７を訓練者Ｕの前方に位置するように取り付けるために、取付具１０６は、その前方フレーム１０３に配設されることができる。また、上側フレーム１０２は、訓練者Ｕの頭上部前方付近で前側引張部１１１ｆを、頭上部付近でハーネス引張部１１１ｗを、頭上部後方付近で後側引張部１１１ｂを、それぞれ支持している。

【0027】

また、歩行訓練装置１００は、各種モータや各種センサの制御を行う、例えばＭＰＵ（Micro Processing Unit）等で構成される全体制御部を収容する制御盤１１４を備えることができる。つまり、制御盤１１４の全体制御部は、歩行訓練装置１００の制御可能な部位の制御も行う。一例を挙げると、制御盤１１４の全体制御部は、訓練スタッフＰＴによって設定された歩行速度に応じて、後述のベルト駆動部１０８を駆動させ、ベルト１０７の回転速度を調整する。

【0028】

制御盤１１４は、例えば下側フレーム１０１によって支持されることができる。制御盤１１４の全体制御部は、システムメモリから読み込んだ制御プログラムを実行することにより、装置全体の制御を実行することができる。

【0029】

また、歩行訓練装置１００は、訓練者Ｕの歩行を促すトレッドミルを備える。トレッドミルは、無端のベルト１０７、つまりリング状のベルト１０７と、ベルト駆動部１０８とを備えることができる。ベルト駆動部１０８は、ベルト１０７を駆動して回転させるモータとその駆動回路とを含むことができる。歩行訓練を行う訓練者Ｕは、ベルト１０７に乗り、ベルト１０７の移動に合わせて歩行動作を試みる。なお、訓練スタッフＰＴは、例えば図２に示すように訓練者Ｕの背後のベルト１０７上に立って一緒に歩行動作を行うこともできるが、通常、ベルト１０７を跨いだ状態で立つなど、訓練者Ｕの介助を行い易い状態に居ることが好ましい。

【0030】

また、歩行訓練装置１００は、装具１１２、ハーネスワイヤ１１０ｗ、及びハーネス引張部１１１ｗを主な構成要素とする、安全装置としての転倒防止ハーネス装置を備えることができる。装具１１２は、吊具であるハーネスワイヤ１１０ｗの一端に連結可能となっており、ハンガーベルトと称することもできる。訓練者Ｕは、後背部でハーネスワイヤ１１０ｗが連結されるように、装具１１２を装着する。ハーネスワイヤ１１０ｗは、一端が装具１１２に連結されており、他端がハーネス引張部１１１ｗに連結されている。ハーネス引張部１１１ｗは、ハーネスワイヤ１１０ｗを引張するためのモータとその駆動回路とを含むことができる。制御盤１１４の全体制御部は、ハーネス引張部１１１ｗの駆動回路へ駆動信号を送ることにより、ハーネスワイヤ１１０ｗの巻き取り又は繰り出しを制御する。

【0031】

転倒防止ハーネス装置は、このような構成により、訓練者Ｕが転倒しそうになった場合に、その動きを検知した制御盤１１４の全体制御部からの指示に従ってハーネスワイヤ１１０ｗを巻き取り、装具１１２により訓練者Ｕの上体を支えて、訓練者Ｕの転倒を防ぐ。なお、動きの検知は、装具１１２に備えられた、訓練者Ｕの姿勢を検出するための姿勢センサ（図示せず）で行うことができる。この姿勢センサは、例えばジャイロセンサと加速度センサを組み合わせたものであり、装具１１２が装着された腹部の重力方向に対する傾斜角を出力する。

【0032】

また、歩行訓練装置１００は、訓練者Ｕの麻痺側の脚部である患脚に装着する歩行補助装置１０９を備えることができる。歩行補助装置１０９は、訓練者Ｕの患脚に装着され、患脚の膝関節における伸展及び屈曲の負荷を軽減することにより訓練者Ｕの歩行を補助する。歩行補助装置１０９は、足裏荷重を計測するセンサ等を備え、運脚に関する各種データを、制御盤１１４の全体制御部に有線通信又は無線通信で送信する。

【0033】

歩行補助装置１０９は、例えば、膝関節の伸展運動及び屈曲運動を補助するための駆動力を発生させる不図示のモータを含みそのモータを制御する制御ユニット（図示せず）と、患脚の各部を支える複数のフレームと、を備えることができる。これらのフレームについては詳細に図示しないが、これらのフレームのうち隣り合うフレームは回動自在に連結されることができ、また、一部のフレームには、前側ワイヤ１１０ｆと後側ワイヤ１１０ｂとが連結されることができる。前側ワイヤ１１０ｆ、後側ワイヤ１１０ｂはそれぞれ、前側引張部１１１ｆ、後側引張部１１１ｂに連結され、前側引張部１１１ｆ、後側引張部１１１ｂにより巻き取り又は繰り出しが可能となっている。

【0034】

また、歩行補助装置１０９は、図示しないが、足裏を支えるフレームに埋め込まれ足裏に掛かる荷重を検出するための荷重センサを備えることができる。この荷重センサは、訓練者Ｕの足裏が受ける垂直荷重の大きさと分布を検出し、例えばＣＯＰ（Center Of Pressure：荷重中心）を検出するように構成することもできる。この荷重センサは、例えば、電極がマトリックス状に配置された抵抗変化検出型の荷重検出シートである。

【0035】

また、前側引張部１１１ｆ、後側引張部１１１ｂは、それぞれ前側ワイヤ１１０ｆ、後側ワイヤ１１０ｂを引張するためのモータとその駆動回路とを含むことができる。制御盤１１４の全体制御部は、前側引張部１１１ｆ、後側引張部１１１ｂの駆動回路へ駆動信号を送ることにより、それぞれ前側ワイヤ１１０ｆ、後側ワイヤ１１０ｂの巻き取り又は繰り出しを制御する。制御盤１１４の全体制御部は、例えば、荷重センサの検出結果から患脚が立脚状態から遊脚状態に切り替わるタイミングを同定し、そのタイミングに同期して前側ワイヤ１１０ｆ及び後側ワイヤ１１０ｂの引張力を増減させることにより、患脚の振出し動作をアシストすることができる。

【0036】

このように、前側引張部１１１ｆと後側引張部１１１ｂの連携した動作により、歩行補助装置１０９の荷重が患脚の負担とならないように当該荷重を相殺し、更には、設定の程度に応じて患脚の振出し動作をアシストする。例えば、訓練スタッフＰＴは、オペレータとして、重度の麻痺を抱える訓練者Ｕに対しては、アシストするレベルを大きく設定する。アシストするレベルが大きく設定されると、前側引張部１１１ｆは、患脚の振出しタイミングに合わせて、比較的大きな力で前側ワイヤ１１０ｆを巻き取る。訓練が進み、アシストが必要でなくなったら、訓練スタッフＰＴは、アシストするレベルを最小に設定する。アシストするレベルが最小に設定されると、前側引張部１１１ｆは、患脚の振出しタイミングに合わせて、歩行補助装置１０９の自重をキャンセルするだけの力で前側ワイヤ１１０ｆを巻き取る。

【0037】

また、歩行訓練装置１００はカメラ１１７を備える。カメラ１１７は、訓練者Ｕの全身を撮像するための撮像部としての機能を担う。カメラ１１７は、訓練用モニタ１１５の近傍に、訓練中の訓練者Ｕと相対するように設置されている。図２では、取付具１０６の下側にカメラ１１７が取り付けられた例を示しているが、カメラ１１７の取付位置これに限らない。

【0038】

カメラ１１７は、訓練中の訓練者Ｕの静止画や動画を撮影し、得られた画像信号を制御盤１１４の全体制御部に、有線通信又は無線通信により送信する。カメラ１１７は、訓練者Ｕが適切な歩行範囲で歩行している場合において、訓練者Ｕの全身を捉えられる程度の画角となるような、レンズと撮像素子のセットを含む。この画角は、例えば、図２において２本の破線間の範囲で例示されるものである。撮像素子は、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサとすることができ、結像面に結像した光学像を画像信号に変換する。

【0039】

また、歩行訓練装置１００は、訓練用モニタ１１５を備えることができる。訓練用モニタ１１５は、前方フレーム１０３に取り付けられており、例えば液晶パネル等の表示パネルとすることができる。訓練用モニタ１１５は、主に訓練者Ｕが自身の歩行状態や、歩行訓練装置１００から与えられるアドバイスや警告などの通知を視認するための表示装置である。ここで、アドバイスは歩行分析の結果をフィードバックしてどのような点に気を付けて歩行すればよいかを示すアドバイスとすることができる。

【0040】

また、訓練用モニタ１１５は、訓練スタッフＰＴが訓練者Ｕの歩行状態を視認するためにも用いることができる。訓練用モニタ１１５で表示させる画像等は、制御盤１１４の全体制御部から送信されることができる。上記歩行状態を視認させるための画像は、カメラ１１７で撮影したリアルタイムの画像を含み、トレーニングの進捗を示す情報や上記通知のための情報も含むことができる。

【0041】

また、歩行訓練装置１００は、管理用モニタ１１６を備えることができる。管理用モニタ１１６は、例えば制御盤１１４の筐体などに取り付けられており、例えば液晶パネル等の表示パネルとすることができる。また、管理用モニタ１１６は、表示パネルにおいてタッチパネルを設けておくことができる。管理用モニタ１１６は、主に訓練スタッフＰＴが監視及び操作するための表示入力装置である。管理用モニタ１１６は、訓練設定に関する各種メニュー項目や、訓練時における各種パラメータ値、訓練結果などを表示し、各種メニュー項目や各種パラメータ値などの設定を受け付けることができる。管理用モニタ１１６で表示させる画像等は、制御盤１１４の全体制御部から送信され、管理用モニタ１１６のタッチパネルで受け取った操作信号は制御盤１１４の全体制御部に送信され、その操作信号に対応した制御が全体制御部でなされる。

【0042】

また、歩行訓練装置１００は、図示しない音声出力部を備えることもできる。訓練用モニタ１１５や管理用モニタ１１６で例示した表示部で表示させる内容は、この音声出力部からの音声出力で知らせること、あるいは表示部での画像出力及び音声出力部からの音声出力の双方で知らせることもできる。

【0043】

そして、制御盤１１４は、全体制御部の一部として、図１の骨格推定システム１０、つまり入力部１１及び制御部１２を備えることができる。

【0044】

以下、骨格情報の推定のために入力される画像データがカメラ１１７から入力されるカメラ画像データである例を挙げて説明するが、上述したように深度データなどであってもよい。つまり、カメラ１１７は、上述したカメラ画像データを得るためのカメラとして使用されることができる。

【0045】

入力部１１は、カメラ１１７から画像信号を入力し、制御部１２に渡す。制御部１２は、入力部１１から受け取った画像信号から、その信号が示す画像データを生成する。なお、カメラ１１７が画像信号から画像データを生成するように構成することもでき、その場合、カメラ１１７がその画像データを制御盤１１４の全体制御部の入力部１１に渡し、入力部１１がその画像データを制御部１２に渡すことになる。

【0046】

制御部１２は、このようにして生成した又は受け取った画像データを、訓練用モニタ１１５に表示させる制御を行う。これにより、訓練用モニタ１１５には、カメラ画像２０のような訓練者Ｕの歩行状態が撮影された画像がリアルタイムで表示されることになる。

【0047】

なお、図３では、便宜上、図２の歩行訓練装置１００に対して撮影された画像のうち、例えば訓練スタッフＰＴ、管理用モニタ１１６、ワイヤ及びハーネスなど、一部の構成要素についての画像の図示を省略している。また、図３では、カメラ画像２０に通知情報２０ａ及びユーザ骨格情報３０を重畳させた画像を例示しているが、このような重畳がなされないこともできる。なお、通知情報２０ａ及び骨格画像３０については後述する。

【0048】

そして、制御部１２は、このようにして生成した又は受け取った画像データに基づき、ユーザである訓練者Ｕの骨格の位置を認識し、骨格の位置を示すユーザ骨格情報を得る。ユーザ骨格情報については後述する。制御部１２は、得られたユーザ骨格情報３０を生成し、訓練用モニタ１１５に表示させることができる。

【0049】

なお、ユーザ骨格情報３０を得る頻度と訓練用モニタ１１５に表示させるカメラ画像２０の更新頻度とは異なってもよい。例えば、カメラ画像２０を撮影レートでリアルタイムに訓練用モニタ１１５に表示させながら、ユーザ骨格情報を得る度にカメラ画像２０にユーザ骨格情報３０を重畳して訓練用モニタ１１５に表示させることができる。また、ユーザ骨格情報３０のカメラ画像２０への重畳を行わないこともできる。また、制御部１２は、管理用モニタ１１６にユーザ骨格情報３０を表示させるようにしてもよい。

【0050】

ここで、図４～図６を参照しながら、ユーザ骨格情報について説明する。まず、骨格情報について図４を参照しながら説明する。図４は、人の骨格情報の一例を示す模式図である。

【0051】

骨格情報は、歩行解析（歩行分析）に用いる情報であって、人物の骨格の位置を示す情報である。骨格情報は、例えば、図４において丸で示すような複数の関節点を含むことができるが、隣接する関節点間をそれぞれ結ぶ線も含むこと、あるいは関節点の代わりに上記線を含むこともできる。

【0052】

以下の例では、図４で例示する人物ＨＵの関節のうち、大きな丸で示す１０個の関節ＳＲ、ＳＣ、ＳＬ、ＨＲ、ＨＣ、ＨＬ、ＫＲ、ＫＬ、ＡＲ、ＡＬを歩行分析に用いる骨格として認識させる例を挙げて説明する。但し、訓練の対象となる部位に応じて、あるいはどの程度まで解析するかなどに応じて、図４に小さい丸で示す他の関節の一部又は全部や図４に示さない他の関節も分析対象とすることもできる。

【0053】

図４において、関節ＳＲは右肩関節、関節ＳＣは脊椎の肩部分、関節ＳＬは左肩関節、関節ＨＲは右股関節、関節ＨＣは脊椎の基礎部分、関節ＨＬは左股関節、関節ＫＲは右膝関節、関節ＫＬは左膝関節、関節ＡＲは右足関節、関節ＡＬは左足関節である。なお、これらの関節の名称は一例として挙げているに過ぎない。

【0054】

制御部１２は、歩行分析の対象となる画像データを解析することで、骨格の位置として関節の位置を検出（認識）することができる。画像データからの骨格の位置の認識方法は問わず、また、時間的に連続する複数の画像データから骨格の位置を認識することもできる。より簡単な認識方法としては、人物又は人物が装着する装具における骨格の位置に識別用のマーカを付与しておき、そのマーカを検出するといった方法が採用できるが、マーカの付与を行わずとも骨格の位置の認識は可能である。骨格情報は、例えば、ディープラーニング等の機械学習を行った学習モデルに画像データを入力し、その出力結果として認識されることもできる。

【0055】

次に、図５及び図６を参照しながら、ユーザ骨格情報について説明する。図５は、歩行訓練装置１００で撮影された画像の一例及びその画像で認識された骨格情報の一例を示す模式図である。また、図６は、図５の骨格情報から抽出したユーザ骨格情報（対象者の骨格情報）を示す図である。

【0056】

例えば、歩行訓練装置１００において、訓練スタッフＰＴが訓練者Ｕの背後で補助を行っている場合、制御部１２は、訓練者Ｕ及び訓練スタッフＰＴを含む画像５０で示す画像データに対して画像解析を施す。制御部１２は、この画像解析により、骨格の位置を検出し、図５において訓練者Ｕの骨格情報であるユーザ骨格情報３０として図示する骨格群の位置と、図５において訓練スタッフＰＴの骨格情報４０として図示する骨格群の位置とを認識する。各骨格の位置は、画像データ上の座標として認識されることができる。

【0057】

但し、図５では、便宜上、画像データの範囲外の左足及び左足関節３０ＡＬも描いているが、この例における画像解析の対象の画像データには訓練者Ｕの左足の画像を示すデータは含まれておらず、よって、制御部１２は訓練者Ｕの左足関節ＡＬの位置の認識ができていない状況にある。また、図５の画像５０では、便宜上、歩行訓練装置１００の各構成要素について省略している。

【0058】

このような骨格群の位置の認識におけるユーザ骨格情報３０と骨格情報４０との区別の手法は問わないが、例えば、次のようにして区別を行うことができる。即ち、制御部１２は、検出された骨格群のうち、隣り合う骨格同士のうち同一人物の骨格であることが、図４のような予め定められた骨格情報に従って判別できる骨格同士を結ぶなどして、検出された骨格群を人物毎に区別することができる。そして、制御部１２は、この区別の結果、前方にある骨格群でなる骨格情報を、訓練者Ｕの骨格群であるユーザ骨格情報３０であると特定する。例えば、骨格のうち右肩と左肩との間の距離が最も大きい骨格を特定することで、前方にある骨格群でなる骨格情報を決定することができる。

【0059】

あるいは、制御部１２は、骨格同士を結ぶなどして得られた骨格情報のうち、多くの骨格が揃っている方を、訓練者Ｕの骨格であるとして、他の骨格（訓練スタッフＰＴの骨格）を除外することで、ユーザ骨格情報３０を生成することができる。なお、画像データが深度データを含む場合には、制御部１２は深度が浅い方の骨格情報をユーザ骨格情報３０として特定することができる。

【0060】

但し、これらの例に限らず、制御部１２は、歩行分析の対象となる画像データに基づき、訓練者Ｕの骨格の位置とその訓練者Ｕ以外の人物の骨格の位置とを区別して認識することができれば、訓練者Ｕの骨格群が抽出すること、つまり訓練スタッフＰＴ等の他の人物の骨格群から区別して抽出することができる。

【0061】

このようにして、制御部１２は、訓練者Ｕの骨格情報、つまりユーザ骨格情報３０を特定することができる。結果として特定されたユーザ骨格情報３０は、図６のユーザ骨格情報６０として示すように、９個の関節３０ＳＲ、３０ＳＣ、３０ＳＬ、３０ＨＲ、３０ＨＣ、３０ＨＬ、３０ＫＲ、３０ＫＬ、３０ＡＲについての位置を含むことになる。上述したように、各関節の位置は、画像データ上の座標として認識されることができる。

【0062】

上述したように、この例では、認識できていない左足関節ＡＬの位置はユーザ骨格情報６０に含まれないこととなる。しかしながら、左足関節ＡＬの位置も歩行分析に必要である場合が多い。左足関節３０ＡＬの位置が歩行分析に必要である場合、制御部１２はこの左足関節３０ＡＬの位置を推定する。本実施の形態では、認識できなかった骨格を推定する骨格推定処理を行う。

【0063】

図７～図１０を参照しながら、図２の歩行訓練装置における骨格推定処理の具体例について説明する。図７は、歩行訓練装置１００における骨格推定処理の一例を説明するためのフロー図である。また、図８～図１０は、図７の骨格推定処理により、それぞれ異なる場面で認識された骨格情報の例を示す図である。

【0064】

まず、制御部１２は、歩行分析の対象となる画像データから骨格を検出し（ステップＳ１）、検出した骨格から対象者である訓練者Ｕの骨格を特定する（ステップＳ２）。ステップＳ１，Ｓ２の処理例については上述した通りであり、これによりユーザ骨格情報６０で例示したようなユーザ骨格情報が特定される。

【0065】

次いで、制御部１２は、歩行分析に必要な骨格が全て認識済みであるか否かを判定する（ステップＳ３）。ステップＳ３では、歩行分析に必要な骨格を示す情報を予め記憶させておき、その情報と検出した骨格の情報とを比較することで、全て認識済みか否かを判定することができる。

【0066】

ステップＳ３でＹＥＳとなる場合とは、例えば図８に示すユーザ骨格情報８０のように、全ての関節の情報が含まれている場合となる。一方で、図６のユーザ骨格情報６０の例では、左足関節３０ＡＬが歩行分析に必要であり且つ認識できていない骨格であるため、ステップＳ３でＮＯと判定されることになる。この例のように、カメラ１１７に正対して歩行訓練を訓練者Ｕが実施している状況下では、右足関節又は左足関節が画像の下方向にフレームアウトして認識できないことがある。

【0067】

ステップＳ３でＹＥＳの場合、制御部１２は、内部の記憶装置に、股関節から足関節の垂直方向座標（以下、Ｙ座標）の距離について、距離の直近一定時間内の最大値を算出して保持する（ステップＳ４）。ユーザ骨格情報８０の例では、Ｙ座標の距離として、左股関節３０ＨＬと左足関節３０ＡＬとの間の距離Ｈ１について、直近一定時間内の最大値が保持されることになる。左足についても同様に、左股関節３０ＨＬと左足関節３０ＡＬとの間の距離が保持されることができる。ステップＳ３で保持される最大値は、後述するステップＳ８における推定処理で参照されることになる。この最大値の意味については、ステップＳ８の説明とともに後述する。

【0068】

なお、上記の一定時間は、例えば５秒、１０秒などの固定値として設定されることができるが、例えば歩行サイクルの所定倍の時間などとして設定されることもできる。後者の場合、歩行分析により１歩行サイクルを示す時間を検出できればよい。図７の処理例では、ステップＳ３において歩行分析に必要な情報が揃っているため、１歩行サイクルを示す時間の検出は可能である。なお、図７の処理例とは異なり、もし、認識できない骨格が１歩行サイクルに含まれてしまう場合でも、認識できる骨格のみからの歩行分析、例えば関節３０ＨＲ、３０ＨＣ、３０ＨＬの旋回状態からの歩行分析を仮の分析として実施することで、１歩行サイクルを示す時間を検出することは可能である。

【0069】

なお、ステップＳ３では、歩行分析に必要な全ての骨格が認識できるかを判定したが、代わりに、制御部１２は足関節の位置及び股関節の位置の双方が認識できているか否かを判定するだけでもよく、その場合、ステップＳ４では双方が認識できている場合に上記の最大値を保持してもよい。

【0070】

また、図７では図示しないが、制御部１２は、ステップＳ３でＹＥＳとなったユーザ骨格情報８０を時間情報に関連付けて格納しておき、その時系列のユーザ骨格情報８０に基づき、歩行分析を実行することができる。歩行分析の手法は問わない。また、歩行分析の結果は、訓練用モニタ１１５や管理用モニタ１１６に表示させることもできる。

【0071】

ステップＳ４に続き、制御部１２は、右足関節３０ＡＲ及び左足関節３０ＡＬの少なくとも一方の現在の位置が、警告ライン以下であるか否か、つまり警告ラインより下に位置するか否かを判定する（ステップＳ５）。このように、ステップＳ４に続くステップＳ５での判定の対象は、右足関節３０ＡＲ及び左足関節３０ＡＬについての現在の位置となる。警告ラインは、ユーザ骨格情報８０の底辺から所定の距離（Ｙ座標の距離）で示されることができる。所定の距離は最外郭（この例では底辺）付近か否かを判定するための閾値であって、予め定めておくことができる。

【0072】

なお、ユーザ骨格情報８０の底辺はカメラ１１７の画角の下辺に対応する。また、上記の所定の距離は、固定値として設定されることもできるが、画像データが示す画像の高さの所定割合（例えば３％）などとして設定されることもできる。また、この所定割合は訓練者Ｕの身長に応じて変えてもよく、その場合の訓練者Ｕの身長は予め入力しておくか、あるいは計測すればよい。

【0073】

制御部１２は、ステップＳ５でＮＯであった場合、処理を終了する。なお、後述する処理も含め、図７に示す処理例は、画像データから骨格を検出するタイミングで逐次実施されることができる。

【0074】

一方、ユーザ骨格情報８０の底辺から所定の距離以内に右足関節３０ＡＲ又は左足関節３０ＡＬの少なくとも一方が位置する場合、制御部１２は、警告ライン以下（ステップＳ５でＹＥＳ）であると判定し、カメラ１１７から離れるように訓練者Ｕに警告を通知し（ステップＳ６）、処理を終了する。

【0075】

この例では、ステップＳ５のような判定処理を採用しているため、画角内に右足関節３０ＡＲ及び左足関節３０ＡＬのいずれも含まれていても、警告ライン以下であれば、画角外にはみ出す可能性があるとして警告を行うことになる。但し、例えば画角内に存在すれば警告を行わないような処理を採用することもでき、その場合、警告ラインを画角の下辺と一致させること、つまり上記の所定の距離をゼロとすることになる。

【0076】

ステップＳ６での警告は、例えば、図３で例示した通知情報２０ａをカメラ画像２０に重畳させることで行うことができる。重畳させる通知情報２０ａは重畳時に読み出し可能なように予め記憶しておけばよい。図３の通知情報２０ａでは、「もう少し後ろに下がってください。」といった文を通知しているが、例えば「前に出過ぎです。後ろに下がって歩いてください。」といった文など、通知の内容はこれに限ったものではない。

【0077】

重畳させる通知情報としては、歩行分析に必要な部位（この場合には足関節）がカメラ画像２０に含まれなかった場合、つまり足関節がカメラ１１７の画角から外れた状態である場合に、それを警告するような情報、あるいは歩行位置の調整を促すような情報が含まれていればよい。なお、通知情報は、上述した音声出力部から音声として出力させること、あるいは画像及び音声の双方で出力させることもできる。

【0078】

一方、ステップＳ３でＮＯの場合、制御部１２は、左右双方について、足関節だけが認識できず且つ股関節を含む他の全ての関節が認識できているか否かを判定する（ステップＳ７）。制御部１２は、ステップＳ７でＮＯの場合、つまり左右双方でＹＥＳとならなかった場合には、処理を終了する。ここで、ステップＳ７でＮＯであった場合には、訓練者Ｕの骨格が推定に必要な分も認識できていないことを意味し、訓練者Ｕに後ろに下がってもらっても認識できるようになるとは限らないため、処理を終了し、後ろに下がるようには促さすような通知は行わないようにしている。なお、ステップＳ３，Ｓ７の判定は実質的に同時に実行することができる。

【0079】

ステップＳ７でＹＥＳの場合、制御部１２は、以前に認識された足関節と股関節との位置関係と現在認識できた股関節の位置を示す情報とに基づき、現在認識できなかった足関節の位置を推定し（ステップＳ８）、ステップＳ５へ進む。ステップＳ８は、ステップＳ７でＹＥＳとなった側の足関節について実行され、左足関節３０ＡＬ及び右足関節３０ＡＲの双方が認識できず且つ左股関節３０ＨＬ及び右股関節３０ＨＲの双方が認識できていた場合には、左足関節ＡＬの位置の推定と右足関節ＡＲの位置の推定との双方について実行されることになる。

【0080】

ステップＳ８での推定処理について説明する。歩行中には画像データ上において、左右いずれについても、股関節と足関節との間の距離が周期的に変動する。そのため、ステップＳ８における左足関節３０ＡＬ、右足関節３０ＡＲの位置を推定する推定処理では、それぞれ、左股関節３０ＨＬと左足関節３０ＡＬとの間の距離（Ｙ座標距離）の一定時間の最大値、右股関節３０ＨＲと右足関節３０ＡＲとの間の距離（Ｙ座標距離）の一定時間の最大値を用いて推定を行う。この推定処理に利用するために、ステップＳ４では左足関節ＡＬ、右足関節ＡＲの推定にそれぞれ必要な骨格である左股関節３０ＨＬ及び左足関節ＡＬ、右股関節３０ＨＲ及び右足関節ＡＲが認識できた場合に得られた上記の最大値を保持している。

【0081】

ステップＳ８の推定処理では、制御部１２は、ユーザ骨格情報が示す左股関節３０ＨＬの位置（つまり現在位置）から、ステップＳ４で保持された最大値だけ鉛直方向下に延ばしたＹ座標位置を、左足関節３０ＡＬのＹ座標位置であると推定する。同様に、制御部１２は、ユーザ骨格情報が示す右股関節３０ＨＲの位置（つまり現在位置）から、ステップＳ４で保持された最大値だけ鉛直方向下に延ばした位置を、右足関節３０ＡＲのＹ座標位置であると推定する。この推定処理の例については、図９及び図１０を参照して後述する。

【0082】

また、上述したように、ステップＳ４では、左右を区別し、最大値を求めて保持しておくことができる。但し、股関節と足関節との間の距離は左右で同じ値を用いることができ、その場合、一定時間における左股関節３０ＨＬと左足関節３０ＡＬとの間の距離と右股関節３０ＨＲと右足関節３０ＡＲとの間の距離とについて、最大値を保持しておくようにすればよい。また、ステップＳ４では最大値の代わりに、中央値、最頻値、平均値など、他の統計値を算出して保持しておくこともでき、その場合にはステップＳ８における推定においてその統計値を用いる。なお、最頻値が複数あった場合には、例えば最も大きい最頻値を保持して推定時に用いるとよい。また、最頻値の代わりに最頻範囲の中心値を保持して推定時に用いてもよい。ここで最頻範囲は、距離の値を所定範囲毎に区切った範囲のいずれかのうち、最も出現頻度が高い範囲を指す。

【0083】

ステップＳ８に続き、制御部１２は、ステップＳ５の判定を行う。即ち、制御部１２は、右足関節３０ＡＲ及び左足関節３０ＡＬの少なくとも一方について推定された位置が警告ライン以下であるか否か、つまり警告ラインより下に位置するか否かを判定する。このように、ステップＳ８に続くステップＳ５での判定の対象は、右足関節３０ＡＲ及び左足関節３０ＡＬについての、ステップＳ８で推定された位置となる。

【0084】

ステップＳ５でＹＥＳであった場合には、上述したように、制御部１２は、通知情報２０ａを訓練用モニタ１１５に表示させる。この場合の通知情報も、上述した音声出力部から音声として出力させること、あるいは画像及び音声の双方で出力させることもできる。このように、制御部１２は、足関節の位置が認識できず且つ足関節について推定された位置が所定領域外（上述の例では警告ライン以下）であった場合に、ユーザに位置の調整を促す通知を通知部に実行させることができる。

【0085】

例えば、右足の後ろに左足関節が隠れた場合など、訓練者Ｕがカメラ１１７に近づきすぎたことが理由で足関節が隠れたのではない場合もあるが、本実施の形態では、その場合には警告通知を行わずに済む。

【0086】

次に、足関節の推定が必要な場面の例を挙げて、ステップＳ８の推定処理について具体的に説明する。図９では、ステップＳ４にて左足側の距離Ｈ２が保持されていた場合において、ユーザ骨格情報９１が得られた場合の例を挙げる。距離Ｈ２は、例えば図８のユーザ骨格情報８０で得られた距離Ｈ１における一定期間の最大値を指す。

【0087】

ユーザ骨格情報９１で示される骨格の認識状態では、左足関節３０ＡＬが認識できておらず、ステップＳ７でＹＥＳとなるため、制御部１２は、ステップＳ８の推定処理を左足関節３０ＡＬに対して実行することになる。この場合の推定処理では、ユーザ骨格情報９１が示す左股関節３０ＨＬの位置（つまり現在位置）から、ステップＳ４で保持された距離Ｈ２だけ鉛直方向下に延ばしたＹ座標位置を、左足関節３０ＡＬのＹ座標位置であると推定することができる。図９では推定した左足関節３０ＡＬの位置を黒い丸で図示している。このようにして左足関節３０ＡＬの左股関節３０ＨＬに対する上下位置を推定することができる。左足関節３０ＡＬの水平方向位置（Ｘ座標位置とする）は、図９で例示したように左膝関節３０ＫＬのＸ座標位置と同じであると推定してもよいし、左股関節３０ＨＬのＸ座標位置と同じであると推定してもよいし、左膝関節３０ＫＬ及び左股関節３０ＨＬの双方のＸ座標位置から所定の関数で得られるＸ座標位置であると推定してもよい。

【0088】

図９の例では、制御部１２は、推定した左足関節３０ＡＬの位置が所定の距離（閾値）ＴＨで示される警告ラインより下側に位置するか否かをステップＳ５で判定し、その結果として下側に位置すると判定されるため、ステップＳ６での警告通知を実行することになる。

【0089】

図９では、推定した左足関節３０ＡＬのＹ座標位置が底辺より下（画角外）である例を挙げたが、推定した左足関節３０ＡＬのＹ座標位置が警告ライン外であれば、画角外でなくても画角外になる可能性があるとして、警告通知を行うことになる。

【0090】

図１０では、ステップＳ４にて左足側の距離Ｈ３が保持されていた場合において、ユーザ骨格情報９２が得られた場合の例を挙げる。距離Ｈ３は、距離Ｈ２と同様に、例えば図８のユーザ骨格情報８０で得られた距離Ｈ１における一定期間の最大値を指す。

【0091】

ユーザ骨格情報９２で示される骨格の認識状態では、左足関節３０ＡＬが認識できておらず、ステップＳ７でＹＥＳとなるため、制御部１２は、ステップＳ８の推定処理を左足関節３０ＡＬに対して実行することになる。図１０の場面は、例えば左足関節３０ＡＬが右足の後ろに隠れてしまっている場面などで生じ得る。

【0092】

この場合の推定処理では、ユーザ骨格情報９２が示す左股関節３０ＨＬの位置（つまり現在位置）から、ステップＳ４で保持された距離Ｈ３だけ鉛直方向下に延ばしたＹ座標位置を、左足関節３０ＡＬのＹ座標位置であると推定することができる。図１０では推定した左足関節３０ＡＬの位置を黒い丸で図示している。このようにして左足関節３０ＡＬの左股関節３０ＨＬに対する上下位置を推定することができる。図１０の例でも、左足関節３０ＡＬのＸ座標位置は図９で説明した例と同様に推定することができる。なお、上述した左足関節３０ＡＬが右足の後ろに隠れてしまっている場面については、推定した位置が実際と異なることになるが、少なくとも訓練者Ｕへの警告通知の要否のための推定としては有益である。

【0093】

図１０の例では、制御部１２は、推定した左足関節３０ＡＬの位置が所定の距離（閾値）ＴＨで示される警告ラインより下側に位置するか否かをステップＳ５で判定し、その結果として下側に位置しない（上側に位置する）と判定されるため、ステップＳ６での警告通知を実行することなく、処理を終了することになる。

【0094】

以上において、図７の処理例について、ステップＳ６の制御を含むことを前提として説明したが、これに限ったものではない。例えば、制御部１２は、足関節の位置が認識できず且つ足関節について推定された位置が警告ライン以下であった場合（所定領域外であった場合）に、画像データの取得元に画角を調整する指示を送信するようにしてもよい。具体的には、ステップＳ６の制御の代わりに、制御部１２は、カメラ１１７のレンズを調整する（ズームアウトする）制御を行い、より広角に画像を撮影できるようにしてもよい。そして、このような制御を行ったうえで、最大限広角に撮影できる状態でもステップＳ５でＹＥＳとなった場合に限り、ステップＳ６で通知を行うようにしてもよい。

【0095】

また、本実施の形態では、図２～図１０で説明した例のように足関節と股関節（足関節のＸ座標位置も推定する場合であって膝関節も用いる場合には、股関節及び膝関節）との組み合わせについて足関節の位置の推定が実施されることに限ったものではなく、この組み合わせ以外の、第１所定部位と第２所定部位との組み合わせについて、第１所定部位の位置の推定が実施されることもできる。ここで、図２～図１０で説明した例では、第１所定部位、第２所定部位がそれぞれ足関節、足股関節に相当する。

【0096】

つまり、上述したように、制御部１２は、ユーザ骨格情報によって位置が示される骨格の部位のうち第１所定部位の位置が認識できず且つ第２所定部位の位置が認識できた場合、現在認識できた第２所定部位の位置を示す情報と、以前に認識された第１所定部位と第２所定部位との位置関係を示す情報（位置関係情報）とに基づき、現在認識できなかった第１所定部位の位置を推定する。第２の所定部位は２つ以上の部位とすることもできる。また、図２～図１０で説明した例では、第１所定部位の一例として足関節を挙げ、第２所定部位の一例として股関節を挙げているが、第２所定部位は例えば膝関節とすることもでき、あるいは膝関節及び股関節とすることもできる。

【0097】

このように、第１所定部位、第２所定部位について一般化した例で使用される情報について、第１所定部位が足関節、第２所定部位が股関節である例を挙げながら説明する。制御部１２は、図７の処理において、ステップＳ７の判定処理で使用する２つの部位、ステップＳ８で使用する位置関係を示す情報（位置関係情報）、及びステップＳ５の判定処理で使用する閾値を参照して、処理を実行することができる。

【0098】

これらの情報は、制御部１２の内部又は外部の記憶装置に、図１１に示すようなテーブルとして格納しておき、処理時に読み出すことができる。図１１は、図７の骨格推定処理で用いられるテーブルの一例を示す図である。

【0099】

図１１に示すテーブルには、第１所定部位、第２所定部位、それらの位置関係情報、及び閾値が格納されている。第１所定部位、第２所定部位などは図２～図１０での例に合わせたものであり、これに限ったものではなく、また左右の足について例示したことからも分かるように、第１所定部位及び第２所定部位のセットについて複数のセットをテーブルに記述しておくこともできる。

【0100】

また、図１１では、底辺からの所定の距離（閾値）をＴＨとして示しているが、上述したように、この所定の距離は固定値に限らない。また、所定の距離の閾値を複数設けておくこともできる。その場合、例えば、第１の閾値Ｔｈ１より下側に認識又は推定した足関節が位置していた場合には０．２ｍ後ろに下がるように警告し、第２の閾値Ｔｈ２（＜Ｔｈ１）より下側に認識又は推定した足関節が位置していた場合には０．４ｍ下がるように警告することもできる。なお、重畳させる通知情報は予め記憶した中から適切な情報を選択するようにしておけばよい。

【0101】

また、図７の処理例において、足関節が認識できなかった場合に現在の股関節位置と上記最大値から足関節の上下位置を推定したように、位置関係情報は、第１所定部位と第２所定部位との間の垂直方向距離についての一定期間における統計値を示す情報として例示したが、これに限らない。つまり、図１１では、鉛直方向距離、つまりＹ座標距離を位置関係情報として用いた例を挙げているが、位置関係情報は、鉛直方向距離に限ったものではない。

【0102】

例えば、位置関係情報は、第１所定部位と第２所定部位との間の水平方向距離についての一定期間における統計値を示す情報としてもよい。あるいは、位置関係情報は、垂直方向距離と水平方向距離の双方の情報とすることもできる。この場合、双方の距離についても閾値を設けておくこともできる。これと同等の処理として、位置関係情報は、第１所定部位と第２所定部位との間を結ぶ直線の方向及び距離についての一定期間における統計値を示す情報とすることもできる。この場合、方向と距離の双方について閾値を設けておくこともできる。歩行訓練装置１００の構成によってはカメラ１１５が訓練者Ｕの上方に設置されている場合もあり、また第１所定部位が足関節以外の例も採り得るため、このような応用例は有益となる。

【0103】

以上、図１の骨格推定システム１０を備えた歩行訓練装置１００の構成例及び処理例や、その応用例について説明した。上述したように、歩行訓練装置１００では、取得したい第１所定部位を認識できなかった場合、以前に取得した認識したい第１所定部位の位置と他の部位（第２所定部位）との位置関係情報と、今回認識した第２所定部位の位置とから、所望の第１所定部位の位置を推定する。そのため、歩行訓練装置１００では、人物行動の解析に必要な部位が他の部位によって隠された場合や対象者の体格差が大きい場合であっても、必要な部位の位置を推定することができる。

【0104】

この効果について補足する。実際、歩行訓練装置１００では、訓練者Ｕの骨格を検知し、歩容の分析等の歩行分析や訓練者Ｕへのフィードバックなどに用いるためには、訓練者Ｕが骨格を検知するのに必要なカメラ１１７の撮影範囲で訓練している必要があるが、訓練者Ｕが撮影範囲から外れて歩行する場面も生じ得る。このような場面としては、例えば、人物行動の解析に必要な部位が他の部位によって隠された場合や対象者の体格差が大きい場合などの場面が挙げられる。本実施の形態では、このような場面に対応して第１所定部位の推定を行うことができるため、このような場面であっても必要な第１所定部位の位置を推定することができる。また、比較例として、検出した骨格の重心位置が存在する範囲によって判定するロジックを採用した例では、対象者の体格差などを吸収できずに、検出できていない関節がフレームアウトしたのか、別の要因で検出できていないのか、判定が難しい。一方で、本実施形態では、このようなロジックと異なり必要な第１所定部位の位置を推定することができる。

【0105】

また、必要な骨格が複数個所ある場合、画角外に出た部位以外の部位の骨格も認識できていない状況で、画角外の部位が画角内に入ったとしても、分析に必要な部位が揃わず、分析ができない。つまり、このような状況で訓練者Ｕに歩行位置の調整を促す警告通知を発生させても分析はできるようにならない。したがって、必要な骨格が検出されないという事象だけで、あるいは上記ロジックで重心位置が所定の範囲に存在しないという事象だけで警告通知を行うと、身体が画角外に出たことが原因とは限らないため、結果として不必要な警告を発生させることになり、訓練者Ｕにとっては余計なストレスとなるか、あるいは必要な警告を発生させられないことになる。

【0106】

これに対し、本実施の形態では、対象部位である第１対象部位が画角外、もしくは画角の最外郭付近にある場合、対象部位を正確に取得できていない可能性もしくは今後取得できなくなる可能性が高いことを考慮し、対象部位である第１所定部位の認識結果又は推定位置が最外郭付近又は取得可能範囲外の場合である場合であり、且つ、次の条件を満たす場合にのみ、取得可能範囲内に戻すためにはどう動けばよいのかなどを示す警告通知を行う。上記条件は、その部位以外の所望の部位の認識ができていて、対象部位が取得可能範囲内に入ることで分析が可能になるといった条件である。このように、本実施の形態では、警告通知により歩行分析が正常に機能するようになる場合にのみ警告通知を行うため、無駄な警告通知による訓練者Ｕのストレスを軽減することができる。

【0107】

＜代替例等＞
上述した実施の形態における訓練スタッフＰＴが一人の人であることを前提として説明したが、複数の訓練スタッフであってもよく、また訓練スタッフがいないケースにも適用できる。また、訓練スタッフＰＴの代わりに、又は訓練スタッフＰＴに加えて、人以外の訓練アシスタント（機械的な、つまり人工の訓練アシスタント）を利用することもできる。人工の訓練アシスタントとしては、人型のロボットをはじめ、音声通知を行うための音声アシスタントプログラムや表示による通知を行うための表示アシスタントプログラムなど、様々なものが挙げられる。

【0108】

訓練アシスタントがプログラムである場合、歩行訓練装置１００に実行可能に組み込んでおくことができるが、歩行訓練装置１００と通信可能な携帯電話機（スマートフォンと称されるものも含む）、モバイルＰＣ等の可搬型の端末や外部サーバなどに実行可能に組み込んでおくこともできる。また、人工の訓練アシスタントは、人工知能をもったプログラム（ＡＩプログラム）を備えることもできる。

【0109】

また、上述した実施の形態においては、訓練者Ｕは、脚の一方を患う片麻痺患者であることを前提として説明したが、両脚に麻痺を患う患者に対しても歩行訓練装置１００を適用し得る。その場合は、両脚に歩行補助装置１０９を装着して訓練を実施する。

【0110】

また、上記実施の形態において説明した歩行訓練装置１００の構成や形状は問わず、骨格推定システム１０が搭載又は接続されていればよい。また、実施の形態において説明した骨格推定システムは、機能を分散させて複数の装置で構成することもできる。同様に、歩行訓練装置は歩行訓練システムとして複数の装置で構成することができ、また、訓練支援装置は訓練支援システムとして複数の装置で構成することができる。いずれのシステムについても、システムが複数の装置で構成される場合、装置間は有線又は無線で接続しておけばよい。

【0111】

上述した実施の形態において、カメラ１１７を備える歩行訓練装置１００に骨格推定システム１０を組み込んだ構成例を挙げたように、本開示は、骨格推定システム、画像取得部、トレッドミルの本体を備えた歩行訓練システムとしての形態も採り得る。この歩行訓練システムは、移動訓練システム、移動補助システムなどと称することもできる。この歩行訓練システムにおいて、制御部１２で例示した制御部は、いずれの部位に配置されていてもよく、例えばトレッドミル本体に配置されていてもよい。

【0112】

また、上述した歩行訓練装置、訓練支援装置、あるいは、骨格推定システムや歩行訓練システムを構成する１又は複数の装置はいずれも、例えば、プロセッサ、メモリ、及び通信インターフェース等を備えるようなハードウェア構成とすることができる。これらの装置は、プロセッサがメモリに記憶されたプログラムを読み込んで実行することにより実現される。

【0113】

このようなプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【符号の説明】

【0114】

１０ 骨格推定システム
１１ 入力部
１２ 制御部
２０ カメラ画像
２０ａ 通知情報
３０、６０、８０、９１、９２ ユーザ骨格情報
４０ 訓練スタッフの骨格情報
５０ 画像
１００ 歩行訓練装置
１０１ 下側フレーム
１０２ 上側フレーム
１０３ 前方フレーム
１０４ 後方フレーム
１０５ 手摺り
１０６ 取付具
１０７ ベルト
１０８ ベルト駆動部
１０９ 歩行補助装置
１１０ｂ 後側ワイヤ
１１０ｆ 前側ワイヤ
１１０ｗ ハーネスワイヤ
１１１ｂ 後側引張部
１１１ｆ 前側引張部
１１１ｗ ハーネス引張部
１１２ 装具
１１４ 制御盤
１１５ 訓練用モニタ
１１６ 管理用モニタ
１１７ カメラ
Ｕ 訓練者
ＰＴ 訓練スタッフ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】