IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ジェイテクトの特許一覧

<>
  • 特開-評価システム、および、プログラム 図1
  • 特開-評価システム、および、プログラム 図2
  • 特開-評価システム、および、プログラム 図3
  • 特開-評価システム、および、プログラム 図4
  • 特開-評価システム、および、プログラム 図5
  • 特開-評価システム、および、プログラム 図6
  • 特開-評価システム、および、プログラム 図7
  • 特開-評価システム、および、プログラム 図8
  • 特開-評価システム、および、プログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024044529
(43)【公開日】2024-04-02
(54)【発明の名称】評価システム、および、プログラム
(51)【国際特許分類】
   A61B 5/11 20060101AFI20240326BHJP
【FI】
A61B5/11 200
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022150104
(22)【出願日】2022-09-21
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】安井 裕策
(72)【発明者】
【氏名】磯貝 恭輔
(72)【発明者】
【氏名】芝田 貴雅
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA12
4C038VB35
4C038VC05
(57)【要約】
【課題】歩行動作を評価する。
【解決手段】評価システムは、人の歩行動作を評価する評価システムであって、歩行動作を行っている人の全身を、少なくとも1歩行周期にわたって連続して撮影した複数の画像データを受け付ける入力受付部と、複数の画像データそれぞれを、1歩行周期に含まれる複数の歩行相ごとに分ける歩行相判定部と、複数の画像データから、人の関節に関する特徴量を抽出する関節特徴量抽出部と、人の身体のあらかじめ決められた複数の対象部位であって、少なくとも体幹を含む複数の対象部位それぞれの歩行相ごとの動きを、特徴量を用いて評価して得られる、対象部位それぞれの歩行相ごとの部位評価結果を出力する部位評価部と、対象部位それぞれの歩行相ごとの部位評価結果を用いて、少なくとも1歩行周期における歩行動作を評価した総合評価結果を出力する総合評価部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
人の歩行動作を評価する評価システムであって、
歩行動作を行っている人の全身を、少なくとも1歩行周期にわたって連続して撮影した複数の画像データを受け付ける入力受付部と、
前記複数の画像データそれぞれを、1歩行周期に含まれる複数の歩行相ごとに分ける歩行相判定部と、
前記複数の画像データから、前記人の関節に関する特徴量を抽出する関節特徴量抽出部と、
前記人の身体のあらかじめ決められた複数の対象部位であって、少なくとも体幹を含む複数の対象部位それぞれの前記歩行相ごとの動きを、前記特徴量を用いて評価して得られる、前記対象部位それぞれの前記歩行相ごとの部位評価結果を出力する部位評価部と、
前記対象部位それぞれの前記歩行相ごとの前記部位評価結果を用いて、少なくとも1歩行周期における前記歩行動作を評価した総合評価結果を出力する総合評価部と、
を備える評価システム。
【請求項2】
請求項1に記載の評価システムであって、
前記部位評価結果は、前記対象部位にそれぞれ設定されている少なくとも1つの評価項目ごとに、前記対象部位それぞれの前記歩行相ごとの前記動きを評価した結果を含む、
評価システム。
【請求項3】
請求項2に記載の評価システムであって、
前記部位評価部は、前記人の属性であって少なくとも年齢を含む属性に対応する前記評価項目を用いて、前記対象部位それぞれの前記歩行相ごとの前記動きを評価する、
評価システム。
【請求項4】
請求項1に記載の評価システムであって、
複数の前記対象部位は、股関節、膝関節を含み、
前記総合評価結果は、前記体幹、前記股関節、前記膝関節それぞれの前記歩行相ごとの前記部位評価結果を用いて得られる、前記人の歩行の安定性を評価した結果を含む、
評価システム。
【請求項5】
請求項1に記載の評価システムであって、
複数の前記対象部位は、股関節、膝関節を含み、
前記総合評価結果は、前記体幹、前記股関節、前記膝関節それぞれの前記歩行相ごとの前記部位評価結果を用いて得られる、前記人の歩行の安全性を評価した結果を含む、
評価システム。
【請求項6】
請求項1に記載の評価システムであって、
複数の前記対象部位は、股関節、膝関節を含み、
前記総合評価結果は、前記体幹、前記股関節、前記膝関節それぞれの前記歩行相ごとの前記部位評価結果を用いて得られる、前記人の歩行の耐久性を評価した結果を含む、
評価システム。
【請求項7】
請求項1に記載の評価システムであって、
複数の前記対象部位は、股関節、膝関節を含み、
前記総合評価結果は、前記体幹、前記股関節、前記膝関節それぞれの前記歩行相ごとの前記部位評価結果を用いて得られる、前記人の歩行の速度を評価した結果を含む、
評価システム。
【請求項8】
人の歩行動作を評価するプログラムであって、
コンピュータに、
歩行動作を行っている人の全身を、少なくとも1歩行周期にわたって連続して撮影した複数の画像データを受け付ける機能と、
前記複数の画像データそれぞれを、1歩行周期に含まれる複数の歩行相ごとに分ける機能と、
前記複数の画像データから、前記人の関節に関する特徴量を抽出する機能と、
前記人の身体のあらかじめ決められた複数の対象部位であって、少なくとも体幹を含む複数の対象部位それぞれの前記歩行相ごとの動きを、前記特徴量を用いて評価して得られる、前記対象部位それぞれの前記歩行相ごとの部位評価結果を出力する機能と、
前記対象部位それぞれの前記歩行相ごとの前記部位評価結果を用いて、少なくとも1歩行周期における前記歩行動作を評価した総合評価結果を出力する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、評価システム、および、プログラムに関する。
【背景技術】
【0002】
人の歩行動作を評価する技術が知られている。評価された結果は、例えば、歩行訓練における指導のため利用される。特許文献1には、人の腰部に取り付けられた加速度センサの出力値を用いて歩行動作を評価する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014-217691号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された技術においては、腰部の動きを用いて歩行動作を評価している。しかしながら、歩行動作においては、下半身のみならず上半身も使用される。よって、下半身だけではなく、上半身の動きについても評価することが望ましい。
【課題を解決するための手段】
【0005】
本開示は、以下の形態として実現することが可能である。
【0006】
(1)本開示の一の形態によれば評価システムが提供される。この評価システムは、人の歩行動作を評価する評価システムであって、歩行動作を行っている人の全身を、少なくとも1歩行周期にわたって連続して撮影した複数の画像データを受け付ける入力受付部と、前記複数の画像データそれぞれを、1歩行周期に含まれる複数の歩行相ごとに分ける歩行相判定部と、前記複数の画像データから、前記人の関節に関する特徴量を抽出する関節特徴量抽出部と、前記人の身体のあらかじめ決められた複数の対象部位であって、少なくとも体幹を含む複数の対象部位それぞれの前記歩行相ごとの動きを、前記特徴量を用いて評価して得られる、前記対象部位それぞれの前記歩行相ごとの部位評価結果を出力する部位評価部と、前記対象部位それぞれの前記歩行相ごとの前記部位評価結果を用いて、少なくとも1歩行周期における前記歩行動作を評価した総合評価結果を出力する総合評価部と、を備える。
上記の形態によれば、体幹を含む部位の動きを評価するので、下半身の動きだけではなく、上半身の動きを用いて歩行動作を評価できる。
(2)上記形態の評価システムにおいて、前記部位評価結果は、前記対象部位にそれぞれ設定されている少なくとも1つの評価項目ごとに、前記対象部位それぞれの前記歩行相ごとの前記動きを評価した結果を含んでもよい。
上記の形態によれば、対象部位にそれぞれ評価項目が設定されているので、それぞれの対象部位について、歩行相ごとの動作を詳細に評価できる。
(3)上記形態の評価システムにおいて、前記部位評価部は、前記人の属性であって少なくとも年齢を含む属性に対応する前記評価項目を用いて、前記対象部位それぞれの前記歩行相ごとの前記動きを評価してもよい。
上記の形態によれば、少なくとも年齢を含む人の属性に対応する評価項目が用いられるので、例えば、歩行訓練において、被訓練者の属性に応じて適切に対象部位の動きを評価できる。
(4)上記形態の評価システムにおいて、複数の前記対象部位は、股関節、膝関節を含み、前記総合評価結果は、前記体幹、前記股関節、前記膝関節それぞれの前記歩行相ごとの前記部位評価結果を用いて得られる、前記人の歩行の安定性を評価した結果を含んでもよい。
上記の形態によれば、人の歩行の安定性を評価できるので、例えば、歩行訓練において、理学療法士の経験にかかわらず、安定して歩行動作を評価できる。よって、歩行訓練における指導内容にばらつきが生じることを抑制できる。
(5)上記形態の評価システムにおいて、複数の前記対象部位は、股関節、膝関節を含み、前記総合評価結果は、前記体幹、前記股関節、前記膝関節それぞれの前記歩行相ごとの前記部位評価結果を用いて得られる、前記人の歩行の安全性を評価した結果を含んでもよい。
上記の形態によれば、人の歩行の安全性を評価できるので、例えば、歩行訓練において、理学療法士の経験にかかわらず、安定して歩行動作を評価できる。よって、歩行訓練における指導内容にばらつきが生じることを抑制できる。
(6)上記形態の評価システムにおいて、複数の前記対象部位は、股関節、膝関節を含み、前記総合評価結果は、前記体幹、前記股関節、前記膝関節それぞれの前記歩行相ごとの前記部位評価結果を用いて得られる、前記人の歩行の耐久性を評価した結果を含んでもよい。
上記の形態によれば、人の歩行の耐久性を評価できるので、例えば、歩行訓練において、理学療法士の経験にかかわらず、安定して歩行動作を評価できる。よって、歩行訓練における指導内容にばらつきが生じることを抑制できる。
(7)上記形態の評価システムにおいて、複数の前記対象部位は、股関節、膝関節を含み、前記総合評価結果は、前記体幹、前記股関節、前記膝関節それぞれの前記歩行相ごとの前記部位評価結果を用いて得られる、前記人の歩行の速度を評価した結果を含んでもよい。
上記の形態によれば、人の歩行の速度を評価できるので、例えば、歩行訓練において、理学療法士の経験にかかわらず、安定して歩行動作を評価できる。よって、歩行訓練における指導内容にばらつきが生じることを抑制できる。
(8)本開示の他の形態によればプログラムが提供される。このプログラムは、人の歩行動作を評価するプログラムであって、コンピュータに、歩行動作を行っている人の全身を、少なくとも1歩行周期にわたって連続して撮影した複数の画像データを受け付ける機能と、前記複数の画像データそれぞれを、1歩行周期に含まれる複数の歩行相ごとに分ける機能と、前記複数の画像データから、前記人の関節に関する特徴量を抽出する機能と、前記人の身体のあらかじめ決められた複数の対象部位であって、少なくとも体幹を含む複数の対象部位それぞれの前記歩行相ごとの動きを、前記特徴量を用いて評価して得られる、前記対象部位それぞれの前記歩行相ごとの部位評価結果を出力する機能と、前記対象部位それぞれの前記歩行相ごとの前記部位評価結果を用いて、少なくとも1歩行周期における前記歩行動作を評価した総合評価結果を出力する機能と、を実現させる。
上記の形態によれば、体幹を含む部位の動きを評価することにより、下半身の動きだけではなく、上半身の動きを用いて歩行動作を評価できる。
【図面の簡単な説明】
【0007】
図1】実施形態にかかる評価システムの概略構成を示す図である。
図2】歩行周期および歩行相を説明するための図である。
図3】キーポイントについての説明図である。
図4】評価処理のフローチャートである。
図5】体幹および骨盤について設定されている評価項目を示す図である。
図6】股関節および膝関節について設定されている評価項目を示す図である。
図7】足関節および足指について設定されている評価項目を示す図である。
図8】撮影装置に送信される評価結果の画面の一例である。
図9】撮影装置に送信される評価結果の画面の他の例である。
【発明を実施するための形態】
【0008】
A.実施形態
図1は、評価システム10の概略構成を示す図である。評価システム10は、人の歩行動作を評価する。
【0009】
評価システム10は、評価装置100と、撮影装置200とを備える。評価装置100は、人の歩行動作を撮影した画像データを用いて人の歩行動作を評価する。実施形態においては、評価装置100の機能は、クラウドサーバにより実現される。撮影装置200は、リハビリテーションの施設で使用され、タブレット端末、スマートフォン等の、カメラ、タッチパネルディスプレイを備える携帯端末により実現される。評価装置100と撮影装置200とは、ネットワークを介して通信できる。
【0010】
評価装置100は、プロセッサ101と、メモリ102と、通信インターフェイス103と、入出力インターフェイス104とを備える。メモリ102と、通信インターフェイス103と、入出力インターフェイス104とは、バス109を介してプロセッサ101に接続されている。プロセッサ101は、メモリ102に格納された各種プログラムを実行することにより、各種の機能を実現する。メモリ102は、揮発性メモリと不揮発性メモリとを含む。通信インターフェイス103は、プロセッサ101の制御に従って有線通信または無線通信による他の装置と通信の通信を可能とする。入出力インターフェイス104には、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の表示装置が接続されてもよい。また、入出力インターフェイス104には、キーボード、マウス等の入力装置が接続されてもよい。
【0011】
評価装置100は、機能的には、入力受付部110と、結果出力部120と、歩行周期判定部130と、歩行相判定部140と、関節特徴量抽出部150と、第1評価部160と、第2評価部170と、記憶部180とを備える。これら各部の機能は、プロセッサ101が、メモリ102に記憶されているプログラムを実行することにより実現される。
【0012】
入力受付部110は、撮影装置200から歩行画像データを受け付ける。歩行画像データは、撮影装置200が人P1の歩行動作を撮影した動画像のデータである。歩行画像データは、撮影開始時刻の情報と、フレームレートの情報とを含む。さらに、入力受付部110は、歩行画像データに含まれる複数のフレーム画像から複数の静止画像を生成する。生成された複数の静止画像のデータを入力画像データという。入力受付部110は、フレーム画像が撮影された時刻を、対応する静止画像の撮影時刻として、静止画像のデータに付加する。入力受付部110の機能は、プロセッサ101により実現される。
【0013】
図1に示す、結果出力部120は、評価装置100により評価された評価結果を撮影装置200に出力する。
【0014】
歩行周期判定部130は、歩行周期を判定し、歩行周期ごとに入力画像データである複数の静止画像のデータを分ける。歩行周期判定部130が実行する処理の詳細については後述する。歩行周期判定部130の機能は、プロセッサ101により実現される。
【0015】
歩行相判定部140は、歩行相を判定し、歩行相ごとに静止画像を分ける。歩行相判定部140が実行する処理の詳細については後述する。歩行相判定部140の機能は、プロセッサ101により実現される。
【0016】
図2は、歩行周期および歩行相を説明するための図である。片側の足が接地してから、同じ側の足が再び接地するまでの区分を歩行周期とよぶ。接地は、観察対象である片側の足部が床または地面に接地する瞬間の状態を指す。実施形態においては、接地とは、状態ではなく動作を指すものとする。図2においては、右側の足が接地してから、再び右側の足が接地するまでの1つの歩行周期を示している。
【0017】
歩行は周期的連続運動であるが、実施形態においては、連続した歩行運動を、歩行周期ごとに分ける。さらに、実施形態においては、1つの歩行周期を、ランチョ・ロス・アミーゴ(Rancho Los Amigos)方式で定義されている8つの歩行相に分ける。8つの歩行相はそれぞれ、歩行周期の開始から順に、初期接地(Initial Contact)、荷重応答期(Loading Response)、立脚中期(Mid Stance)、立脚終期(Terminal Stance)、前遊脚期(Pre-Swing)、遊脚初期(Initial Swing)、遊脚中期(Mid Swing)、遊脚終期(Terminal Swing)である。例えば、次のように、1歩行周期T1において各歩行相が占める割合を規定される。規定された割合に基づいて1歩行周期T1が8つの歩行相に分けられる。1歩行周期T1の期間は、片側の脚部の接地から、再度の接地までの期間である。
(1) 初期接地:0~5%
(2) 荷重応答期:5~15%
(3) 立脚中期:15~25%
(4) 立脚終期:25~52%
(5) 前遊脚期:52~60%
(6) 遊脚初期:60~78%
(7) 遊脚中期:78~88%
(8) 遊脚終期:88~100%
【0018】
図1に示す、関節特徴量抽出部150は、静止画像それぞれにおける人の関節に関する特徴量を検出する。実施形態において、人の関節に関する特徴量は、骨格検出に利用されるキーポイントである。
【0019】
図3は、キーポイントについての説明図である。キーポイントは、人体の関節の位置を含む人体の特徴点のことをいう。図3において、特徴点を黒丸で表している。関節特徴量抽出部150の機能は、プロセッサ101により実現される。
【0020】
図1に示す、第1評価部160は、あらかじめ決められた部位の歩行相ごとの動きを評価する。詳細については後述する。第1評価部160を部位評価部ともよぶ。
【0021】
第2評価部170は、あらかじめ決められた部位の歩行相ごとの動きが評価された結果を用いて、歩行動作を評価する。第2評価部170を総合評価部ともよぶ。
【0022】
記憶部180は、分析にかかる処理に必要な各種のプログラムおよびデータを記憶する。例えば、記憶部180には、後述する評価の処理に用いられるニューラルネットワークモデルが記憶されている。記憶部180の機能は、メモリ102により実現される。
【0023】
撮影装置200は、撮影した歩行画像データを評価装置100に供給する。撮影装置200には、あらかじめ歩行訓練用アプリケーションソフトウェアがインストールされている。
【0024】
例えば、歩行訓練の場面において、理学療法士は、撮影装置200において、歩行訓練用アプリケーションソフトウェアを起動し、撮影メニューを選択する。撮影メニューが選択されることにより、撮影装置200のカメラ機能が起動される。撮影装置200は、理学療法士の操作により撮影の開始指示を受けると、被訓練者である人P1の歩行動作の撮影を開始する。理学療法士は、携帯端末を持った状態で、人P1の側方から、人P1の全身が写るように、人P1が、例えば、3メートルほど歩く様子を撮影する。撮影装置200は、理学療法士の操作により撮影の停止指示を受けると、撮影を終了する。撮影された歩行画像データは動画像のデータである。理学療法士は、撮影を終えると、歩行訓練用アプリケーションソフトウェアのデータ一覧メニューを選択する。理学療法士は、データ一覧メニューにおいて、撮影された歩行画像データの一覧から、例えば、直前に撮影した歩行画像データを評価装置100に送信する操作を行う。この操作に応答して、歩行訓練用アプリケーションソフトウェアは、選択された歩行画像データを評価装置100に送信する。
【0025】
図4は、評価処理のフローチャートである。例えば、評価装置100の入力受付部110が、撮影装置200から歩行画像データを受信すると評価処理が開始される。評価装置100は、人の歩行動作を評価するプログラムを実行することにより、下記の処理を行う。
【0026】
ステップS10において、歩行周期判定部130は、歩行周期を判定する。具体的には、まず、歩行周期判定部130は、入力画像データからすべての接地画像データを選択する。接地画像データは、片側下肢が床に接地した瞬間が撮影されている静止画像のデータである。前述のように、入力画像データは、撮影装置200から供給された歩行画像データから生成された複数の静止画像のデータである。
【0027】
例えば、歩行周期判定部130は、ニューラルネットワークモデルN3を用いて、足が接地したことを示す静止画像のデータを、接地画像データとして選択する。ニューラルネットワークモデルN3は、静止画像のデータが入力されると、その静止画像が、接地画像データに該当する確率と、接地画像データに該当しない確率とを出力する。歩行周期判定部130は、接地画像データに該当する確率があらかじめ設定された閾値以上である静止画像を、接地画像データであると判定する。歩行周期判定部130は、右側の下肢についての接地画像データの選択を繰り返す。歩行周期判定部130は、右側の下肢についての接地画像データのすべての選択が終わると、左側の下肢についての接地画像データの選択を同様に行う。
【0028】
なお、正常歩行ができる場合、人は常に踵から踏み込むが、加齢あるいは病気による身体機能の低下等の理由により踵から接地できない場合もある。実施形態において、片側の足部の少なくとも一部が床に接地している場合に、下肢が接地していると判定される。実施形態において、足部は足関節より先の部分を指すものとする。
【0029】
続いて、歩行周期判定部130は、接地画像データの撮影時刻に基づいて歩行周期を判定する。具体的には、歩行周期判定部130は、右側の下肢についての複数の接地画像データのうち、撮影時刻が最も早い時刻を歩行周期の開始時刻と判定する。歩行周期の開始時刻を周期開始時刻とも呼ぶ。歩行周期判定部130は、右側の下肢が次に接地したことを示す接地画像データの撮影時刻を歩行周期の終了時刻と判定する。さらに、歩行周期判定部130は、この撮影時刻を次の歩行周期の開始時刻と判定する。歩行周期判定部130は、右側の下肢についての接地画像データから、歩行周期の開始時刻および終了時刻を判定する処理を繰り返す。歩行周期判定部130は、右側の下肢についてのすべての歩行周期の判定が終わると、左側の下肢についての歩行周期についても同様に判定する。歩行周期判定部130は、それぞれの歩行周期の開始時刻および終了時刻を示す情報を歩行相判定部140に出力する。歩行周期判定部130は、入力画像データの撮影時刻と、それぞれの歩行周期の開始時刻および終了時刻とに基づいて、それぞれの入力画像データに歩行周期を識別する情報を付加する。
【0030】
ステップS20において、歩行相判定部140は、それぞれの歩行周期に含まれる8つの歩行相を、上述した8つの歩行相の時間について規定されている割合に基づいて判定する。歩行相判定部140は、すべての歩行周期それぞれについて、8つの歩行相の開始時刻および終了時刻を示す情報を第1評価部160に出力する。歩行周期判定部130は、入力画像データの撮影時刻と、それぞれの歩行相の開始時刻および終了時刻とに基づいて、それぞれの入力画像データに歩行相を識別する情報を付加する。
【0031】
ステップS30において、関節特徴量抽出部150は、キーポイント検出用の既存のニューラルネットワークモデルを用いて、静止画像のデータそれぞれにおけるキーポイントを検出する。関節特徴量抽出部150は、静止画像のデータについて、キーポイントを特定するキーポイント情報を第1評価部160に出力する。
【0032】
ステップS40において、第1評価部160は、歩行相ごとに、その歩行相に該当する静止画像のデータから検出されたキーポイントを用いて、その歩行相における対象部位の角度の変化量を、対象部位の指標値として演算する。対象部位は、人の身体のあらかじめ決められた複数の部位を含む。実施形態において、対象部位は、体幹と、骨盤と、股関節と、膝関節と、足関節と、足指とを含む。本明細書において、体幹とは、頭部と四肢を除く胴体であって、腰より上の部分を指すものとする。指標値は、対象部位の動きを評価するために使用される。
【0033】
例えば、ある歩行動作について、右側の下肢についての歩行周期が3歩行周期であり、左側の下肢についての歩行周期が3歩行周期であるとする。まず、第1評価部160は、右側の下肢の第1歩行周期の8つの歩行相それぞれにおいて、体幹と、骨盤と、股関節と、膝関節と、足関節と、足指とのそれぞれの角度の変化量とを算出する。第1評価部160は、右側の下肢の第2歩行周期と第3歩行周期とについても同様に処理を行う。第1評価部160は、各歩行周期の同じ歩行相の、体幹と、骨盤と、股関節と、膝関節と、足関節と、足指とについてのそれぞれの角度の変化量の平均値を求め、求めた平均値をその歩行相における対象となる部位の角度の変化量とする。第1評価部160は、歩行相を特定する値と、各対象部位の角度の変化量とを対応付けた指標データを生成する。第1評価部160は、左側の下肢についても同様に処理を行う。また、第1評価部160は、生成した指標データを第2評価部170に出力する。
【0034】
ステップS50において、第1評価部160は、各歩行相における対象部位の動きを評価する。実施形態においては、対象部位それぞれについて歩行相ごとに、少なくとも1つの評価項目が設定されている。
【0035】
図5は、体幹および骨盤について設定されている評価項目を示す図である。図6は、股関節および膝関節について設定されている評価項目を示す図である。図7は、足関節および足指について設定されている評価項目を示す図である。図5図7において、網掛けされている項目については、評価が行われない。図5図7に示すように、同じ対象部位であっても、異なる歩行相においては、評価される項目と評価されない項目とがある。例えば、図6に示すように、股関節について、立脚中期および立脚終期の屈曲制限について評価されない。また、例えば、膝関節について、遊脚初期および遊脚中期の過伸展について評価されない。
【0036】
第1評価部160は、各対象部位の各歩行相における指標値と、その歩行相における各評価項目にあらかじめ設定されている基準値とを比較することにより、各歩行相における対象部位ごとの動きを評価する。
【0037】
例えば、第1評価部160は、荷重応答期において体幹が前方に傾斜した角度の最大値と、荷重応答期の前方傾斜の評価項目について設定されている基準値とを比較する。第1評価部160は、荷重応答期における体幹が前方に傾斜した角度の最大値と基準値との差が、あらかじめ決められた第1閾値未満である場合、荷重応答期における体幹の前方傾斜が正常の範囲にあると判定する。第1評価部160は、荷重応答期における体幹が前方に傾斜した角度の最大値と基準値との差が、あらかじめ決められた第2閾値以上である場合、荷重応答期における体幹の前方傾斜に異常があると判定する。第1評価部160は、荷重応答期における体幹が前方に傾斜した角度の最大値と基準値との差が、あらかじめ決められた第1閾値以上かつ第2閾値未満である場合、荷重応答期における体幹の前方傾斜に軽微な異常があると判定する。
【0038】
第1評価部160は、右側の下肢の各歩行相それぞれにおいて、対象部位を設定されている評価項目で評価する。さらに、第1評価部160は、左側の下肢の各歩行相それぞれにおいて、対象部位を設定されている評価項目で評価する。第1評価部160は、評価結果を第2評価部170に出力する。また、第1評価部160は、評価結果を結果出力部120に出力する。第1評価部160が出力する評価結果を部位評価結果ともよぶ。このように、対象部位にそれぞれ評価項目が設定されているので、それぞれの対象部位について、歩行相ごとの動作を詳細に評価できる。
【0039】
図4に示す、ステップS60において、第2評価部170は、第1評価部160による評価結果を用いて、以下の指標に基づいて歩行動作を評価する。
(a)歩行の安定性
(b)歩行の安全性
(c)歩行の耐久性
歩行の安定性とは、歩行の安定度合いを評価する指標である。歩行の安全性とは、安全に歩行できているかを評価する指標ある。例えば、歩くことができていても、転倒する可能性が高いのであれば、歩行の安全性が低い。歩行の耐久性とは、継続した歩行を行うことができるかを評価する指標である。
【0040】
第2評価部170は、例えば、ニューラルネットワークモデルN71を用いて歩行の安定性を評価する。ニューラルネットワークモデルN71は、教師データを用いて学習が行われたニューラルネットワークである。教師データとして、歩行訓練を受けている被訓練者および正常歩行を行うことができる人の歩行それぞれについて、8つの歩行相それぞれにおいて各対象部位を評価した結果データと、経験を有する理学療法士が歩行の安定性を評価した結果データとが使用されている。8つの歩行相それぞれにおいて各対象部位を評価した結果データは、例えば、歩行している人を撮影した画像データに基づいてコンピュータが評価した結果であってもよいし、経験を有する理学療法士が評価した結果であってもよい。
【0041】
第2評価部170は、ニューラルネットワークモデルN71に、右側の下肢の各歩行相において対象部位それぞれを評価した結果と、左側の下肢の各歩行相において対象部位それぞれを評価した結果とを入力し、ニューラルネットワークモデルN71が出力する歩行の安定性についての評価値を得る。評価値は、例えば、歩行の安定性についてあらかじめ定義された複数のレベルそれぞれに該当する確率を示す値である。第2評価部170は、評価値に基づいて得られた歩行の安定性に関する評価結果を結果出力部120に出力する。例えば、複数のレベルとして、「問題なし」、「軽度の異常あり」、「異常あり」が定義されているとする。ニューラルネットワークモデルN71が出力した評価値が、「問題なし」に該当する確率が最も高いことを示す場合、第2評価部170は、歩行の安定性について評価結果として、「問題なし」を結果出力部120に出力する。
【0042】
第2評価部170は、例えば、ニューラルネットワークモデルN72を用いて歩行の安全性を評価する。ニューラルネットワークモデルN72は、教師データを用いて学習が行われたニューラルネットワークである。教師データとして、歩行訓練を受けている被訓練者および正常歩行を行うことができる人の歩行それぞれについて、8つの歩行相それぞれにおいて各対象部位を評価した結果データと、経験を有する理学療法士が歩行の安全性を評価した結果データとが使用されている。8つの歩行相それぞれにおいて各対象部位を評価した結果データは、例えば、歩行している人を撮影した画像データに基づいてコンピュータが評価した結果であってもよいし、経験を有する理学療法士が評価した結果であってもよい。
【0043】
第2評価部170は、ニューラルネットワークモデルN72に、右側の下肢の各歩行相において対象部位それぞれを評価した結果と、左側の下肢の各歩行相において対象部位それぞれを評価した結果とを入力し、ニューラルネットワークモデルN72が出力する歩行の安全性についての評価値を得る。評価値は、例えば、歩行の安全性についてあらかじめ定義された複数のレベルそれぞれに該当する確率を示す値である。第2評価部170は、評価値に基づいて得られた歩行の安全性に関する評価結果を結果出力部120に出力する。
【0044】
第2評価部170は、例えば、ニューラルネットワークモデルN73を用いて歩行の耐久性を評価する。ニューラルネットワークモデルN73は、教師データを用いて学習が行われたニューラルネットワークである。教師データとして、歩行訓練を受けている被訓練者および正常歩行を行うことができる人の歩行それぞれについて、8つの歩行相それぞれにおいて各対象部位を評価した結果データと、経験を有する理学療法士が歩行の耐久性を評価した結果データとが使用されている。8つの歩行相それぞれにおいて各対象部位を評価した結果データは、例えば、歩行している人を撮影した画像データに基づいてコンピュータが評価した結果であってもよいし、経験を有する理学療法士が評価した結果であってもよい。
【0045】
第2評価部170は、ニューラルネットワークモデルN73に、右側の下肢の各歩行相において対象部位それぞれを評価した結果と、左側の下肢の各歩行相において対象部位それぞれを評価した結果とを入力し、ニューラルネットワークモデルN73が出力する歩行の耐久性についての評価値を得る。評価値は、例えば、歩行の耐久性についてあらかじめ定義された複数のレベルそれぞれに該当する確率を示す値である。第2評価部170は、評価値に基づいて得られた歩行の耐久性に関する評価結果を結果出力部120に出力する。第2評価部170により出力される、歩行の安定性と、歩行の安全性と、歩行の耐久性とのそれぞれについての評価結果を総合評価結果ともよぶ。
【0046】
ステップS70において、結果出力部120は、評価結果を撮影装置200に送信する。図8は、撮影装置200に送信される評価結果の画面の一例である。結果出力部120は、第1評価部160により評価された各歩行相の対象部位の評価結果と、第2評価部170により評価された歩行の安定性と、歩行の安全性と、歩行の耐久性とに関する評価結果と、に基づいて、図8に示すような評価結果の画面データを生成する。なお、図8において、図5図7と同様に、網掛けされている項目は、評価が行われない項目である。
【0047】
図9は、撮影装置200に送信される評価結果の画面の他の例である。結果出力部120は、対象部位ごとの、1つの歩行周期における角度の変化を表したグラフを表した図9に示すような評価結果の画面データをさらに生成する。結果出力部120は、生成した評価結果の画面データを撮影装置200に送信する。その後、評価処理が終了される。
【0048】
撮影装置200は、評価結果の画面データを受信すると、歩行訓練用アプリケーションソフトウェアを介して評価結果を、例えば、タッチパネルディスプレイに表示する。撮影装置200は、例えば、図8に示す評価結果の画面において、いずれかの対象部位がタップされると、図9に示すように、選択された対象部位の1つの歩行周期における角度の変化を表したグラフを表示してもよい。
【0049】
以上説明したように、実施形態にかかる構成によれば、評価装置100は、体幹を含む部位の動きを評価するので、下半身の動きだけではなく、上半身の動きを用いて歩行動作を評価できる。また、従来は、理学療法士が、被訓練者の歩行を撮影した動画を繰り返し確認しながら、歩行を評価していた。しかし、実施形態にかかる構成によれば、理学療法士は、動画を繰り返し確認せずとも、歩行の評価結果を得ることができる。よって、効率的に歩行指導を行える。
【0050】
また、評価装置100により、人の歩行の安定性、人の歩行の安全性、人の歩行の耐久性について評価されるので、例えば、歩行訓練において、理学療法士の経験にかかわらず、安定した歩行動作の評価結果を得られる。よって、歩行訓練における指導内容にばらつきが生じることを抑制できる。
【0051】
B1.他の実施形態1
実施形態においては、評価装置100は、歩行相ごとの対象部位の角度の変化量に基づいて歩行動作を評価した。あるいは、評価装置100は、対象部位の角度の変化量に加え、歩行している人の属性を考慮して、歩行動作を評価してもよい。人の属性は、例えば、年齢、歩行訓練を受ける必要が生じた原因、歩行訓練を受けている期間である。
【0052】
実施形態においては、各歩行相における対象部位の動きを評価するため、対象部位それぞれについて歩行相ごとに評価項目が設定されていた(図5図7を参照)。他の実施形態1においては、あらかじめ決められた年齢層に対応する評価項目が設定される。例えば、年齢層に応じて、各歩行相における各評価項目にあらかじめ設定されている基準値を異ならせることができる。また、例えば、歩行訓練が必要となった原因が、加齢である場合と、けがである場合と、病気である場合とで、異なる基準値を用いてもよい。人の属性に対応する評価項目が用いられるので、例えば、歩行訓練において、被訓練者の属性に応じて適切に対象部位の動きを評価できる。
【0053】
B2.他の実施形態2
実施形態においては、歩行動作を評価する際に、歩行の安定性と、歩行の安全性と、歩行の耐久性との3つの指標を用いる例を説明した。しかしながら、歩行動作の評価に用いる指標はこれら以外であってもよい。上記の3つのうちの1つまたは2つの指標に基づいて歩行動作の評価が行われてもよい。
【0054】
また、あるいは、上記の3つの指標に加えて、歩行の速度に基づいて、歩行動作の評価が行われてよい。例えば、歩行の速度について正常であるかを判定するための基準値があらかじめ設定されている。なお、基準値は、屋内での歩行と、屋外での歩行とについてそれぞれ設定されていてもよい。評価装置100は、歩行画像データを用いて算出された歩行の速度が基準値以上であれば、歩行の速度が正常であると判定する。この場合、人の歩行の速度を評価できるので、例えば、歩行訓練において、理学療法士の経験にかかわらず、安定して歩行動作を評価できる。よって、歩行訓練における指導内容にばらつきが生じることを抑制できる。
【0055】
B3.他の実施形態3
また、評価装置100は、被訓練者の対象部位の角度の変化量に加え、被訓練者の周囲の環境を考慮して、歩行動作を評価してもよい。例えば、寒暖差に起因して体調不良が起こることがある。また、例えば、気圧の変化に起因して体調不良が起こることがある。このような原因により体調が優れない場合には、リハビリテーションの成果が歩行訓練の際に表れにくいことがある。よって、評価装置100においては、各歩行相における対象部位の動きを評価した結果と、気象情報とが、あらかじめ学習が行われたニューラルネットワークに入力され、歩行動作が評価されてもよい。気象情報は、例えば、当日を含む過去3日間の気圧および気温の情報である。評価装置100は、例えば、撮影装置200の位置情報に基づいて、気象情報サービスを介して気象情報を取得することができる。
【0056】
B4.他の実施形態4
また、歩行訓練の際に、被訓練者は、例えば、手首にウェアラブルセンサを取り付けた状態で歩行を行ってもよい。このウェアラブルセンサは、被訓練者の血圧および心拍を測定し、測定値を評価装置100に送信する。例えば、歩行している間に血圧の変化量または心拍の変化量が決められた基準を超えた場合に、評価装置100は、撮影装置200に歩行訓練を中断すべきであるとのアドバイスを送信してもよい。
【0057】
B5.他の実施形態5
実施形態においては、評価装置100は、歩行相ごとの対象部位の角度の変化量に基づいて歩行動作を評価した。あるいは、評価装置100は、歩行相ごとの対象部位の角度の変化量に加え、歩行相ごとの対象部位の移動速度を考慮して、歩行動作を評価してもよい。
【0058】
B6.他の実施形態6
実施形態においては、体幹と、骨盤と、股関節と、膝関節と、足関節と、足指とのそれぞれの動きが評価された。しかしながら、対象部位はこれらに限られない。例えば、対象部位に、さらに、肩関節、肘関節、手首の関節が含まれてもよい。この場合、評価装置100は、肩関節、肘関節、手首の関節のそれぞれの角度の変化量を用いて腕の動きを評価する。評価装置100は、正常歩行と比較して腕を振りすぎていないか、腕の動きが歩行を安定させるための代償動作となっていないか等を評価する。評価装置100は、体幹に加えて、肩関節、肘関節、手首の関節の動きを評価することにより、歩行動作を全身にわたって評価できる。
【0059】
B7.他の実施形態7
実施形態において、評価装置100の第1評価部160は、右側および左側の下肢の各歩行相それぞれにおいて、対象部位を設定されている評価項目で評価する例を説明した。あるいは、第1評価部160は、あらかじめ学習が行われたニューラルネットワークを用いて、歩行相ごとに対象部位の動きを評価してもよい。例えば、このニューラルネットワークは、歩行相を特定する情報と、その歩行相における複数の静止画像とが入力されると、その歩行相における対象部位それぞれの動きが、正常な動きに該当する確率と、異常な動きに該当する確率とを出力する。この場合であっても、対象部位それぞれについて、歩行相ごとの動作を詳細に評価できる。
【0060】
B8.他の実施形態8
また、評価装置100は、過去の評価結果をメモリ102に蓄積してもよい。例えば、評価装置100は、今回の歩行におけるある対象部位の1つの歩行周期における角度の変化を示すグラフ(図9を参照)とともに、前回の歩行におけるある対象部位の1つの歩行周期における角度の変化を示すグラフとともに表した評価結果の画面データを生成し、撮影装置200に送信してもよい。これにより、例えば、理学療法士は、過去の歩行状態と今回の歩行状態とを視認できる。
【0061】
また、あるいは、評価装置100は、今回の歩行におけるある対象部位の1つの歩行周期における角度の変化を示すグラフ(図9を参照)とともに、正常な歩行におけるある対象部位の1つの歩行周期における角度の変化を示すグラフとともに表した評価結果の画面データを生成し、撮影装置200に送信してもよい。これにより、例えば、理学療法士は、今回の歩行状態が正常な歩行に比べて乖離している度合いを視認できる。
【0062】
B9.他の実施形態9
実施形態において、関節特徴量抽出部150は、キーポイント検出用の既存のニューラルネットワークモデルを用いてキーポイントを検出していた。あるいは、関節特徴量抽出部150は、学習済みの機械学習モデルを用いてキーポイントを抽出してもよい。あるいは、関節特徴量抽出部150は、人の関節に関する特徴量を公知の骨格情報取得技術を使用してキーポイントを検出してもよい。公知の骨格情報取得技術の一例は、OpenPose(URL=https://github.com/CMU-Perceptual-Computing-Lab/openpose)である。関節特徴量抽出部150は、OpenPoseを使用することにより、キーポイントの位置、キーポイントの接続関係を検出することができる。
【0063】
B10.他の実施形態10
実施形態において、撮影装置200は、動画像のデータを評価装置100に供給する例を説明した、あるいは、撮影装置200は、決められた時間間隔で撮影した複数の静止画像のデータを評価装置100に供給してもよい。決められた時間間隔は、例えば、0.1秒ごとである。
【0064】
本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【0065】
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0066】
10…評価システム、100…評価装置、101…プロセッサ、102…メモリ、103…通信インターフェイス、104…入出力インターフェイス、109…バス、110…入力受付部、120…結果出力部、130…歩行周期判定部、140…歩行相判定部、150…関節特徴量抽出部、160…第1評価部、170…第2評価部、180…記憶部、200…撮影装置、N3…ニューラルネットワークモデル、N71…ニューラルネットワークモデル、N72…ニューラルネットワークモデル、N73…ニューラルネットワークモデル、P1…人、T1…歩行周期
図1
図2
図3
図4
図5
図6
図7
図8
図9