IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧

特許7668970転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム
<>
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図1
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図2
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図3
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図4
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図5
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図6
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図7
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図8
  • 特許-転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-04-17
(45)【発行日】2025-04-25
(54)【発明の名称】転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム
(51)【国際特許分類】
   A61B 5/11 20060101AFI20250418BHJP
【FI】
A61B5/11 200
A61B5/11 230
【請求項の数】 8
(21)【出願番号】P 2024558135
(86)(22)【出願日】2023-08-21
(86)【国際出願番号】 JP2023030025
【審査請求日】2024-09-30
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100116964
【弁理士】
【氏名又は名称】山形 洋一
(74)【代理人】
【識別番号】100120477
【弁理士】
【氏名又は名称】佐藤 賢改
(74)【代理人】
【識別番号】100135921
【弁理士】
【氏名又は名称】篠原 昌彦
(74)【代理人】
【識別番号】100203677
【弁理士】
【氏名又は名称】山口 力
(72)【発明者】
【氏名】山本 貴志
(72)【発明者】
【氏名】望月 浩平
【審査官】藤原 伸二
(56)【参考文献】
【文献】特開2022-092940(JP,A)
【文献】特開2021-030051(JP,A)
【文献】特開2015-062654(JP,A)
【文献】特開2010-172481(JP,A)
【文献】特開2020-077388(JP,A)
【文献】国際公開第2022/249746(WO,A1)
【文献】特開2020-048683(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/11
A61B 10/00
G06T 7/20
A61H 1/02
(57)【特許請求の範囲】
【請求項1】
被験者の歩行の映像から、前記被験者の骨格情報を抽出する骨格情報抽出部と、
前記骨格情報から、前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化を示す情報を抽出する関節情報抽出部と、
前記関節情報抽出部で抽出した情報のうち、異なる複数の関節の各々同時刻の位置変化を示す情報同士、角度変化を示す情報同士、速度変化を示す情報同士、及び角速度変化を示す情報同士の値の加算、並びに2つの異なる関節における各々同時刻の位置変化を示す情報同士、角度変化を示す情報同士、速度変化を示す情報同士、及び角速度変化を示す情報同士について、1つの関節の情報の値を実部、もう1つの関節の情報の値を虚部とした複素表現のいずれかによって複数の関節の動作の相関を含む歩行特徴を算出する歩行特徴算出部と、
前記複数の関節の動作の相関を含む歩行特徴を周波数解析して、前記歩行特徴の周波数特性を算出する周波数解析部と、
前記周波数解析結果の最大振幅の大きさに基づいて前記被験者の転倒リスクを抽出する転倒リスク抽出部と、
を備えた転倒リスク抽出装置。
【請求項2】
前記転倒リスク抽出部は、前記被験者の前記周波数特性の最大振幅の値を、前記被験者を含む複数の被験者の周波数特性の最大振幅の値で正規化した値の加重平均を算出して得た転倒リスク値により、前記被験者の転倒リスクを判定する請求項1に記載の転倒リスク抽出装置。
【請求項3】
前記歩行特徴算出部は、前記関節情報抽出部で抽出した情報から、同時刻の2以上の各々異なる関節に係る情報を任意の数で選択して加算する請求項2に記載の転倒リスク抽出装置。
【請求項4】
前記歩行特徴算出部は、同時刻の2以上の各々異なる関節に係る情報について、任意の数で選択した前記情報の組み合わせの各々を加算して得た第1の加算値を実部とし、前記第1の加算値の算出に供した前記情報の組み合わせと異なる組み合わせの情報の各々を加算して得た第2の加算値を虚部とした複素表現によって前記複数の関節の動作の相関を含む歩行特徴を算出する請求項3に記載の転倒リスク抽出装置。
【請求項5】
前記関節情報抽出部で抽出した情報から、前記被験者の両足が地面に接している時間である両脚支持期を検出する両脚支持期検出部を含み、
前記転倒リスク抽出部は、前記周波数特性と前記両脚支持期とに基づいて前記被験者の転倒リスクを判定する請求項2~4のいずれか1項に記載の転倒リスク抽出装置。
【請求項6】
前記転倒リスク抽出部は、関節情報抽出部で抽出した情報から、複数のデータを含む第1群と、前記第1群と異なる複数のデータを含む第2群とを抽出すると共に、前記第1群と前記第2群の共分散を、前記第1群の標準偏差と前記第2群の標準偏差との積で除算して得た相関係数によって前記被験者の転倒リスクを判定する請求項1に記載の転倒リスク抽出装置。
【請求項7】
被験者の転倒リスクを抽出する転倒リスク抽出装置が、
前記被験者の歩行の映像から、前記被験者の骨格情報を抽出し、
前記骨格情報から、前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化を示す情報を抽出し、
前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化を示す情報のうち、異なる複数の関節の各々同時刻の位置変化を示す情報同士、角度変化を示す情報同士、速度変化を示す情報同士、及び角速度変化を示す情報同士の値の加算、並びに2つの異なる関節における各々同時刻の位置変化を示す情報同士、角度変化を示す情報同士、速度変化を示す情報同士、及び角速度変化を示す情報同士について、1つの関節の情報の値を実部、もう1つの関節の情報の値を虚部とした複素表現のいずれかによって複数の関節の動作の相関を含む歩行特徴を算出し、
前記複数の関節の動作の相関を含む歩行特徴を周波数解析して、前記歩行特徴の周波数特性を算出し、
前記周波数解析結果の最大振幅の大きさに基づいて前記被験者の転倒リスクを抽出する、
転倒リスク抽出方法。
【請求項8】
被験者の転倒リスクを抽出する転倒リスク抽出装置に、
前記被験者の歩行の映像から、前記被験者の骨格情報を抽出し、
前記骨格情報から、前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化を示す情報を抽出し、
前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化を示す情報のうち、異なる複数の関節の各々同時刻の位置変化を示す情報同士、角度変化を示す情報同士、速度変化を示す情報同士、及び角速度変化を示す情報同士の値の加算、並びに2つの異なる関節における各々同時刻の位置変化を示す情報同士、角度変化を示す情報同士、速度変化を示す情報同士、及び角速度変化を示す情報同士について、1つの関節の情報の値を実部、もう1つの関節の情報の値を虚部とした複素表現のいずれかによって複数の関節の動作の相関を含む歩行特徴を算出し、
前記複数の関節の動作の相関を含む歩行特徴を周波数解析して、前記歩行特徴の周波数特性を算出し、
前記周波数解析結果の最大振幅の大きさに基づいて前記被験者の転倒リスクを抽出する、
処理を実行させる転倒リスク抽出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラムに関する。
【背景技術】
【0002】
被験者の歩行データを取得し、被験者の関節の位置又は角度の変化等の歩行特徴を検出し、関節ごとに個別に歩行特徴を分析することで被験者の転倒リスクを抽出する要因推定システムが特許文献1に記載されている。また、歩行特徴を関節ごとに周波数解析して、周波数解析結果を用いて片麻痺等の歩行特性を抽出する片麻痺検査装置が特許文献2に記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2021-030051号公報
【文献】特開2020-048683号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1及び特許文献2に記載の装置では、複数部位における動作の相関を考慮せずに転倒リスクを抽出していたため、例えば、左右の脚の運び等の複数部位の動作の連動性に関する転倒リスクの評価ができず、リハビリ等において適切な経過観察ができないという問題点があった。
【0005】
本開示は、被験者の複数部位における動作の相関を考慮して被験者の転倒リスクを抽出する転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の転倒リスク抽出装置は、被験者の歩行の映像から、前記被験者の骨格情報を抽出する骨格情報抽出部と、前記骨格情報から、前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化を示す情報を抽出する関節情報抽出部と、前記関節情報抽出部で抽出した情報のうち、異なる複数の関節の各々同時刻の位置変化を示す情報同士、角度変化を示す情報同士、速度変化を示す情報同士、及び角速度変化を示す情報同士の値の加算、並びに2つの異なる関節における各々同時刻の位置変化を示す情報同士、角度変化を示す情報同士、速度変化を示す情報同士、及び角速度変化を示す情報同士について、1つの関節の情報の値を実部、もう1つの関節の情報の値を虚部とした複素表現のいずれかによって複数の関節の動作の相関を含む歩行特徴を算出する歩行特徴算出部と、前記複数の関節の動作の相関を含む歩行特徴を周波数解析して、前記歩行特徴の周波数特性を算出する周波数解析部と、前記周波数解析結果の最大振幅の大きさに基づいて前記被験者の転倒リスクを抽出する転倒リスク抽出部と、を備えることを特徴とする。
【発明の効果】
【0007】
本開示の装置によれば、歩行動作における関節特徴の相関を考慮して、転倒リスクを抽出することで、転倒リスクがある被験者のリハビリにおいて、複数部位の動作の連動性に関する経過観察を容易、且つ高い精度で行うことが可能となる。
【図面の簡単な説明】
【0008】
図1】実施の形態1に係る転倒リスク抽出装置を示す機能構成図である。
図2】実施の形態1に係る転倒リスク抽出装置を示すハードウェア構成図である。
図3】実施の形態1に係る転倒リスク抽出装置の動作の一例を示したフローチャートである。
図4】(a)は、転倒リスクがない被験者の初期歩行特徴の時系列データの例であり、(b)は、転倒リスクがある被験者の初期歩行特徴の時系列データの例である。
図5】(a)は転倒リスクがない被験者の加算処理後歩行特徴の時系列データの例であり、(b)は、転倒リスクがある被験者の加算処理後歩行特徴の時系列データの例である。
図6】(a)は、転倒リスクがない被験者のデータを周波数解析した結果の例であり、(b)は、転倒リスクがある被験者のデータを周波数解析した結果の例である。
図7】実施の形態2に係る転倒リスク抽出装置を示す機能構成図である。
図8】実施の形態2に係る転倒リスク抽出装置の動作の一例を示したフローチャートである。
図9】(a)は、転倒リスクがない被験者の両脚支持期を算出した例であり、(b)は、転倒リスクがある被験者の両脚支持期を算出した例である。
【発明を実施するための形態】
【0009】
以下に、実施の形態に係る転倒リスク抽出装置を、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。
【0010】
《実施の形態1》
図1は、実施の形態1に係る転倒リスク抽出装置20を示す機能構成図である。転倒リスク抽出装置20には、歩行する被験者を撮影するカメラ10、及び転倒リスク抽出装置20で抽出した転倒リスクの値を被験者等に表示する表示部30の各々が接続されている。
【0011】
カメラ10は、被験者の映像(動画像)を撮影する撮像装置である。カメラ10で取得した映像は、転倒リスク抽出装置20の映像入力部21を介して骨格情報抽出部22に入力される。映像入力部21は、後述する入出力インタフェース230であり、具体的には、USB(Universal Serial Bus)端子、IEEE 1394端子、又はThunderbolt端子等である。
【0012】
骨格情報抽出部22は、入力された映像から被験者の人体の骨格情報を抽出する。映像から骨格情報の抽出には、例えば、「Openpose」等の映像から人体の関節等を検出可能なソフトウェアを用いる。骨格情報抽出部22は、入力された映像から人体の関節の3軸座標を骨格情報として抽出する。骨格情報抽出部22で抽出する関節は、一例として、頭部と首の骨格関節、胸部と腹部と腰部の骨格関節、左右の肩の骨格関節、左右の肘の骨格関節、左右の手首の骨格関節、左右の手の骨格関節、左右の股関節の骨格関節、左右の膝の骨格関節、左右の足首の骨格関節、及び左右の足の骨格関節である。
【0013】
複数関節情報前処理部23は、骨格情報抽出部22で抽出した骨格情報に前処理を行う。具体的には、骨格情報抽出部22で抽出した骨格情報から複数関節の歩行特徴(以降、「初期歩行特徴」と称する)を算出する。初期歩行特徴は、例えば、骨格関節の位置又は角度の時系列データ、及び骨格関節の位置又は角度の時系列データを微分したデータである。骨格関節の位置データの微分値は速度であり、骨格関節の角度の微分値は角速度である。実施の形態1において、骨格関節の位置の時系列データは、歩行における時間が経過したときの骨格関節の1軸、2軸又は3軸の座標の値である。座標は、3軸の場合であれば一例として、撮影環境の1つの地点又は映像の画面内の1つの定点を原点に設定し、当該原点から水平方向にx軸及びy軸を設定すると共に、垂直方向にz軸を設定する。また、一例として、x軸は東西方向、y軸は南北方向に設定する。骨格関節の角度は、1つの関節について、他の任意の2つの関節と結ぶ線分がある場合に、同じ端点を持つ2つの線分の間の隔たりを表す量である。角度の時系列データは歩行における時間が経過したときの角度の値とする。
【0014】
さらに、複数関節情報前処理部23は、算出した複数の初期歩行特徴を関節間で加算又は複素表現する。加算するとは、複数の関節の時系列データである初期歩行特徴において各々同時刻の複数の関節の初期歩行特徴の値を加算し、結果として各時刻で加算された値からなる時系列データ(以降、「加算処理後歩行特徴」と称する)を抽出することである。複素表現するとは、2つの異なる関節の時系列データである初期歩行特徴において各時刻で1つの関節の初期歩行特徴の値を実部、もう1つの関節の初期歩行特徴の値を虚部とした複素数として表現し、結果として各時刻の複素数からなる時系列データ(以降、「複素表現後歩行特徴」と称する)を抽出することである。各時刻の複素数からなる時系列データは、虚部と実部の座標系(複素平面)に表示され、当該複素平面を時間経過に係る角周波数で回転するベクトルの集合体であるとみなすことができる。以降、加算処理後歩行特徴及び複素表現後歩行特徴の各々は、一括して「演算処理後歩行特徴」と呼称する。ここで、初期歩行特徴を加算又は複素表現して抽出された演算処理後歩行特徴は、被験者の歩行における時系列のデータである。また、初期歩行特徴及び演算処理後歩行特徴は、いずれも歩行特徴であり、歩行における動作の特徴の1つである。
【0015】
図4(a)は、転倒リスクがない被験者の両足首の位置における初期歩行特徴の時系列データの例である。図4(b)は、転倒リスクがある被験者の両足首の位置における初期歩行特徴の時系列データの例である。図5(a)は転倒リスクがない被験者の図4(a)で示した両足首の位置の時系列データを加算して抽出した加算処理後歩行特徴の時系列データの例である。図5(b)は、転倒リスクがある被験者の図4(b)で示した両足首の位置の時系列データを加算して抽出した加算処理後歩行特徴の時系列データの例である。両足首の位置変化のほかに、両足首の角度変化、速度変化、又は角速度変化について加算処置、又は複素表現をしてもよい。
【0016】
周波数解析部24は、複数関節情報前処理部23で前処理した情報である演算処理後歩行特徴を周波数解析した結果(以降、「周波数解析後歩行特徴」と称する)を出力する。具体的には、周波数解析部24は、加算処理後歩行特徴に対してフーリエ変換を行う。また、周波数解析部24は、複素表現後歩行特徴に対して逆フーリエ変換を行う。前述のように、各時刻の複素数からなる時系列データは、複素平面を時系列で変化する角周波数で回転するベクトルの集合体を示すので、角周波数の関数とみなせる。従って、各時刻の複素数からなる時系列データを逆フーリエ変換することにより、実数の時系列データを計算することができる。逆フーリエ変換によって算出された実数の時系列データは、複素空間での軌跡に対する周波数解析に相当し、結果として、2つの関節の動作の周波数特性を計算することができる。
【0017】
図6(a)は、転倒リスクがない被験者の関節の位置の時系列データを加算した時系列データである加算処理後歩行特徴を周波数解析した結果である周波数解析後歩行特徴の例である。図6(b)は、転倒リスクがある被験者の関節の位置の時系列データを加算して抽出した時系列データである加算処理後歩行特徴を周波数解析した結果である周波数解析後歩行特徴の例である。図6(a)と図6(b)とを比較すると、周波数解析結果に違いがあることがわかる。例えば、図6(a)が示すように、転倒リスクがない被験者の振幅は、図6(b)が示す転倒リスクがある被験者の振幅よりも大きくなっている。
【0018】
転倒リスク判定部27は、周波数解析部24から出力された周波数解析後歩行特徴と記憶部26に格納されたデータとに基づいて、被験者の転倒リスクを抽出する。被験者の転倒リスクは、最小0最大100の値で、より大きい値であれば転倒リスクが増大し、より小さい値であれば転倒リスクが少なくなる指標である。記憶部26は、周波数解析後歩行特徴から転倒リスクを抽出するための計算式のパラメータを格納する。また、表示部30は、転倒リスク判定部27で抽出した転倒リスクの値を被験者等に表示する。転倒リスクの値の表示方法は、例えば、被験者が歩いた後、数秒間の間、ディスプレイに表示する方法等である。
【0019】
図2は、実施の形態1に係る転倒リスク抽出装置20を示すハードウェア構成図である。転倒リスク抽出装置20は、プロセッサ210、記憶装置220、及び入出力インタフェース230を含むコンピュータから成る。転倒リスク抽出装置20は複数のコンピュータから成っていてもよい。
【0020】
プロセッサ210は、演算処理を行うIC(Integrated Circuit)である。プロセッサ210は、具体例として、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)等である。プロセッサ210は、前述の「Openpose」等の映像から人体の関節等を検出可能なソフトウェア等を動作させることにより、骨格情報抽出部22として機能すると共に、初期歩行特徴を関節間で加算又は複素表現するソフトウェア等を動作させることにより、複数関節情報前処理部23として、フーリエ変換及び逆フーリエ変換を行うソフトウェア等を動作させることにより、周波数解析部24として、被験者の転倒リスクを抽出するソフトウェア等を動作させることにより、転倒リスク判定部27として各々機能する。
【0021】
記憶装置220は、図1に示した記憶部26に相当し、RAM(Random Access Memory)等の揮発性の記憶装置、ROM(Read Only Memory)、HDD(Hard Disk Drive)、又はフラッシュメモリなどの不揮発性の記憶装置により構成される。
【0022】
入出力インタフェース230は、図1に示した映像入力部21を含み、入力装置及び出力装置が接続されるポートである。入出力インタフェース230は、具体例として、USB端子等である。入力装置は、カメラ10のほかに、タッチパネル、キーボード、マウス等である。出力装置は、ディスプレイ300のほかに、ライト、スピーカー、又はバイブレータ等である。
【0023】
以下、実施の形態1に係る転倒リスク抽出装置20の動作の一例について説明する。図3は、実施の形態1に係る転倒リスク抽出装置20の動作の一例を示したフローチャートである。図3に示した処理は、例えば、被験者の歩行開始と共に開始される。ステップS101では、カメラ10によって取得した被験者の映像が映像入力部21に入力される。
【0024】
ステップS102では、骨格情報抽出部22において、映像入力部21に入力された映像から被験者の人体の骨格情報を抽出する。
【0025】
ステップS103では、複数関節情報前処理部23において、骨格情報抽出部22で抽出した骨格情報から、複数関節の初期歩行特徴として、骨格関節の位置又は角度の時系列データ、及び骨格関節の位置又は角度の時系列データを微分したデータを算出する。微分したデータは、例えば、速度又は角速度の時系列データとなる。また、ステップS103では、骨格関節の位置の時系列データは、歩行における時間が経過したときの骨格関節の1軸、2軸又は3軸の座標の値とする。なお、座標値は、撮影環境の1つの地点又は映像の画面内の1つの定点を原点とする値である。骨格関節の角度は、1つの関節について、他の任意の2つの関節と結ぶ線分がある場合に、同じ端点を持つ2つの線分の間の隔たりを表す量のこととする。また、角度の時系列データは歩行における時間が経過したときの角度の値とする。
【0026】
ステップS104では、複数関節情報前処理部23において、ステップS103で抽出した複数関節の初期歩行特徴を関節間で加算又は複素表現する。複数関節情報前処理部23は、複数の関節の時系列データである各時刻でのすべての関節の初期歩行特徴の値を加算することにより、加算処理後歩行特徴を抽出する。初期歩行特徴を加算する場合には、2つ以上の関節の初期歩行特徴を用いる。また、複数関節情報前処理部23は、2つの関節の時系列データである初期歩行特徴において各時刻で1つの関節の初期歩行特徴の値を実部、もう1つの関節の初期歩行特徴の値を虚部とした複素数として表現することにより、複素表現後歩行特徴を抽出する。初期歩行特徴を複素表現する場合には、2つ以上の偶数個の関節の初期歩行特徴を用いる。前述のように、加算処理後歩行特徴と複素表現後歩行特徴とをまとめて、歩行における時系列のデータである演算処理後歩行特徴と呼称する。実施の形態1では、初期歩行特徴の加算を何度も、例えば2以上の各々異なる任意の数の関節の初期歩行特徴の各々を加算してもよい。さらに、加算を行った後に複素表現の処理を行ってもよい。具体的には、適当な組み合わせの複数の関節の初期歩行特徴を選択すると共に選択した初期歩行特徴の各々を加算して抽出した第1の加算値である加算処理後歩行特徴Aと、加算処理後歩行特徴Aとは別の組み合わせの複数の関節の初期歩行特徴の各々を加算して抽出した第2の加算値である加算処理後歩行特徴Bとを用意し、加算処理後歩行特徴Aを実部、加算処理後歩行特徴Bを虚部とした複素数を作成する。
【0027】
ステップS105では、周波数解析部24は、複数関節情報前処理部23での前処理で得た演算処理後歩行特徴を周波数解析して、周波数解析後歩行特徴を抽出する。具体的に、加算処理後歩行特徴に対する周波数解析としてフーリエ変換を行う。また、複素表現後歩行特徴に対する周波数解析では逆フーリエ変換を行う。前述のように、複素数を逆フーリエ変換した場合、実数の時系列データを計算することができる。逆フーリエ変換によって算出された実数の時系列データを得る工程は、複素空間での軌跡に対する周波数解析に該当し、結果として、2つの関節の動作の周波数特性を計算することが可能となる。実施の形態1における周波数解析後歩行特徴は、演算処理後の歩行特徴を、当該歩行特徴に含まれる周波数成分毎に分解した強度分布を示す。
【0028】
ステップS106では、転倒リスク判定部27は、記憶部26に格納されているパラメータを参照すると共に、後述する転倒リスクを判定するための計算式を再現するプログラムを動作させ、周波数解析部24から出力された周波数解析結果から転倒リスクを判定する。当該プログラムの構成の具体的な方法は、C++又はPython等のプログラミング言語にて転倒リスクを判定するための計算式と同様の処理を実施するプログラムを構成しソフトウェアに組み込む。
【0029】
転倒リスクを判定するための計算式は、一例として下記の式(1)、(2)、(3)である。式(1)は、転倒リスク判定に使用するリスク判定用歩行特徴V(i,n)の定義式である。リスク判定用歩行特徴V(i,n)は、周波数解析後歩行特徴の最大振幅の負の値である。複数関節情報前処理部23が複数個の演算処理後歩行特徴を出力したのであれば、周波数解析後歩行特徴も複数個存在する。リスク判定用歩行特徴V(i,n)におけるiは、総数I個存在する周波数解析後歩行特徴の各々を識別するリスク判定用歩行特徴番号である。実施の形態1では、加算又は複素表現する関節の組み合わせを変化させたときの周波数解析後歩行特徴をすべて出力することとし、関節の組み合わせの総数をIとする。また、リスク判定用歩行特徴V(i,n)におけるnは、総数N人存在する被験者の各々を識別する被験者番号である。
【0030】
【数1】
【0031】
実施の形態1では、リスク判定用歩行特徴番号iと被験者番号nとが変化する毎に周波数解析後歩行特徴の最大振幅の負の値を、リスク判定用歩行特徴V(i,n)として抽出する。なお、リスク判定用歩行特徴V(i,n)は、時系列のデータではなく、変数i又はnの各々について1つの値が対応する。実施の形態1では、周波数解析結果の最大振幅の大きさに基づいて被験者の転倒リスクを判定する。例えば、振幅が大きければ歩行にぶれがない健常的な歩行ができていて転倒リスクが小さく、振幅が小さければ歩行にぶれがある虚弱的な歩行であり転倒リスクが大きいことが推定できる。
【0032】
式(2)は、式(1)で計算したリスク判定用歩行特徴のうち、i番目のリスク判定用歩行特徴V(i,n)について、すべての被験者全体で正規化することにより、0から100までの値を示す正規化後リスク判定用歩行特徴S(i,n)を算出する計算式である。
【0033】
【数2】
【0034】
式(2)による正規化処理は、総数Nのすべての被験者のうち、最大のリスク判定用歩行特徴が100、最小のリスク判定用歩行特徴が0となるように正規化するものである。なお、正規化後リスク判定用歩行特徴S(i,n)は、時系列ではなく、変数i又はnの各々について1つの値が対応する。
【0035】
式(3)は、式(2)で抽出した正規化後リスク判定用歩行特徴S(i,n)を、被験者ごとに、総数Iのすべての正規化後リスク判定用歩行特徴S(i,n)に重み付けをして加算することにより、正規化後リスク判定用歩行特徴S(i,n)の加重平均である転倒リスクF(n)を算出する計算式である。
【0036】
【数3】
【0037】
式(3)の重みw(i)は、パラメータとして記憶部26に格納されている。実施の形態1では、より高精度に転倒リスクを判定できるパラメータを算出して記憶部26に格納する。記憶部26に格納する、より高精度に転倒リスクを判定できるパラメータの作成は、パラメータの取り得るすべての値について、転倒リスクF(n)の判定結果を出力し、転倒リスクの真値との誤差がより小さい場合のパラメータを取得するという方法を用いる。なお、高精度に転倒リスクを判定できているかを判定する方法は、数百人以上の被験者データを用い、後述するF値(F1スコア)を精度評価指標として用いることとする。
【0038】
高精度に転倒リスクを判定できているかのチェックは、数百人以上の被験者データについて,「各被験者についてTUG(Timed Up & Go Test)テストにより算出した転倒リスクの真値f(n)」と、「各被験者について転倒リスク抽出装置20により検知した転倒リスクF(n)」との誤差が小さいかどうかを問う。TUGテストは、歩行能力、動的バランス、及び敏捷性等を総合的に判断するテストで、測定時間の大きさから転倒リスクを判定することができる。転倒リスクの真値f(n)は、医学療法士による診断からも推定できるが、実施の形態1では、より客観的な数値が得られるTUGテストによって得られた結果を真値f(n)とする。
【0039】
誤差の評価に供する転倒リスクF(n)は、パラメータとして記憶部26に予め格納されている重みw(i)の初期値を用いて上記の式(1)~(3)により数百人以上のすべての被験者について算出する。また、誤差の評価に供する真値f(n)は、上述のTUGテストによって数百人以上のすべての被験者について算出する。実施の形態1では、真値f(n)と転倒リスクF(n)との誤差が小さければTRUE、大きければFALSEとして、すべての被験者でTRUE/FALSEを判定する。
【0040】
上述のTRUE/FALSEの判定において、誤差が小さいかどうかの判断は、各被験者において、真値f(n)と転倒リスクF(n)との差が、後述する標準誤差SE以下であれば、TRUE(検知 正解)、標準誤差SEより大きければ、FALSE(検知 不正解)とするものである。
【0041】
標準誤差SEは、下記のように算出する。1人目の被験者における転倒リスク抽出装置20で検知した転倒リスクF(1)とし、N人の全被験者について転倒リスク抽出装置20で検知した転倒リスクF(n)(n=1,…,N)を、F(1)~F(N)とする。
【0042】
下記の式(4)を用いてF(1)~F(N)の平均Eaを算出する。そして、下記の式(5)によって、F(1)~F(N)と平均Eaとの偏差の二乗和を全被験者数Nで除算することにより、F(1)~F(N)の分散Sa2を算出する。
【0043】
【数4】
【0044】
【数5】
【0045】
下記の式(6)に示したように、分散Sa2の平方根であるF(1)~F(N)の標準偏差Saを算出し、式(7)に示したように、標準偏差Saを全被験者数Nの平方根で除算することにより、標準誤差SEを得る。
【0046】
【数6】
【0047】
【数7】
【0048】
実施の形態1では、式(7)で算出した標準誤差SEを用いた全被験者のTRUE/FALSEの判定結果の二項分類に基づいて各々得た再現率と適合率との調和平均であるF値を1つ算出する。そして、算出したF値の大きさで転倒リスクF(n)の精度を評価する。
【0049】
転倒リスク判定結果である転倒リスクF(n)と転倒リスク真値f(n)との誤差の評価には、下記の式(8)で示したすべての被験者の誤差の2乗平均平方根誤差RMSE(Root Mean Squared Error)を算出してもよい。又は、データの分布の類似性を判定可能な機械学習済みモデルを用い、転倒リスクF(n)及び転倒リスク真値f(n)の各々の分布の類似度に基づいて誤差の評価を行ってもよい。
【0050】
【数8】
【0051】
ステップS107では、算出した転倒リスクF(n)を被験者に表示する。具体的には、ディスプレイ300に転倒リスクについての数値F(n)を表示する。転倒リスクF(n)の値に応じてディスプレイ300の表示色を変化させることにより、被験者に転倒のリスクを直感的に認識させるようにしてもよい。
【0052】
以上説明したように、実施の形態1によれば、歩行の映像を取得し、映像から人体骨格を抽出し、骨格における初期歩行特徴を抽出し、複数の関節の初期歩行特徴を加算又は複素表現したデータを周波数解析することで、複数部位の動作の相関を考慮して転倒リスクF(n)を抽出することができる。抽出した転倒リスクF(n)により、複数部位の動作の連動性に関する転倒リスクの評価が可能なので、結果として、診察又はリハビリの経過観察において、より詳細な転倒リスクの診断ができる。
【0053】
実施の形態1では、リスク判定用歩行特徴V(i,n)に周波数解析後歩行特徴の最大振幅の負の値を適用したが、これに限定されない。リスク判定用歩行特徴V(i,n)に周波数解析後歩行特徴の最大振幅の正の値を適用してもよく、かかる場合には、転倒リスクF(n)の値が低いほど転倒リスクが大きいことを示す。
【0054】
《実施の形態2》
実施の形態1では、被験者の複数の関節の歩行特徴に基づいて、当該被験者の転倒リスクF(n)を算出する例について説明した。被験者の歩行状態を判定するには、当該被験者の複数の関節の歩行特徴に加えて、当該被験者の両足が地面に接している時間である両脚支持期も考慮することが望ましい。
【0055】
図7は、実施の形態2に係る転倒リスク抽出装置200を示す機能構成図である。転倒リスク抽出装置200は、骨格情報抽出部22で抽出した骨格情報から得た両脚の関節の初期歩行特徴から被験者の両脚支持期を検出する両脚支持期検出部25をさらに備え、転倒リスク判定部28は、周波数解析部24で出力される周波数解析結果と、両脚支持期検出部25で出力される両脚支持期とから転倒リスクを判定する点で実施の形態1に係る転倒リスク抽出装置20と相違する。しかしながら、その他の構成は実施の形態1に係る転倒リスク抽出装置20と同じなので、転倒リスク抽出装置20と同一の構成については、転倒リスク抽出装置20と同一の符号を付して詳細な説明は省略する。また、実施の形態2のハードウェア構成は、実施の形態1のハードウェア構成と同じなので、詳細な説明は省略する。
【0056】
図7において、骨格情報抽出部22は、実施の形態1と同様に、映像入力部21を介して入力された映像から人体の関節の3軸座標を骨格情報として抽出し、抽出した骨格情報を複数関節情報前処理部23と両脚支持期検出部25とに出力する。
【0057】
両脚支持期検出部25は、骨格情報抽出部22で抽出した骨格情報から被験者の両足首の初期歩行特徴を算出する。初期歩行特徴は、例えば、左右各々の足首の位置又は角度の時系列データ、及び左右各々の足首の位置又は角度の時系列データを微分したデータである。足首の位置データの微分値は速度であり、足首の角度の微分値は角速度である。実施の形態2において、左右各々の足首の位置の時系列データは、歩行における時間が経過したときの左右各々の足首の1軸、2軸又は3軸の座標の値である。座標は、3軸の場合であれば一例として、撮影環境の1つの地点又は映像の画面内の1つの定点を原点に設定し、当該原点から水平方向にx軸及びy軸を設定すると共に、垂直方向にz軸を設定する。また、一例として、x軸は東西方向、y軸は南北方向に設定する。足首の角度は、左右いずれかの足首について、当該足首以外の任意の2つの関節と結ぶ線分がある場合に、同じ端点を持つ2つの線分の間の隔たりを表す量である。角度の時系列データは歩行における時間が経過したときの角度の値とする。実施の形態2では、被験者の両足首の初期歩行特徴のうち、左右各々の足首の速度に基づいて被験者の両脚支持期を検出する。
【0058】
図9(a)は、転倒リスクがない被験者の両脚支持期50を算出した例である。図9(b)は、転倒リスクがある被験者の両脚支持期52を算出した例である。図9(a)及び図9(b)では、歩行における進行方向についての右足首と左足首の各々の速度変化を出力している。実施の形態2では、図9(a)及び図9(b)に示したように、右足首と左足首の各々の速度が一定の閾値T以下になっている時間を両脚支持期50、52とする。閾値Tは、例えば、被験者の実際の歩行状態と、当該被験者の右足首と左足首の各々の速度とを比較衡量して具体的に決定する。図9(a)と図9(b)とを比較すると、図9(b)の両脚支持期52が、図9(a)の両脚支持期50よりも長く、両脚支持期が長い場合、転倒リスクが大きくなることを示唆している。両脚支持期を検出するために用いる初期歩行特徴は、図9(a)及び図9(b)では歩行における進行方向の足首の速度変化を用いているが、歩行における左右の方向、鉛直方向の任意の関節の位置、加速度の時系列データ、又は左右各々の足首の関節の角度又は角速度の時系列データを用いてもよい。
【0059】
転倒リスク判定部28は、周波数解析部24が出力した周波数解析結果と、両脚支持期検出部25が出力した両脚支持期と、記憶部26に格納されたデータに基づいて被験者の転倒リスクを抽出する。被験者の転倒リスクは、最小0最大100の値で、より大きい値であれば転倒リスクが増大し、より小さい値であれば転倒リスクが少なくなる指標である。記憶部26は、周波数解析後歩行特徴から転倒リスクを抽出するための計算式のパラメータを格納する。また、表示部30は、転倒リスク判定部28で抽出した転倒リスクの値をディスプレイ300等に表示して被験者に報知する。例えば、ディスプレイ300に、「Fine」等の文字を表示して転倒リスクが少ないことを示す、又は「Frail」等の文字を表示して転倒リスクが高いことを示してもよい。
【0060】
以下、実施の形態2に係る転倒リスク抽出装置200の動作の一例について説明する。図8は、実施の形態2に係る転倒リスク抽出装置200の動作の一例を示したフローチャートである。図8のステップS201、S202、S203、S204、S205の各々は、図3に示した実施の形態1のフローチャートにおけるステップS101、S102、S103、S104、S105と同じなので、詳細な説明は省略する。
【0061】
ステップS206では、両脚支持期検出部25は、骨格情報抽出部22で抽出した骨格情報から、両足首の初期歩行特徴を抽出する。両脚支持期検出部25が抽出する両足首の初期歩行特徴は、前述のように、例えば、左右各々の足首の速度等である。
【0062】
ステップS207では、両脚支持期検出部25は、ステップS206で抽出した両脚の関節の初期歩行特徴から両脚支持期を検出する。前述のように、実施の形態2では、図9(a)及び図9(b)に示したように、右足首と左足首の各々の速度が一定の閾値T以下になっている時間を両脚支持期50、52とする。
【0063】
ステップS208では、転倒リスク判定部28は、記憶部26に格納されているパラメータを参照すると共に、後述する転倒リスクを判定するための計算式を再現するプログラムを動作させ、周波数解析部24から出力された周波数解析結果から転倒リスクを判定する。当該プログラムの構成の具体的な方法は、C++又はPython等のプログラミング言語にて転倒リスクを判定するための計算式と同様の処理を実施するプログラムを構成しソフトウェアに組み込む。
【0064】
転倒リスクを判定するための計算式は、一例として上述の式(2)、(3)、及び下記の式(9)である。式(9)は、転倒リスク判定に使用するリスク判定用歩行特徴V(i,n)の定義式である。リスク判定用歩行特徴V(i,n)は、周波数解析後歩行特徴の最大振幅の負の値又は両脚支持期である。リスク判定用歩行特徴V(i,n)におけるiは、総数I個存在する周波数解析後歩行特徴の各々を識別するリスク判定用歩行特徴番号である。実施の形態2では、式(9)の番号iの総数Iについて、加算若しくは複素表現する関節の組み合わせを変化させたときの周波数解析結果又は両脚支持期をすべて出力し、関節の組み合わせの総数(I-1)と両脚支持期の数の1とを合計した値をIとする。また、リスク判定用歩行特徴V(i,n)におけるnは、総数N人存在する被験者の各々を識別する被験者番号である。
【0065】
【数9】
【0066】
実施の形態2では、実施の形態1と同様に、周波数解析結果の最大振幅について、この振幅の大きさを用いて転倒リスクを判定することで、振幅が大きければ歩行にぶれがなく健常的な歩行ができており転倒リスクが小さく、振幅が小さければ歩行にぶれがあり虚弱的な歩行であり転倒リスクが大きいと判定する。また、両脚支持期の値の大きさに基づいても転倒リスクを判定する。両脚支持期が小さければ、左右の脚の立脚と遊脚との切り替えをスムーズに行う健常的な歩行ができており転倒リスクが小さく、両脚支持期が大きければ、左右の脚の立脚と遊脚との切り替えがスムーズに行えていない虚弱的な歩行であり転倒リスクが大きいと推定できる。具体的には両脚支持期が大きい場合、両足が地面に接しており両足とも前に動かせていない状態であり、この状態の時間が長く続くことにより、歩行の連動的な動作が滞っていることが伺える。従って、両脚支持期が大きい場合は転倒リスクが大きく、逆に両脚支持期が小さい場合は転倒リスクが小さいと判定できる。
【0067】
上述のように、式(2)は、i番目のリスク判定用歩行特徴V(i,n)について、すべての被験者全体で正規化することにより、0から100までの値を示す正規化後リスク判定用歩行特徴S(i,n)を算出する計算式である。実施の形態2では、上述の式(9)を用いて算出したリスク判定用歩行特徴V(i,n)を、式(2)に適用する。
【0068】
実施の形態1で説明したように、式(2)による正規化処理は、総数Nのすべての被験者のうち、最大のリスク判定用歩行特徴が100、最小のリスク判定用歩行特徴が0となるように正規化するものである。なお、正規化後リスク判定用歩行特徴S(i,n)は、時系列等の複数の値の集合ではなく、変数i又はnの各々について1つの値が対応する。
【0069】
実施の形態1で説明したように、式(3)は、式(2)で抽出した正規化後リスク判定用歩行特徴S(i,n)を、被験者ごとに、総数Iのすべての正規化後リスク判定用歩行特徴S(i,n)に重み付けをして加算することにより、転倒リスクF(n)を算出する。式(3)の重みw(i)は、パラメータとして記憶部26に格納されている。実施の形態2では、実施の形態1と同様に、より高精度に転倒リスクを判定できるパラメータを算出して記憶部26に格納する。
【0070】
記憶部26に格納する、より高精度に転倒リスクを判定できるパラメータの作成は、実施の形態1と同様に、パラメータの取り得るすべての値について、転倒リスクF(n)の判定結果を出力し、転倒リスクの真値との誤差がより小さい場合のパラメータを取得するという方法を用いる。転倒リスク判定結果である転倒リスクF(n)と転倒リスク真値f(n)との誤差の評価は、実施の形態1と同様に、F値を精度評価指標とする、すべての被験者の誤差の2乗平均平方根誤差RMSEを算出する、又はデータの分布の類似性を判定可能な機械学習済みモデルを用いて行う。
【0071】
ステップS209では、算出した転倒リスクF(n)を被験者に表示する。具体的には、ディスプレイ300に転倒リスクについての数値F(n)を表示する。転倒リスクF(n)の値に応じてディスプレイ300の表示色を変化させることにより、被験者に転倒のリスクを直感的に認識させるようにしてもよい。
【0072】
以上説明したように、実施の形態2によれば、被験者の複数の関節の歩行特徴と、両脚支持期とに基づいて転倒リスクF(n)を算出することができる。算出した転倒リスクF(n)により、複数部位の動作の連動性と、左右の脚の立脚または遊脚の切り替えのスムーズさとを考慮した転倒リスクの評価が可能なので、結果として、診察又はリハビリの経過観察において、より詳細な転倒リスクの診断ができる。
【0073】
実施の形態2では、両脚支持期検出部25で両足首の歩行特徴を抽出したが、これに限定されない。複数関節情報前処理部23で両足首の歩行特徴を抽出してもよい。
【0074】
《実施の形態3》
実施の形態1では、複数の関節の動作の相関を含む歩行特徴を周波数解析し、得られた周波数特性の最大振幅を正規化した値の加重平均を算出して前記被験者の転倒リスクを判定したが、実施の形態3では、「関節間の特徴の相関係数」を用いて転倒リスクを算出する。実施の形態3に係る転倒リスク抽出装置の構成は実施の形態1に係る転倒リスク抽出装置20と同じなので、詳細な説明は省略する。また、実施の形態2のハードウェア構成は、実施の形態1のハードウェア構成と同じなので、詳細な説明は省略する。
【0075】
「関節の特徴」とは、例えば、複数関節情報前処理部23で抽出した関節の変位の時系列データ、または周波数特性の周波数スペクトルのデータである。実施の形態3では、1人の被験者について、関節の特徴A、Bがある場合を想定する。第1群である特徴AはA1からAnまであり、第2群である特徴BはB1からBnまであり、特徴A、Bの各々はn個のデータで構成されている場合、相関係数は以下の手順で算出される。
【0076】
特徴Aについて、A1~Anの平均Eaを算出し、A1~Anの各々と平均Eaとの偏差を算出。算出した偏差の各々の二乗和をnで除算してA1~Anの分散Sa2を算出し、さらに分散Sa2の平方根である標準偏差Saを算出する。特徴Bについても同様に、B1~Bnの平均Eb、B1~Bnの各々と平均Ebとの偏差、B1~Bnの分散Sb2、及び標準偏差Sbを算出する。
【0077】
A1~Anの各々とEaとの偏差の各々の値と、B1~Bnの各々とEbとの偏差の各々の値との積の平均である特徴Aと特徴Bの共分散Sabを算出する。
【0078】
相関係数rは、下記の式(10)に示したように、共分散Sabを標準偏差Saと標準偏差Sbとの積で除算することで得られる。
【0079】
【数10】
【0080】
相関係数rは、各々の被験者で、特徴A、Bのような2つの特徴の組み合わせ毎に原則として1つの値を算出できる。しかしながら、各々の関節には、鉛直方向の変位、進行方向の速度、鉛直方向を軸とした角度の変位等の複数の歩行特徴が認められるので、これら複数の歩行特徴を用いて、複数の相関係数rを算出できる。相関係数rは、-1≦r≦1の値を示し、rが1に近いほど特徴A、Bには正の相関があり、-1に近いほど特徴A、Bには負の相関がある。また、r=0に近い場合、特徴A、Bに相関はない。
【0081】
実施の形態3では、算出した相関係数rを、周波数特性の最大振幅又は両脚支持期と同様に転倒リスク検知に利用する。例えば、特徴Aが被験者の右足首関節の位置の変位量のうち所定の閾値以上となった変位量の時系列データであり、特徴Bが当該被験者の左足首関節の位置の変位量のうち所定の閾値以上となった変位量の時系列データであるとする。当該被験者の左右の足首の関節の位置の変位量に差がある場合、当該被験者の歩行は不安定であることが推定できる。かかる場合に、特徴A、Bについて算出された相関係数rは-1に近い負の値となり、当該被験者の左右の足首の関節の変位量に負の相関があることを示す。逆に、当該被験者の左右の足首の関節の変位量に差がない場合、当該被験者の歩行は安定であることが推定できる。かかる場合に、特徴A、Bについて算出された相関係数rは1に近い負の値となり、当該被験者の左右の足首の関節の変位量に正の相関があることを示す。
【0082】
なお、請求の範囲における「骨格情報抽出部」は、発明の詳細な説明に記載の「骨格情報抽出部22」に、請求の範囲における「関節情報抽出部」及び「歩行特徴算出部」は、発明の詳細な説明に記載の「複数関節情報前処理部23」に、請求の範囲における「周波数解析部」は、発明の詳細な説明に記載の「周波数解析部24」に、請求の範囲における「転倒リスク抽出部」は、発明の詳細な説明に記載の「転倒リスク判定部27、28」に、請求の範囲における「両脚支持期検出部」は、発明の詳細な説明に記載の「両脚支持期検出部25」に各々相当する。
【符号の説明】
【0083】
10 カメラ、20 転倒リスク抽出装置、21 映像入力部、22 骨格情報抽出部、23 複数関節情報前処理部、24 周波数解析部、25 両脚支持期検出部、26 記憶部、27、28 転倒リスク判定部、200 転倒リスク抽出装置
【要約】
転倒リスク抽出装置(20)は、被験者の歩行の映像から、当該被験者の骨格情報を抽出する骨格情報抽出部(22)と、骨格情報から、当該被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化の各々を含む情報を抽出すると共に、抽出した情報に基づいて、複数の関節の動作の相関を含む歩行特徴を算出する複数関節情報前処理部(23)と、複数の関節の動作の相関を含む歩行特徴に基づいて当該被験者の転倒リスクを抽出する転倒リスク判定部(27)と、を備える。
図1
図2
図3
図4
図5
図6
図7
図8
図9