IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人鳥取大学の特許一覧 ▶ 株式会社ケイズの特許一覧

<>
  • 特許-危険度推定システム 図1
  • 特許-危険度推定システム 図2
  • 特許-危険度推定システム 図3
  • 特許-危険度推定システム 図4
  • 特許-危険度推定システム 図5
  • 特許-危険度推定システム 図6
  • 特許-危険度推定システム 図7
  • 特許-危険度推定システム 図8
  • 特許-危険度推定システム 図9
  • 特許-危険度推定システム 図10
  • 特許-危険度推定システム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-19
(45)【発行日】2022-05-27
(54)【発明の名称】危険度推定システム
(51)【国際特許分類】
   A61B 5/00 20060101AFI20220520BHJP
   G08B 25/04 20060101ALI20220520BHJP
   G08B 21/02 20060101ALI20220520BHJP
   G08B 25/00 20060101ALI20220520BHJP
   G06T 7/593 20170101ALI20220520BHJP
【FI】
A61B5/00 102A
A61B5/00 102C
G08B25/04 K
G08B21/02
G08B25/00 510M
G06T7/593
【請求項の数】 4
(21)【出願番号】P 2018089722
(22)【出願日】2018-05-08
(65)【公開番号】P2019195395
(43)【公開日】2019-11-14
【審査請求日】2021-02-18
(73)【特許権者】
【識別番号】504150461
【氏名又は名称】国立大学法人鳥取大学
(73)【特許権者】
【識別番号】502162882
【氏名又は名称】株式会社ケイズ
(74)【代理人】
【識別番号】100118393
【弁理士】
【氏名又は名称】中西 康裕
(72)【発明者】
【氏名】櫛田 大輔
(72)【発明者】
【氏名】神庭 公祐
(72)【発明者】
【氏名】小谷 悠太
【審査官】樋口 祐介
(56)【参考文献】
【文献】特開2016-104071(JP,A)
【文献】特開2018-067203(JP,A)
【文献】特開2016-212782(JP,A)
【文献】米国特許出願公開第2017/0055888(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B5/00-5/01
A61G7/00-7/16
G06T7/00-7/90
G08B19/00-31/00
(57)【特許請求の範囲】
【請求項1】
深度値により形成された深度値画像を基に形成される、少なくともベッド上における危険度推定対象物の直上画像を取得する直上画像取得部と、
前記直上画像を基に危険度を推定する危険度推定部と、
前記危険度推定部による推定結果を出力する推定結果出力部と、
を備え
前記危険度推定部は、
前記直上画像から前記深度値を用いて、深度方向となるZ軸方向、ベッド横方向となるX軸方向、ベッド縦方向となるY軸方向にベッド上を分割してなる複数の立方体領域の区画に分割する立方体分割手段からなり、
前記立方体分割手段からなる前記区画を基に危険度の推定を行うことを特徴とする危険度推定システム。
【請求項2】
深度値により形成された深度値画像を基に形成される、少なくともベッド上における危険度推定対象物の直上画像を取得する直上画像取得部と、
前記直上画像を基に危険度を推定する危険度推定部と、
前記危険度推定部による推定結果を出力する推定結果出力部と、
を備え
前記危険度推定部は、
前記直上画像から前記深度値を用いて、深度方向となるZ軸方向、ベッド横方向となるX軸方向、ベッド縦方向となるY軸方向にベッド上を分割してなる複数の立方体領域に分割を行う立方体分割手段と、
分割された前記立方体領域から前記Z軸方向における着目する層を決定する着目層決定手段と、
からなり、前記着目層決定手段により決定された着目層を基に危険度の推定を行うことを特徴とする危険度推定システム。
【請求項3】
前記危険度推定部は、更に、
対象物の位置を特定するための位置特定手段と、
前記位置特定手段により特定された位置を基に危険度を算出する危険度算出手段と、
を備えていることを特徴とする請求項2に記載の危険度推定システム。
【請求項4】
前記直上画像取得部は、前記深度値画像を前記直上画像に変換する直上画像変換手段を備えることを特徴とする請求項1から3の何れか1項に記載の危険度推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療現場においてベッド上の患者の転倒や転落等による事故のリスクを非接触・非拘束で取得する危険度推定システムに関する。
【背景技術】
【0002】
入院している患者や高齢者がベッドから転倒、転落する事故が問題となっていることから、このような事故に関連する様々な技術が知られている。その一例として、ベッドの横に荷重を検出するセンサを配置し、センサで荷重が検出されると患者等の転落が生じたとして通報する装置が知られている。
【0003】
また、本願の発明者自身が開発した技術として、特許文献1にある患者に取り付けたセンサにより姿勢情報を取得して、その姿勢情報に基づいて転落の危険度を算出するシステムが知られている。
【0004】
また、荷重センサを用いたり、患者自身にセンサを取り付けたりするのではなく、特許文献2にあるようにベッド上の患者の画像を取得して、その画像を基に姿勢を推定する装置が知られている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2015-103042号公報
【文献】特開2014-236896号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、ベッドの横に荷重センサを配置する装置は、誤報が多くまた荷重が検出された後で通報することから転落を未然に防ぐことは難しい等の難点がある。
【0007】
また、特許文献1の患者自身にセンサを取り付ける方法は、患者自身が取り付けたセンサを不快に感じ、センサを勝手に取り外してしまったり、手術等の影響で適切な位置にセンサを取り付けることができなかったり等の難点がある。
【0008】
また、特許文献2のように患者の画像を取得して姿勢判定をするような装置は、非接触、非拘束であることから、使用中に患者に不快感を与えたり、自身で解除することができなかったり等のメリットはあるが、判定の精度の問題等もありまだまだ実際の現場で使用するには十分と言えるものではなかった。特に、特許文献2では患者の画像を患者の頭部横に設置して画像を取得している。このような横方向からの画像は、例えばベッド周辺の状況も含めて危険度の推定を行いたい場合に、視野角の問題もあり、十分な推定を行うことが難しい。
【0009】
そこで、本発明は、医療現場においてベッド上の患者の転倒や転落等による事故のリスクを、非接触、非拘束で取得することのできる危険度推定システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するため、本発明の危険度推定システムは、深度値により形成された深度値画像を基に形成される、危険度推定対象物の直上画像を取得する直上画像取得部と、前記直上画像を基に危険度を推定する危険度推定部と、前記危険度推定部による推定結果を出力する推定結果出力部と、を備えることを特徴とする。
【0011】
また、本発明の危険度推定システムは、前記危険度推定部が、前記直上画像から前記深度値を用いて、危険度推定を行うための判定層に分割する判定層分割手段と、分割された前記判定層の中から着目する層を決定する着目層決定手段と、からなり、前記着目層決定手段により決定された着目層を基に危険度の推定を行うことを特徴とする。
また、本発明の危険度推定システムは、前記判定層分割手段が、複数の立方体領域に分割する立方体分割手段からなることを特徴とする
【0012】
また、本発明の危険度推定システムは、前記危険度推定部が、更に、対象物の位置を特定するための位置特定手段と、前記位置特定手段により特定された位置を基に危険度を算出する危険度算出手段と、を備えていることを特徴とする。
また、本発明の危険度推定ステムは、前記直上画像取得部が、前記深度値画像を前記直上画像に変換する直上画像変換手段を備えることを特徴とする。
【発明の効果】
【0013】
本発明の危険度推定システムは、深度値により形成された深度値画像を基に形成される危険度推定対象物の直上画像を取得して、この直上画像を基に危険度を推定する構成であることから、医療現場におけるベッド上の患者の転倒や転落等による事故のリスクを、非接触、非拘束で取得することができる。そして、深度値画像を基に形成される直上画像を用いて危険度の推定を行う危険度推定システムは、従来全くなかったものである。また、直上画像を用いることにより、ベッド周辺の状況も含めた危険度の推定を容易に行うことができる。
【0014】
また、本発明の危険度推定システムは、危険度推定部が、危険度推定を行うための判定層に分割する判定層分割手段と、分割された判定層の中から着目する層を決定する着目層決定手段と、からなり、この着目層を基にして危険度の推定を行う構成となっている。このような方法によって、直上画像を用いて危険度の推定を行うことができる。
【0015】
また、判定層分割手段が、複数の立方体領域に分割する立方体分割手段からなるため、深度方向(Z軸方向)だけでなく、平面領域(X軸方向、Y軸方向)においても領域を分割して、より精度良く危険度推定を行うことができる。
【0016】
また、危険度推定部が、更に、対象物の位置を特定するための位置特定手段と、特定された位置を基に危険度を算出する危険度算出手段と、を備えているため、より精度良く危険度推定を行うことが可能である。
【0017】
また、直上画像取得部が、深度値画像を直上画像に変換する直上画像変換手段を備えるため、危険度推定対象物を斜め方向から撮影して取得した深度値画像からでも直上画像を取得することができる。なお、斜め方向から撮影する場合には、直上画像に変換できる範囲であれば深度値画像を取得する入力部を設置できるので、入力部の設置位置の選択肢が非常に多くなる。
【図面の簡単な説明】
【0018】
図1】実施形態1の危険度推定システムのハードウェア構成を示すブロック図である。
図2】実施形態1の危険度推定システムの機能構成を示すブロック図である。
図3】実施形態1の危険度推定システムの使用例と危険度推定の概念を示した図である。
図4】実施形態2の危険度推定システムの機能構成を示すブロック図である。
図5】(A)は実施形態2の危険度推定システムの使用例と危険度推定の概念を示した図であり、(B)は危険度推定において用いる記号を使用例にあわせて概念的に示した図である。
図6】斜め方向の深度値画像を直上画像へ変換する座標変換のイメージ図である。
図7】危険度推定においてZ軸の各層毎に最大データ数を持つ区画を抽出した具体例を示した図である。
図8】危険度推定において中層MLと下層LLを着目層として着目した場合の中層MLと下層LLのデータを足し合わせた具体例を示した図である。
図9】危険度推定の検証における危険度の重みの設定例を示した図である。
図10】危険度推定の検証における時系列データを示した図である。
図11】危険度推定の検証における深度値画像を危険度が高い順に並べた図である。
【発明を実施するための形態】
【0019】
以下、本発明の具体例について図面を用いて詳細に説明する。但し、以下に示す実施形態は、本発明の技術的思想を具体化するための例示であって、本発明をこの実施形態に特定することを意図するものではなく、本発明は、特許請求の範囲に含まれるその他の実施形態にも等しく適応し得るものである。
【0020】
[実施形態1]
まず、図1図2図3を参照して、本実施形態の危険度推定システム1の基本的な構成を説明する。図1は、危険度推定システム1のハードウェア構成を示すブロック図である。図2は、危険度推定システム1の機能構成を示すブロック図である。図3は、危険度推定システム1の使用例と危険度推定の概念を示した図である。
危険度推定ステム1は、図1に示すように、入力部2、制御部3、記憶部4、出力部5、通信部6を備えている。
【0021】
入力部2は、危険度推定システム1を用いて危険度推定を行う対象者Sが含まれる範囲について、深度値の情報により形成される深度値画像を取得するものであり、いわゆる距離画像センサと呼ばれるものである。本実施形態においては、具体的には、入力部2は、ベッドB上の対象者Sを含む画像を取得するためのカメラ2aと、カメラ2aで撮影する画像内の被写体までの深度に関する深度情報を取得する深度センサ2bと、を備えて構成されている。このような構成の距離画像センサとして、Microsoft社製のKINECT(登録商標)が知られている。
【0022】
なお、本実施形態において、このKINECTを用いて、深度値により形成さる画像を取得しているが、当然ながらこれ以外のものを用いても構わない。また、KINECTには音情報を取得するためのマイクロフォンが備わっている。したがって、このマイクロフォンを入力部2として用い、音情報を取得しても構わない。また、危険度推定に音情報も活用できる場合には、KINECTに限らず入力部2としてマイクロフォンを含むこともできる。また、入力部2は、図示していないが、カメラ2a、深度センサ2bの他に、例えば、危険度推定の対象者となる人の名前を入力する等、危険度推定システム1への情報を入力するためのキーボードやタッチパネル等の入力装置を含んでいても構わない。
【0023】
制御部3は、CPU、RAM、ROM等からなり、記憶されているプログラムに基づいて各部の制御や、危険度の推定に伴う各種の処理を実行する。記憶部4は、DRAMやHDDのような記憶装置であり、入力部2で取得した画像データを一時的に記憶しておく等、各種のデータ等を記憶しておく。出力部5は、表示装置やスピーカ等からなり、危険度推定による推定結果等を映像や音を用い出力する。
【0024】
通信部6は、インターネットやLAN等を介して携帯端末等の他の機器と通信を行うものである。この通信部6を介することで、危険度推定システム1は危険度推定の結果等を他の機器にも出力することができる。なお、危険度推定システム1は、この通信部6により、既存のナースコールシステムへ接続可能とする構成としてもよい。
このような危険度推定システム1は、図2に示すように、直上画像取得部10と、危険度推定部20と、推定結果出力部30を備えている。
【0025】
直上画像取得部10は、主に入力部2によって構成されており、危険度推定を行う対象者Sを俯瞰するように上方から観察した直上画像を、入力部2を用いて深度値による深度値画像を基に取得する。このような直上画像を取得するために、本実施形態における直上画像取得部10は、入力部2からなる深度値画像取得手段11のみを備えた構成となっている。従って、直上画像取得部10は、対象者の上方に深度値画像取得手段11である入力部2を設置し、この上方の入力部2から得た深度値画像そのものを直上画像として取得している。
【0026】
危険度推定部20は、主に制御部3や記憶部4によって構成されており、直上画像取得部10を介して取得した直上画像を基に、直上画像に含まれる深度値を用いて対象者の危険度を推定する。そして、本実施形態における危険度推定部20は、深度値を用いて直上画像を一定距離毎の画像に区分けし、この区分画像を用いて対象者の姿勢を判定することを特徴としている。このような危険度推定を実現するための一例として、危険度推定部20は、判定層分割手段21と、着目層決定手段22を備えている。
【0027】
詳細は具体例とともに後述するが、判定層分割手段21は、直上画像から深度値を用いて、危険度推定を行うための判定層に分割する。着目層決定手段22は、分割された判定層の中から着目する層を決定する。そして、危険度推定部20は、着目層決定手段22により決定された着目層を基に危険度の推定を行う。
【0028】
つまり、本実施形態の危険度推定部20は、直上画像の深度値の情報を基に、直上画像を深度方向(Z軸方向)に沿って一定距離毎の画像に分割して、一定距離毎の各画像を判定層として形成する。そして、危険度推定部20は、各判定層の中に対象者Sの一部が出現しているか否かにより、対象者Sの出現が見られた判定層を着目層として決定し、その着目層を基に対象者Sが転倒の危険にあるかどうかを推定する。
【0029】
推定結果出力部30は、主に出力部5によって構成されており、危険度推定部20により推定された対象者Sの危険度についてモニタ等を用いて出力する。この推定結果の出力については、例えば、転倒の危険が高い場合に、危険度が高いことがわかるように、文字で表示したり、音声で出力したりする。
【0030】
このような構成の危険度推定システム1について、次に実際の使用例を基に説明を行う。図3は、危険度推定システム1の使用例と共に、危険度推定の概念を示した図である。危険度推定システム1は、ベッドBを使用する対象者SのベッドB上の様子を、直上画像取得部10により取得した直上画像を用いて危険度の推定を行う。
【0031】
直上画像取得部10を構成する入力部2の距離画像センサとして、先にも説明したようにMicrosoft社製のKINECT(登録商標)を用いた。このKINECTには、512×424[pixel]の平面内に奥行の距離を取得する機能がある。また、この入力部2は、直上画像を得るために対象者Sを上方から撮影する必要があり、ベッドBが置かれた部屋の天井Cに設置されている。
【0032】
また、本実施形態においては、危険度推定部20を構成するハードウェアについても、ベッドBが設置されている部屋Rに配置されており、推定結果出力部30を構成するハードウェアについては、部屋Rとは異なる部屋(例えば、ナースステーション)に配置されている。
【0033】
なお、危険度推定システム1は、推定結果出力部30を構成するハードウェアについても、ベッドBが設置されている部屋Rに配置することもできる。この場合、推定結果出力部30によって対象者Sが危険な状態であることを知らせる必要があるため、推定結果出力部30は、警報音等、音声による出力が好ましい。また、部屋Rに設置することで、対象者S本人に対しても、危険であることを自覚させることもできる。
【0034】
また、危険度推定システム1は、直上画像取得部10を構成するハードウェアを部屋Rに配置し、危険度推定部20や推定結果出力部30を構成するハードウェアを部屋Rとは異なる部屋に配置するという構成を採用することもできる。
【0035】
直上画像取得部10で取得された直上画像のデータは、危険度推定システム1の危険度推定部20へと送られる。そして、直上画像取得部10で取得された直上画像を基に、危険度推定部20により対象者Sの危険度推定が行われることになる。ここで、本実施形態における危険度推定部20における危険度推定の具体例を説明する。
【0036】
まず、直上画像取得部10で取得された直上画像は、深度値による深度値画像で形成されたものである。このため直上画像には深度値の情報が含まれている。そこで、判定層分割手段21は、この深度値を用いて、判定層に分割する。具体的には、直上画像を深度方向(Z軸方向)において一定距離毎の画像に分割して、一定距離毎の各画像を判定層として形成する。
【0037】
図3には、判定層として、下層LL、上層ULの二つの層に分割した例を示している。下層LLは、ベッドB表面を基準(0m)として、0.1~0.9mの画像からなる判定層である。また、上層ULは、0.9~1.4mの画像からなる判定層である。
【0038】
なお、下層LLの範囲について、ベッドB表面の基準0mからではなく0.1mからとした。この理由として、ベッドB表面(0m)からとすると、掛け布団や、シーツのシワ、マットレスの沈み等の影響を受けてしまうためである。そして、特に掛け布団の厚みの影響が大きく、掛け布団の厚みが概ね0.1m以下であったことから、下層LLを0.1mからとした。従って、使用する掛け布団がより厚い物であれば、例えば、0.2mからとすることも可能である。ただし、あまり大きな値にしてしまうと、後述する臥位の姿勢を検出できなくなるため、対象者Sである人体の厚みを考慮すると、0.1mからとするのが好ましい。
【0039】
そして、着目層決定手段22は、下層LL、上層ULに分割された判定層の中から着目層を決定する。この着目層の決定は、次のようにして決定することができる。まず、上層ULに直上画像を形成するデータ数が所定値(閾値)以上あるか否かで決定する。そして、上層ULに閾値以上のデータ数があれば、上層ULを着目層として決定する。
【0040】
上層ULに閾値以上のデータ数がなければ、次に下層LLに着目し、下層LLに直上画像を形成するデータ数が閾値以上あるか否かで決定する。そして、下層LLに閾値以上のデータ数があれば、下層LLを着目層として決定する。
【0041】
この点について、図3を用いて説明する。図3には、ベッドBにて対象者Sにより想定される3つの代表的な姿勢を示している。この3つの姿勢は、P1と記した姿勢:ベッドB上での臥位、P2と記した姿勢:ベッドB上での座位、P3と記した姿勢:ベッドBからの立位、である。なお、部屋Rの床からベッドB表面までの高さは、0.47mとなっている。
【0042】
例えば、対象者Sの姿勢が、姿勢P1やP2であれば、上層ULにおける直上画像に対象者Sの画像データはないので、上層ULには閾値以上のデータ数はない。一方、対象Sの姿勢が、姿勢P3であれば、上層ULにおける直上画像に、対象者Sの頭や肩の画像が存在する。従って、上層ULには閾値以上のデータ数があることになり、着目層決定手段22は、上層ULを着目層として決定する。
【0043】
また、対象者Sの姿勢が、姿勢P1やP2であれば、上層ULにおける直上画像に対象者Sの画像データはないが、下層LLには、対象者Sの画像が存在するため、閾値以上のデータ数があることになる。従って、着目層決定手段22は、下層LLを着目層として決定する。
【0044】
このように危険度推定部20は、着目層を決定して危険度の推定を行う。この危険度の推定は、例えば着目層が上層ULであれば対象者SがベッドBから立ち上がって、立位の姿勢になっていることが考えられるので転倒する危険性が非常に高いと言える。このため、危険度推定部20は、転倒する危険度が大と推定することができる。また、着目層が下層LLであれば、対象者SがベッドB上で臥位、或は座位の姿勢になっていることが考えられるので転倒する危険性は低いと言える。このため、危険度推定部20は、転倒する危険度が小と推定することができる。
そして、推定結果出力部30は、危険度推定部20により推定された対象者Sの危険度推定の結果を、推定結果出力部30によってモニタ等を介して出力する。
【0045】
以上のように、危険度推定システム1は、深度値により形成された深度値画像を基に形成される、危険度推定対象物であるベッド上の対象者Sの直上画像を取得する直上画像取得部10と、この直上画像を基に危険度を推定する危険度推定部20と、この推定結果を出力する推定結果出力部30と、を備えた構成となっている。
【0046】
このため、従来知られている特許文献2のように、ベッドBの横方向(Y軸方向)から撮影した深度値画像を用いる場合に比べ、より精度の高い危険度推定を行うことが可能となる。つまり、横方向からの深度値画像の場合、対象者Sの延長線上にあるものは深度値画像を得ることができない。例えば、看護師がベッドB周辺に居た場合には、通常危険度が非常に低いか、或は危険度の推定をする必要はない。しかしながら、横方向からの画像では、対象者Sの延長線上に居る看護師を認識できないため、危険度の推定が難しい。また、横方向からでは、ベッドB周辺の情報を知る際にも視野角の問題で完全には捉えることができない。また、並べて置いてある物体(例えば、棚と冷蔵庫)がある場合に、両方の情報や、その高さの情報を得ることが難しい。このように、横方向からの深度値画像だけでの危険度推定では、得られる情報が限られてしまうことから、精度の高い危険度推定を行うことが難しい。
【0047】
そして更に、危険度推定システム1は、危険度推定部20が直上画像から深度値を用いて、危険度推定を行うための下層LLと上層ULからなる判定層に分割する判定層分割手段21と、判定層の中から着目する層を決定する着目層決定手段22と、からなり、着目層決定手段22により決定された着目層を基に危険度の推定を行う構成となっている。このため、危険度推定システム1は、ベッドBでの対象者Sの事故のリスクを、非接触、非拘束で取得することができる。
【0048】
なお、本実施形態の危険度推定システム1は、危険度推定部20が判定層分割手段21と、着目層決定手段22と、からなる構成であるが、このような構成を備えていない場合には、例えば、直上画像から所定の距離における形状やベッドB上の位置を特定し、その情報から対象者Sの姿勢をパターンマッチング等で特定し、危険度推定を行うことが考えられる。
【0049】
また、着目層決定手段22において、下層LLに直上画像を形成するデータ数が閾値以上ない場合には、対象者Sが不在状態であるとして危険度の推定(例えば、不在のため転倒する危険はなしと推定)を行うことができる。また、着目層決定手段22において、判定層に直上画像を形成するデータ数が閾値以上あるか否かで決定しているのは、ベッドBの布団やベッドB周りに設置された柵等、対象者S以外に様々な物が存在しているため、対象者S以外の物が直上画像に含まれる場合の影響を防ぐためである。例えば、入力部2で、512×424[pixel]のデータを取得するKINECT(登録商標)を用いる場合に、データ数の閾値の一例として、1500程度とすることができる。
【0050】
[実施形態2]
次に他の実施形態である危険度推定システム1Aについて説明する。図4は、危険度推定ステム1Aの機能構成を示すブロック図である。図5は、危険度推定システム1Aの使用例と危険度推定の概念を示した図である。
【0051】
なお、本実施形態の危険度推定システム1Aは、図1に示す実施形態1の危険度推定システム1と同様のハードウェア構成となっており、入力部2、制御部3、記憶部4、出力部5、通信部6を備えている。そして、危険度推定システム1Aは、図4に示すように直上画像取得部10Aと、危険度推定部20Aと、推定結果出力部30Aを備えている。
【0052】
直上画像取得部10Aは、主に入力部2によって構成されており、危険度推定を行う対象者Sを上方から観察したような直上画像を、入力部2を用いて深度値による深度値画像を基に取得する。
【0053】
ここで、実施形態1の危険度推定システム1では、直上画像取得部10は、深度値画像取得手段11のみで構成し、対象者Sの上方である部屋Rの天井Cに設置した入力部2から得た深度値画像そのものを直上画像として取得していた。
【0054】
ところで、直上画像を取得するには、入力部2の設置場所として、実施形態1のように、部屋Rの天井Cで、特にベッドBの中心の直上が理想的である。しかしながら、部屋Rの天井Cに入力部2を設置することは、入力部2が対象者Sへ落下する危険性があること、入力部2が視界に入り対象者Sに不快感を与える可能性があること等からあまり好ましくはない。
【0055】
そこで、本実施形態では、図5に示すように入力部2の設置場所として、対象者Sの視界に入り難いベッドBの頭部側としている。このため、本実施形態危険度推定システム1Aでは、直上画像取得部10Aの構成として、深度値画像取得手段11Aと、直上画像変換手段12Aを備えたものとなっている。
【0056】
深度値画像取得手段11Aは、実施形態1の深度値画像取得手段11と同様に、深度値による深度値画像を取得する。このとき、本実施形態では、深度値画像は、ベッドBを斜め方向から撮影した画像となる。そこで、危険度を推定する直上画像を得るために、この斜め方向から撮影した深度値画像を用いて、対象者Sの真上から撮影したような画像に変換する必要がある。
【0057】
そこで、直上画像変換手段12Aは、深度値画像取得手段11Aにより取得した深度値画像を直上画像へ変換する。深度値画像を直上画像に変換する具体的な方法については、具体例ともに後述する。
【0058】
危険度推定部20Aは、主に制御部3や記憶部4によって構成されており、直上画像取得部10Aを介して取得した直上画像を基に、直上画像に含まれる深度値を用いて対象者Sの危険度を推定する。このような危険度推定を実現するための一例として、本実施形態においては、立方体分割手段21Aと、着目層決定手段22Aと、位置特定手段23Aと、危険度算出手段24Aを備えている。
【0059】
立方体分割手段21Aは、直上画像から深度値を用いて、危険度推定を行うための格子状の領域に分割する。ここで、実施形態1の判定層分割手段21は、深度の方向(Z軸方向)に下層LL、上層ULのように分割するのみであった。一方、本実施形態の立方体分割手段21Aは、Z軸方向に分割するだけでなく、図5に示すようにベッドBの横方向(X軸方向)、縦方向(Y軸方向)にも分割することで、複数の立方体領域に分割を行う構成となっている。
【0060】
このように、Z軸方向だけでなくて、X軸方向とY軸方向についても分割を行うことで、対象者SがベッドB上のどこにいるのかを含めて危険度の推定を行うことができるので、危険度推定システム1Aは、より精度の高い危険度推定を行うことが可能となる。
着目層決定手段22Aは、分割された立方体領域から、危険度推定を行うためのZ軸方向における着目層を決定する。
【0061】
位置特定手段23Aは、対象者Sが存在する位置を特定する。本実施形態においては、着目層決定手段22Aにより決定する着目層を基に、重心位置を利用して、対象者Sが存在する立方体領域の区画を推定することで対象者Sの位置を特定する。
【0062】
危険度算出手段24Aは、対象者Sの危険度を算出する。本実施形態においては、位置特定手段23Aによる重心位置を利用して、危険度を算出する。このような危険度を算出することにより、実施形態1の危険度推定部20に比べ、より精度の高い危険度推定を行うことが可能となる。
【0063】
また、位置特定手段23Aによる重心位置を利用することで、ベッドBの位置による危険度の違いを反映させた危険度推定を行うことができる。つまり、ベッドB上でも、ベッドB端は転倒の可能性が高く、また枕元では転倒の可能性が低い等、ベッドB上の位置によっても転倒の危険が異なっている。従って、各区画に危険性の重み付けを行うことで、対象者Sの位置と重みを基に危険度の算出を行うことが可能となる。
推定結果出力部30Aは、主に出力部5によって構成されており、危険度推定部20Aにより推定された対象者の危険度についてモニタ等を用いて出力する。
【0064】
このように、本実施形態の危険度推定システム1Aは、直上画像取得部10Aで、まず深度値画像取得手段11Aにより、ベッドBを斜め方向から撮影した深度値画像を取得し、次に直上画像変換手段12Aにより直上画像に変換する。そして、危険度推定システム1Aは、危険度推定部20Aで、立方体分割手段21Aにより深度値の情報を基にX、Y、Z軸方向に複数の区画に分割し、着目層決定手段22AによりZ軸方向における着目層を決定し、位置特定手段23Aにより対象者Sの位置を特定し、危険度算出手段24Aにより危険度の算出を行って、危険度推定を行い、推定結果の出力を推定結果出力部30Aで行う。
【0065】
このような構成の危険度推定システム1Aについて、次に図5の実際の使用例を基に説明を行う。なお、図5(B)には、以下で用いる記号を使用例にあわせて概念的に示している。上層ULはZ=2、中層MLはZ=1、下層LLはZ=0であり、図5(B)は下層LL(Z=0)の例を示している。また、dは各画素の境界線、nは区画内のデータ数、wは転倒リスクの重みである。
危険度推定システム1Aは、ベッドBを使用する対象者SのベッドB上の様子を、直上画像取得部10Aにより取得した直上画像を用いて危険度の推定を行う。
【0066】
直上画像取得部10Aを構成する入力部2の距離画像センサとして、実施形態1と同様に、Microsoft社製のKINECT(登録商標)を用いた。また、この入力部2は、対象者Sの視界に入り難いよう、ベッド頭部側に設置されている。
なお、本実施形態における条件について、以下のようになっている。
ベッドBのサイズ(W×D×H) 0.9×2.1×0.5[m]
入力部2の傾き角度θ 32.4[°]
地面から入力部2までの高さ 1.95[m]
ベッドBから入力部2までの高さ 1.45[m]
【0067】
直上画像取得部10Aの深度値画像取得手段11Aで取得された深度値画像は、斜め方向から撮影されたデータであるため、ベッドBの中心の直上から見た直上画像への変換が必要となる。そこで、本実施形態においては、直上画像変換手段12Aによって、斜め方向から得た深度値画像が直上画像へと変換されることになる。直上画像への変換については、取得したデータを、式(1)を使い射影する。
【0068】
【数1】
【0069】
ここで、θは地面に対する入力部2の傾きであり、本実施形態では32.4°となっている。式(1)の変換は、深度値画像を構成する512×424[pixel]の距離情報全てに対して行う。この変換結果から直上画像を得る。
【0070】
なお、直上画像への変換について補足する。図6に式(1)による座標変換のイメージ図を示す。入力部2から得られた深度情報を、真上から撮影した情報へ変換するためには、ZY座標系をZ´Y´座標系に変換すればよい。Z´Y´座標はZY座標から角度90-θ[°]だけ傾いているため、座標データPに対し回転行列を乗算すれば、Z´Y´座標軸データP´に変換できる。このことから、式(1)により直上画像への変換が可能となる。
【0071】
直上画像取得部10Aによる直上画像のデータは、危険度推定部20Aへと送られる。そして、まず立方体分割手段21Aにより、深度値の情報を基にX、Y、Z軸方向に複数の立方体領域の区画に分割される。ところで、この直上画像のデータは、変換前の深度値画像と同様、512×424個という多くの距離情報を持つ。そのため全ての距離情報をそのまま使用すると危険度推定をリアルタイムに行うことが難しい。このため、直上画像のデータを立方体領域の区画に分割することは、データの低次元化にもなり、リアルタイムでの危険度推定の容易化にもつながる。
このようなデータの低次元化となる立方体分割手段21Aにおける立方体領域の区画に分割する具体的な方法について以下に説明する。
[1]直上画像のデータにおいて、ベッドBの範囲を選択する。なお、ベッドBの周りの人物の様子等も捉えたいときは、ベッドB外の範囲も設定する。
【0072】
[2]選択した範囲内でデータを格子状に分割する。分割はX軸、Y軸、Z軸の全てに対して行う。なお、図5に示すように、Z軸を下層LL、中層ML、上層ULの3層としたのは、臥位P1、座位P2、立位P3の判定を可能にするためである。座位P2は、立位P3に遷移する前の姿勢であり、対象者Sの転倒時を未然に防ぐためには、臥位P1、立位P3以外に座位P2の姿勢も判定できる方がよいためである。
【0073】
[3]各区画を分割する際の閾値をdX x,dY y,dZ z、として、立方体領域の複数の区画に分割する。なお、本実施形態においては、3×3×3の27区画に分割している。
[4]また、本実施形態においては、
【0074】
【数2】
の範囲内に存在しているデータ数をn(x,y,z)とする。そして、全ての区画のデータ数n(x,y,z)を求める。
【0075】
[5]Z軸(上層UL、中層ML、下層LL)の各層毎に最大データ数を持つ区画を抽出する。図7には、Z軸の各層毎に最大データ数を持つ区画を抽出した具体例を示している。なお、各層毎の最大データ数を持つ区画を、各層で灰色の区画で示している。
そして、
上層ULの最大データ数をnmax(2)
中層MLの最大データ数をnmax(1)
下層LLの最大データ数をnmax(0)
とする。
【0076】
次に、着目層決定手段22Aにより着目層の決定を行う。ここで、本実施形態においては、着目層決定手段22Aと、次の位置特定手段23Aによって、対象者Sが存在する立方体領域の区画を特定している。以下に、対象者Sの存在する区画の決定する方法について説明する。
【0077】
[1]まず、対象者Sがどの層にいるかを判定するため、各層の最大データ数があらかじめ定義した閾値を上回っているか比較する。この時、下層LLの閾値をnth(0)、中層MLの閾値をnth(1)、上層ULの閾値nth(2)とする。本実施例では、nth(0)=nth(1)=nth(2)=1500として設定する。この時、図7に示した具体例では中層MLと下層LLが、閾値を上回っている。
[2]この結果から、着目する層を以下にしたがって決定する。
[a]IF nmax(2)≧nth(2) THEN 上層ULに着目
ELSE b)へ
[b]IF nmax(1)≧nth(1) THEN 中層MLと下層LLに着目
ELSE c)へ
[c]IF nmax(0)≧nth(0) THEN 中層MLと下層LLに着目
ELSE 不在(どの層も見ない)
【0078】
ここで、図7の具体例では、[b]が選択されることになる。なお、中層MLと下層LLに関しては、上記のように中層MLと下層LLとを一緒に着目するのではなく、別々に着目することもできる。しかしながら、中層MLと下層LLを別々に着目すると、中層ML→下層LLまたは下層LL→中層MLへと着目する層を切り替える際にデータが不連続になるため、中層MLと下層LLとは合わせて着目するのが好ましい。ただし、中層MLと下層LLを合わせてから閾値の判定を行うと、ノイズが混じり正しい判定ができなくなる可能性が出てくるため、閾値の判定においては中層MLと下層LLの判定を上記のように分けて行うのが好ましい。
【0079】
[3][2]で中層MLと下層LLを着目層として着目する場合、図8に示すように、中層MLと下層LLのデータを足し合わせ、上層ULに着目する場合は、n(x,y,2)をそのまま使用する。これを式で表すと、式(3)のようになる。
【0080】
【数3】
[4]着目層において、n´(x,y,z)が最大数となる区画のx,y,zをそれぞれxmax,ymax,zmaxとおく。
[5]そして、最大数の区画を基準として、X軸の重心座標gX、Y軸の重心座標gY、Z軸の重心座標gZを式(4)により求める。
【0081】
【数4】
そして、求めた重心座標を対象者Sの位置と定義する。
【0082】
次に、危険度算出手段24Aでは、特定した対象者Sの位置を基に、対象者Sの危険度の算出を行う。具体的には、算出した重心座標gX、gY、gZを用い、以下の手順で行う。
[1]まず、立方体領域の各区画に転倒リスクの重みを各々設定する。各軸の転倒リスクの重みをそれぞれwx、wy、wzとする。
[2]重心座標gXと以下の式(5)から、使用する危険度(以下、転倒リスクと適宜記す)の重みを決める。
【0083】
【数5】
[3]そして、式(6)または式(7)により、X軸方向の転倒リスクrXを求める。またY軸、Z軸の転倒リスクrY、rZも同様に求める。
【0084】
【数6】
【0085】
【数7】
[4]そして、X軸、Y軸、Z軸の転倒リスクの合計r(r=rX+rY+rZ)が本実施形態における最終的な転倒リスクとなる。
【0086】
ここで、危険度推定部20Aにおける上記方法による危険度推定の有用性を検証した結果について説明する。有用性を検証するため本発明者は、実際の病院で実患者による検証を行った。検証時の被験者には、入院中の成人男性を選定した。実験条件は、
ベッドBのサイズ(W×D×H) 0.9×2.1×0.5[m]
入力部2の傾き角度θ 32.4[°]
地面から入力部2までの高さ 1.95[m]
ベッドBから入力部2までの高さ 1.45[m]
サンプリング間隔 1.0[s]
着目する層を決定する閾値 1500(上層UL~下層LL全て)
である。また、各区画の重みを図9に示す。
【0087】
今回は、ベッドB内に加え、ベッドB外の対象者Sの様子(立位の姿勢等)も捉えるため、上層ULのX軸の計測範囲をベッドB外まで拡張した。そしてベッド外の転倒リスクの重みは3として危険度推定システム1Aが算出したリスク値と、そのときの対象者Sの姿勢を比較して評価を行った。
【0088】
そして、実験条件より導出された転倒リスクの時系列データを図10に示す。また、点(a)~(l)の時の深度値画像(対象者Sの様子を示した画像)を危険度が高い順に並べた結果を図11に示す。なお、図11の(a)~(l)の各画像において、左上の数値は算出された危険度であり、右上の数値は図10における各点での時間(s)である。
【0089】
この結果を見ると、計測範囲内に対象者Sが一人だけのときの転倒危険度は、「立位(6.0~6.3)」→「端座位(4.1~4.3)」→「臥位(2.2~2.6)」→「計測範囲外に存在(-2.0)」の順になっていることがわかる。この結果は「対象者Sが立ち上がっているときは転倒の危険性が高く、寝ているときや不在のときは転倒の危険性が低い」という性質を満たしているため妥当である。
【0090】
なお、(f)の危険度が7.6と高くなった原因としては、危険度推定システム1Aが来訪者(Another Man)を患者と間違えたためである。このような現象については、計測範囲の調整や前後の時系列データを利用することで回避可能である。
【0091】
また、(k)は立位の姿勢であるように思われるが、危険度は-2.0と人物が不在のときの値になってしまっている。今回の危険度推定システム1Aでは、危険度推定の際に、ベッドB外については上層ULの動きしか見ていない。(k)では対象者Sが机にもたれているため、対象者Sの背丈が実際よりも低く検出され、不在と判定されてしまったことによる。このような結果については、実際の立位の姿勢を不在と捉えたものではあるが、不在は立位の後の姿勢であることから、不在の前に立位が判定されることから、危険度を推定する上では実用上問題はないと考える。
そして、このように危険度推定部20Aの危険度算出手段24Aで算出された結果が、推定結果出力部30Aにより出力される。
【0092】
以上にように危険度推定システム1Aは、直上画像取得部10Aが深度値画像を直上画像に変換する直上画像変換手段12Aを備えた構成となっている。従って、対象者Sに不快感を与え難いベッドBの頭部側から深度値画像を取得することができる。また、直上画像を用いた危険度推定は、実施形態1の説明でも記載したように、精度の高い危険度推定を行うことが可能となる。従って、斜め方向から深度値画像を取得し、この斜め方向からの深度値画像を直上画像に変換できることで、危険度推定システム1Aは、斜め方向からの深度値画像を用いながら、より精度の高い危険度推定を行うことができる。なお、直上画像取得部10Aにより、斜め方向から深度値画像を取得する場合、直上画像に変換できる範囲であれば深度値画像取得手段11Aを構成する入力部2を設置できる。従って、入力部2の設置可能な範囲が非常に多くなる。
【0093】
また、危険度推定システム1Aは、危険度推定部20Aの判定層分割手段が複数の立方体領域に分割する立方体分割手段21Aからなる構成となっている。従って、深度方向(Z軸方向)だけでなく、平面領域(X軸方向、Y軸方向)においても領域を分割して、より精度良く危険度推定を行うことができる。
【0094】
なお、立方体分割手段21Aにより複数の立方体領域に分割することで、位置特定手段23Aを用いることなく危険度推定を行うこともできる。例えば、対象者Sと対応する区画を判定し、その対応する区画の形状から、対象者Sの姿勢を推定することができる。このような姿勢の推定により対象者Sの危険度推定を行うことも可能である。
【0095】
また、危険度推定システム1Aは、危険度推定部20Aが更に、対象物Sの位置を特定する位置特定手段23Aと、特定された位置を基に危険度を算出する危険度算出手段24Aを備えた構成となっている。従って、より精度良く危険度推定を行うことが可能である。また、本実施形態においては、位置特定手段23Aとして対象者Sの重心位置を利用している。この重心位置と対象者Sの姿勢とを直接関連付けることも可能であることから、重心位置から対象者Sの姿勢を推定し、危険度推定を行うことも可能である。
【0096】
また、危険度算出手段24Aを備えているため、例えば、前述した危険度算出の方法であれば、対象者Sによって危険度の重みを変えて危険度算出を行うこともできる。特に、実際には対象者Sの症状やベッドBの形状、周辺環境等によっても、危険な体勢、危険な位置等を変わってくる。従って、危険度算出手段24Aにより危険度推定システム1Aは、環境等に適した危険度推定を行うことができる。
【0097】
また、本発明における危険度推定を行う危険度推定対象物とは、対象者Sのように人間に限られるということではなく、人以外の動物や物も広く含まれており、またベッド上に限られるということでもなく、本発明は適用範囲の非常に広いものである。
【符号の説明】
【0098】
1、1A…危険度推定システム
10、10A…直上画像取得部
11、11A…深度値画像取得手段
12A…直上画像変換手段
20、20A…危険度推定部
21…判定層分割手段
21A…立方体分割手段
22、22A…着目層決定手段
23A…位置特定手段
24A…危険度算出手段
30、30A…推定結果出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11