特許 6791731 姿勢判定装置及び通報システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6791731

(24)【登録日】2020年11月9日

(45)【発行日】2020年11月25日

(54)【発明の名称】姿勢判定装置及び通報システム

(51)【国際特許分類】

   A61B 5/11 20060101AFI20201116BHJP

   A61B 5/107 20060101ALI20201116BHJP

   G08B 25/04 20060101ALI20201116BHJP

   G08B 25/00 20060101ALI20201116BHJP

   G08B 25/08 20060101ALI20201116BHJP

   A61G 12/00 20060101ALI20201116BHJP

   A61G 7/043 20060101ALI20201116BHJP

   G06T 7/00 20170101ALI20201116BHJP

   G06T 7/20 20170101ALI20201116BHJP

【ＦＩ】

   A61B5/11

   A61B5/107 300

   G08B25/04 K

   G08B25/00 510M

   G08B25/08 A

   A61G12/00 Z

   A61G7/043

   G06T7/00 300D

   G06T7/20 300Z

【請求項の数】3

【全頁数】18

(21)【出願番号】特願2016-225872(P2016-225872)

(22)【出願日】2016年11月21日

(65)【公開番号】特開2018-82745(P2018-82745A)

(43)【公開日】2018年5月31日

【審査請求日】2019年7月24日

(73)【特許権者】

【識別番号】504150461

【氏名又は名称】国立大学法人鳥取大学

(73)【特許権者】

【識別番号】502162882

【氏名又は名称】株式会社ケイズ

(74)【代理人】

【識別番号】100118393

【弁理士】

【氏名又は名称】中西 康裕

(72)【発明者】

【氏名】櫛田 大輔

(72)【発明者】

【氏名】空田 卓也

(72)【発明者】

【氏名】小谷悠太

【審査官】 近藤 利充

(56)【参考文献】

【文献】 特開２０１２−０３００４２（ＪＰ，Ａ）

【文献】 特開２０１４−０９０８４１（ＪＰ，Ａ）

【文献】 特開２０１４−２３６８９６（ＪＰ，Ａ）

【文献】 特開２００２−３６６９５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００ − ５／２２

Ａ６１Ｇ ７／０４３、 １２／００

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０８Ｂ ２５／００ − ２５／１４

(57)【特許請求の範囲】

【請求項1】

深度値により形成される判定画像を取得する判定画像取得手段と、
前記深度値を用いて前記判定画像を一定距離毎の画像に区分けした区分画像により対象者の姿勢判定を行う姿勢判定手段と、を備え、
前記姿勢判定手段は、
前記区分画像から動きがある動体画像を検出する動体検出手段と、
異なる前記区分画像の動体画像を手前側から順次合成して合成動体画像を形成する合成動体画像形成手段と、を備え、
前記合成動体画像により前記対象者の姿勢を判定することを特徴とする姿勢判定装置。

【請求項2】

前記姿勢判定手段は、
前記合成動体画像について、テンプレート画像を用いたテンプレートマッチングを行うことで姿勢を判定するテンプレートマッチング手段を備えていることを特徴とする請求項１に記載の姿勢判定装置。

【請求項3】

深度値により形成される判定画像を取得する判定画像取得手段と、
前記深度値を用いて前記判定画像を一定距離毎の画像に区分けした区分画像により対象者の姿勢判定を行う姿勢判定手段と、
前記姿勢判定手段による判定結果に基づいて通報を行うか否かの判定を行う通報判定手段と、
前記通報判定手段の判定結果に基づいて通報を行う通報手段と、
を備え、
前記姿勢判定手段は、
前記区分画像から動きがある動体画像を検出する動体検出手段と、
異なる前記区分画像の動体画像を手前側から順次合成して合成動体画像を形成する合成動体画像形成手段と、を備え、
前記合成動体画像により前記対象者の姿勢を判定することを特徴とする通報システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ベッド上における対象者の姿勢を判定する姿勢判定装置及びベッド上における対象者の姿勢を判定することで、ベッドから転落のおそれがある際等に通報する通報システムに関する。

【背景技術】

【0002】

入院している患者や高齢者がベッドから転落する事故が問題となっていることから、このような転落事故に関連する様々な技術が知られている。その一例として、ベッドの横に荷重を検出するセンサを配置し、センサで荷重が検出されると患者等の転落が生じたとして通報する装置や、ベッド上にセンサを配置し、荷重が検出されなくなると患者等の転落が生じたとして通報する装置が知られている。

【0003】

また、本願の発明者自身が開発した技術として、特許文献１にある患者に取り付けたセンサにより姿勢情報を取得して、その姿勢情報に基づいて転落の危険度を算出するシステムが知られている。

【0004】

しかしながら、ベッドの横に荷重センサを配置する装置は、誤報が多くまた荷重が検出された後で通報することから転落を防ぐことは難しい等の難点がある。また、ベッドの上に荷重センサを配置する装置は、体重の違いによる誤作動が生じやすく、また汗や水分等によるセンサの誤作動、故障が多い等の難点がある。また、特許文献１の患者自身にセンサを取り付ける方法は、患者自身が取り付けたセンサを不快に感じ、センサを勝手に取り外してしまったり、手術等の影響で適切な位置にセンサを取り付けることができない等の難点がある。

【0005】

そこで、特許文献２にあるようにベッド上の患者の画像を取得して、その画像を基に姿勢を推定する装置が知られている。また、本願の発明者自身も、ベッド上の患者の画像を取得し、その画像を基に姿勢を判定する研究を行い、その内容について非特許文献１として既に発表を行っている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１５−１０３０４２号公報

【特許文献2】特開２０１４−２３６８９６号公報

【非特許文献】

【0007】

【非特許文献1】「ビジョンセンサを用いた入院患者のベッド上における姿勢推定」、第２４回計測自動制御学会中国支部学術講演会論文集、２０１５年、ｐ．１５０−１５１

【発明の概要】

【発明が解決しようとする課題】

【0008】

非特許文献１による姿勢判定は、ベッド上で掛け布団を使用していない状況で患者の姿勢を判定すると高い精度で判定できたが、掛け布団を使用している状況で患者の姿勢を判定すると掛け布団の影響で姿勢判定の精度が著しく低下してしまうという問題が見つかった。姿勢判定装置を実際の現場で使用することを想定すると、ベッド上の患者は通常掛け布団を使用しているので、この掛け布団による姿勢判定精度の低下という問題を解決することは非常に重要である。

【0009】

そこで、本発明は、ベッド上で掛け布団を使用している様な状態でも精度よく患者等の姿勢を判定することができる姿勢判定装置及び危険なおそれがある際等に通報することができる通報システムに関する。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明の姿勢判定装置は、深度値により形成される判定画像を取得する判定画像取得手段と、前記深度値を用いて前記判定画像を一定距離毎の画像に区分けした区分画像により対象者の姿勢判定を行う姿勢判定手段と、を備えることを特徴とする。

【0011】

また、前記姿勢判定手段は、前記区分画像から動きがある動体画像を検出する動体検出手段と、異なる前記区分画像の動体画像を合成して合成動体画像を形成する合成動体画像形成手段と、を備え、前記合成動体画像により前記対象者の姿勢を判定することを特徴とする。

【0012】

また、前記姿勢判定手段は、前記合成動体画像について、テンプレート画像を用いたテンプレートマッチングを行うことで姿勢を判定するテンプレートマッチング手段を備えていることを特徴とする。

【0013】

また、本発明の通報システムは、深度値により形成される判定画像を取得する判定画像取得手段と、前記深度値を用いて前記判定画像を一定距離毎の画像に区分けした区分画像により対象者の姿勢判定を行う姿勢判定手段と、前記姿勢判定手段による判定結果に基づいて通報を行うか否かの判定を行う通報判定手段と、前記通報判定手段の判定結果に基づいて通報を行う通報手段と、を備えることを特徴とする。

【発明の効果】

【0014】

本発明の姿勢判定装置は、深度値により形成される判定画像を取得し、深度値を用いて一定距離毎の画像に区分けした区分画像により姿勢判定を行うので、ベッド上で対象者が使っている掛け布団のように対象者の姿勢判定に邪魔になるものが写っている判定画像において、邪魔なものがない区分画像を基にして姿勢判定を行うことができる。

【0015】

また、具体的には、各区分画像から動体画像を検出し、異なる区分画像の動体画像を合成した合成動体画像で姿勢を判定するので、掛け布団のような邪魔なものが動体画像として検出されていても、掛け布団が検出されるまでの合成動体画像により対象者の姿勢を判定することができる。

【0016】

また、具体的には、テンプレート画像を用いたテンプレートマッチングにより姿勢判定を行うので、精度よく高速に姿勢判定を行うことができる。

【0017】

また、本発明の通報システムは、深度値により形成される判定画像を取得し、深度値を用いて一定距離毎の画像に区分けした区分画像により姿勢判定を行うので、ベッド上で対象者が使っている掛け布団のように対象者の姿勢判定に邪魔になるものが写っている判定画像において、邪魔なものがない区分画像を基にして姿勢判定を行うことができる。また本発明の通報システムは、姿勢判定の判定結果に基づいて通報を行うか否かの判定を行い、この判定結果に基づいて通報を行うので、例えば、病院や介護施設のように多くの判定対象者がいる施設での使用に適している。

【図面の簡単な説明】

【0018】

【図1】実施形態１の姿勢判定装置のハードウェア構成を示すブロック図である。

【図2】実施形態１の姿勢判定装置の機能構成を示すブロック図である。

【図3】実施形態１の姿勢判定装置の使用例を示した図である。

【図4】比較例の姿勢判定装置の使用例を示した図である。

【図5】（Ａ）は比較例の姿勢判定装置におけるＤｅｐｔｈマップの一例であり、（Ｂ）は背景差分法により検出された対象者の画像の一例である。

【図6】（Ａ）〜（Ｄ）は、比較例の姿勢判定装置における姿勢判定の手法の具体例である。

【図7】比較例の姿勢判定装置において、掛け布団が使用されている場合に検出される対象者の画像の一例である。

【図8】実施形態１の姿勢判定装置における区分の概念図である。

【図9】実施形態１の姿勢判定装置において区分毎に検出された姿勢Ｐ２での動体画像の一例である。

【図10】実施形態１の姿勢判定装置における合成動体画像形成手段とテンプレートマッチング手段での合成動体画像形成処理及び姿勢判定処理のフローチャートである。

【図11】実施形態１の姿勢判定装置における姿勢判定のイメージ図である。

【図12】実施形態１の姿勢判定装置を用いた検証における検証環境の条件である。

【図13】実施形態１の姿勢判定装置と比較例の姿勢判定装置における検証結果であり、（Ａ）は掛け布団無しの検証結果、（Ｂ）は掛け布団有りの検証結果である。

【図14】実施形態２の通報システムの使用例を示した図である。

【発明を実施するための形態】

【0019】

以下、本発明の具体例について図面を用いて詳細に説明する。但し、以下に示す実施形態は、本発明の技術的思想を具体化するための例示であって、本発明をこの実施形態に特定することを意図するものではなく、本発明は、特許請求の範囲に含まれるその他の実施形態にも等しく適応し得るものである。

【0020】

［実施形態１］
まず、図１、図２を参照して、本実施形態の姿勢判定装置１の基本的な構成を説明する。図１は、姿勢判定装置１のハードウェア構成を示すブロック図であり、図２は、姿勢判定装置の機能構成を示すブロック図である。

【0021】

姿勢判定装置１は、図１に示すように、入力部２、制御部３、記憶部４、出力部５、通信部６を備えている。

【0022】

入力部２は、姿勢判定装置１で姿勢判定を行う対象者が含まる範囲について、深度値の情報により形成さる画像を取得するものであり、いわゆる距離画像センサと呼ばれるものである。本実施形態においては、具体的には、入力部２は、ベッド上の対象者を含む画像を取得するためのカメラ２ａと、カメラ２ａで撮影する画像内の被写体までの深度に関する深度情報を取得する深度センサ２ｂと、を備えて構成されている。このような構成の距離画像センサとして、Ｍｉｃｒｏｓｏｆｔ社製のＫＩＮＥＣＴ（登録商標）が知られている。

【0023】

なお、本実施形態において、このＫＩＮＥＣＴを用いて、深度値により形成さる画像を取得しているが、当然ながらこれ以外のものを用いても構わない。また、ＫＩＮＥＣＴには音情報を取得するためのマイクロフォンが備わっている。したがって、このマイクロフォンを入力部２として用い、音情報を取得しても構わない。また、姿勢判定に音情報も活用できる場合には、ＫＩＮＥＣＴに限らず入力部２としてマイクロフォンを含むこともできる。また、入力部２は、図示していないが、カメラ２ａ、深度センサ２ｂの他に、例えば、姿勢判定の対象者となる人の名前を入力する等、姿勢判定装置１への情報を入力するためのキーボードやタッチパネル等の入力装置を含んでいても構わない。

【0024】

制御部３は、ＣＰＵ、ＲＡＭ、ＲＯＭ等からなり、後述の姿勢判定を行うプログラム等、記憶されているプログラムに基づいて各種の処理を実行する。記憶部４は、ＤＲＡＭやＨＤＤのような記憶装置であり、入力部２で取得した画像データを一時的に記憶しておく等、
各種のデータ等を記憶しておく。出力部５は、表示装置やスピーカ等からなり、姿勢判定の結果等を映像や音を用い出力する。

【0025】

通信部６は、インターネットやＬＡＮ等を介して携帯端末等の他の機器と通信を行うものである。この通信部６を介することで、姿勢判定装置１は姿勢判定の結果等を他の機器にも出力することができる。

【0026】

このような姿勢判定装置１は、図２に示すように、判定画像取得手段１０と、姿勢判定手段２０と、判定結果出力手段３０を備えている。判定画像取得手段１０は、主に入力部２によって構成されており、姿勢の判定を行う対象者が含まれるとともに、深度値により形成される判定画像を取得する。

【0027】

また、姿勢判定手段２０は、主に制御部３や記憶部４によって構成されており、判定画像取得手段１０を介して取得した判定画像について、その判定画像に含まれる深度値を用いて対象者の姿勢を判定する。とくに本実施形態における姿勢判定手段２０は、深度値を用いて判定画像を一定距離毎の画像に区分けし、この区分画像を用いて対象者の姿勢を判定することを特徴としている。

【0028】

このような姿勢判定を実現するための一例として、姿勢判定手段２０は、更に、判定画像区分手段２１と、動体検出手段２２と、合成動体画像形成手段２３と、テンプレートマッチング手段２４を備えている。

【0029】

詳細は具体例とともに後述するが、判定画像区分手段２１は、判定画像取得手段１０を介して取得した判定画像について、含まれている深度値を用いて一定距離毎の画像に区分けした区分画像を作成する。そして動体検出手段２２は、この区分画像から動きがある動体画像を検出する。そして合成動体画像形成手段２３は、異なる区分画像の動体画像同士を合成して合成動体画像を形成する。そしてテンプレートマッチング手段２４は、合成動体画像を用い、各姿勢のテンプレートとのマッチングを行い合致する姿勢を対象者の姿勢として判定する。

【0030】

つまり、本実施形態の姿勢判定手段２０は、掛け布団による影響を排除するために、一定距離毎の区分画像をつくり、この区分画像から抽出した動体画像を順次合成して合成動体画像を形成して、テンプレートマッチングを行うことで、掛け布団が出現するまでの距離にある合成動体画像によって姿勢を判定する。

【0031】

判定結果出力手段３０は、主に出力部５によって構成されており、姿勢判定手段２０により判定された対象者の姿勢結果についてモニタ等を用いて出力する。姿勢結果の出力については、例えば、上体を起こしている姿勢が判定された場合に、『上体を起こしている姿勢』であることがわかるように、文字で表示したり、音声で出力する。また、判定結果出力手段３０は、判定した結果を随時出力するのではなく、対象者がベッド上から転落する可能性が高い姿勢を検出したときのみ出力するようにしてもよい。

【0032】

このような構成の姿勢判定装置１について、次に実際の使用例を基に説明を行う。図３は、姿勢判定装置１の使用例を示した図である。姿勢判定装置１は、ベッドＢを使用する対象者ＳのベッドＢ上での姿勢を、判定画像取得手段１０により取得した画像を用いて判定する。

【0033】

判定画像取得手段１０を構成する入力部２の距離画像センサとして、先にも説明したようにＭｉｃｒｏｓｏｆｔ社製のＫＩＮＥＣＴ（登録商標）を用いた。この入力部２は、対象者Ｓを撮影する必要があるため、対象者Ｓの近傍に設置されるが、それ以外の姿勢判定手段２０や判定結果出力手段３０を構成するハードウェアに関しては、ベッドＢが設置されている部屋とは異なる部屋に通常配置されている。例えば、病院内での使用を想定した場合には、入力部２は入院患者のベッド上に設置され、それ以外の構成については、ナースステーションのような場所に設置される。

【0034】

なお、姿勢判定装置１は、姿勢判定手段２０や判定結果出力３０を構成するハードウェアについても、ベッドＢが設置されている部屋に配置することもできる。この場合、判定結果出力手段３０によって対象者Ｓが危険な状態であることを知らせる必要があるため、判定結果出力手段３０は、警報音等、音声による出力が好ましい。

【0035】

また、入力部２の設置場所は、例えば部屋の天井等に設置しても構わないが、本実施形態では図３に示しているように、ベッドＢの頭部側に設置して、撮影面を対象者Ｓの足元に向けている。これは対象者Ｓの視界に入り難いベッドＢの頭部側に設置することで、入力部２が視界に入って常に監視されているという対象者Ｓの心理的負担を軽減する為である。

【0036】

判定画像取得手段１０で取得された判定画像のデータは、姿勢判定装置１の姿勢判定手段２０へと送られる。そして、判定画像取得手段１０で取得された判定画像を基に、姿勢判定手段２０により対象者Ｓの姿勢が判定されることになる。

【0037】

ここで、本実施形態における姿勢判定手段２０における姿勢判定の具体例を説明する前に、本願の発明者が先に非特許文献１で発表した姿勢判定の具体的内容について比較例としてまず説明を行う。

【0038】

［比較例］
図４は、比較例となる姿勢判定装置１Ａの使用例を示した図である。比較例の姿勢判定装置１Ａは、図１で示した本実施形態の姿勢判定装置１とハードウェア構成は同様となっている。また、姿勢判定装置１Ａは、姿勢判定装置１と同様の判定画像取得手段１０Ａと、判定結果出力手段３０Ａを備えている。そして、姿勢判定装置１Ａが姿勢判定装置１と異なる点は、姿勢判定手段２０Ａである。

【0039】

姿勢判定装置１Ａは、姿勢判定装置１と同様に、ＫＩＮＥＣＴ（登録商標）からなる判定画像取得手段１０Ａにより、まず深度値の含まれる判定画像を取得する。なお、このＫＩＮＥＣＴには、５１２×４２４［pixel］の平面内に奥行の距離を取得する機能がある。

【0040】

判定画像は、０．５〜８．０（ｍ）までの奥行データを分解能２５６にてグレースケール化した深度マップ（Ｄｅｐｔｈマップ）として２次元画像に変換したものを用いる。図５（Ａ）には、このＤｅｐｔｈマップの一例を示している。なお、このＤｅｐｔｈマップの取得には赤外線が用いられている。赤外線を用いることで、医療従事者等が少なくなる夜間の暗い室内においても平面内に三次元情報を読み取ることができ、また個人の顔を識別できないため対象者のプライバシーが守られる。

【0041】

このＤｅｐｔｈマップからなる判定画像を用いて、姿勢判定手段２０Ａの動体検出手段２１Ａにより、対象者Ｓを動体として検出する。この動体検出の具体的な方法として、背景差分法を用いている。背景差分法は、対象者Ｓのいない環境を背景画像として取得しておき、背景画像との比較によって背景画像になかったものを抽出するというものであり、これにより背景画像にない対象者Ｓを動体として検出する。

【0042】

図５（Ｂ）には、この背景差分法により動体として検出された対象者Ｓの画像の一例を示している。背景画像になかったものだけが図５（Ｂ）ではグレーで示されており、グレー部分は対象者Ｓである。なお、図５（Ｂ）では対象者がグレーで示されているが、本発明者が実際に用いた装置では赤色で示している。

【0043】

なお、ベッドＢの奥（対象者Ｓの足元よりも奥側）で対象者Ｓ以外の者が動くとその動きも動体として検出され誤判定が生じるので、Ｄｅｐｔｈマップがもつ深度値を用いて、動体検出の範囲は２ｍまでとして、２ｍ以上の距離を検出の対象外としている。

【0044】

つぎに、動体検出手段２１Ａで検出した動体の画像について、テンプレートマッチング手段２２Ａにて姿勢の判定を行う。姿勢判定を行うにあたり、事前情報としてポインとなる姿勢を定め、その姿勢の画像データに基づきテンプレートを作成しておく。なお、テンプレートのデータは、姿勢判定装置１Ａのハードウェア構成における記憶部等に記憶しておく。

【0045】

ポイントとなる姿勢として、比較例においては３つの姿勢を定めた。３つの姿勢は、図４において、Ｐ１と記した姿勢：寝ている姿勢、Ｐ２と記した姿勢：状態を起こした姿勢、Ｐ３と記した姿勢：ベッド縁に座っている姿勢、である。なお、この姿勢Ｐ１〜３は、後述する本実施形態においても同様の姿勢として用いる。

【0046】

また、姿勢判定の精度向上と判定の高速化のため、事前情報として姿勢遷移の過程図を定義し、姿勢遷移も考慮することとしている。例えば、現在の姿勢が、姿勢Ｐ１の場合には、姿勢Ｐ１からいきなり姿勢Ｐ３へ遷移する可能性はないので、この場合姿勢Ｐ３は姿勢判定の対象としないこととする。

【0047】

具体的な姿勢判定の手法としては、averageHash（以下、適宜『ａＨａｓｈ』と記す）に基づくテンプレートマッチングを用いている。その手順として、
１）まず、動体の画像を検出する。検出した具体例として、図６（Ａ）に示す。
２）つぎに、この画像をグレースケールに変換する。具体例として、図６（Ｂ）に示す。なお、図６（Ａ）と図６（Ｂ）はここでは同じ画像となっているが、上述のように本実施形態の実際の装置では図６（Ａ）での動体は赤い画像として検出されている。したがって、図６（Ｂ）は実際にはこの赤い画像を変換したものである。
３）つぎに、グレースケール画像のサイズを、処理を高速化するため縮小する。今回は１６×１６のサイズに縮小している。
４）つぎに、縮小画像の各ピクセル色（濃淡：pixel_value）の平均値（average_pixel）を式（１）にて計算する。

【数1】

５）つぎに、縮小画像の各ピクセルにおいて、式（２）を用いて各ピクセルのbit値を設定する。

【数2】

６）つぎに、１６×１６＝２５６ビットのビット列を生成し画像をハッシュ化する。このビットデータの具体例として、図６（Ｃ）に示す。
７）つぎに、あらかじめ生成しておいた姿勢Ｐ１〜３のテンプレート画像の各ハッシュ値に対し、１ビットずつシフトさせて比較する。図６（Ｄ）にビット比較のイメージ図を記す。
８）そして、比較した際のビット誤差の最小値を画像データの一致度と定め、最も一致度が高いテンプレートの姿勢を現在の姿勢として判定する。

【0048】

このような手順により、姿勢判定手段２０Ａのテンプレートマッチング手段２２Ａにて対象者Ｓの現在の姿勢がどの姿勢のテンプレートに近いかを判定する。そして、姿勢判定装置１Ａは、この判定結果に基づいて判定結果出力手段３０Ａにより判定結果を出力する。

【0049】

以上のような比較例の姿勢判定装置１Ａは、ベッドＢ上で掛け布団の無い状態で姿勢判定を行った場合には、精度よく対象者Ｓの姿勢を判定することができた。一方、姿勢判定装置１Ａは、掛け布団がベッド上で使用されている状態では対象者Ｓの姿勢判定の精度が著しく低下してしまった。

【0050】

この理由は、ベッド上で掛け布団が使用されていると、対象者Ｓの移動に伴い掛け布団も動くので、掛け布団が対象者Ｓとともに動体として検出されてしまうためであった。このため、対象者Ｓの本来の姿勢とは異なる姿勢として、姿勢判定装置１Ａは判定してしまうことになる。

【0051】

例えば、掛け布団Ｃを使用している状態で、対象者Ｓが姿勢２の状態になると、図７に示すような動体として検出されてしまう。このため、姿勢判定装置１Ａでは、この姿勢は本来姿勢Ｐ２と判定されるところ、掛け布団の影響で姿勢Ｐ３と判定してしまった。

【0052】

［本実施形態］
そこで、本実施形態の姿勢判定装置１は、掛け布団を考慮した姿勢判定が行えるようになっている。具体的には、次の手順により行われる。

【0053】

まず、判定画像取得手段１０で取得された判定画像について、判定画像区分手段２１により一定距離毎の画像に区分けした区分画像を形成する。具体的には判定画像に含まれる深度値を利用して、０．１ｍ毎に区分けを行い各区分の区分画像を形成する。なお、一定距離毎に区分けしたこの区分画像についてイメージし易いよう、図８に区分の概念図を示す。

【0054】

図８に示すように、入力部２から、対象者Ｓの足元側に向かって一定間隔で分割し、区分１〜ｎ毎に画像を形成する。なお、本実施形態では０．１ｍ毎に区分けを行っているが、入力部２からあまりに近い位置には対象者Ｓは存在しないので、図８に示すように、例えば０．５ｍ程度離れた位置から区分けを開始してもよい。また、図８で破線を用いて示している区分の間隔は、単に説明のために記しているだけであり、本実施形態における０．１ｍの間隔を正確に示しているわけではない。また、今回の区分けの範囲である０．１ｍはあくまでも一例であり、より短く或はより長く区分けの範囲は設定することもできる。

【0055】

このように判定画像区分手段２１で区分けした区分画像について、つぎに、動体検出手段２２で区分画像毎に動体画像の検出を行う。この動体画像検出の具体的な方法は、比較例の姿勢判定装置１Ａと同様であり、背景差分法を用いて行うことができる。具体的には、まず対象者Ｓと掛け布団のない環境を背景画像として取得しておき、この背景画像を用いて対象者Ｓと掛け布団の動きを動体画像として検出する。このようにして検出した各区分における動体画像について、図９に示す。なお、図９に示す区分毎の動体画像は、対象者Ｓが姿勢Ｐ２の状態にある時の判定画像に基づくものである。

【0056】

図９に区分１〜１２を示しているが、区分１側が入力部２側となり、区分１２が入力部２から一番遠い区分（対象者Ｓの足元側）となる。図９からわかるように、区分１〜５については、とくに目立った動体は検出できないが、区分６では対象者Ｓの背中が検出されていることがわかる。また、区分７では、対象者Ｓの頭や肩、体が検出されていることがわかる。そして、区分８では対象者Ｓの一部だけでなく掛け布団Ｃが検出されていることがわかる。

【0057】

ベッドＢ上で掛け布団Ｃを使っていた場合、掛け布団Ｃは対象者Ｓの動きに伴って動き、通常対象者Ｓの位置よりも、奥側（入力部２から離れる側）に掛け布団は位置することになる。このため、区分画像においても、手前側（入力部２に近い側）にまず初めに対象者Ｓが動体として現れ始めることになり、図９からもそのことを理解することができる。

【0058】

つぎに、動体検出手段２２で検出した区分画像毎の動体画像を、合成動体画像形成手段２３で合成し、その合成動体画像を用いてテンプレートマッチング手段２４で姿勢の判定を行う。つまり、姿勢判定手段２０は、掛け布団が現れるまでの動体画像を用いた合成動体画像で対象者Ｓの姿勢判定を行っている。

【0059】

この合成動体画像形成手段２３とテンプレートマッチング手段２４で行われる具体的な処理について、図１０を用いて説明する。図１０は、合成動体画像形成手段２３とテンプレートマッチング手段２４とで行われる合成動体画像形成処理及び姿勢判定処理のフローチャートである。

【0060】

まず、区分１となる手前側の区分画像から、検出した動体の画像の変化量が一定量以上か否かの判定を行う（ステップ１：Ｓ１）。変化量が一定量以上でなければ（Ｓ１でＮＯ）、この処理を繰り返して変化量が一定量以上の動体が検出されるまでの区分を判定する。この処理は、対象者Ｓと関係しない微細な動体等を排除するためである。

【0061】

変化量が一定量以上であれば（Ｓ１でＹＥＳ）次に、その動体の画像についてテンプレートマッチングを行う（ステップ２：Ｓ２）。このテンプレートマッチングは、具体的には比較例の姿勢判定装置１Ａと同様、ａＨａｓｈに基づくテンプレートマッチングを用いて行っており、詳細な説明は省略する。

【0062】

そして、Ｓ２のマッチング結果による差分値が姿勢Ｐ１〜３の何れの姿勢の閾値を満たすか否かの判定を行う（ステップ３：Ｓ３）。差分値が何れの姿勢の閾値に満たない場合には（Ｓ３でＮＯ）、次の区分の動体の画像を合成する（ステップ４：Ｓ４）。そして、合成した動体の画像について、Ｓ２と同様テンプレートマッチングを行う（ステップ５：Ｓ５）。

【0063】

そして、Ｓ５のマッチング結果による差分値をＳ２のマッチング結果による差分値と比較を行い、差分値が改善したか否かの判定を行う（ステップ６：Ｓ６）。ここで差分値が改善した場合（Ｓ５の差分値の方がＳ２の差分値よりも低くなっている場合）には（Ｓ６でＹＥＳ）、Ｓ３に戻って何れの姿勢の閾値を満たすか否かの判定を行う。そして、Ｓ３でＹＥＳとなれば、その姿勢を対象者の姿勢として決定する（ステップ８：Ｓ８）。

【0064】

Ｓ６で差分値が改善していない場合（Ｓ５の差分値の方がＳ２の差分値よりも高くなっている場合）には（Ｓ６でＮＯ）、姿勢不明として判断し（ステップ７：Ｓ７）、Ｓ１に戻って次の区分の動体の画像についてＳ１の処理を行う。

【0065】

以上のような処理を行って、対象者Ｓの姿勢判定が行われる。姿勢判定の具体的なイメージを図１１の画像を使って説明する。図１１には、連続する４つの区分（区分ａ〜ｄ）で検出された対象者Ｓの動体や掛け布団の動体を示している。そして、区分ａから、図１０の処理を行うことで、区分（ａ＋ｂ）で示した合成動体画像によって、この場合姿勢Ｐ２として判定結果が得られることになる。つまり、区分ｄに現れている掛け布団の動体に影響されてしまう区分（ａ＋ｂ＋ｃ＋ｄ）の合成動体画像に至るまでに、区分（ａ＋ｂ）の合成動体画像で姿勢判定を行うことができる。

【0066】

このように、本実施形態の姿勢判定装置１は、掛け布団の影響を排除するため、判定画像取得手段１０により深度値により形成される判定画像を取得し、姿勢判定手段２０において、この深度値を用いて判定画像を一定距離毎の画像に区分けした区分画像を形成するとともに、この、区分画像を用いて対象者Ｓの姿勢判定を行う構成となっている。とくに姿勢判定手段２０は、動体検出手段２２により区分画像から動きがある動体画像を検出し、合成動体画像形成手段２３により異なる区分画像の動体画像を合成した合成動体画像を形成し、この合成動体画像を用いて対象者Ｓの姿勢判定を行っている。

【0067】

［検証］
次に、実施形態の姿勢判定装置１についての検証結果について説明する。具体的には、５名の被験者を対象にして、掛け布団の有無での本実施形態の姿勢判定装置１と比較例の姿勢判定装置１Ａとの比較検証を行った。この比較検証は、被験者が姿勢１（ベッド上で寝ている姿勢）、姿勢２（ベッド上での起き上がりの姿勢）、姿勢３（ベッド縁に座る姿勢）の順に動いたことを想定して実施した。本検証における検証環境を図１２に示す。

【0068】

そして、この検証条件および検証環境によって実施した検証結果を図１３に示す。図１３（Ａ）は掛け布団無しの条件での検証結果であり、図１３（Ｂ）は掛け布団有りの条件での検証結果である。図１３（Ａ）に示すように掛け布団が無い場合には、比較例の姿勢判定装置１Ａでも本実施形態の姿勢判定装置１でも正解率は平均９７．７％であった。つまり、掛け布団が無い状況でも、本実施形態の姿勢判定装置１は比較例と同等の判定を行うことができることがわかる。

【0069】

一方、図１３（Ｂ）に示すように掛け布団が有る場合には、比較例の姿勢判定装置１Ａでは正解率が６５％と著しく低下したのに対し、本実施形態の姿勢判定装置１では掛け布団が無い場合と同じ正解率であった。つまり、掛け布団が有る状況でも、本実施形態の姿勢判定装置１は掛け布団が無い状況と同等の判定を行うことができ、掛け布団の影響を排除できていることがわかる。したがって、深度値により形成される判定画像を取得し、深度値を用いて判定画像を一定距離毎の画像に区分けした区分画像を形成することで、対象者Ｓの身体部分のみが抽出できていることが示されており、その結果として掛け布団の影響が排除されている。

【0070】

なお、本実施形態の姿勢判定装置１では掛け布団の影響が排除されているにも関わらず、図１３に示すように姿勢２の正解率が何れも９３．３％に留まっている。この理由としては、被験者の座高の差異等によって、起き上がる際の位置が被験者により異なることに起因するためと考える。つまり、起き上がる際の被験者の位置が異なることにより、結果として入力部２に写る被験者の大きさに差が生じ、それが理由となり姿勢を判定する際に誤判定が生じたものと考えられる。また、被験者が重度の猫背の時、０．１ｍ毎に区分けされた区分画像の中に、猫背の背中部分のみが写る区分画像が存在する場合があり、その背中を被験者の頭と誤認識した結果、姿勢２を姿勢１と誤判定することがあった。これらの対策として、患者の特性に合わせた複数のテンプレートセットを用意しておくこととしてもよく、また、背中が現れた際の距離情報から頭と背中の区別を行うようにしてもよい。

【0071】

また、本実施形態の姿勢判定装置１では、判定画像取得手段１０で取得された判定画像について、判定画像区分手段２１により０．１ｍ毎に区分けした区分画像を形成していたが、必ずしも全て同じ距離で区分画像を形成する必要はない。例えば、対象者Ｓの頭部側では掛け布団が影響し易いので、区分画像の間隔を短くし、対象者Ｓの足元側では反対に区分画像の間隔を長くして区分画像を形成してもよい。

【0072】

また、本実施形態の姿勢判定装置１では、動体検出手段２２で区分画像毎の動体画像を検出し、合成動体画像形成手段２３により対象者Ｓの頭部側から合成しながら合成動体画像を形成し、この合成動体画像を用いて姿勢判定を行っていたが、必ずしも動体画像を合成しながら姿勢判定を行う必要はない。例えば、全ての区分画像の動体画像を先に合成しておき、この全て合成された合成動体画像から、各区分の合成動体を除きながら、姿勢判定を行ってもよい。具体的には、全て合成された合成動体画像を用い、対象者Ｓの足元側から、足元側の区分における動体画像を除いていく。この場合、最初から掛け布団が動体画像として含まれているため、テンプレート画像との一致度が低くなるが、掛け布団の画像が取り除かれた段階でテンプレート画像との一致度が高くなるので、例えば一致度が一番高いものを対象者Ｓの姿勢として判定することができる。

【0073】

また、本実施形態の姿勢判定装置１では、背景差分法により各区分画像から動体画像を検出したり、テンプレートマッチングにより対象者Ｓの姿勢判定を行っているが、本発明は、深度値が含まれる判定画像を基にして、この深度値を用いて一定距離毎の区分画像を形成して、この区分画像を利用して姿勢判定を行うことを特徴としている。したがって、例えば、各区分画像から動体画像を検出するために背景差分法以外の方法も適用することも可能であり、また姿勢判定についてもテンプレートマッチング以外の画像認識方法を適用して姿勢判定することも可能である。

【0074】

また、本実施形態の姿勢判定装置１では、対象者Ｓの心理的負担を軽減するため判定画像取得手段１０を構成する入力部２をベッドＢの頭部側に設置したが、ベッドＢの足元側や、部屋の天井に設置して判定画像を取得して、姿勢判定手段２０により姿勢判定を行うこともできる。

【0075】

［実施形態２］
次に、実施形態２にかかる通報システム１００について説明する。通報システム１００は、実施形態１の姿勢判定装置１と同様の機能を用いて姿勢判定を行うとともに、この姿勢判定の結果に基づいて通報を行うか否かの判定を行い、この判定結果に基づいて通報を行うシステムである。

【0076】

具体的には、通報システム１００は、深度値により形成される判定画像取得手段１１０と、この深度値を用いて判定画像を一定距離毎の画像に区分けした区分画像により対象者の姿勢判定を行う姿勢判定手段１２０と、この姿勢判定手段１２０による判定結果に基づいて通報を行うか否かの判定を行う通報判定手段１３０と、通報判定手段の判定結果に基づいて通報を行う通報手段１４０と、を備えている。

【0077】

また、通報システム１００のハードウェア構成は、図１に示した姿勢判定装置１と略同様であり、異なる点については適宜説明を行うとともに、同様の構成については同様の符号を用いるとともに詳細な説明を省略する。

【0078】

そして、判定画像取得手段１１０及び姿勢判定手段１２０は、実施形態１の姿勢判定装置１の判定画像取得手段１０及び姿勢判定手段２０と同様である。

【0079】

通報判定手段１３０は、制御部３や記憶部４によって構成されており、姿勢判定手段１２０による判定結果に基づいて通報を行うか否かの判定を行う。具体的には、例えば通報判定手段１３０は、対象者Ｓについて姿勢Ｐ３と判定されたら通報を行うと判定し、姿勢Ｐ１や姿勢Ｐ２では通報を行わないというように判定する。

【0080】

なお、通報を行うか否かの判定は、事前に設定した判定条件に基づいて行われる。また、対象者Ｓ毎に姿勢による危険度は異なることから、この判定条件は対象者Ｓ毎に異なっていても構わない。このような判定条件は、例えば、通報システム１００が備えるカメラ２ａや深度センサ２ｂ以外の入力部２を構成する入力装置（キーボードやタッチパネル等）によって設定することができる。

【0081】

通報手段１４０は、主に出力部５によって構成されており、通報判定手段１３０の判定結果に基づいて通報を行う。具体的には、通報手段１４０は、通報判定手段１３０で通報を行うと判定された場合に、モニタによる表示やスピーカによる音声によって通報を行う。

【0082】

このような構成の通報システム１００について、実際の使用例を基に説明を行う。図１４は、通報システム１００の設置例を示した図である。図１４に示す使用例は、病院や高齢者の介護施設のようにベッド上の対象者Ｓを見守る必要がある施設での使用を想定したものである。

【0083】

この施設には、複数の部屋Ｒ（Ｒ１〜３）があり、各部屋にはベッドＢが設置されている。なお、図１４では各部屋ＲにはベッドＢが一つだけ示してあるが、ベッドが複数設置されていても構わない。また図１４では部屋数が三つだけであるが、通報システム１００は、当然ながらより多くの部屋数であっても使用できる。

【0084】

各部屋ＲのベッドＢには、判定画像取得手段１１０を構成している入力部２が設置されている。また、通報システム１００を構成する姿勢判定手段１２０、通報判定手段１３０、通報手段１４０は、看護師や介護士が待機するステーションＤに設置されている。なお、通報手段１４０は、ステーションＤだけでなく各部屋Ｒに設置されていても構わない。

【0085】

例えば、部屋Ｒ２の対象者Ｓについて通報の判定条件となっている姿勢Ｐ２が判定されると、部屋Ｒ２の通報手段１４０によって通報することで、部屋Ｒ２にいる他の人や部屋Ｒ２の近くにいる人に対象者Ｓが危険な姿勢Ｐ２になっていることを知らせることができる。

【0086】

ここで、図１４に示すステーションＤに設置された端末２００ａは、通報システム１００を構成する通信部６を介して通報システム１００に接続されている端末である。

【0087】

また、端末２００ｂは、例えば、ステーションＤとは異なる階であったり、離れている場所であったりと、ステーションＤとは異なるステーションＤ´に設置されている端末である。そして、この端末２００ｂも、通報システム１００を構成する通信部６を介して通報システム１００に接続されている端末である。

【0088】

また、携帯型の端末２００ｃは、例えば、施設内で働く看護師や介護士が携帯している端末である。そして、この端末２００ｃも、通報システム１００を構成する通信部６を介して通報システム１００に接続されている端末である。

【0089】

通報システム１００は、通信部６を介して接続する端末２００ａ、２００ｂ、２００ｃの表示部や音声出力部を通報手段１４０として用いることができる。そして、通報システム１００は、端末２００ａ、２００ｂ、２００ｃを通報手段１４０として用いることで、通報判定手段１３０による判定結果を複数の看護師や介護士に通報することが可能となっている。

【0090】

また、このような通報システム１００は、例えば、部屋Ｒ２の対象者Ｓについては、ある特定の看護師に通報し、部屋Ｒ３の対象者Ｓについては、別の看護師に通報する、というようなことも可能である。

【0091】

なお、端末２００ａ、２００ｂ、２００ｃは、ノートパソコンやタブレット、スマートフォン等の端末だけでなく、通報専用に作られた専用端末を用いることができる。

【0092】

以上のように、本実施形態の通報システム１００は、実施形態１の姿勢判定装置１と同様、深度値により形成される判定画像を取得し、深度値を用いて一定距離毎の画像に区分けした区分画像により姿勢判定を行うので、ベッド上で対象者が使っている掛け布団による影響を排除して姿勢判定を行うことができる。また、通報システム１００は、姿勢判定の判定結果に基づいて通報を行うか否かの判定を行い、この判定結果に基づいて通報を行うので、病院や介護施設のように多くの判定対象者Ｓがいる施設での使用に非常に適している。

【0093】

なお、実施形態１の姿勢判定装置や実施形態２の通報システム１００は、主としてベッド上の対象者Ｓの姿勢を判定することにより、対象者ＳのベッドＢからの転落を未然に防止する目的で用いているが、ベッドＢ上からの転落防止以外の目的でも使用できる。例えば、ベッド上で同じ姿勢を長時間続けていると、床ずれと呼ばれる褥瘡のおそれがある。したがって、本発明の姿勢判定装置や通報システムは、同じ姿勢が長時間続いていると判定された場合には、対象者Ｓの姿勢を変える必要があることを看護師や介護士に通報するためのものとして使用することもできる。

【0094】

また、実施形態１の姿勢判定装置や実施形態２の通報システム１００は、対象者Ｓの姿勢を判定するものではあるが、この対象者Ｓとは何も人間に限られるということではなく、人以外の動物や物も広く含まれているおり、対象物と言い換えることもできる。そして、姿勢判定という言葉も、ベッド上での姿勢の判定に限られるということではなく、ベッド上以外でも、また姿勢以外の判定も含まれており、形状判定と言い換えることもでき、本発明は非常に適用範囲の広いものである。

【符号の説明】

【0095】

１、１Ａ…姿勢判定装置
２…入力部
６…通信部
１０、１０Ａ、１１０…判定画像取得手段
２０、２０Ａ、１２０…姿勢判定手段
２１…判定画像区分手段
２２、２１Ａ…動体検出手段
２３…合成動体画像形成手段
２４、２２Ａ…テンプレートマッチング手段
３０、３０Ａ…判定結果出力手段
１００…通報システム
１３０…通報判定手段
１４０…通報手段
２００ａ、２００ｂ、２００ｃ…端末
Ｓ…対象者
Ｂ…ベッド
Ｐ１…姿勢１
Ｐ２…姿勢２
Ｐ３…姿勢３
Ｄ、Ｄ´…ステーション
Ｒ…部屋

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】