ホーム > 特許ランキング > ノーリツプレシジョン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6607253
(24)【登録日】2019年11月1日
(45)【発行日】2019年11月20日
(54)【発明の名称】画像解析装置、画像解析方法、及び、画像解析プログラム
(51)【国際特許分類】
A61G 7/043 20060101AFI20191111BHJP
A61B 5/00 20060101ALI20191111BHJP
G08B 25/00 20060101ALI20191111BHJP
G08B 25/04 20060101ALI20191111BHJP
G06T 7/00 20170101ALI20191111BHJP
G06T 7/20 20170101ALI20191111BHJP
G06T 7/254 20170101ALI20191111BHJP
G06T 7/521 20170101ALI20191111BHJP
【ＦＩ】
A61G7/043
A61B5/00 102A
G08B25/00 510M
G08B25/04 K
G06T7/00 660B
G06T7/20 300Z
G06T7/254 B
G06T7/521
【請求項の数】8
【全頁数】29
(21)【出願番号】特願2017-518775(P2017-518775)
(86)(22)【出願日】2016年2月4日
(86)【国際出願番号】JP2016053347
(87)【国際公開番号】WO2016185738
(87)【国際公開日】20161124
【審査請求日】2019年1月18日
(31)【優先権主張番号】特願2015-102465(P2015-102465)
(32)【優先日】2015年5月20日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】311001347
【氏名又は名称】ノーリツプレシジョン株式会社
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100179213
【弁理士】
【氏名又は名称】山下 未知子
(74)【代理人】
【識別番号】100170542
【弁理士】
【氏名又は名称】桝田 剛
(72)【発明者】
【氏名】松本 修一
【審査官】
小原 正信
(56)【参考文献】
【文献】
特開２０１２−００５７４５（ＪＰ，Ａ）
【文献】
特開２０１２−０７１００４（ＪＰ，Ａ）
【文献】
特開２００８−２０６８６８（ＪＰ，Ａ）
【文献】
特開２０１２−０９４１４０（ＪＰ，Ａ）
【文献】
特開２０１４−２３６８９６（ＪＰ，Ａ）
【文献】
特開２０１４−１７４６２７（ＪＰ，Ａ）
【文献】
特開２０１１−０８６２８６（ＪＰ，Ａ）
(57)【特許請求の範囲】
【請求項1】
見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得する画像取得部と、
取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出する前景抽出部と、
抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知する行動検知部と、
を備え、
前記行動検知部は、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する、
画像解析装置。
取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出する前景抽出部と、
抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知する行動検知部と、
を備え、
前記行動検知部は、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する、
画像解析装置。
【請求項2】
前記行動検知部は、抽出された前記前景領域の解析に基づいて、前記見守り対象者以外の人物がベッドサイドに存在している第１条件と、前記見守り対象者が前記ベッド上で就寝する以外の行動を行っている第２条件と、が満たされているか否かを判定し、
前記第１条件及び前記第２条件の少なくともいずれか一方が満たされていると判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を停止し、
前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始する、
請求項１に記載の画像解析装置。
前記第１条件及び前記第２条件の少なくともいずれか一方が満たされていると判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を停止し、
前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始する、
請求項１に記載の画像解析装置。
【請求項3】
前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始する際に、このときに取得された前記撮影画像を前記背景画像に設定することで、前記背景画像を更新する背景画像更新部を更に備える、
請求項２に記載の画像解析装置。
請求項２に記載の画像解析装置。
【請求項4】
前記ずり落ち用検知領域は、少なくとも布団の厚み分は前記ベッドから離れた位置に設定される、
請求項１から３のいずれか１項に記載の画像解析装置。
請求項１から３のいずれか１項に記載の画像解析装置。
【請求項5】
前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得し、
前記前景抽出部は、深度データを含む前記背景画像と取得された前記撮影画像との差分を算出することで、取得された前記撮影画像の前記前景領域を抽出し、
前記行動検知部は、抽出された前記前景領域に含まれる各画素の深度を参照することにより特定される前記前景領域の実空間における位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知する、
請求項１から４のいずれか１項に記載の画像解析装置。
前記前景抽出部は、深度データを含む前記背景画像と取得された前記撮影画像との差分を算出することで、取得された前記撮影画像の前記前景領域を抽出し、
前記行動検知部は、抽出された前記前景領域に含まれる各画素の深度を参照することにより特定される前記前景領域の実空間における位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知する、
請求項１から４のいずれか１項に記載の画像解析装置。
【請求項6】
前記見守り対象者の前記ベッドからのずり落ちを検知した場合に、当該見守り対象者が前記ベッドからずり落ちている状態にあることを知らせるための通知を行う通知部を更に備える、
請求項１から５のいずれか１項に記載の画像解析装置。
請求項１から５のいずれか１項に記載の画像解析装置。
【請求項7】
コンピュータが、
見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、
取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、
抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、
を実行し、
前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する、
画像解析方法。
見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、
取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、
抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、
を実行し、
前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する、
画像解析方法。
【請求項8】
コンピュータに、
見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、
取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、
抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、
を実行させ、
前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定させ、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知させる、
ための画像解析プログラム。
見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、
取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、
抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、
を実行させ、
前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定させ、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知させる、
ための画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析装置、画像解析方法、及び、画像解析プログラムに関する。【背景技術】
【0002】
近年、入院患者、施設入居者、要介護者等の見守り対象者がベッドから転倒、転落する事故、及び、認知症患者の徘徊による事故が年々増加する傾向にある。このような事故を防止するため、室内に設置したカメラで見守り対象者を撮影し、撮影した画像を解析することで、起き上がり、端座位、離床等の見守り対象者の行動を検知する見守りシステムが開発されている。【0003】
例えば、特許文献１では、見守り対象者の身体の少なくとも一部が予め設定された監視領域から逸脱したか否かによって、当該見守り対象者の行動を検知する方法が提案されている。この方法では、ベッド面上の所定の範囲に矩形状監視領域が設定され、ベッド全体を覆う範囲に半球状監視領域が設定される。これにより、見守り対象者の腕、足等の一部が矩形状監視領域から逸脱したことを検出することで、当該見守り対象者の身体の一部がベッドからはみ出したことを検知することができる。また、見守り対象者の頭部又は上半身が矩形状監視領域から逸脱したことを検出することで、当該見守り対象者の起き上がりを検知することができる。更に、見守り対象者の身体が半球状監視領域から逸脱したことを検出することで、当該見守り対象者の離床を検知することができる。【0004】
また、例えば、特許文献２では、各画素の深度を含む撮影画像から前景領域を抽出し、抽出された前景領域とベッド等との位置関係に基づいて、見守り対象者の行動を推定する方法が提案されている。この方法では、抽出される前景領域が見守り対象者の行動に関連すると仮定して各推定条件が設定されており、抽出された前景領域とベッド等との位置関係が各推定条件を満たすか否かを判定することで、当該見守り対象者の行動を検知することができる。なお、この特許文献２では、検知対象の行動として、見守り対象者の起き上がり、端座位、柵越え、落下及び離床が例示されている。【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１４−１４９７３１号公報
【特許文献2】特開２０１４−２３６８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
見守り対象者を介護する現場では、起き上がり、離床等の行動の他に、見守り対象者のベッドからのずり落ちを検知してほしいとの要望がある。ずり落ちとは、見守り対象者がベッド上にいる状態からベッドの下に転落した状態に、例えば数分程度の時間をかけて段階的に変化していく際の行動を指す。【0007】
例えば、筋力が著しく低下し、自力で起き上がることが困難な高齢者は、自力で離床しようとする際に、ベッド外に足を下ろして、ベッドの柵にしがみつきながら起き上がろうとする。このとき、この高齢者は、自身の上半身を起こすことができず、ベッドの柵にしがみ付いたまま下半身からベッド外に徐々に転落してしまう可能性がある。このベッド外に徐々に転落していく一連の動作が、見守り対象者のずり落ち行動に相当する。【0008】
見守り対象者のずり落ちを検知することができれば、当該見守り対象者がベッドから完全に転落してしまう事故を防止することができる。しかしながら、このずり落ち行動は、転落に向かって段階的に移動する動作であり、ベッド上での起き上がり、端座位等の行動とは相違している。そして、従来の見守りシステムでは、このようなベッド上からベッド下に段階的に転落していくような動作を検知することは想定されていなかった。そのため、従来の見守りシステムによれば、見守り対象者の起き上がり、離床等の行動を検知することはできるものの、このような見守り対象者のずり落ち行動を検知することができなかった。【0009】
本発明は、一側面では、このような点を考慮してなされたものであり、見守り対象者のずり落ちを検知する技術を提供することを目的とする。【課題を解決するための手段】
【0010】
本発明は、上述した課題を解決するために、以下の構成を採用する。【0011】
すなわち、本発明の一側面に係る画像解析装置は、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得する画像取得部と、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出する前景抽出部と、抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知する行動検知部と、を備える。そして、前記行動検知部は、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する。【0012】
上記構成によれば、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像が取得され、取得された撮影画像と撮影画像の背景に設定された背景画像との差分が算出される。これによって、取得された撮影画像において前景領域が抽出される（いわゆる背景差分法）。前景領域は、背景画像から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。したがって、抽出される前景領域の位置に基づいて、見守り対象者の行動を解析することができる。【0013】
ここで、ずり落ちとは、見守り対象者がベッド上にいる状態からベッドの下に転落した状態に、例えば数分程度の時間をかけて段階的に変化していく際の行動である。そのため、見守り対象者がベッドからずり落ちる場合には、ベッドサイドにおいてベッド面から所定の高さの範囲に、当該見守り対象者に対応する所定の大きさ以上の前景領域が継続的に現れ得る。【0014】
そこで、上記構成では、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面から所定の高さの範囲にずり落ち用検知領域が設定される。そして、当該ずり落ち用検知領域に所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かが判定される。これによって、所定の大きさ以上の前景領域がずり落ち用検知領域に所定時間以上継続して現れたと判定した場合に、当該見守り対象者のベッドからのずり落ちを検知することができる。したがって、上記構成によれば、見守り対象者のずり落ちを検知する技術を提供することができる。【0015】
また、上記一側面に係る画像解析装置の別の形態として、前記行動検知部は、抽出された前記前景領域の解析に基づいて、前記見守り対象者以外の人物がベッドサイドに存在している第１条件と、前記見守り対象者が前記ベッド上で就寝する以外の行動を行っている第２条件と、が満たされているか否かを判定してもよい。そして、前記行動検知部は、前記第１条件及び前記第２条件の少なくともいずれか一方が満たされていると判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を停止してもよく、前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始してもよい。【0016】
上記のとおり、見守り対象者のベッドからのずり落ちを検知するためのずり落ち用検知領域は、ベッドサイドに設定される。そのため、見守り対象者以外の人物がベッドサイドに存在している場合には、当該見守り対象者以外の人物に対応する前景領域を見守り対象者に対応する前景領域と間違え、見守り対象者のベッドからのずり落ちを誤検知してしまう可能性がある。【0017】
また、見守り対象者がベッド上で就寝している以外の状態（例えば、見守り対象者がベッド上で起き上がっている、ベッドから離床している等）にある場合には、見守り対象者のずり落ち以外の行動によって、ずり落ち用検知領域に前景領域が現れる可能性がある。そのため、見守り対象者がベッド上で就寝している以外の状態にある場合には、当該見守り対象者のずり落ち以外の行動をずり落ち行動と誤検知してしまう可能性がある。更に、このような場合には、見守り対象者がベッドからずり落ちる可能性は殆どなく、当該見守り対象者のベッドからのずり落ちを検知する必要性が極めて低くなる。【0018】
そこで、当該構成では、抽出された前景領域の解析に基づいて、見守り対象者以外の人物がベッドサイドに存在している第１条件と、見守り対象者がベッド上で就寝する以外の行動を行っている第２条件と、が満たされているか否かを判定する。そして、第１条件及び第２条件の少なくともいずれか一方が満たされている場合には、見守り対象者のベッドからのずり落ちを検知する判定処理の実行を停止する。一方、第１条件及び第２条件が共に満たされていない場合には、見守り対象者のベッドからのすり落ちを検知する判定処理の実行を開始する。これによって、当該構成によれば、上記のような場合に生じるずり落ちの誤検知を防止することができる。【0019】
また、上記一側面に係る画像解析装置の別の形態として、上記画像解析装置は、前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始する際に、このときに取得された前記撮影画像を前記背景画像に設定することで、前記背景画像を更新する背景画像更新部を更に備えてもよい。【0020】
見守り対象者以外の人物がベッドサイドに存在する場合、又は、見守り対象者がベッド上で就寝する以外の行動を行っている場合には、ベッドサイドの領域において背景の状態が変更される可能性がある。例えば、見守り対象者以外の人物が、車椅子、点滴台等をベッドサイドに配置したケースが、ベッドサイドの領域において背景の状態が変更されるケースに該当する。このようにベッドサイドの領域において背景の状態が変更されたときには、ベッドサイドに設定されたずり落ち用検知領域に前景領域が現れてしまい、見守り対象者のベッドからのずり落ちを誤検知してしまう可能性がある。【0021】
これに対して、当該構成によれば、見守り対象者のずり落ちを検知する判定処理の実行を開始する際に取得される撮影画像を背景画像に設定することで、前景領域の抽出に利用する背景画像の更新が行われる。そのため、上記のような理由によりベッドサイドの領域において背景の状態が変更されても、その変更が生じた後に取得される撮影画像で背景画像を更新するため、その背景の変更が生じた領域で前景領域が抽出されるのを防ぐことができる。したがって、当該構成によれば、上記のような場合に生じるずり落ちの誤検知を防止することができる。【0022】
また、上記一側面に係る画像解析装置の別の形態として、前記ずり落ち用検知領域は、少なくとも布団の厚み分は前記ベッドから離れた位置に設定されてよい。上記のとおり、見守り対象者のベッドからのずり落ちを検知するためのずり落ち用検知領域は、ベッドサイドに設定される。ベッド上から布団がはみ出した場合には、この布団に対応する前景領域がこのずり落ち用検知領域に表れてしまい、見守り対象者のベッドからのずり落ちを誤検知してしまう可能性がある。これに対して、当該構成では、ずり落ち用検知領域は、少なくとも布団の厚み分はベッドから離れた位置に設定される。そのため、当該構成によれば、ベッド上から布団がはみ出したことに起因するずり落ちの誤検知を防止することができる。【0023】
また、上記一側面に係る画像解析装置の別の形態として、前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得してもよい。また、前記前景抽出部は、深度データを含む前記背景画像と取得された前記撮影画像との差分を算出することで、取得された前記撮影画像の前記前景領域を抽出してもよい。そして、前記行動検知部は、抽出された前記前景領域に含まれる各画素の深度を参照することにより特定される前記前景領域の実空間における位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知してもよい。【0024】
当該構成では、撮影画像及び背景画像はそれぞれ、各画素の深度を示す深度データを含む。各画素の深度は、各画素に写る被写体の深さを表現する。そのため、この深度データによれば、被写体の実空間における位置を特定することができる。したがって、当該構成によれば、撮影装置の設置場所及び視野方向に依存することなく、見守り対象者、ベッド等の見守り空間に存在する対象物の実空間上の位置を特定することができる。よって、当該構成によれば、撮影装置の設置条件に限定されず、見守り対象者の行動を精度よく検知することができる。【0025】
また、上記一側面に係る画像解析装置の別の形態として、上記画像解析装置は、前記見守り対象者の前記ベッドからのずり落ちを検知した場合に、当該見守り対象者が前記ベッドからずり落ちている状態にあることを知らせるための通知を行う通知部を更に備えてもよい。当該構成によれば、見守り対象者のベッドからのずり落ちを検知したことを通知することができる。なお、通知先及び通知方法は、実施の形態に応じて適宜選択することができる。例えば、当該通知は、見守り者に対して行われてもよい。見守り者は、見守り対象者の行動を見守る者である。見守り対象者が、入院患者、施設入居者、要介護者等である場合は、見守り者は、例えば、看護師、施設職員、介護者等である。【0026】
なお、上記各形態に係る画像解析装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。【0027】
例えば、本発明の一側面に係る画像解析方法は、コンピュータが、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、を実行し、前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する、情報処理方法である。【0028】
また、例えば、本発明の一側面に係る画像解析プログラムは、コンピュータに、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、を実行させ、前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定させ、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知させる、ためのプログラムである。【発明の効果】
【0029】
本発明によれば、見守り対象者のずり落ちを検知することが可能になる。【図面の簡単な説明】
【0030】
【発明を実施するための形態】
【0031】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。【0032】
§１ 適用場面まず、図１を用いて、本発明が適用される場面について説明する。図１は、本実施形態に係る画像解析装置１が用いられる場面を模式的に例示する。本実施形態に係る画像解析装置１は、カメラ２によって見守り対象者を撮影し、それにより得られた撮影画像３を画像解析することで、見守り対象者の行動を検知する情報処理装置である。そのため、本実施形態に係る画像解析装置１は、見守り対象者の見守りを行う場面で広く利用可能である。
【0033】
具体的には、図１で例示されるように、本実施形態に係る画像解析装置１は、カメラ２によって見守り対象者を撮影する。カメラ２は、本発明の「撮影装置」に相当する。また、見守り対象者は、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者である。【0034】
この見守り対象者は、例えば、ベッド上で就寝しており、カメラ２は、そのような状態の見守り対象者のベッドにおける行動を撮影するために設置されている。このカメラ２は、この見守り対象者の見守りを行う範囲を撮影可能であれば、いかなる場所に配置されてもよい。【0035】
本実施形態に係る画像解析装置１は、このようなカメラ２によって撮影された撮影画像３を取得する。そして、画像解析装置１は、取得された撮影画像３と当該撮影画像３の背景に設定された背景画像（後述する背景画像４）との差分を算出することにより、取得された撮影画像３の前景領域を抽出する。すなわち、画像解析装置１は、いわゆる背景差分法に基づいて、撮影画像３の前景領域を抽出する。【0036】
前景領域は、撮影画像３と背景画像とで差がある場所、換言すると、背景画像から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。例えば、図１に例示されるように、見守り対象者がベッド上で起き上がった場合には、ベッド面上の所定の高さの範囲に前景領域が現れる。そこで、画像解析装置１は、抽出された前景領域の位置に基づいて見守り対象者の行動を解析することで、見守り対象者のベッドにおける行動を検知する。【0037】
ここで、ずり落ちとは、見守り対象者がベッド上にいる状態からベッドの下に転落した状態に、比較的に長い時間をかけて段階的に変化していく際の行動である。したがって、見守り対象者がベッドからずり落ちる場合には、見守り対象者の身体は、ベッドサイドにおいてベッド上からベッド下に徐々に移行していく。そのため、見守り対象者がベッドからずり落ちる場合には、当該見守り対象者の身体が移動する経路に、換言すると、ベッドサイドにおけるベッド面から所定の高さの範囲に、当該見守り対象者の身体部位に対応する所定の大きさ以上の前景領域が継続的に現れ得る。【0038】
そこで、本実施形態では、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面から所定の高さの範囲にずり落ち用検知領域（後述するずり落ち用検知領域ＤＤ）が設定される。画像解析装置１は、上記見守り対象者の行動を解析する際に、このずり落ち用検知領域に所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かを判定する。そして、所定の大きさ以上の前景領域がずり落ち用検知領域に所定時間以上継続して現れたと判定した場合に、画像解析装置１は、見守り対象者のベッドからのずり落ちを検知する。したがって、本実施形態によれば、見守り対象者のずり落ちを検知する技術を提供することができる。【0039】
なお、画像解析装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、画像解析装置１は、図１に例示されるように、カメラ２に近接するように配置されてもよい。また、画像解析装置１は、ネットワークを介してカメラ２と接続してもよく、当該カメラ２とは全く異なる場所に配置されてもよい。【0040】
§２ 構成例＜ハードウェア構成＞
次に、図２を用いて、画像解析装置１のハードウェア構成を説明する。図２は、本実施形態に係る画像解析装置１のハードウェア構成を例示する。画像解析装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。
【0041】
なお、画像解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、画像解析装置１の内部装置としてではなく、外部装置として画像解析装置１に接続されてもよい。また、画像解析装置１はカメラ２を内蔵してもよい。更に、画像解析装置１は、複数の外部インタフェース１５を備えてもよく、複数の外部装置と接続してもよい。【0042】
本実施形態では、カメラ２は、外部インタフェース１５を介して画像解析装置１に接続している。このカメラ２は、本発明の撮影装置に相当する。本実施形態に係るカメラ２は、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。【0043】
ただし、カメラ２の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、深度センサ２１単体に置き換わってもよい。【0044】
なお、見守り対象者を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、Occipital社のStucture Sensorを挙げることができる。【0045】
ここで、図３を用いて、本実施形態に係る深度センサ２１によって測定される深度を詳細に説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。【0046】
すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。このような深度を利用することで、本実施形態に係る画像解析装置１は、実空間上における被写体の位置を特定することができる。【0047】
このカメラ２は、見守り対象者のベッドにおける行動を見守るために、ベッド周辺の領域を撮影可能なように設置されている。例えば、図１では、カメラ２は、ベッドのフットボード側から見守り対象者を撮影するように配置されている。ただし、上記のとおり、本実施形態では、カメラ２は、被写体の深度を測定可能に構成される。これにより、本実施形態では、カメラ２の設置場所及び撮影方向に依存することなく、被写体の実空間上の位置を特定することができる。そのため、カメラ２の設置場所及び撮影方向は、このような例に限定されなくてもよく、ベッド周辺を撮影可能であれば、実施の形態に応じて適宜選択されてよい。【0048】
また、本実施形態では、記憶部１２は、プログラム５を格納する。このプログラム５は、画像解析装置１に後述する背景画像の設定に関する各処理を実行させるためのプログラムであり、本発明の「画像解析プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。【0049】
記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図２は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。【0050】
なお、このような画像解析装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、画像解析装置１は、１又は複数のコンピュータにより実装されてもよい。【0051】
＜機能構成例＞次に、図４を用いて、画像解析装置１の機能構成を説明する。図４は、本実施形態に係る画像解析装置１の機能構成を例示する。本実施形態では、画像解析装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置１は、画像取得部１１１、前景抽出部１１２、行動検知部１１３、背景更新部１１４及び通知部１１５を備えるコンピュータとして機能する。
【0052】
画像取得部１１１は、カメラ２によって撮影された撮影画像３を取得する。カメラ２には深度センサ２１が含まれているため、取得される撮影画像３には、当該撮影画像３内の各画素の深度を示す深度データが含まれる。前景抽出部１１２は、取得された撮影画像３と当該撮影画像３の背景に設定された背景画像４との差分を算出することにより、取得された撮影画像３の前景領域を抽出する。すなわち、前景抽出部１１２は、いわゆる背景差分法に基づいて、背景から変化した領域である前景領域を撮影画像３において抽出する。【0053】
行動検知部１１３は、抽出された前景領域の解析に基づいて見守り対象者の行動を検知する。上記のとおり、前景領域は、背景画像４から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。そこで、行動検知部１１３は、抽出された前景領域の位置に基づいて見守り対象者の行動を解析することで、当該見守り対象者のベッドにおける行動を検知する。【0054】
特に、行動検知部１１３は、見守り対象者のベッドからのずり落ちを検知可能に構成される。具体的には、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面から所定の高さの範囲にずり落ち用検知領域が設定される。このずり落ち用検知領域は、ユーザによって設定されてもよいし、システム上で予め設定されてもよい。行動検知部１１３は、当該ずり落ち用検知領域に所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かを判定する。そして、行動検知部１１３は、所定の大きさ以上の前景領域がずり落ち用検知領域に所定時間以上継続して現れたと判定した場合に、当該見守り対象者のベッドからのずり落ちを検知する。【0055】
また、背景更新部１１４は、取得された撮影画像３によって、前景抽出部１１２の利用する背景画像４を更新する。特に、背景更新部１１４は、見守り対象者のベッドからのずり落ちを検知する判定処理の実行を開始する際に、このときに取得された撮影画像３を背景画像４に設定することで、画像解析装置１に保持された背景画像４を更新する。更に、通知部１１５は、見守り対象者のベッドからのずり落ちを検知した場合に、当該見守り対象者がベッドからずり落ちている状態にあることを知らせるための通知を行う。【0056】
なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像解析装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。例えば、画像解析装置１が背景画像４の更新を行わない場合には、背景更新部１１４は省略されてもよい。また、画像解析装置１がずり落ち検知の通知を行わない場合には、通知部１１５は省略されてもよい。各機能に関しては後述する動作例で詳細に説明する。【0057】
§３ 動作例次に、図５を用いて、画像解析装置１の動作例を説明する。図５は、画像解析装置１による見守り対象者の行動解析に関する処理手順を例示する。なお、以下で説明する見守り対象者の行動解析に関する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する見守り対象者の行動解析に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換及び追加が可能である。
【0058】
（ステップＳ１０１）ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、カメラ２により撮影された撮影画像３を取得する。そして、撮影画像３を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。
【0059】
上記のとおり、本実施形態では、カメラ２は、深度センサ２１を備えている。そのため、本ステップＳ１０１において取得される撮影画像３には、各画素の深度を示す深度データが含まれている。制御部１１は、この深度データを含む撮影画像３として、例えば、図６で例示される撮影画像３を取得する。【0060】
図６は、深度データを含む撮影画像３の一例を示す。図６で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。この撮影画像３は、深度画像と称されてもよい。制御部１１は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図７及び図８を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。【0061】
図７は、撮影画像３内の座標関係を例示する。また、図８は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を例示する。なお、図７の左右方向は、図８の紙面に垂直な方向に対応する。すなわち、図８で表れている撮影画像３の長さは、図７で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図７で例示される横方向の長さ（Ｗピクセル）は、図８で表れていない撮影画像３の紙面垂直方向の長さに対応する。【0062】
図７で例示されるように、撮影画像３の任意の画素（点ｓ）の座標が（ｘs，ｙs）であるとし、カメラ２の横方向の画角がＶx、縦方向の画角がＶyであるとする。また、撮影画像３の横方向のピクセル数がＷであるとし、縦方向のピクセル数がＨであるとし、撮影画像３の中心点（画素）の座標が（０，０）であるとする。【0063】
制御部１１は、カメラ２の画角（Ｖx、Ｖy）を示す情報をカメラ２から取得することができる。ただし、カメラ２の画角（Ｖx、Ｖy）を示す情報を取得する方法はこのような例に限られず、制御部１１は、カメラ２の画角（Ｖx、Ｖy）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、撮影画像３から、点ｓの座標（ｘs，ｙs）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。【0064】
制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１〜３で示される関係式に基づいて、図８に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓx，Ｓy，Ｓz，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。【0065】
【数1】
【数2】
【数3】
【0066】
ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図８に例示されるように、水平方向に対して傾いている場合がある。すなわち、カメラ座標系は、三次元空間（実空間）のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図８のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。【0067】
なお、深度データを含む撮影画像３のデータ形式は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、撮影画像３は、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、例えば、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。【0068】
また、撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。更に、制御部１１は、このような撮影画像３を、カメラ２のビデオ信号に同期して取得してもよい。そして、制御部１１は、カメラ２と同期して取得した撮影画像３に対して、後述するステップＳ１０２〜Ｓ１０５までの処理を即座に実行してもよい。画像解析装置１は、このような動作を絶え間なく継続的に実行することにより、リアルタイム画像処理を実現し、カメラ２の撮影範囲に存在する見守り対象者の見守りをリアルタイムに行うことができる。以下では、このように継続的に取得される撮影画像３により見守り対象者の見守りを行う例を説明する。【0069】
（ステップＳ１０２）図５に戻り、次のステップＳ１０２では、制御部１１は、前景抽出部１１２として機能し、ステップＳ１０１で取得された撮影画像３と当該撮影画像３の背景に設定された背景画像４との差分を算出することにより、当該撮影画像３の前景領域を抽出する。背景画像４は、背景差分法に基づいて撮影画像３において前景領域を抽出するために利用されるデータである。制御部１１は、例えば、当該見守り対象者の見守りを開始したとき等任意のタイミングに取得される撮影画像３によって、この背景画像４を作成することができる。
【0070】
撮影画像３により背景画像４を作成する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、カメラ２により得られる１フレーム分の撮影画像３をそのまま背景画像４に設定してもよい。また、例えば、制御部１１は、カメラ２により得られる数フレーム分の撮影画像３の平均を算出することで、背景画像４を作成してもよい。これによって、各画素の深度を示す深度データを含む背景画像４を生成することができる。【0071】
本ステップＳ１０２では、制御部１１は、このように作成される背景画像４とステップＳ１０１で取得した撮影画像３との差分を算出することにより、ステップＳ１０１で取得した撮影画像３において前景領域を抽出する。例えば、制御部１１は、図９及び図１０で例示されるように、撮影画像３において前景領域を抽出することができる。【0072】
図９は、撮影画像３に含まれる深度データに基づいて特定される撮影範囲内の各画素（被写体）の三次元分布を例示する。図１０は、図９で例示した被写体のうち撮影画像３から抽出される前景領域の三次元分布を例示する。上記のとおり、深度データに基づいて、撮影画像３の各画素の三次元空間（実空間）上の位置を特定することができる。そのため、撮影画像３内の位置と深度とにより各画素を三次元空間内でプロットすることで、図９で例示されるような三次元分布を作成することができる。また、背景画像４も、撮影画像３と同様に、深度データを含んでいる。そのため、背景画像４についても、図９で例示されるような各画素の三次元分布を特定することができる。【0073】
そこで、制御部１１は、撮影画像３及び背景画像４の対応する画素の深度を比較する。そして、制御部１１は、撮影画像３と背景画像４とで深度の相違する画素を前景領域として抽出する。これによって、制御部１１は、図１０で例示されるような前景領域を抽出することができる。ステップＳ１０１で取得した撮影画像３において前景領域を抽出すると、制御部１１は、次のステップＳ１０３に処理を進める。【0074】
（ステップＳ１０３）図５に戻り、次のステップＳ１０３では、制御部１１は、行動検知部１１３として機能し、ステップＳ１０２で抽出した前景領域の位置に基づいて、見守り対象者の行動を解析する。本実施形態では、撮影画像３は深度データを含んでいる。そのため、制御部１１は、前景領域に含まれる各画素の深度を参照することにより、図１０で例示されるような前景領域の実空間における位置を特定する。そして、制御部１１は、この前景領域の実空間における位置に基づいて見守り対象者の行動を解析する。これにより、制御部１１は、見守り対象者のベッドにおける行動を検知する。
【0075】
なお、前景領域の位置に基づいて見守り対象者の行動を解析する方法は、実施の形態に応じて適宜設定可能である。すなわち、見守り対象者の行動を検知する方法、各行動を検知するための所定の条件及び検出対象とする行動はそれぞれ、実施の形態に応じて適宜選択されてよい。以下では、見守り対象者の行動を検知する方法の一例として、前景領域とベッドとの位置関係に基づいて、見守り対象者の起き上がり、端座位、離床及びずり落ちを検知する方法を説明する。【0076】
（１）起き上がりまず、図１１Ａ及び図１１Ｂを用いて、見守り対象者の起き上がりを検知する方法の一例について説明する。図１１Ａは、見守り対象者がベッド上で起き上がる場面をベッドサイド側から見た状態を模式的に例示する。また、図１１Ｂは、見守り対象者がベッド上で起き上がる場面をフットボード側から見た状態を模式的に例示する。なお、以下では、説明の便宜のため、ベッドのヘッドボードとフットボードとを結ぶ方向を「前後方向」と称し、サイドフレーム間を結ぶ方向を「左右方向」と称し、ベッドの鉛直方向を「上下方向」と称する。
【0077】
図１１Ａ及び図１１Ｂに例示されるように、見守り対象者がベッド上で起き上がった場合、見守り対象者の上半身がベッド面ＳＵの上方に移動するため、ベッド面ＳＵの上方に前景領域が現れると想定される。そのため、このような場所に現れる前景領域に基づいて見守り対象者の起き上がりを検知するために、ベッド面ＳＵから所定の高さＨＡの位置に、起き上がり用検知領域ＤＡが設定されてもよい。そして、制御部１１は、この起き上がり用検知領域ＤＡに所定の大きさを超える前景領域が現れた場合に、見守り対象者のベッド上での起き上がりを検知してもよい。【0078】
なお、ベッド面ＳＵの範囲は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。本実施形態では、撮影画像３は深度データを含んでいる。そのため、ベッド面ＳＵは、図９及び図１０で例示されるカメラ２の撮影範囲の三次元空間上で適宜設定されてよい。【0079】
同様に、起き上がり用検知領域ＤＡは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。また、起き上がり用検知領域ＤＡは、カメラ２の撮影範囲の三次元空間上で適宜設定されてよい。この起き上がり用検知領域ＤＡの範囲を定める所定の高さＨＡ及び起き上がり用検知領域ＤＡの前後方向、左右方向並びに上下方向それぞれの範囲は、見守り対象者がベッド上で起き上がる際に抽出される前景領域を含むように適宜設定される。【0080】
また、起き上がりを検知する基準となる前景領域の大きさの閾値は、実施の形態に応じて適宜設定されてよい。ここで、前景領域の大きさは、前景領域に含まれる画素数により与えられてもよい。ただし、カメラ２から被写体が遠ざかるほど、撮影画像３内の被写体の像は小さくなり、カメラ２に被写体が近づくほど、撮影画像３内の被写体の像は大きくなる。撮影画像３内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像３の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。【0081】
そこで、制御部１１は、被写体の遠近による影響を除外するために、本ステップＳ１０３において、各画素の深度を利用して、抽出した前景領域の実空間における面積を算出してもよい。前景領域の実空間における面積は、例えば、次のようにして算出することができる。すなわち、制御部１１は、まず、以下の数４及び数５の関係式に基づいて、図７及び図８に例示される任意の点ｓ（１画素）の実空間内における横方向の長さｗ及び／又は縦方向の長さｈをそれぞれ算出する。【0082】
【数4】
【数5】
【0083】
続いて、制御部１１は、このように算出されるｗの２乗、ｈの２乗、又はｗとｈとの積によって、深度Ｄｓにおける１画素の実空間内での面積を算出する。そして、制御部１１は、前景領域に含まれる各画素の実空間内での面積の総和を求めることで、前景領域の実空間における面積を算出する。これにより、被写体の遠近の影響を除外し、前景領域の大きさを求めることができる。以下、起き上がり以外の行動を検知する際に算出する前景領域の大きさも同様である。【0084】
なお、このような面積は、深度データのノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。【0085】
また、制御部１１は、この起き上がり用検知領域ＤＡに現れた所定の大きさの前景領域に写る被写体を見守り対象者として推定してもよい。そして、これ以降に行動解析の各処理が繰り返される場合に、制御部１１は、見守り対象者が写る領域として推定した前景領域を追跡（トラッキング）することで、各撮影画像３で抽出される１又は複数の前景領域のうち、見守り対象者に対応する前景領域を特定してもよい。これによって、撮影画像３において複数の前景領域が抽出される場合に、制御部１１は、いずれの前景領域が見守り対象者に対応するかを容易に推定することができる。【0086】
（２）端座位次に、図１２Ａ及び図１２Ｂを用いて、見守り対象者の端座位を検知する方法の一例について説明する。図１２Ａは、見守り対象者がベッド上で端座位を行っている場面をベッドサイド側から見た状態を模式的に例示する。また、図１２Ｂは、見守り対象者がベッド上で端座位を行っている場面をフットボード側から見た状態を模式的に例示する。
【0087】
図１２Ａ及び図１２Ｂに例示されるように、見守り対象者がベッド上で端座位を行った場合、見守り対象者の身体がベッドのサイドフレーム寄りに移動するため、ベッドのサイドフレーム付近に前景領域が現れると想定される。そのため、このような場所に現れる前景領域に基づいて見守り対象者の端座位を検知するために、ベッド面ＳＵ上のサイドフレーム付近の位置に、端座位用検知領域ＤＢが設定されてもよい。【0088】
そして、制御部１１は、この端座位用検知領域ＤＢに所定の大きさを超える前景領域が現れた場合に、見守り対象者のベッド上での端座位を検知してもよい。また、制御部１１は、起き上がりを検知した後に、トラッキングしている前景領域が端座位用検知領域ＤＢに進入した場合に、見守り対象者のベッド上での端座位を検知してもよい。【0089】
なお、端座位用検知領域ＤＢは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。また、端座位用検知領域ＤＢは、カメラ２の撮影範囲の三次元空間上で適宜設定されてよい。この端座位用検知領域ＤＢの位置及び各方向の範囲は、見守り対象者が端座位を行った際に抽出される前景領域を含むように適宜設定される。更に、端座位を検知する基準となる前景領域の大きさの閾値は、実施の形態に応じて適宜設定されてよい。この閾値は、上記起き上がりを検知する際の閾値と相違してもよい。【0090】
ここで、図１２Ａ及び図１２Ｂでは、端座位用検知領域ＤＢは、ベッド面ＳＵより上方に設定されている。しかしながら、端座位用検知領域ＤＢの設定範囲はこのような例に限定されなくてもよく、端座位用検知領域ＤＢは、ベッド面ＳＵより下方の領域を含んでもよい。また、図１２Ａ及び図１２Ｂでは、端座位用検知領域ＤＢは、ベッドの両サイドに設定されている。しかしながら、端座位用検知領域ＤＢは、いずれか一方のサイドにのみ設定されてもよい。【0091】
（３）離床次に、図１３Ａ及び図１３Ｂを用いて、見守り対象者の離床を検知する方法の一例について説明する。図１３Ａは、見守り対象者がベッドから離床する場面を模式的に例示する斜視図である。また、図１３Ｂは、見守り対象者がベッドから離床する場面をフットボード側から見た状態を模式的に例示する。
【0092】
図１３Ａ及び図１３Ｂに例示されるように、見守り対象者がベッドから離床した場合には、見守り対象者の身体がベッドから離れる方向に移動するため、ベッドから離れた位置に前景領域が現れると想定される。そのため、このような場所に現れる前景領域に基づいて見守り対象者の離床を検知するために、離床用検知距離ＨＣが設定されてもよい。【0093】
そして、制御部１１は、所定の大きさを超える前景領域が、ベッド面ＳＵの右サイドから右方向に又はベッド面ＳＵの左サイドから左方向に離床用検知距離ＨＣ以上離れた位置に現れた場合に、見守り対象者のベッドからの離床を検知してもよい。また、制御部１１は、起き上がりを検知した後に、トラッキングしている前景領域が、ベッド面ＳＵの右サイドから右方向に又はベッド面ＳＵの左サイドから左方向に離床用検知距離ＨＣ以上離れた場合に、見守り対象者のベッドからの離床を検知してもよい。【0094】
なお、離床用検知距離ＨＣの値は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。この離床用検知距離ＨＣの値は、見守り対象者の離床を検知可能に適宜設定される。また、ベッド面ＳＵのサイドと前景領域との左右方向の距離は、適宜算出可能である。例えば、制御部１１は、前景領域に含まれる任意の点とベッド面ＳＵのサイドとの実空間における距離を計算することで、ベッド面ＳＵのサイドと前景領域との左右方向の距離を算出してもよい。ここで、距離を計算する任意の点は、適宜設定することができる。例えば、この任意の点は、前景領域の重心であってもよいし、前景領域内のベッド面ＳＵのサイドに最も近接する画素であってもよい。【0095】
また、図１３Ａ及び図１３Ｂでは、画像解析装置１は、見守り対象者の離床をベッドの両サイドで検知可能に構成されている。しかしながら、画像解析装置１は、ベッドのいずれか一方のサイドで見守り対象者の離床を検知可能に構成されてもよい。すなわち、制御部１１は、ベッドのいずれか一方のサイドで、見守り対象者の検知処理を省略してもよい。【0096】
更に、見守り対象者の離床を検知するため、この離床用検知距離ＨＣに代えて、上記起き上がり及び端座位と同様に、離床用検知領域が設定されてもよい。この場合には、上記起き上がり及び端座位と同様の方法で、制御部１１は、見守り対象者のベッドからの離床を検知することができる。また、離床を検知する基準となる前景領域の大きさの閾値は、実施の形態に応じて適宜設定されてよい。この閾値は、上記起き上がり及び端座位を検知する際の各閾値と相違してもよい。【0097】
（４）ずり落ち次に、図１４Ａ及び図１４Ｂを用いて、見守り対象者のずり落ちを検知する方法の一例について説明する。図１４Ａは、見守り対象者がベッドからずり落ちている場面をベッドサイド側から見た状態を模式的に例示する。また、図１４Ｂは、見守り対象者がベッドからずり落ちている場面をフットボード側から見た状態を模式的に例示する。
【0098】
上記のとおり、見守り対象者がベッドからずり落ちる場合には、見守り対象者の身体は、ベッドサイドにおいてベッド上からベッド下に徐々に移行していく。ベッドサイドとは、図１４Ｂに例示されるように、ベッドの左右方向の各端部（サイドフレーム）からベッドと離間する方向の領域である。そのため、図１４Ａ及び図１４Ｂに例示されるように、見守り対象者がベッドからずり落ちる場合には、ベッドサイドにおけるベッド面ＳＵから所定の高さの範囲に、当該見守り対象者の身体部位に対応する所定の大きさ以上の前景領域が継続的に現れると想定される。【0099】
そこで、本実施形態では、このような場所に現れる前景領域に基づいて見守り対象者のずり落ちを検知するために、ベッドサイドにおけるベッド面ＳＵから所定の高さの範囲に、ずり落ち用検知領域ＤＤが設定される。制御部１１は、このずり落ち用検知領域ＤＤに所定の大きさを超える前景領域が所定時間以上継続して現れるか否かを判定する。そして、制御部１１は、所定の大きさ以上の前景領域がずり落ち用検知領域ＤＤに所定時間以上継続して現れたと判定した場合に、前記見守り対象者のベッドからのずり落ちを検知する。【0100】
なお、ずり落ち用検知領域ＤＤは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。また、ずり落ち用検知領域ＤＤは、カメラ２の撮影範囲の三次元空間上で適宜設定されてよい。このずり落ち用検知領域ＤＤの位置及び各方向の範囲は、見守り対象者がベッドからずり落ちる際に抽出される前景領域を含むように適宜設定される。【0101】
例えば、ずり落ち用検知領域ＤＤのベッド面ＳＵからの上下方向の長さＨＤ３はそれぞれ、３００ｍｍに設定されてもよい。ずり落ち用検知領域ＤＤの上下方向の範囲は、このようにベッド面ＳＵの高さを基準に設定されてもよいし、ベッド面ＳＵの高さを基準にせずに設定されてもよい。また、例えば、ずり落ち用検知領域ＤＤの左右方向の長さＨＤ２は、４５０ｍｍに設定されてもよい。更に、例えば、ずり落ち用検知領域ＤＤの前後方向の長さＨＤ４は、ベッド面ＳＵの各サイドの長さに対応して設定されてよい。【0102】
ただし、ずり落ち用検知領域ＤＤをベッド面ＳＵのサイドに当接又は近接するように設定した場合、ベッド上から布団がはみ出すことで、布団に対応する前景領域がずり落ち用検知領域ＤＤに現れる可能性がある。そこで、このずり落ち用検知領域ＤＤは、少なくとも布団の厚み分はベッドから離れた位置に設定されるのが望ましい。例えば、ずり落ち用検知領域ＤＤは、ベッドから左右方向に距離ＨＤ１だけ離間するように設定される。この距離ＨＤ１は、実施の形態に応じて適宜設定されてよい。距離ＨＤ１は、例えば、５０ｍｍに設定される。これによって、ずり落ち検知の精度を高めることができる。【0103】
また、ずり落ちを検知する基準となる前景領域の大きさの閾値は、実施の形態に応じて適宜設定されてよい。この閾値は、上記起き上がり、端座位及び離床を検知する際の各閾値と相違してもよい。ここで、図１４Ａ及び図１４Ｂでは、ずり落ち用検知領域ＤＤは、ベッドの両サイドに設定されている。しかしながら、ずり落ち用検知領域ＤＤは、いずれか一方のサイドにのみ設定されてもよい。【0104】
（５）その他本ステップＳ１０３では、制御部１１は、上記のようにして、前景領域の位置に基づいて見守り対象者の行動を解析することで、当該見守り対象者の各行動を検知する。すなわち、制御部１１は、上記各行動の判定条件を満たすと判定した場合に、見守り対象者は判定条件を満たした行動を行っていると認識し、次のステップＳ１０４に処理を進める。一方、上記各行動の判定条件を満たさないと判定した場合には、制御部１１は、見守り対象者の上記各行動を検知することなく、次のステップＳ１０４に処理を進める。この場合、制御部１１は、見守り対象者は上記各行動以外の状態（例えば、就寝状態）にあると認識してもよい。
【0105】
なお、見守り対象者の行動を検出する方法は、上記の方法に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、前景領域に含まれる各画素の撮影画像３内の位置及び深度の平均を取ることで、前景領域の平均位置を算出してもよい。そして、制御部１１は、実空間内において各行動を検出する条件として設定された検知領域に当該前景領域の平均位置が含まれるか否かを判定することで、見守り対象者の行動を検出してもよい。【0106】
また、制御部１１は、前景領域の形状に基づいて、前景領域に写る身体部位を特定してもよい。前景領域は、背景画像からの変化を示す。そのため、前景領域に写る身体部位は、見守り対象者の動作部位に対応する。これに基づいて、制御部１１は、特定した身体部位（動作部位）とベッド面ＳＵとの位置関係に基づいて、見守り対象者の行動を検出してもよい。これと同様に、制御部１１は、各行動の検知領域に含まれる前景領域に写る身体部位が所定の身体部位であるか否かを判定することで、見守り対象者の行動を検知してもよい。【0107】
（ステップＳ１０４）図５に戻り、次のステップＳ１０４では、制御部１１は、ステップＳ１０３において見守り対象者のベッドからのずり落ちを検知したか否かを判定する。そして、ステップＳ１０３において見守り対象者のベッドからのずり落ちを検知した場合には、制御部１１は、次のステップＳ１０５に処理を進める。一方、ステップＳ１０３において見守り対象者のベッドからのずり落ちを検知しなかった場合には、制御部１１は、次のステップＳ１０５の処理を省略して、本動作例に係る処理を終了する。
【0108】
（ステップＳ１０５）次のステップＳ１０５では、制御部１１は、通知部１１５として機能し、上記ステップＳ１０３において見守り対象者のベッドからのずり落ちを検知した場合に、当該見守り対象者がベッドからずり落ちている状態にあることを知らせるための通知を行う。これによって、本動作例に係る処理が終了する。なお、通知先及び通知方法は、実施の形態に応じて適宜選択することができる。制御部１１は、見守り対象者の行動を見守る見守り者又は見守り対象者自身に当該通知を行ってもよい。見守り対象者が、入院患者、施設入居者、要介護者等である場合は、見守り者は、例えば、看護師、施設職員、介護者等である。
【0109】
例えば、本実施形態に係る画像解析装置１が病院等の施設で利用される場合、当該画像解析装置１は、外部インタフェース１５を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部１１は、当該ナースコールシステム等の設備と連携して、ずり落ち検知の通知を行ってもよい。すなわち、制御部１１は、外部インタフェース１５を介して、当該ナースコールシステムを制御してもよい。そして、制御部１１は、ずり落ち検知の通知として、当該ナースコールシステムによる呼び出しを行ってもよい。これによって、見守り対象者がベッドからずり落ちている状態にあることを当該見守り対象者の見守りを行う看護師等に適切に知らせることができる。【0110】
また、例えば、制御部１１は、タッチパネルディスプレイ１３上に、ずり落ち検知の通知として、見守り対象者がベッドからのずり落ちを検知したこと知らせるための画面を表示させてもよい。また、例えば、制御部１１は、画像解析装置１に接続されるスピーカ１４から所定の音声を出力することにより、ずり落ち検知の通知を行ってもよい。このタッチパネルディスプレイ１３及びスピーカ１４をそれぞれ見守り者の居室に設置することで、見守り対象者がベッドからずり落ちていることを当該見守り者に適切に知らせることができる。【0111】
また、例えば、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、このようなずり落ち検知の通知を行ってもよい。このような通知を行う場合には、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部１２に予め登録されていてもよい。そして、制御部１１は、この予め登録されている電子メールアドレス、電話番号等を利用して、ずり落ち検知の通知を行ってもよい。【0112】
なお、通知対象とする行動は、ベッドからのずり落ちのみに限定されなくてもよい。例えば、制御部１１は、見守り対象者のベッドからのずり落ち以外の行動を検知した場合にも、当該行動を検知したことを知らせるための通知を行ってもよい。この場合、ステップＳ１０４において、制御部１１は、ステップＳ１０３において通知対象とする行動を検知したか否かを判定する。そして、制御部１１は、ステップＳ１０３において通知対象とする行動を検知したと判定した場合には、ステップＳ１０５において当該行動を検知したことを知らせるための通知を行う。これによって、画像解析装置１は、見守り対象者のベッドからのずり落ち以外の行動を検知した場合にも、当該行動を検知したことを見守り者等に知らせることができる。また、上記通知を行わない場合には、上記ステップＳ１０４及び本ステップＳ１０５は省略されてもよい。【0113】
＜その他＞上記のとおり、見守り対象者のベッドからのずり落ちを検知するためのずり落ち用検知領域ＤＤはベッドサイドに設定される。そのため、見守り対象者以外の人物（以下、「第三者」）がベッドサイドに存在している場合には、この第三者に対応する前景領域を見守り対象者の前景領域と誤り、見守り対象者のベッドからのずり落ちを誤検知する可能性がある。
【0114】
同様に、見守り対象者がベッド上で就寝している以外の状態（例えば、見守り対象者がベッド上で起き上がっている、ベッドから離床している等）にある場合には、見守り対象者のずり落ち以外の行動によって、ずり落ち用検知領域に前景領域が現れる可能性がある。そのため、見守り対象者がベッド上で就寝している以外の状態にある場合には、見守り対象者のずり落ち以外の行動をずり落ち行動と誤検知してしまう可能性がある。更に、このような場合には、見守り対象者がベッドからずり落ちる可能性は殆どなく、当該見守り対象者のベッドからのずり落ちを検知する必要性が極めて低くなる。【0115】
そこで、上記のような誤検知を回避するため、本実施形態に係る画像解析装置１は、次のような場合に限り、上記ステップＳ１０３において、見守り対象者のベッドからのずり落ちを検知する判定処理を実行するように構成されてよい。すなわち、画像解析装置１は、見守り対象者以外の第三者がベッドサイドに存在している第１条件、及び、見守り対象者がベッド上で就寝する以外の行動を行っている第２条件、の少なくともいずれか一方が満たされる場合に、上記ステップＳ１０３においてずり落ち検知の判定処理の実行を停止するように構成されてもよい。一方、画像解析装置１は、第１条件及び第２条件が共に満たされていない場合に、上記ステップＳ１０３においてずり落ち検知の判定処理の実行を行う（開始する）ように構成されてもよい。以下、図１５及び図１６を用いて、このずり落ち検知の判定処理を実行するか否かを定める判定処理モードの制御の一例について説明する。【0116】
まず、図１５を用いて、当該ずり落ち検知の判定処理モードについて説明する。図１５は、本実施形態に係る判定処理モードの状態遷移を例示する。図１５に例示されるように、本実施形態に係る判定処理モードは、実行モード及び停止モードの２種類である。実行モードは、上記ステップＳ１０３において見守り対象者のずり落ち検知の判定処理を実行するモードである。一方、停止モードは、上記ステップＳ１０３において見守り対象者のずり落ち検知の判定処理を省略するモードである。このような判定処理モードを示す情報は、例えば、ＲＡＭ上に保持される。制御部１１は、当該情報を更新することで、判定処理モードの切り替えを行う。【0117】
例えば、制御部１１は、見守りを開始した時点では、判定処理モードを実行モードに設定する。そして、制御部１１は、上記ステップＳ１０３において、ステップＳ１０２で抽出された前景領域の解析に基づいて、見守り対象者以外の第三者がベッドサイドに存在している第１条件と、見守り対象者がベッド上で就寝する以外の行動を行っている第２条件と、がそれぞれ満たされているか否かを判定する。そして、制御部１１は、第１条件及び第２条件の少なくとも一方が満たされていると判定した場合に、実行モードから停止モードに判定処理モードを切り替える。その後、制御部１１は、第１条件及び第２条件が共に満たされなくなると、停止モードから実行モードに判定処理モードを切り替える。これにより、制御部１１は、ずり落ち検知の判定処理モードを制御する。【0118】
次に、図１６を用いて、当該ずり落ち検知の判定処理モードの制御に関する処理手順を詳細に説明する。図１６は、本実施形態に係る判定処理モードの制御に関する処理手順を例示する。なお、以下で説明するずり落ち検知の判定処理モードの制御に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換及び追加が可能である。【0119】
（ステップＳ２０１＆ステップＳ２０２）ステップＳ２０１では、制御部１１は、行動検知部１１３として機能し、ステップＳ１０２で抽出された前景領域の解析に基づいて、見守り対象者以外の第三者がベッドサイドに存在している第１条件と、見守り対象者がベッド上で就寝する以外の行動を行っている第２条件と、がそれぞれ満たされているか否かを判定する。
【0120】
そして、次のステップＳ２０２では、制御部１１は、ステップＳ２０１において第１条件及び第２条件のいずれか一方が満たされていると判定した場合に、ステップＳ２０３に処理を進める。一方、制御部１１は、ステップＳ２０１において第１条件及び第２条件が共に満たされていないと判定した場合には、ステップＳ２０４に処理を進める。なお、第１条件及び第２条件がそれぞれ満たされているか否かは次のようにして判定することができる。【0121】
（１）第１条件まず、図１７Ａ及び図１７Ｂを用いて、第１条件の判定処理について説明する。図１７Ａは、見守り対象者以外の第三者がベッドサイドに存在している場面を模式的に例示する斜視図である。また、図１７Ｂは、見守り対象者以外の第三者がベッドサイドに存在している場面をフットボード側から見た状態を模式的に例示する。
【0122】
図１７Ａ及び図１７Ｂに例示されるように、第三者がベッドサイドに存在する場合には、ベッドサイドを移動する第三者に対応する前景領域がベッドから左右方向に所定の範囲に現れると想定される。そのため、このような場所に現れる前景領域に基づいて第三者の存在を検知するために、第三者用検知範囲ＨＥが設定されてもよい。【0123】
そして、制御部１１は、所定の大きさを超える前景領域が、ベッド面ＳＵの右サイドから右方向に又はベッド面ＳＵの左サイドから左方向に第三者用検知範囲ＨＥ内に現れた場合に、第１条件が満たされていると判定してもよい。一方、所定の大きさを超える前景領域がこの第三者用検知範囲ＨＥ内に現れていない場合に、第１条件が満たされていないと判定してもよい。【0124】
なお、第三者用検知範囲ＨＥは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。また、第三者用検知範囲ＨＥの各方向の長さは、カメラ２の撮影範囲の三次元空間上で適宜設定されてよい。この第三者用検知範囲ＨＥは、ベッドサイドにおいて第三者の存在を検知可能に適宜設定される。【0125】
また、図１７Ａ及び図１７Ｂでは、画像解析装置１は、第三者の存在をベッドの両サイドで検知可能に構成されている。しかしながら、画像解析装置１は、ベッドのいずれか一方のサイドでのみ第三者の存在を検知可能に構成されてもよい。すなわち、制御部１１は、ベッドのいずれか一方のサイドで、第三者の存在の判定処理を省略してもよい。【0126】
なお、上記のように第三者の存在を判定する場合には、制御部１１は、ベッドから離床し、再びベッドに戻ってきた見守り対象者を第三者と誤ってしまう可能性がある。そのため、このような誤認識に対応するため、制御部１１は、次のようにして、見守り対象者を認識してもよい。【0127】
すなわち、第三者用検知範囲ＨＥに進入した人物が見守り対象者である場合には、この人物はベッド上に移動すると想定される。一方、第三者用検知範囲ＨＥに進入した人物が見守り対象者以外の第三者である場合には、この人物はベッド上には移動しないと想定される。【0128】
そこで、制御部１１は、上記第三者用検知範囲ＨＥの範囲内に現れた前景領域を、一旦、第三者に対応する前景領域と推定してもよい。加えて、これ以降の処理において、制御部１１は、この前景領域をトラッキングしてもよい。そして、この前景領域が上記起き上がり用検知領域ＤＡに進入した場合に、この前景領域は第三者に対応するものではなく、この前景領域は見守り対象者に対応するものであると上記推定を修正してもよい。これによって、見守り対象者に対応する前景領域を第三者に対応する前景領域と制御部１１が誤認識するのを防止することができる。【0129】
（２）第２条件次に、第２条件の判定処理について説明する。制御部１１は、見守り対象者が就寝している以外の行動を行っていると推定可能な場合には、第２条件が満たされていると判定する。一方、制御部１１は、見守り対象者が就寝していると推定可能な場合に、第２条件が満たされていないと判定する。
【0130】
例えば、制御部１１は、上記ステップＳ１０３と同様の方法で、見守り対象者の起き上がり、端座位又は離床を検知した場合に、見守り対象者が就寝している以外の行動を行っていると推定し、第２条件が満たされていると判定してもよい。一方、制御部１１は、見守り対象者の起き上がり、端座位及び離床を検知できない場合に、見守り対象者が就寝していると推定し、第２条件が満たされていないと判定してもよい。【0131】
また、制御部１１は、次のような場合に、見守り対象者が就寝していると推定してもよい。すなわち、見守り対象者がベッド上で就寝している場合には、当該見守り対象者に対応する前景領域が、ベッド面ＳＵより上方で、かつ、上記起き上がり用検知領域ＤＡより下方に現れると想定される。【0132】
そのため、制御部１１は、例えば、トラッキングしている見守り対象者に対応する前景領域が、起き上がり用検知領域ＤＡからベッド面ＳＵの方向（下方向）に移動した場合に、見守り対象者がベッド上で就寝していると推定してもよい。また、制御部１１は、例えば、上記起き上がり用検知領域ＤＡに所定の大きさを超える前景領域が現れておらず、上記起き上がり用検知領域ＤＡとベッド面ＳＵとの間に所定の大きさを超える前景領域が現れている場合に、見守り対象者がベッド上で就寝していると推定してもよい。これらの推定に基づいて、制御部１１は、第２条件が満たされていないと判定してもよい。【0133】
（ステップＳ２０３）ステップＳ２０３では、制御部１１は、ずり落ち検知の判定処理モードを停止モードにして、本動作例に係る処理手順を終了する。例えば、ずり落ち検知の判定処理モードが停止モードに設定されていた場合には、制御部１１は、ずり落ち検知の判定処理モードを停止モードのままにする。一方、ずり落ち検知の判定処理モードが実行モードに設定されていた場合には、制御部１１は、ずり落ち検知の判定処理モードを実行モードから停止モードに切り替える。これによって、これ以降に実行される上記ステップＳ１０３では、制御部１１は、ずり落ち検知の判定処理を省略する。
【0134】
（ステップＳ２０４）ステップＳ２０４では、制御部１１は、ずり落ち検知の判定処理モードを実行モードにして、次のステップＳ２０５に処理を進める。例えば、ずり落ち検知の判定処理モードが停止モードに設定されていた場合には、制御部１１は、ずり落ち検知の判定処理モードを停止モードから実行モードに切り替える。一方、ずり落ち検知の判定処理モードが実行モードに設定されていた場合には、制御部１１は、ずり落ち検知の判定処理モードを実行モードのままにする。これによって、これ以降に実行される上記ステップＳ１０３では、制御部１１は、ずり落ち検知の判定処理を実行（再開）する。
【0135】
（ステップＳ２０５）次のステップＳ２０５では、制御部１１は、背景更新部１１４として機能し、このときのステップＳ１０１で取得された撮影画像３により背景画像４の更新を行い、本動作例に係る処理手順を終了する。具体的には、制御部１１は、ステップＳ２０１及びＳ２０２により、上記第１条件及び第２条件が共に満たされていないと判定した場合に、上記ステップＳ２０４により、見守り対象者のベッドからのずり落ちを検知する判定処理の実行を開始する。この際に、制御部１１は、このときのステップＳ１０１で取得された撮影画像３を背景画像４に設定する。これによって、制御部１１は、これ以降に実行される上記ステップＳ１０２で利用される背景画像４を更新する。なお、本ステップＳ２０５は、上記ステップＳ２０４の前に実行されてもよい。また、背景画像４の更新を行わない場合には、本ステップＳ２０５は省略されてもよい。
【0136】
なお、上記ずり落ち検知の判定処理モードの制御に関する各処理は、任意のタイミングで実行されてもよい。例えば、上記ずり落ち検知の判定処理モードの制御に関する各処理は、上記ステップＳ１０２を処理した後、上記ステップＳ１０３でずり落ち検知の判定処理を実行する前に、実行されてもよい。また、画像解析装置１は、上記のような場合にずり落ち検知の判定処理の実行を停止するように構成されなくてもよく、上記ステップＳ１０３において常にずり落ち検知の判定処理を実行するように構成されてもよい。【0137】
（作用・効果）以上のように、本実施形態に係る画像解析装置１は、上記ステップＳ１０１及びＳ１０２において、背景差分法に基づいて、カメラ２により撮影された撮影画像３から前景領域を抽出する。そして、上記ステップＳ１０３において、画像解析装置１は、抽出された前景領域の位置に基づいて、見守り対象者の行動を検知する。
【0138】
ここで、本実施形態では、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面ＳＵから所定の高さの範囲にずり落ち用検知領域ＤＤが設定される。そして、上記ステップＳ１０３では、制御部１１は、このずり落ち用検知領域ＤＤに所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かを判定する。そして、制御部１１は、所定の大きさ以上の前景領域がずり落ち用検知領域ＤＤに所定時間以上継続して現れたと判定した場合に、当該見守り対象者のベッドからのずり落ちを検知する。したがって、上記構成によれば、見守り対象者のずり落ちを検知する技術を提供することができる。【0139】
また、本実施形態では、上記ステップＳ２０１において、制御部１１は、見守り対象者以外の第三者がベッドサイドに存在している第１条件及び見守り対象者がベッド上で就寝する以外の行動を行っている第２条件が、それぞれ満たされているか否かを判定する。そして、第１条件及び第２条件の少なくともいずれか一方が満たされていると判定した場合には、制御部１１は、ステップＳ２０３の処理により、上記ステップＳ１０３における見守り対象者のずり落ち検知の判定処理の実行を停止する。一方、第１条件及び第２条件が共に満たされていないと判定した場合には、制御部１１は、ステップＳ２０４の処理により、上記ステップＳ１０３における見守り対象者のずり落ち検知の判定処理の実行を開始する。これによって、本実施形態によれば、上記第１条件及び第２条件が満たされる場合に生じうるずり落ちの誤検知を防止することができる。すなわち、本実施形態によれば、見守り対象者のずり落ち検知の精度を高めることができる。【0140】
また、上記第１条件又は第２条件が満たされる場合には、第三者又は見守り対象者の行動に起因して、ベッドサイドの領域において背景の状態が変更される可能性がある。例えば、見守り対象者以外の第三者が、車椅子、点滴台等をベッドサイドに配置したケースが、ベッドサイドの領域において背景の状態が変更されるケースに該当する。このようにベッドサイドの領域において背景の状態が変更されたときには、ベッドサイドに設定されたずり落ち用検知領域ＤＤに前景領域が継続的に現れてしまい、見守り対象者のベッドからのずり落ちを誤検知してしまう可能性がある。【0141】
これに対して、本実施形態では、上記ステップＳ２０５において、制御部１１は、見守り対象者のベッドからのずり落ちを検知する判定処理の実行を開始する際に、このときにステップＳ１０１で取得された撮影画像３を背景画像４に設定することで、背景画像４の更新を行う。そのため、上記のような理由によりベッドサイドの領域において背景の状態が変更されても、その変更が生じた後に取得される撮影画像３で背景画像４を更新するため、その後に実行されるステップＳ１０２の処理において、その背景の変更が生じた領域で前景領域が抽出されるのを防ぐことができる。したがって、本実施形態によれば、上記のような場合に生じるずり落ちの誤検知を防止することができる。【0142】
§４ 変形例以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
【0143】
例えば、上記実施形態では、ステップＳ１０１において、制御部１１は、深度データを含む撮影画像３を取得している。しかしながら、見守り対象者の行動を解析する対象となる撮影画像は、このような例に限定されなくてもよく、深度データを含まなくてもよい。すなわち、画像解析装置１は、二次元画像に基づいて見守り対象者の行動を解析するように構成されてもよい。この二次元画像は、赤外線カメラ、赤外線センサ等により撮影された２次元のサーモグラフィ、赤外線画像等であってもよい。【0144】
また、上記実施形態では、見守り対象者のずり落ちを検知した場合に、画像解析装置１は、そのことを知らせるための通知を行う。これに加えて、画像解析装置１は、事故の予防のための動作を行うよう構成されてもよい。例えば、見守り対象者の利用するベッドがコンピュータで制御可能な電動ベッドである場合、この電動ベッドは、外部インタフェース１５を介して、画像解析装置１に接続されてもよい。この場合に、上記ステップＳ１０３において、見守り対象者のベッドからのずり落ちを検知したとき、制御部１１は、外部インタフェース１５を介してこの電動ベッドを制御することで、電動ベッドの高さが低くなるように操作してもよい。これによって、見守り対象者が高いところから転落するのを防ぐことができ、ベッドからの転落による事故を予防することができる。【符号の説明】
【0145】
１…画像解析装置、２…カメラ、２１…深度センサ、
３…撮影画像、４…背景画像、
５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ、
１１１…画像取得部、１１２…前景抽出部、１１３…行動検知部、
１１４…背景更新部、１１５…通知部、
ＤＤ…ずり落ち用検知領域、ＳＵ…ベッド面