特許 6500785 情報処理装置、情報処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6500785

(24)【登録日】2019年3月29日

(45)【発行日】2019年4月17日

(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20190408BHJP

   G08B 25/04 20060101ALI20190408BHJP

   G08B 29/04 20060101ALI20190408BHJP

   A61G 7/043 20060101ALI20190408BHJP

   A61G 12/00 20060101ALI20190408BHJP

   A61B 5/11 20060101ALI20190408BHJP

【ＦＩ】

   G08B25/00 510M

   G08B25/04 K

   G08B29/04

   A61G7/043

   A61G12/00 E

   A61B5/11 120

【請求項の数】10

【全頁数】29

(21)【出願番号】特願2015-560920(P2015-560920)

(86)(22)【出願日】2015年1月22日

(86)【国際出願番号】JP2015051631

(87)【国際公開番号】WO2015118953

(87)【国際公開日】20150813

【審査請求日】2017年12月20日

(31)【優先権主張番号】特願2014-21822(P2014-21822)

(32)【優先日】2014年2月7日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】311001347

【氏名又は名称】ノーリツプレシジョン株式会社

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(74)【代理人】

【識別番号】100156845

【弁理士】

【氏名又は名称】山田 威一郎

(74)【代理人】

【識別番号】100179213

【弁理士】

【氏名又は名称】山下 未知子

(74)【代理人】

【識別番号】100170542

【弁理士】

【氏名又は名称】桝田 剛

(74)【代理人】

【識別番号】100195305

【弁理士】

【氏名又は名称】本田 恵

(72)【発明者】

【氏名】松本 修一

(72)【発明者】

【氏名】村井 猛

(72)【発明者】

【氏名】上辻 雅義

【審査官】 齋藤 哲

(56)【参考文献】

【文献】 特開２００８−１１０２１５（ＪＰ，Ａ）

【文献】 特開２０１３−０７８４３３（ＪＰ，Ａ）

【文献】 特開２０１０−２７２０６５（ＪＰ，Ａ）

【文献】 特開２０１２−０７３８３２（ＪＰ，Ａ）

【文献】 特開２０１２−０７０２２３（ＪＰ，Ａ）

【文献】 特開２０１２−０９０２３５（ＪＰ，Ａ）

【文献】 国際公開第２００９／０２９９９６（ＷＯ，Ａ１）

【文献】 特開２００９−１７５８４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／１０３−５／１１３

Ａ６１Ｇ ７／００−７／１６，１２／００

Ｇ０８Ｂ １３／００−１３／２６，２５／００−２５／１４，

２９／００−２９／２８

(57)【特許請求の範囲】

【請求項1】

見守り対象者のベッドにおける行動を見守るために設置され、被写体の深度を測定するための深度センサを含む撮影装置、によって撮影された撮影画像であって、当該深度センサにより測定される当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定する異常判定部と、
前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う通知部と、
を備え、
前記撮像装置に含まれる深度センサは、赤外線の照射に基づいて深度を測定する赤外線深度センサであり、
前記異常判定部は、前記ベッドの領域について所定の割合を超えて深度が取得できない場合に、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態であると判定する、
情報処理装置。

【請求項2】

前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域の写る対象の実空間内での位置を前記見守り対象者の位置として利用し、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
請求項１に記載の情報処理装置。

【請求項3】

前記撮影装置は加速度センサを更に含み、
前記異常判定部は、前記加速度センサに基づいて前記撮影装置の衝撃を検出した後に、当該衝撃前の撮影画像と当該衝撃後の撮影画像とを比較することによって、前記撮影装置の撮影範囲に一定以上のずれが生じたか否かを判定し、
前記通知部は、前記撮影装置の撮影範囲に一定以上のずれが生じたと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記情報処理装置は、前記見守り対象者の見守りを行う者を呼び出すためのナースコールシステムに接続され、
前記通知部は、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知として、前記ナースコールシステムによる呼び出しを行う、
請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記情報処理装置は、音声を出力するための音声出力装置に接続され、
前記通知部は、前記ナースコールシステムによる呼び出しができない場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知として、当該ナースコールシステムによる呼び出しに代えて、前記音声出力装置に所定音声の出力を行わせる、
請求項４に記載の情報処理装置。

【請求項6】

前記情報処理装置は、画面表示を行うための表示装置に接続され、
前記通知部は、前記ナースコールシステムによる呼び出しができない場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知として、当該ナースコールシステムによる呼び出しに代えて、前記表示装置に所定態様の画面表示を行わせる、
請求項４又は５記載の情報処理装置。

【請求項7】

前記異常判定部は、前記情報処理装置が前記撮影装置を認識できているか否かを判定し、
前記通知部は、前記情報処理装置が前記撮影装置を認識できていないと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う、
請求項１から６のいずれか１項に記載の情報処理装置。

【請求項8】

前記異常判定部は、前記行動検知部による前記見守り対象者の行動の検知が一定時間以上実行されていないどうかを判定し、
前記通知部は、前記行動検知部による前記見守り対象者の行動の検知が一定時間以上実行されていないと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う、
請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

コンピュータが、
見守り対象者のベッドにおける行動を見守るために設置され、被写体の深度を測定するための深度センサを含む撮影装置、によって撮影された撮影画像であって、当該深度センサにより測定される当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得するステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知するステップと、
前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定するステップと、
前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行うステップと、
を実行し、
前記撮像装置に含まれる深度センサは、赤外線の照射に基づいて深度を測定する赤外線深度センサであり、
前記判定するステップでは、前記コンピュータは、前記ベッドの領域について所定の割合を超えて深度が取得できない場合に、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態であると判定する、
情報処理方法。

【請求項10】

コンピュータに、
見守り対象者のベッドにおける行動を見守るために設置され、被写体の深度を測定するための深度センサを含む撮影装置、によって撮影された撮影画像であって、当該深度センサにより測定される当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得するステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知するステップと、
前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定するステップと、
前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行うステップと、
を実行させ、
前記撮像装置に含まれる深度センサは、赤外線の照射に基づいて深度を測定する赤外線深度センサであり、
前記判定するステップでは、前記コンピュータに、前記ベッドの領域について所定の割合を超えて深度が取得できない場合に、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態であると判定させる、
ためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。

【背景技術】

【0002】

室内斜め上方から室内下方に向けて撮影された画像の境界辺を通過して、床面領域からベッド領域への人体移動を検知することで、入床事象を判断し、ベッド領域から床面領域への人体移動を検知することで、離床事象を判断する技術がある（特許文献１）。

【0003】

また、ベッドに寝ている患者が起床挙動を行ったことを判定するための見守り領域を、ベッドに就寝している患者を含むベッドの直上の領域に設定して、ベッドの横方向から見守り領域を含む撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す変動値が、患者がベッドに寝ている状態でカメラから得られた撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す初期値未満である場合に、患者が起床挙動を行っていると判断する技術がある（特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−２３０５３３号公報

【特許文献2】特開２０１１−００５１７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、入院患者、施設入居者、要介護者等の見守り対象者がベッドから転倒、転落する事故、及び、認知症患者の徘徊による事故が年々増加する傾向にある。このような事故を防止する方法として、例えば、特許文献１及び２で例示されるような、室内に設置した撮影装置（カメラ）で見守り対象者を撮影し、撮影した画像を解析することで、起き上がり、端座位、離床等の見守り対象者の行動を検知する見守りシステムが開発されている。

【0006】

このような見守りシステムでは、見守りを行う環境（以下、「見守り環境」とも称する）が変化すると、見守り対象者の行動を適切に検知できなくなってしまう可能性がある。例えば、撮影装置の向きが変わってしまうことによって、見守り対象者が撮影画像に写らなくなり、見守り対象者の行動を検知できなくなってしまう可能性がある。このような状態で見守りシステムが放置されると、見守り対象者の見守りを正常にできない事態が続いてしまうことになる。

【0007】

本発明は、一側面では、このような点を考慮してなされたものであり、見守り対象者の見守りを正常にできなくなった状態で見守りシステムが放置されてしまうことを防止可能にする技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、上述した課題を解決するために、以下の構成を採用する。

【0009】

すなわち、本発明の一側面に係る情報処理装置は、見守り対象者のベッドにおける行動を見守るために設置され、被写体の深度を測定するための深度センサを含む撮影装置、によって撮影された撮影画像であって、当該深度センサにより測定される当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定する異常判定部と、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う通知部と、を備える。

【0010】

そこで、上記構成に係る情報処理装置は、撮影画像内の各画素の深度に基づいて、実空間内でのベッドの高さ方向におけるベッドの基準面と見守り対象者との位置関係が所定の条件を満たすか否かを判定する。そして、上記構成に係る情報処理装置は、この判定の結果に基づいて、見守り対象者とベッドとの実空間内での位置関係を推定し、見守り対象者のベッドに関連する行動を検知する。

【0011】

つまり、上記構成に係る情報処理装置は、撮影画像に含まれる深度情報に基づいて、見守り対象者の行動を検知する。それゆえ、この深度情報が取得できないような状態では、上記構成に係る情報処理装置は、見守り対象者の行動を検知できなくなってしまう。これに対応するため、上記構成に係る情報処理装置は、撮影装置に含まれる深度センサによって撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定する。そして、深度センサによって撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う。

【0012】

これにより、上記構成に係る情報処理装置では、深度センサによって撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、見守りを正常にできない可能性のあることを利用者等に報知することができる。そのため、深度情報が取得できないことによって生じる見守りの不具合の状態での見守りシステムの放置を防止することができる。すなわち、上記構成によれば、見守り対象者の見守りを正常にできなくなった状態で見守りシステムが放置されてしまうことを防止することができる。

【0013】

なお、見守り対象者とは、本発明によりベッドでの行動を見守られる対象者であり、例えば、入院患者、施設入居者、要介護者等である。一方、見守り対象者の見守りを行う者は、例えば、看護師、施設職員、介護者等である。また、ベッドに関連する行動とは、見守り対象者がベッドの置かれた場所で行う可能性のある行動を指し、例えば、ベッド上での起き上がり、ベッドにおける端座位、ベッドの柵越え、ベッドからの落下、ベッドからの離床等である。ここで、端座位とは、見守り対象者がベッドの端に腰をかけている状態を指す。また、柵越えとは、見守り対象者がベッドの柵から身を乗り出している状態を指す。

【0014】

また、上記一側面に係る情報処理装置の別の形態として、前記異常判定部は、前記ベッドの領域について所定の割合を超えて深度が取得できない場合に、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態であると判定してもよい。当該構成では、情報処理装置は、見守り対象者の行動の基準となるベッドの領域について深度が取得できない場合に、撮影画像内の各画素の深度を取得できない状態であると判定する。そのため、見守り対象者の行動を検知するのに無関係な領域について深度が取得できない場合について、撮影画像内の各画素の深度を取得できない状態であると判定することを防止することができる。これにより、当該構成によれば、見守りシステムにおける異常発生の誤報の生じる可能性を低減することができる。

【0015】

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備えてもよい。そして、前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域の写る対象の実空間内での位置を前記見守り対象者の位置として利用し、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知してもよい。

【0016】

当該構成によれば、背景画像と撮影画像との差分を抽出することで、撮影画像の前景領域が特定される。この前景領域は、背景画像から変化の生じている領域である。そのため、前景領域には、見守り対象者に関連する像として、見守り対象者が動くことで変化の生じた領域、換言すると、見守り対象者の身体部位のうち動いている部位（以下、「動作部位」とも称する）の存在する領域が含まれている。よって、深度情報により示される前景領域内の各画素の深度を参照することで、実空間内における見守り対象者の動作部位の位置を特定することが可能である。

【0017】

そこで、上記構成に係る情報処理装置は、前景領域内の各画素の深度に基づいて特定される前景領域に写る対象の実空間内での位置を見守り対象者の位置として利用して、ベッドの基準面と見守り対象者との位置関係が所定の条件を満たすか否かを判定する。すなわち、見守り対象者の行動を検知するための所定条件は、前景領域が見守り対象者の行動に関連すると仮定して設定されている。上記構成に係る情報処理装置は、実空間内において、ベッドの基準面に対して見守り対象者の動作部位がどの高さに存在しているかに基づいて、見守り対象者の行動を検知する。

【0018】

ここで、前景領域は、背景画像と撮影画像との差分で抽出することができるため、高度な画像処理を利用しなくても特定することができる。そのため、上記構成によれば、簡易な方法で見守り対象者の行動を検知することができるようになる。

【0019】

また、上記一側面に係る情報処理装置の別の形態として、前記撮影装置は加速度センサを更に含んでもよく、前記異常判定部は、前記加速度センサに基づいて前記撮影装置の衝撃を検出した後に、当該衝撃前の撮影画像と当該衝撃後の撮影画像とを比較することによって、前記撮影装置の撮影範囲に一定以上のずれが生じたか否かを判定してもよく、前記通知部は、前記撮影装置の撮影範囲に一定以上のずれが生じたと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行ってもよい。

【0020】

上述のとおり、撮影装置の向きが変わってしまうことによって、見守り対象者が撮影画像に写らなくなり、見守り対象者の行動を検知できなくなってしまう可能性がある。当該構成によれば、撮影装置の撮影範囲に一定以上のずれが生じたと判定される場合に、見守りを正常にできない可能性のあることを利用者等に報知することができる。そのため、撮影装置の向きが変わることによって生じる見守りの不具合の状態での見守りシステムの放置を防止することができる。

【0021】

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記見守り対象者の見守りを行う者を呼び出すためのナースコールシステムに接続されてもよい。そして、前記通知部は、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知として、前記ナースコールシステムによる呼び出しを行ってもよい。当該構成によれば、ナースコールシステムを通じて、見守りシステムでの異常発生を報知することができる。

【0022】

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、音声を出力するための音声出力装置に接続されてもよい。そして、前記通知部は、前記ナースコールシステムによる呼び出しができない場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知として、当該ナースコールシステムによる呼び出しに代えて、前記音声出力装置に所定音声の出力を行わせてもよい。当該構成によれば、ナースコールシステムの呼び出しが正常にできない場合であっても、見守りシステムでの異常発生を報知することができる。

【0023】

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、画面表示を行うための表示装置に接続されてもよい。そして、前記通知部は、前記ナースコールシステムによる呼び出しができない場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知として、当該ナースコールシステムによる呼び出しに代えて、前記表示装置に所定態様の画面表示を行わせてもよい。当該構成によれば、ナースコールシステムの呼び出しが正常にできない場合であっても、見守りシステムでの異常発生を報知することができる。

【0024】

また、上記一側面に係る情報処理装置の別の形態として、前記異常判定部は、前記情報処理装置が前記撮影装置を認識できているか否かを判定してもよく、前記通知部は、前記情報処理装置が前記撮影装置を認識できていないと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行ってもよい。

【0025】

撮影装置の認識ができなくなると、上記情報処理装置は、見守り対象者の行動を検知するために利用する撮影画像が取得できなくなるため、見守り対象者の見守りを正常に実行できなくなる。当該構成によれば、このような状態に見守りシステムでの異常発生の通知が行われるため、撮影画像が取得できなくなることによる見守りの不具合の状態での見守りシステムの放置を防止することができる。

【0026】

また、上記一側面に係る情報処理装置の別の形態として、前記異常判定部は、前記行動検知部による前記見守り対象者の行動の検知が一定時間以上実行されていないどうかを判定してもよく、前記通知部は、前記行動検知部による前記見守り対象者の行動の検知が一定時間以上実行されていないと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行ってもよい。見守り対象者の行動の検知が実行されない場合、見守り対象者の見守りが正常にできていない可能性がある。当該構成によれば、このような場合に異常発生の報知が行われるため、見守り対象者の行動検知が一定時間以上実行されないことによる見守りの不具合の状態での見守りシステムの放置を防止することができる。

【0027】

また、上記一側面に係る情報処理装置の別の形態として、前記撮像装置に含まれる深度センサは、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。赤外線深度センサであれば、暗所であっても被写体の深度を取得することができる。そのため、当該構成によれば、見守り対象者の見守りが行われる場所の明るさに影響を受けずに被写体の深度を取得し、見守り対象者の行動を検知することが可能となる。

【0028】

なお、上記各形態に係る情報処理装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

【0029】

例えば、本発明の一側面に係る情報処理方法は、コンピュータが、見守り対象者のベッドにおける行動を見守るために設置され、被写体の深度を測定するための深度センサを含む撮影装置、によって撮影された撮影画像であって、当該深度センサにより測定される当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得するステップと、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知するステップと、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定するステップと、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行うステップと、を実行する情報処理方法である。

【0030】

また、例えば、本発明の一側面に係るプログラムは、コンピュータに、見守り対象者のベッドにおける行動を見守るために設置され、被写体の深度を測定するための深度センサを含む撮影装置、によって撮影された撮影画像であって、当該深度センサにより測定される当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得するステップと、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知するステップと、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定するステップと、前記深度センサによって前記撮影画像内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、前記見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行うステップと、を実行させるためのプログラムである。

【発明の効果】

【0031】

本発明によれば、見守り対象者の見守りを正常にできなくなった状態で見守りシステムが放置されてしまうことを防止することが可能になる。

【図面の簡単な説明】

【0032】

【図1】図１は、本発明が適用される場面の一例を示す。

【図2】図２は、各画素の深度に応じて当該各画素の濃淡値が定められた撮影画像の一例を示す。

【図3】図３は、実施の形態に係る情報処理装置のハードウェア構成を例示する。

【図4】図４は、実施の形態に係る深度を例示する。

【図5】図５は、実施の形態に係る機能構成を例示する。

【図6】図６は、実施の形態において見守り対象者の行動を検知する際の情報処理装置による処理手順を例示する。

【図7】図７は、実施の形態に係る情報処理装置が見守り対象者の見守りを行う際に表示する画面を例示する。

【図8】図８は、撮影画像に含まれる深度情報に基づいて特定される撮影範囲の被写体の三次元分布を例示する。

【図9】図９は、撮影画像から抽出される前景領域の三次元分布を例示する。

【図10】図１０は、実施の形態に係る見守りシステムが起き上がりを検知するための検知領域を模式的に例示する。

【図11】図１１は、実施の形態に係る見守りシステムが離床を検知するための検知領域を模式的に例示する。

【図12】図１２は、実施の形態に係る見守りシステムが端座位を検知するための検知領域を模式的に例示する。

【図13】図１３は、実施の形態に係る情報処理装置が実行する、見守りを正常に行えない状態で見守りシステムが放置されてしまうことを防止するための処理手順を例示する。

【図14】図１４は、領域の広がり具合と分散との関係を例示する。

【発明を実施するための形態】

【0033】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0034】

なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

【0035】

§１ 適用場面例
まず、図１を用いて、本発明が適用される場面について説明する。図１は、本発明が適用される場面の一例を模式的に示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者の例示として行動を見守られる場面が想定されている。見守り対象者の見守りを行う者（以下、「利用者」とも称する）は、例えば、看護師又は施設職員である。情報処理装置１とカメラ２とを含む見守りシステムを利用して、見守り対象者のベッドでの行動の見守りを行う。

【0036】

本実施形態に係る見守りシステムは、カメラ２によって見守り対象者の行動を撮影することで、見守り対象者とベッドとが写る撮影画像３を取得する。そして、当該見守りシステムは、カメラ２により取得される撮影画像３を情報処理装置１によって解析することで、見守り対象者の行動を検知し、見守り対象者の行動を見守る。

【0037】

カメラ２は、本発明の撮影装置に相当し、見守り対象者のベッドにおける行動を見守るために設置される。カメラ２の配置可能な位置は特に限定されなくてもよいが、本実施形態では、カメラ２は、ベッドの長手方向の前方に設置されている。図１は、カメラ２を横から見た場面を例示しており、図１の上下方向がベッドの高さ方向に相当する。また、図１の左右方向がベッドの長手方向に相当し、図１の紙面に垂直な方向がベッドの幅方向に相当する。

【0038】

本実施形態に係るカメラ２は、被写体の深度を測定するための深度センサ（後述する深度センサ８）を含んでおり、撮影画像内の各画素に対応する深度を取得することができる。そのため、このカメラ２によって取得される撮影画像３は、図１で例示されるように、画素毎に得られる深度を示す深度情報を含む。

【0039】

この深度情報を含む撮影画像３のデータ形式は、特に限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。撮影画像３は、例えば、撮影範囲内の被写体の深度を示すデータであってもよく、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、撮影画像３は、深度情報とともに、ＲＧＢ画像を含んでもよい。更に、撮影画像３は、動画像であってもよいし、静止画像であってもよい。

【0040】

図２は、このような撮影画像３の一例を示す。図２で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。当該深度情報によれば、撮影範囲内の被写体の実空間（三次元空間）内での位置を特定することができる。

【0041】

より詳細には、被写体の深度は、当該被写体の表面に対して取得される。そして、撮影画像３に含まれる深度情報を用いることで、カメラ２に写る被写体表面の実空間内での位置を特定することができる。本実施形態では、カメラ２により撮影された撮影画像３は情報処理装置１に送信される。そして、情報処理装置１は、取得した撮影画像３に基づいて、見守り対象者の行動を推定する。

【0042】

本実施形態に係る情報処理装置１は、取得される撮影画像３に基づいて見守り対象者の行動を推定するために、当該撮影画像３の背景として設定されている背景画像と撮影画像３との差分を抽出することで、撮影画像３内の前景領域を特定する。特定される前景領域は、背景画像から変化の生じている領域であるため、見守り対象者の動作部位の存在する領域を含んでいる。そこで、情報処理装置１は、見守り対象者に関連する像として前景領域を利用して、見守り対象者の行動を検知する。

【0043】

例えば、見守り対象者がベッド上で起き上がる場合には、図１で例示されるように、起き上がりに関する部位（図１では上半身）の写る領域が前景領域として抽出される。このように抽出される前景領域内の各画素の深度を参照することで、実空間内における見守り対象者の動作部位の位置を特定することが可能である。

【0044】

見守り対象者のベッドにおける行動は、このように特定される動作部位とベッドとの位置関係に基づいて推定することが可能である。例えば、図１で例示されるように、見守り対象者の動作部位がベッド上面の上方で検知された場合には、見守り対象者はベッド上で起き上がりの動作を行っていると推定することができる。また、例えば、見守り対象者の動作部位がベッドの側部付近で検知された場合には、見守り対象者は端座位の状態になろうとしていると推定することができる。

【0045】

そこで、情報処理装置１は、前景領域内の各画素の深度に基づいて特定される前景領域に写る対象の実空間内での位置を見守り対象者の位置として利用する。具体的には、本実施形態に係る情報処理装置１は、前景領域に写る対象とベッドとの実空間内での位置関係に基づいて、見守り対象者の行動を検知する。つまり、情報処理装置１は、実空間内において、見守り対象者の動作部位がベッドに対してどこに存在しているかに基づいて、見守り対象者の行動を検知する。そのため、見守り環境が変化することで、例えば、深度情報が取得できなくなったり、撮影範囲が変わってしまったりすると、見守り対象者の行動が正常に検知できなくなってしまう可能性がある。このような状態で見守りシステムが放置されてしまうと、見守り対象者の見守りを正常にできない状態が継続してしまうことになる。

【0046】

これに対応するため、本実施形態に係る情報処理装置１は、カメラ２に含まれる深度センサによって撮影画像３内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定する。そして、深度センサによって撮影画像３内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う。

【0047】

これにより、本実施形態に係る情報処理装置１では、深度センサによって撮影画像３内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、見守りを正常にできない可能性のあることを利用者等に報知することができる。そのため、本実施形態によれば、深度情報が取得できないことによって生じる見守りの不具合の状態での見守りシステムの放置を防止することができる。すなわち、見守り対象者の見守りを正常にできなくなった状態で見守りシステムが放置されてしまうことを防止することができる。

【0048】

§２ 構成例
＜ハードウェア構成＞
次に、図３を用いて、情報処理装置１のハードウェア構成を説明する。図３は、本実施形態に係る情報処理装置１のハードウェア構成を例示する。情報処理装置１は、図３に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。ただし、図３では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

【0049】

なお、情報処理装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、情報処理装置１の内部装置としてではなく、外部装置として情報処理装置１に接続されてもよい。また、情報処理装置１はカメラ２を内蔵してもよい。

【0050】

情報処理装置１は、複数の外部インタフェース１５を備え、複数の外部装置と接続されてもよい。本実施形態では、情報処理装置１は、外部インタフェース１５を介してカメラ２と接続されている。本実施形態に係るカメラ２は、見守り対象者のベッドにおける行動を見守るために設置される。このカメラ２は、被写体の深度を測定するための深度センサ８と、カメラ２の動きを計測するための加速度センサ９と、を備えている。これら深度センサ８及び加速度センサ９の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ８として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。また、加速度センサ９の種類として、静電容量検出方式、ピエゾ抵抗方式、熱検知方式等のセンサを挙げることができる。

【0051】

なお、見守り対象者の見守りが行われる場所（例えば、医療施設の病室）は、見守り対象者のベッドが置かれる場所、換言すると、見守り対象者の就寝する場所である。そのため、見守り対象者の見守りは暗い場所で行われる可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得するためには、赤外線の照射に基づいて深度を測定する赤外線深度センサが、深度センサ８として用いられるのが好ましい。このような赤外線深度センサを含む比較的安価な撮影装置として、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、PrimeSense社のCARMINEを挙げることができる。

【0052】

ここで、図４を用いて、本実施形態に係る深度センサ８によって測定される深度を詳細に説明する。図４は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図４で例示されるように、被写体の深さは、例えば、カメラと対象物との直線の距離Ａで表現されてもよいし、カメラの被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。

【0053】

また、情報処理装置１は、図３に例示されるように、外部インタフェース１５を介してナースコールシステム４に接続している。ナースコールシステム４のハードウェア構成及び機能構成は、実施の形態に応じて、適宜、選択されてもよい。ナースコールシステム４は、見守り対象者の見守りを行う利用者（看護師、施設職員等）を呼び出すための装置であり、ナースコールシステムとして既知の装置であってよい。本実施形態に係るナースコールシステム４は、情報処理装置１と配線１８で接続される親機４０と、この親機４０と無線通信可能な子機４１と、を備える。

【0054】

親機４０は、例えば、利用者の詰所に設置されている。親機４０は、主に、詰所に居る利用者を呼び出すために利用される。一方、子機４１は、一般的には利用者に携帯される。子機４１は、当該子機４１を携帯する利用者を呼び出すために利用される。親機４０及び子機４１はそれぞれ、種々の通知を音声で出力するためのスピーカを備えてもよい。また、親機４０及び子機４１はそれぞれ、情報処理装置１等を介して見守り対象者と会話可能なようにマイクを備えてもよい。情報処理装置１は、このように、外部インタフェース１５を介して、ナースコールシステム４等の施設に設置された設備と接続して、種々の通知を当該設備と連携して行ってもよい。

【0055】

また、情報処理装置１は、図３で例示されるように、外部インタフェース１５を介してナースコールに接続している。このように、情報処理装置１は、外部インタフェース１５を介してナースコール等の施設に設置された設備と接続されることで、見守り対象者に危険の迫る予兆があることを知らせるための通知を当該設備と連携して行ってもよい。

【0056】

なお、プログラム５は、情報処理装置１に後述する動作に含まれる処理を実行させるプログラムであり、本発明の「プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図３は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

【0057】

また、情報処理装置１として、例えば、提供されるサービス専用に設計された装置の他、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置が用いられてよい。また、情報処理装置１は、１又は複数のコンピュータにより実装されてもよい。

【0058】

＜機能構成例＞
次に、図５を用いて、情報処理装置１の機能構成を説明する。図５は、本実施形態に係る情報処理装置１の機能構成を例示する。本実施形態に係る情報処理装置１が備える制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置１は、画像取得部２１、前景抽出部２２、行動検知部２３、異常判定部２４、通知部２５、及び表示制御部２６を備えるコンピュータとして機能する。

【0059】

画像取得部２１は、カメラ２によって撮影された撮影画像３を取得する。取得される撮影画像３には、深度センサ８によって測定された各画素の深度を示す深度情報が含まれている。前景抽出部２２は、撮影画像３の背景として設定された背景画像とこの撮影画像３との差分から撮影画像３の前景領域を抽出する。行動検知部２３は、深度情報により示される前景領域内の各画素の深度に基づいて、前景領域に写る対象とベッドとの実空間内での位置関係が所定の条件を満たすか否かを判定する。そして、行動検知部２３は、当該判定の結果に基づいて、見守り対象者のベッドに関連する行動を検知する。

【0060】

異常判定部２４は、見守りシステムの見守りに異常発生の可能性があるか否かを判定する。そして、通知部２５は、見守りシステムの見守りに異常発生の可能性があると判定される場合に、見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う。表示制御部２６は、タッチパネルディスプレイ１３の画面表示を制御する。

【0061】

例えば、異常判定部２４は、深度センサ８によって撮影画像３内の各画素の深度を取得できない状態が一定時間以上継続したかどうかを判定する。そして、通知部２５は、深度センサ８によって撮影画像３内の各画素の深度を取得できない状態が一定時間以上継続したと判定される場合に、見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う。この場合に、表示制御部２６は、タッチパネルディスプレイ１３上でこの通知に係る画面表示を行ってもよい。

【0062】

なお、各機能に関しては後述する動作例で詳細に説明する。ここで、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、情報処理装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。

【0063】

§３ 動作例
［見守り対象者の行動検知］
まず、図６及び図７を用いて、情報処理装置１による見守り対象者の行動検知の処理手順を説明する。図６は、情報処理装置１による見守り対象者の行動検知に係る処理手順を例示する。図７は、行動検知に係る処理を実行する際にタッチパネルディスプレイ１３に表示される画面５０を例示する。

【0064】

本実施形態に係る制御部１１は、図６で例示される処理手順により見守り対象者の見守りを行う際に、表示制御部２６として機能し、図７で例示される画面５０をタッチパネルディスプレイ１３に表示する。画面５０は、カメラ２により撮影されている撮影画像３を表示する領域５１、図６で例示される見守り処理の一時停止を受け付けるためのボタン５２、及び見守り処理の各種設定を受け付けるためのボタン５３を含む。制御部１１は、このような画面５０をタッチパネルディスプレイ１３に表示させながら、以下のステップＳ１０１〜Ｓ１０５の処理を実行して、見守り対象者のベッドに関連する行動の検知を行う。利用者は、この行動検知の結果を利用して、見守り対象者の見守りを行う。

【0065】

なお、以下で説明する行動検知に関する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。また、見守り対象者の見守りを行う際にタッチパネルディスプレイ１３に表示する画面は、図７で例示される画面５０に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。

【0066】

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部２１として機能し、カメラ２により撮影された撮影画像３を取得する。本実施形態では、カメラ２は深度センサ８を備えるため、取得される撮影画像３には、各画素の深度を示す深度情報が含まれる。制御部１１は、この深度情報を含む撮影画像３として、例えば、図２及び図７で例示されるような、各画素の深度に応じて各画素の濃淡値（画素値）が定められた撮影画像３を取得する。つまり、図２及び図７で例示される撮影画像３の各画素の濃淡値は、当該各画素に写る対象の深度に対応している。

【0067】

制御部１１は、上記のとおり、当該深度情報に基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の位置（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。例えば、図７で例示される撮影画像３に写る被写体の実空間での状態は、次の図８で例示される。

【0068】

図８は、撮影画像３に含まれる深度情報に基づいて特定される撮影範囲内の被写体の位置の三次元分布を例示する。撮影画像３内の位置と深度とで各画素を三次元空間内にプロットすることで、図８で例示される三次元分布を作成することができる。つまり、制御部１１は、図８で例示される三次元分布のように、撮影画像３内に写る被写体の実空間内での状態を認識することができる。

【0069】

なお、本実施形態に係る情報処理装置１は、医療施設又は介護施設において、入院患者又は施設入居者を見守るために利用される。そこで、制御部１１は、リアルタイムに入院患者又は施設入居者の行動を見守ることができるように、カメラ２のビデオ信号に同期させて撮影画像３を取得してもよい。そして、制御部１１は、後述するステップＳ１０２〜Ｓ１０５までの処理を取得した撮影画像３に対して即座に実行してもよい。情報処理装置１は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、リアルタイムに入院患者又は施設入居者の行動を見守ることを可能にする。

【0070】

（ステップＳ１０２）
図６に戻り、ステップＳ１０２では、制御部１１は、前景抽出部２２として機能し、ステップＳ１０１で取得した撮影画像３の背景として設定された背景画像と撮影画像３との差分から、当該撮影画像３の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部１１は、見守り対象者の見守りを開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度情報も含んで撮影画像の平均が算出されることで、深度情報を含む背景画像が作成される。

【0071】

図９は、図７及び図８で例示した被写体のうち撮影画像３から抽出される前景領域の三次元分布を例示する。具体的には、図９は、見守り対象者がベッド上で起き上がった際に抽出される前景領域の三次元分布を例示している。上記のような背景画像を利用して抽出される前景領域は、背景画像で示される実空間内の状態から変化した位置に現れる。そのため、見守り対象者がベッド上で動いた場合、見守り対象者の動作部位の写る領域は、この前景領域として抽出される。例えば、図９では、見守り対象者がベッド上で上半身を起こす（起き上がり）動作を行っているため、見守り対象者の上半身の写る領域が前景領域として抽出されている。制御部１１は、このような前景領域を用いて、見守り対象者の動作を判定する。

【0072】

なお、本ステップＳ１０２において、制御部１１が前景領域を抽出する方法は、以上のような方法に限定されなくてもよく、例えば、背景差分法を用いて背景と前景とを分離してもよい。背景差分法として、例えば、上記のような背景画像と入力画像（撮影画像３）との差分から背景と前景とを分離する方法、異なる３枚の画像を用いて背景と前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。前景領域を抽出する方法は、特に限定されなくてよく、実施の形態に応じて、適宜、選択されてよい。

【0073】

（ステップＳ１０３）
図６に戻り、ステップＳ１０３では、制御部１１は、行動検知部２３として機能し、ステップＳ１０２で抽出した前景領域内の画素の深度に基づいて、前景領域に写る対象とベッドとの位置関係が所定の条件を満たすか否かを判定する。そして、制御部１１は、その判定結果に基づいて、見守り対象者の行っている行動を検知する。

【0074】

なお、見守り対象者の行動を検知する方法、各行動を検知するための所定の条件、及び検知対象とする行動は、特に限定されなくてもよく、実施の形態に応じて、適宜、選択されてよい。以下では、見守り対象者の行動を検知する方法の一例として、ベッド上面と前景領域との位置関係に基づいて見守り対象者の起き上がり、離床、端座位、及び柵越えを検知する方法を説明する。

【0075】

このベッド上面は、ベッドの垂直方向上側の面であり、例えば、ベッドマットレスの上面である。このベッド上面の実空間内での範囲は、予め設定されてもよいし、撮影画像３を解析してベッドの位置を特定することで設定されてもよいし、撮影画像３内でその範囲が利用者により指定されることで設定されてもよい。なお、見守り対象者の行動を検知する基準は、このようなベッド上面に限定されなくてもよく、ベッドに存在する物理的な対象に限らず、仮想的な対象であってもよい。

【0076】

すなわち、本実施形態に係る制御部１１は、前景領域に写る対象とベッド上面との実空間内での位置関係が所定の条件を満たすか否かの判定に基づいて、見守り対象者の行っている行動を検知する。そのため、見守り対象者の行動を検知するための所定の条件は、ベッド上面を基準として特定される所定の領域（以下、「検知領域」とも称する）に前景領域に写る対象が含まれるか否かを判定するための条件に相当する。そこで、ここでは、説明の便宜のために、この検知領域と前景領域との関係に基づいて、見守り対象者の行動を検知する方法を説明する。

【0077】

（１）起き上がり
図１０は、起き上がりを検知するための検知領域ＤＡを模式的に例示する。見守り対象者がベッド上で起き上がった場合、図９で例示される前景領域がベッド上面の上方に現れると想定される。そのため、起き上がりを検知するための検知領域ＤＡは、例えば、図１０で例示されるように、ベッド上面からベッドの高さ方向上方に所定の距離だけ高い位置に設定されてもよい。検知領域ＤＡの範囲は、特に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＡに含まれると判定した場合に、見守り対象者のベッド上での起き上がりを検知してもよい。

【0078】

（２）離床
図１１は、離床を検知するための検知領域ＤＢを模式的に例示する。見守り対象者がベッドから離床した場合、ベッドのサイドフレームから離れた位置に前景領域が現れると想定される。そのため、離床を検知するための検知領域ＤＢは、例えば、図１１で例示されるように、ベッド上面からベッドの幅方向に離れた位置に設定されてもよい。この検知領域ＤＢの範囲は、上記検知領域ＤＡと同様に、実施の形態に応じて、適宜、設定されてよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＢに含まれると判定した場合に、見守り対象者のベッドからの離床を検知してもよい。

【0079】

（３）端座位
図１２は、端座位を検知するための検知領域ＤＣを模式的に例示する。見守り対象者がベッドにおいて端座位を行った場合、ベッドのサイドフレーム周辺、かつ、ベッドの上方から下方にかけて、前景領域が現れると想定される。そのため、端座位を検知するための検知領域ＤＣは、図１２で例示されるように、ベッドのサイドフレーム周辺で、かつ、ベッドの上方から下方にかけて設定されてもよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＣに含まれると判定した場合に、見守り対象者のベッドにおける端座位を検知してもよい。

【0080】

（４）柵越え
見守り対象者がベッドの柵から身を乗り出した場合、換言すると、見守り対象者が柵越えを行った場合、ベッドのサイドフレーム周辺で、かつ、ベッドの上方に、前景領域が現れると想定される。そのため、柵越えを検知するための検知領域は、ベッドのサイドフレーム周辺で、かつ、ベッドの上方に、設定されてもよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象がこの検知領域に含まれると判定した場合に、見守り対象者の柵越えを検知してもよい。

【0081】

（５）その他
本ステップＳ１０３では、制御部１１は、上記のようにして、見守り対象者の各行動の検知を行う。すなわち、制御部１１は、対象の行動の上記判定条件を満たすと判定した場合に、当該対象の行動を検知することができる。一方、各行動の上記判定条件を満たさないと判定した場合には、制御部１１は、見守り対象者の行動を検知することなく、次のステップＳ１０４に処理を進める。

【0082】

なお、見守り対象者の行動を検知する方法は、上記の方法に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。例えば、制御部１１は、前景領域として抽出された各画素の撮影画像３内の位置及び深度の平均を取ることで、前景領域の平均位置を算出してもよい。そして、制御部１１は、実空間内において各行動を検知する条件として設定された検知領域に当該前景領域の平均位置が含まれるか否かを判定することで、見守り対象者の行動を検知してもよい。

【0083】

また、制御部１１は、前景領域の形状に基づいて、前景領域に写る身体部位を特定してもよい。前景領域は、背景画像からの変化を示す。そのため、前景領域に写る身体部位は、見守り対象者の動作部位に対応する。これに基づいて、制御部１１は、特定した身体部位（動作部位）とベッド上面との位置関係に基づいて、見守り対象者の行動を検知してもよい。これと同様に、制御部１１は、各行動の検知領域に含まれる前景領域に写る身体部位が所定の身体部位であるか否かを判定することで、見守り対象者の行動を検知してもよい。

【0084】

（ステップＳ１０４）
ステップＳ１０４では、制御部１１は、ステップＳ１０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。そして、ステップＳ１０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であると判定した場合、制御部１１は、ステップＳ１０５に処理を進める。一方、ステップＳ１０３において見守り対象者の行動を検知しなかった場合、又は、ステップＳ１０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動ではないと判定した場合、制御部１１は、本動作例に係る処理を終了する。

【0085】

見守り対象者に危険の迫る予兆を示す行動であると設定される行動は、実施の形態に応じて、適宜、選択されてよい。例えば、転落又は転倒が生じる可能性のある行動として、見守り対象者に危険の迫る予兆を示す行動に端座位が設定されていると仮定する。この場合、制御部１１は、ステップＳ１０３において見守り対象者が端座位の状態にあると検知したとき、ステップＳ１０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であると判定する。

【0086】

このステップＳ１０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する場合に、制御部１１は、見守り対象者の行動の遷移を利用してもよい。例えば、離床から端座位の状態になるよりも、起き上がりから端座位の状態になった方が、見守り対象者が転落又は転倒する可能性が高いと想定される。そこで、制御部１１は、ステップＳ１０４において、見守り対象者の行動の遷移を踏まえて、ステップＳ１０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定してもよい。

【0087】

例えば、制御部１１は、見守り対象者の行動を定期的に検知しているところ、ステップＳ１０３において、見守り対象者の起き上がりを検知した後に、見守り対象者が端座位の状態になったと検知したとする。このとき、制御部１１は、本ステップＳ１０４において、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であると判定してもよい。

【0088】

（ステップＳ１０５）
ステップＳ１０５では、制御部１１は、通知部２５として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を行う。制御部１１が当該通知を行う方法は、実施の形態に応じて、適宜、選択されてもよい。

【0089】

例えば、制御部１１は、情報処理装置１に接続されるナースコールシステム４等の施設に設置された設備と連携して、見守り対象者に危険の迫る予兆があることを知らせるための通知を行ってもよい。本実施形態では、制御部１１は、外部インタフェース１５を介して接続されたナースコールシステム４を制御して、見守り対象者に危険の迫る予兆があることを知らせるための通知として、当該ナースコールシステム４による呼び出しを行ってもよい。これにより、見守り対象者に危険の迫る予兆があることを見守り対象者の行動を見守る利用者に適切に知らせることが可能になる。

【0090】

なお、制御部１１は、ナースコールシステム４による呼び出しの一例として、例えば、親機４０及び子機４１の少なくとも一方に所定の音声を出力させる。この呼び出しは、親機４０及び子機４１の両方で行ってもよいし、どちらか一方で行ってもよい。呼び出しを行う方法は、実施の形態に応じて、適宜、選択されてよい。

【0091】

また、例えば、制御部１１は、情報処理装置１に接続されるスピーカ１４から所定の音声を出力することにより、見守り対象者に危険の迫る予兆があることを知らせるための通知を行ってもよい。このスピーカ１４がベッドの周辺に配置されている場合、このような通知をスピーカ１４で行うことにより、見守りを行う場所周辺に居る者に対して、見守り対象者に危険の迫る予兆があることを知らせることが可能になる。この見守りを行う場所周辺に居る者には、見守り対象者自身が含まれてもよい。これにより、見守り対象者に危険の迫る予兆があることを見守り対象者自身にも報知することが可能になる。

【0092】

また、例えば、制御部１１は、タッチパネルディスプレイ１３上に、見守り対象者に危険の迫る予兆があることを知らせるための画面を表示させてもよい。また、例えば、制御部１１は、電子メールを利用して、このような通知を行ってもよい。この場合、通知先となるユーザ端末の電子メールアドレスは記憶部１２に予め登録されていてもよく、制御部１１は、この予め登録されている電子メールアドレスを利用して、見守り対象者に危険の迫る予兆があることを知らせるための通知を行ってもよい。

【0093】

この通知が完了すると、制御部１１は、本動作例に係る処理を終了する。ただし、情報処理装置１は、見守り対象者の行動を定期的に検知する場合、上述の動作例に示される処理を定期的に繰り返してもよい。定期的に処理を繰り返す間隔は、適宜、設定されてもよい。また、情報処理装置１は、利用者の要求に応じて、上述の動作例に示される処理を実行してもよい。更に、情報処理装置１は、画面５０に設けられたボタン５２の操作に応じて、見守り対象者の行動検知に係る処理を一時停止してもよい。

【0094】

以上のように、本実施形態に係る情報処理装置１は、前景領域と被写体の深度とを利用して、見守り対象者の動作部位とベッドとの実空間内の位置関係を評価することで、見守り対象者の行動を検知する。そのため、本実施形態によれば、実空間での見守り対象者の状態に適合する行動推定が可能となる。

【0095】

［異常判定］
次に、図１５を用いて、見守りを正常に行えない状態で見守りシステムが放置されてしまうことを防止するための処理を説明する。図１５は、本実施形態に係る情報処理装置１が実行する、見守りを正常に行えない状態で見守りシステムが放置されてしまうことを防止するための処理手順を例示する。なお、この異常状態での見守りシステムの放置防止に係る処理は、いかなるタイミングで実行されてもよく、例えば、プログラム５が実行されている間、定期的に実行される。以下で説明する処理手順は一例に過ぎず、各処理は、可能な限り変更されもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの置換及び追加が可能である。

【0096】

（ステップＳ２０１及びステップＳ２０２）
ステップＳ２０１及びステップＳ２０２では、制御部１１は、異常判定部２４として機能し、見守りシステムの見守りに異常発生の可能性があるか否かを判定する。そして、制御部１１は、見守りシステムの見守りに異常発生の可能性があると判定した場合に、次のステップＳ２０３に処理を進める。一方、制御部１１は、見守りシステムの見守りに異常発生の可能性がないと判定した場合に、本動作例に係る処理を終了する。見守りシステムの見守りに異常が発生している可能性があるか否かを判定する方法は、実施の形態に応じて、適宜選択されてもよい。以下では、見守りシステムの見守りに異常発生の可能性があるか否かを判定する具体的な方法を例示する。

【0097】

（i）深度情報の未取得
制御部１１は、例えば、深度センサ８によって撮影画像３内の各画素の深度を取得できない状態が一定時間以上継続した場合に、見守りシステムの見守りに異常発生の可能性があると判定してもよい。深度センサ８により各画素に対応する深度が取得できない原因は種々挙げることができる。例えば、深度センサ８に不具合が生じた場合に、深度センサ８は、各画素の深度を取得することができなくなる。また、例えば、深度センサ８が赤外線深度センサである場合、赤外線を吸収する物体が撮影範囲内に存在するとき、太陽光などの強い光が撮影範囲に照射したとき等に、深度センサ８は、各画素の深度を取得することができなくなる。

【0098】

これらの原因により各画素の深度を取得できない場合、深度を取得できない画素にはエラー値が割り当てられる。制御部１１は、例えば、このようなエラー値の出現している継続時間に基づいて、深度センサ８によって撮影画像３内の各画素の深度を取得できない状態が一定時間以上継続したか否かを判定する。一定時間以上継続したと判定する基準となる所定時間は、設定値として予め定められてもよいし、利用者による入力値により定められてもよいし、複数の設定値から選択されることで定められてよい。

【0099】

そして、制御部１１は、深度センサ８によって撮影画像３内の各画素の深度を取得できない状態が一定時間以上継続したと判定した場合に、見守りシステムの見守りに異常発生の可能性があると評価して、次のステップＳ２０３に処理を進める。すなわち、制御部１１は、後述するとおり、見守りシステムの見守りが正常にできていない可能性のあることを知らせるための通知を行う。一方、そうではない場合、制御部１１は、見守りシステムの見守りに異常発生の可能性がないと評価して、本動作例に係る処理を終了する。

【0100】

上述のとおり、情報処理装置１は、深度情報に基づいて、見守り対象者とベッドとの実空間内での位置関係を評価する。そのため、深度情報が取得できない場合には、情報処理装置１は、見守り対象者の行動を検知することができなくなる。換言すると、情報処理装置１によって見守り対象者の行動を見守ることができなくなってしまう。これに対して、本実施形態に係る情報処理装置１は、深度情報が取得できないと評価できる場合に、見守り対象者の見守りを正常にできない可能性のあることを利用者等に報知する。そのため、本実施形態によれば、深度情報が取得できないことによって生じる見守りの不具合の状態での見守りシステムの報知を防止することができる。

【0101】

なお、制御部１１は、例えば、ベッドの領域について所定の割合を超えて深度が取得できない場合に、深度センサ８によって撮影画像３内の各画素の深度を取得できない状態と判定してもよい。上述のとおり、本実施形態に係る情報処理装置１は、ベッド上面と前景領域との位置関係に基づいて、見守り対象者の行動を検知する。そのため、ベッド周りの深度情報が取得できれば、情報処理装置１は見守り対象者の行動を検知することが可能である。

【0102】

そこで、本実施形態に係る制御部１１は、ベッド領域（例えば、ベッド上面）のうち深度を取得できない領域の割合を測定する。そして、制御部１１は、深度を取得できない領域の割合が所定値を超えている場合に、深度センサ８によって撮影画像３内の各画素の深度を取得できない状態と判定してもよい。一方、制御部１１は、深度を取得できない領域の割合が所定値以下である場合に、深度センサ８によって撮影画像３内の各画素の深度を取得できない状態ではないと判定してもよい。

【0103】

これによって、見守り対象者の行動を検知するのに無関係な領域について深度が取得できない場合について、撮影画像３内の各画素の深度を取得できない状態であると判定することを防止することができる。そのため、見守りシステムにおける異常発生の誤報の生じる可能性を低減することができる。なお、深度情報を取得できない状態であると判定する基準となる所定値は、設定値として予め定められてもよいし、利用者による入力値により定められてもよいし、複数の設定値から選択されることで定められてよい。

【0104】

（ii）撮影範囲のずれ
また、制御部１１は、例えば、カメラ２の撮影範囲に一定以上のずれが生じた場合に、見守りシステムの見守りに異常発生の可能性があると判定してもよい。カメラ２の撮影範囲にずれが生じる原因は種々挙げることができる。例えば、カメラ２の付近を通行する通行人がカメラ２にぶつかった場合に、カメラ２の撮影範囲にずれが生じる。

【0105】

このような原因によりカメラ２の撮影範囲に一定以上のずれが生じる場合、カメラ２には一定以上の動きが生じる。そのため、制御部１１は、まず、加速度センサ９に基づいてカメラ２の衝撃を検知する。例えば、制御部１１は、加速度センサ９により計測されたカメラ２の移動量が所定値を超えた場合に、カメラ２の衝撃を検知してもよい。

【0106】

加速度センサ９に基づいてカメラ２の衝撃を検知した後、制御部１１は、次に、当該衝撃を検出する前に取得された撮影画像３と当該衝撃を検出した後に取得された撮影画像３とを比較する。制御部１１は、例えば、カメラ２から継続的に取得される撮影画像３を一定時間分だけ記憶部１２に保持させ続けることで、衝撃前の撮影画像３と衝撃後の撮影画像３とを記憶部１２から取得できるようになる。

【0107】

このような衝撃前の撮影画像３と衝撃後の撮影画像３とを比較する方法は、実施の形態に応じて、適宜選択されてよい。制御部１１は、例えば、衝撃前の撮影画像３と衝撃後の撮影画像３との一致度に基づいて、これらの撮影画像３を比較してもよい。すなわち、制御部１１は、衝撃前の撮影画像３と衝撃後の撮影画像３との一致度に基づいて、カメラ２の撮影範囲に一定以上のずれが生じたか否かを判定してもよい。

【0108】

この場合、制御部１１は、衝撃前の撮影画像３と衝撃後の撮影画像３との一致度が所定値以下であるときに、カメラ２の撮影範囲に一定以上のずれが生じたと判定する。一方、制御部１１は、衝撃前の撮影画像３と衝撃後の撮影画像３との一致度が所定値を超えるときに、カメラ２の撮影範囲に一定以上のずれは生じていないと判定する。

【0109】

そして、制御部１１は、カメラ２の撮影範囲に一定以上のずれが生じたと判定した場合に、見守りシステムの見守りに異常発生の可能性があると評価して、次のステップＳ２０３に処理を進める。すなわち、制御部１１は、後述するとおり、見守りシステムの見守りが正常にできていない可能性のあることを知らせるための通知を行う。一方、そうではない場合、制御部１１は、見守りシステムの見守りに異常発生の可能性がないと評価して、本動作例に係る処理を終了する。

【0110】

上述のとおり、情報処理装置１は、撮影画像３内にベッド付近の状態が写ることによって、見守り対象者のベッドに関連する行動を検知している。そのため、カメラ２の撮影範囲がずれてしまうと、撮影画像３内にベッド付近の状態が十分に写らなくなり、情報処理装置１は、見守り対象者の行動を検知できなくなってしまう可能性がある。これに対して、本実施形態に係る情報処理装置１は、撮影範囲に一定以上のずれが生じたと評価できる場合に、見守り対象者の見守りを正常にできない可能性のあることを利用者等に報知する。そのため、カメラ２の向きが変わることによって生じる見守りの不具合の状態での見守りシステムの放置を防止することができる。

【0111】

なお、カメラ２の衝撃を検知する基準となる所定値、及びカメラ２の撮影範囲のずれを判定する基準となる所定値はそれぞれ、設定値として予め定められてもよいし、利用者による入力値により定められてもよいし、複数の設定値から選択されることで定められてよい。

【0112】

（iii）撮影装置の認識不可
また、制御部１１は、例えば、カメラ２を認識できない場合に、見守りシステムの見守りに異常発生の可能性があると判定してもよい。情報処理装置１がカメラ２を認識できなくなる原因は種々挙げることができる。例えば、カメラ２と情報処理装置１との間の配線が切断されること、カメラ２の電源プラグがコンセントから外れること等が原因で、カメラ２は情報処理装置１に認識されなくなる。

【0113】

これらの原因によりカメラ２を認識できない場合、制御部１１は、外部インタフェース１５を介してカメラ２にアクセスできなくなる。そこで、制御部１１は、外部インタフェース１５を介してカメラ２にアクセスできるか否かに基づいて、カメラ２を認識できているか否かを判定してもよい。

【0114】

そして、制御部１１は、カメラ２を認識できていないと判定した場合に、見守りシステムの見守りに異常発生の可能性があると評価して、次のステップＳ２０３に処理を進める。すなわち、制御部１１は、後述するとおり、見守りシステムの見守りが正常にできていない可能性のあることを知らせるための通知を行う。一方、そうではない場合、制御部１１は、見守りシステムの見守りに異常発生の可能性がないと評価して、本動作例に係る処理を終了する。

【0115】

上述のとおり、情報処理装置１は、撮影画像３を解析することで、見守り対象者の行動を検知する。そのため、カメラ２が認識できないと、情報処理装置１は、カメラ２から撮影画像３を取得できなくなり、見守り対象者の行動を検知することができなくなる。これに対して、本実施形態に係る情報処理装置１は、撮影画像３を取得できないと評価できる場合に、見守り対象者の見守りを正常にできない可能性のあることを利用者等に報知する。そのため、本実施形態によれば、撮影画像３を取得できなくなることによる見守りの不具合の状態での見守りシステムの放置を防止することができる。

【0116】

（iv）行動検知の不実施
制御部１１は、例えば、上記ステップＳ１０３による見守り対象者の行動検知が一定時間以上実行されていない場合に、見守りシステムの見守りに異常発生の可能性があると判定してもよい。見守り対象者の行動検知が実行されない原因は種々挙げることができる。例えば、図７で例示されるように、ボタン５２の操作により見守り処理が一時停止された状態で放置されること、ボタン５３の操作により設定画面が表示された状態で放置されること等が原因で、見守り対象者の行動検知が実行されなくなる。

【0117】

これらの原因によって行動検知の処理が実行されない場合、上記一時停止等の状態が維持されていることになる。そこで、制御部１１は、この一時停止等の状態が維持されている時間に基づいて、見守り対象者の行動の検知が一定時間以上実行されていないかどうかを判定してもよい。なお、一定時間以上実行されていないと判定する基準となる所定時間は、設定値として予め定められてもよいし、利用者による入力値により定められてもよいし、複数の設定値から選択されることで定められてよい。

【0118】

そして、制御部１１は、見守り対象者の行動の検知が一定時間以上実行されていないと判定した場合に、見守りシステムの見守りに異常発生の可能性があると評価して、次のステップＳ２０３に処理を進める。すなわち、制御部１１は、後述するとおり、見守りシステムの見守りが正常にできていない可能性のあることを知らせるための通知を行う。一方、そうではない場合、制御部１１は、見守りシステムの見守りに異常発生の可能性がないと評価して、本動作例に係る処理を終了する。

【0119】

上述のとおり、情報処理装置１は、見守り対象者の行動を検知することで、当該見守り対象者の見守りを行っている。そのため、見守り対象者の行動検知が一定時間以上実行されない場合、見守り対象者の見守りが正常に行えない可能性がある。これに対して、本実施形態に係る情報処理装置１は、見守り対象者の行動を一定時間以上検知していないと評価できる場合に、見守り対象者の見守りを正常にできない可能性のあることを利用者等に報知する。そのため、本実施形態によれば、見守り対象者の行動検知が一定時間以上実行されないことによって生じる見守りの不具合の状態での見守りシステムの報知を防止することができる。

【0120】

（v）その他
なお、見守りシステムの見守りに異常発生の可能性があると判定する見守りシステムの状態は上述の例に限られず、実施の形態に応じて、適宜設定されてよい。例えば、見守り対象者の行動を検知する情報処理装置（本実施形態では、情報処理装置１）のＣＰＵの負荷が高い場合に、見守り対象者の行動の検知処理が適切に実行されない可能性がある。そこで、制御部１１は、ＣＰＵに一定以上の負荷がかかっている場合に、見守り対象者の見守りが正常に行えない可能性があると判定してもよい。

【0121】

ＣＰＵの負荷を判定する方法は、実施の形態に応じて、適宜選択されてよい。例えば、制御部１１は、ＣＰＵの使用率、ＣＰＵの温度等に基づいて、ＣＰＵの負荷を判定することができる。制御部１１は、ＣＰＵの使用率が所定値を超えた場合に、ＣＰＵに一定以上の負荷がかかっていると判定してもよい。また、制御部１１は、ＣＰＵの温度が所定温度を超えた場合に、ＣＰＵに一定以上の負荷がかかっていると判定してもよい。

【0122】

また、例えば、タッチパネルディスプレイ１３の画面操作がパスワードによりロックされている場合に、パスワードの入力を誤る利用者は、当該見守りシステムの正規の利用者ではない可能性がある。このような利用者に見守りシステムが利用された場合、見守りシステムに予見できない不具合が生じる可能性がある。そこで、制御部１１は、パスワードの入力を利用者が所定回数（例えば、３回）間違えたときに、見守り対象者の見守りが正常に行えない可能性があると判定してもよい。

【0123】

なお、本ステップＳ２０１及びステップＳ２０２において、制御部１１は、上記判定方法から１又は複数種類の判定方法を採用して、見守りシステムの見守りに異常発生の可能性があるか否かを判定してもよい。また、制御部１１は、上記判定方法からいずれの判定方法を採用するかの選択を受け付けてもよい。そして、制御部１１は、選択された１又は複数の判定方法を利用して、見守りシステムの見守りに異常発生の可能性があるか否かを判定してもよい。見守りシステムの見守りに異常発生の可能性があると判定される場合に、次のステップＳ２０３の処理が実行される。

【0124】

（ステップＳ２０３）
ステップＳ２０３では、制御部１１は、通知部２５として機能し、見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行う。このような通知を行う方法は、実施の形態に応じて、適宜選択されてよい。例えば、制御部１１は、上記危険予兆の通知と同様に、このような異常発生予兆を知らせる通知として、ナースコールシステム４による呼び出しを行ってもよいし、スピーカ１４から所定音声を出力させてもよい。

【0125】

また、例えば、制御部１１は、異常発生予兆を知らせる通知として、タッチパネルディスプレイ１３上に所定態様の画面表示を行わせてもよい。所定態様の画面表示として、制御部１１は、例えば、タッチパネルディスプレイ１３に表示する画面を点滅させてもよい。更に、制御部１１は、異常発生予兆を知らせる通知として、電子メールの送信を行ってもよいし、異常発生予兆を検知した時刻を記録した履歴を作成してもよい。このような異常発生予兆の履歴は、異常発生予兆を検知した後に情報処理装置１を操作する利用者に、見守り対象者の見守りが正常にできていない可能性のある時刻を知らせることができる。

【0126】

なお、制御部１１は、見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知に、１又は複数のデバイスを利用してもよい。

【0127】

また、制御部１１は、特定のデバイスを利用して、見守り対象者の見守りが正常にできていない可能性のあることを知らせるための通知を行ってもよい。このような場合に、通知を行う当該特定のデバイスが認識できなくなったとき、制御部１１は、上記異常発生予兆を知らせる通知を行えないようになる。これに対応するため、制御部１１は、通知を行うデバイスが認識できなくなったとき、当該通知を行うデバイスとは他のデバイスを利用して、この異常発生予兆を知らせるための通知を行ってもよい。

【0128】

例えば、異常発生予兆を知らせるための通知を行うデバイスとしてナースコールシステム４が設定されている場合に、制御部１１は、ナースコールシステム４を正常に制御しているときには、上記の事態の発生に応じてナースコールシステム４による呼び出しを行う。

【0129】

一方、配線１８が切断された等の理由により、ナースコールシステム４を正常に制御できなくなったときには、ナースコールシステム４による呼び出しができなくなる。このとき、制御部１１は、例えば、異常発生予兆を知らせるための通知として、ナースコールシステム４による呼び出しに代えて、スピーカ１４に所定音声の出力を行わせてもよい。スピーカ１４は本発明の音声出力装置に相当する。この所定音声は、特に限定されなくてもよく、例えば、異常内容を知らせる音声メッセージ、ビープ音等であってもよい。これにより、上記各異常事態の予兆の他、ナースコールシステム４との接続に異常が発生していることを音声で利用者等に報知することができる。

【0130】

また、制御部１１は、ナースコールシステム４による呼び出しができないとき、例えば、異常発生予兆を知らせるための通知として、ナースコールシステム４による呼び出しに代えて、タッチパネルディスプレイ１３に所定態様の画面表示を行わせてもよい。タッチパネルディスプレイ１３は本発明の表示装置に相当する。この所定態様の画面表示は特に限定されなくてもよく、制御部１１は、例えば、所定態様の画面表示として、タッチパネルディスプレイ１３に表示する画面を点滅させてもよい。これにより、上記各異常事態の予兆の他、ナースコールシステム４との接続に異常が発生していることを視覚的に利用者等に報知することができる。

【0131】

このようなナースコールシステム４に代えて、異常発生予兆を知らせるための通知を行うデバイスは、予め設定されていてもよいし、当該通知を行う際に制御部１１が認識しているデバイスから任意に選択されてもよい。これにより、ナースコールシステム４による呼び出しが正常に行えない場合にあっても、見守りシステムでの異常発生を報知することができる。

【0132】

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

【0133】

（１）面積の利用
例えば、カメラ２から被写体が遠ざかるほど、撮影画像３内の被写体の像は小さくなり、カメラ２に被写体が近づくほど、撮影画像３内の被写体の像は大きくなる。撮影画像３内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像３の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。

【0134】

そこで、制御部１１は、被写体の遠近による影響を除外するために、上記ステップＳ１０３において、前置領域に写る被写体のうち検知領域に含まれる部分の実空間における面積を算出してもよい。そして、制御部１１は、算出した面積に基づいて、見守り対象者の行動を検知してもよい。

【0135】

なお、撮影画像３内の各画素の実空間における面積は、その各画素の深度に基づいて、次のようにして求めることができる。制御部１１は、以下の数１及び数２の関係式に基づいて、図７で例示される撮影画像３内の任意の点ｓ（１画素）の実空間内における横方向の長さｗ及び縦方向の長さｈをそれぞれ算出することができる。なお、Ｄ_sは、点ｓでの深度を示す。Ｖ_xは、カメラ２の横方向の画角を示す。Ｖ_yは、カメラ２の縦方向の画角を示す。Ｗは、撮影画像３の横方向のピクセル数を示す。Ｈは、撮影画像３の縦方向のピクセル数を示す。撮影画像３の中心点（画素）の座標を（０，０）とする。制御部１１は、例えば、カメラ２にアクセスすることでこれらの情報を取得することができる。

【0136】

【数1】

【数2】

【0137】

したがって、制御部１１は、このように算出されるｗの２乗、ｈの２乗、又はｗとｈとの積によって、深度Ｄｓにおける１画素の実空間内での面積を求めることができる。そこで、制御部１１は、上記ステップＳ１０３において、前置領域内の画素のうちの検知領域に含まれる対象を写した各画素の実空間内での面積の総和を算出する。そして、制御部１１は、算出した面積の総和が所定の範囲内に含まれるか否かを判定することで、見守り対象者のベッドにおける行動を検知してもよい。これにより、被写体の遠近の影響を除外し、見守り対象者の行動の検知精度を高めることができる。

【0138】

なお、このような面積は、深度情報のノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。

【0139】

（２）面積及び分散を利用した行動推定
上記のような面積を利用して見守り対象者の行動を検知する場合、行動を検知するための条件となる面積の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。この所定部位は、例えば、見守り対象者の頭部、肩部等である。すなわち、見守り対象者の所定部位の面積に基づいて、行動を検知するための条件となる面積の範囲が設定される。

【0140】

ただし、前置領域に写る対象の実空間内における面積だけでは、制御部１１は、その前置領域に写る対象の形状を特定することはできない。そのため、制御部１１は、検知領域に含まれる見守り対象者の身体部位を取り違えて、見守り対象者の行動を誤検知してしまう可能性がある。そこで、制御部１１は、実空間における広がり具合を示す分散を利用して、このような誤検知を防止してもよい。

【0141】

図１２を用いて、この分散を説明する。図１２は、領域の拡がり具合と分散との関係を例示する。図１２で例示される領域ＴＡ及び領域ＴＢは、それぞれ、同じ面積であるとする。上記のような面積だけで見守り対象者の行動を推定しようとすると、制御部１１は、制御部１１は、領域ＴＡと領域ＴＢとは同じであると認識してしまうため、見守り対象者の行動を誤検知してしまう可能性がある。

【0142】

しかしながら、図１２で例示されるように、領域ＴＡと領域ＴＢとは実空間における広がりが大きく異なる（図１２では水平方向の広がり具合）。そこで、制御部１１は、上記ステップＳ１０３において、前置領域に含まれる画素のうち検知領域に含まれる対象を写した各画素の分散を算出してもよい。そして、制御部１１は、算出した分散が所定の範囲に含まれるか否かの判定に基づいて、見守り対象者の行動を検知してもよい。

【0143】

なお、上記面積の例と同様に、行動の検知の条件となる分散の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。例えば、検知領域に含まれる所定部位が頭部であると想定される場合には、行動の検知の条件となる分散の値は比較的に小さい値の範囲で設定される。一方、検知領域に含まれる所定部位が肩部であると想定される場合には、行動の検知の条件となる分散の値は比較的に大きな値の範囲で設定される。

【0144】

（３）前景領域の不利用
上記実施形態では、制御部１１（情報処理装置１）は、ステップＳ１０２で抽出される前景領域を利用して見守り対象者の行動を検知する。しかしながら、見守り対象者の行動を検知する方法は、このような前景領域を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。

【0145】

見守り対象者の行動を検知する際に前景領域を利用しない場合、制御部１１は、上記ステップＳ１０２の処理を省略してもよい。そして、制御部１１は、行動検知部２３として機能し、撮影画像３内の各画素の深度に基づいて、ベッド基準面と見守り対象者との実空間内での位置関係が所定の条件を満たすか否かを判定することで、見守り対象者のベッドに関連する行動を検知してもよい。この例として、例えば、制御部１１は、ステップＳ１０３の処理として、パターン検出、図形要素検出等によって撮影画像３を解析して見守り対象者に関連する像を特定してもよい。この見守り対象者に関連する像は、見守り対象者の全身の像であってもよいし、頭部、肩部等の１又は複数の身体部位の像であってもよい。そして、制御部１１は、特定した見守り対象者に関連する像とベッドとの実空間内での位置関係に基づいて、見守り対象者のベッドに関連する行動を検知してもよい。

【0146】

なお、上記のとおり、前景領域を抽出するための処理は、撮影画像３と背景画像との差分を計算する処理に過ぎない。そのため、上記実施形態のように前景領域を利用して見守り対象者の行動を検知する場合、制御部１１（情報処理装置１）は、高度な画像処理を利用せずに、見守り対象者の行動を検知することができるようになる。これにより、見守り対象者の行動の検知に係る処理を高速化することが可能になる。

【符号の説明】

【0147】

１…情報処理装置、２…カメラ、３…撮影画像、４…ナースコールシステム、
５…プログラム、６…記憶媒体、８…深度センサ、９…加速度センサ、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ
２１…画像取得部、２２…前景抽出部、２３…行動検知部、２４…異常判定部、
２５…通知部、２６…表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】