(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-10
(45)【発行日】2024-12-18
(54)【発明の名称】検知システム、検知装置、端末装置、検知方法およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241211BHJP
G08B 21/02 20060101ALI20241211BHJP
G08B 25/04 20060101ALI20241211BHJP
G06T 7/20 20170101ALI20241211BHJP
G08B 25/00 20060101ALI20241211BHJP
【FI】
H04N7/18 D
G08B21/02
G08B25/04 K
G06T7/20 300Z
G08B25/00 510M
(21)【出願番号】P 2020154870
(22)【出願日】2020-09-15
【審査請求日】2023-07-18
【前置審査】
(73)【特許権者】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(74)【代理人】
【識別番号】100117673
【氏名又は名称】中島 了
(72)【発明者】
【氏名】安達 和隆
(72)【発明者】
【氏名】鵜飼 祐生
【審査官】塚本 丈二
(56)【参考文献】
【文献】特開2017-069748(JP,A)
【文献】特開2008-293301(JP,A)
【文献】特開2012-071004(JP,A)
【文献】特開2011-086286(JP,A)
【文献】特開2020-126553(JP,A)
【文献】米国特許出願公開第2018/0189946(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08B 21/02
G08B 25/04
G06T 7/20
G08B 25/00
(57)【特許請求の範囲】
【請求項1】
観察対象人物に関する検知対象事象の設定操作を受け付ける端末装置と、
前記設定操作による設定内容に基づき前記検知対象事象を検知する検知装置と、
を備え、
前記端末装置は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付け、
前記検知装置は、前記身長情報に適合しない人物を検知対象人物から除外して、前記検知対象事象を検知することを特徴とする検知システム。
【請求項2】
観察対象人物に関する検知対象事象を検知する検知方法であって、
a)観察対象人物に関する検知対象事象の設定操作を受け付けるステップと、
b)前記設定操作による設定内容に基づき前記検知対象事象を検知するステップと、
を備え、
前記ステップa)は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付けるステップ、を有し、
前記ステップb)は、前記身長情報に適合しない人物を検知対象人物から除外して、前記検知対象事象を検知するステップ、を有することを特徴とする、検知方法。
【請求項3】
a)観察対象人物に関する検知対象事象の設定操作を受け付けるステップと、
b)前記設定操作による設定内容に基づき前記検知対象事象を検知するステップと、
をコンピュータに実行させるためのプログラムであって、
前記ステップa)は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付けるステップ、を有し、
前記ステップb)は、前記身長情報に適合しない人物を検知対象人物から除外して、前記検知対象事象を検知するステップ、を有することを特徴とするプログラム。
【請求項4】
観察対象人物に関する検知対象事象の設定操作を受け付ける受付部と、
前記設定操作による設定内容に基づき前記検知対象事象を検知する制御部と、
を備え、
前記受付部は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付け、
前記制御部は、前記身長情報に適合しない人物を検知対象人物から除外して、前記検知対象事象を検知することを特徴とする検知装置。
【請求項5】
観察対象人物に関する検知対象事象の設定操作を受け付ける受付部と、
前記検知対象事象を検知する検知装置に対して前記設定操作に基づく設定情報を送信する制御部と、
を備え、
前記受付部は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付け、
前記制御部は、前記身長情報に適合しない人物を検知対象人物から除外した上で前記検知装置に前記検知対象事象を検知させるために、前記身長情報を含む前記設定情報を送信することを特徴とする端末装置。
【請求項6】
a)観察対象人物に関する検知対象事象の設定操作を受け付けるステップと、
b)前記検知対象事象を検知する検知装置に対して前記設定操作に基づく設定情報を送信するステップと、
をコンピュータに実行させるためのプログラムであって、
前記ステップa)は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付けるステップ、を有し、
前記ステップb)は、前記身長情報に適合しない人物を検知対象人物から除外した上で前記検知装置に前記検知対象事象を検知させるために、前記身長情報を含む前記設定情報を送信するステップ、を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察対象人物に関する検知対象事象を検知する検知装置およびそれに関連する技術に関する。
【背景技術】
【0002】
観察対象人物(見守り対象者等)に関する検知対象事象(転倒等)を検知する技術が存在する。
【0003】
たとえば、特許文献1には、監視対象(見守り対象)である介護施設居住者(観察対象人物とも称される)の状態を監視する技術が記載されている。監視対象状態(検知対象事象とも称される)としては、被介護者(要介護者)の居室内での転倒、居室からの退室(異常退室)等が存在する。
【0004】
特許文献1の技術においては、監視すべき特定動作(検知対象事象)ごとに当該特定動作を検知するためのプログラムが用意されている(特許文献1の段落0038参照)。そして、各プログラムがそれぞれ動作することによって各特定行動が検知される。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述の特許文献1の技術においては、検知すべき動作ごとにプログラムを予め作成しておくことを要する。それ故、検知対象事象は、謂わば固定的である。
【0007】
しかしながら、実際の介護現場等においては、様々な要求が存在する。上記のような固定的な手法では、このような様々な要求に対して柔軟に対応することが困難である。
【0008】
そこで、この発明は、ユーザの様々な要求に柔軟に対応することが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【0012】
上記課題を解決すべく、本発明に係る検知システムは、観察対象人物に関する検知対象事象の設定操作を受け付ける端末装置と、前記設定操作による設定内容に基づき前記検知対象事象を検知する検知装置と、を備え、前記端末装置は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付け、前記検知装置は、前記身長情報に適合しない人物を検知対象人物から除外して、前記検知対象事象を検知することを特徴とする。
【0013】
上記課題を解決すべく、本発明に係る検知方法は、観察対象人物に関する検知対象事象を検知する検知方法であって、a)観察対象人物に関する検知対象事象の設定操作を受け付けるステップと、b)前記設定操作による設定内容に基づき前記検知対象事象を検知するステップと、を備え、前記ステップa)は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付けるステップ、を有し、前記ステップb)は、前記身長情報に適合しない人物を検知対象人物から除外して、前記検知対象事象を検知するステップ、を有することを特徴とする。
【0014】
上記課題を解決すべく、本発明に係るプログラムは、a)観察対象人物に関する検知対象事象の設定操作を受け付けるステップと、b)前記設定操作による設定内容に基づき前記検知対象事象を検知するステップと、をコンピュータに実行させるためのプログラムであって、前記ステップa)は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付けるステップ、を有し、前記ステップb)は、前記身長情報に適合しない人物を検知対象人物から除外して、前記検知対象事象を検知するステップ、を有することを特徴とする。
【0015】
上記課題を解決すべく、本発明に係る検知装置は、観察対象人物に関する検知対象事象の設定操作を受け付ける受付部と、前記設定操作による設定内容に基づき前記検知対象事象を検知する制御部と、を備え、前記受付部は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付け、前記制御部は、前記身長情報に適合しない人物を検知対象人物から除外して、前記検知対象事象を検知することを特徴とする。
【0016】
上記課題を解決すべく、本発明に係る端末装置は、観察対象人物に関する検知対象事象の設定操作を受け付ける受付部と、前記検知対象事象を検知する検知装置に対して前記設定操作に基づく設定情報を送信する制御部と、を備え、前記受付部は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付け、前記制御部は、前記身長情報に適合しない人物を検知対象人物から除外した上で前記検知装置に前記検知対象事象を検知させるために、前記身長情報を含む前記設定情報を送信することを特徴とする。
【0017】
上記課題を解決すべく、本発明に係るプログラムは、a)観察対象人物に関する検知対象事象の設定操作を受け付けるステップと、b)前記検知対象事象を検知する検知装置に対して前記設定操作に基づく設定情報を送信するステップと、をコンピュータに実行させるためのプログラムであって、前記ステップa)は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作であって、部屋ごとの観察対象人物の身長情報を設定する操作を含む設定操作を受け付けるステップ、を有し、前記ステップb)は、前記身長情報に適合しない人物を検知対象人物から除外した上で前記検知装置に前記検知対象事象を検知させるために、前記身長情報を含む前記設定情報を送信するステップ、を有することを特徴とする。
【発明の効果】
【0037】
本発明によれば、ユーザの様々な要求に柔軟に対応することが可能である。
【図面の簡単な説明】
【0039】
【
図2】検知装置(画像処理装置)の概略構成を示す機能ブロック図である。
【
図3】管理装置の概略構成を示す機能ブロック図である。
【
図4】携帯端末装置の概略構成を示す機能ブロック図である。
【
図5】検知装置における処理の流れを示すフローチャートである。
【
図6】人物の各特定部位に関する3次元位置情報の生成等を示す概念図である。
【
図7】「ベッドからの起き上がり」を示す図である。
【
図12】「ベッドからの全身ずり落ち」を示す図である。
【
図13】「ベッドからの下半身ずり落ち」を示す図である。
【
図14】「ベッドからの片手伸ばし」を示す図である。
【
図15】表示対象の部屋を選択する選択画面を示す図である。
【
図16】或る部屋の観察対象人物の観察画面を示す図である。
【
図17】或る部屋の観察対象人物の観察画面を示す図である。
【
図18】観察画像の生成処理等について説明する図である。
【
図19】検知対象事象の設定画面(登録画面)を示す図である。
【
図20】検知対象事象「起き上がり(ベッド上)」の設定画面を示す図である。
【
図21】検知対象事象「端座位(ベッド)」の設定画面を示す図である。
【
図22】検知対象事象「端座位(ベッド)」の設定画面を示す図である。
【
図23】検知対象事象「離床」の設定画面を示す図である。
【
図24】検知対象事象「転倒(床上)」の設定画面を示す図である。
【
図25】検知対象事象「横たわり(床上)」の設定画面を示す図である。
【
図26】検知対象事象「ベッドからの全身ずり落ち」の設定画面を示す図である。
【
図27】検知対象事象「ベッドからの下半身ずり落ち」の設定画面を示す図である。
【
図28】検知対象事象「ベッドからの片手伸ばし」の設定画面を示す図である。
【
図29】検知対象事象「ベッドからの片手伸ばし」の設定画面を示す図である。
【
図30】管理装置における処理を示すフローチャートである。
【
図32】検知対象事象「転倒」の設定画面を示す図である。
【発明を実施するための形態】
【0040】
以下、本発明の実施形態を図面に基づいて説明する。
【0041】
<1.システム概要>
図1は、本発明に係る検知システム1を示す図である。
図1に示すように、検知システム1は、複数の検知装置10と複数の端末装置70,80とを備える。端末装置70は、管理装置70とも称され、端末装置80は、携帯端末装置80とも称される。検知システム1は、観察対象人物(被介護者等)に関する検知対象事象(「転倒」等)を検知するシステムである。なお、検知装置および検知システムは、人物の挙動等を見守るものであることから、見守り装置および見守りシステムなどとも称される。
【0042】
各検知装置10と各端末装置70,80とは、ネットワーク108を介して互いに接続される。ネットワーク108は、LAN(Local Area Network)およびインターネットなどによって構成される。また、ネットワーク108に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、管理装置70はネットワーク108に対して有線接続され、各検知装置10および各携帯端末装置80はネットワーク108に対して無線接続される。あるいは、全ての装置10,70,80がネットワーク108に対して無線接続されてもよい。
【0043】
検知システム1においては、各検知装置10に関する各種の入出力処理(操作入力処理および表示処理等)等が管理装置70および携帯端末装置80を用いて行われる。すなわち、管理装置70および携帯端末装置80は、それぞれ、複数の検知装置10に関する端末装置として機能する。
【0044】
以下では、介護施設において当該検知システム1が利用される態様について主に例示する。なお、これに限定されず、検知システム1は、看護施設(病院等)あるいは工場などで利用されてもよい。
【0045】
各検知装置10は、各観察対象人物(ここでは被介護者)の居室90(たとえば、各被介護者の個室)ごとに配置される。各検知装置10は、観察対象人物に関する撮影画像等に基づき、当該観察対象人物に関する検知対象事象(「転倒」等)を検知する装置である。後述するように、「検知対象事象」は端末装置70における設定操作によって設定(規定)される。そして、検知装置10は当該設定操作による設定内容に基づいて検知対象事象を検知する。
【0046】
各検知装置10は、カメラユニット20と処理ユニット30とを備える。カメラユニット20は、居室90の天井等に設置され、居室90内の様子を撮影することが可能である。処理ユニット30は、カメラユニット20によって撮影された画像(特に動画像)等に基づき、観察対象人物の複数の特定部位(胸、腰、肩、肘、手首、膝、足首等)の3次元位置(特にその時系列の情報)を取得することが可能である。なお、ここでは、カメラユニット20と処理ユニット30とが別々に設けられているが、これに限定されず、カメラユニット20と処理ユニット30とが一体化されて設けられてもよい。
【0047】
カメラユニット20は、3次元カメラである。カメラユニット20は、深度情報付き撮影画像を取得する。具体的には、カメラユニット20は、被写体物体(人物、壁、床91、ベッド92、等)の撮影画像(赤外線画像等)110(
図6参照)を撮像するとともに、撮影画像110内の各画素の深度情報(奥行き距離情報)120を取得する。撮影画像内の各画素の深度情報120は、撮影画像110内の各画素に対応する被写体物体(人物、壁、床、ベッド等)までの距離(カメラユニット20からの距離)の情報であって当該撮影画像110に垂直な方向における距離の情報である。換言すれば、当該深度情報は、撮影画像平面の法線方向における距離情報(奥行き距離情報)である。
【0048】
たとえば、カメラユニット20はセンサ部23(
図2)を備え、当該センサ部23は赤外線カメラ(赤外線画像センサ等)と赤外線プロジェクタとを備える。赤外線カメラは、被写体物体に関する撮影画像110(たとえば赤外線画像)を取得する。また、赤外線プロジェクタは、赤外線による所定のドットパターンを対象物体に向けて照射し、赤外線カメラは、対象物体に照射されたドットパターンを撮像した赤外線画像をも取得する。撮像されたドットパターンの幾何学的な形状が対象物体までの距離によって変化すること等を利用して、対象物体までの距離(奥行き距離情報)120が算出(取得)される。当該奥行き距離情報の算出処理は、カメラユニット20内に組み込まれたコントローラ21等によって実行される。コントローラ21は、コントローラ31(後述)等と同様のハードウエア構成を備える。なお、センサ部23において、可視光画像(カラー画像等)を撮像するRGB画像センサ等が設けられ、カラー画像が撮影されてもよい。
【0049】
このようにして、カメラユニット20は、被写体人物の撮影画像(撮影画像情報)110(
図6参照)と当該撮影画像内の各画素の深度情報(各画素に対応する物体までの距離の情報(奥行き距離情報))120とを取得する。
【0050】
図6は、撮影画像110および深度情報120に基づいて被写体人物の各特定部位の3次元位置の情報が取得(算出)されることを示す概念図である。なお、
図6では、撮影画像110および深度情報120等はそれぞれ模式的に示されている。たとえば、実際の撮影画像110においては人物は撮像されたままの状態で写っているのに対して、
図6の撮影画像110においては人物は楕円を連結した図形で(簡略化して)表現されている。他の深度情報120においても同様である。また、実際の深度情報120は、各画素に対応する物体までの距離の情報を有しているのに対して、
図6の深度情報120では、各画素に対応する物体までの距離が各画素の濃度に換算して表現されている。詳細には、距離の大小が濃度の大小(濃淡)で表現されている。
【0051】
まず、処理ユニット30(特にコントローラ31)は、撮影画像110を解析し、被写体人物の骨格情報(骨格モデル情報)140(
図6の左下部分参照)を取得する。当該骨格情報140は、被写体人物の複数の特定部位(詳細には、胸、鼻、肩、肘、手首、腰、膝、足首、目、耳等)(主に関節)と当該複数の特定部位を接続する骨格線(リンク)とを用いて、当該人物の骨格を(簡略化して)表現する情報である。
図6の骨格情報140では、各特定部位は「点」で示され、各骨格線(接続線)は「線分」で示されている。撮影画像に基づく骨格情報140は、複数の特定部位(ここではB0~B17)に関する情報(各部位の画像内での平面位置情報等)を有している。
【0052】
また、処理ユニット30は、被写体人物の骨格情報140に基づき、被写体人物の各特定部位(たとえば、それぞれの代表位置)の撮影画像110内での平面位置情報(カメラ座標系における撮影画像内の2次元位置情報)を取得する。
【0053】
さらに、処理ユニット30は、各特定部位に対応する(撮影画像110内での)平面位置における1または複数の画素の深度情報120に基づき、カメラユニット20から当該各特定部位までの距離情報(カメラ座標系における奥行き位置情報)をも取得する。当該距離情報は、撮影画像平面の法線方向における奥行き情報である、とも表現される。
【0054】
このようにして、処理ユニット30は、被写体人物の各特定部位の撮影画像内での平面位置に関する情報(撮影画像内2次元位置情報)と当該被写体人物における各特定部位までの距離情報(奥行き情報)とを取得する。
【0055】
そして、処理ユニット30は、被写体人物の各特定部位の撮影画像内での平面位置に関する情報と当該各特定部位までの距離情報(奥行き情報)とに基づいて、各特定部位の3次元位置情報150(居室空間内での3次元位置情報)を座標変換等によって取得する。具体的には、処理ユニット30は、カメラ座標系Σ1での位置情報(撮影画像内での平面位置および撮影画像の法線方向における奥行き位置)を、居室に対して固定された座標系Σ2での3次元位置情報150へと変換する。カメラ座標系Σ1は、たとえば、撮影画像平面に平行な直交2軸と当該撮影画像平面に垂直な方向に伸びる1軸との直交3軸を基準とする3次元直交座標系である。また、変換後の座標系Σ2は、たとえば、水平平面に平行な直交2軸と鉛直方向(高さ方向)に伸びる1軸との直交3軸を基準とする3次元直交座標系である。
【0056】
このようにして、処理ユニット30は、被写体人物の各特定部位の3次元位置の情報を取得(算出)する。ここでは撮影画像内の被写体人物は、原則として観察対象人物であると見做される。なお、カメラ視野内に複数の被写体人物が存在する場合には、全ての被写体人物が観察対象人物として特定されればよい。ただし、これに限定されず、身長等の情報を用いて(あるいは顔認識技術等を用いて)複数の被写体人物の中から所望の観察対象事物が特定されてもよい。
【0057】
なお、ここでは、処理ユニット30のコントローラ31が骨格情報140および各特定部位の3次元位置情報150等を生成しているが、これに限定されない。
【0058】
たとえば、カメラユニット20のコントローラ21が骨格情報140を生成してもよい。また、カメラユニット20のコントローラ21が、各特定部位の3次元位置情報150を生成してもよい。詳細には、コントローラ21が、被写体人物の各特定部位の撮影画像内での位置に関する情報と各特定部位までの距離情報(奥行き情報)とを取得し、各特定部位の3次元位置情報150を座標変換等によって取得してもよい。そして、処理ユニット30のコントローラ31は、各特定部位の3次元位置情報150をカメラユニット20から取得するようにしてもよい。あるいは、カメラユニット20および処理ユニット30の両コントローラ21,31が協働して、これらの各種の処理を実行してもよい。換言すれば、骨格情報140および3次元位置情報150は、両コントローラ21,31の双方または一方により生成され得る。
【0059】
また、ここでは、ドットパターンの照射に基づき各画素の深度情報を取得するパターン照射方式による3次元カメラが例示されるが、これに限定されない。3次元カメラは、ステレオ視方式のカメラ、あるいは、TOF(Time of Flight)方式のカメラ等であってもよい。任意の方式の3次元カメラによって、観察対象人物に関する撮影画像と当該撮影画像内の被写体物体までの距離の情報である深度情報(各画素の深度情報等)とが取得されればよい。
【0060】
また、検知装置10は、撮影画像等に関する画像処理を実行する装置であることから、画像処理装置であるとも表現される。また、検知システム1は、画像処理システムなどとも表現される。
【0061】
<2.検知装置10>
図2は、検知装置10の概略構成を示す機能ブロック図である。
【0062】
検知装置10は、
図2の機能ブロック図に示すように、カメラユニット20と処理ユニット30とを備える。
【0063】
上述のように、カメラユニット20は、赤外線カメラおよび赤外線プロジェクタ等を備える。
【0064】
また、処理ユニット30は、コントローラ31と記憶部32と通信部34と操作部35とを備える。
【0065】
コントローラ31は、処理ユニット30に内蔵され、検知装置10を制御する制御装置である。
【0066】
コントローラ31は、CPU(Central Processing Unit)(マイクロプロセッサあるいはハードウエアプロセッサなどとも称される)等を備えるコンピュータシステムとして構成される。コントローラ31は、CPUにおいて、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)32内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて検知装置10にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて検知装置10にインストールされるようにしてもよい。
【0067】
コントローラ31は、観察対象人物に関する撮影画像情報をカメラユニット20から取得するとともに、当該観察対象人物(被写体人物)の各特定部位に関して当該各特定部位までの距離情報(奥行き情報)をカメラユニット20から取得する。そして、コントローラ31は、撮影画像情報(特に撮影画像内における被写体の各特定部位の平面位置情報)と距離情報(被写体の奥行き情報)とに基づいて、各特定部位の3次元位置情報を取得する。
【0068】
また、コントローラ31は、各特定部位の3次元位置情報に基づいて「検知対象事象」(後述)を検知する。詳細には、コントローラ31は、端末装置70,80にて受け付けられた設定操作に応じて「検知対象事象」(後述)を設定する。そして、コントローラ31は、当該設定操作による設定内容に基づき検知対象事象を検知する。
【0069】
また、コントローラ31は、観察対象人物に関するモニタリング用画面等を端末装置70,80にて表示する処理を制御する。詳細には、コントローラ31は、後述するような観察画像330(
図18)の画像データ等を生成し、当該画像データ等を端末装置70,80に送信する。これに応じて、端末装置70,80にて画像データ等に基づく観察画像330が表示される。
【0070】
記憶部32は、ハードディスクドライブ(HDD)あるいはソリッドステートドライブ(SSD)等の記憶装置で構成される。記憶部32は、観察対象人物に関する複数の特定部位の3次元位置の時系列データ等を格納(記憶)する。
【0071】
通信部34は、ネットワーク108を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、検知装置10は、所望の相手先(たとえば、端末装置70,80)との間で各種のデータを授受することが可能である。
【0072】
操作部35は、検知装置10に対する操作入力を受け付ける操作入力部35aと、各種情報の表示出力を行う表示部35bとを備えている。なお、本システム1においては、検知装置10に関する入出力機能(操作入力の受付機能および出力機能(表示機能等))を主に端末装置70,80が発揮する。それ故、操作部35は、メンテナンス時等においてのみ処理ユニット30に装着されるタイプのものであってもよい。
【0073】
<3.端末装置70,80>
つぎに、端末装置70,80の構成について説明する。
【0074】
端末装置70,80のうち、管理装置70は、検知システム1全体の管理を行う装置であり、主に管理者によって操作される。一方、携帯端末装置80は、検知システム1における各種の情報を表示する表示装置等として機能する。携帯端末装置80は、被介護者を介護する人物(介護者)によって携帯され、被介護者等に関する各種の情報を表示する。また、管理装置70は、検知システム1における各種の情報を表示する表示装置としても機能する。さらに、管理装置70は、検知対象事象(後述)等に関してユーザによる設定操作を受け付ける設定受付装置としても機能する。
【0075】
端末装置70,80は、他の装置(10等)との間でのネットワーク通信が可能な情報入出力端末装置(情報処理装置)である。端末装置70,80は、スマートフォン、タブレット型端末、あるいはパーソナルコンピュータ(固定式(据置型)あるいは携帯式の何れでもよい)などとして構成される。たとえば、端末装置70は固定式のパーソナルコンピュータであり、端末装置80は、携帯式の装置(携帯端末装置)、より詳細には、スマートフォンである。
【0076】
まず、管理装置70について説明する。
【0077】
図3は、管理装置70の概略構成を示す機能ブロック図である。
【0078】
管理装置70は、
図3の機能ブロック図に示すように、コントローラ71、記憶部72、通信部74、操作部75等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
【0079】
コントローラ(制御部)71は、管理装置70を制御する制御装置である。
【0080】
コントローラ71は、コントローラ31と同様のハードウエア構成を有している。また、コントローラ71は、CPUにおいて、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)72内に格納されている所定のソフトウエアプログラムを実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて管理装置70にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて管理装置70にインストールされるようにしてもよい。
【0081】
コントローラ71は、当該プログラムを実行し、次のような各種の処理を実行する。
【0082】
コントローラ71は、操作部75と協働して、各種の設定操作等を受け付ける。たとえば、コントローラ71は、観察対象人物に関する検知対象事象の設定操作を受け付ける。より詳細には、コントローラ71は、観察対象人物に関する検知対象事象の設定画面200を生成して当該設定画面200を表示部75bに表示し、当該設定画面200を用いたユーザ操作を受け付ける。また、コントローラ71は、当該設定操作による設定内容を検知装置10に送信して、検知対象事象を登録する登録処理(設定処理)を検知装置10に実行させる。
【0083】
また、コントローラ71は、検知装置10から送信されてくる表示用の画像情報(観察画像330(
図16および
図17参照)(後述)等)に基づき、観察対象人物に関する情報(骨格画像325(後述)等)を表示部75bに表示させる。
【0084】
記憶部72は、記憶部32と同様のハードウエア構成を有している。記憶部72(特に不揮発性記憶部)は、管理装置70による設定内容(検知対象事象に関する設定内容等)を記憶する。なお、記憶部72は、検知装置10で取得され検知装置10から転送される3次元位置情報等(観察対象人物に関する複数の特定部位の3次元位置の時系列データ等)を格納(記憶)してもよい。
【0085】
通信部74は、通信部34と同様のハードウエア構成を有している。通信部74によるネットワーク通信を利用することによって、管理装置70は、所望の相手先(たとえば、各装置10,80)との間で各種のデータを授受することが可能である。
【0086】
操作部75は、管理装置70に対する操作入力を受け付ける操作入力部75aと、各種情報の表示出力を行う表示部75bとを備えている。操作入力部75aとしてはマウス、キーボード等が用いられ、表示部75bとしてはディスプレイ(液晶ディスプレイ等)が用いられる。
【0087】
次に、携帯端末装置80について説明する。
【0088】
図4は、携帯端末装置80の概略構成を示す機能ブロック図である。
【0089】
携帯端末装置80は、
図4の機能ブロック図に示すように、コントローラ81、記憶部82、通信部84、操作部85等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
【0090】
コントローラ81、記憶部82、通信部84、操作部85は、コントローラ71、記憶部72、通信部74、操作部75とそれぞれ同様のハードウエア構成を有している。
【0091】
コントローラ(制御部)81は、携帯端末装置80を制御する制御装置(コントローラとも称する)である。
【0092】
コントローラ81は、CPUにおいて、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)82内に格納されている所定のソフトウエアプログラムを実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて携帯端末装置80にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて携帯端末装置80にインストールされるようにしてもよい。
【0093】
コントローラ81は、当該プログラムを実行し、次のような各種の処理を実行する。
【0094】
たとえば、コントローラ81は、検知装置10から送信されてくる表示用の画像情報(観察画像330(
図16および
図17参照)(後述)等)に基づき、観察対象人物に関する情報(骨格画像325(後述)等)を表示部85bに表示させる。
【0095】
携帯端末装置80は、通信部84によるネットワーク通信を利用することによって、所望の相手先(たとえば、各装置10,70)との間で各種のデータを授受することが可能である。
【0096】
なお、携帯端末装置80においては、タッチパネル87(
図1参照)が設けられている。タッチパネル87は、液晶表示パネルに各種センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者(ユーザ)からの各種の操作入力を受け付けることが可能である。当該タッチパネル87は、操作入力部85aの一部としても機能するとともに、表示部85bの一部としても機能する。
【0097】
<4.検知対象事象>
次に、検知対象事象について説明する。
【0098】
検知システム1においては、観察対象人物に関する各種の検知対象事象を検知することが可能である。「検知対象事象」は、観察対象人物に関して検知されるべき事象(検知処理の対象となる事象)である。具体的には、「検知対象事象」は、人物の状態と人物の動作との少なくとも一方を含む。
【0099】
「検知対象事象」としては、たとえば、「ベッドからの起き上がり」、「端座位」、「離床」、「床での転倒」、「床での横たわり」、「ベッドからの全身ずり落ち」、「ベッドからの下半身ずり落ち」、「ベッドからの片手伸ばし」、が例示される。
図7~
図14は、これらの検知対象事象(事象E1~E8)をそれぞれ示す図である。
【0100】
事象E1「ベッドからの起き上がり」(
図7参照)は、(臥位を有していた)観察対象人物の上半身がベッド上にて起き上がる動作である。当該事象E1は、たとえば、ベッドエリアR1(ベッドが配置されている平面領域)内において観察対象人物の胸の高さ(ベッド上面からの胸の高さ)が30cm以上高くなる、旨の条件が充足されると検出される。
【0101】
事象E2「端座位」(
図8参照)は、ベッド端において観察対象人物が座っている(座位を有している)状態である。「端座位」は、ベッドエリアR1と隣接エリアとの境界付近で生じる事象「境界位」のひとつである。「端座位」は、たとえば、ベッドエリアR1からベッドサイドエリアR2へと観察対象人物の下半身の末端側の部位(足首等)が移動し且つ観察対象人物の他の幾つかの部位(腰等)がベッドエリアR1に残っている旨の条件が充足されると、検出される。なお、「端座位」は、観察対象人物の両足首がベッドエリアR1からベッドサイドエリアR2へと移動する動作と、観察対象人物の腰がベッドエリアR1内に存在する状態との複合事象である、とも表現される。
【0102】
事象E3「離床」(
図9参照)は、観察対象人物がベッドから離れてベッド以外の場所へ移動する動作である。「離床」は、たとえば、ベッドエリアR1からベッドサイドエリアR2へと観察対象人物の全身(全ての特定部位)が移動した旨の条件が充足されると、検出される。
【0103】
事象E4「床での転倒」(
図10参照)は、観察対象人物が床上で転倒する動作である。「床での転倒」は、たとえば、ベッドエリアR1以外の平面エリアにおいて観察対象人物の特定部位(胸等)が所定速度(1m/s等)以上で床面上の所定高さ(50cm等)以下(の空間)に入る、旨の条件が充足されると、検出される。
【0104】
なお、事象E1,E2,E3,E4は、この順序で発生することがある。これらの事象E1~E4のうち最も危険な事象E4の発生を防ぐためには、当該事象E4よりも前に発生する事象E1,E2,E3がそれぞれ(順次に)検知されることが好ましい。各事象E1,E2,E3が検知され介護者等に報知されることによって、危険な事象E4の発生を未然に防ぐことが可能である。
【0105】
事象E5「床での横たわり」(
図11参照)は、観察対象人物が床上で所定期間以上に亘って横たわっている(臥位を有している)状態である。「床での横たわり」は、たとえば、ベッドエリアR1の範囲外において上半身の特定部位(鼻および胸等)が床面から所定高さ(たとえば50cm)以下の空間に所定時間(たとえば5秒)以上留まる、旨の条件が充足されると、検出される。
【0106】
事象E6「ベッドからの全身ずり落ち」(
図12参照)は、観察対象人物の全身がベッド上からベッドサイドへとずり落ちる動作である。「ベッドからの全身ずり落ち」は、次のような条件が充足されると、検出される。当該条件は、たとえば、ベッドエリアR1からベッドサイドエリアR2へと所定速度(たとえば1m/s)以上で主要な複数の部位(上半身の胸、および下半身の腰等)の位置が所定高さ(たとえば50cm)以下の空間に移動することである。
【0107】
事象E7「ベッドからの下半身ずり落ち」(
図13参照)は、観察対象人物の下半身がベッド上からベッドサイドへとずり落ちる動作である。「ベッドからの下半身ずり落ち」は、次のような条件が充足されると、検出される。当該条件は、たとえば、ベッドエリアR1からベッドサイドエリアR2へと所定速度(たとえば1m/s)以上で観察対象人物の下半身の末端側の部位(腰等)の位置が所定高さ(たとえば50cm)以下の空間に移動することである。
【0108】
事象E8「ベッドからの片手伸ばし」(
図14参照)は、観察対象人物の片手がベッドサイドへと伸びている状態である。「ベッドからの片手伸ばし」は、ベッドエリアと他エリアとの境界付近で生じる事象「境界位」のひとつである。
【0109】
「ベッドからの片手伸ばし」は、たとえば、観察対象人物の片手の部位(手首)がベッドエリアR1からベッドサイドエリアR2へと移動し且つ観察対象人物の腰等がベッドエリアR1に残っている旨の条件が充足されると、検出される。なお、「ベッドからの片手伸ばし」は、観察対象人物の片方の手首がベッドエリアR1からベッドサイドエリアR2へと移動する動作と、観察対象人物の腰がベッドエリアR1内に存在する状態との複合事象である、とも表現される。
【0110】
事象E8は、危険な事象E5~E7の発生を導きかねない事象であり、これらの事象E5~E7の発生よりも前に検知されることが好ましい。事象E8が検知され介護者等に報知されることによって、危険な事象E5~E7の発生を未然に防ぐことが可能である。
【0111】
<5.処理の流れ>
図5は、検知装置10(特に処理ユニット30)における処理の流れを示すフローチャートである。
図5を参照しつつ検知システム1での処理について説明する。
【0112】
まず、管理装置70は、観察対象人物に関する検知対象事象の設定操作を受け付ける。具体的には、管理装置70は、設定画面200をその表示部75bに表示し、操作ユーザ(管理者等)からの操作入力を受け付ける。管理装置70は、操作ユーザからの当該操作入力に関する設定情報を検知装置10に送信する。検知装置10は、受信した設定情報に基づき「検知対象事象」を設定(登録)する(ステップS1)。管理装置70を用いた設定操作等については後述する。
【0113】
その後、観察処理(検知処理等)の開始指示がユーザによって付与されると、検知装置10は、
図5に示されるように、ステップS11~S15の処理(検知処理等)を微少時間(たとえば、数十ミリ秒~数百ミリ秒)ごとに繰り返し実行する。具体的には、観察対象人物に関する検知対象事象を検知する検知処理等が実行される。換言すれば、観察対象人物の複数の特定部位に関する時系列の3次元位置の情報等に基づいて、検知対象事象が検知される。
【0114】
ステップS11において、検知装置10は、観察対象人物に関する深度情報付き撮影画像(110,120)等に基づき、観察対象人物の骨格情報140と観察対象人物の複数の特定部位の3次元位置情報150とを取得する。
【0115】
たとえば、上述のように、検知装置10は、カメラユニット20によって取得された深度情報付き撮影画像(特に、観察対象人物に関する撮影画像)(110,120)等に基づいて、観察対象人物の骨格情報140を取得する。また、検知装置10は、観察対象人物の各特定部位の撮影画像内での平面位置情報(2次元位置に関する情報)と当該観察対象人物における各特定部位までの距離情報(奥行き情報)とを取得する。そして、検知装置10は、これらの情報に基づいて、各特定部位の3次元位置情報150(居室空間内での3次元位置情報)を座標変換等によって取得する。
【0116】
ステップS12において、検知装置10は、モニタリング表示用の画像(観察画像とも称する)を生成する。具体的には、検知装置10は、観察対象人物の撮影画像110から観察対象人物の骨格画像325(
図18参照)(後述)を生成するとともに、当該骨格画像325に基づいて観察対象人物に関する観察画像330を生成する。当該観察画像330は、観察対象人物自体の撮影画像を有さず且つ観察対象人物の骨格画像を有する画像である。
【0117】
そして、検知装置10は当該観察画像330に関する画像データを端末装置70,80(詳細には、モニタリング表示要求(後述)を検知装置10に送出した装置)に送信し、当該観察画像330を当該端末装置70等の表示部に表示させる(ステップS12)。これによれば、観察対象人物の撮影画像自体がそのままモニタリング表示されるのではなく、観察対象人物の観察画像330がモニタリング表示される。したがって、観察対象人物のプライバシーに十分に配慮した表示を実現することが可能である。
【0118】
また、ステップS12においては、時系列の観察画像330がログ画像(記録用画像)として記憶部32内に記憶される。
【0119】
ステップS13においては、検知装置10は、観察対象人物の複数の特定部位の3次元位置情報に基づき、複数の検知対象事象(たとえば、事象E1~E8)の検知処理をそれぞれ実行する。検知装置10は、管理装置70等にて受け付けられた設定操作による設定内容(ステップS1で設定された内容)に基づいて各検知対象事象を検知する。
【0120】
ステップS14においては、いずれかの検知対象事象が検知されたか否かが判定される。
【0121】
いずれの検知対象事象も検知されない場合には、ステップS11に戻る。
【0122】
一方、いずれかの検知対象事象が検知された場合には、ステップS15に進む。ステップS15では、検知結果に応じた処理(発報処理等)が行われる。たとえば、事象E4「床での転倒」が検知されると、「警告」が端末装置70,80等に対して発報される。たとえば、各端末装置70,80にて警告音が出力されるとともに、その表示部75b,85bにて「101号室で転倒!」などの文字を含む警告画面が表示される。これにより、介護者等は、事象E4「床での転倒」の発生を知得することが可能である。
【0123】
<6.設定操作等>
図30は,管理装置70の処理(検知対象事象に関する設定操作の受付処理等)を示すフローチャートである。なお、検知装置10におけるステップS1(
図5)の処理は、管理装置70における
図30の処理に応じて行われる。
【0124】
ステップS31において、管理装置70は、操作ユーザ(管理者等)の所定の操作に応じて、設定画面200(
図19参照)を表示部75bに表示する。設定画面(登録画面とも称する)200は、観察対象人物に関する検知対象事象を設定(登録)するための画面である。そして、管理装置70は、設定画面200を用いて、観察対象人物に関する検知対象事象の設定操作を受け付ける。
【0125】
次に、ステップS32において、管理装置70は、ステップS31にて受け付けられた設定操作に基づく設定情報を検知装置10(処理ユニット30)に送信する。検知装置10は、管理装置70から受信した設定情報に基づき、検知対象事象を設定(登録)する(
図5のステップS1参照)。換言すれば、検知対象事象がユーザの要求に応じてカスタマイズされて登録される。なお、管理装置70から検知装置10へと送信される設定情報は、管理装置70で受け付けられた情報そのものであってもよく、管理装置70で加工された情報であってもよい。
【0126】
このような処理において、或る検知対象事象は、観察対象人物における特定部位の3次元位置(平面位置(特に平面エリアR1,R2(後述)等)および/または高さ等)に関する条件を充足する事象として設定される。特に、或る検知対象事象は、観察対象人物の特定部位と観察対象人物以外の所定の物体(ベッド等)との位置関係に関する条件を充足する事象として設定される。
【0127】
また、或る検知対象事象は、観察対象人物における特定部位の3次元位置の変化(平面位置の移動(特に平面エリア間の移動)、および/または高さの変動等)に関する条件を充足する事象として設定される。また、或る検知対象事象は、観察対象人物における特定部位の3次元位置の変化速度(移動速度等)に関する条件を充足する事象として設定される。
【0128】
また、各検知対象事象は、「3次元位置」と「3次元位置の変化」と「3次元位置の変化速度」との任意の組合せに関する条件を充足する事象として設定されてもよい。
【0129】
以下では、設定画面200を用いた設定操作(ステップS31)について説明する。
【0130】
【0131】
設定画面200は、部屋指定領域201と人物情報登録ボタン202とエリア設定領域210と骨格情報表示領域220とルール指定領域230とルール編集領域240と発報レベル指定領域280と登録ボタン291とキャンセルボタン292とを備えている。
【0132】
部屋指定領域201は、設定対象の部屋(居室)を指定する領域である。操作ユーザは、ドロップダウンリストに表示される複数の部屋(「101号室」、「102号室」、「103号室」...)の中から所望の部屋(たとえば、「101号室」)を指定することが可能である。そして、操作ユーザは、指定した部屋に関する1又は複数の検知対象事象を設定することが可能である。
【0133】
人物情報登録ボタン202は、部屋に居住する人物(観察対象人物)の情報を登録するためのボタンである。当該人物情報登録ボタン202が押下されると、部屋ごとの観察対象人物の情報登録用画面(不図示)がポップアップ表示される。当該情報登録用画面を用いること等によって、観察対象人物の情報(たとえば、身長情報等)を設定する設定操作が受け付けられる。
【0134】
エリア設定領域210は、エリア追加ボタン211とエリア削除ボタン212とエリア選択領域213とカメラ映像表示領域215とを備えている。
【0135】
ここにおいて、部屋内(詳細には、その検知可能空間内)の平面位置(詳細には、その一部または全部)は、エリア設定領域210を用いた設定操作によって、複数のエリア(平面エリア)R1,R2,...に区分される。後述するように、観察対象人物の各特定部位の3次元位置のうち平面位置に関する条件は、複数のエリアのうちの所望のエリアを指定することによって設定される。
【0136】
カメラ映像表示領域215は、カメラユニット20による検知対象空間に関する撮影画像をエリア指定用画像として表示する領域である。たとえば、被介護者が存在しない状況での撮影画像が表示される。なお、これに限定されず、当該撮影画像を加工した模式的な図形画像等がエリア指定用画像として表示されてもよい。
【0137】
エリア追加ボタン211は、エリアを追加するためのボタンであり、エリア削除ボタン212は、エリアを削除するためのボタンである。また、エリア選択領域213は、生成された1又は複数のエリアのエリア名称(「R1」,「R2」等)が表示される領域である。操作ユーザは、エリア選択領域213に表示されたエリアの中から、編集対象のエリアを選択することができる。
【0138】
たとえば、エリア追加ボタン211を最初に押下すると、新たな名称「R1」がエリア選択領域213に追加されるとともに、カメラ映像表示領域215内にエリアR1を示すハッチング領域が表示される。当該ハッチング領域は、カメラ映像(撮影画像)に重畳して表示される。操作ユーザは、当該ハッチング領域の位置および大きさ等をマウス操作等によって適宜に整形することによって、エリアR1の位置および大きさを設定することが可能である。
【0139】
各エリアの床面からの高さ(エリア内において一定値)は、エリアごとに設定される。各エリアの高さは、詳細には、ハッチング領域の重心(中心)位置に対応する物体の3次元位置の高さに自動的に設定される。たとえば、ベッド上に配置されたエリアR1の高さは、ベッド上面の高さ(計測値)(床面から50cm等)に自動的に設定される。ただし、これに限定されず、エリアR1の高さは、操作ユーザによって指定されてもよい。
【0140】
また、各エリアの境界位置(平面位置)は、部屋内に固定された3次元空間内の座標系Σ2での座標位置に自動的に変換されて登録される。たとえば、エリアR1は、床面に平行な水平平面内における矩形領域(2点(0,100)および(80,280)を対角頂点(対頂点)とする矩形領域)として登録される。
【0141】
なお、これに限定されず、矩形領域を有する各エリアの対角頂点(2点)の座標値が操作ユーザによって入力され、各エリアの位置および大きさ等が指定されてもよい。たとえば、部屋に固定された3次元座標系Σ2における当該2点の座標値(0,100,50)および(80,280,50)が入力されればよい。なお、Z座標値(「50」)は、指定されてもよく、指定されなくてもよい。
【0142】
骨格情報表示領域220は、人物(人間)の骨格情報を示す画像を表示する領域である。人物の骨格情報には、人物の複数の特定部位(胸、腰、肩、肘、手首、膝、足首等)の情報が含まれる。骨格情報表示領域220には、人間の各特定部位がその指定番号とともに示されている。具体的には、「鼻」、「胸」、「右肩」、「右肘」、「右手首」、「左肩」、「左肘」、「左手首」の各部位が、それぞれの部位番号「B0」~「B7」とともに示されている。また、「右腰」、「右膝」、「右足首」、「左腰」、「左膝」、「左足首」の各部位が、それぞれの部位番号「B8」~「B13」とともに示されている。また、「右目」、「左目」、「右耳」、「左耳」の各部位が、それぞれの部位番号「B14」~「B17」とともに示されている。
【0143】
このような骨格情報(部位情報)は、後述するようなルール作成(検知対象事象の検知ルールの作成)に際して、所望の部位を指定番号(数字および/または文字等を含む)で指定する操作等に利用される。操作ユーザは、当該骨格情報表示領域220内の画像(骨格情報を示す画像)を参照しつつ、複数の特定部位のうちの所望の特定部位を指定することが可能である。なお、骨格情報表示領域220内の画像は、人物に関する複数の特定部位を指定するための画像(複数の特定部位を一覧表示する画像)であり、「部位指定用画像」(あるいは「部位一覧表示画像」)とも称される。
【0144】
たとえば、各特定部位に対応する指定番号(部位指定用画像内の対応部位に関連付けられて示されている指定番号)(「B1」等)によって所望の特定部位が指定される。なお、これに限定されず、部位指定用画像の各特定部位の表示部分(B1に対応する点部分等)をマウスでクリック(あるいは画面上でタッチ)することによって、当該表示部分に対応する特定部位(所望の特定部位)が指定されるようにしてもよい。
【0145】
ルール指定領域230は、ルール追加ボタン231とルール削除ボタン232とルール選択領域233とを備える。
【0146】
ルール追加ボタン231は、検知対象事象の検知ルール(検知対象事象の検知条件とも称される)を追加するためのボタンであり、ルール削除ボタン232は、検知ルールを削除するためのボタンである。また、ルール選択領域233は、生成された1又は複数のルールの名称を選択肢として表示する領域である。ルール選択領域233は、(複数のルールの中から)所望のルールを編集対象のルールとして選択するための領域である。ルール選択領域233にて選択されたルールの内容が、ルール編集領域240にて詳細に規定(設定)される。なお、ルール追加ボタン231が押下されたときには、
図19のように「新規ルール」がルール選択領域233内の選択肢として追加表示される。
【0147】
ルール編集領域240は、編集対象ルールの詳細内容を編集する領域である。ルール編集領域240内の各種の入力欄に適宜の内容を入力することによって、当該ルール(編集対象の検知ルール(検知条件))が指定(規定)される。
【0148】
ルール編集領域240は、ルール名称入力欄241と詳細条件指定欄250とを備えている。
【0149】
ルール名称入力欄241には、任意のルール名称が入力される。「ルール名称」は、検知対象事象の名称であるとも表現される。なお、ルール名称入力欄241に入力された名称(たとえば、「起き上がり(ベッド上)」)がルール名称として決定されるとともに、当該名称がルール選択領域233における選択肢として表示される(
図20参照)。
【0150】
詳細条件指定欄250は、部位指定欄251と動作等指定欄252とを備えている。
【0151】
部位指定欄251は、注目すべき特定部位を指定する入力欄である。操作ユーザは、部位指定欄251内の1つ目のドロップダウンリストの複数の選択肢(B0~B17等)の中から所望の選択肢(たとえば、「B1」)を指定することができる。すなわち、操作ユーザは、複数の特定部位のうち所望の特定部位を指定することが可能である。たとえば、操作ユーザが「胸」を特定部位として指定したい場合には、骨格情報表示領域220内の表示内容を参照して、「胸」に対応する指定番号B1を指定すればよい。
【0152】
また、操作ユーザは、部位指定欄251内の「部位追加」ボタンを押下することによって、2以上の特定部位を指定することが可能である。たとえば、当該部位追加ボタンの押下に応じて、2つ目の部位指定用のドロップダウンリストとAND/OR条件指定用のドロップダウンリストとが追加表示される(
図21参照)。そして、操作ユーザは、2つ目の部位指定用のドロップダウンリストにて2つ目の特定部位を指定するとともに、AND/OR条件指定用のドロップダウンリストにて当該2以上の特定部位の相互間の関係(AND条件/OR条件)を指定することが可能である。さらに3つ目以降の特定部位も同様にして指定され得る。
【0153】
動作等指定欄252は、部位指定欄251で指定された特定部位の動作あるいは状態等を指定する入力欄である。たとえば、動作等指定欄252内のドロップダウンリストには、「移動する」、「留まる」などの複数の選択肢が表示される。操作ユーザは、当該複数の選択肢の中から所望の選択肢を指定することが可能である。
【0154】
また、詳細条件指定欄250は、エリア指定欄253と高さ指定欄254と速度指定欄255と期間指定欄256とをさらに備えている。
【0155】
操作ユーザは、これらの指定欄253~256のうちの所望の指定欄において、その先頭のチェックボックスにチェック印を付するとともに当該所望の指定欄の詳細内容を指定することができる。なお、チェック印が付されていないチェックボックスの指定欄の内容は、無効化される。
【0156】
エリア指定欄253は、特定部位の動作あるいは状態に関する検知エリア(平面位置)を指定する入力欄である。操作ユーザは、1つ目のエリア指定用ドロップダウンリストにてエリア(たとえば「R1」)を指定するとともに、当該エリアに関する付随条件指定用ドロップダウンリストにて付随条件(たとえば「内にて」)を指定することができる(
図20参照)。当該付随条件としては、「内にて」、「外にて」、「内へと」、「外へと」、「から(FROM)」などの複数の選択肢が存在する。
【0157】
また、この付随条件指定用ドロップダウンリストにて「から(FROM)」が指定された場合には、2つ目のエリア指定用ドロップダウンリストと当該エリアに関する付随条件指定用ドロップダウンリストとが追加表示される(
図21参照)。この付随条件指定用ドロップダウンリストには、「へと(TO)」などの選択肢が設けられる。これにより、特定部位が「エリアR1からエリアR2へと」移動すること等を指定することも可能である。
【0158】
高さ指定欄254は、特定部位の動作あるいは状態に関する高さを指定する入力欄である。高さ指定欄25内の最初のドロップダウンリストには、高さの基準を示す選択肢(「現在地」、「床面」等)が存在する。さらに、高さ指定欄25内の他の入力欄にて、「30cm以上」(より具体的には、「30」cm「以上」)等を指定することが可能である。なお、数値は任意の数値を指定することが可能であるとともに、当該数値「以上」ではなく当該数値「以下」等を指定することも可能である。他の欄も同様である。
【0159】
また、ここでは、高さ指定欄254において、或る状態での高さあるいは移動後の高さが指定されているが、これに限定されず、たとえば移動前(状態遷移前)の高さと移動後(状態遷移後)の高さとが指定されてもよい。
【0160】
速度指定欄255は、特定部位の動作に関する速度を指定する入力欄である。具体的には、特定部位の移動速度が「1」m/s「以上」であることなどを指定することが可能である(
図24参照)。
【0161】
期間指定欄256は、特定部位の状態(あるいは動作)に関する期間を指定する入力欄である。具体的には、状態の継続時間(あるいは動作の継続時間)が所定長さ以上であること等を指定することが可能である(
図25参照)。
【0162】
操作ユーザは、このような詳細条件指定欄250を用いることによって、検知対象事象を設定することが可能である。
【0163】
たとえば、「起き上がり(ベッド上)」の名称を有する検知対象事象として、
図20に示すような事象が設定され得る。
図20では、「エリアR1内にて部位B1(胸)が現在地(現在高さ)からの高さが30cm以上になるように移動する」との条件を充足する事象が設定(規定ないし定義とも表現される)されている。
【0164】
さらに、ルール編集領域240内の条件追加ボタン242を押下することによって、2以上の条件からなる複雑な条件を規定することも可能である(
図21および
図22等参照)。たとえば、
図21の詳細条件指定欄250にて第1条件を指定した後に条件追加ボタン242が押下されると、第2条件を指定するための詳細条件指定欄260(
図22参照)が表示される。詳細条件指定欄260は、詳細条件指定欄250と同様の構成を有している。また、
図22においては、ボタン243とドロップダウンリスト244とが(ルール名称入力欄241に代えて)設けられている。ドロップダウンリスト244には、第1条件と第2条件との関係(AND/OR等)が入力される。また、ボタン243の押下に応じて、第1条件に関する詳細条件指定欄250が再び表示される。
【0165】
発報レベル指定領域280は、複数の発報レベル(「警告」、「注意」、「日常動作」)を指定する領域である。操作ユーザは、発報レベル指定領域280内のドロップダウンリストから所望の選択肢(たとえば、「警告」)を選択することによって、複数の発報レベルの中から所望のレベルを指定することができる。たとえば、「起き上がり(ベッド上)」の検知対象事象に対しては「日常動作」が指定され、「端座位(ベッド)」の検知対象事象に対しては「注意」が指定される。また、「転倒(床上)」の検知対象事象に対しては「警告」が指定される。これによれば、検知対象事象ごとに発報レベルを指定(変更)することが可能である。特に、現場のニーズ等に即して、各検知対象事象に対する発報レベルを施設ごとに(あるいは部屋ごとに)変更することも可能である。
【0166】
登録ボタン291は、ルール編集領域240、詳細条件指定欄250および発報レベル指定領域280等を用いて編集した内容を登録(確定)するためのボタンである。登録ボタン291の押下に応じて編集内容が確定される。
【0167】
キャンセルボタン292は、編集内容を破棄するためのボタンである。キャンセルボタン292の押下に応じて編集内容は破棄され、編集開始前の設定内容に戻る。
【0168】
このような設定画面200を用いることによって、上記事象E1~E8等が設定され得る。
【0169】
図20は、検知対象事象E1「起き上がり(ベッド上)」の設定画面を示す図である。
図20の設定画面200では、ベッドエリアR1(ベッドが配置されている平面領域)内において観察対象人物の胸(部位B1)の高さ(現在地からの高さ)が30cm以上になる、との条件が規定されている。当該条件が充足されると、事象E1(観察対象人物の上半身がベッド上にて起き上がる動作)(
図7参照)が検知される。
【0170】
図20の検知対象事象E1は、観察対象人物における特定部位B1の3次元位置(平面エリアR1および/または高さ)に関する条件を充足する事象として規定されている。特に、検知対象事象E1は、観察対象人物の特定部位B1と観察対象人物以外の所定の物体(ここではベッド)との位置関係に関する条件(「特定部位B1がベッドエリアR1内」に存在すること)を充足する事象として規定されている。また、検知対象事象E1は、観察対象人物における特定部位の3次元位置の変化(高さの変化)に関する条件をも充足する事象として規定されている。
【0171】
図21および
図22は、検知対象事象E2「端座位(ベッド)」の設定画面を示す図である。
図21では、「観察対象人物の足首(部位B10および部位B13)がベッドエリアR1からベッドサイドエリアR2へと移動する」旨の条件(第1条件)が既定されている。また、
図22では、「観察対象人物の腰(部位B8および部位B11)がベッドエリアR1内に留まっている」旨の条件(第2条件)が規定されている。さらに、ドロップダウンリスト244にて(前頁条件(
図21の第1条件)との)「AND」が指定されている。すなわち、第1条件と第2条件との論理積(AND)の条件が充足されることも規定されている。
【0172】
このように、観察対象人物の足首(部位B10および部位B13)がベッドエリアR1からベッドサイドエリアR2へと移動し且つ観察対象人物の腰(部位B8および部位B11)がベッドエリアR1内に留まっている旨の条件が規定されている。当該条件が充足されると、事象E2(ベッド端において観察対象人物が座っている状態)(
図8参照)が検知される。
【0173】
図21および
図22の検知対象事象E2は、観察対象人物における特定部位B10,B13(右足首および左足首)の3次元位置の変化(平面エリアR1から平面エリアR2へと移動すること)に関する条件を充足する事象として規定されている。特に、検知対象事象E2は、観察対象人物の特定部位B10,B13とベッドとの位置関係の変化に関する条件を充足する事象として規定されている。詳細には、当該条件は、「特定部位B10,B13がベッドエリアR1内からベッドエリアR1外のベッドサイドエリアR2へと移動すること」である。
【0174】
また、検知対象事象E2は、観察対象人物における特定部位B8,B11の3次元位置(平面エリアR1)に関する条件を充足する事象として規定されている。特に、検知対象事象E2は、観察対象人物の特定部位B8,B11と観察対象人物以外の所定の物体(ベッド)との位置関係に関する条件を充足する事象として規定されている。詳細には、当該条件は、「特定部位B8,B11がベッドエリアR1内に存在すること」である。
【0175】
図23は、検知対象事象E3「離床」の設定画面を示す図である。
図23の設定画面200では、ベッドエリアR1から、別のエリアR3(ベッドエリアR1から離れたエリア)へと観察対象人物の全身(全ての特定部位B0~B17)が移動する、との条件が規定されている。当該条件が充足されると、事象E3(観察対象人物がベッドから離れてベッド以外の場所へ移動する動作)(
図9参照)が検知される。
【0176】
図23の検知対象事象E3は、観察対象人物における特定部位B0~B17の3次元位置の変化(平面エリアR1から平面エリアR3へと移動すること)に関する条件を充足する事象として規定されている。特に、検知対象事象E3は、観察対象人物の特定部位B0~B17とベッドとの位置関係の変化に関する条件(「特定部位B0~B17がベッドエリアR1内からベッドエリアR1外のエリアR3へと移動すること」)を充足する事象として規定されている。
【0177】
図24は、検知対象事象E4「転倒(床上)」の設定画面を示す図である。
図24の設定画面200では、ベッドエリアR1外において観察対象人物の胸(特定部位B1)が1m/s以上で床面上の所定高さ(50cm)以下の空間に入る、との条件が規定されている。当該条件が充足されると、事象E4(観察対象人物が床上で転倒する動作)(
図10参照)が検知される。
【0178】
図24の検知対象事象E4は、観察対象人物における特定部位B1の3次元位置に関する条件(「ベッドエリアR1外」)を充足する事象として規定されている。また、検知対象事象E4は、観察対象人物における胸(特定部位B1)の3次元位置の変化(高さの変化)に関する条件をも充足する事象として規定されている。さらに、検知対象事象E4は、観察対象人物における胸(特定部位B1)の3次元位置の変化速度(移動速度)に関する条件(「1m/s以上」)をも充足する事象として規定されている。
【0179】
特に、「転倒」は、観察対象人物(被介護者等)の自らの意思に反して当該人物の姿勢が変化していく動作である。そのため、通常、「転倒」における移動速度は一定程度以上である。
図24では、このような特質を利用してより適切に検知対象事象が設定されている。これによれば、観察対象人物(被介護者等)が自らの意思に反して転倒する動作(
図10参照)と観察対象人物が自らの意思でゆっくり(一定速度未満で)寝そべっていく動作(不図示)とを適切に区別することが可能である。
【0180】
図25は、検知対象事象E5「横たわり(床上)」の設定画面を示す図である。
図25の設定画面200では、ベッドエリアR1の範囲外において観察対象人物の鼻(特定部位B0)および胸(特定部位B1)が床面から50cm以下の空間に5秒以上留まる、との条件が規定されている。当該条件が充足されると、事象E5(観察対象人物が床上で所定期間以上に亘って横たわっている(臥位を有している)状態)(
図11参照)が検知される。
【0181】
図25の検知対象事象E5は、観察対象人物における特定部位B0,B1の3次元位置に関する条件(「高さが床面から50cm以下」「ベッドエリアR1外」)を充足する事象として規定されている。また、検知対象事象E5は、観察対象人物における特定部位B0,B1の3次元位置の継続性(非変化)に関する条件(「5秒以上」)をも充足する事象として規定されている。
【0182】
図26は、検知対象事象E6「ベッドからの全身ずり落ち」の設定画面を示す図である。
図26の設定画面200では、ベッドエリアR1からベッドサイドエリアR2へと観察対象人物の部位B0(鼻)および部位B8(右腰)が1m/s以上で床面上の所定高さ(50cm)以下の空間に移動する、との条件が規定されている。当該条件が充足されると、事象E6(観察対象人物の全身がベッド上からベッドサイドへとずり落ちる動作)(
図12参照)が検知される。
【0183】
図26の検知対象事象E6は、観察対象人物における特定部位B0,B8の3次元位置の変化に関する条件(「ベッドエリアR1からベッドサイドエリアR2への移動」および「高さの変化」)を充足する事象として規定されている。また、検知対象事象E6は、観察対象人物における特定部位B0,B8の3次元位置の変化速度(移動速度)に関する条件(「1m/s以上」)をも充足する事象として規定されている。
【0184】
図27は、検知対象事象E7「ベッドからの下半身ずり落ち」の設定画面を示す図である。
図27の設定画面200では、ベッドエリアR1からベッドサイドエリアR2へと観察対象人物の右腰(部位B8)および左腰(部位B11)が1m/s以上で床面上の所定高さ(50cm)以下の空間に移動する、との条件が規定されている。当該条件が充足されると、事象E7(観察対象人物の下半身がベッド上からベッドサイドへとずり落ちる動作)(
図13参照)が検知される。
【0185】
ここでは、「全身のずり落ち」が上半身の特定部位B0(鼻)および下半身の特定部位B8(右腰)の移動によって規定されているのに対して、「下半身のずり落ち」が下半身の特定部位B8およびB11(右腰および左腰)の移動によって規定されている。すなわち、「下半身のずり落ち」は、上半身の特定部位の移動が条件とされてない点で、「全身のずり落ち」と相違している。なお、この規定内容(設定内容)に依拠すると、実際には人物の「全身」がベッドからずり落ちた場合、「下半身のずり落ち」と「全身のずり落ち」との両者が検知される。ただし、これに限定されず、さらに別の条件をも規定すること等によって、当該両者が互いに区別されて検知されてもよい。たとえば、人物の顔(鼻等)が床から所定の高さ(たとえば50cm)以上の位置に存在することをも条件として、「下半身のずり落ち」が検知されてもよい。
【0186】
図28および
図29は、検知対象事象E8「ベッドからの片手伸ばし」の設定画面を示す図である。
図28では、「観察対象人物の両手首のうちの一方(部位B4あるいは部位B7)がベッドエリアR1からベッドサイドエリアR2へと移動する」旨の条件(第1条件)が既定されている。また、
図29では、「観察対象人物の腰(部位B8および部位B11)がベッドエリアR1内に留まっている」旨の条件(第2条件)が規定されている。さらに、ドロップダウンリスト244にて(前頁条件(
図28の第1条件)との)「AND」が指定されている。すなわち、第1条件と第2条件との論理積(AND)の条件が充足されることも規定されている。
【0187】
このように、観察対象人物の一方の手首(部位B4あるいは部位B7)がベッドエリアR1からベッドサイドエリアR2へと移動し且つ観察対象人物の腰(部位B8および部位B11)がベッドエリアR1内に留まっている旨の条件が規定されている。当該条件が充足されると、事象E8(観察対象人物の片手がベッドサイドへと伸びている状態)(
図14参照)が検知される。
【0188】
図28および
図29の検知対象事象E8は、観察対象人物における特定部位B4あるいはB7(右手首あるいは左手首)の3次元位置の変化(エリアR1からエリアR2へと移動すること)に関する条件を充足する事象として規定されている。特に、検知対象事象E8は、観察対象人物の特定部位B4,B7とベッドとの位置関係の変化に関する条件を充足する事象として規定されている。詳細には、当該条件は、「特定部位B4あるいはB7がベッドエリアR1内からベッドエリアR1外のベッドサイドエリアR2へと移動すること」である。
【0189】
また、検知対象事象E8は、観察対象人物における特定部位B8,B11の3次元位置(平面エリアR1)に関する条件を充足する事象として規定されている。特に、検知対象事象E8は、観察対象人物の特定部位B8,B11と観察対象人物以外の所定の物体(ベッド)との位置関係に関する条件(「特定部位B8,B11がベッドエリアR1内に存在すること」)を充足する事象として規定されている。
【0190】
以上のように、設定画面200等を利用した設定操作によれば、各検知対象事象を柔軟に設定(規定)することが可能である。したがって、ユーザの様々な要求に柔軟に対応することが可能である。
【0191】
詳細には、ユーザは、検知対象事象自体(換言すれば、検知対象事象の検知ルール(検知条件))を容易に設定することが可能である。たとえば、ユーザ(施設職員等)は、上記各事象E1~E8の設定内容(部位、動作/状態、3次元位置、速度等)を、施設ごとの事情等に応じて容易にカスタマイズ登録することが可能である。また、ユーザは、施設ごとの事情に応じて検知すべき事象を判断し、当該検知すべき事象を検知対象事象として適切に登録(設定)することが可能である。さらに、新たに検知すべき事象が増えた場合に、当該事象を検知対象事象として新たに追加登録することが容易に実現され得る。
【0192】
特に、検知対象事象を人物の特定部位の状態および/または動作で規定できるとともに、当該特定部位を任意に指定すること(ニーズ等に応じて適切に指定すること)ができる。各特定部位と動作内容等との組合せも任意に指定することもできる。端的に言えば、カスタマイズ性能が高い。
【0193】
また特に、人物の特定部位の「3次元位置」と「当該3次元位置の変化」と「当該3次元位置の変化速度」との3要素のうちいずれか1つ以上に関する条件を充足する事象として、検知対象事象が規定される。したがって、実空間(3次元空間)での事象をきめ細かく適切に指定することが可能である。さらに、これらの3要素のうち2つ以上に関する条件を充足する事象として検知対象事象が規定され得るので、実空間(3次元空間)での事象を更にきめ細かく更に適切に指定することが可能である。また、当該3次元位置の変化速度を含めて検知対象事象が設定(規定)され得るので、転倒等の検知対象事象(変化速度に特徴を有する事象)を非常に適切に設定することが可能である。
【0194】
また、観察対象人物の3次元位置のうちの「高さ」が利用されることによれば、人物の姿勢の大きな変化(転倒等における大きな変化等)が適切に検出され易い。
【0195】
また、観察対象人物の3次元位置のうちの「平面位置」が、ユーザによって予め設定されたエリア(R1,R2,R3等)で指定され得る。詳細には、ユーザの操作等に基づきカメラ映像(部屋の撮影画像)等に基づいて実空間上の平面エリアが複数のエリア(R1,R2,R3等)に予め区分されている。そして、当該複数のエリア(R1,R2,R3等)の中から適切な平面エリアがユーザにより指定されて検知対象事象が設定され得る。これによれば、ユーザは、各平面エリアを高い自由度で作成することが可能であるとともに、各特定部位の存在エリア、移動元エリアおよび/または移動先エリアとして、平面エリアを柔軟に指定することが可能である。
【0196】
また、検知対象事象の名称は、施設ごとの通用名等に適宜に設定され得る。したがって、上記システムの導入に際して、利用ユーザ(介護をする側の人物(介護者)等)が検知対象事象の名称に違和感を感じることを防止することが可能である。
【0197】
さらに、発報レベル(警告、注意、日常動作)が検知対象事象ごとに設定され得る。換言すれば、端末装置70は、複数の発報レベルのうち検知対象事象に応じた発報レベルの設定操作を受け付ける。その結果、検知対象事象がレベル分けして報知される。また、そのレベル分けを施設ごとの事情に応じて柔軟に設定することが可能である。
【0198】
なお、各検知対象事象の発生は、発報レベルに応じた互いに異なる発報態様で報知される。たとえば、「注意」レベルの事象が発生した場合、端末装置70,80の観察画面310(詳細には、その文字表示領域312)(
図16参照)において、検知された事象の名称(「端座位」等)が黄色且つ中サイズの文字で表示される。また、「警告」レベル(「注意」レベルよりも高いレベル)の事象が発生した場合、端末装置70,80の観察画面310(
図17参照)において、検知された事象の名称(「転倒」等)が赤色且つ大サイズの文字で表示される。この場合、さらに、警告音が端末装置70,80から出力される。また、「日常動作」レベル(「注意」レベルよりも低いレベル)の事象が発生した場合、端末装置70,80の観察画面310において、検知された事象(「起き上がり」等)の名称が黒色且つ小サイズの文字で表示される。
【0199】
また、1または複数の検知対象事象(検知条件)は、各部屋ごとに設定される。詳細には、まず、端末装置70は、複数の部屋に関する各検知対象事象を部屋ごとに設定する設定操作を受け付ける。そして、部屋ごとに設けられた各検知装置10は、当該設定操作に応じて各検知対象事象を部屋ごとに設定し、当該設定操作による設定内容(部屋ごとの設定内容)に基づき各検知対象事象を検知する。
【0200】
それ故、各部屋の居住者に応じたきめ細かな設定が可能である。たとえば、部屋ごとにその居住者の介護レベルが異なる場合において、各部屋ごとに(換言すれば、各部屋の居住者ごとに)検知対象事象(検知条件)を適切にカスタマイズして設定することが可能である。
【0201】
また、上述の人物情報登録ボタン202の押下に応答して、各部屋に居住する人物の情報(部屋ごとの観察対象人物の身長等)が登録されている場合には、次のようにして検知精度を向上させることが可能である。具体的には、検知装置10は、その部屋の観察対象人物の身長情報に適合しない人物を検知対象人物から除外して、その部屋の各検知対象事象を検知してもよい。
【0202】
より具体的には、検知装置10は、撮影画像内の1又は複数の被写体人物の身長を、3次元カメラによって取得される情報(撮影画像および深度情報等)に基づいて測定する。そして、検知装置10は、被写体人物の身長(測定された身長)と観察対象人物の身長(予め登録されている身長)との差異が所定値以上であるときには、当該被写体人物が観察対象人物ではないと判定し、当該被写体人物を検知対象から除外すればよい。
【0203】
これによれば、観察対象人物とは異なる人物(たとえば、観察対象人物よりもその身長が所定程度以上低い子供等)がお見舞い等で当該部屋に滞在している際に、(遊んでいる)子供が仮に転倒しても、観察対象人物の転倒と誤判定せずに済む。
【0204】
あるいは、或る部屋に観察対象人物の人数(所定数(たとえば、1人))よりも多数の人物が部屋に存在する場合には、検知対象事象が検知されたときでも発報しないようにしてもよい。部屋内に観察対象人物以外の人物(別人)が存在している状況では、当該人物(別人)が観察対象人物に関する検知対象事象の発生を認識すること等が可能であることが多い。当該状況においては発報の必要性が所定程度よりも低いとみなし、検知対象事象が検知されたときでも発報しないことによって、本来的には不要な発報を抑制することが可能である。また、複数の被写体人物の検知動作に伴う検知装置10の負荷上昇を抑制することも可能である。
【0205】
なお、ここでは、管理装置70において設定操作が受け付けられているが、これに限定されない。たとえば、携帯端末装置80において設定操作が受け付けられてもよい。
【0206】
<7.骨格表示によるモニタリング表示>
つぎに、観察対象人物のモニタリング表示について説明する。
【0207】
図15は、表示対象の部屋を選択する選択画面300を示す図である。選択画面300には、複数(ここでは6個)の部屋にそれぞれ対応する複数のボタン301~306が表示されている。そして、当該複数のボタン(301~306)の中から所望のボタンが選択されると、当該所望のボタンに対応する部屋に関する観察画面310が表示される。たとえば、ボタン301が押下されると、当該ボタン301に対応付けられている「101号室」に関する観察画面310(
図16等参照)が表示される。なお、選択画面300および当該観察画面310は、たとえば管理装置70の表示部75bに表示される。ただし、これに限定されず、選択画面300および当該観察画面310は、各携帯端末装置80の表示部85b(タッチパネル87等)に表示されてもよい。
【0208】
これらの画面300,310の表示処理は、各端末装置70(あるいは80)と各検知装置10との協働により制御される。より具体的には、まず、端末装置70(あるいは80)が、対象の部屋に対応する検知装置10に対してモニタリング表示要求を送出する。当該検知装置10は、当該モニタリング表示要求に応答して、表示用画像データ等(観察画面310(観察画像330を含む)の表示用データ)を生成し、当該表示用画像データ等を当該端末装置70等に対して送信する(
図5のステップS12)。当該端末装置70等は、受信した表示用データに基づき、観察画面310を表示する。
【0209】
図16および
図17は、或る部屋(ここでは「101号室」)の観察対象人物の観察画面310を示す図である。
【0210】
図16等に示されるように、観察画面310は、観察画像330(観察映像)を表示する映像表示領域311と文字表示領域312とを備えている。
【0211】
映像表示領域311には、観察対象人物の観察画像(映像(動画像))330がリアルタイムで表示される。
図16等に示されるように、観察画像330は、観察対象人物自体の撮影画像を有さず且つ当該観察対象人物の骨格画像325を有する画像である。
【0212】
骨格画像325および観察画像330は、カメラユニット20によって撮像される撮影画像110に基づいて、処理ユニット30によって生成される。
【0213】
図18は、観察画像330等の生成処理について説明する図である。
【0214】
具体的には、検知装置10の処理ユニット30は、まず、観察対象人物の撮影画像110(詳細には、撮影画像110に基づく骨格情報140)から観察対象人物の骨格画像325を生成する。骨格画像325は、
図18(および
図6)等に示されるように、たとえば、観察対象人物の各特定部位を「点」で示し、各骨格線(接続線)を「線分」で示す画像である。
【0215】
そして、処理ユニット30は、当該骨格画像325に基づいて観察対象人物に関する観察画像330を生成する。観察画像330は、たとえば、人物が存在しない背景画像327(327aとも称する)と骨格画像325とを合成することによって生成される。骨格画像325は、背景画像327において、撮影画像110内での存在位置と同じ位置に配置される。
【0216】
なお、人物が存在しない背景画像327aは、たとえば、事前に撮影され且つ人物が存在しない撮影画像110(326とも称する)に基づいて生成される。詳細には、検知装置10は、或る時点での撮影画像(詳細には、対象の部屋を事前に撮影している撮影画像)110中に人物が存在しないと判定すると、当該撮影画像(動画像)110から静止画像を抽出する。そして、当該静止画像が背景画像327aとして生成される。
【0217】
このようにして或る時点での観察画像330が生成される。
【0218】
その後、このような動作が繰り返されることによって、各時点での観察画像330が順次に生成される。端的に言えば、観察画像330(骨格画像325を含む)は、撮影画像110等に基づいてリアルタイムで生成される。
【0219】
なお、背景画像327aは、常に同じ画像であってもよい。ただし、これに限定されず、たとえば、時間帯(昼間/夜間)等に応じて異なる背景画像327aが生成され利用されてもよい。詳細には、昼間の時間帯においては、昼間に撮影され且つ人物不在の撮影画像110が背景画像327aとして利用されてもよい。また、夜間の時間帯においては、夜間に撮影され且つ人物不在の撮影画像110が背景画像327aとして利用されてもよい。
【0220】
また、背景画像327は、予め準備された固定画像327b(無地画像あるいは部屋の3次元模式図等)であってもよい。
【0221】
ところで、一般的な監視画面(比較例に係る画面とも称する)では、骨格画像325ではなく、カメラユニット20による撮影画像自体が表示される。詳細には、居室内での人物(観察対象人物とも称する)の撮影画像が管理者用画面等において常にそのまま表示される。
【0222】
しかしながら、このようなモニタリング表示は当該人物のプライバシーに対して適切な配慮がなされているものとは言えない。
【0223】
これに対して、上記実施形態に係るモニタリング表示においては、観察対象人物自体の撮影画像ではなく当該人物の骨格画像325が観察画像330として表示される。したがって、観察対象人物のプライバシーに対して適切に配慮することが可能である。特に、骨格情報(骨格画像325(観察画像330))によれば、観察対象人物の顔に関する情報は失われているとともに、観察対象人物の体型(太っている/痩せている)および仕草等を殆ど認識できない程度にその情報量が低減されている。したがって、特に当該人物のプライバシーに対して適切に配慮することが可能である。それ故、見守られる側の人物(被介護者等)の心理的抵抗を低減することも可能である。
【0224】
その一方で、介護者等は、観察対象人物の骨格画像を視認することによって、観察対象人物の姿勢等を適度に把握することが可能である。
【0225】
<8.表示に関する改変例>
上記のようなモニタリング表示において、所定条件が成立する場合、観察対象人物に関する撮影画像110が、観察画像330に代えて或いは観察画像330とともに表示されてもよい。端的に言えば、必要に応じて、観察画像330(骨格画像325)から撮影画像110への切替等が行われてもよい。
【0226】
<所定条件1>
このような切替等が行われるべき所定条件としては、所定の検知対象事象が検知されたこと、などが例示される。
【0227】
たとえば、所定の設定画面(200等)において、「骨格画像」と「撮影画像」とのいずれを各検知対象事象の発生時(検知時)に表示させるかに関する選択肢(表示対象画像に関する選択肢)を設けておく。当該選択肢は、検知対象事象ごとに設けられることが好ましい。そして、当該選択肢によって設定された種類の画像(「骨格画像」/「撮影画像」)が、各検知対象事象の発生時に表示されるようにすればよい。たとえば、或る検知対象事象(「転倒」等)発生時の表示対象画像として「撮影画像」が設定されている場合、当該検知対象事象が検知されると、撮影画像110がモニタリング表示される。一方、当該検知対象事象が検知されていないときには、骨格画像325(観察画像330)が表示される。
【0228】
これによれば、たとえば「転倒」などの高い危険性を有する事象が発生したときには、ユーザは、実際の撮影画像110を視認し、さらに詳細な状況を確認することができる。ひいては、より適切に状況を把握し、適切な処置を施すことが可能である。
【0229】
このように、通常時には骨格画像325(観察画像330)が表示され、所定の検知対象事象の発生時には撮影画像110が表示される。これによれば、プライバシーに配慮しつつ、所定の状況では実際の撮影画像をユーザ(介護者等)が確認することも可能である。換言すれば、観察者(介護者等)は、必要に応じて、観察対象人物に関する撮影画像を確認することが可能である。ひいては、観察者(介護者等)が適切な処理を施すことが可能である。
【0230】
また、検知対象事象ごとに撮影画像の表示の是非を設定することによれば、きめ細やかな対応を実現することが可能である。
【0231】
<所定条件2>
また、上述のような切替等が行われるべき所定条件としては、複数の発報レベルのうち検知対象事象に対して設定された発報レベルが所定レベル以上の重要度を有すること、なども例示される。
【0232】
たとえば、発報に関する設定画面(
図20等参照)において、表示対象画像(観察画像330)と複数の発報レベルとの関係が設定されればよい。複数の発報レベルとしては、「警告」、「注意」、「日常動作」が例示される。「警告」は「注意」よりも高い重要度を有する発報レベルであり、「注意」は「日常動作」よりも高い重要度を有する発報レベルである。なお、各検知対象事象に対して、複数の発報レベルのいずれかが割り当てられているものとする。
【0233】
たとえば、発報に関する当該設定画面において、複数の発報レベルのうち、骨格画像325(観察画像330)から撮影画像110への切替等が行われるべき所定レベル(たとえば、「警告」以上)が設定される。
【0234】
このような設定に基づき、検知対象事象が検知されていないときには、骨格画像325(観察画像330)が表示される一方で、或る検知対象事象が検知されると、当該或る検知対象事象に割り当てられた発報レベルに応じた画像が表示される。
【0235】
具体的には、検知対象事象が発生すると、当該検知対象事象の発報レベルが所定レベル(「警告」)以上の重要性を有するか否かが判定される。当該検知対象事象の発報レベルが所定レベル(「警告」)以上の重要度を有しない場合、骨格画像325(観察画像330)が引き続き表示される。一方、当該検知対象事象の発報レベルが所定レベル(「警告」)以上の重要度を有する場合、骨格画像325(観察画像330)から撮影画像110へと表示対象画像が変更される。
【0236】
このように、通常時には骨格画像325(観察画像330)が表示され、所定レベル以上の重要度を有する検知対象事象の発生時には撮影画像110が表示される。これによれば、プライバシーに配慮しつつ、必要に応じて実際の撮影画像を確認して適切な処理を施すことが可能である。また、検知対象事象ごとに撮影画像の表示の是非を設定することができるので、きめ細やかな対応を実現することが可能である。
【0237】
特に、発生した検知対象事象の重要度に応じて、骨格画像325(観察画像330)と撮影画像110とのいずれを表示するかを変更することができる。特に、「転倒」などの高い危険性を有する事象(所定レベル以上の重要度を有する事象)が発生したときには、ユーザは、実際の撮影画像110を視認し、さらに詳細な状況を確認することができる。ひいては、より適切に状況を把握し、適切な処置を施すことが可能である。
【0238】
また、このような態様によれば、ユーザは検知対象事象ごとに表示対象画像を設定しなくても済む。したがって、ユーザが検知対象事象ごとに発報レベルと表示対象画像との双方を設定する場合に比べて、設定の手間を低減することが可能である。
【0239】
<他の改変例>
また、上記の各改変例では、所定条件が成立する場合、観察画像330(骨格画像325)に代えて、観察対象人物に関する撮影画像が表示されているが、これに限定されない。所定条件が成立する場合、観察画像330(骨格画像325)とともに、観察対象人物に関する撮影画像110が表示されてもよい。
【0240】
また、上記実施形態等では、端末装置70,80において観察画像330および骨格画像325として、動画像が表示されているが、これに限定されず、端末装置70,80において静止画像が観察画像330および骨格画像325として表示されてもよい。
【0241】
また、上記実施形態等では、端末装置70(あるいは80)から検知装置10に対して送出されたモニタリング表示要求に応じて、端末装置70等に画像データの転送が開始され画像(骨格画像等)の表示が開始されているが、これに限定されない。たとえば、検知装置10にて各検知対象事象が検知されたことに応じて、各端末装置70,80に検知対象事象の検知が報知されるとともに自動的に管理装置70等にて画像(骨格画像等)の表示が開始されるようにしてもよい。この際の表示画像(骨格画像325および観察画像330等)も、動画像でもよく、あるいは静止画像でもよい。
【0242】
また、上記実施形態等では、モニタリング表示時に骨格画像325(観察画像330)が表示される態様を例示したが、これに限定されない。たとえば、記憶部32内に記憶された観察画像330(ログ画像)がその後に再生される際に、骨格画像325が表示されてもよい。あるいは、録画された撮影画像110(録画画像)がその後に再生される際に、当該撮影画像110に基づく骨格画像325が生成され表示されてもよい。
【0243】
また、ここでは検知装置10が骨格画像325および観察画像330の生成処理(換言すれば、表示制御処理)等を実行しているが、これに限定されない。たとえば、端末装置70(,80)が骨格画像325および/または観察画像330等の生成処理等を実行してもよい。詳細には、検知装置10から端末装置70等へと撮影画像110および深度情報120等が送信され、送信先の端末装置70等にて骨格画像325等が生成されてもよい。ただし、セキュリティ向上の観点あるいはデータ送信量削減の観点からは、(受信側の管理装置70ではなく)送信側の検知装置10が当該生成処理等を実行することが好ましい。
【0244】
このように、検知装置10が表示制御処理を行ってもよく、あるいは端末装置70,80が表示制御処理を行ってもよい。すなわち、検知装置10が表示制御装置として動作してもよく、あるいは、端末装置70,80が表示制御装置として動作してもよい。換言すれば、表示制御装置は、表示装置(70,80)とは別の装置として設けられてもよく、表示装置(70,80)と一体的に設けられてもよい。
【0245】
<9.エリアごとの基準高さ等>
上記においては、検知対象事象の1つとして、事象E4「床での転倒」(
図10参照)を例示した。検知対象事象E4では、観察対象人物の「胸」(部位B1)の「高さ」に関する条件として、床面からの高さが50cm以上の値から50cm以下の値へと変化することが採用されている。
【0246】
しかしながら、「転倒」は、床上でのみならずベッド上等でも発生し得る。ベッド上での転倒を判定する際に床上での転倒に関する基準と同じ基準を用いると、適切な判定ができない。具体的には、「胸の高さが床面から50cm以上であること」は常に正常であるとは限らず、ベッド上での転倒時には別の基準を用いることが求められる。
【0247】
そこで、事象E4に類似する他の検知対象事象として、事象E12「ベッド上での転倒(観察対象人物がベッド上で転倒すること)」(
図31参照)が規定するとともに、次のような条件の成立に応じて検知対象事象E12が検知されてもよい。当該条件は、たとえば、「ベッドエリアR1内」において観察対象人物の「胸」(部位B1)の「ベッド上面」からの高さが50cm以上の値から50cm以下の値へと変化し且つその際の特定部位B1の移動速度が「1m/s以上」であることである。
【0248】
ただし、これに限定されず、床上での転倒とベッド上での転倒とを区別せずに、事象E13「転倒」(2つの事象E4,E12を統合した事象)が検知されてもよい。
【0249】
検知対象事象E13は、次のような条件の成立に応じて検知される。当該条件は、たとえば、観察対象人物の「胸」(部位B1)の「基準面からの高さ」が50cm以上の値から50cm以下の値へと変化し且つその際の特定部位B1の移動速度が「1m/s以上」であることである。換言すれば、2つの事象E4,E12における条件が、いずれも「基準面」に対する高さで規定されてもよい。
【0250】
具体的には、まず、検知装置10は、エリア(平面エリア)ごとの「基準面」の高さを(
図5の処理よりも前に)予め規定しておく。
【0251】
詳細には、検知装置10は、部屋内(詳細には、その検知可能空間内)の平面位置(その一部または全部)をユーザによる設定操作等に応じて複数のエリアR1,R2,...に区分する。換言すれば、部屋内に複数の平面エリアR1,R2,...が設けられる。そして、検知装置10は、複数のエリアR1,R2,...のそれぞれについて「基準面の高さ」を設定する。たとえば、ベッドエリアR1には「45cm」、ベッドサイドエリアR2には「0cm」、他のエリアR3にも「0cm」が、それぞれ基準面の高さとして設定される。詳細には、検知装置10は、ユーザの操作入力等に応じて、エリアごとの基準面の高さを設定すればよい。
【0252】
なお、各平面エリア(R1,R2,R3等)の基準面の高さは、自動的に設定されてもよい。具体的には、当該基準面の高さは、カメラユニット20(3次元カメラ)からの情報に基づいて、各平面エリアの代表位置に対応する物体(床、ベッド等)の3次元空間における高さに、自動的に設定されてもよい。たとえば、ベッドが載置された平面エリアR1の基準面の高さは、ベッド上面の高さ(3次元カメラ等による計測値)(床面から45cm等)に自動的に設定される。また、床上にベッドが載置されていない平面エリアR2の基準面の高さは、床面の高さ(床面から0cm等)に自動的に設定される。
【0253】
そして、エリアごとの「基準面」の高さに基づいて、エリアごとの「基準高さ」が決定される。たとえば、平面エリア(ベッドエリア)R1の基準高さは、平面エリアR1に対して設定された基準面(ベッド上面)の高さ「45cm」に、「50cm」(基準面からの高さ)が加算された値「95cm」である。一方、平面エリアR2,R3等(非ベッドエリア(床面エリア))の基準高さは、平面エリアR2に対して設定された基準面(床面)の高さ「0cm」に、「50cm」(基準面からの高さ)が加算された値「50cm」である。
【0254】
次述するように観察対象人物の存在エリアが判定されると、エリアごとの「基準高さ」に基づき当該存在エリアの基準高さが求められる。換言すれば、存在エリアごとに「基準高さ」が設定される。たとえば、ベッドエリア(ベッド上のエリア)R1が観察対象人物の存在エリアである場合、当該存在エリアの基準高さは「95cm」である。一方、床上のエリア(ベッドエリアR1以外のエリアR2,R3等)が観察対象人物の存在エリアである場合、当該存在エリアの基準高さは「50cm」である。存在エリアごとの基準高さは、当該存在エリアがベッド上であるか床上であるか等に応じて異なっている。
【0255】
なお、検知対象事象E13は、たとえば、
図32の設定画面200を用いた設定操作に応じて設定されればよい。
図32は、検知対象事象E13「転倒」の設定画面200を示す図である。
図32の設定画面200(特に詳細条件指定欄250)では、観察対象人物の胸(特定部位B1)が1m/s以上で「基準面」から所定高さ(50cm)以下の空間に入る、との条件が規定されている。検知対象事象E4に関する設定画面200(
図24)と比較すると、特に、検知対象の平面エリアが規定されていない点と「基準面」からの高さが規定されている点とで相違する。
【0256】
その後、
図5の処理が開始されると、ステップS11~S15(特にS11,S13)において、検知装置10は、観察対象人物の存在エリアを判定するとともに、観察対象人物の存在エリアに応じて当該存在エリアの基準高さを求める(設定する)。そして、検知装置10は、当該存在エリアごとの基準高さに基づいて各特定部位の高さに関する条件を判定する。また、検知装置10は、これらの判定結果に基づき検知対象事象を検知する。なお、観察対象人物の存在エリアは、観察対象人物の所定の部位(胸あるいは腰等)の存在位置(平面位置)に基づいて判定されればよい。
【0257】
詳細には、検知装置10は、存在エリアごとの基準高さと特定部位の高さとの比較結果に基づき、検知対象事象を検知する。
【0258】
たとえば、観察対象人物がベッド上(ベッドエリアR1内)に存在する場合には、ベッドエリアR1の基準高さ(「95cm」)と観察対象人物の特定部位B1(「胸」)の高さとの比較の結果に基づき、検知対象事象E13が検知される。詳細には、観察対象人物の「胸」(部位B1)の床面からの高さが95cm(基準面の高さ「45cm」+「50cm」)以上の値から当該95cm以下の値へと変化することを条件に、検知対象事象E13が検知される。
【0259】
一方、観察対象人物が床上(たとえば、エリアR3)に存在する場合には、当該エリアR3の基準高さ(「50cm」)と観察対象人物の特定部位B1(「胸」)の高さとの比較の結果に基づき、検知対象事象E13が検知される。詳細には、観察対象人物の「胸」(部位B1)の床面からの高さが50cm(基準面の高さ「0cm」+「50cm」)以上の値から当該50cm以下の値へと変化することを条件に、検知対象事象E13が検知される。
【0260】
このように、存在エリアごとの基準高さ(換言すれば、存在エリアごとに設定された基準高さ)に基づいて検知対象事象E13が検知される。なお、このような「高さ」に関する条件に加えて上述の移動速度に関する条件(移動速度が「1m/s以上」等)をも加えて、検知対象事象E13が検知されることが好ましい。
【0261】
以上のように、検知装置10(コントローラ31)は、観察対象人物の存在エリアを判定し、当該存在エリアごとの基準高さに基づいて特定部位の高さに関する条件を判定してもよい。詳細には、観察対象人物の存在エリアごとに異なる基準高さが設定され、当該基準高さと特定部位の高さとの比較結果に基づいて検知対象事象が検知されてもよい。これによれば、特定部位の高さの正常範囲が存在エリアごとに異なる場合であっても、観察対象人物の存在エリアごとの適切な基準高さに基づいて適切な検知処理が実行され得る。それ故、単一の基準高さ(存在エリアに依拠しない基準高さ)に基づいて検知処理が実行される場合に比べて、検知対象事象を適切に検知することが可能である。また、「転倒」という事象をエリア別の複数の検知対象事象(E4,E12等)として別々に分離して規定せずに済み、当該複数の検知対象事象(E4,E12等)を1つの検知対象事象E13(「転倒」)として統一的に取り扱うことが可能である。
【0262】
<10.その他>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0263】
たとえば、観察対象人物の特定部位は、上述の各特定部位に限定されず、人物の頭、首、鎖骨等であってもよい。
【0264】
また、上記実施形態等においては、検知装置10(特に処理ユニット30)が各検知対象事象の検知処理等を実行しているが、これに限定されない。たとえば、管理装置70が各検知対象事象の検知処理等を実行してもよい。
【0265】
また、上記実施形態等においては、処理ユニット30(コントローラ31)が骨格情報140および各特定部位の3次元位置情報150等を生成しているが、これに限定されない。たとえば、管理装置70(コントローラ71)が各特定部位の3次元位置情報150を生成してもよい。さらに、管理装置70(コントローラ71)が骨格情報140をも生成してもよい。
【0266】
また、上記各実施形態等においては、検知装置10と管理装置70とが別々の装置として構成されているが、これに限定されない。たとえば、検知装置10は、管理装置70の処理(設定操作の受付処理等)をも実行する装置として構築されてもよい。
【0267】
また、観察画像330を表示する表示部は、上記各実施形態等のように端末装置70(,80)に設けられてもよいが、これに限定されず、たとえば検知装置10に設けられてもよい。
【符号の説明】
【0268】
1 検知システム
10 検知装置
20 カメラユニット
30 処理ユニット
70 管理装置
80 携帯端末装置
110 撮影画像
120 深度情報
140 骨格情報
150 3次元位置情報
200 設定画面
202 人物情報登録ボタン
210 エリア設定領域
220 骨格情報表示領域
230 ルール指定領域
240 ルール編集領域
250 詳細条件指定欄
280 発報レベル指定領域
300 選択画面
310 観察画面
325 骨格画像
327 背景画像
330 観察画像