(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022139507
(43)【公開日】2022-09-26
(54)【発明の名称】検知装置、検知方法、および学習モデル生産方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220915BHJP
【ＦＩ】
G06T7/00 660B
G06T7/00 350B
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021039927
(22)【出願日】2021-03-12
(71)【出願人】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(74)【代理人】
【識別番号】100117673
【弁理士】
【氏名又は名称】中島 了
(72)【発明者】
【氏名】森田 翔治
(72)【発明者】
【氏名】安達 和隆
(72)【発明者】
【氏名】鵜飼 祐生
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA02
5L096BA18
5L096CA04
5L096CA24
5L096DA02
5L096EA39
5L096FA16
5L096FA18
5L096FA66
5L096FA69
5L096FA76
5L096HA11
5L096KA04
(57)【要約】
【課題】人物に関する行動関連事象をより正確に検知することが可能な技術を提供する。
【解決手段】検知装置は、所定の境界と対象人物の複数の特定部位Ｂｉとの位置関係に基づき、対象人物の行動関連事象（たとえば、「通常臥位（正常臥位）」、「ベッド上での（上半身）起き上がり」、「境界位」等）を検知する。たとえば、検知装置は、境界面２１０と人物の複数の特定部位Ｂｉとの位置関係を示す情報を入力とし且つ人物に関する行動関連事象を出力とする複数の教師データを用いて機械学習された学習モデルを利用して、境界面２１０に対する対象人物の複数の特定部位Ｂｉの位置関係を示す情報に基づき、対象人物に関する行動関連事象を検知する。
【選択図】図４
【解決手段】検知装置は、所定の境界と対象人物の複数の特定部位Ｂｉとの位置関係に基づき、対象人物の行動関連事象（たとえば、「通常臥位（正常臥位）」、「ベッド上での（上半身）起き上がり」、「境界位」等）を検知する。たとえば、検知装置は、境界面２１０と人物の複数の特定部位Ｂｉとの位置関係を示す情報を入力とし且つ人物に関する行動関連事象を出力とする複数の教師データを用いて機械学習された学習モデルを利用して、境界面２１０に対する対象人物の複数の特定部位Ｂｉの位置関係を示す情報に基づき、対象人物に関する行動関連事象を検知する。
【選択図】図４
【特許請求の範囲】
【請求項1】
対象人物の行動関連事象を検知する制御部、
を備え、
前記制御部は、所定の境界と前記対象人物の複数の特定部位との位置関係に基づき、前記対象人物の前記行動関連事象を検知することを特徴とする検知装置。
を備え、
前記制御部は、所定の境界と前記対象人物の複数の特定部位との位置関係に基づき、前記対象人物の前記行動関連事象を検知することを特徴とする検知装置。
【請求項2】
前記制御部は、前記所定の境界と人物の前記複数の特定部位との位置関係を示す情報を入力とし且つ前記人物に関する前記行動関連事象を出力とする複数の教師データを用いて機械学習された学習モデルを利用して、前記所定の境界に対する前記対象人物の前記複数の特定部位の位置関係を示す情報に基づき、前記対象人物に関する前記行動関連事象を検知することを特徴とする、請求項１に記載の検知装置。
【請求項3】
前記所定の境界は、ベッドの境界であることを特徴とする、請求項１または請求項２に記載の検知装置。
【請求項4】
前記制御部は、前記対象人物がベッド端部に腰かけた状態である端座位状態と前記対象人物の上半身がベッド上にて起き上がった状態である上半身起き上がり状態とを区別して前記行動関連事象を検知することを特徴とする、請求項１から請求項３のいずれかに記載の検知装置。
【請求項5】
前記制御部は、撮影画像と前記撮影画像内の各画素の深度情報とに基づき、前記撮影画像内の人物候補領域内における前記対象人物の存否を判定することを特徴とする、請求項１から請求項４のいずれかに記載の検知装置。
【請求項6】
前記制御部は、対象空間を撮影した調整用画像を用いて設定されるベッド領域の長辺のうち、前記調整用画像内の中央に最も近い長辺を前記所定の境界として自動設定することを特徴とする、請求項１から請求項５のいずれかに記載の検知装置。
【請求項7】
前記制御部は、ベッド領域と前記対象人物の前記複数の特定部位との位置関係にも基づき、前記対象人物の前記行動関連事象を検知することを特徴とする、請求項１から請求項５のいずれかに記載の検知装置。
【請求項8】
前記制御部は、対象空間を撮影した調整用画像内における所定ポイントを基準に前記ベッド領域を設定することを特徴とする、請求項６または請求項７に記載の検知装置。
【請求項9】
前記所定ポイントは、ユーザによる前記調整用画像内での位置指定操作に応じて指定されることを特徴とする、請求項８に記載の検知装置。
【請求項10】
ａ）所定の境界と対象人物の複数の特定部位との位置関係を取得するステップと、
ｂ）前記位置関係に基づき、前記対象人物に関する行動関連事象を検知するステップと、
を備えることを特徴とする検知方法。
ｂ）前記位置関係に基づき、前記対象人物に関する行動関連事象を検知するステップと、
を備えることを特徴とする検知方法。
【請求項11】
人物に関する行動関連事象を推定する学習モデルを生産する学習モデル生産方法であって、
ａ）所定の境界と前記人物の複数の特定部位との位置関係を示す情報を入力とし且つ前記人物に関する行動関連事象を出力とする複数の教師データを用いて、学習モデルを機械学習するステップ、
を備えることを特徴とする、学習モデル生産方法。
ａ）所定の境界と前記人物の複数の特定部位との位置関係を示す情報を入力とし且つ前記人物に関する行動関連事象を出力とする複数の教師データを用いて、学習モデルを機械学習するステップ、
を備えることを特徴とする、学習モデル生産方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物に関する行動関連事象を検知する検知装置およびそれに関連する技術に関する。
【背景技術】
【0002】
対象人物（見守り対象者等）に関する行動関連事象（「臥位」、「立位」、「起き上がり」、「境界位」等）を検知する技術が存在する。
【0003】
たとえば、特許文献１には、病院あるいは介護施設等において、人物（入院患者等）の行動を監視し、監視結果に基づいて当該人物の行動を予測する技術が記載されている。当該技術においては、監視対象者の存在するエリアと監視対象者のステータス（「臥位」、「立位」、「起き上がり」、「境界位」等）が検知されるとともに、当該エリアおよびステータスの変化等に基づいて監視対象者のイベントが判断される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１９／０３０８８０号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１の技術では、人物に関する行動関連事象（たとえば、監視対象者のステータス）を正確に検知できないことがある。
【0006】
たとえば、人物がベッドに寝ている場合において、人物がベッドの中央付近で正常に寝ている状態（正常臥位）と、人物がベッドの端部付近で寝ている状態（境界位）とが、正確に区別できないことがある。境界位は、ベッドからの転落の可能性が高い危険な状態であり、このような状態を正確に検知することが望まれる。
【0007】
そこで、この発明は、人物に関する行動関連事象をより正確に検知することが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決すべく、本発明に係る検知装置は、対象人物の行動関連事象を検知する制御部、を備え、前記制御部は、所定の境界と前記対象人物の複数の特定部位との位置関係に基づき、前記対象人物の前記行動関連事象を検知することを特徴とする。
【0009】
前記制御部は、前記所定の境界と人物の前記複数の特定部位との位置関係を示す情報を入力とし且つ前記人物に関する前記行動関連事象を出力とする複数の教師データを用いて機械学習された学習モデルを利用して、前記所定の境界に対する前記対象人物の前記複数の特定部位の位置関係を示す情報に基づき、前記対象人物に関する前記行動関連事象を検知してもよい。
【0010】
前記所定の境界は、ベッドの境界であってもよい。
【0011】
前記制御部は、前記対象人物がベッド端部に腰かけた状態である端座位状態と前記対象人物の上半身がベッド上にて起き上がった状態である上半身起き上がり状態とを区別して前記行動関連事象を検知してもよい。
【0012】
前記制御部は、撮影画像と前記撮影画像内の各画素の深度情報とに基づき、前記撮影画像内の人物候補領域内における前記対象人物の存否を判定してもよい。
【0013】
前記制御部は、対象空間を撮影した調整用画像を用いて設定されるベッド領域の長辺のうち、前記調整用画像内の中央に最も近い長辺を前記所定の境界として自動設定してもよい。
【0014】
前記制御部は、ベッド領域と前記対象人物の前記複数の特定部位との位置関係にも基づき、前記対象人物の前記行動関連事象を検知してもよい。
【0015】
前記制御部は、対象空間を撮影した調整用画像内における所定ポイントを基準に前記ベッド領域を設定してもよい。
【0016】
前記所定ポイントは、ユーザによる前記調整用画像内での位置指定操作に応じて指定されてもよい。
【0017】
上記課題を解決すべく、本発明に係る検知方法は、ａ）所定の境界と対象人物の複数の特定部位との位置関係を取得するステップと、ｂ）前記位置関係に基づき、前記対象人物に関する行動関連事象を検知するステップと、を備えることを特徴とする。
【0018】
上記課題を解決すべく、本発明に係る学習モデル生産方法は、人物に関する行動関連事象を推定する学習モデルを生産する学習モデル生産方法であって、ａ）所定の境界と前記人物の複数の特定部位との位置関係を示す情報を入力とし且つ前記人物に関する行動関連事象を出力とする複数の教師データを用いて、学習モデルを機械学習するステップ、を備えることを特徴とする。
【発明の効果】
【0019】
本発明によれば、人物に関する行動関連事象をより正確に検知することが可能である。
【図面の簡単な説明】
【0020】
【図1】検知システムを示す概略図である。
【図2】検知装置の概略構成を示す機能ブロック図である。
【図3】撮影画像および深度情報に基づいて被写体人物の各特定部位の３次元位置の情報が取得（算出）されることを示す概念図である。
【図4】ベッド付近の垂直断面図である。
【図5】ベッド付近を上方から見た図である。
【図6】機械学習における学習段階の処理を示す概念図である。
【図7】学習済みモデルを用いた推論段階の処理を示す概念図である。
【図8】学習段階の処理を示すフローチャートである。
【図9】推論段階の処理を示すフローチャートである。
【図10】「ベッドからの起き上がり」を示す図である。
【図11】「端座位」を示す図である。
【図12】「ベッドからの片手伸ばし」を示す図である。
【図13】「ベッドからの下半身ずり落ち」を示す図である。
【図14】「ベッドからの全身ずり落ち」を示す図である。
【図15】特定部位と境界面等との位置関係等を示す図である。
【図16】立体物判定処理を示すフローチャートである。
【図17】立体物判定処理を示す概念図である。
【図18】ベッド領域等の設定処理を示すフローチャートである。
【図19】ベッドを含む対象空間を撮影した調整用画像等を示す図である。
【図20】ベッド位置指定操作に応じてベッド上面領域が検出されること等を示す図である。
【図21】ベッド上面領域に基づきベッド境界が自動設定されること等を示す図である。
【図22】対象人物がベッドの脇（周辺）にずり落ちている状況を示す図である。
【図23】対象人物がベッドから離れた場所で横たわっている状況を示す図である。
【図24】対象人物がベッドに正常状態で寝ている状況を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態を図面に基づいて説明する。
【0022】
＜１．第１実施形態＞
＜１－１．システム概要＞
図１は、検知システム１を示す概略図である。図１に示すように、検知システム１は、複数の検知装置１０と複数の端末装置７０，８０とを備える。端末装置７０は、管理装置７０とも称され、端末装置８０は、携帯端末装置８０とも称される。なお、図１では、複数の検知装置１０および複数の端末装置７０，８０のうちの一部の装置１０，７０，８０が図示されている。
＜１－１．システム概要＞
図１は、検知システム１を示す概略図である。図１に示すように、検知システム１は、複数の検知装置１０と複数の端末装置７０，８０とを備える。端末装置７０は、管理装置７０とも称され、端末装置８０は、携帯端末装置８０とも称される。なお、図１では、複数の検知装置１０および複数の端末装置７０，８０のうちの一部の装置１０，７０，８０が図示されている。
【0023】
ここでは、介護施設において検知システム１が利用される態様について主に例示する。なお、これに限定されず、検知システム１は、看護施設（病院等）あるいは一般住宅などで利用されてもよい。
【0024】
図１に示されるように、各検知装置１０と各端末装置７０，８０とは、ネットワーク１０８を介して互いに接続される。ネットワーク１０８は、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。また、ネットワーク１０８に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、管理装置７０はネットワーク１０８に対して有線接続され、各検知装置１０および各携帯端末装置８０はネットワーク１０８に対して無線接続される。あるいは、全ての装置１０，７０，８０がネットワーク１０８に対して無線接続されてもよい。
【0025】
各検知装置１０は、各観察対象人物（ここでは被介護者）の居室９０（たとえば、各被介護者の個室）ごとに配置される。各検知装置１０（および検知システム１）は、観察対象人物（被介護者等）に関する撮影画像等に基づき、当該観察対象人物に関する各種の「行動関連事象」を検知する装置である。「行動関連事象」は、人物の行動（動作）自体および／または人物の行動に関連する状態を含む。「行動関連事象」は、観察対象人物に関して検知されるべき事象（検知処理の対象となる事象）であり、検知対象事象とも称される。なお、検知装置１０および検知システム１は、人物の挙動等を見守るものであることから、見守り装置および見守りシステムなどとも称される。
【0026】
人物の「行動関連事象」としては、たとえば、「通常臥位（正常臥位）」（事象Ｅ０）、「ベッド上での（上半身）起き上がり」（事象Ｅ１）、「境界位」（事象Ｅ２）、「（ベッドからの）ずり落ち」（事象Ｅ４）が例示される。
【0027】
事象Ｅ０「通常臥位（正常臥位）」は、ベッド上で正常に（ベッドの中央付近にて）寝ている状態（図５参照）を示す事象である。なお、図５は、ベッド付近を上方（鉛直上方）から見た図である。また、図５等においては、図示の都合上、人物等が簡略化して示されている。たとえば、連結された複数の楕円で人物が示されている。
【0028】
事象Ｅ１「ベッド上での（上半身）起き上がり」は、ベッド上で上半身が起き上がっている状態（上半身起き上がり状態とも称する）である（図１０参照）。
【0029】
事象Ｅ２「境界位」は、事象Ｅ２ａ「端座位」および事象Ｅ２ｂ「端臥位」等に更に詳細に分類され得る。事象Ｅ２ａ「端座位」は、ベッドの端部付近での座位（ベッドの端部に腰かけている姿勢状態）である（図１１参照）。一方、事象Ｅ２ｂ「端臥位」は、ベッドの端部付近での臥位である。「端臥位」は、たとえば、ベッドの端部の非常に近くで寝ている状態、および／または、ベッド上に寝たまま片手を（ベッド端部から）ベッド外部へとはみ出して伸ばしている状態（「ベッドからの片手伸ばし」）（図１２参照）等を含む。
【0030】
事象Ｅ４「ずり落ち」は、人物がベッドからずり落ちている状態である。事象Ｅ４は、ベッド上からベッドサイドへとずり落ちている部位が上半身と下半身と全身とのいずれであるかに応じて、更に詳細に分類され得る。具体的には、事象Ｅ４は、事象Ｅ４ａ「ベッドからの上半身ずり落ち」、事象Ｅ４ｂ「ベッドからの下半身ずり落ち」（図１３参照）、事象Ｅ４ｃ「ベッドからの全身ずり落ち」等に更に詳細に分類され得る。
【0031】
【0032】
＜１－２．検知装置１０の概要＞
図１に示すように、検知装置１０は、カメラユニット２０と処理ユニット３０とを備える。カメラユニット２０は、居室９０の天井等に設置され、居室９０内の様子を撮影することが可能である。処理ユニット３０は、カメラユニット２０によって撮影された画像（特に動画像）等に基づき、観察対象人物の複数の特定部位（眼、耳、鼻、胸、腰、肩、肘、手首、膝、足首等）の３次元位置（特にその時系列の情報）を取得することが可能である。なお、ここでは、カメラユニット２０と処理ユニット３０とが別々に設けられているが、これに限定されず、カメラユニット２０と処理ユニット３０とが一体化されて設けられてもよい。
図１に示すように、検知装置１０は、カメラユニット２０と処理ユニット３０とを備える。カメラユニット２０は、居室９０の天井等に設置され、居室９０内の様子を撮影することが可能である。処理ユニット３０は、カメラユニット２０によって撮影された画像（特に動画像）等に基づき、観察対象人物の複数の特定部位（眼、耳、鼻、胸、腰、肩、肘、手首、膝、足首等）の３次元位置（特にその時系列の情報）を取得することが可能である。なお、ここでは、カメラユニット２０と処理ユニット３０とが別々に設けられているが、これに限定されず、カメラユニット２０と処理ユニット３０とが一体化されて設けられてもよい。
【0033】
カメラユニット２０は、３次元カメラである。カメラユニット２０は、深度情報付き撮影画像を取得する。具体的には、カメラユニット２０は、被写体物体（人物、壁、床９１、ベッド９２、等）の撮影画像（赤外線画像等）１１０（図３参照）を撮像するとともに、撮影画像１１０内の各画素の深度情報（奥行き距離情報）１２０を取得する。撮影画像内の各画素の深度情報１２０は、撮影画像１１０内の各画素に対応する被写体物体（人物、壁、床、ベッド等）までの距離（カメラユニット２０からの距離）の情報であって当該撮影画像１１０に垂直な方向における距離の情報である。換言すれば、当該深度情報は、撮影画像平面の法線方向における距離情報（奥行き距離情報）である。
【0034】
たとえば、カメラユニット２０はセンサ部２３（図２）を備え、当該センサ部２３は赤外線カメラ（赤外線画像センサ等）と赤外線プロジェクタとを備える。赤外線カメラは、被写体物体に関する撮影画像１１０（たとえば赤外線画像）を取得する。また、赤外線プロジェクタは、赤外線による所定のドットパターンを対象物体に向けて照射し、赤外線カメラは、対象物体に照射されたドットパターンを撮像した赤外線画像をも取得する。撮像されたドットパターンの幾何学的な形状が対象物体までの距離によって変化すること等を利用して、対象物体までの距離（奥行き距離情報）１２０が算出（取得）される。当該奥行き距離情報の算出処理は、カメラユニット２０内に組み込まれたコントローラ２１等によって実行される。コントローラ２１は、コントローラ３１（後述）等と同様のハードウエア構成を備える。なお、センサ部２３において、可視光画像（カラー画像等）を撮像するＲＧＢ画像センサ等が設けられ、カラー画像が撮影されてもよい。
【0035】
このようにして、カメラユニット２０は、被写体人物の撮影画像（撮影画像情報）１１０（図３参照）と当該撮影画像内の各画素の深度情報（各画素に対応する物体までの距離の情報（奥行き距離情報））１２０とを取得する。
【0036】
図３は、撮影画像１１０および深度情報１２０に基づいて被写体人物の各特定部位の３次元位置の情報が取得（算出）されることを示す概念図である。なお、図３では、撮影画像１１０および深度情報１２０等はそれぞれ模式的に示されている。たとえば、実際の撮影画像１１０においては人物は撮像されたままの状態で写っているのに対して、図３の撮影画像１１０においては人物は楕円を連結した図形で（簡略化して）表現されている。他の深度情報１２０においても同様である。また、実際の深度情報１２０は、各画素に対応する物体までの距離の情報を有しているのに対して、図３の深度情報１２０では、各画素に対応する物体までの距離が各画素の濃度に換算して表現されている。詳細には、距離の大小が濃度の大小（濃淡）で表現されている。
【0037】
まず、処理ユニット３０（特にコントローラ３１）は、撮影画像１１０を解析し、撮影画像１１０のテクスチャ情報等に基づき、被写体人物の骨格情報（骨格モデル情報）１４０（図３の左下部分参照）を取得する。当該骨格情報１４０は、被写体人物の複数の特定部位（詳細には、胸、鼻、肩、肘、手首、腰、膝、足首、目、耳等）（主に関節）と当該複数の特定部位を接続する骨格線（リンク）とを用いて、当該人物の骨格を（簡略化して）表現する情報である。図３の骨格情報１４０では、各特定部位は「点」で示され、各骨格線（接続線）は「線分」で示されている。撮影画像に基づく骨格情報１４０は、複数の特定部位（ここではＢ０～Ｂ１７）に関する情報（各部位の画像内での平面位置情報等）を有している。
【0038】
また、処理ユニット３０は、被写体人物の骨格情報１４０に基づき、被写体人物の各特定部位（たとえば、それぞれの代表位置）の撮影画像１１０内での平面位置情報（カメラ座標系における撮影画像内の２次元位置情報）を取得する。
【0039】
さらに、処理ユニット３０は、各特定部位に対応する（撮影画像１１０内での）平面位置における１または複数の画素の深度情報１２０に基づき、カメラユニット２０から当該各特定部位までの距離情報（カメラ座標系における奥行き位置情報）をも取得する。当該距離情報は、撮影画像平面の法線方向（カメラ視線方向）における奥行き情報である、とも表現される。
【0040】
このようにして、処理ユニット３０は、被写体人物の各特定部位の撮影画像内での平面位置に関する情報（撮影画像内２次元位置情報）と当該被写体人物における各特定部位までの距離情報（奥行き情報）とを取得する。
【0041】
そして、処理ユニット３０は、被写体人物の各特定部位の撮影画像内での平面位置に関する情報と当該各特定部位までの距離情報（奥行き情報）とに基づいて、各特定部位の３次元位置情報１５０（居室空間内での３次元位置情報）を座標変換等によって取得する。具体的には、処理ユニット３０は、カメラ座標系Σ１での位置情報（撮影画像内での平面位置および撮影画像の法線方向における奥行き位置）を、居室９０（より詳細にはベッド９２）に対して固定された座標系Σ２での３次元位置情報１５０へと変換する。カメラ座標系Σ１は、たとえば、撮影画像平面に平行な直交２軸と当該撮影画像平面に垂直な方向に伸びる１軸との直交３軸を基準とする３次元直交座標系である。また、変換後の座標系Σ２は、たとえば、水平平面に平行な直交２軸と鉛直方向（高さ方向）に伸びる１軸との直交３軸を基準とする３次元直交座標系である。なお、この検知システム１（コントローラ３１等）においては、カメラユニット２０の実空間内における位置が予め取得され、当該カメラユニット２０内の各カメラの位置に基づく調整（カメラ位置等に関するキャリブレーション）が予め行われている。換言すれば、２つの座標系Σ１，Σ２の相互間の位置関係が予め調整されている。
【0042】
また、後述するように、変換後の座標系Σ２は、たとえば、ベッド上面位置を鉛直方向（Ｚ方向）における基準位置（Ｚ＝０）とし且つベッド境界面２１０（図４等参照）を一の水平方向（Ｘ方向）における基準位置（Ｘ＝０）とする座標系である。
【0043】
このようにして、処理ユニット３０は、被写体人物の各特定部位の３次元位置の情報を取得（算出）する。ここでは撮影画像内の被写体人物は、原則として観察対象人物であると見做される。なお、カメラ視野内に複数の被写体人物が存在する場合には、全ての被写体人物が観察対象人物として特定されればよい。ただし、これに限定されず、身長等の情報を用いて（あるいは顔認識技術等を用いて）複数の被写体人物の中から所望の観察対象事物が特定されてもよい。
【0044】
なお、ここでは、処理ユニット３０のコントローラ３１が骨格情報１４０および各特定部位の３次元位置情報１５０等を生成しているが、これに限定されない。
【0045】
たとえば、カメラユニット２０のコントローラ２１が骨格情報１４０を生成してもよい。また、カメラユニット２０のコントローラ２１が、各特定部位の３次元位置情報１５０を生成してもよい。詳細には、コントローラ２１が、被写体人物の各特定部位の撮影画像内での位置に関する情報と各特定部位までの距離情報（奥行き情報）とを取得し、各特定部位の３次元位置情報１５０を座標変換等によって取得してもよい。そして、処理ユニット３０のコントローラ３１は、各特定部位の３次元位置情報１５０をカメラユニット２０から取得するようにしてもよい。あるいは、カメラユニット２０および処理ユニット３０の両コントローラ２１，３１が協働して、これらの各種の処理を実行してもよい。換言すれば、骨格情報１４０および３次元位置情報１５０は、両コントローラ２１，３１の双方または一方により生成され得る。
【0046】
また、ここでは、ドットパターンの照射に基づき各画素の深度情報を取得するパターン照射方式による３次元カメラが例示されるが、これに限定されない。３次元カメラは、ステレオ視方式のカメラ、あるいは、ＴＯＦ（Time of Flight）方式のカメラ等であってもよい。任意の方式の３次元カメラによって、観察対象人物に関する撮影画像と当該撮影画像内の被写体物体までの距離の情報である深度情報（各画素の深度情報等）とが取得されればよい。
【0047】
また、検知装置１０は、撮影画像等に関する画像処理を実行する装置であることから、画像処理装置であるとも表現される。また、検知システム１は、画像処理システムなどとも表現される。
【0048】
＜１－３．検知装置１０の詳細構成＞
図２は、検知装置１０の概略構成を示す機能ブロック図である。
図２は、検知装置１０の概略構成を示す機能ブロック図である。
【0049】
検知装置１０は、図２の機能ブロック図に示すように、カメラユニット２０と処理ユニット３０とを備える。
【0050】
上述のように、カメラユニット２０は、赤外線カメラおよび赤外線プロジェクタ等を備える。
【0051】
また、処理ユニット３０は、コントローラ（制御部とも称する）３１と記憶部３２と通信部３４と操作部３５とを備える。
【0052】
コントローラ３１は、処理ユニット３０に内蔵され、検知装置１０を制御する制御装置である。
【0053】
コントローラ３１は、１又は複数のハードウェアプロセッサ（例えば、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit））等を備えるコンピュータシステムとして構成される。コントローラ３１は、ＣＰＵ等において、記憶部（ＲＯＭおよび／またはハードディスクなどの不揮発性記憶部）３２内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて検知装置１０にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて検知装置１０にインストールされるようにしてもよい。
【0054】
コントローラ３１は、被写体人物（観察対象人物等）に関する撮影画像情報をカメラユニット２０から取得するとともに、当該人物の各特定部位に関して当該各特定部位までの距離情報（奥行き情報）をカメラユニット２０から取得する。そして、コントローラ３１は、撮影画像情報（特に撮影画像内における被写体の各特定部位の平面位置情報）と距離情報（被写体の奥行き情報）とに基づいて、各特定部位の３次元位置情報を取得する。
【0055】
また、コントローラ３１は、所定の境界等と対象人物の複数の特定部位との位置関係（後述）に基づき、対象人物の行動関連事象を検知する。所定の境界としては、ベッド９２の境界（詳細には、ベッド上の空間２１１とベッド側方外部空間２１２との境界面２１０（図１および図４等参照））等が例示される。
【0056】
ここでは、コントローラ３１は、学習モデル４１０を用いて、対象人物の行動関連事象を検知する。
【0057】
学習モデル４１０としては、たとえば、複数の層で構成されるニューラルネットワークモデルが用いられる。そして、所定の機械学習手法によって、ニューラルネットワークモデルにおける複数の層（入力層、（１又は複数の）中間層、出力層）の層間における重み付け係数等（学習パラメータ）が調整される。機械学習によって学習された後の学習モデル４１０は、学習済みモデル４２０とも称される。具体的には、学習モデル４１０（学習器）の学習パラメータが所定の機械学習手法を用いて調整され、学習済みの学習モデル４１０（学習済みモデル４２０）が生成される（図６参照）。
【0058】
そのため、まず、コントローラ３１は、機械学習における学習段階（図６参照）の処理を実行する。具体的には、コントローラ３１は、学習モデル４１０を複数の教師データを用いて予め機械学習しておく。各教師データとしては、所定の境界等と人物の複数の特定部位との位置関係を示す情報を入力とし且つ人物に関する行動関連事象を出力とする教師データが用いられる。そして、所定の機械学習手法によって、ニューラルネットワークモデルにおける複数の層（入力層、（１又は複数の）中間層、出力層）の層間における重み付け係数（学習パラメータ）等が調整される。これにより、学習済みの学習モデル４１０（学習済みモデル４２０）が生成（生産）される。
【0059】
その後、コントローラ３１は、学習済みの学習モデル４１０（４２０）を用いた推論段階（図７参照）の処理を実行する。具体的には、コントローラ３１は、当該複数の教師データを用いて機械学習された学習モデル４１０（学習済みモデル４２０）を利用して、所定の境界等に対する対象人物の複数の特定部位の位置関係を示す情報に基づき、対象人物（検知対象人物ないし判定対象人物とも称する）に関する行動関連事象を検知する。より具体的には、コントローラ３１は、所定の境界等に対する対象人物の複数の特定部位の位置関係を学習済みモデル４２０に入力し、学習済みモデル４２０からの出力（当該対象人物の行動関連事象の検知結果）を得る。なお、所定の境界等と対象人物の複数の特定部位との位置関係等については、後に詳述する。
【0060】
ここでは、検知装置１０（コントローラ３１）は、機械学習における学習段階の処理と推論段階の処理との双方を行うものとする。ただし、これに限定されず、たとえば、学習段階の処理と推論段階の処理とは別の装置で行われてもよい。
【0061】
また、コントローラ３１は、通信部３４等と協働して、検知結果を端末装置７０，８０に向けて送信し、当該端末装置７０，８０は、当該検知結果を出力（表示出力および／または音声出力等）する。
【0062】
記憶部３２は、ハードディスクドライブ（ＨＤＤ）あるいはソリッドステートドライブ（ＳＳＤ）等の記憶装置で構成される。記憶部３２は、上述のプログラムおよび各種データ等を格納（記憶）する。たとえば、記憶部３２は、観察対象人物に関する複数の特定部位の３次元位置の時系列データを格納（記憶）するとともに、学習モデル４１０の学習および利用等に用いる各種データおよびプログラム等を記憶する。
【0063】
通信部３４は、ネットワーク１０８を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、検知装置１０は、所望の相手先（たとえば、端末装置７０，８０）との間で各種のデータを授受することが可能である。
【0064】
操作部３５は、検知装置１０に対する操作入力を受け付ける操作入力部３５ａと、各種情報の表示出力を行う表示部３５ｂとを備えている。
【0065】
＜１－４．学習モデル４１０の学習段階の処理＞
まず、学習段階の処理について説明する。
まず、学習段階の処理について説明する。
【0066】
【0067】
また、図８は、学習済みモデルの生成方法を示す図でもある。本願においては、学習済みモデル４２０を生成することは、学習済みモデル４２０を生産（製造）することを意味するとともに、「学習済みモデルの生成方法」は「学習済みモデルの生産方法」を意味する。
【0068】
まずステップＳ１１において、コントローラ３１は、所定の境界等と対象人物の複数の特定部位（たとえばＢ０～Ｂ１７）との位置関係を示す情報３１０を取得する。
【0069】
具体的には、まず、所定の境界（たとえば、水平方向に隣接する２つの隣接空間２１１，２１２を仮想的に区切る境界面２１０）に対する複数の特定部位Ｂ０～Ｂ１７の相対位置情報が当該情報３１０として取得される。ここでは、図４および図５に示されるように、境界面２１０は、ベッド９２上の空間２１１とベッド９２の側方外部空間２１２との境界面である。換言すれば、境界面２１０は、ベッド９２の一側面９２ｂを含む鉛直面である。なお、図４は、ベッド９２付近の垂直断面図（鉛直方向とベッド９２の左右方向との双方に拡がる鉛直断面でベッド９２等を切断した断面図）であり、ベッド９２上で臥位を有する人物の足先側から頭側を見た図である。また、図５は、ベッド９２付近を上方から見た図（上面図）である。
【0070】
境界面２１０と各特定部位（Ｂ０～Ｂ１７）との位置関係は、境界面２１０に対する符号付き法線方向距離Ｘ（境界面２１０に対する符号付き最短距離（差分位置）Ｘ）で表現される。符号は、境界面２１０よりもベッド側（内側（図４における右側））の水平位置において正（＋）であり、境界面２１０よりもベッド外側（図４における左側）の水平位置において負（－）である。なお、境界面２１０に対する符号付き法線方向距離Ｘは、（各特定部位の）境界面２１０に対するＸ方向における相対位置、などとも表現される。
【0071】
また、ステップＳ１１において、コントローラ３１は、所定の基準水平面２３０（鉛直方向（高さ方向）に隣接する２つの隣接空間２３１，２３２を仮想的に区切る水平面２３０）と複数の特定部位Ｂ０～Ｂ１７との相対位置情報をも情報３１０として取得する。ここでは、基準水平面２３０は、水平方向において２次元状に伸延する水平面であって、ベッドの上面９２ａを含む平面２３０（上面およびその延長平面）である。基準水平面２３０は、ベッドよりも上方の空間（上方空間）２３１とベッドよりも下方の空間（下方空間）２３２とを仮想的に区切る水平面である。
【0072】
基準水平面２３０と各特定部位（Ｂ０～Ｂ１７）との位置関係は、基準水平面２３０に対する符号付き法線方向距離Ｚ（基準水平面２３０に対する符号付き最短距離（差分位置）Ｚ）で表現される。符号は、基準水平面２３０よりも上方（上側）の鉛直方向（高さ方向）位置において正（＋）であり、基準水平面２３０よりも下方（下側）の鉛直方向（高さ方向）位置において負（－）である。なお、基準水平面２３０に対する符号付き法線方向距離Ｚは、（各特定部位の）基準水平面２３０に対するＺ方向における相対位置である、とも表現される。
【0073】
上記のような位置関係は、次のような座標系Σ２を採用することによって容易に表現される。
【0074】
当該座標系Σ２は、たとえば、ベッド９２の上面９２ａと一のベッド９２の側面９２ｂ（図４参照）との交線２１５上の一点（ここでは、ベッド９２内での人の足側の端位置）を原点Ｏ２（図４および図５参照）とするＸＹＺ直交座標系である。座標系Σ２においては、鉛直方向がＺ方向であり、ベッドの左右方向（横方向）がＸ方向であり、ベッドの縦方向がＹ方向である。また、当該座標系Σ２は、ベッド上面（基準水平面２３０）のＺ方向位置を鉛直方向（Ｚ方向）における基準位置（Ｚ＝０）とし且つベッド境界面２１０を一の水平方向（ベッドの左右方向（Ｘ方向））における基準位置（Ｘ＝０）とする座標系である。図４および図５においては、ＸＹＺ座標系における座標軸が適宜示されている。図４は、Ｘ－Ｚ平面を示す図であり、図５は、Ｘ－Ｙ平面を示す図である、とも表現される。また、境界面２１０は、Ｘ＝０の平面である、とも表現され、基準水平面２３０は、Ｚ＝０の平面である、とも表現される。
【0075】
そして、複数（ここでは１８個）の特定部位Ｂｉ（ｉ＝０～１７）のＸ座標値Ｘｉ、Ｚ座標値Ｚｉが、所定の境界等と対象人物の複数の特定部位（たとえばＢ０～Ｂ１７）との位置関係を示す情報３１０として取得される。詳細には、特定部位Ｂ０の値Ｘ０および値Ｚ０、特定部位Ｂ１の値Ｘ１および値Ｚ１、特定部位Ｂ２の値Ｘ２および値Ｚ２、特定部位Ｂ３の値Ｘ３および値Ｚ３、...、ならびに特定部位Ｂ１７の値Ｘ１７および値Ｚ１７の合計３６個の値が情報３１０として取得される。なお、ここでは、各特定部位ＢｉのＹ座標値は、情報３１０として用いられない。
【0076】
このように、複数の特定部位Ｂｉの相対位置は、ベッドの境界面２１０（具体的には、ベッド上の空間２１１とベッド側方外部空間２１２との境界面２１０（Ｘ＝０の平面））を基準として、算出される。また、複数の特定部位Ｂｉの相対位置は、基準水平面２３０（具体的には、ベッドの上面９２ａを含む水平面（Ｚ＝０の平面））をも基準として、算出される。すなわち、複数の特定部位Ｂｉの相対位置は、境界面２１０と基準水平面２３０とに対する相対位置として求められる。換言すれば、複数の特定部位Ｂｉの相対位置は、境界面２１０（および基準水平面２３０）に含まれる基準軸（詳細には、境界面２１０と基準水平面２３０との交線２１５（Ｙ軸））に対する相対位置として求められる。なお、複数の特定部位Ｂｉの相対位置は、境界面２１０と基準水平面２３０との双方に直交する平面（投影平面）（Ｙ＝０の平面等）に対して各特定部位Ｂｉの３次元位置を投影した２次元位置である、とも表現される。また、交線２１５は、境界面２１０に含まれ且つ基準水平面２３０に含まれる線（境界線）であるとも表現される。
【0077】
つぎに、ステップＳ１２において、コントローラ３１は、所定の境界等と人物の複数の特定部位との位置関係を示す情報３１０に対して、対応する「行動関連事象」（たとえば、「正常臥位」あるいは「端座位」等）をラベル(正解データ)として付与する。より詳細には、たとえば、上述のような事象Ｅ０，Ｅ１，Ｅ２ａ，Ｅ２ｂ，Ｅ４ａ，Ｅ４ｂ，Ｅ４ｃのうち、対応する「行動関連事象」が特定されてラベルとして付与される。
【0078】
当該対応付け（対応する行動関連事象の特定処理）は、オペレータ（操作者）等により行われればよい。詳細には、情報３１０に対応する「行動関連事象」をオペレータが判断し、判断結果に係る「行動関連事象」がオペレータの操作入力に応じて検知装置１０に付与される。すなわち、コントローラ３１は、当該操作入力に応じて、情報３１０に対してラベル(正解データ)を付与する。このようにして、当該情報３１０を入力とし且つ当該行動関連事象を出力とする教師データが生成される。
【0079】
このようなステップＳ１１，Ｓ１２を繰り返し実行することによって、複数の教師データが生成される。なお、図８では繰り返し部分の図示を省略している。
【0080】
次にステップＳ１３においては、これらの複数の教師データを用いて、学習モデル４１０に対する機械学習が行われる。所定の境界等と人物の複数の特定部位との位置関係を示す情報３１０を入力すると、人物に関する行動関連事象を出力するように、学習モデル４１０が機械学習される。これにより、人物に関する行動関連事象を推定する学習済みモデル４２０が生成（生産）される（ステップＳ１４）。
【0081】
ここにおいて、たとえば、事象Ｅ０「通常臥位」（図５参照）においては、複数の特定部位Ｂｉ（ｉ＝０～１７）のＸ座標値Ｘｉ、Ｚ座標値Ｚｉは、いずれも正の値を有する。なお、図５は、事象Ｅ０「通常臥位」等を示す図であり、通常臥位状態を有する人物を上方（鉛直上方）から見た図（上面図）である。
【0082】
事象Ｅ０においては、各特定部位Ｂｉの値Ｘｉ，Ｚｉは、いずれも正（プラス）である。また、人物はベッド上面９２ａ（図４参照）の近傍（図４にて二点鎖線で示す楕円領域内部等）に存在するので、値Ｚｉは比較的小さい（たとえば、「１００」ｍｍ（ミリメートル））。上記のような機械学習によって、このような特性を有する情報３１０の入力に対して事象Ｅ０「通常臥位」を行動関連事象として出力するような学習済みモデル４２０が生成される。
【0083】
一方、人物の姿勢変動によって事象Ｅ０「通常臥位」から事象Ｅ１「ベッド上での起き上がり」（図１０参照）へと遷移した状況を想定する。この場合、たとえば、特定部位Ｂ１（「胸」）が図４の位置Ｐ１に移動する。その結果、特定部位Ｂ１に関して、（値Ｘ１はほぼ同様であるのに対して）値Ｚ１は比較的大きな値（たとえば、「４００」ｍｍ）へと変化する。他の特定部位Ｂ０，Ｂ２，Ｂ５，Ｂ１４～Ｂ１７に関しても同様に、（値Ｘｉはほぼ同様であるのに対して）値Ｚｉはそれぞれ比較的大きな値へと変化する。上記のような機械学習によって、このような特性を有する情報３１０の入力に対して事象Ｅ１「ベッド上での起き上がり」を行動関連事象として出力するような学習済みモデル４２０が生成される。
【0084】
その他の各行動関連事象についても、当該各行動関連事象の発生時点での情報３１０がそれぞれ特有の性質を有する。
【0085】
たとえば、事象Ｅ１「ベッド上での起き上がり」から事象Ｅ２ａ「端座位」（図１１参照）へと遷移した状況を想定する。この場合、特定部位Ｂ１０（右足首），Ｂ１３（左足首）が図４の点Ｐ３の位置付近に移動する。その結果、特定部位Ｂ１０，Ｂ１３の値Ｘｉおよび値Ｚｉはいずれも負（－）の値に変化する。また、特定部位Ｂ９（右膝），Ｂ１２（左膝）ならびに、上半身の特定部位Ｂ０～Ｂ７，Ｂ１４～Ｂ１７等に関する値Ｘｉ（の絶対値）はそれぞれ比較的小さな値へと変化する。特に、上半身の左右の特定部位（左肩および右肩、ならびに左肘および右肘等）に関する値Ｘｉは、左右ともに（左右同程度に）比較的小さな値になる。
【0086】
また、人物がペットボトル等を取ろうとしてベッド端から外側に手を伸ばして、事象Ｅ０（図５）から事象Ｅ２ｂ（図１２参照）へと遷移した状況を想定する。この場合、特定部位Ｂ６（左肘），Ｂ７（左手首）（あるいは特定部位Ｂ３（右肘），Ｂ４（右手首））が図４の点Ｐ２の位置付近に移動する。その結果、特定部位Ｂ６，Ｂ７（あるいは特定部位Ｂ３，Ｂ４）の値Ｚｉはほぼ同様であるものの、当該特定部位Ｂ６，Ｂ７等の値Ｘｉが負（－）の値に変化する。また、上半身の他の特定部位Ｂ５（左肩）等に関しては、（値Ｚｉはほぼ同様であるのに対して）値Ｘｉの絶対値はそれぞれ比較的小さな値へと変化する。
【0087】
人物がベッドの端部付近に移動して寝ている状態（境界位）も事象Ｅ２ｂの一つである。この場合には、全部位のうち、肘、手首、膝、足首などの一部の部位がベッド端部付近に移動する。その結果、特定部位Ｂ０～Ｂ７，Ｂ１４～Ｂ１７等のうちの少なくとも一部（たとえば、右側の複数の部位、および／または左側の複数の部位）の値Ｘｉ（の絶対値）がそれぞれ一定程度以上小さな値へと変化する。
【0088】
以上のように、各事象の変化に応じて座標値が変動する。換言すれば、各事象は、複数の特定部位の座標値Ｘｉ，Ｚｉの組合せに関して、それぞれ固有の特徴を有する。そして、このような固有の特徴が学習モデル４１０によって学習される。具体的には、複数の特定部位の座標値Ｘｉ，Ｚｉと行動関連事象との対応関係が学習モデル４１０によって適切に学習される。すなわち、上述のような機械学習によれば、各座標値で示される特性を有する情報３１０の入力に対して、対応する行動関連事象を出力するような学習済みモデル４２０が、生成される。
【0089】
＜１－５．学習済みモデル４２０を利用した推論段階の処理＞
つぎに、学習済みモデル４２０を利用した推論段階の処理（行動関連事象の推定段階）について説明する。
つぎに、学習済みモデル４２０を利用した推論段階の処理（行動関連事象の推定段階）について説明する。
【0090】
図９は、当該推論段階の処理を示すフローチャートである。図９に示される処理は、コントローラ３１等によって実行される。当該推論段階の処理において、検知装置１０（コントローラ３１）は、学習済みモデル４２０を利用して、所定の境界（境界面２１０）と対象人物の複数の特定部位Ｂ０～Ｂ１７との位置関係を示す情報３１０に基づき、対象人物の行動関連事象を検知する。
【0091】
そのため、まず、ステップＳ３１においては、判定対象人物に関して、ステップＳ１１（図８）の処理と同様の処理が実行される。これにより、判定対象人物の複数の特定部位Ｂｉと所定の境界等との位置関係を示す情報３１０が取得される。たとえば、当該情報３１０は、判定対象人物の複数の特定部位Ｂｉとベッド境界面２１０との位置関係を含むとともに、判定対象人物の複数の特定部位Ｂｉと基準水平面２３０との位置関係をも含む情報である。より詳細には、特定部位Ｂｉ（ｉ＝０～１７）のＸ座標値Ｘｉ、Ｚ座標値Ｚｉが、当該情報３１０として取得される。
【0092】
次のステップＳ３２においては、コントローラ３１は、当該情報３１０を学習モデル４１０（学習済みモデル４２０）に入力して、当該学習モデル４１０による出力（行動関連事象）を推定結果（推論結果）として取得する。具体的には、上述のような事象Ｅ０，Ｅ１，Ｅ２ａ，Ｅ２ｂ，Ｅ４ａ，Ｅ４ｂ，Ｅ４ｃのいずれかが学習モデル４１０から出力され、推定結果として取得される。
【0093】
ステップＳ３３においては、推定結果が出力される。具体的には、コントローラ３１は、表示部３５ｂにて、推定された行動関連事象の名称（「通常臥位」、「端座位」等）を表示出力する。さらに、コントローラ３１は、端末装置７０，８０に対して推定結果を通信等により伝達し、端末装置７０，８０の各表示部等に表示させる。特に、事象Ｅ０以外の事象が発生した場合には、端末装置７０，８０において、当該事象の発生が警告表示あるいは警告音とともに端末利用者に報知されることが好ましい。
【0094】
＜１－６．実施形態の効果等＞
以上のような処理によれば、所定の境界等と人物の複数の特定部位Ｂｉとの位置関係を示す情報３１０を入力とし且つ人物に関する行動関連事象を出力とする教師データを用いて、学習モデル４１０が機械学習される。したがって、所定の境界等と人物の複数の特定部位Ｂｉとの位置関係が良好に反映された学習モデル４１０が生成される。
以上のような処理によれば、所定の境界等と人物の複数の特定部位Ｂｉとの位置関係を示す情報３１０を入力とし且つ人物に関する行動関連事象を出力とする教師データを用いて、学習モデル４１０が機械学習される。したがって、所定の境界等と人物の複数の特定部位Ｂｉとの位置関係が良好に反映された学習モデル４１０が生成される。
【0095】
特に、複数の特定部位Ｂｉの３次元位置情報（座標系Σ１における３次元位置情報等）がそのまま入力として利用されるのではなく、境界面２１０との相対的位置関係を示す情報（相対位置情報）に変換された値（Ｘｉ）が学習モデル４１０に対する入力として利用されている。これによれば、各特定部位Ｂｉと境界面２１０との位置関係（各特定部位と境界面２１０との距離、および各特定部位Ｂｉが境界面２１０の内側と境界面２１０の外側とのいずれに存在するか）を学習済みモデル４２０に適切に反映させることが可能である。
【0096】
同様に、基準水平面２３０（ベッド上面９２ａ等）との相対的位置関係を示す情報（相対位置情報）に変換された値（Ｚｉ）が学習モデル４１０に対する入力として利用されている。これによれば、各特定部位Ｂｉと基準水平面２３０との位置関係（各特定部位Ｂｉと基準水平面２３０との距離、および各特定部位Ｂｉが基準水平面２３０の上側と下側とのいずれに存在するか）を学習済みモデル４２０に適切に反映させることが可能である。
【0097】
また特に、３次元情報のうち、Ｙ方向の情報（Ｙｉ）を用いず、他の２つの次元に関する情報のみ（Ｘｉ，Ｚｉ）を用いることによれば、情報量を適切に削減し、効率的な学習を実現することが可能である。
【0098】
このような機械学習によって、学習モデル４１０における重み付けパラメータ等が適切に調整される。これにより、所定の境界等と複数の特定部位Ｂｉとの位置関係を示す新たな（未知の）入力に対しても、適切な行動関連事象を出力するように学習された学習済みモデル４２０が生成される。
【0099】
また、上記実施形態における推論段階では、検知装置１０（コントローラ３１）は、所定の境界等と対象人物の複数の特定部位Ｂｉとの位置関係に基づき、対象人物の行動関連事象を検知する。具体的には、上述のような学習済みモデル４２０を利用して、境界面２１０に対する当該複数の特定部位Ｂｉの位置関係を示す情報３１０に基づき、対象人物に関する行動関連事象が検知される。すなわち、適切な推定結果を出力するように学習された学習済みモデル４２０を用いて、対象人物に関する行動関連事象が検知される。したがって、対象人物に関する行動関連事象をより正確に検知することが可能である。
【0100】
特に、各特定部位と境界面２１０との位置関係（各特定部位と境界面２１０との距離、および各特定部位が境界面の内側と境界面の外側とのいずれに存在するか）等を適切に反映した推定結果（行動関連情報）を得ることが可能である。
【0101】
それ故、たとえば、対象人物がベッドの中央付近で正常に寝ている状態（正常臥位）と、対象人物がベッドの端部付近で寝ている状態（境界位）とを正確に区別して、両状態を検知することが可能である。あるいは、対象人物がベッド端部に腰かけた状態（「端座位」状態）と対象人物の上半身がベッド上にて起き上がった状態（「ベッド上での起き上がり」状態）とを正確に区別して、両状態（行動関連事象）を検知することが可能である。換言すれば、境界面２１０との位置関係を重要な識別要素とする行動関連事象を正確に検知することが可能である。
【0102】
また、上記実施形態における推論段階では、特に、基準水平面２３０と対象人物の複数の特定部位（Ｂ０～Ｂ１７）との位置関係にも基づき、対象人物の行動関連事象が検知される。具体的には、上述のような学習済みモデル４２０を利用して、基準水平面２３０に対する複数の特定部位Ｂｉの位置関係をも示す情報３１０に基づき、対象人物に関する行動関連事象が検知される。したがって、対象人物に関する行動関連事象をより正確に検知することが可能である。詳細には、境界面２１０との位置関係のみならず基準水平面２３０との位置関係をも重要な識別要素とする行動関連事象を正確に検知することが可能である。たとえば、事象Ｅ２ａ「端座位」（図１１参照）と事象Ｅ４ｂ「ベッドからの下半身ずり落ち」（図１３参照）との両事象を正確に区別して当該両事象を検知することが可能である。
【0103】
なお、上記実施形態における各段階（特に推定段階）においては、複数の特定部位のうち、必ずしも全ての特定部位に関する相対位置情報等が学習モデル４１０に対して入力されることを要しない。具体的には、複数の特定部位Ｂｉのうち、特定の行動関連事象に対応する重み付け（学習モデル４１０における重み付け）が大きな特定部位Ｂｉのみに関して、境界面２１０等との相対位置関係が取得されてもよい。この場合でも、当該特定の行動関連事象を好適に判定することが可能である。たとえば、「ベッド上での起き上がり」（図１０参照）を判定する際には、特に上半身の特定部位Ｂｉの境界面２１０等との相対位置関係が重要な要素（重み付けが大きな要素）である。したがって、上半身の幾つかの主要な特定部位の位置情報が得られている場合には、下半身の特定部位（たとえば、「膝」および「足首」等）の位置情報が得られないときであっても、「ベッド上での起き上がり」（図１０参照）を適切に判定することが可能である。
【0104】
また、類似する２種類の行動関連事象を互いに区別して認識（検知）する際には、複数の特定部位Ｂｉのうち、当該２種類の行動関連事象に対応する重み付けが大きな一部の特定部位の位置情報が取得されていれば、好適な認識結果を得ることが可能である。たとえば、「ベッド上での起き上がり」（図１０参照）と「端座位」（図１１参照）とを互いに区別して検知するためには、特に上半身の特定部位Ｂｉの境界面２１０等との相対位置関係が重要な要素（重み付けが大きな要素）である。より具体的には、「端座位」では、左右双方の「肩」、「肘」等の特定部位と境界面２１０との相対位置が近くなる。「ベッド上での起き上がり」では、左右のうちの一方（たとえば右）の「肩」、「肘」等の特定部位（右肩、右肘等）と境界面２１０との距離Ｘｉは小さく、他方（たとえば左）の「肩」、「肘」等の特定部位（左肩、左肘等）と境界面２１０との距離Ｘｉは大きい。このような上半身の特定部位と境界面２１０との相対位置に関する左右差等が（実質的に）学習されることによって、当該２種類の行動関連事象が互いに区別して適切に検知され得る。
【0105】
＜１－７．変形例等＞
なお、上記実施形態においては、ＸＹＺ直交座標系における各特定部位Ｂｉの座標値Ｘｉ，Ｚｉが用いられているが、これに限定されない。
なお、上記実施形態においては、ＸＹＺ直交座標系における各特定部位Ｂｉの座標値Ｘｉ，Ｚｉが用いられているが、これに限定されない。
【0106】
たとえば、上記ＸＹＺ直交座標系のＹ軸を基準軸（回転中心軸）とする円筒座標系（Ｒ，θ，Ｙ）における各特定部位Ｂｉの座標値Ｒｉ，θｉが用いられてもよい（図１５参照）。すなわち、座標値Ｘｉ，Ｚｉに代えて座標値θｉ，Ｒｉが用いられてもよい。ここで、座標値θｉは、図４のＸＺ平面内における原点Ｏ２周りの回転角度θｉである。詳細には、回転角度θｉは、鉛直方向上向き（＋Ｚ方向）を基準（θｉ＝０）にして時計回りの回転角度を正（＋）の回転角度とする（反時計回りの回転角度を負（－）の回転角度とする）ように定められればよい。また、座標値Ｒｉは、基準軸（交線２１５）からの距離（差分距離）である。
【0107】
このように、境界面２１０と基準水平面２３０との交線２１５（Ｙ軸）に対する各特定部位の差分位置情報Ｒｉと当該交線に対する各特定部位の角度情報θｉとが、境界面２１０と基準水平面２３０とに対する各特定部位の相対位置情報として用いられてもよい。
【0108】
また、上記実施形態では、各特定部位Ｂｉの値Ｘｉと値Ｚｉとの双方が学習モデル４１０に対する入力として利用されているが、これに限定されない。たとえば、値Ｘｉのみが学習モデル４１０に対する入力として利用されてもよい。これによれば、少なくとも境界面２１０との相対位置関係を反映した学習結果を得ることが可能である。同様に、円筒座標系における値Ｒｉ，θｉのうち、値θｉのみが学習モデル４１０に対する入力として利用されてもよい。
【0109】
ただし、基準水平面２３０との相対位置関係をも反映した学習結果（および推論結果）等を得るためには、各特定部位Ｂｉの値Ｘｉと値Ｚｉとの双方（あるいは、値Ｒｉ，θｉのの双方等）が学習モデル４１０に対する入力として利用されることが好ましい。
【0110】
また、上記実施形態では、行動関連事象として、事象Ｅ０，Ｅ１，Ｅ２ａ，Ｅ２ｂ，Ｅ４ａ，Ｅ４ｂ，Ｅ４ｃが主に例示されているが、これに限定されない。たとえば、行動関連事象として、その他の事象（たとえば「ベッド外での立位」等）が含められてもよい。また、より細かく分類された事象であってもよく、あるいは逆に、より大まかに分類された事象であってもよい。あるいは、当該行動関連事象は、これらの事象のうちの全部あるいは一部の任意の組合せであってもよい。
【0111】
＜２．第２実施形態＞
第２実施形態は、第１実施形態の変形例である。以下、第１実施形態との相違点を中心に説明する。
第２実施形態は、第１実施形態の変形例である。以下、第１実施形態との相違点を中心に説明する。
【0112】
第２実施形態では、第１実施形態等においてベッド上の人物あるいは壁面近くの人物等を正確に抽出することが可能な技術について説明する。
【0113】
第１実施形態等においては、撮影画像１１０のテクスチャ情報等に基づいて人体（人体のテクスチャ）を認識し、当該人物の骨格情報（骨格モデル情報）１４０が取得されている。
【0114】
しかしながら、撮影画像１１０のテクスチャ情報（２次元情報）のみに基づいて人体を認識する場合等においては、実際には平面的なテクスチャのうち、人体のテクスチャに類似するテクスチャを、本物（立体物）の人体のテクスチャとして誤認識することがある。
【0115】
たとえば、ポスター（壁等に貼られたポスター）内の人体のテクスチャが検出される場合に上述のような誤認識が生じ得る。あるいは、人体テクスチャの認識精度等にも依るが、ベッド面上（あるいは壁面近く）等において、実際には平面的なテクスチャが本物の（立体的な）人体のテクスチャに偶然に類似している場合に、本物の人体として誤認識されることがある。あるいは、撮影画像（ＲＧＢカメラによる撮影画像等）内に写っている人物の影が人体のテクスチャとして検出される場合などにおいても、上述のような誤認識が生じ得る。
【0116】
そこで、この第２実施形態では、平面的なテクスチャを人物のテクスチャとして誤認することを回避することが可能な技術について説明する。詳細には、人物の立体性を利用した誤認回避技術について説明する。
【0117】
具体的には、コントローラ３１は、撮影画像１１０と撮影画像１１０内の各画素の深度情報１２０とに基づき、撮影画像１１０内の人物候補領域内における人物の存否を判定する。より詳細には、図１６および図１７等に示されるように、コントローラ３１は、撮影画像１１０内の各画素の深度情報１２０に基づき撮影画像１１０内の人物候補領域における基準平面６２０を求める。そして、コントローラ３１は、基準平面６２０から突出した点群の基準平面６２０からの突出量に基づき、人物候補領域内での対象人物の存否を判定する。
【0118】
このような処理は、上述のステップＳ１１（図８）および／またはステップＳ３１（図９）（あるいはそれぞれの直前）等において、人物の存在を確認する際に実行される。なお、図１６は、このような処理を示すフローチャートであり、図１７は、当該処理を示す概念図である。図１７の左列においては、立体物（本物）である人体６１０が存在する場合における実空間の一断面が示されており、図１７の右列においては、立体物である人体６１０が存在しない場合における実空間の一断面が示されている。
【0119】
より具体的には、図１６に示されるように、まずステップＳ５１において、コントローラ３１は、撮影画像１１０のテクスチャ情報に基づき、人物か否かを判定すべき対象物体（判定対象物体）を含む判定対象領域（人物候補領域およびその周辺領域）を抽出する。
【0120】
詳細には、まず、コントローラ３１は、撮影画像１１０に対する画像処理（特徴解析処理）によって、撮影画像１１０のテクスチャ等に基づき、人物である可能性が高い（一定程度以上の当該可能性を有する）と判定される領域（人物候補領域とも称する）を抽出（検出）する。当該人物候補領域は、たとえば、人物の骨格情報が抽出される領域（人物形状を有する領域等）である。このような抽出処理（検出処理）には、ニューラルネットワーク等を用いた画像認識処理が利用されればよい。そして、コントローラ３１は、当該人物候補領域を包囲する外接矩形を撮影画像１１０内に設定するとともに、当該外接矩形の内部領域（人物候補領域およびその周辺領域）を判定対象領域として設定する（図１７の最上段も参照）。なお、図１７においては、本来は２次元的な拡がりを有する判定対象領域が、１次元的に（一断面における１次元的な範囲として）示されている。
【0121】
つぎに、ステップＳ５２において、コントローラ３１は、判定対象領域内の点群（画素群）の深度情報１２０に基づき、当該判定対象領域における基準平面６２０（実空間での基準平面）を求める（図１７の上から２段目も参照）。たとえば、ベッド面、床面、壁面、あるいはスロープ等が、基準平面６２０として抽出される。
【0122】
基準平面は、たとえば、ＲＡＮＳＡＣ(RANdom SAmple Consensus)の手法を用いて求められればよい。具体的には、まず、判定対象領域（好ましくは、そのうち人物候補領域の周辺領域）内の点群（領域内の各画素について求められた３次元位置を有する点の集合）の中から任意の３点がまず抽出され、当該３点を通る平面（仮平面）が仮設定される。そして、当該点群のうち、当該平面からの距離が所定許容範囲（たとえば数ｍｍ～数十ｍｍ（ミリメートル））内に存在する点の数がこれまでで最大である場合には、当該３点で構成される平面が解平面（最適平面）として更新される。換言すれば、仮平面の近傍に存在する点の数がその時点での最適平面の近傍に存在する点の数よりも多い場合に、当該仮平面が新たな最適平面として決定される。その後、新たな任意の３点について同様の処理（仮平面の設定処理、および仮平面と最適平面との比較処理等）が多数回（所定回数）繰り返される。これによって、最終的に得られた解平面が基準平面６２０として決定される。
【0123】
ステップＳ５３では、判定対象領域内の点群のうち、基準平面６２０を構成する点群（基準平面の近傍に存在する点）を除いた点群が、基準平面６２０から突出した点群として求められる。図１７の上から３段目においては、基準平面６２０を構成する点群が白丸印で表わされており、残りの黒丸印の点群が、基準平面６２０から突出した点群（突出点群とも称する）である。基準平面６２０から突出した点群は、基準平面６２０を構成しない点群であることから、非平面点群とも称される。
【0124】
そして、ステップＳ５４では、基準平面６２０から突出した点群（非平面点群）における各点Ｐｉの基準平面６２０からの突出量（基準平面の法線方向における突出量）Ｈｉが算出される。そして、複数の点Ｐｉの突出量Ｈｉの平均値Ｈｖが算出される。
【0125】
当該平均値Ｈｖが閾値ＴＨ１（たとえば、８０ｍｍ）よりも大きい場合には、立体物（ひいては人体）が存在すると判定される。一方、当該平均値Ｈｖが閾値ＴＨ１よりも小さい場合には、立体物（ひいては人体）は存在しないと判定される。このようにして、コントローラ３１は、突出量Ｈｉに基づき、判定対処領域内における人物（立体物）の存否を判定する。
【0126】
以上のように、コントローラ３１は、判定対象領域（人物候補領域およびその周辺領域）内の点群（画素群）の深度情報１２０に基づき、当該判定対象領域における基準平面６２０を求める。そして、コントローラ３１は、基準平面６２０から突出した点群の（基準平面からの）突出量Ｈ（Ｈｉ等）に基づき、判定対象領域内での人物の存否を判定する。これによれば、判定対象領域内において平面的なテクスチャが誤って人体として検出される場合であっても、当該テクスチャが立体的なものであるか否かを、基準平面からの突出量Ｈｉに基づいて、正確に判定（確認）することが可能である。したがって、平面的なテクスチャを本物（立体物）の人物のテクスチャとして誤認することを回避することが可能である。このように、立体物としての対象人物の存否を正確に判定することが可能である。
【0127】
特に、基準平面６２０が一旦求められ、基準平面６２０に対する相対変位（当該基準平面６２０からの相対距離（差分）等）が用いられて、基準平面６２０を基準とする突出物（立体物）の存否が適切に判定される。すなわち、基準平面６２０の高さの絶対値を求めることを必ずしも要することなく、基準平面６２０における立体物の存否が適切に判定され得る。
【0128】
なお、第２実施形態に係る思想は、第１実施形態の変形例として説明しているが、これに限定されない。たとえば、ここでは、第１実施形態と同様に、カメラユニット２０の実空間内における位置が予め取得され、当該カメラユニット２０の位置に基づく調整（カメラ位置等に関するキャリブレーション）が行われた後に、座標系Σ２等における各特定部位の各位置が測定される状況が想定されている。しかしながら、第２実施形態に係る思想は、このような状況のみならず他の状況にも適用され得る。
【0129】
たとえば、床面あるいは壁面等における人体候補領域に実際に立体物の人体が存在しているか否かのみを判定する場合にも当該思想を適用することができる。当該思想自体においては、基準平面６２０の高さの絶対値を求めることを必ずしも要しない。したがって、このような場合には、カメラユニット２０の実空間内における位置に基づく調整（カメラパラメータ（カメラ設置位置情報）の設定等）を行わずとも、基準平面６２０に対する各点群の相対変位を用いて立体物の有無を判定することが可能である。
【0130】
＜３．第３実施形態＞
上記各実施形態においては、座標系Σ２として、ベッド９２の上面９２ａと一のベッド９２の側面９２ｂ（図４参照）との交線２１５上の一点を原点Ｏ２（図４および図５参照）とするＸＹＺ直交座標系を例示した。この交線２１５は、たとえば、以下に示すようにして設定されてもよい。第３実施形態においては、当該座標系Σ２（特に交線２１５）の設定の詳細等について説明する。ここでは、ベッド領域３２３（図２１等参照）の設定処理を伴って、交線２１５の設定処理が実行される。
上記各実施形態においては、座標系Σ２として、ベッド９２の上面９２ａと一のベッド９２の側面９２ｂ（図４参照）との交線２１５上の一点を原点Ｏ２（図４および図５参照）とするＸＹＺ直交座標系を例示した。この交線２１５は、たとえば、以下に示すようにして設定されてもよい。第３実施形態においては、当該座標系Σ２（特に交線２１５）の設定の詳細等について説明する。ここでは、ベッド領域３２３（図２１等参照）の設定処理を伴って、交線２１５の設定処理が実行される。
【0131】
図１８は、ベッド領域３２３等の設定処理（コントローラ３１の処理）を示すフローチャートである。
【0132】
【0133】
図１９の左側には、ベッド９２を含む対象空間を撮影した調整用画像（キャリブレーション用（事前調整用）の撮影画像１１０Ｃ）が示されており、図１９の右側には、当該撮影画像１１０Ｃ内の各画素の深度情報１２０Ｃが可視化されて示されている。なお、深度情報１２０Ｃは、各画素に対応する物体までの距離が各画素の濃度に換算して表現されている。ここでは、天井から下方を撮影した画像（カメラユニット１０による撮影画像（赤外線画像））が撮影画像１１０Ｃとして例示されている。なお、これに限定されず、撮影画像１１０Ｃは、様々な角度から居室内などの対象空間（特にベッドの配置空間を含む対象空間）を撮影したものであってもよい。
【0134】
ステップＳ７２～Ｓ７４においては、対象空間を撮影した調整用画像（撮影画像）１１０Ｃを用いてベッド領域３２３等が設定される。詳細には、撮影画像１１０Ｃ内における所定ポイント３１５（図２０参照）を基準にベッド領域３２３等が設定される。
【0135】
具体的には、まずステップＳ７２において、コントローラ３１は、ユーザによる所定ポイント３１５の指定操作（ベッド位置指定操作）を受け付ける。詳細には、撮影画像１１０Ｃを表示する表示画面（表示部３５ｂ等に表示された表示画面）において、ユーザは、ベッド位置指定用のカーソル３１１をマウス操作によって撮影画像１１０Ｃ内のベッド９２の中央付近の位置に移動させてダブルクリックする。端的に言えば、ユーザは、カーソル３１１を用いてベッド位置をポインティングして（差し示して）指定する。当該操作に応じて、コントローラ３１は、当該表示画面内（撮影画像１１０Ｃ内）のカーソル位置（詳細には円環状カーソル３１１の中央位置）を所定ポイント３１５として取得する。このように、所定ポイント３１５は、ユーザによる撮影画像１１０Ｃ内での位置指定操作に応じて指定される。なお、所定ポイント３１５は、ベッドの中央付近の位置に限定されず、たとえば、ベッドの上面における他の位置（中央付近以外の位置）であってもよい。
【0136】
そして、コントローラ３１は、所定ポイント３１５の２次元位置に対応する物体表面位置（ベッド上面内の位置）の３次元位置（Ｘ，Ｙ，Ｚ）を取得する。詳細には、ベッド９２の上面内の１点の座標系Σ３における３次元位置（Ｘ，Ｙ，Ｚ）が取得される。換言すれば、所定ポイント３１５に関するカメラ座標系Σ１での位置情報（撮影画像内での平面位置および撮影画像の法線方向における奥行き位置）が、座標系Σ３での座標値（Ｘ，Ｙ，Ｚ）に変換されて取得される。座標系Σ３は、たとえば、水平平面に平行な直交２軸と鉛直方向（高さ方向）に伸びる１軸との直交３軸を基準とする３次元直交座標系である。座標系Σ３の原点は、適宜の位置（床面上の適宜の位置等）に定められればよい。座標系Σ３におけるＺ座標は、たとえば、床面からの高さ（たとえば「５６ｃｍ」）を表す値として取得される。また、座標系Σ１，Σ３の相互間の位置関係は予め調整されているものとする。なお、上述の座標系Σ２は、座標系Σ３を（３次元空間内で）平行移動した座標系である。
【0137】
次のステップＳ７３において、コントローラ３１は、実空間において所定ポイント３１５（ユーザによる指定位置（ベッド中央付近等））に対応する物体表面の高さ（たとえば、５６ｃｍ）と同等の高さを有する領域（連続領域）を抽出する。詳細には、コントローラ３１は、所定ポイント３１５に対応する物体表面の高さに対する許容誤差範囲（たとえば、±５ｃｍ）の高さ（たとえば、５６ｃｍ±５ｃｍ）を有する連続領域（連続平面領域）を抽出する。
【0138】
そして、ステップＳ７４において、コントローラ３１は、当該連続領域（より詳細には当該連続領域の外接四辺形（外接長方形等））をベッド上面領域３２２（図２０の最下段参照）として抽出する。
【0139】
図２０の最下段においては、４つの辺３２２ａ，３２２ｂ，３２ｃ，３２２ｄで囲まれるベッド上面領域３２２が示されている。ここでは、ベッド上面領域３２２は矩形形状を有しており、ベッド上面領域３２２は長辺３２２ａ，３２２ｂと短辺３２２ｃ，３２２ｄとの４辺で囲まれている。ベッド上面領域３２２は、床面から所定の高さを有する位置に配置された面状領域である。なお、ベッド上面領域３２２の床面からの高さは、所定ポイント３１５（ユーザによる指定位置）に対応する物体表面（ベッド表面）の高さ（たとえば、５６ｃｍ）自体でもよく、あるいは、上記連続領域に含まれる複数の点の平均値などとして再算出されてもよい。
【0140】
さらに、コントローラ３１は、ベッド上面領域３２２を床面（に相当する平面）に射影した射影平面領域をベッド平面領域３２１として抽出する。
【0141】
ステップＳ７４においては、更に、拡張ベッド領域３２５が設定される。拡張ベッド領域３２５は、ベッド平面領域３２１を所定範囲拡張した平面領域である。具体的には、拡張ベッド領域３２５は、ベッド平面領域３２１を平面視にて左右上下方向（４つの辺３２２ａ，３２２ｂ，３２ｃ，３２２ｄのそれぞれに垂直な方向）に所定長（たとえば１ｍ～２ｍ）ずつ拡張した平面領域である。換言すれば、拡張ベッド領域３２５は、ベッド平面領域３２１自体とベッド平面領域３２１の周辺の領域（ベッド周辺領域とも称する）との双方を含む平面領域である。ベッド周辺領域は、拡張ベッド領域３２５のうちベッド平面領域３２１を除外した領域である。なお、拡張ベッド領域３２５は、主に第４実施形態にて利用される。
【0142】
このようにして、ベッド領域３２３（ベッド上面領域３２２およびベッド平面領域３２１）と拡張ベッド領域３２５とが設定される。なお、ここでは、ベッド領域３２３として、ベッド上面領域３２２とベッド平面領域３２１との双方が設定されているが、これに限定されず、ベッド上面領域３２２とベッド平面領域３２１との一方のみが設定されてもよい。
【0143】
その後、コントローラ３１は、ベッド上面領域３２２を包囲する長辺３２２ａ，３２２ｂのうち撮影画像１１０Ｃ内の中央に最も近い長辺３２２ａを、ベッド９２の境界として設定（自動設定）する。換言すれば、長辺３２２ａが交線２１５として設定される（図２１および図５参照）。さらに、長辺（線分）３２２ａの２つの端点のうち一方の端点が座標系Σ２の原点Ｏ２として決定される。たとえば、当該一方の端点から他方の端点に向かうＹ軸（交線２１５（長辺３２２ａ）に沿うＹ軸）と、当該一方の端点から鉛直上方に向かうＺ軸と、当該一方の端点から他の長辺３２２ｂ（長辺３２２ａの対向辺）側に向かうＸ軸とが、右手系の座標系Σ２を構成するように、当該一方の端点が選択されればよい。換言すれば、ベッド上面領域３２２が交線２１５の＋Ｘ側に配置されるように、当該一方の端点が選択されればよい。
【0144】
このようにして、座標系Σ２が設定される。そして、座標系Σ３と座標系Σ２との関係（相互間の平行移動に関する移動方向および移動量等）、ならびに調整済みの座標系Σ１と座標系Σ３との関係に基づいて、座標系Σ１と座標系Σ２との関係が求められる。
【0145】
ここにおいて、ベッド上面領域３２２を囲む４辺の各端点位置を手動で設定（画面上で設定）することも可能ではある。しかしながら、そのような設定手法は、４点の位置を指定することを要するため、煩雑である。これに対して、上述のような手法を用いることによればベッド中央付近の１点を指定するだけで済むので、設定操作が比較的容易である。さらに、４辺の中から適宜の線分が交線２１５として自動的に設定されるので、設定操作が一層容易である。
【0146】
また、このような自動設定内容が必ずしも正確でない場合には、上述のような自動設定が一旦実行された後にユーザ操作に基づく調整処理（手動設定）が更に行われてもよい。たとえば、ベッド上面領域３２２を包囲する４辺の各端点位置を必要に応じてマウス操作等によって移動させることによって各辺の位置が微調整されてもよい。また、所定ポイント３１５の指定操作に応じて自動設定された長辺３２２ａ（あるいは３２２ｂ）とは逆の長辺３２２ｂ（あるいは３２２ａ）が交線２１５として相応しい場合には、適宜の長辺３２２ｂ等がユーザ操作に応じて指定されてもよい。詳細には、「ベッドの境界」を変更（指定）するモードにおいて、適宜の長辺（３２２ｂ等）がマウスクリック操作等によって交線２１５として更新（指定）されてもよい。
【0147】
＜４．第４実施形態＞
第４実施形態においては、ベッド領域３２３（特にベッド平面領域３２１）と対象人物の複数の特定部位Ｂｉとの位置関係（特に平面位置関係（射影平面（床面等）内での位置関係等））にも基づき、対象人物の行動関連事象が検知される態様について説明する。なお、ベッド領域３２３等の設定処理（図１８参照）は、第３実施形態と同様にして実行されればよい。
第４実施形態においては、ベッド領域３２３（特にベッド平面領域３２１）と対象人物の複数の特定部位Ｂｉとの位置関係（特に平面位置関係（射影平面（床面等）内での位置関係等））にも基づき、対象人物の行動関連事象が検知される態様について説明する。なお、ベッド領域３２３等の設定処理（図１８参照）は、第３実施形態と同様にして実行されればよい。
【0148】
この第４実施形態においては、２つの学習モデル４１０が利用される。
【0149】
１つの学習モデル４１０（４１０Ａとも称する）は、主にベッド近傍での人物の行動関連事象（ベッドに関連する行動関連事象）を検知する学習モデルであり、上述の各実施形態で説明した学習モデル（ベッド関連事象検知用の学習モデル）である。学習モデル４１０Ａは、所定の境界（詳細にはベッドの境界）等と人物の複数の特定部位Ｂｉとの位置関係を示す情報３１０を入力すると人物に関する行動関連事象を出力するように機械学習される。より詳細には、複数の特定部位Ｂｉの座標値Ｘｉ，Ｚｉと行動関連事象との対応関係が学習モデル４１０Ａによって適切に学習される。
【0150】
他の１つの学習モデル４１０（４１０Ｂとも称する）は、主にベッドから離れた位置での人物の行動関連事象（ベッドに関連しない行動関連事象）を検知する学習モデル（ベッド非関連事象検知用の学習モデル）である。学習モデル４１０Ｂは学習モデル４１０Ａに類似する。ただし、学習モデル４１０Ｂは、人物の複数の特定部位Ｂｉの高さを示す情報を入力すると人物に関する行動関連事象を出力するように機械学習される。より詳細には、複数の特定部位Ｂｉの座標値Ｚｉと行動関連事象との対応関係が学習モデル４１０Ｂによって適切に学習される。
【0151】
ここでは、多様な行動関連事象の正確な検知等のため、単一の学習モデルではなく複数（詳細には２つ）の学習モデルが用いられる。具体的には、主にベッド近傍での人物の行動関連事象の検知を得意とする学習モデル４１０Ａと、主にベッドから離れた位置での人物の行動関連事象の検知を得意とする学習モデル４１０Ｂとが用いられる。
【0152】
具体的には、学習モデル４１０Ａは、第１実施形態等にて説明した各種の行動関連事象を検知するように、機械学習される。たとえば、「（ベッド上での）通常臥位（正常臥位）」、「ベッド上での（上半身）起き上がり」、「境界位（ベッド端部での端座位等）」、「（ベッドからの）ずり落ち」等のベッドに関連する動作）が検知され得る。
【0153】
一方、学習モデル４１０Ｂは、「立位」、「横たわり」の２つの行動関連事象を検知するように、機械学習される。なお、これに限定されず、学習モデル４１０Ｂは、「立位」、「横たわり」に加えて、「転倒」および／または「座位」をも含めた行動関連事象を検知してもよい。
【0154】
推論時においても、これら２つの学習モデル４１０Ａ（４２０Ａ），４１０Ｂ（４２０Ｂ）が用いられる。具体的には、同じ時点での同じ対象人物に関する撮影画像等に基づいて、２つの学習モデル４１０Ａ，４１０Ｂによる推論結果（出力結果）がそれぞれ得られる。
【0155】
この第４実施形態においては、これらの２つの推論結果のうちの一方の推論結果を選択する際に、ベッド領域３２３と対象人物（の特定部位Ｂｉ）との位置関係が利用される。具体的には、対象人物のベッド領域３２３からの離間程度に応じて、２つの推論結果のうち一方の推論結果が選択される。
【0156】
詳細には、対象人物が拡張ベッド領域３２５（ベッド平面領域３２１を所定範囲拡張した平面領域）の内側（内部）に存在すると判定される場合には、２つの推論結果のうち学習モデル４１０Ａによる推論結果（出力結果）に基づき、対象人物の行動関連事象が検知される。すなわち、学習モデル４１０Ａ（学習済みモデル４２０Ａ）による推論結果が最終的な推論結果として選択される。逆に、対象人物が拡張ベッド領域３２５の外側（外部）に存在すると判定される場合には、２つの推論結果のうち学習モデル４１０Ｂ（学習済みモデル４２０Ｂ）による推論結果（出力結果）に基づき、対象人物の行動関連事象が検知される。すなわち、学習モデル４１０Ｂによる推論結果が最終的な推論結果として選択される。
【0157】
【0158】
図２２の上段に示されるような状況においては、学習モデル４１０Ａからは「（ベッドからの）全身ずり落ち」の推論結果が得られ、学習モデル４１０Ｂからは「横たわり」の推論結果が得られる。この場合、撮影画像１１０等に基づき対象人物が拡張ベッド領域３２５内（より詳細には、ベッド平面領域３２１の外部且つ拡張ベッド領域３２５の内部）に存在すると判定されるとともに、そのような判定結果に基づき、学習モデル４１０Ａからの推論結果「ベッドからの全身ずり落ち」が最終的な推論結果として選択（決定）される。なお、対象人物が所定の平面領域（たとえば拡張ベッド領域３２５）内に存在するか否かは、対象人物の複数の特定部位Ｂｉの平均位置が当該所定の平面領域内であるか否かに基づいて決定されればよい。あるいは、対象人物の複数の特定部位Ｂｉのうち所定数以上（過半数など）の特定部位Ｂｉが所定の平面領域内に存在するか否かに基づいて決定されてもよい。
【0159】
また、たとえば、図２３の上段に示されるような状況においては、学習モデル４１０Ａからは「（ベッドからの）全身ずり落ち」（あるいは「通常臥位」）の推論結果が得られ、学習モデル４１０Ｂからは「横たわり」の推論結果が得られることがある。図２３は、居室内にて対象人物がベッド９２から離れた場所で（転倒等に起因して）横たわっている状況（異常状態）を示しており、図２３の上段には、当該居室内を鉛直上方から見た様子が示されている。
【0160】
図２３の場合には、撮影画像１１０等に基づき対象人物（詳細には、その複数の特定部位Ｂｉの多数あるいは当該複数の特定部位Ｂｉの平均位置）がベッド領域３２３の外部（特に拡張ベッド領域３２５の外部）に存在すると判定される。そして、そのような判定結果に基づき、学習モデル４１０Ｂからの推論結果「横たわり」が最終的な推論結果として選択（決定）される。
【0161】
【0162】
たとえば、図２４の上段に示されるような状況においては、学習モデル４１０Ａからは「通常臥位」の推論結果が得られ、学習モデル４１０Ｂからは「横たわり」の推論結果が得られる。この場合、撮影画像１１０等に基づき対象人物（詳細には、その特定部位Ｂｉの多数）がベッド領域３２３内（ひいては拡張ベッド領域３２５内）に存在すると判定されるとともに、そのような判定結果に基づき、学習モデル４１０Ａからの推論結果「通常臥位」が最終的な推論結果として選択（決定）される。
【0163】
以上のように、第４実施形態においては、ベッドに関連する行動関連事象の検知に適した学習モデル４１０Ａと、ベッドに関連しない行動関連事象の検知に適した学習モデル４１０Ｂとが個別に生成される。そして、２つの学習モデル４１０が利用されて、対象人物の行動関連事象が検知される。これによれば、場面ごと（ベッドの有無が異なる場面ごと）に最適化（特化）された学習モデルを利用することによって、高精度の検知結果を得ることが可能である。なお、ベッドが存在しない居室（リハビリルーム等）では、学習モデル４１０Ｂのみが用いられる（学習モデル４１０Ａは用いられない）ようにしてもよい。
【0164】
また、第４実施形態では、２つの学習モデル４１０の出力結果の中から適切な出力結果を選択する際にベッド平面領域３２１等が利用されている。詳細には、ベッド領域３２３（特にベッド平面領域３２１）と対象人物の複数の特定部位Ｂｉとの位置関係（射影平面（床面等）内での位置関係（平面位置関係））にも基づき、対象人物の行動関連事象が検知される。詳細には、対象人物が拡張ベッド領域３２５の内部と外部とのいずれに存在するかに応じて、対応する学習モデル４１０Ａ，４１０Ｂのうち、対応する学習モデル４１０からの出力結果（行動関連事象の推論結果）が最終的な推論結果として選択（決定）される。これによれば、２つの学習モデル４１０による推論結果のうちの適切な推論結果を、対象人物の存在位置に応じて適切に選択することが可能である。
【0165】
なお、第４実施形態では、２つの学習モデル４１０の出力結果の中から適切な出力結果を選択する際にベッド平面領域３２１等が利用されている。しかしながら、これに限定されず、一の学習モデル４１０Ａの学習および推論に際して、ベッド平面領域３２１等が利用されてもよい。たとえば、第１実施形態（あるいは第４実施形態等）において、学習モデル４１０Ａに対する入力として、対象人物がベッド平面領域３２１内に存在するか否かに関する情報もが加えられてもよい。より具体的には、対象人物の部位Ｂｉの高さ情報のみならずベッド平面領域３２１内における対象人物の存否情報もが利用されて、学習モデル４１０Ａに関する学習および推論が実行されてもよい。
【0166】
＜５．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0167】
たとえば、人物の特定部位は、上述の各特定部位に限定されず、人物の頭、首、鎖骨等であってもよい。
【0168】
また、上記各実施形態では、ベッド９２の左右２側面のうち、人物がベッドの一方の側面９２ｂからのみベッド外部からベッド上へと（あるいはベッド上からベッド外部へと）移動する状況が想定されている。介護用ベッドにおいては、他の側面９２ｃ（図１５参照）には落下防止柵などが設けられていることが多く、上述のような態様（一方の境界面２１０との相対位置関係を考慮する態様）によれば、多くの状況に対応することが可能である。
【0169】
ただし、本発明はこれに限定されない。たとえば、人物がベッドの両側のいずれからでもベッド外部からベッド上へと（あるいはベッド上からベッド外部へと）移動する状況において、上記のような思想が適用されてもよい。この場合には、一方側の境界面２１０のみならず反対側の境界面２２０（図１５参照）に対する各特定部位Ｂｉとの位置関係もが考慮されることが好ましい。たとえば、各特定部位Ｂｉの値Ｘｉ，Ｚｉのみならず、各特定部位Ｂｉの値Ｗｉもが学習モデル４１０に対する入力として用いられればよい。ここで値Ｗｉは、各特定部位Ｂｉの境界面２２０（次述）を基準とする符号付き法線方向距離Ｗ（境界面２２０を基準とする符号付き最短距離（差分位置）Ｗ）である。境界面２２０は、ベッド９２の他の側面９２ｃ（図１５参照）を含む鉛直平面である。符号は、境界面２２０よりもベッド側（内側）（図１５における左側）の水平位置において正（＋）であり、境界面２２０よりもベッド外側（図１５における右側）の水平位置において負（－）であるように定められればよい。
【0170】
また、上記第３実施形態および第４実施形態では、ベッド領域３２３の設定処理（図１８等参照）の幾つかの適用例について説明したが、これに限定されず、ベッド領域３２３の当該設定処理（所定ポイントの指定操作に基づく設定処理等）は、その他の様々な用途にも適用され得る。このような設定処理によれば、ベッド上の１点の指定操作だけで済むので、ベッド領域３２３の４辺の指定操作を伴って設定処理が行われる場合に比べて、設定操作が各段に容易になる。それ故、装置メーカーの専門的な作業者等が当該設定操作を行うことを要さず、一般ユーザ（介護職員等）が設定操作を行うことが可能である。
【符号の説明】
【0171】
１ 検知システム
１０ 検知装置
２０ カメラユニット
３０ 処理ユニット
７０，８０ 端末装置
９０ 居室
９１ 床
９２ ベッド
２１０，２２０ 境界面（ベッド境界面）
２３０ 基準水平面
６１０ 人体（立体物）
６２０ 基準平面
Ｂｉ 特定部位
Ｅｉ 事象
Ｈｉ 基準平面からの突出量
１０ 検知装置
２０ カメラユニット
３０ 処理ユニット
７０，８０ 端末装置
９０ 居室
９１ 床
９２ ベッド
２１０，２２０ 境界面（ベッド境界面）
２３０ 基準水平面
６１０ 人体（立体物）
６２０ 基準平面
Ｂｉ 特定部位
Ｅｉ 事象
Ｈｉ 基準平面からの突出量
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】