7799514 観察システム、観察システムの制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2026-01-06

(45)【発行日】2026-01-15

(54)【発明の名称】観察システム、観察システムの制御方法、およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20260107BHJP

   G08B 21/02 20060101ALI20260107BHJP

   G08B 25/00 20060101ALI20260107BHJP

   G08B 25/04 20060101ALI20260107BHJP

   G06T 7/00 20170101ALI20260107BHJP

   G06V 20/52 20220101ALI20260107BHJP

【ＦＩ】

H04N7/18 D

G08B21/02

G08B25/00 510M

G08B25/04 K

G06T7/00 660B

G06V20/52

【請求項の数】 12

(21)【出願番号】P 2022032369

(22)【出願日】2022-03-03

(65)【公開番号】P2023128194

(43)【公開日】2023-09-14

【審査請求日】2024-12-16

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100117673

【弁理士】

【氏名又は名称】中島 了

(72)【発明者】

【氏名】瀧本 大貴

(72)【発明者】

【氏名】安達 和隆

(72)【発明者】

【氏名】森田 翔治

(72)【発明者】

【氏名】上山 夏樹

【審査官】塚本 丈二

(56)【参考文献】

【文献】中国特許出願公開第１０６２１０５４３（ＣＮ，Ａ）

【文献】米国特許出願公開第２００５／００１８８７９（ＵＳ，Ａ１）

【文献】特開２０１８－０２８８３７（ＪＰ，Ａ）

【文献】登録実用新案第３１８７０３４（ＪＰ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２１／０２

Ｇ０８Ｂ ２５／００

Ｇ０８Ｂ ２５／０４

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／５２

(57)【特許請求の範囲】

【請求項1】

観察対象空間を撮影する撮像部と、
前記撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部と、
前記撮像部の撮影範囲を照明するための照明光を出射する照明部と、
前記駆動部による前記撮像部の回転駆動を制御して、予め設定された所定数の撮影範囲のいずれかに前記撮像部の撮影範囲を変更するとともに、前記照明部による照明光の出射を制御する制御部と、
を備え、
前記制御部は、前記撮像部の撮影範囲を前記所定数の撮影範囲のうちの一の撮影範囲に変更し且つ前記駆動部による前記撮像部の回転駆動を停止した状態で、前記所定数の撮影範囲のそれぞれに応じて予め定められている発光量のうち前記一の撮影範囲に応じた発光量の照明光を前記照明部により出射させて、前記撮像部により撮影される撮影画像に基づき観察対象人物の観察処理を実行することを特徴とする観察システム。

【請求項2】

前記制御部は、
前記撮影画像内における前記観察対象人物の位置を検知し、
前記観察対象人物の位置が前記撮影画像における所定領域内に収まっている場合、前記駆動部を駆動せずに前記撮像部の撮影範囲を前記一の撮影範囲に維持した状態で、前記撮像部により撮影される撮影画像に基づき前記観察対象人物の観察処理を実行することを特徴とする、請求項１に記載の観察システム。

【請求項3】

前記所定数の撮影範囲は、第１撮影範囲と第２撮影範囲とを含み、
前記第２撮影範囲は、前記第１撮影範囲と比較して、より遠く前記撮像部から離れた前記観察対象人物を撮影することが可能な撮影範囲であることを特徴とする、請求項１または請求項２に記載の観察システム。

【請求項4】

前記所定数の撮影範囲は、第１撮影範囲と第２撮影範囲とを含み、
前記撮像部は、ベッドの近傍上方に設置されており、
前記第１撮影範囲は、前記ベッド付近に存在する前記観察対象人物を撮影できる撮影範囲であり、
前記第２撮影範囲は、前記ベッドから離れた出入口付近に存在する前記観察対象人物を撮影できる撮影範囲であることを特徴とする、請求項１または請求項２に記載の観察システム。

【請求項5】

前記第２撮影範囲に対応して定められている発光量は、前記第１撮影範囲に対応して定められている発光量よりも大きいことを特徴とする、請求項３または請求項４に記載の観察システム。

【請求項6】

観察対象空間を撮影する撮像部と当該撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部と当該撮像部の撮影範囲を照明するための照明光を出射する照明部とを備える観察システムを制御するコンピュータに、
ａ）前記駆動部による前記撮像部の回転駆動を制御して、予め設定された所定数の撮影範囲のいずれかに前記撮像部の撮影範囲を変更するステップと、
ｂ）前記撮像部の撮影範囲を前記所定数の撮影範囲のうちの一の撮影範囲に変更し且つ前記駆動部による前記撮像部の回転駆動を停止した状態で、前記所定数の撮影範囲のそれぞれに応じて予め定められている発光量のうち前記一の撮影範囲に応じた発光量の照明光を前記照明部により出射させて、前記撮像部により撮影される撮影画像に基づき観察対象人物の観察処理を実行するステップと、
を実行させるためのプログラム。

【請求項7】

観察対象空間を撮影する撮像部と当該撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部と当該撮像部の撮影範囲を照明するための照明光を出射する照明部とを備える観察システムの制御方法であって、
ａ）前記駆動部による前記撮像部の回転駆動を制御して、予め設定された所定数の撮影範囲のいずれかに前記撮像部の撮影範囲を変更するステップと、
ｂ）前記撮像部の撮影範囲を前記所定数の撮影範囲のうちの一の撮影範囲に変更し且つ前記駆動部による前記撮像部の回転駆動を停止した状態で、前記所定数の撮影範囲のそれぞれに応じて予め定められている発光量のうち前記一の撮影範囲に応じた発光量の照明光を前記照明部により出射させて、前記撮像部により撮影される撮影画像に基づき観察対象人物の観察処理を実行するステップと、
を備えることを特徴とする、観察システムの制御方法。

【請求項8】

観察対象空間を撮影する撮像部と、
前記撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部と、
前記駆動部による前記撮像部の回転駆動を制御して、予め設定された所定数の撮影範囲のいずれかに前記撮像部の撮影範囲を変更する制御部と、
を備え、
前記制御部は、
前記撮像部の撮影範囲を前記所定数の撮影範囲のうちの一の撮影範囲に設定した後、前記一の撮影範囲に対応する撮影画像内における観察対象人物の位置を検知し、
前記観察対象人物の前記位置が前記撮影画像における所定領域内に収まっている場合、前記撮像部を回転駆動せずに前記撮像部の撮影範囲を前記一の撮影範囲に維持した状態で、前記撮影画像に基づき前記観察対象人物の観察処理を実行することを特徴とする観察システム。

【請求項9】

前記制御部は、前記観察対象人物の前記位置が前記所定領域内に収まらなくなった場合、前記撮像部を回転駆動して前記撮像部の撮影範囲を前記一の撮影範囲とは別の撮影範囲に変更することを特徴とする、請求項８に記載の観察システム。

【請求項10】

前記観察対象人物の前記観察処理は、前記観察対象人物の行動関連事象を検知する処理を含むことを特徴とする、請求項８または請求項９に記載の観察システム。

【請求項11】

観察対象空間を撮影する撮像部と当該撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部とを備える観察システムを制御するコンピュータに、
ａ）前記駆動部による前記撮像部の回転駆動を制御して、前記撮像部の撮影範囲を、予め設定された所定数の撮影範囲のいずれかである一の撮影範囲に設定するステップと、
ｂ）前記一の撮影範囲に対応する撮影画像内における観察対象人物の位置を検知するステップと、
ｃ）前記観察対象人物の前記位置が前記撮影画像における所定領域内に収まっている場合、前記撮像部を回転駆動せずに前記撮像部の撮影範囲を前記一の撮影範囲に維持した状態で、前記撮影画像に基づき前記観察対象人物の観察処理を実行するステップと、
を実行させるためのプログラム。

【請求項12】

観察対象空間を撮影する撮像部と当該撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部とを備える観察システムの制御方法であって、
ａ）前記駆動部による前記撮像部の回転駆動を制御して、前記撮像部の撮影範囲を、予め設定された所定数の撮影範囲のいずれかである一の撮影範囲に設定するステップと、
ｂ）前記一の撮影範囲に対応する撮影画像内における観察対象人物の位置を検知するステップと、
ｃ）前記観察対象人物の前記位置が前記撮影画像における所定領域内に収まっている場合、前記撮像部を回転駆動せずに前記撮像部の撮影範囲を前記一の撮影範囲に維持した状態で、前記撮影画像に基づき前記観察対象人物の観察処理を実行するステップと、
を備えることを特徴とする、観察システムの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、観察対象人物を観察する観察システムおよびそれに関連する技術に関する。

【背景技術】

【0002】

観察対象人物を観察する観察システムが存在する（特許文献１等参照）。たとえば、特許文献１には、介護施設等においてカメラの撮影画像等を用いて入居者（観察対象人物）を見守る見守りシステム（観察システム）が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－０１０５８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記の観察システム等においては、観察対象人物の居室全体を（なるべく死角無きように）見守ることが好ましい。そのような技術（より広い観察範囲を確保する技術）を構築するためには、観察用（見守り用）のカメラを駆動してカメラの向きを変更し、当該カメラの撮影範囲（カメラの向き等）を変更することが一案である。

【0005】

しかしながら、たとえば人物（観察対象人物）の位置を検出しカメラの向き（カメラの視線方向）を常に当該人物（の位置）に向けるように常時追従制御すると、人物の動きに応じてカメラの駆動音が高頻度に（連続的に）発生する。それ故、当該人物にストレス（心理的負荷）を与えてしまう可能性が高い。

【0006】

そこで、この発明は、観察対象人物のストレスの発生を回避ないし抑制しつつ、より広い観察範囲を確保することが可能な観察システム、およびそれに関連する技術を提供することを課題とする。

【課題を解決するための手段】

【0007】

上記課題を解決すべく、本発明に係る観察システムは、観察対象空間を撮影する撮像部と、前記撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部と、前記撮像部の撮影範囲を照明するための照明光を出射する照明部と、前記駆動部による前記撮像部の回転駆動を制御して、予め設定された所定数の撮影範囲のいずれかに前記撮像部の撮影範囲を変更するとともに、前記照明部による照明光の出射を制御する制御部と、を備え、前記制御部は、前記撮像部の撮影範囲を前記所定数の撮影範囲のうちの一の撮影範囲に変更し且つ前記駆動部による前記撮像部の回転駆動を停止した状態で、前記所定数の撮影範囲のそれぞれに応じて予め定められている発光量のうち前記一の撮影範囲に応じた発光量の照明光を前記照明部により出射させて、前記撮像部により撮影される撮影画像に基づき観察対象人物の観察処理を実行することを特徴とする。

【0008】

前記制御部は、前記撮影画像内における前記観察対象人物の位置を検知し、前記観察対象人物の位置が前記撮影画像における所定領域内に収まっている場合、前記駆動部を駆動せずに前記撮像部の撮影範囲を前記一の撮影範囲に維持した状態で、前記撮像部により撮影される撮影画像に基づき前記観察対象人物の観察処理を実行してもよい。

【0009】

前記所定数の撮影範囲は、第１撮影範囲と第２撮影範囲とを含み、前記第２撮影範囲は、前記第１撮影範囲と比較して、より遠く前記撮像部から離れた前記観察対象人物を撮影することが可能な撮影範囲であってもよい。

【0010】

前記所定数の撮影範囲は、第１撮影範囲と第２撮影範囲とを含み、前記撮像部は、ベッドの近傍上方に設置されており、前記第１撮影範囲は、前記ベッド付近に存在する前記観察対象人物を撮影できる撮影範囲であり、前記第２撮影範囲は、前記ベッドから離れた出入口付近に存在する前記観察対象人物を撮影できる撮影範囲であってもよい。

【0011】

前記第２撮影範囲に対応して定められている発光量は、前記第１撮影範囲に対応して定められている発光量よりも大きくてもよい。

【0012】

本発明に係るプログラムは、観察対象空間を撮影する撮像部と当該撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部と当該撮像部の撮影範囲を照明するための照明光を出射する照明部とを備える観察システムを制御するコンピュータに、ａ）前記駆動部による前記撮像部の回転駆動を制御して、予め設定された所定数の撮影範囲のいずれかに前記撮像部の撮影範囲を変更するステップと、ｂ）前記撮像部の撮影範囲を前記所定数の撮影範囲のうちの一の撮影範囲に変更し且つ前記駆動部による前記撮像部の回転駆動を停止した状態で、前記所定数の撮影範囲のそれぞれに応じて予め定められている発光量のうち前記一の撮影範囲に応じた発光量の照明光を前記照明部により出射させて、前記撮像部により撮影される撮影画像に基づき観察対象人物の観察処理を実行するステップと、を実行させるためのプログラムであることを特徴とする。

【0013】

本発明に係る制御方法は、観察対象空間を撮影する撮像部と当該撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部と当該撮像部の撮影範囲を照明するための照明光を出射する照明部とを備える観察システムの制御方法であって、ａ）前記駆動部による前記撮像部の回転駆動を制御して、予め設定された所定数の撮影範囲のいずれかに前記撮像部の撮影範囲を変更するステップと、ｂ）前記撮像部の撮影範囲を前記所定数の撮影範囲のうちの一の撮影範囲に変更し且つ前記駆動部による前記撮像部の回転駆動を停止した状態で、前記所定数の撮影範囲のそれぞれに応じて予め定められている発光量のうち前記一の撮影範囲に応じた発光量の照明光を前記照明部により出射させて、前記撮像部により撮影される撮影画像に基づき観察対象人物の観察処理を実行するステップと、を備えることを特徴とする。
本発明に係る観察システムは、観察対象空間を撮影する撮像部と、前記撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部と、前記駆動部による前記撮像部の回転駆動を制御して、予め設定された所定数の撮影範囲のいずれかに前記撮像部の撮影範囲を変更する制御部と、を備え、前記制御部は、前記撮像部の撮影範囲を前記所定数の撮影範囲のうちの一の撮影範囲に設定した後、前記一の撮影範囲に対応する撮影画像内における観察対象人物の位置を検知し、前記観察対象人物の前記位置が前記撮影画像における所定領域内に収まっている場合、前記撮像部を回転駆動せずに前記撮像部の撮影範囲を前記一の撮影範囲に維持した状態で、前記撮影画像に基づき前記観察対象人物の観察処理を実行することを特徴とする。
前記制御部は、前記観察対象人物の前記位置が前記所定領域内に収まらなくなった場合、前記撮像部を回転駆動して前記撮像部の撮影範囲を前記一の撮影範囲とは別の撮影範囲に変更してもよい。
前記観察対象人物の前記観察処理は、前記観察対象人物の行動関連事象を検知する処理を含んでもよい。
本発明に係るプログラムは、観察対象空間を撮影する撮像部と当該撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部とを備える観察システムを制御するコンピュータに、ａ）前記駆動部による前記撮像部の回転駆動を制御して、前記撮像部の撮影範囲を、予め設定された所定数の撮影範囲のいずれかである一の撮影範囲に設定するステップと、ｂ）前記一の撮影範囲に対応する撮影画像内における観察対象人物の位置を検知するステップと、ｃ）前記観察対象人物の前記位置が前記撮影画像における所定領域内に収まっている場合、前記撮像部を回転駆動せずに前記撮像部の撮影範囲を前記一の撮影範囲に維持した状態で、前記撮影画像に基づき前記観察対象人物の観察処理を実行するステップと、を実行させるためのプログラムであることを特徴とする。
本発明に係る制御方法は、観察対象空間を撮影する撮像部と当該撮像部による撮影範囲を変更するために前記撮像部を回転駆動する駆動部とを備える観察システムの制御方法であって、ａ）前記駆動部による前記撮像部の回転駆動を制御して、前記撮像部の撮影範囲を、予め設定された所定数の撮影範囲のいずれかである一の撮影範囲に設定するステップと、ｂ）前記一の撮影範囲に対応する撮影画像内における観察対象人物の位置を検知するステップと、ｃ）前記観察対象人物の前記位置が前記撮影画像における所定領域内に収まっている場合、前記撮像部を回転駆動せずに前記撮像部の撮影範囲を前記一の撮影範囲に維持した状態で、前記撮影画像に基づき前記観察対象人物の観察処理を実行するステップと、を備えることを特徴とする。

【発明の効果】

【0014】

本発明によれば、観察対象人物のストレスの発生を回避ないし抑制しつつ、より広い観察範囲を確保することが可能である。

【図面の簡単な説明】

【0015】

【図1】観察システムを示す概略図である。

【図2】観察装置の概略構成を示す機能ブロック図である。

【図3】撮影画像および深度情報に基づいて被写体人物の各特定部位の３次元位置の情報が取得（算出）されることを示す概念図である。

【図4】カメラユニットに関する３つの姿勢角度（予め設定された３つの姿勢角度）を示す図である。

【図5】３つの撮影範囲（予め設定された３つの撮影範囲）を示す図である。

【図6】撮影範囲（被選択範囲）の変更処理について説明する図である。

【図7】撮影範囲（被選択範囲）の変更処理について説明する図である。

【図8】事前調整処理によって予め設定された発光量（撮影範囲ごとの発光量）を示す図である。

【図9】観察処理（見守り処理）を詳細に示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態を図面に基づいて説明する。

【0017】

＜１．システム概要＞
図１は、観察システム１を示す概略図である。図１に示すように、観察システム１は、複数の観察装置１０と複数の端末装置７０，８０とを備える。端末装置７０は、管理装置７０とも称され、端末装置８０は、携帯端末装置８０とも称される。なお、図１では、複数の観察装置１０および複数の端末装置７０，８０のうちの一部の装置１０，７０，８０が図示されている。

【0018】

ここでは、介護施設において観察システム１が利用される態様について主に例示する。なお、これに限定されず、観察システム１は、看護施設（病院等）あるいは一般住宅などで利用されてもよい。

【0019】

図１に示されるように、各観察装置１０と各端末装置７０，８０とは、ネットワーク１０８を介して互いに接続される。ネットワーク１０８は、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。また、ネットワーク１０８に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、管理装置７０はネットワーク１０８に対して有線接続され、各観察装置１０および各携帯端末装置８０はネットワーク１０８に対して無線接続される。あるいは、全ての装置１０，７０，８０がネットワーク１０８に対して無線接続されてもよい。

【0020】

各観察装置１０は、各観察対象人物（ここでは被介護者）の居室９０（たとえば、各被介護者の個室）ごとに配置される。各観察装置１０（および観察システム１）は、観察対象人物（被介護者等）に関する撮影画像等に基づき、観察対象人物を観察する装置である。詳細には、各観察装置１０は、当該撮影画像等に基づき、観察対象人物の骨格情報（複数の特定部位の位置情報等）（後述）、観察対象人物の位置情報、および観察対象人物に関する各種の「行動関連事象」等を検知（取得）する。

【0021】

「行動関連事象」は、人物の行動（動作）自体および／または人物の行動に関連する状態を含む。「行動関連事象」は、観察対象人物に関して検知されるべき事象（検知処理の対象となる事象）であり、検知対象事象とも称される。人物の「行動関連事象」としては、たとえば、「通常臥位（正常臥位（ベッド上で正常に寝ている状態））」、「ベッド上での（上半身）起き上がり」、「端座位」、「端臥位」、「ベッドからのずり落ち」、「正常立位」、「正常座位」、「転倒」等の各事象が例示される。

【0022】

なお、観察装置１０は検知装置とも称され、観察システム１は、検知システムとも称される。また、観察装置１０および観察システム１は、人物の挙動等を見守るものであることから、見守り装置および見守りシステムなどとも称される。

【0023】

＜２．観察装置１０の概要＞
図１および図２に示すように、観察装置１０は、カメラユニット２０と駆動部２７と処理ユニット３０とを備える。なお、図２は、観察装置１０の概略構成を示す機能ブロック図である。

【0024】

カメラユニット２０は、観察対象空間（ここでは居室９０内の空間）を撮影するカメラである。

【0025】

図１に示されるように、カメラユニット２０は、居室９０におけるベッド９２の近傍上方（天井あるいは壁面上部）等に設置され、居室９０内の様子を撮影することが可能である。処理ユニット３０は、カメラユニット２０によって撮影された画像（特に動画像）等に基づき、観察対象人物の複数の特定部位（眼、耳、鼻、首、胸、腰、肩、肘、手首、膝、足首等）の３次元位置（特にその時系列の情報）を取得することが可能である。なお、ここでは、カメラユニット２０と処理ユニット３０とが別々に設けられているが、これに限定されず、カメラユニット２０と処理ユニット３０とが一体化されて設けられてもよい。

【0026】

また、カメラユニット２０は、撮像部（センサ部）２３と照明部（発光部）２５とを備える（図２参照）。

【0027】

駆動部２７は、カメラユニット２０（より詳細には、撮像部２３および照明部２５等）を（機械的に）駆動して、当該カメラユニット２０の姿勢等を変更することが可能な処理部である。駆動部２７は、駆動機構（モータおよびギア等）を備えて構成される。なお、駆動部２７による駆動動作は、処理ユニット３０のコントローラ３１（後述）によって制御される。

【0028】

駆動部２７は、ここでは所定の１軸周りの回転駆動動作を実現することが可能な駆動機構（モータおよびギア等）を備えて構成される。駆動部２７の駆動（回転駆動動作）によって、カメラユニット２０の姿勢（姿勢角度）が変更される。たとえば、カメラユニット２０は、水平方向に平行な１軸（たとえば図４のＸ軸）周りに回転可能な状態で天井等に設置（配置）される。そして、駆動部２７の回転駆動動作に伴って、カメラユニット２０はＸ軸周りに回転される。また、当該回転駆動動作に伴って、カメラユニット２０の撮影角度（姿勢角度）が変更され、撮像部２３の視野範囲（撮影範囲）が変更される。なお、これに限定されず、駆動部２７は、２軸（あるいは３軸）周りの回転駆動動作によってカメラユニット２０（撮像部２３）を駆動するものであってもよく、並進駆動動作を伴うものであってもよい。また、駆動部２７は、カメラユニット２０の外部に設けられるものに限定されず、カメラユニット２０に内蔵されて撮像部２３等を駆動するものであってもよい。

【0029】

ここにおいて、撮像部２３の撮影範囲（視野範囲）は、原理的には、当該回転駆動動作に伴って無限数の撮影範囲（視野範囲）へと変化し得る。ただし、後述するように、この実施形態では、撮像部２３の撮影範囲（視野範囲）は、無限数の撮影範囲のうち、予め定められた所定数の撮影範囲（ここでは３つの撮影範囲Ｆ１，Ｆ２，Ｆ３）のみが利用される（図５参照）。換言すれば、カメラユニット２０に関する無限数の姿勢角度のうち、カメラユニット２０に関する３つの姿勢角度θ１，θ２，θ３のみが利用される（図４参照）。

【0030】

カメラユニット２０は、３次元カメラである。カメラユニット２０は、深度情報付き撮影画像等を取得する。具体的には、カメラユニット２０は、被写体物体（人物、壁、床９１、ベッド９２等）の撮影画像（赤外線画像等）１１０（図３参照）を撮像するとともに、撮影画像１１０内の各画素の深度情報（奥行き距離情報）１２０を取得する。撮影画像内の各画素の深度情報１２０は、撮影画像１１０内の各画素に対応する被写体物体（人物、壁、床、ベッド等）までの距離（カメラユニット２０からの距離）の情報であって当該撮影画像１１０に垂直な方向における距離の情報である。換言すれば、当該深度情報は、撮影画像平面の法線方向における距離情報（奥行き距離情報）である。また、複数の画素に関する深度情報１２０は、深度情報付き撮影画像である、とも表現される。

【0031】

ここでは、カメラユニット２０として、ＴＯＦ（Time of Flight）方式の３次元カメラが用いられる。カメラユニット２０は、上述のように、撮像部（センサ部）２３（図２）と照明部（発光部）２５とを備える。より具体的には、撮像部２３は、レンズ等の光学素子（光学系）と光（赤外光）を受光する撮像素子（赤外線画像センサ）とを有するカメラ（赤外線カメラ）として構成される。照明部２５は、撮像部２３の撮影範囲を照明するための照明光（ここでは赤外光）を出射する。詳細には、照明部２５は、ＴＯＦ方式における測距用赤外光を（照明光としても）出射（発光）する発光部である。撮像部２３と照明部２５とはその位置関係が固定され一体化されて構成されている。照明部２５は、駆動部２７により撮像部２３に付随して駆動され、変更後の撮影範囲を照明することが可能である。さらに、カメラユニット２０は、コントローラ２１をも備える。コントローラ２１は、コントローラ３１（後述）等と同様のハードウエア構成を備える。

【0032】

ＴＯＦ（Time of Flight）方式の３次元カメラは、光（ここでは赤外光）の飛行時間を利用して被写体までの距離を測定するカメラである。詳細には、照明部（発光部）２５から赤外光が出射（照射）された時点から、当該赤外光が被写体に到達し当該被写体からの反射光が撮像部（撮像素子）に戻ってくる時点までの時間に基づき、撮像部２３から被写体までの距離（奥行き距離情報）が撮影画像内の画素ごとに算出（取得）される。当該奥行き距離情報の算出処理は、カメラユニット２０内に組み込まれたコントローラ２１等によって実行される。なお、センサ部２３において、可視光画像（カラー画像等）を撮像するＲＧＢ画像センサ等が設けられ、カラー画像が撮影されてもよい。

【0033】

このようにして、カメラユニット２０は、被写体人物の撮影画像（撮影画像情報）１１０（図３参照）と当該撮影画像内の各画素の深度情報（各画素に対応する物体までの距離の情報（奥行き距離情報））１２０とを取得する。

【0034】

図３は、撮影画像１１０および深度情報１２０に基づいて被写体人物の各特定部位の３次元位置の情報が取得（算出）されることを示す概念図である。なお、図３では、撮影画像１１０および深度情報１２０等はそれぞれ模式的に示されている。たとえば、実際の撮影画像１１０においては人物は撮像されたままの状態で写っているのに対して、図３の撮影画像１１０においては人物は楕円を連結した図形で（簡略化して）表現されている。他の深度情報１２０においても同様である。また、実際の深度情報１２０は、各画素に対応する物体までの距離の情報を有しているのに対して、図３の深度情報１２０では、各画素に対応する物体までの距離が各画素の濃度に換算して表現されている。詳細には、距離の大小が濃度の大小（濃淡）で表現されている。

【0035】

まず、処理ユニット３０（特にコントローラ３１）は、撮影画像１１０を解析し、撮影画像１１０のテクスチャ情報等に基づき、被写体人物の骨格情報（骨格モデル情報）１４０（図３の左下部分参照）を取得する。当該骨格情報１４０は、被写体人物の複数の特定部位（詳細には、胸、鼻、首、肩、肘、手首、腰、膝、足首、目、耳等）（主に関節）と当該複数の特定部位を接続する骨格線（リンク）とを用いて、当該人物の骨格を（簡略化して）表現する情報である。図３の骨格情報１４０では、各特定部位は「点」で示され、各骨格線（接続線）は「線分」で示されている。撮影画像に基づく骨格情報１４０は、複数の特定部位（ここではＢ０～Ｂ１７）に関する情報（各部位の画像内での平面位置情報等）を有している。

【0036】

また、処理ユニット３０は、被写体人物の骨格情報１４０に基づき、被写体人物の各特定部位（たとえば、それぞれの代表位置）の撮影画像１１０内での平面位置情報（カメラ座標系における撮影画像内の２次元位置情報）を取得する。

【0037】

さらに、処理ユニット３０は、各特定部位に対応する（撮影画像１１０内での）平面位置における１または複数の画素の深度情報１２０に基づき、カメラユニット２０から当該各特定部位までの距離情報（カメラ座標系における奥行き位置情報）をも取得する。当該距離情報は、撮影画像平面の法線方向（カメラ視線方向）における奥行き情報である、とも表現される。

【0038】

このようにして、処理ユニット３０は、被写体人物の各特定部位の撮影画像内での平面位置に関する情報（撮影画像内での２次元位置情報）と当該被写体人物における各特定部位までの距離情報（奥行き情報）とを取得する。

【0039】

そして、処理ユニット３０は、被写体人物の各特定部位の撮影画像内での平面位置に関する情報と当該各特定部位までの距離情報（奥行き情報）とに基づいて、各特定部位の３次元位置情報１５０（居室空間内での３次元位置情報）を座標変換等によって取得する。具体的には、処理ユニット３０は、カメラ座標系Σ１での位置情報（撮影画像内での平面位置および撮影画像の法線方向における奥行き位置）を、居室９０（より詳細にはベッド９２）に対して固定された座標系Σ２での３次元位置情報１５０へと変換する。カメラ座標系Σ１は、たとえば、撮影画像平面に平行な直交２軸と当該撮影画像平面に垂直な方向に伸びる１軸との直交３軸を基準とする３次元直交座標系である。また、変換後の座標系Σ２は、たとえば、水平平面に平行な直交２軸と鉛直方向（高さ方向）に伸びる１軸との直交３軸を基準とする３次元直交座標系である。なお、この観察システム１（コントローラ３１等）においては、カメラユニット２０の実空間内における位置が予め取得され、当該カメラユニット２０の位置に基づく調整（カメラ位置等に関するキャリブレーション）が予め行われている。換言すれば、２つの座標系Σ１，Σ２の相互間の位置関係が予め調整されている。

【0040】

より詳細には、このような座標系Σ１，Σ２間のキャリブレーションは、カメラユニット２０の３つの姿勢角度θｉ（ｉ＝１，２，３）（図４参照（後述））のそれぞれについて実行される。換言すれば、当該キャリブレーションは、３つの撮影範囲Ｆｉのそれぞれについて実行される。

【0041】

なお、ここでは、処理ユニット３０のコントローラ３１が骨格情報１４０および各特定部位の３次元位置情報１５０等を生成しているが、これに限定されない。

【0042】

たとえば、カメラユニット２０のコントローラ２１が骨格情報１４０を生成してもよい。また、カメラユニット２０のコントローラ２１が、各特定部位の３次元位置情報１５０を生成してもよい。詳細には、コントローラ２１が、被写体人物の各特定部位の撮影画像内での位置に関する情報と各特定部位までの距離情報（奥行き情報）とを取得し、各特定部位の３次元位置情報１５０を座標変換等によって取得してもよい。そして、処理ユニット３０のコントローラ３１は、各特定部位の３次元位置情報１５０をカメラユニット２０から取得するようにしてもよい。あるいは、カメラユニット２０および処理ユニット３０の両コントローラ２１，３１が協働して、これらの各種の処理を実行してもよい。換言すれば、骨格情報１４０および３次元位置情報１５０は、両コントローラ２１，３１の双方または一方により生成され得る。

【0043】

また、ここでは、ＴＯＦ（Time of Flight）方式のカメラが３次元カメラとして例示されるが、これに限定されない。３次元カメラは、ステレオ視方式のカメラであってもよく、あるいは、赤外光のドットパターンの照射に基づき各画素の深度情報を取得するパターン照射方式による３次元カメラ等であってもよい。任意の方式の３次元カメラによって、観察対象人物に関する撮影画像と当該撮影画像内の被写体物体までの距離の情報である深度情報（各画素の深度情報等）とが取得されてもよい。

【0044】

また、観察装置１０は、撮影画像等に関する画像処理を実行する装置であることから、画像処理装置であるとも表現される。また、観察システム１は、画像処理システムなどとも表現される。

【0045】

＜３．処理ユニット３０＞
図２に示されるように、観察装置１０の処理ユニット３０は、コントローラ（制御部とも称する）３１と記憶部３２と通信部３４と操作部３５とを備える。

【0046】

コントローラ３１は、処理ユニット３０に内蔵され、観察装置１０を制御する制御装置である。

【0047】

コントローラ３１は、１又は複数のハードウェアプロセッサ（例えば、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit））等を備えるコンピュータシステムとして構成される。コントローラ３１は、ＣＰＵ等において、記憶部（ＲＯＭおよび／またはハードディスクなどの不揮発性記憶部）３２内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて観察装置１０にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて観察装置１０にインストールされるようにしてもよい。

【0048】

コントローラ３１は、被写体人物（観察対象人物等）に関する撮影画像情報をカメラユニット２０から取得するとともに、当該人物の各特定部位に関して当該各特定部位までの距離情報（奥行き情報）をカメラユニット２０から取得する。そして、コントローラ３１は、撮影画像情報（特に撮影画像内における被写体の各特定部位の平面位置情報）と距離情報（被写体の奥行き情報）とに基づいて、各特定部位の３次元位置情報を取得する。

【0049】

また、コントローラ３１は、学習モデル４００（図２）を用いて、対象人物の行動関連事象を検知する。

【0050】

学習モデル４００としては、たとえば、複数の層で構成されるニューラルネットワークモデルが用いられる。そして、所定の機械学習手法によって、ニューラルネットワークモデルにおける複数の層（入力層、（１又は複数の）中間層、出力層）の層間における重み付け係数等（学習パラメータ）が調整される。機械学習によって学習された後の学習モデル４００は、学習済みモデルとも称される。具体的には、学習モデル（学習器）４００の学習パラメータが所定の機械学習手法を用いて調整され、学習済みの学習モデル（学習済みモデル）４００が生成される。

【0051】

そのため、まず、コントローラ３１は、機械学習における学習段階の処理を実行する。具体的には、コントローラ３１は、学習モデル４００を複数の教師データを用いて予め機械学習しておく。各教師データとしては、人物の複数の特定部位の位置関係を示す情報等を入力とし且つ人物に関する行動関連事象を出力とする教師データが用いられる。そして、所定の機械学習手法によって、ニューラルネットワークモデルにおける複数の層（入力層、（１又は複数の）中間層、出力層）の層間における重み付け係数（学習パラメータ）等が調整される。これにより、学習済みの学習モデル４００（学習済みモデル）が生成（生産）される。

【0052】

その後、コントローラ３１は、学習済みの学習モデル４００を用いた推論段階の処理を実行する。具体的には、コントローラ３１は、当該複数の教師データを用いて機械学習された学習モデル４００（学習済みモデル）を利用して、対象人物の複数の特定部位の位置関係を示す情報に基づき、対象人物（検知対象人物ないし判定対象人物とも称する）に関する行動関連事象を検知する。より具体的には、コントローラ３１は、対象人物の複数の特定部位の位置関係等を学習済みモデル４００に入力し、学習済みモデル４００からの出力（当該対象人物の行動関連事象に関する事象検知処理の処理結果）を得る。

【0053】

ここでは、観察装置１０（コントローラ３１）は、機械学習における学習段階の処理と推論段階の処理との双方を行うものとする。ただし、これに限定されず、たとえば、学習段階の処理と推論段階の処理とは別の装置で行われてもよい。

【0054】

また、コントローラ３１は、通信部３４等と協働して、検知結果を端末装置７０，８０に向けて送信し、当該端末装置７０，８０は、当該検知結果を出力（表示出力および／または音声出力等）する。

【0055】

記憶部３２は、ハードディスクドライブ（ＨＤＤ）あるいはソリッドステートドライブ（ＳＳＤ）等の記憶装置で構成される。記憶部３２は、上述のプログラムおよび各種データ等を格納（記憶）する。たとえば、記憶部３２は、観察対象人物に関する複数の特定部位の３次元位置等の時系列データを格納（記憶）するとともに、学習モデル４００の学習および利用等に用いる各種データおよびプログラム等を記憶する。

【0056】

通信部３４は、ネットワーク１０８を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、観察装置１０は、所望の相手先（たとえば、端末装置７０，８０）との間で各種のデータを授受することが可能である。

【0057】

操作部３５は、観察装置１０に対する操作入力を受け付ける操作入力部３５ａと、各種情報の表示出力を行う表示部３５ｂとを備えている。

【0058】

＜４．処理の概要＞
つぎに、本実施形態における処理の概要について説明する。

【0059】

本願実施形態とは異なる技術（比較例とも称する）として、上述のように、人物（観察対象人物）の位置を検出しカメラの向き（カメラの視線方向）を常に当該人物（の位置）に向けるように常時追従制御することが考えられる。より詳細には、観察対象人物が常に撮影画像の中央に存在するように駆動部２７（モータ等）によりカメラユニット２０を駆動して、観察対象人物を常に追尾する処理（常時追尾処理）を実行すること等が考えられる。しかしながら、そのような技術（比較例）においては、人物の動きに応じてカメラの駆動音が高頻度に（連続的に）発生する。それ故、当該人物にストレス（心理的負荷）を与えてしまう可能性が高い。

【0060】

そこで、この実施形態では、撮像部２３の撮影範囲（視野範囲）として、無限数の撮影範囲のうち、予め設定された所定数（ここでは３つ）の撮影範囲のみが利用される（図５参照）。換言すれば、カメラユニット２０に関する無限数の姿勢角度のうち、カメラユニット２０に関する３つの姿勢角度（予め設定された３つの姿勢角度）のみが利用される（図４参照）。詳細には、コントローラ３１は、予め設定された所定数（ここでは３つ）の撮影範囲のいずれかに撮像部２３の撮影範囲を変更する。そして、コントローラ３１は、基本的には３つの撮影範囲のいずれかでのみ、特定の観察動作（特に、観察対象人物に関する事象検知処理）を実行する。

【0061】

より詳細には、コントローラ３１は、撮像部２３の撮影範囲を当該所定数の撮影範囲のうちの一の撮影範囲に変更し且つ駆動部２７による撮像部２３の駆動を停止した状態で、撮像部２３により（新たに順次に）撮影される撮影画像に基づき観察対象人物を観察する。具体的には、撮像部２３の駆動停止期間において、コントローラ３１は、観察対象人物の骨格情報を検知する処理（特定部位検知処理等）、観察対象人物の位置を検知する処理（人物位置検知処理）、および観察対象人物に関する行動関連事象を検知する処理（事象検知処理）等を、観察対象人物の観察処理として実行する。ただし、これらの各種の処理の全てが実行されることを要さず、その一部の処理のみが実行されてもよい。あるいは、撮像部２３により（新たに順次に）撮影される撮影画像を取得して当該撮影画像を表示部３５ｂ等に表示する処理のみが、観察対象人物の観察処理として実行されてもよい。

【0062】

なお、この実施形態では、撮像部２３による撮影画像の取得処理、ならびに当該撮影画像に基づく骨格情報検知処理および人物位置検知処理は、駆動部２７による撮像部２３（カメラユニット２０）の駆動期間（非停止期間）中においても継続される。一方、観察対象人物に関する事象検知処理は、撮像部２３の駆動期間（非停止期間）においては一旦中断され、駆動完了後（停止後）に再開される。

【0063】

図４は、カメラユニット２０に関する３つの姿勢角度（予め設定された３つの姿勢角度）θ１，θ２，θ３を示す図である。ここでは、カメラユニット２０に関する無限数の姿勢角度のうち、図４に示されるような３つの姿勢角度θ１，θ２，θ３のみが利用される。なお、カメラユニット２０の姿勢角度θは、水平方向とカメラユニット２０（撮像部２３）の視線方向とのなす角度（俯角（水平方向に対する見下ろし角度））で表現される。

【0064】

図４の最下段においては、天井に設置されたカメラユニット２０が真下のベッド付近を撮影している（図５最下段参照）。このときのカメラユニット２０の角度θ１は、たとえば（俯角）９０度である。

【0065】

図４の中段においては、カメラユニット２０は、角度θ１を有する状態から、Ｘ軸を中心に反時計回りに（俯角を低減する向きに）数十度（たとえば２５度（degree））回転し、角度θ２を有する状態に遷移している。カメラユニット２０の角度θ２は、たとえば（俯角）６５度である。このときのカメラユニット２０（θ＝θ２）は、ベッドよりも扉（出入口）９３側（図４の右側）に所定程度ずれた領域を主に撮影している（図５中段参照）。

【0066】

図４の最上段においては、カメラユニット２０は、角度θ２を有する状態から、（俯角を低減する向きに）Ｘ軸周りにさらに数十度（たとえば２５度（degree））回転し、角度θ３を有する状態に遷移している。カメラユニット２０の角度θ３は、たとえば（俯角）４０度である。このときのカメラユニット２０（θ＝θ３）は、さらに扉（出入口）９３側（図４の右側）に所定程度ずれた領域を主に撮影している（図５最上段参照）。

【0067】

なお、これらの３つの角度θ１，θ２，θ３の具体的な値は、上述の値に限定されず、その他の値が適宜採用されてもよい。

【0068】

また、図５は、撮像部２３に関する３つの撮影範囲（予め設定された３つの撮影範囲）を示す図である。ここでは、撮像部２３に関する無限数の撮影範囲（視野範囲）のうち、図５に示されるような３つの撮影範囲（視野範囲）Ｆ１，Ｆ２，Ｆ３のみが利用される。３つの撮影範囲Ｆ１，Ｆ２，Ｆ３は、図４の（カメラユニット２０の）姿勢角度θ１，θ２，θ３にそれぞれ対応する。すなわち、撮影範囲Ｆ１は、姿勢角度θ１に対応する撮影範囲であり、撮影範囲Ｆ２は、姿勢角度θ２に対応する撮影範囲である。また、撮影範囲Ｆ３は、姿勢角度θ３に対応する撮影範囲である。換言すれば、これらの撮影範囲Ｆ１，Ｆ２，Ｆ３は、カメラユニット２０の姿勢角度θを角度θ１，θ２，θ３にそれぞれ変更することによって実現される。

【0069】

図５の最下段の撮影範囲Ｆ１は、天井から真下のベッド付近を見た様子を示す撮影範囲である。撮影範囲Ｆ１は、ベッド付近に存在する（比較的近い位置の）人物を撮影できる撮影範囲であり、特に、ベッド全体の様子を撮影できる撮影範囲である。換言すれば、撮影範囲Ｆ１は、居室上部（天井あるいは壁面上部等）に設置されたカメラによって、その直下付近を見下ろして撮影される近景の撮影範囲である。

【0070】

図５の中段の撮影範囲Ｆ２は、扉（居室出入口）９３側へ向けてベッド付近から若干遠ざかった人物を撮影することが可能な撮影範囲である。撮影範囲Ｆ２も、ベッド付近に存在する人物を撮影できる撮影範囲である。ただし、撮影範囲Ｆ２は、撮影範囲Ｆ１と比較して、より遠くベッドから（撮像部２３からも）離れた人物を撮影できる撮影範囲である。

【0071】

図５の最上段の撮影範囲Ｆ３は、ベッド付近から大きく遠ざかった人物（特に、扉９３側付近へと移動した人物）を撮影することが可能な撮影範囲である。撮影範囲Ｆ３は、ベッドから離れた出入口（居室出入口）付近に存在する（比較的遠い位置の）人物を撮影できる撮影範囲である、とも表現される。換言すれば、撮影範囲Ｆ３は、居室上部に設置されたカメラによって、遠く離れた居室出入口付近を若干見下ろして撮影される遠景の撮影範囲である。このように、撮影範囲Ｆ３は、撮影範囲Ｆ１，Ｆ２と比較して、より遠くベッドから（撮像部２３からも）離れた人物を撮影できる撮影範囲である。

【0072】

このように、当該３つの撮影範囲Ｆ１，Ｆ２，Ｆ３は、近景（図５の最下段参照）から遠景（図５の最上段参照）へと段階的に変化する所定段階（３段階）の撮影範囲（非連続的な撮影範囲）である。換言すれば、撮影範囲Ｆ３，Ｆ２，Ｆ１は、この順序で、より遠く撮像部２３から離れた人物を撮影することが可能な撮影範囲である。詳細には、撮影範囲Ｆ３は、撮影範囲Ｆ３，Ｆ２，Ｆ１のうち、撮像部２３（あるいは撮像部２３に近い起点位置（ここではベッド位置））から最も遠く離れた位置に存在する人物を撮影することが可能な撮影範囲である。また、撮影範囲Ｆ１は、撮影範囲Ｆ３，Ｆ２，Ｆ１のうち、撮像部２３（あるいは撮像部２３に近い起点位置（ここではベッド位置））に最も近い位置に存在する人物を撮影することが可能な撮影範囲である。

【0073】

これら３つの撮影範囲Ｆ１，Ｆ２，Ｆ３は、ステップＳ２０（図９参照）の観察処理（後述）よりも前に予め行われる事前調整処理（後述）において予め設定される。さらに、この事前調整処理においては、これらの３つの撮影範囲のそれぞれについて、発光量設定処理、画像前処理、ベッドエリア設定処理等が実行される。事前調整処理については後述する。

【0074】

なお、ここでは、予め設定された所定数の撮影範囲として３つの撮影範囲が例示されているが、これに限定されない。たとえば、予め設定された所定数の撮影範囲は、２つの撮影範囲、あるいは４つ以上の撮影範囲であってもよい。

【0075】

＜５．観察処理の詳細＞
＜撮影範囲の変更処理＞
本実施形態では、所定数（ここでは３つ）の撮影範囲の中から一の撮影範囲が選択され且つ撮像部２３が駆動部２７によって駆動されていない停止状態において、当該一の撮影範囲に基づき観察対象人物が観察される。換言すれば、撮像部２３の撮影範囲が所定数の撮影範囲のうちの一の撮影範囲（一の被選択範囲）に変更され且つ駆動部２７による撮像部２３の駆動が停止された状態で、撮像部２３により（新たに）撮影される撮影画像に基づき観察対象人物が観察される。

【0076】

詳細には、撮影画像内における観察対象人物の位置が、撮影画像に基づき随時（所定のサンプリング時間間隔で）検知される。検知された位置（観察対象人物の位置）が撮影画像におけるトリガー領域Ｇ（後述）内に移動した場合にのみ、駆動部２７による撮像部２３の駆動が行われる。具体的には、撮像部２３の撮影範囲を変更する処理（一の撮影範囲から別の撮影範囲へと変更する処理）が行われる。そして、変更後の撮影範囲にて撮影される撮影画像に基づき観察対象人物が観察される。

【0077】

一方、観察対象人物の位置が撮影画像における非トリガー領域Ｃ内（トリガー領域Ｇ（後述）を除く領域Ｃ）に収まっている場合には、駆動部２７による撮像部２３の駆動は行われない。そして、駆動部２７を駆動せずに撮像部２３の撮影範囲を当該一の撮影範囲に維持した状態（カメラ駆動停止状態）で、撮像部２３により（更に）撮影される撮影画像に基づき観察対象人物が観察される。

【0078】

このような処理によれば、駆動動作の発生が抑制される。それ故、駆動音（モータ駆動音等）に起因する（観察対象人物の）ストレスの発生を回避ないし抑制することが可能である。

【0079】

図６および図７は、このような撮影範囲（被選択範囲）の変更処理について説明する図である。当該変更処理は、３つの撮影範囲Ｆ１，Ｆ２，Ｆ３の切り替え処理（選択処理）とも表現される。

【0080】

図６および図７に示されるように、「トリガー領域」（撮影範囲の更新トリガーとなる領域）Ｇおよび「非トリガー領域」（トリガー領域以外の領域）Ｃが、撮影範囲Ｆごとに設定されている。なお、図６および図７においては、トリガー領域Ｇには斜めハッチングあるいはクロスハッチングが付されており、非トリガー領域Ｃには砂地ハッチングが付されている。

【0081】

具体的には、撮影範囲Ｆ１においては、当該撮影範囲Ｆ１内の上端側領域（たとえば、上端側２０％）がトリガー領域Ｇ（詳細にはＧ１１）として設定されている。一方、トリガー領域Ｇ１１以外の領域（上側の辺縁部Ｇ１１を除く領域）は、非トリガー領域Ｃ（詳細にはＣ１）として設定されている。

【0082】

撮影範囲Ｆ２においては、当該撮影範囲Ｆ２内の上端側領域（たとえば、上端側２０％）がトリガー領域Ｇ（詳細にはＧ２１）として設定されている。また、撮影範囲Ｆ２内の下端側領域（たとえば、下端側２０％）がトリガー領域Ｇ（詳細にはＧ２２）として設定されている。一方、トリガー領域Ｇ２１，Ｇ２２以外の領域（中央領域）は、非トリガー領域Ｃ（詳細にはＣ２）として設定されている。

【0083】

撮影範囲Ｆ３においては、当該撮影範囲Ｆ１内の下端側領域（たとえば、下上端側２０％）がトリガー領域Ｇ（詳細にはＧ３２）として設定されている。一方、トリガー領域Ｇ３２以外の領域は、非トリガー領域Ｃ（詳細にはＣ３）として設定されている。

【0084】

上端側のトリガー領域Ｇ１１，Ｇ２１は、比較的遠景へと撮影範囲を（順次に）変更する（Ｆ１→Ｆ２→Ｆ３）際に利用されるトリガー領域である。逆に、下端側のトリガー領域Ｇ３２，Ｇ２２は、比較的近景へと撮影範囲を（順次に）変更する（Ｆ３→Ｆ２→Ｆ１）際に利用されるトリガー領域である。

【0085】

観察対象人物の位置は、観察対象人物の骨格情報１４０に基づき、所定部位の撮影画像内での平面位置情報として取得される。また、比較的遠景へと撮影範囲を変更する際と比較的近景へと撮影範囲を変更する際とでは、互いに異なる部位の位置が観察対象人物の位置として利用されてもよい。ここでは、比較的遠景へと撮影範囲を変更する際には、人物の首の位置が観察対象人物の位置として利用され、人物の腰の位置が観察対象人物の位置として利用される。

【0086】

＜動作例＞
以下、より具体的な動作例について説明する。

【0087】

図６の最下段に示すように、撮像部２３の撮影範囲が撮影範囲Ｆ１である場合には、撮影範囲Ｆ１で撮影された撮影画像における、人物の首の位置とトリガー領域Ｇ１１との位置関係が判定される。そして、検知された位置（人物の首の位置）が撮影画像におけるトリガー領域Ｇ１１内に移動した場合にのみ、駆動部２７による撮像部２３の駆動が行われて撮像部２３の撮影範囲が撮影範囲Ｆ２へと変更される。

【0088】

たとえば、撮像部２３の撮影範囲が撮影範囲Ｆ１（図６最下段参照）である場合において、人物（観察対象人物）がベッドで寝ている状況、あるいは、当該人物がベッドから降りてベッドの横付近に存在する状況を想定する。このような状況では、当該人物の位置（詳細にはその首の位置）は未だ非トリガー領域Ｃ１内に存在すると判定される。そして、駆動部２７による撮像部２３の駆動は行われず、撮像部２３の撮影範囲は撮影範囲Ｆ１に維持される。

【0089】

一方、当該人物がベッドから降りて居室内の中央付近へと歩いて向かう状況を想定する。このような状況において、当該人物の位置（詳細にはその首の位置）がトリガー領域Ｇ１１内に移動したと判定されると、駆動部２７によって撮像部２３が駆動され、撮像部２３の撮影範囲が撮影範囲Ｆ１から撮影範囲Ｆ２へと変更される。更新後の撮影範囲Ｆ２内では、その中央付近に人物が存在する（写っている）。当該人物の位置は、撮影範囲Ｆ２の非トリガー領域Ｃ２内に存在する。

【0090】

同様に、撮像部２３の撮影範囲が撮影範囲Ｆ２（図６中段参照）である場合には、撮影範囲Ｆ２で撮影された撮影画像における、人物の首の位置とトリガー領域Ｇ２１，Ｇ２２との位置関係が判定される。そして、検知された位置（人物の首の位置）が撮影画像におけるトリガー領域Ｇ２１（，Ｇ２２）内に移動した場合にのみ、駆動部２７による撮像部２３の駆動が行われて撮像部２３の撮影範囲が撮影範囲Ｆ３（，Ｆ１）へと変更される。

【0091】

たとえば、撮像部２３の撮影範囲が撮影範囲Ｆ２（図６中段参照）である場合において、人物が居室中央の椅子付近に存在する状況を想定する。この状況では、当該人物の位置（詳細にはその首の位置）は未だ非トリガー領域Ｃ２内に存在すると判定される。そして、駆動部２７による撮像部２３の駆動は行われず、撮像部２３の撮影範囲は撮影範囲Ｆ２に維持される。人物が当該椅子に座って寛いでいるような状況では、駆動部２７による駆動動作は行われない。

【0092】

一方、人物（観察対象人物）がさらに扉９３側へと向かう状況においては、当該人物の位置（詳細にはその首の位置）がトリガー領域Ｇ２１内に移動したことが判定される。これに応じて、駆動部２７によって撮像部２３が駆動され、撮像部２３の撮影範囲が撮影範囲Ｆ２から撮影範囲Ｆ３へと変更される。更新後の撮影範囲Ｆ３内では、その中央付近に人物が存在する（写っている）。人物の位置は、撮影範囲Ｆ３の非トリガー領域Ｃ３内に存在する。

【0093】

また、人物の位置が撮影範囲Ｆ３の非トリガー領域Ｃ３内に存在する状況（非トリガー領域Ｃ３にて当該人物が体操をしている状況あるいは椅子（不図示）に座っている状況等）においては、駆動部２７による撮像部２３の駆動は行われず、撮像部２３の撮影範囲は撮影範囲Ｆ３に維持される。

【0094】

逆に、図７に示されるように、人物が扉９３付近からベッド９２へと移動する際には、下端側のトリガー領域Ｇ３２，Ｇ２２と人物位置（詳細には人物の腰の位置）との位置関係が判定されつつ、撮像部２３の撮影範囲が撮影範囲Ｆ３から撮影範囲Ｆ１へと順次に変更される（Ｆ３→Ｆ２→Ｆ１）。

【0095】

たとえば、撮像部２３の撮影範囲が撮影範囲Ｆ３（図７最上段参照）である場合において、人物が扉（出入口）９３からベッドの方に向かって歩いている状況を想定する。

【0096】

この状況において、人物の位置（詳細には当該人物の腰の位置）が非トリガー領域Ｃ３内に存在するときには、駆動部２７による駆動は行われず撮影範囲Ｆ３が維持される。一方、当該人物の位置（詳細には当該人物の腰の位置）がトリガー領域Ｇ３２内へと移動したときには、駆動部２７による駆動が行われ、撮像部２３の撮影範囲が撮影範囲Ｆ３から撮影範囲Ｆ２（図７中段参照）へと変更される。変更直後においては、人物の位置は撮影範囲Ｆ２の非トリガー領域Ｃ２内に存在する。

【0097】

その後、人物の位置（詳細には当該人物の腰の位置）が非トリガー領域Ｃ２内に存在するときには、駆動部２７による駆動は行われず撮影範囲Ｆ２が維持される。一方、当該人物の位置（詳細には当該人物の腰の位置）がトリガー領域Ｇ２２内へと移動したときには、駆動部２７による駆動が行われ、撮像部２３の撮影範囲が撮影範囲Ｆ２から撮影範囲Ｆ１（図７最下段参照）へと変更される。

【0098】

なお、ここでは撮像部２３の撮影範囲が撮影範囲Ｆ１から撮影範囲Ｆ３（Ｆ１→Ｆ２→Ｆ３）へと（図６参照）、あるいは撮影範囲Ｆ３から撮影範囲Ｆ１（Ｆ３→Ｆ２→Ｆ１）へと（図７参照）変遷する態様について主に例示している。ただし、これに限定されず、撮像部２３の撮影範囲は、撮影範囲Ｆ１から撮影範囲Ｆ２へ変更された後に再び撮影範囲Ｆ１に戻ってもよい。あるいは、撮像部２３の撮影範囲は、撮影範囲Ｆ３から撮影範囲Ｆ２へ変更された後に再び撮影範囲Ｆ３に戻ってもよい。

【0099】

＜処理フロー詳細＞
図９は、上述のような観察処理（見守り処理）を詳細に示すフローチャートである。図９の処理（ステップＳ２０の処理とも称する）は、コントローラ３１によって実行される。なお、このステップＳ２０の処理に先立って、後述する事前調整処理（ステップＳ１０の処理）が既に実行されているものとする。

【0100】

まず、ステップＳ２１では、各種の初期処理が実行される。具体的には、初期の撮影範囲を設定する処理（たとえば、被介護者がベッド９２に寝ている状態にて、介護者の入力に応じて撮影範囲Ｆ１を撮像部２３の撮影範囲に設定する処理等）等が実行される。また、当該初期の撮影範囲に応じた各種処理が実行される。たとえば、撮影範囲Ｆ１に対応して予め準備された各種の設定が採用される。詳細には、撮影範囲Ｆ１に対応して予め準備された、発光量（照明部２５の発光量）、画像前処理パラメータ（明るさ調整パラメータ等）、およびベッドエリア等が採用される。

【0101】

つぎに、ステップＳ２２においては、撮像部２３により撮影された撮影画像（撮影範囲Ｆ１の撮影画像）が取得されるとともに、当該撮影画像に基づき、人物を観察する観察処理が実行される。当該観察処理としては、たとえば、人物の骨格情報の検知処理、人物の位置検知処理、および人物の行動関連事象に関する事象検知処理が実行される。

【0102】

ステップＳ２３においては、人物（観察対象人物）がトリガー領域Ｇと非トリガー領域Ｃとのいずれに存在するかが判定される。

【0103】

人物が非トリガー領域Ｃ内に存在すると判定される場合、カメラ駆動停止状態が継続され（ステップＳ２４）、ステップＳ２２に戻る。ステップＳ２２，Ｓ２３，Ｓ２４のループ処理によって、カメラ駆動停止状態での観察処理が継続される。

【0104】

一方、人物がトリガー領域Ｇ内に存在すると判定される場合、ステップＳ２３からステップＳ２５に進み、駆動部２７による駆動動作によって撮像部２３の撮影範囲が変更される。たとえば、撮影範囲Ｆ１から撮影範囲Ｆ２への遷移等が行われる。また、ステップＳ２６において、変更後の撮影範囲に対応して予め準備された各種の設定への変更処理が実行される。詳細には、当該変更後の撮影範囲（たとえば撮影範囲Ｆ２）に対応して予め準備された、発光量（照明部２５の発光量）、画像前処理パラメータ、およびベッドエリア等への変更処理が実行される。

【0105】

＜実施形態の効果＞
以上のように、上記実施形態においては、撮像部２３の撮影範囲が（予め設定された）所定数の撮影範囲のうちの一の撮影範囲（一の被選択範囲）に変更され且つ駆動部２７による撮像部２３の駆動が停止した状態で、撮像部２３により撮影される撮影画像に基づき観察対象人物が観察される。

【0106】

このような処理によれば、駆動部２７の駆動音（モータ駆動音等）に起因する（観察対象人物の）ストレスの発生を回避ないし抑制することが可能である。また、所定数の撮影範囲を切り替えることによって、より広い観察範囲を確保することが可能である。

【0107】

また、広い観察範囲を確保するにあたり、比較的少数（ここでは１台）のカメラで済むので、複数台のカメラを設ける場合に比べてコストを抑制することが可能である。

【0108】

特に、上記実施形態においては、観察対象人物の検知位置が撮影画像における非トリガー領域Ｃ内に収まっている場合、駆動部２７は駆動されずに撮像部２３の撮影範囲が一の撮影範囲に維持される。換言すれば、検知された位置（観察対象人物の検知位置）が撮影画像におけるトリガー領域Ｇ（後述）内に移動した場合にのみ、駆動部２７による撮像部２３の駆動が行われる。

【0109】

これによれば、人物が撮影範囲内で多少移動しても駆動停止状態が維持される。それ故、駆動部２７の駆動音（モータ駆動音等）に起因する（観察対象人物の）ストレスの発生を一層確実に回避ないし抑制することが可能である。

【0110】

＜７．事前調整処理＞
つぎに、所定数の撮影範囲（ここでは３つの撮影範囲Ｆ１，Ｆ２，Ｆ３）に関する事前調整処理（ステップＳ１０（不図示））について説明する。この事前調整処理（事前設定処理とも称される）は、上述のような観察処理（見守り処理）（図９のステップＳ２０）に先立って実行される。

【0111】

まず、上述のように、３つの撮影範囲Ｆｉ（ｉ＝１，２，３）に対応するカメラの姿勢角度θｉがそれぞれ設定される。具体的には、撮影範囲Ｆ１には角度θ１が設定され、撮影範囲Ｆ２には角度θ２が設定され、撮影範囲Ｆ３には角度θ３が設定される。

【0112】

さらに、発光量設定、画像前処理パラメータ設定、およびベッドエリア設定等が撮影範囲Ｆｉごとに実行される。

【0113】

発光量設定は、照明部２５の発光量（詳細には、ＴＯＦ方式における測距用赤外光の発光量）を撮影範囲Ｆｉごとに調整し設定する処理である。各撮影範囲Ｆｉに適した発光量Ｌｉ（図８参照）がそれぞれ予め設定される。このような発光量設定によって、撮影範囲Ｆｉに応じた発光量Ｌｉが（ステップＳ２０よりも前に）予め定められる。

【0114】

撮影範囲Ｆ１は、その観察対象人物までの距離が（他の撮影範囲よりも近い）比較的近い撮影範囲であり、逆に、撮影範囲Ｆ３は、その観察対象人物までの距離が（他の撮影範囲よりも遠い）比較的遠い撮影範囲である。このような事情を反映して、撮影範囲Ｆ３に対応する発光量Ｌ３は、撮影範囲Ｆ１に対応する発光量Ｌ１よりも大きな値に設定される。また、撮影範囲Ｆ２に対応する発光量Ｌ２としては、中間的な値が設定される（Ｌ１＜Ｌ２＜Ｌ３）。なお、適切な発光量に大きな相違が無い場合等においては、Ｌ１＝Ｌ２あるいはＬ２＝Ｌ３であってもよい。

【0115】

これによれば、無限数の撮影範囲ではなく所定数（ここでは３つ）の撮影範囲Ｆｉのみに関する調整を行えば済むので、発光量の調整を容易化することが可能である。また、限定された個数の撮影範囲Ｆｉのそれぞれに適した光量を適切に設定することが可能である。たとえば、ステップＳ２０（図９参照）にて撮影範囲Ｆ３が撮影される際に、十分に大きな値として設定された発光量Ｌ３が用いられることによって、比較的遠くの被写体（人物等）にまで十分に届く光量（測距用の赤外線光量）を確保することが可能である。一方、撮影範囲Ｆ１が撮影される際には（比較的小さな）発光量Ｌ１が用いられることによって、発光量を適切に抑制することが可能である。

【0116】

画像前処理パラメータ設定は、撮影画像の明るさ等を調整する処理である。撮影範囲Ｆｉごとに被写体までの距離が異なること、および、撮影範囲Ｆｉごとに発光量Ｌｉが異なることに起因して、撮影画像の明るさ等を適切に調整するパラメータが設定されることが好ましい。画像前処理パラメータ設定では、撮影範囲Ｆｉごとに適切なパラメータが設定される。たとえば、適応的ヒストグラム平滑化処理等が実行され、適切なパラメータ（明るさ調整パラメータ）が設定される。

【0117】

画像前処理パラメータ設定に関して、この実施形態では、無限数の撮影範囲ではなく所定数（ここでは３つ）の撮影範囲Ｆｉのみに関する調整をすれば済む。したがって、調整を容易化することが可能である。

【0118】

ベッドエリア設定は、撮影画像内におけるベッドエリアを設定（指定）する処理である。ベッドエリア設定は、各撮影範囲Ｆｉ内でのベッド９２の上面領域の範囲を、多角形（四角形）等で各撮影範囲Ｆｉの撮影画像内に描画して指定すること等によって実行される。さらに、ベッド高さを数値入力して指定すること等によって、ベッド９２の３次元位置が特定される。設定されたベッドエリア（３次元的なベッド空間）と人物の各特定部位との位置関係等を用いて、人物（観察対象人物）に関する行動関連事象が検知される。

【0119】

ベッドエリア設定に関して、この実施形態では、無限数の撮影範囲ではなく３つの撮影範囲Ｆｉのみに関する設定操作を行えば済む。したがって、ベッドエリア設定を容易化することが可能である。特に、介護者（介護スタッフ）がベッドエリア設定を行う場合、当該介護者の負担を軽減することが可能である。

【0120】

また、限定された個数の撮影範囲Ｆｉについて、それぞれのベッドエリアを２次元的に指定する操作で比較的容易に指定することが可能である。

【0121】

＜８．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

【0122】

＜不動体判定＞
たとえば、上記実施形態において、各撮影範囲Ｆｉにおいて、差分画像を用いた動体判定（不動体判定）がさらに行われてもよい。これによれば、壁面（あるいは床面等）に張られたポスター内の写真人物等（不動体）を、生体の人物（動体）と正確に区別することが可能である。

【0123】

具体的には、各撮影範囲Ｆｉにおいて、或る時点での撮影画像（静止画像）と別の時点での撮影画像（静止画像）との差分画像に基づき、動体部分が検知される。より具体的には、当該差分画像における差分発生領域（相違領域）が動体部分として検知される。

【0124】

詳細には、撮影範囲Ｆｉ内の或る領域にて人物の骨格が画像特徴に基づき検知される場合、或る時点での撮影画像内にて当該骨格が検知された領域（検知領域）と、別時点での撮影画像内における同位置の領域との差分画像が算出される。そして、差分画像に基づき両領域の間に有意な差異が存在すると判定される場合、当該検知領域に動体が存在する旨が判定される。すなわち、生体の人物が存在する旨が判定される。

【0125】

無限数の撮影範囲ではなく所定数（ここでは３つ）の撮影範囲Ｆｉのみが人物検知に用いられる場合、一定以上の期間において同じ撮影範囲Ｆｉが継続し、当該同じ撮影範囲Ｆｉによる異なる時点での撮影画像が得られる。それ故、各撮影範囲Ｆｉにて差分画像を用いて動体判定（不動体判定）を実現することが可能である。換言すれば、差分画像を用いた判定処理が採用されることによって、比較的容易に動体判定（不動体判定）を実現することが可能である。

【0126】

＜２次元カメラ＞
また、上記実施形態においては、カメラユニット２０として３次元カメラが採用されているが、これに限定されず、カメラユニット２０は、２次元カメラであってもよい。

【0127】

＜撮影範囲ごとの学習モデル＞
また、上記実施形態においては、３つの撮影範囲Ｆｉに共通して同じ学習モデル４００が用いられているが、これに限定されない。たとえば、３つの撮影範囲Ｆｉのそれぞれに関して、互いに異なる学習モデル４００が用いられてもよい。具体的には、各撮影範囲Ｆｉに特化した個別の学習モデルが用いられてもよい。以下、このような変形例について説明する。

【0128】

当該変形例では、撮影範囲Ｆ１に関しては、上から見下ろすような視点による撮影画像内の人物姿勢（各関節の位置関係）に適した学習モデル４００（４０１（不図示））が用いられる。一方、撮影範囲Ｆ３に関しては、横から眺めるような視点による撮影画像内の人物姿勢（関節間の位置関係）に適した学習モデル４００（４０３（不図示））が用いられる。また、撮影範囲Ｆ２に関しては、中間的な視点による撮影画像内の人物姿勢（関節間の位置関係）に適した学習モデル４００（４０２（不図示））が用いられる。なお、必ずしも撮影範囲Ｆｉごとに異なる学習モデル４００が用いられなくてもよい。たとえば、撮影範囲Ｆ２に関しては、撮影範囲Ｆ１（あるいはＦ３）と同じ学習モデル４０１（あるいは４０３）が用いられてもよい。

【0129】

たとえば、撮影範囲Ｆ１の撮影画像内においては、ベッド上に寝ている人物（横臥姿勢を有する人物）の首、肩、腰、膝、足首等の関節群は、比較的大きな間隔を空けて特定の位置関係（２次元的（平面的）な位置関係）を有しつつ平面的に配置される。一方、立位姿勢を有する人物の首、肩、腰、膝、足首等の関節群は、当該撮影画像内において特定の位置関係を有しつつ比較的近くに存在する。また、座位姿勢を有する人物の首、胸、腰、の関節群は、立位姿勢での位置関係に類似する位置関係を有するものの、膝、足首の関節群は、腰から（或る方向に）若干離れた位置に存在する。撮影範囲Ｆ１に関しては、このような撮影画像内での平面的な特定の位置関係（上から見下ろしたときの特定の位置関係）を機械学習する学習モデル４０１が用いられてもよい。

【0130】

逆に、撮影範囲Ｆ３の撮影画像内においては、立位姿勢を有する人物の首、肩、腰、膝、足首等の関節群は、比較的大きな間隔を空けて上下方向に（特定の位置関係を有するように）配置される。また、座位姿勢を有する人物の首、胸、腰の関節群は上下方向に配置され、腰、膝の関節群は上下方向以外の方向（水平方向等）に配置される。撮影範囲Ｆ３に関しては、このような撮影画像内での平面的な特定の位置関係（横から見たときの特定の位置関係）を機械学習する学習モデル４０３が用いられてもよい。また、撮影範囲Ｆ３はベッド付近の領域を殆ど含まないので、学習モデル４０３は、「ベッドからのずり落ち」などの一部の事象を検知しなくてもよい。

【0131】

仮に、無限数の撮影角度θに応じた無限数の撮影範囲Ｆに対応するような一の学習モデル（共通の学習モデル）を構築する場合、非常に様々な撮影角度に応じた多様な状況を適切に反映させるため、学習モデル４００は比較的大きな（複雑な）モデル（パラメータ数が多い及び／又は処理負荷が大きいモデル）になることが多い。

【0132】

一方、上記変形例においては、特定の撮影角度からの（特定の撮影範囲の）撮影画像に応じた学習モデル４００、より詳細には、各撮影範囲Ｆｉに特化した学習モデル４００が構築される。これによれば、各撮影範囲Ｆｉにおける固有の特徴を適切に反映しつつ比較的小さな（簡易な）学習モデル４０１，４０２，４０３（処理負荷が小さい及び／又はパラメータ数が少ないモデル）を構築することが可能である。

【0133】

それ故、ＣＰＵの処理負荷を低減すること、及び／又は、メモリ容量の低減を図ることが可能である。また、その結果、同じ性能のＣＰＵ等において、（その処理時間等を低減して）各学習モデル４０１、４０２，４０３をそれぞれ高速に動作させることが可能である。

【符号の説明】

【0134】

１ 観察システム
１０ 観察装置
２０ カメラユニット
２３ 撮像部
２５ 照明部
２７ 駆動部
３０ 処理ユニット
９０ 居室
９１ 床
９２ ベッド
９３ 扉（出入口）
θｉ カメラユニットの姿勢角度（撮影角度）
Ｆｉ，Ｆ１，Ｆ２，Ｆ３ 撮影範囲
Ｃ，Ｃ１，Ｃ２，Ｃ３ 非トリガー領域
Ｇ，Ｇ１１，Ｇ２１，Ｇ２２，Ｇ３２ トリガー領域
Ｌｉ 発光量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】