特許 6645503 画像解析装置、画像解析方法、及び、画像解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6645503

(24)【登録日】2020年1月14日

(45)【発行日】2020年2月14日

(54)【発明の名称】画像解析装置、画像解析方法、及び、画像解析プログラム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20200203BHJP

   G08B 25/00 20060101ALI20200203BHJP

   G08B 21/22 20060101ALI20200203BHJP

   H04N 7/18 20060101ALI20200203BHJP

【ＦＩ】

   G08B25/04 K

   G08B25/00 510M

   G08B21/22

   H04N7/18 E

【請求項の数】8

【全頁数】26

(21)【出願番号】特願2017-535257(P2017-535257)

(86)(22)【出願日】2016年5月6日

(86)【国際出願番号】JP2016063626

(87)【国際公開番号】WO2017029841

(87)【国際公開日】20170223

【審査請求日】2019年4月23日

(31)【優先権主張番号】特願2015-161024(P2015-161024)

(32)【優先日】2015年8月18日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】311001347

【氏名又は名称】ノーリツプレシジョン株式会社

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(74)【代理人】

【識別番号】100179213

【弁理士】

【氏名又は名称】山下 未知子

(74)【代理人】

【識別番号】100170542

【弁理士】

【氏名又は名称】桝田 剛

(72)【発明者】

【氏名】安川 徹

【審査官】 吉村 伊佐雄

(56)【参考文献】

【文献】 特開平１１−２２４３９０（ＪＰ，Ａ）

【文献】 特開２００３−１６２７７５（ＪＰ，Ａ）

【文献】 特開２０１４−２３６８９６（ＪＰ，Ａ）

【文献】 特開２００２−３７３３８８（ＪＰ，Ａ）

【文献】 特開２０００−１２３２７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ５／００−５／０１

Ａ６１Ｇ９／００−１５／１２

９９／００

Ｇ０６Ｑ５０／２２

Ｇ０６Ｔ７／００−７／９０

Ｇ０８Ｂ１９／００−３１／００

Ｇ１６Ｈ１０／００

(57)【特許請求の範囲】

【請求項1】

見守り対象者の見守りを行う見守りスペースに存在する複数の出入口であって、異常状態を判定するための異常判定時間がそれぞれに対して設定された複数の出入口を撮影するように設置された撮影装置から撮影画像を継続的に取得する画像取得部と、
前記取得された撮影画像内で、前記見守り対象者が、前記撮影画像に写る前記複数の出入口のうちのいずれかの出入口から前記見守りスペースの外に出たか否かを解析する外出解析部と、
前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析された後に、前記取得された撮影画像内で、前記見守り対象者が、前記見守りスペースの外に出るときに利用した前記出入口から前記見守りスペース内に戻ってきたか否かを解析する帰還解析部と、
前記見守り対象者が前記見守りスペース内に戻ってきたと解析される前に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析されてからの経過時間が、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口に対して設定された異常判定時間を超えているか否かにより、前記見守り対象者の異常状態を判定する異常判定部と、
を備える、
画像解析装置。

【請求項2】

前記複数の出入口のうち少なくとも一つの出入口については、前記異常判定時間が時間帯に応じて複数設定されている、
請求項１に記載の画像解析装置。

【請求項3】

前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口に対して設定された異常判定時間を前記経過時間が超えていることにより、前記見守り対象者は異常状態にあると判定された場合に、当該見守り対象者の異常状態を知らせるための通知を行う異常検知通知部を更に備える、
請求項１又は２に記載の画像解析装置。

【請求項4】

前記撮影装置は、前記見守りスペースを上方から撮影し、
前記外出解析部は、前記撮影画像内で、人物の写る人物領域が前記いずれかの出入口の奥側に移動した場合に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析し、
前記帰還解析部は、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出た後、前記撮影画像内で、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口の手前側に前記人物領域が移動した場合に、前記見守り対象者が前記見守りスペース内に戻ってきたと解析する、
請求項１から３のいずれか１項に記載の画像解析装置。

【請求項5】

前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得し、
前記外出解析部は、前記深度データの示す前記各画素の深度を用いた三次元パターンマッチングに基づいて人物の写る人物領域を抽出し、当該抽出した人物領域に写る人物が前記見守り対象者であるとみなして、当該人物領域が前記いずれかの出入口の奥側に移動した場合に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析し、
前記帰還解析部は、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出た後、前記撮影画像内で、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口の手前側で、前記三次元パターンマッチングに基づいて前記人物領域を抽出した場合に、前記見守り対象者が前記見守りスペース内に戻ってきたと解析する、
請求項１から４のいずれか１項に記載の画像解析装置。

【請求項6】

前記外出解析部は、前記いずれかの出入口の領域付近で前記人物領域が消失した場合に、前記人物領域が前記いずれかの出入口の奥側に移動したとして、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析し、
前記帰還解析部は、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口の領域付近に前記人物領域が出現した場合に、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口の手前側に前記人物領域が移動したとして、前記見守り対象者が前記見守りスペース内に戻ってきたと解析する、
請求項４又は５に記載の画像解析装置。

【請求項7】

コンピュータが、
見守り対象者の見守りを行う見守りスペースに存在する複数の出入口であって、異常状態を判定するための異常判定時間がそれぞれに対して設定された複数の出入口を撮影するように設置された撮影装置から撮影画像を継続的に取得するステップと、
前記取得された撮影画像内で、前記見守り対象者が、前記撮影画像に写る前記複数の出入口のうちのいずれかの出入口から前記見守りスペースの外に出たか否かを解析するステップと、
前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析された後に、前記取得された撮影画像内で、前記見守り対象者が、前記見守りスペースの外に出るときに利用した前記出入口から前記見守りスペース内に戻ってきたか否かを解析するステップと、
前記見守り対象者が前記見守りスペース内に戻ってきたと解析される前に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析されてからの経過時間が、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口に対して設定された異常判定時間を超えているか否かにより、前記見守り対象者の異常状態を判定するステップと、
を実行する画像解析方法。

【請求項8】

コンピュータに、
見守り対象者の見守りを行う見守りスペースに存在する複数の出入口であって、異常状態を判定するための異常判定時間がそれぞれに対して設定された複数の出入口を撮影するように設置された撮影装置から撮影画像を継続的に取得するステップと、
前記取得された撮影画像内で、前記見守り対象者が、前記撮影画像に写る前記複数の出入口のうちのいずれかの出入口から前記見守りスペースの外に出たか否かを解析するステップと、
前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析された後に、前記取得された撮影画像内で、前記見守り対象者が、前記見守りスペースの外に出るときに利用した前記出入口から前記見守りスペース内に戻ってきたか否かを解析するステップと、
前記見守り対象者が前記見守りスペース内に戻ってきたと解析される前に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析されてからの経過時間が、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口に対して設定された異常判定時間を超えているか否かにより、前記見守り対象者の異常状態を判定するステップと、
を実行させるための画像解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置、画像解析方法、及び、画像解析プログラムに関する。

【背景技術】

【0002】

近年、入院患者、施設入居者、要介護者等の見守り対象者の徘徊による事故が年々増加する傾向にある。このような事故を防止するため、室内に設置したカメラで見守り対象者を撮影し、撮影した画像を解析することで見守り対象者の離床を検知し、見守り対象者の離床が一定時間以上継続する場合に、異常を検知する見守りシステムが開発されている。

【0003】

例えば、特許文献１では、カメラによりベッド上の患者を撮影し、それにより得られた画像を画像処理することで患者の離床を検知する患者認識装置が提案されている。具体的には、この患者認識装置は、カメラにより撮像したカラー撮像映像を黒色等の着目色とそれ以外の色とで２値化し、２値化した画像において直目色で抽出された連結成分（エリア）をラベリングする。

【0004】

そして、当該患者認識装置は、ラベリングしたエリアの大きさ及び形状に基づいて、当該エリアが人体の一部に該当するか否かを判定することで、人体の存在を認識する。これによって、当該患者認識装置は、人体の存在を認識しない状態が所定時間継続した場合に、患者の離床が所定時間以上継続していることを検知することができる。

【0005】

また、例えば、特許文献２では、各画素の深度を含む撮影画像から前景領域を抽出し、抽出された前景領域とベッド等との位置関係に基づいて、見守り対象者の行動を推定する方法が提案されている。この方法では、抽出される前景領域が見守り対象者の行動に関連するとの仮定の下、各推定条件が設定されている。そのため、この方法によれば、抽出された前景領域とベッド等との位置関係が各推定条件を満たすか否かを判定することで、当該見守り対象者の行動を検知することができる。例えば、ベッドのサイドフレーム周辺で前景領域が抽出されることで、見守り対象者の離床を検知することができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４−０２１６１９号公報

【特許文献2】特開２０１４−２３６８９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記のような従来の見守りシステムでは、見守り対象者がベッドから離れた場面を一律に離床と検知し、異常判定を行っている。そのため、本件発明者らは、次のような問題点が生じることを見出した。

【0008】

すなわち、見守り対象者が、例えば、見守り対象者を見守る者の居る場所等、長居しても異常ではない場所に滞在する場合には、ある程度長い時間離床していても異常ではないと想定される。一方、見守り対象者が、トイレ等、長居するのが不自然な場所に滞在する場合には、長い時間離床していると異常であると想定される。

【0009】

つまり、見守り対象者の行き先に応じて異常と判定する離床時間は相違し得る。しかしながら、従来の見守りシステムでは、見守り対象者の離床行為をその行き先に関わらずに一律に取り扱っており、一定の離床時間に基づいて見守り対象者の異常を検知している。そのため、従来の見守りシステムでは、見守り対象者の行き先に応じた異常判定を行うことができないという問題点があることを本件発明者らは見出した。

【0010】

本発明は、一側面では、このような点を考慮してなされたものであり、その目的は、見守り対象者の行き先に応じた異常判定を可能にする技術を提供することである。

【課題を解決するための手段】

【0011】

本発明は、上述した課題を解決するために、以下の構成を採用する。

【0012】

すなわち、本発明の一側面に係る画像解析装置は、見守り対象者の見守りを行う見守りスペースに存在する複数の出入口であって、異常状態を判定するための異常判定時間がそれぞれに対して設定された複数の出入口を撮影するように設置された撮影装置から撮影画像を継続的に取得する画像取得部と、前記取得された撮影画像内で、前記見守り対象者が、前記撮影画像に写る前記複数の出入口のうちのいずれかの出入口から前記見守りスペースの外に出たか否かを解析する外出解析部と、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析された後に、前記取得された撮影画像内で、前記見守り対象者が、前記見守りスペースの外に出るときに利用した前記出入口から前記見守りスペース内に戻ってきたか否かを解析する帰還解析部と、前記見守り対象者が前記見守りスペース内に戻ってきたと解析される前に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析されてからの経過時間が、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口に対して設定された異常判定時間を超えているか否かにより、前記見守り対象者の異常状態を判定する異常判定部と、を備える。

【0013】

上記構成では、見守り対象者の見守りを行う見守りスペースに存在する複数の出入口を撮影可能なように撮影装置を設置し、それにより得られた撮影画像を解析することで、見守り対象者が各出入口を通って見守りスペースに出入りするのを監視する。ここで、上記構成では、異常状態を判定するための異常判定時間が各出入口に対して設定されている。そして、見守り対象者の利用した出入口が特定され、特定された出入口に対して設定された異常判定時間に基づいて、見守り対象者が異常状態に陥っているか否かが判定される。したがって、当該構成によれば、異常状態を判定する基準となる異常判定時間を各出入口の通じている行き先に応じて設定することができるため、見守り対象者の行き先に応じた異常判定を実施することができる。

【0014】

なお、見守り対象者は、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者等である。また、見守りスペースは、見守り対象者の見守りを行う場所であり、例えば、見守り対象者の居室等である。また、出入口は、見守りスペースに存在するドア等の実在のものであってもよいし、撮影画像上に適宜設定された仮想のものであってもよい。

【0015】

また、上記一側面に係る画像解析装置の別の形態として、前記複数の出入口のうち少なくとも一つの出入口については、前記異常判定時間が時間帯に応じて複数設定されていてもよい。

【0016】

例えば、見守り対象者が、昼間、共有空間等の場所に滞在する場合には、ある程度長い時間離床していても異常ではないと想定される。一方、見守り対象者が、そのような場所に夜間滞在する場合には、長い時間離床していると異常であると想定される。すなわち、異常と検知すべき離床時間は、行き先のみならず、時間帯によっても相違し得る。

【0017】

これに対して、当該構成では、撮影画像に写る複数の出入口のうちの少なくとも一つの出入口について、異常判定時間が時間帯に応じて複数設定される。そのため、当該構成によれば、異常判定時間が時間帯に応じて複数設定された出入口については、見守り対象者の行き先に加えて、時間帯に応じた異常判定を実施することができる。

【0018】

また、上記一側面に係る画像解析装置の別の形態として、上記画像解析装置は、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口に対して設定された異常判定時間を前記経過時間が超えていることにより、前記見守り対象者は異常状態にあると判定された場合に、当該見守り対象者の異常状態を知らせるための通知を行う異常検知通知部を更に備えてもよい。

【0019】

当該構成によれば、検知した見守り対象者の異常状態を報知することができる。なお、見守り対象者の異常状態を知らせるための通知を行う通知先及び通知方法は、実施の形態に応じて適宜選択することができる。例えば、当該通知は、見守り対象者の行動を見守る見守り者に対して行われてもよい。見守り対象者が、入院患者、施設入居者、要介護者等である場合は、当該見守り者は、例えば、看護師、施設職員、介護者等である。また、当該通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。

【0020】

また、上記一側面に係る画像解析装置の別の形態として、前記撮影装置は、前記見守りスペースを上方から撮影してもよい。そして、前記外出解析部は、前記撮影画像内で、人物の写る人物領域が前記いずれかの出入口の奥側に移動した場合に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析してもよい。一方、前記帰還解析部は、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出た後、前記撮影画像内で、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口の手前側に前記人物領域が移動した場合に、前記見守り対象者が前記見守りスペース内に戻ってきたと解析してもよい。

【0021】

当該構成では、見守り対象者が見守りスペースに出入りするのを人物領域と各出入口との位置関係に基づいて判定するところ、見守りスペースを上方から撮影するように撮影装置を配置することで、見守り対象者と出入口とを適切に撮影可能にしている。そのため、当該構成によれば、見守り対象者の見守りを適切に実施することができる。

【0022】

また、上記一側面に係る画像解析装置の別の形態として、前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得してもよい。そして、前記外出解析部は、前記深度データの示す前記各画素の深度を用いた三次元パターンマッチングに基づいて人物の写る人物領域を抽出し、当該抽出した人物領域に写る人物が前記見守り対象者であるとみなして、当該人物領域が前記いずれかの出入口の奥側に移動した場合に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析してもよい。一方、前記帰還解析部は、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出た後、前記撮影画像内で、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口の手前側で、前記三次元パターンマッチングに基づいて前記人物領域を抽出した場合に、前記見守り対象者が前記見守りスペース内に戻ってきたと解析してもよい。

【0023】

当該構成では、取得される撮影画像には、各画素の深度を示す深度データが含まれる。各画素の深度は、各画素に写る被写体の深さを表現する。そのため、この深度データによれば、被写体の実空間における位置を特定することができる。したがって、当該構成によれば、撮影装置の設置場所及び視野方向に依存することなく、見守り対象者、出入口となるドア等の見守りスペースに存在する対象物の実空間上の位置を特定することができる。よって、当該構成によれば、撮影装置の設置条件に限定されず、見守り対象者の異常検知を行うことができる。

【0024】

また、上記一側面に係る画像解析装置の別の形態として、前記外出解析部は、前記いずれかの出入口の領域付近で前記人物領域が消失した場合に、前記人物領域が前記いずれかの出入口の奥側に移動したとして、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析してもよい。前記帰還解析部は、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口の領域付近に前記人物領域が出現した場合に、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口の手前側に前記人物領域が移動したとして、前記見守り対象者が前記見守りスペース内に戻ってきたと解析してもよい。

【0025】

例えば、出入口が、見守りスペースに実在するドア等である場合、見守り対象者がその出入口から外に出た場合には、撮影画像内では、見守り対象者の写る領域はその出入口付近で消失する。一方、見守り対象者が出入口を通って見守りスペース内に戻ってきた場合には、見守り対象者の写る領域がその出入口付近に出現する。当該構成によれば、このような見守り対象者の写る領域の消失及び出現に基づくことで、見守り対象者が見守りスペースに出入りするのを簡単に解析することができる。したがって、当該構成によれば、見守り対象者の見守りを簡易な処理で実現することができる。

【0026】

なお、上記各形態に係る画像解析装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

【0027】

例えば、本発明の一側面に係る画像解析方法は、コンピュータが、見守り対象者の見守りを行う見守りスペースに存在する複数の出入口であって、異常状態を判定するための異常判定時間がそれぞれに対して設定された複数の出入口を撮影するように設置された撮影装置から撮影画像を継続的に取得するステップと、前記取得された撮影画像内で、前記見守り対象者が、前記撮影画像に写る前記複数の出入口のうちのいずれかの出入口から前記見守りスペースの外に出たか否かを解析するステップと、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析された後に、前記取得された撮影画像内で、前記見守り対象者が、前記見守りスペースの外に出るときに利用した前記出入口から前記見守りスペース内に戻ってきたか否かを解析するステップと、前記見守り対象者が前記見守りスペース内に戻ってきたと解析される前に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析されてからの経過時間が、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口に対して設定された異常判定時間を超えているか否かにより、前記見守り対象者の異常状態を判定するステップと、を実行する情報処理方法である。

【0028】

また、例えば、本発明の一側面に係る画像解析プログラムは、コンピュータに、見守り対象者の見守りを行う見守りスペースに存在する複数の出入口であって、異常状態を判定するための異常判定時間がそれぞれに対して設定された複数の出入口を撮影するように設置された撮影装置から撮影画像を継続的に取得するステップと、前記取得された撮影画像内で、前記見守り対象者が、前記撮影画像に写る前記複数の出入口のうちのいずれかの出入口から前記見守りスペースの外に出たか否かを解析するステップと、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析された後に、前記取得された撮影画像内で、前記見守り対象者が、前記見守りスペースの外に出るときに利用した前記出入口から前記見守りスペース内に戻ってきたか否かを解析するステップと、前記見守り対象者が前記見守りスペース内に戻ってきたと解析される前に、前記いずれかの出入口から前記見守り対象者が前記見守りスペースの外に出たと解析されてからの経過時間が、前記見守り対象者が前記見守りスペースの外に出るときに利用した前記出入口に対して設定された異常判定時間を超えているか否かにより、前記見守り対象者の異常状態を判定するステップと、を実行させるためのプログラムである。

【発明の効果】

【0029】

本発明によれば、見守り対象者の行き先に応じた異常判定を実施することができる。

【図面の簡単な説明】

【0030】

【図1】図１は、本発明が適用される場面の一例を模式的に例示する。

【図2】図２は、実施の形態に係る撮影画像の一例を模式的に例示する。

【図3】図３は、実施の形態に係る画像解析装置のハードウェア構成を例示する。

【図4】図４は、実施の形態に係る画像解析装置の機能構成を例示する。

【図5】図５は、実施の形態に係る出入口設定情報のデータ構成を例示する。

【図6】図６は、実施の形態に係る画像解析装置による見守り対象者の見守りに関する趣里手順を例示する。

【図7】図７は、見守り対象者が外出した場面を撮影した撮影画像の一例を模式的に例示する。

【図8】図８は、見守り対象者が帰還した場面を撮影した撮影画像の一例を模式的に例示する。

【図9】図９は、他の形態に係る画像解析装置のハードウェア構成を例示する。

【図10】図１０は、他の形態に係るカメラにより取得される深度と被写体との関係を例示する。

【図11】図１１は、他の形態に係る撮影画像内の座標関係を例示する。

【図12】図１２は、他の形態に係る撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。

【発明を実施するための形態】

【0031】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

【0032】

§１ 適用場面
まず、図１及び図２を用いて、本発明が適用される場面について説明する。図１は、本実施形態に係る画像解析装置１が用いられる場面を模式的に例示する。また、図２は、画像解析装置１がカメラ２により取得する撮影画像３の一例を模式的に例示する。本実施形態に係る画像解析装置１は、カメラ２によって見守り対象者を見守る見守りスペースを撮影し、それによって得られた撮影画像３を画像解析することで、見守り対象者の長期の不在（異常状態）を検知する情報処理装置である。そのため、本実施形態に係る画像解析装置１は、見守り対象者の見守りを行う場面で広く利用可能である。

【0033】

具体的には、図１及び図２に例示されるように、カメラ２は、見守り対象者の見守りを行う見守りスペースに存在する複数の出入口３１〜３３を撮影可能に設置されており、画像解析装置１は、このカメラ２によって見守りスペースを撮影する。カメラ２は、本発明の「撮影装置」に相当する。また、見守り対象者は、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者である。また、見守りスペースは、見守り対象者の見守りを行う場所であり、例えば、見守り対象者の居室等である。

【0034】

本実施形態では、画像解析装置１は、図２に例示されるような複数の出入口３１〜３３が写る撮影画像３をカメラ２から継続的に取得する。そして、画像解析装置１は、取得された撮影画像３内で、見守り対象者が、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口から見守りスペースの外に出たか否かを解析する。

【0035】

また、いずれかの出入口から見守り対象者が見守りスペースの外に出たと解析した後には、画像解析装置１は、取得された撮影画像３内で、見守り対象者が、見守りスペースの外に出るときに利用した出入口から見守りスペース内に戻ってきたか否かを解析する。これにより、画像解析装置１は、見守り対象者が各出入口を通って見守りスペースに出入りするのを監視する。

【0036】

ここで、本実施形態では、異常状態を判定するための異常判定時間が各出入口３１〜３３に対して設定されている。また、画像解析装置１は、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口から見守り対象者が見守りスペースの外に出たと解析されてからの経過時間を計測する。

【0037】

そして、画像解析装置１は、見守り対象者が見守りスペース内に戻ってきたと解析されるまでに、当該経過時間が、見守り対象者が利用した出入口に対して設定された異常判定時間を超えているか否かによって、見守り対象者の異常状態を判定する。すなわち、対象の出入口に設定されている異常判定時間を超えて見守り対象者が見守りスペースに戻ってこなかった場合に、画像解析装置１は、見守り対象者は異常状態に陥っていると判定する。

【0038】

このように、本実施形態では、見守り対象者の利用した出入口が特定され、特定された出入口に対して設定された異常判定時間に基づいて、見守り対象者が異常状態に陥っているか否かが判定される。したがって、本実施形態によれば、異常状態を判定する基準となる異常判定時間を各出入口の通じている行き先に応じて設定することができるため、見守り対象者の行き先に応じた異常判定を実施することができる。

【0039】

なお、見守り対象者が見守りスペースに出入りするための出入口３１〜３３は、見守りスペースに存在するドア等の実在のものであってもよいし、撮影画像３上に適宜設定された仮想のものであってもよい。また、図２では、撮影画像３には、３つの出入口３１〜３３が写っている。しかしながら、撮影画像３に写る出入口の数は、３個に限られなくてもよく、実施の形態に応じて適宜選択されてよい。

【0040】

また、図１では、カメラ２は、見守りスペースである居室の天井付近に設置されることで、見守りスペースを上方から撮影している。しかしながら、カメラ２の設置位置は、このような例に限定されなくてもよく、見守りスペースに存在する複数の出入口を撮影可能であれば、いかなる場所に配置されてもよい。

【0041】

また、画像解析装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、画像解析装置１は、図１に例示されるように、カメラ２に近接するように配置されてもよい。また、画像解析装置１は、ネットワークを介してカメラ２と接続してもよく、当該カメラ２とは全く異なる場所に配置されてもよい。

【0042】

§２ 構成例
＜ハードウェア構成＞
次に、図３を用いて、画像解析装置１のハードウェア構成を説明する。図３は、本実施形態に係る画像解析装置１のハードウェア構成を例示する。画像解析装置１は、図３に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図３では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

【0043】

なお、画像解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、画像解析装置１の内部装置としてではなく、外部装置として画像解析装置１に接続されてもよい。また、画像解析装置１はカメラ２を内蔵してもよい。また、例えば、ドライブ１７は、外部インタフェース１６を介して接続されてもよいし、省略されてもよい。また、画像解析装置１は、複数の外部インタフェース１５を備えてもよく、複数の外部装置と接続してもよい。

【0044】

本実施形態では、カメラ２は、外部インタフェース１５を介して画像解析装置１に接続されており、見守りスペースに存在する複数の出入口（図１及び図２の出入口３１〜３３）を撮影可能に配置されている。例えば、上記図１に例示されるように、カメラ２は、見守りスペースである居室の天井付近に配置されることで、見守りスペースを上方から撮影するように設置される。

【0045】

また、本実施形態では、記憶部１２には、撮影画像３内に写る複数の出入口３１〜３３それぞれの監視条件を設定するための出入口設定情報１２１とプログラム５とが記憶されている。出入口設定情報１２１については後述する。プログラム５は、画像解析装置１に後述する見守り対象者の見守りに関する処理手順を実行させるためのプログラムであり、本発明の「画像解析プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。

【0046】

記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図３は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

【0047】

なお、このような画像解析装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、画像解析装置１は、１又は複数のコンピュータにより実装されてもよい。

【0048】

＜機能構成例＞
次に、図４及び図５を用いて、画像解析装置１の機能構成を説明する。図４は、本実施形態に係る画像解析装置１の機能構成を例示する。また、図５は、本実施形態に係る出入口設定情報１２１のデータ構成を例示する。本実施形態では、画像解析装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置１は、画像取得部１１１、外出解析部１１２、帰還解析部１１３、異常判定部１１４、及び異常検知通知部１１５を備えるコンピュータとして機能する。

【0049】

画像取得部１１１は、見守りスペースに存在する複数の出入口（図１及び図２の例では、出入口３１〜３３）を撮影するように設置されたカメラ２から撮影画像３を継続的に取得する。撮影画像３に写る複数の出入口３１〜３３それぞれには、異常状態を判定するための異常判定時間が設定されている。本実施形態では、この設定は、図５で例示される出入口設定情報１２１として記憶部１２に保持されている。

【0050】

本実施形態では、出入口設定情報１２１を示すデータは、図５で例示されるように、出入口ＩＤフィールド、位置フィールド、及び異常判定時間フィールドを含む。ここで、図５に例示されるテーブルにおいて、１行分のデータ（１レコード）が１出入口分のデータに該当する。

【0051】

出入口ＩＤフィールドには、対象の出入口を識別するための識別子（出入口ＩＤ）が格納される。出入口ＩＤは、各出入口３１〜３３を識別可能であれば、任意に設定されてよい。

【0052】

位置フィールドには、撮影画像３内で対象の出入口が写る領域の位置を特定するための位置情報が格納される。対象の出入口の位置は、撮影画像３上の座標で指定されてもよいし、撮影画像３に写る空間の座標で指定されてもよい。対象の出入口の位置を指定する方法は、実施の形態に応じて、適宜選択されてよい。

【0053】

異常判定時間フィールドには、対象の出入口に対して指定された異常判定時間が格納される。異常判定時間は、対象の出入口から外出した見守り対象者が見守りスペースに戻ってこないことで異常状態と判定する基準となる時間である。つまり、異常判定時間は、その対象の出入口からの外出を監視する時間に相当する。そのため、異常判定時間は、見守り対象者が対象の出入口より出てから再び戻ってくるまでにかかる通常の時間を超えるように適宜設定される。

【0054】

例えば、対象の出入口が、共有空間、見守り対象者を見守る者の居る場所等、長居しても異常ではない場所に通じている場合には、当該対象の出入口に対して設定される異常判定時間は、比較的長めに指定されてよい。一方、対象の出入口が、トイレ等、長居するのが不自然な場所に通じている場合には、当該対象の出入口に対して設定される異常判定時間は、比較的短めに指定されてよい。また、この異常判定時間は、各出入口に対して固定で設定されてもよいし、ユーザの指示により適宜変更可能に設定されてもよい。

【0055】

なお、本実施形態では、撮影画像３に写る複数の出入口に関する設定が出入口設定情報１２１として独立のデータで構成されている。しかしながら、撮影画像３に写る複数の出入口に関する設定は、プログラム５の一部（例えば、プログラム５内の分岐条件）に組み込まれてもよい。

【0056】

また、図５では、出入口設定情報１２１を示すデータは、テーブル形式で表現されている。しかしながら、出入口設定情報１２１のデータ形式は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。出入口設定情報１２１のデータ形式は、テーブル形式以外のデータ形式であってもよい。

【0057】

また、本実施形態では、出入口設定情報１２１は、自装置内の記憶部１２に格納されている。しかしながら、出入口設定情報１２１は、他の情報処理装置の記憶装置に格納されていてもよい。この場合、画像解析装置１は、例えば、ネットワークを介して、当該他の情報処理装置から出入口設定情報１２１を取得してもよい。

【0058】

また、出入口設定情報１２１を示すデータのレコード構成は、図５の例に限定されなくてもよく、実施の形態に応じて適宜設定されてもよい。更に、図５の各レコードに格納された値は、本実施形態に係る画像解析装置１の動作を説明するために便宜上に記載したものであり、このような例に限定される訳ではない。各レコードに格納される値は、実施の形態に応じて適宜決定されてよい。

【0059】

図４に戻り、外出解析部１１２は、取得された撮影画像３内で、見守り対象者が、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口から見守りスペースの外に出たか否かを解析する。帰還解析部１１３は、いずれかの出入口から見守り対象者が見守りスペースの外に出たと解析された後に、取得された撮影画像３内で、見守り対象者が、見守りスペースの外に出るときに利用した出入口から見守りスペース内に戻ってきたか否かを解析する。

【0060】

異常判定部１１４は、見守り対象者が見守りスペース内に戻ってきたと解析される前に、いずれかの出入口から見守り対象者が見守りスペースの外に出たと解析されてからの経過時間が、見守り対象者が見守りスペースの外に出るときに利用した出入口に対して設定された異常判定時間を超えているか否かにより、見守り対象者の異常状態を判定する。

【0061】

異常検知通知部１１５は、見守り対象者が見守りスペースの外に出るときに利用した出入口に対して設定された異常判定時間を当該経過時間が超えていることにより、見守り対象者は異常状態にあると判定された場合に、見守り対象者の異常状態を知らせるための通知を行う。

【0062】

なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像解析装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。

【0063】

§３ 動作例
次に、図６を用いて、画像解析装置１の動作例を説明する。図６は、画像解析装置１による見守り対象者の見守りに関する処理手順を例示する。なお、以下で説明する見守り対象者の見守りに関する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する見守り対象者の見守りに関する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換及び追加が可能である。

【0064】

（概要）
本実施形態では、制御部１１は、まず、ステップＳ１０１〜Ｓ１０３の処理によって、見守り対象者の外出を検知する判定処理を実行する。ステップＳ１０１〜Ｓ１０３の処理は、見守り対象者の外出を検知するまで繰り返される。見守り対象者の外出を検知すると、次に、制御部１１は、ステップＳ１０４〜Ｓ１０７の処理によって、見守り対象者の帰還を検知する判定処理を実行しつつ、見守り対象者が外出してからの経過時間の判定処理を実行する。そして、見守り対象者が外出してからの経過時間が対象の出入口に対して設定された異常判定時間を超える前に、見守り対象者の帰還を検知した場合には、制御部１１は、ステップＳ１０８の処理を省略して、本動作例に係る処理を終了する。一方、見守り対象者の帰還を検知する前に、見守り対象者が外出してからの経過時間が対象の出入口に対して設定された異常判定時間を超えた場合には、制御部１１は、ステップＳ１０８の処理によって、見守り対象者の異常状態を検知したことを知らせるための通知を行う。以下、各処理について、詳細に説明する。

【0065】

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、カメラ２により撮影された撮影画像３を取得する。カメラ２から撮影画像３を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。

【0066】

なお、撮影画像３は、一般的なＲＧＢ画像等の二次元画像であってよい。また、撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。また、制御部１１は、このような撮影画像３を、カメラ２のビデオ信号に同期して取得してもよい。そして、制御部１１は、カメラ２と同期して取得した撮影画像３に対して、後述するステップＳ１０２及びステップＳ１０３の処理を即座に実行してもよい。画像解析装置１は、このような動作を絶え間なく継続的に実行することにより、カメラ２の撮影範囲に存在する見守り対象者の外出をリアルタイムに検知することができる。以下では、このように継続的に取得される撮影画像３により見守り対象者の外出を検知する例を説明する。

【0067】

（ステップＳ１０２）
次のステップＳ１０２では、制御部１１は、外出解析部１１２として機能し、ステップＳ１０１で取得された撮影画像３内で、見守り対象者が、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口から見守りスペースの外に出たか否かを解析する。すなわち、制御部１１は、見守り対象者の外出を検知する判定処理を実行する。

【0068】

なお、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口から見守り対象者が見守りスペースの外に出たか否かを判定する方法は、実施の形態に応じて適宜設定されてよい。例えば、以下のようにして、制御部１１は、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口から見守り対象者が見守りスペースの外に出たか否かの判定を行ってもよい。

【0069】

ここで、図７を用いて、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口を通って見守り対象者が見守りスペースの外に出た場面について説明する。図７は、見守り対象者が出入口３１を利用して見守りスペースの外に出たときに得られる撮影画像３を模式的に例示する。

【0070】

図７に例示されるように、カメラ２が見守りスペースに配置される場合には、複数の出入口３１〜３３のうちのいずれかの出入口を通って見守り対象者が見守りスペースの外に出る際には、まず、見守り対象者は、外出に利用する出入口（図７では出入口３１）に手前側から近付いていく。そして、見守り対象者は、撮影画像３内で、外出に利用する出入口を通って、当該出入口の奥側に移動することになる。そこで、制御部１１は、撮影画像３内で、人物の写る人物領域がいずれかの出入口の奥側に移動した場合に、当該いずれかの出入口から見守り対象者が見守りスペースの外に出たと解析してもよい。

【0071】

人物領域を抽出する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、パターンマッチングによって人物領域を抽出してもよい。すなわち、制御部１１は、記憶部１２等に人物の形状のテンプレートを保持し、このテンプレートに適合するパターンを撮影画像３内で検索することで、人物領域を抽出してもよい。

【0072】

また、例えば、制御部１１は、背景差分法によって人物領域を抽出してもよい。すなわち、制御部１１は、ステップＳ１０１で取得された撮影画像３と当該撮影画像３の背景に設定された背景画像との差分を算出することで、当該撮影画像３の前景領域を抽出する。この前景領域は、背景画像から変化の生じた領域である。そのため、撮影画像３内で見守り対象者が移動すると、見守り対象者の写る領域は、前景領域として抽出される。よって、制御部１１は、この前景領域を人物領域として取り扱ってもよい。なお、背景画像は、実施の形態に応じて適宜設定することができる。

【0073】

ここで、抽出される前景領域には、見守り対象者等の人物以外の被写体が写っている可能性がある。そのため、制御部１１は、パターンマッチング等の画像処理によって、前景領域の形状が人物に対応するか否かを判定してもよい。そして、パターンマッチングの結果、制御部１１は、人物の形状に対応しない前景領域を本ステップＳ１０２の処理対象から除外し、人物の形状に対応する前景領域を本ステップＳ１０２の処理対象としてもよい。

【0074】

制御部１１は、このようにして抽出される人物領域を捕捉し、トラッキングの対象とする。これによって、制御部１１は、これ以降のステップＳ１０１で繰り返し取得される撮影画像３の画像群において、同一の対象（見守り対象者）の写る人物領域を追跡することができる。

【0075】

そして、制御部１１は、この人物領域に写る人物を見守り対象者とみなして、トラッキングしている人物領域が複数の出入口３１〜３３のうちのいずれかの出入口より奥側に移動したか否かを判定する。各出入口３１〜３３の位置は、出入口設定情報１２１を参照することで、特定することができる。また、人物領域と各出入口３１〜３３との位置関係は任意の方法で判定することができる。

【0076】

例えば、各出入口３１〜３３にドア等の遮蔽物が設けられている場合には、見守り対象者がいずれかの出入口より奥側に移動すると、当該遮蔽物によって見守り対象者は撮影画像３に写らなくなる。そのため、この場合には、制御部１１は、いずれかの出入口の領域付近で、人物領域の手前に当該遮蔽物が写っている、又は、人物領域が消失した場合に、見守り対象者が当該いずれかの出入口の奥側に移動したと判定し、見守り対象者の外出を検知してもよい。

【0077】

また、例えば、各出入口３１〜３３にドア等の遮蔽物が設けられていない、又は、各出入口３１〜３３が撮影画像３上に適宜設定された仮想のものである場合には、各出入口３１〜３３と人物領域とは共に撮影画像３に写っていると想定される。そのため、この場合には、制御部１１は、各出入口３１〜３３の領域と人物領域との位置関係に基づいて、見守り対象者がいずれかの出入口より奥側に移動したか否かを判定してもよい。

【0078】

例えば、図７に例示されるように、カメラ２が見守りスペースを上方から撮影している場合には、各被写体の下端の位置で当該各被写体の前後関係を推定することができる。すなわち、制御部１１は、撮影画像３上で、いずれかの出入口の下端より人物領域の下端が上方に移動した場合に、見守り対象者が当該いずれかの出入口の奥側に移動したと判定し、見守り対象者の外出を検知してもよい。

【0079】

なお、抽出される人物領域には、見守り対象者以外の人物が写っている可能性がある。そのため、制御部１１は、適宜、人物領域に写っている人物が見守り対象者であるか否かを判定してもよい。当該判定は、任意の方法で実施することができる。ここで、制御部１１は、撮影画像３内に複数の人物領域を抽出した場合には、本ステップＳ１０２以降の処理を省略して、各出入口の監視を停止してもよい。

【0080】

以上のようにして、本ステップＳ１０２において、見守り対象者の外出を検知した場合、すなわち、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口から見守り対象者が見守りスペースの外に出たと判定できた場合には、制御部１１は、見守り対象者の外出を検知した上で、次のステップＳ１０３に処理を進める。一方、そのような判定ができなかった場合には、制御部１１は、見守り対象者の外出を検知することなく、次のステップＳ１０３に処理を進める。

【0081】

（ステップＳ１０３）
図６に戻り、次のステップＳ１０３では、制御部１１は、ステップＳ１０２において見守り対象者の外出を検知したか否かを判定する。ステップＳ１０２において見守り対象者の外出が検知されなかった場合には、制御部１１は、ステップＳ１０１に処理を戻す。すなわち、制御部１１は、見守り対象者の外出を検知するまで、見守り対象者の外出を検知する判定処理（ステップＳ１０１〜Ｓ１０３）を繰り返す。

【0082】

一方、ステップＳ１０２において見守り対象者の外出を検知した場合には、制御部１１は、次のステップＳ１０４に処理を進める。すなわち、見守り対象者の外出を検知すると、制御部１１は、見守り対象者の帰還を検知する判定処理及び見守り対象者の外出してからの経過時間（以下、「外出経過時間」とも記載する）が対象の出入口に対して設定されている異常判定時間を超えたか否かを判定する処理の実行を開始する。このとき、制御部１１は、後述するステップＳ１０７の処理において外出経過時間を特定するため、タイマを起動し、外出経過時間をそのタイマにより計測してもよい。また、制御部１１は、見守り対象者の外出を検知した時刻を保持してもよい。

【0083】

（ステップＳ１０４）
次のステップＳ１０４では、制御部１１は、画像取得部１１１として機能し、上記ステップＳ１０１と同様に、カメラ２より撮影画像３を取得する。カメラ２より撮影画像３を取得すると、制御部１１は、次のステップＳ１０５に処理を進める。

【0084】

上記のとおり、ステップＳ１０４〜Ｓ１０７の処理は、見守り対象者の帰還を検知する判定処理及び外出経過時間が対象の出入口に対して設定された異常判定時間を超えたか否かを判定する処理に対応する。このステップＳ１０４〜Ｓ１０７の処理は、見守り対象者の帰還を検知する又は外出経過時間が対象の出入口に対して設定された異常判定時間を超えるまで実行される。そのため、上記ステップＳ１０１と同様に、見守り対象者の帰還を検知する又は外出経過時間が対象の出入口に対して設定された異常判定時間を超えるまで、本ステップＳ１０４の処理は繰り返し実行される。すなわち、見守り対象者の帰還を検知する又は外出経過時間が対象の出入口に対して設定された異常判定時間を超えるまで、ステップＳ１０４の処理により撮影画像３が継続的に取得される。

【0085】

（ステップＳ１０５）
次のステップＳ１０５では、制御部１１は、帰還解析部１１３として機能し、上記ステップＳ１０２において見守り対象者がいずれかの出入口から見守りスペースの外に出たと解析された後に、ステップＳ１０４で取得された撮影画像３内で、見守り対象者が、外出に利用した出入口から見守りスペース内に戻ってきたか否かを解析する。すなわち、制御部１１は、見守り対象者の帰還を検知する判定処理を実行する。

【0086】

なお、外出に利用した出入口から見守り対象者が見守りスペース内に戻ってきたか否かを判定する方法は、実施の形態に応じて適宜設定されてよい。例えば、以下のようにして、制御部１１は、外出に利用した出入口から見守り対象者が見守りスペース内に戻ってきたか否かの判定を行ってもよい。

【0087】

ここで、図８を用いて、見守り対象者が見守りスペースの外に出るときに利用した出入口を通って、見守り対象者が見守りスペース内に戻ってきた場面について説明する。図８は、図７の場面の後、見守り対象者が出入口３１を利用して見守りスペース内に戻ってきたときに得られる撮影画像３を模式的に例示する。

【0088】

図８に例示されるように、出入口３１を通って見守りスペースの外に出た見守り対象者が再び出入口３１を通って見守りスペース内に戻ってくる際には、まず、見守り対象者は、外出に利用した出入口３１に奥側から近付く。そして、見守り対象者は、撮影画像３内で、外出に利用した出入口３１を通って、出入口の手前側に移動することになる。そこで、制御部１１は、撮影画像３内で、見守り対象者が外に出るのに利用した出入口（図７及び図８では出入口３１）の手前側に人物領域が移動した場合に、見守り対象者が当該出入口を介して見守りスペース内に戻ってきたと解析してもよい。

【0089】

制御部１１は、上記ステップＳ１０２と同様の方法により、人物領域を抽出することができる。すなわち、制御部１１は、パターンマッチング、背景差分法等の画像処理によって人物領域を抽出することができる。また、制御部１１は、見守り対象者が外に出るのに利用した出入口の手前側に人物領域が移動したか否かの判定を任意の方法で行うことができる。

【0090】

例えば、各出入口３１〜３３にドア等の遮蔽物が設けられている場合には、外出に利用した出入口より見守り対象者が手前側に移動すると、当該遮蔽物によって遮られていた見守り対象者が撮影画像３に写り込むようになる。そのため、この場合には、制御部１１は、外出に利用した出入口の領域付近で、人物領域の手前に当該遮蔽物が写らなくなった、又は、人物領域が出現した場合に、当該外出に利用した出入口より見守り対象者が手前側に移動したと判定し、見守り対象者の帰還を検知してもよい。

【0091】

また、例えば、各出入口３１〜３３にドア等の遮蔽物が設けられていない、又は、各出入口３１〜３３が撮影画像３上に適宜設定された仮想のものである場合には、各出入口３１〜３３と人物領域とは共に撮影画像３に写っていると想定される。そのため、この場合には、制御部１１は、上記ステップＳ１０２と同様に、各出入口３１〜３３の領域と人物領域との位置関係に基づいて、外出に利用した出入口より見守り対象者が手前側に移動したか否かを判定してもよい。

【0092】

例えば、図７に例示されるように、カメラ２が見守りスペースを上方から撮影している場合には、各被写体の下端の位置で当該各被写体の前後関係を推定することができる。すなわち、制御部１１は、撮影画像３上で、外出に利用した出入口の下端より人物領域の下端が下方に移動した場合に、当該外出に利用した出入口より見守り対象者が手前側に移動したと判定し、見守り対象者の帰還を検知してもよい。なお、制御部１１は、複数人の人物が見守りスペースに帰還したと判定した場合には、見守り対象者として監視を行う人物を限定してもよい。例えば、制御部１１は、最初に帰還したと認識した人物を見守り対象者として監視を行ってもよい。

【0093】

以上のようにして、本ステップＳ１０５において、見守り対象者の帰還を検知した場合、すなわち、撮影画像３内で、外出に利用した出入口から見守り対象者が見守りスペース内に戻ってきたと判定できた場合には、制御部１１は、見守り対象者の帰還を検知した上で、次のステップＳ１０６に処理を進める。一方、そのような判定ができなかった場合には、制御部１１は、見守り対象者の帰還を検知することなく、次のステップＳ１０６に処理を進める。

【0094】

（ステップＳ１０６）
図６に戻り、次のステップＳ１０６では、制御部１１は、ステップＳ１０５において見守り対象者の帰還を検知したか否かを判定する。ステップＳ１０５において見守り対象者の帰還が検知されなかった場合には、制御部１１は、次のステップＳ１０７に処理を進める。

【0095】

一方、ステップＳ１０５において見守り対象者の帰還を検知した場合には、制御部１１は、本動作例に係る処理を終了する。このとき、制御部１１は、見守り対象者の外出を検知してから当該見守り対象者の帰還を検知するまでの外出時間を特定し、この外出時間を記憶部１２等に記録してもよい。

【0096】

外出時間を特定する方法は、実施の形態に応じて適宜選択可能である。例えば、外出経過時間をタイマにより計測している場合には、制御部１１は、この時点でタイマのカウントを停止し、当該タイマを参照することで外出時間を特定することができる。また、例えば、見守り対象者の外出を検知した時刻を保持している場合には、制御部１１は、見守り対象者の外出を検知した時刻とこの処理の時点の時刻との差分を算出することで、外出時間を特定することができる。

【0097】

なお、この場合には、見守り対象者は再び見守りスペースの外に出る可能性がある。そのため、見守り対象者が再び外出するのに備えて、制御部１１は、再びステップＳ１０１から処理を開始してもよい。すなわち、制御部１１は、見守り対象者の外出を検知する判定処理から実行を開始することで、見守り対象者の見守りを継続してもよい。

【0098】

（ステップＳ１０７）
次のステップＳ１０７では、制御部１１は、異常判定部１１４として機能し、上記ステップＳ１０２により見守り対象者の外出を検知してからの外出経過時間が、外出に利用した出入口（図７及び図８では出入口３１）に対して設定されている異常判定時間を超えているか否かを判定する。制御部１１は、出入口設定情報１２１を参照することで、見守り対象者が外出に利用した出入口に対して設定されている異常判定時間を特定することができる。この判定の結果、外出経過時間が、対象の出入口に対して設定されている異常判定時間を超えていない場合には、制御部１１は、見守り対象者の異常状態は発生していないとして、ステップＳ１０４に処理を戻す。すなわち、制御部１１は、見守り対象者の帰還を検知する又は外出経過時間が対象の出入口に対して設定された異常判定時間を超えるまで、見守り対象者の帰還を検知する判定処理及び外出経過時間が対象の出入口に対して設定された異常判定時間を超えたか否かを判定する処理を繰り返す。

【0099】

一方、外出経過時間が、対象の出入口に対して設定されている異常判定時間を超えている場合には、制御部１１は、次のステップＳ１０８に処理を進める。すなわち、制御部１１は、見守り対象者の異常状態が発生したとして、次のステップＳ１０８により異常検知通知を実行する。

【0100】

なお、この時点における外出経過時間は適宜特定することができる。例えば、外出経過時間をタイマにより計測している場合には、制御部１１は、この時点でタイマを参照することで、この時点における外出経過時間を特定することができる。また、例えば、見守り対象者の外出を検知した時刻を保持している場合には、制御部１１は、見守り対象者の外出を検知した時刻とこの処理の時点の時刻との差分を算出することで、この時点における外出経過時間を特定することができる。

【0101】

また、本ステップＳ１０７の処理は、任意のタイミングで実行されてもよい。例えば、本ステップＳ１０７の処理は、ステップＳ１０４〜ステップＳ１０６の処理とは別に実行されてもよい。なお、本ステップＳ１０７の処理が上記ステップＳ１０６の処理よりも前に実行される場合には、上記ステップＳ１０６において見守り対象者の帰還が検知されていないと判定されたときには、制御部１１は、ステップＳ１０４に処理を戻す。

【0102】

（ステップＳ１０８）
次のステップＳ１０８では、制御部１１は、異常検知通知部１１５として機能し、見守り対象者の異常状態を知らせるための通知を行う。すなわち、制御部１１は、上記ステップＳ１０７において、見守り対象者が利用した出入口に対して設定された異常判定時間を外出経過時間が超えていることにより、見守り対象者は異常状態にあると判定された場合に、当該見守り対象者が異常状態に陥っている可能性があることを知らせる警報を実行する。

【0103】

なお、通知先及び通知方法は、実施の形態に応じて適宜選択することができる。制御部１１は、例えば、見守り対象者以外の第三者、特に、見守り対象者の行動を見守る見守り者に当該通知を行ってもよい。見守り対象者が、入院患者、施設入居者、要介護者等である場合、見守り者は、例えば、看護師、施設職員、介護者等である。また、制御部１１は、見守り対象者自身に当該通知を行ってもよい。

【0104】

例えば、本実施形態に係る画像解析装置１が病院等の施設で利用される場合、当該画像解析装置１は、外部インタフェース１５を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部１１は、当該ナースコールシステム等の設備と連携して、見守り対象者の異常状態を知らせるための通知を行ってもよい。すなわち、制御部１１は、外部インタフェース１５を介して、当該ナースコールシステムを制御してもよい。そして、制御部１１は、見守り対象者の異常状態を知らせるための通知として、当該ナースコールシステムによる呼び出しを行ってもよい。これによって、見守り対象者が見守りスペースを不自然に不在にしていることを当該見守り対象者の見守りを行う看護師等に適切に知らせることができる。

【0105】

また、例えば、制御部１１は、タッチパネルディスプレイ１３による画面表示によって、見守り対象者の異常状態を知らせるための通知を行ってもよい。また、例えば、制御部１１は、画像解析装置１に接続されるスピーカ１４から所定の音声を出力することにより、見守り対象者の異常状態を知らせるための通知を行ってもよい。このタッチパネルディスプレイ１３及びスピーカ１４をそれぞれ見守り者の居室に設置することで、見守り対象者が見守りスペースを不自然に不在にしていることを当該見守り者に適切に知らせることができる。

【0106】

また、例えば、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、見守り対象者の異常状態を知らせるための通知を行ってもよい。このような通知を行う場合には、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部１２に予め登録されていてもよい。そして、制御部１１は、この予め登録されている電子メールアドレス、電話番号等を利用して、見守り対象者の異常状態を知らせるための通知を行ってもよい。

【0107】

本実施形態では、制御部１１は、このような通知を行った後に、本動作例に係る処理が終了する。ただし、このように処理を終了した場合には、上記ステップＳ１０６で見守り対象者の帰還を検知して処理を終了した場合とは異なり、見守り対象者の帰還が検知されていない。すなわち、見守り対象者は、見守りスペースの外に出たままであり、当該見守りスペースに戻ってきていない。そのため、この場合には、制御部１１は、見守り対象者の帰還を検知するまで、ステップＳ１０４〜Ｓ１０８の処理を繰り返してもよい。このとき、制御部１１は、外出経過時間を新たに計測し始めるため、これまでの処理で計測した外出経過時間をリセットしてもよい。

【0108】

［作用・効果］
以上のように、本実施形態に係る画像解析装置１は、まず、ステップＳ１０１〜Ｓ１０３の処理によって、撮影画像３に写る複数の出入口３１〜３３のうちのいずれかの出入口から見守り対象者が見守りスペースの外に出たことを検知する判定処理を実行する。次に、見守り対象者の外出を検知した後には、画像解析装置１は、ステップＳ１０４〜Ｓ１０６の処理によって、外出に利用した出入口（図７及び図８では出入口３１）から見守り対象者が見守りスペースに戻ってきたことを検知する判定処理を実行する。また、画像解析装置１は、ステップＳ１０７の処理によって、見守り対象者の帰還を検知する前に、外出に利用した出入口に対して設定されている異常判定時間を外出経過時間が超えたか否かを判定する処理を実行する。そして、見守り対象者の帰還を検知する前に、外出経過時間が当該異常判定時間を超えた場合には、画像解析装置１は、ステップＳ１０８の処理によって、見守り対象者の異常状態を知らせるための通知を行う。

【0109】

ここで、本実施形態では、異常状態のを判定するための閾値となる異常判定時間が各出入口３１〜３３に対して設定されている。これにより、各出入口３１〜３３に個別に異常判定の条件を設定することができる。例えば、各出入口３１〜３３の異常状態判定時間は、各出入口３１〜３３の通じている行き先に応じて設定することができる。したがって、本実施形態によれば、見守り対象者の行き先に応じた異常判定を実施することができる。

【0110】

また、本実施形態では、上記のとおり、ステップＳ１０８の処理により、検知した見守り対象者の異常状態を報知することができる。そのため、見守り対象者が不自然に見守りスペースを長期に不在するのを防止することができ、これによって、見守り対象者に事故等が迫るのを抑止することができる。

【0111】

また、本実施形態では、上記ステップＳ１０２及びＳ１０５において、見守り対象者が見守りスペースに出入りするのを人物領域と各出入口３１〜３３との位置関係に基づいて判定しているところ、カメラ２は、見守りスペースを上方から撮影するように配置されている。そのため、いずれか一方によって他方が完全に遮られるのを抑制することができ、これによって、図７及び図８に例示されるように、カメラ２は、見守り対象者と各出入口３１〜３３とを適切に撮影することができる。よって、本実施形態によれば、そのような撮影画像３を用いることで、見守り対象者の見守りを適切に実施することができる。

【0112】

また、本実施形態では、上記ステップＳ１０２及びＳ１０５において、各出入口３１〜３３にドア等の遮蔽物が設けられている場合、画像解析装置１は、人物領域の消失及び出現に基づいて、見守り対象者の外出及び帰還を簡単に検出することができる。したがって、本実施形態によれば、見守り対象者の見守りを簡易な処理で実現することができる。

【0113】

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、適宜説明を省略した。

【0114】

（異常判定時間）
例えば、上記実施形態では、図５に例示されるように、各出入口３１〜３３に対して１つの異常判定時間が設定されている。しかしながら、各出入口３１〜３３に対して設定可能な異常判定時間の数は１つに限定されなくてもよく、複数の出入口３１〜３３のうち少なくとも一つの出入口については、異常判定時間が複数設定されてもよい。この場合、更に、各異常判定時間は時間帯に応じて設定されてもよい。

【0115】

具体例を挙げると、例えば、出入口３１が共有空間に通じているとし、共有空間の利用可能な時間帯が８時〜２０時とする。この場合、出入口３１について、共有空間の利用可能な８時〜２０時の時間帯とそれ以外の時間帯とに応じて、２つの異なる異常判定時間が設定されてもよい。このとき、８時〜２０時の時間帯に対応する異常判定時間は、それ以外の時間帯に対応する異常判定時間よりも長くなるように設定される。

【0116】

このように、異常判定時間が複数設定される場合、制御部１１は、上記ステップＳ１０７において、外出経過時間と異常判定時間とを比較する際、出入口設定情報１２１を参照して、時間帯に応じた異常判定時間を取得する。例えば、制御部１１は、見守り対象者が外出に利用した出入口について、ステップＳ１０２で見守り対象者の外出を検知した時刻又は本ステップＳ１０７の処理をする時刻の含まれる時間帯に対して設定されている異常判定時間を取得する。

【0117】

これにより、本変形例によれば、見守り対象者の異常状態を判定する異常判定時間を、各出入口３１〜３３だけではなく、時間帯に対しても可変にすることができる。すなわち、当該変形例によれば、異常判定時間帯が時間帯に応じて複数設定された出入口については、見守り対象者の行き先に加えて、時間帯に応じた異常判定を実施することができる。

【0118】

（撮影画像）
また、例えば、上記撮影画像３は、撮影画像３内の各画素の深度を示す深度データを含んでもよい。この場合の変形例を図９〜図１２を用いて説明する。

【0119】

図９は、本変形例に係る画像解析装置１のハードウェア構成を例示する。図９に例示されるように、カメラ２は、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。

【0120】

ただし、カメラ２の構成は、被写体の深度を取得可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、深度センサ２１単体に置き換わってもよい。

【0121】

なお、見守り対象者を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、Occipital社のStructure Sensorを挙げることができる。

【0122】

また、撮影画像３は、撮影範囲（画角）内の被写体の深度を示すデータを含んでいればよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。更に、撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。

【0123】

ここで、図１０を用いて、本変形例に係る深度センサ２１によって測定される深度を詳細に説明する。図１０は、本変形例に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図１０で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。

【0124】

すなわち、本変形例に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本変形例では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。このような深度を利用することで、本変形例に係る画像解析装置１は、実空間上における被写体の位置を特定することができる。

【0125】

このように、カメラ２が撮影する撮影画像３に深度データが含まれる場合、制御部１１は、上記ステップＳ１０１及びステップＳ１０４において、例えば、各画素の濃淡値が当該各画素の深度に応じて定められた撮影画像３を取得する。このとき、制御部１１は、撮影画像３に含まれる深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図１１及び図１２を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。

【0126】

図１１は、撮影画像３内の座標関係を例示する。また、図１２は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を例示する。なお、図１１の左右方向は、図１２の紙面に垂直な方向に対応する。すなわち、図１２で表れている撮影画像３の長さは、図１１で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図１１で例示される横方向の長さ（Ｗピクセル）は、図１２で表れていない撮影画像３の紙面垂直方向の長さに対応する。

【0127】

図１１で例示されるように、撮影画像３の任意の画素（点ｓ）の座標が（ｘ_s，ｙ_s）であるとし、カメラ２の横方向の画角がＶ_x、縦方向の画角がＶ_yであるとする。また、撮影画像３の横方向のピクセル数がＷであるとし、縦方向のピクセル数がＨであるとし、撮影画像３の中心点（画素）の座標が（０，０）であるとする。

【0128】

制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報をカメラ２から取得することができる。ただし、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を取得する方法はこのような例に限られず、制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、撮影画像３から、点ｓの座標（ｘ_s，ｙ_s）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。

【0129】

制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１〜３で示される関係式に基づいて、図１２に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓ_x，Ｓ_y，Ｓ_z，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。

【0130】

【数1】

【数2】

【数3】

【0131】

ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図１２に例示されるように、水平方向に対して傾いている場合がある。すなわち、カメラ座標系は、三次元空間（実空間）のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図１２のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。

【0132】

また、各画素の写る対象の実空間での位置を特定すると、制御部１１は、被写体の三次元形状を特定することができる。そこで、制御部１１は、上記ステップＳ１０２及びステップＳ１０５で人物領域を抽出する際に、深度データの示す各画素の深度を用いた三次元パターンマッチングを実施してもよい。この場合、例えば、制御部１１は、記憶部１２等に人物の三次元形状のテンプレートを保持し、この三次元形状のテンプレートに適合するパターンを深度データを利用して撮影画像３内で検索することで、人物領域を抽出することができる。

【0133】

以上のように、当該変形例では、撮影画像３に含まれる深度データによって、被写体の実空間における位置を特定することができる。したがって、カメラ２の設置場所及び視野方向に依存することなく、見守り対象者、各出入口３１〜３３等の見守りスペースに存在する対象物の実空間上の位置を特定することができる。よって、当該変形例によれば、カメラ２の設置条件に限定されず、見守り対象者の異常検知を行うことができる。

【0134】

なお、上記ステップＳ１０２及びステップＳ１０５では、制御部１１は、前景領域に基づいて人物領域を抽出してもよい。この場合、抽出された前景領域が人物領域であるとき、抽出された前景領域の面積は、その人物の大きさに対応する。そのため、制御部１１は、上記ステップＳ１０２及びステップＳ１０５において、前景領域の面積が所定の面積範囲に含まれるか否かを判定してもよい。この所定の面積範囲は、見守り対象者の写る前景領域の面積として取り得る値をカバーするように設定される。そして、制御部１１は、所定の面積範囲に含まれない面積の前景領域を上記ステップＳ１０２及びステップＳ１０５の処理対象から除外し、所定の面積範囲に含まれる面積の前景領域を上記ステップＳ１０２及びステップＳ１０５の処理対象としてもよい。

【0135】

このとき、前景領域の面積は、前景領域に含まれる画素数により与えられてもよい。ただし、カメラ２から被写体が遠ざかるほど、撮影画像３内の被写体の像は小さくなり、カメラ２に被写体が近づくほど、撮影画像３内の被写体の像は大きくなる。撮影画像３内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像３の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。

【0136】

そこで、制御部１１は、被写体の遠近による影響を除外するために、上記ステップＳ１０２及びステップＳ１０５において、各画素の深度を利用して、抽出した前景領域の実空間における面積を算出してもよい。前景領域の実空間における面積は、例えば、次のようにして算出することができる。すなわち、制御部１１は、まず、以下の数４及び数５の関係式に基づいて、図１１及び図１２に例示される任意の点ｓ（１画素）の実空間内における横方向の長さｗ及び／又は縦方向の長さｈをそれぞれ算出する。

【0137】

【数4】

【数5】

【0138】

続いて、制御部１１は、このように算出されるｗの２乗、ｈの２乗、又はｗとｈとの積によって、深度Ｄｓにおける１画素の実空間内での面積を算出する。そして、制御部１１は、前景領域に含まれる各画素の実空間内での面積の総和を求めることで、前景領域の実空間における面積を算出する。これにより、被写体の遠近の影響を除外した上で、前景領域の面積を求めることができる。

【0139】

なお、このような面積は、深度データのノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。

【符号の説明】

【0140】

１…画像解析装置、２…カメラ、
３…撮影画像、３１〜３３…出入口、
５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ、
１１１…画像取得部、１１２…外出解析部、１１３…帰還解析部、
１１４…異常判定部、１１５…異常検知通知部、
１２１…出入口設定情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】