特開2017-228042(P2017-228042A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グローリー株式会社の特許一覧
特開2017-228042監視装置、監視システム、監視方法及び監視プログラム
<>
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000003
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000004
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000005
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000006
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000007
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000008
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000009
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000010
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000011
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000012
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000013
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000014
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000015
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000016
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000017
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000018
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000019
  • 特開2017228042-監視装置、監視システム、監視方法及び監視プログラム 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-228042(P2017-228042A)
(43)【公開日】2017年12月28日
(54)【発明の名称】監視装置、監視システム、監視方法及び監視プログラム
(51)【国際特許分類】
   G08B 25/00 20060101AFI20171201BHJP
   G08B 25/04 20060101ALI20171201BHJP
   G08B 21/02 20060101ALI20171201BHJP
   H04N 7/18 20060101ALI20171201BHJP
   G06T 7/20 20170101ALI20171201BHJP
【FI】
   G08B25/00 510M
   G08B25/04 K
   G08B21/02
   H04N7/18 D
   G06T7/20 200B
【審査請求】未請求
【請求項の数】16
【出願形態】OL
【全頁数】19
(21)【出願番号】特願2016-122925(P2016-122925)
(22)【出願日】2016年6月21日
(71)【出願人】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(74)【代理人】
【識別番号】100105050
【弁理士】
【氏名又は名称】鷲田 公一
(72)【発明者】
【氏名】大塚 崇明
(72)【発明者】
【氏名】永井 悠葵
(72)【発明者】
【氏名】若林 宣道
【テーマコード(参考)】
5C054
5C086
5C087
5L096
【Fターム(参考)】
5C054FC01
5C054FC12
5C054FC13
5C054FD01
5C054FE28
5C086AA22
5C086AA27
5C086BA01
5C086CB26
5C086CB36
5C086DA14
5C086DA33
5C086FA02
5C086FA06
5C086FA18
5C087AA02
5C087AA03
5C087AA25
5C087AA32
5C087AA37
5C087BB02
5C087BB18
5C087BB74
5C087DD03
5C087DD05
5C087DD06
5C087DD24
5C087DD29
5C087EE18
5C087FF01
5C087FF04
5C087FF16
5C087FF19
5C087FF23
5C087GG02
5C087GG08
5C087GG10
5C087GG66
5L096BA02
5L096BA16
5L096CA02
5L096DA03
5L096EA35
5L096EA39
5L096EA43
5L096FA52
5L096FA66
5L096GA08
5L096GA40
5L096HA02
5L096HA03
5L096HA05
(57)【要約】
【課題】監視対象の特定動作を、処理負荷を抑制しつつ、簡易な構成で精度よく検出できる監視装置、監視システム、監視方法及び監視プログラムを提供する。
【解決手段】監視装置は、所定の3次元空間の深度画像データを取得する取得部と、取得部が取得した深度画像データの中の所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
監視対象の行動を監視する監視装置であって、
所定の3次元空間の深度画像データを取得する取得部と、
前記取得部が取得した深度画像データの中の前記所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、
を備えることを特徴とする監視装置。
【請求項2】
前記所定のエリアは複数あり、
前記検出部は、前記所定のエリアごとに、異なる検出条件を用いて前記監視対象の特定動作を検出することを特徴とする請求項1に記載の監視装置。
【請求項3】
前記深度画像データにおける前記監視対象に対応する第2画素群を認識する認識部と、
前記監視対象が前記所定のエリアに存在するか否かを判定するエリア判定部と、を備え、
前記検出部は、前記監視対象が前記所定のエリアに存在する場合に、当該所定のエリアに関連づけられた前記監視対象の特定動作を検出することを特徴とする請求項1又は2に記載の監視装置。
【請求項4】
前記認識部は、前記所定の3次元空間に前記監視対象がいないときの深度画像である背景深度画像と、前記取得部によって取得された深度画像データに基づく深度画像との差分を示す深度差分画像に基づいて、前記監視対象に対応する第2画素群を認識することを特徴とする請求項3に記載の監視装置。
【請求項5】
前記認識部は、前記深度差分画像を2値化した2値化画像に基づいて、前記監視対象に対応する第2画素群を認識することを特徴とする請求項4に記載の監視装置。
【請求項6】
前記エリア判定部は、前記第2画素群が前記第1画素群に含まれ、かつ、前記第2画素群の平均深度が前記所定のエリアの深度範囲に含まれる場合に、前記監視対象が前記所定のエリアに存在すると判定することを特徴とする請求項3から4のいずれか一項に記載の監視装置。
【請求項7】
前記所定のエリアは、居室内の不正な出入口である第1のエリアを含み、
前記検出部は、前記第2画素群の深度情報の変化、及び前記第1のエリアに対応する第1の検出条件に基づいて、前記監視対象が前記出入口から退室する行動、または、前記出入口から入室する行動を検出することを特徴とする請求項3から6のいずれか一項に記載の監視装置。
【請求項8】
前記所定のエリアは、居室内における生活空間として定義された第2のエリアを含み、
前記検出部は、前記第2画素群の変化、及び前記第2のエリアに対応する第2の検出条件に基づいて、前記監視対象の動きを検出することを特徴とする請求項3から6のいずれか一項に記載の監視装置。
【請求項9】
前記検出部は、前記第2画素群の変化量に対して、当該第2画素群の深度情報に基づいく重み付けをした活動量を算出し、前記活動量に基づいて、前記監視対象の動きを検出することを特徴とする請求項8に記載の監視装置。
【請求項10】
前記検出部は、前記第1画素群の深度情報の変化、前記所定のエリアに対応して設定されている検出条件、及び前記所定の3次元空間において発せられた音声に基づいて、前記監視対象の特定動作を検出することを特徴とする請求項1から9のいずれか一項に記載の監視装置。
【請求項11】
前記検出部による前記特定動作の検出結果に基づいて、異常の発生を判定する異常判定部と、
前記異常判定部によって異常が認められた場合に、異常が発生したことを示す異常情報を所定の通知先に通知する通知部と、
を備えることを特徴とする請求項1から10のいずれか一項に記載の監視装置。
【請求項12】
前記異常情報は、異常発生後の前記所定の3次元空間の映像又は前記所定の3次元空間で発せられた音声を含むことを特徴とする請求項11に記載の監視装置。
【請求項13】
前記異常情報を記録する記録部を備えることを特徴とする請求項11又は12に記載の監視装置。
【請求項14】
監視対象の行動を監視する監視システムであって、
所定の3次元空間を撮像して深度画像データを取得する深度センサーと、
前記深度センサーから前記深度画像データを取得する取得部と、
前記取得部が取得した深度画像データの中の前記所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、
を備えることを特徴とする監視システム。
【請求項15】
監視対象の行動を監視する監視方法であって、
所定の3次元空間の深度画像データを取得する工程と、
取得した前記深度画像データの中の前記所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する工程と、
を備えることを特徴とする監視方法。
【請求項16】
監視対象の行動を監視する監視装置のコンピューターに、
所定の3次元空間の深度画像データを取得する処理と、
取得した前記深度画像データの中の前記所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する処理と、
を実行させる監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視対象の動作を監視する監視装置、監視システム、監視方法及び監視プログラムに関する。
【背景技術】
【0002】
近年、高齢化の進行に伴い、介護施設に入所する高齢者や在宅介護が必要な独居高齢者(以下「要介護者」)が増加している。介護事業者や独居高齢者の親族等(以下「介護者」と称する)は、要介護者の安全を確保するとともに、緊急時には迅速な対応をとる必要がある。そこで、介護者が、要介護者の日常生活を把握するのに有用な見守りシステムが提案されている(例えば特許文献1〜4)。
【0003】
特許文献1〜3には、居住空間に複数のセンサー(例えば人感センサー)を設置しておき、センサーの検出結果を利用して要介護者の行動を検出する見守りシステムが開示されている。また、特許文献4には、深度情報付き撮像装置(例えばマイクロソフト社製のKinect(商標))から得られるスケルトン情報(骨格情報)に基づいて検出される姿勢の変化を元に、要介護者の行動を判定する見守りシステムが開示されている。なお、特許文献1〜4に開示の見守りシステムは、要介護者のプライバシーに配慮し、監視カメラを利用しない構成となっている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−109666号公報
【特許文献2】特開2003−132462号公報
【特許文献3】特開2004−313461号公報
【特許文献4】特開2013−206069号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、介護者が監視したい要介護者の行動(以下「特定動作」と称する)は、居室内における要介護者の所在エリアに応じて異なる。例えば、要介護者が窓付近にいる場合は、要介護者が窓から出ないかを重点的に監視したいと考えられる。また例えば、要介護者が床上、椅子、ベッドなどの生活空間いる場合は、要介護者がその生活空間において座ったり、寝たりする通常行動以外の異常行動をしていないかを重点的に監視したいと考えられる。しかしながら、特許文献1〜4に開示の見守りシステムでは、このような要求に対応することは困難である。
【0006】
すなわち、特許文献1〜3に開示の見守りシステムでは、人感センサーのように検出領域の狭いセンサーが用いられているため、センサー近傍でしか要介護者の行動を検出することができない。したがって、特定動作の監視エリアごとにセンサーを設置する必要があり、コストが増大する虞がある。例えば、窓からの不正な入退室(要介護者の不正退室や部外者の侵入)を検出するには、居室内外において窓の近傍にセンサーを設ける必要がある。また例えば、要介護者が、居室内のどこで何をしているかを検出するためには、居室全体がセンサーの検出領域に含まれるように多数のセンサーを設置する必要がある。
【0007】
また、特許文献4に開示の見守りシステムでは、就寝、ベッド起床、ベッド着座、ベッド立上、歩行、静止、椅子着座、椅子立上、床着座、床立上、床横臥の各動作に対応するスケルトンモデルの構成要素の位置変化をスケルトン動作判定基準データとして予めデータベースに登録しておき、動作ごとにその位置変化と深度情報付き撮像装置から得られたスケルトンモデルの構成要素の位置変化とを比較して行動パターンの判定を行っている。このような処理では、要介護者がベッドにいなくとも、ベッドで行われるベッド起床などの動作の構成要素のデータベースに登録された位置変化と、深度情報付き撮像装置から得られた構成要素の位置変化との比較処理がなされるため、処理負荷が高くなる。また、要介護者の行動パターンを精度よく検出するためには、様々な動作に対応する膨大な量のスケルトン動作判定基準データをデータベースに登録しておく必要があり、処理負荷がさらに高くなる。
【0008】
このようなことから、監視対象の特定動作を、処理負荷を抑制しつつ、簡易な構成で精度良く検出できるシステムの開発が強く望まれている。
【0009】
本発明の目的は、監視対象の特定動作を、処理負荷を抑制しつつ、簡易な構成で精度よく検出できる監視装置、監視システム、監視方法及び監視プログラムを提供することである。
【課題を解決するための手段】
【0010】
本発明の一態様に係る監視装置は、監視対象の行動を監視する監視装置であって、
所定の3次元空間の深度画像データを取得する取得部と、
前記取得部が取得した深度画像データの中の前記所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、を備えることを特徴とする。
【0011】
本発明の一態様に係る監視システムは、監視対象の行動を監視する監視システムであって、
所定の3次元空間を撮像して深度画像データを取得する深度センサーと、
前記深度センサーから前記深度画像データを取得する取得部と、
前記取得部が取得した深度画像データの中の前記所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、を備えることを特徴とする。
【0012】
本発明の一態様に係る監視方法は、監視対象の行動を監視する監視方法であって、
所定の3次元空間の深度画像データを取得する工程と、
取得した前記深度画像データの中の前記所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する工程と、を備えることを特徴とする。
【0013】
本発明の一態様に係る監視プログラムは、監視対象の行動を監視する監視装置のコンピューターに、
所定の3次元空間の深度画像データを取得する処理と、
取得した前記深度画像データの中の前記所定の3次元空間に含まれる所定のエリアに対応する第1画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する処理と、を実行させることを特徴とする。
【発明の効果】
【0014】
本発明によれば、監視対象の特定動作を、処理負荷を抑制しつつ、簡易な構成で精度よく検出することができる。
【図面の簡単な説明】
【0015】
図1】実施の形態に係る見守りシステムを示す図である。
図2】見守りシステムの監視領域(深度センサーの撮像エリア)を示す図である。
図3】深度センサーによって取得される深度画像データに基づく深度画像を描画した線図である。
図4】一般的な深度画像を示す図である。
図5】監視エリアの設定例を示すである。
図6】エリア情報のデータ構成の一例を示す図である。
図7】監視エリアに対応する第1画素群を示す図である。
図8】監視処理を示すメインのフローチャートである。
図9】監視対象の存否を判定する際の認識処理を示す図である。
図10】認識処理に用いられる深度画像及び2値化画像を示す図である。
図11】認識処理に用いられる深度画像及び2値化画像を示す図である。
図12】窓エリアで実行される監視処理を示すフローチャートである。
図13】窓エリアに対応する第2画素群の変化を示す図である。
図14】居室エリアで実行される監視処理を示すフローチャートである。
図15】居室エリアに対応する第2画素群の変化を示す図である。
図16】活動量の具体例を示す図である。
図17】活動量の具体例を示す図である。
図18】活動量の具体例を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【0017】
図1は、本発明の一実施の形態に係る見守りシステム1を示す図である。図2は、見守りシステム1の監視領域(深度センサー21の撮像エリア)を示す図である。
【0018】
見守りシステム1は、例えば介護施設内の各居室に設置され、それぞれの居住者(監視対象)の日常生活を監視し、異常が検出された場合には、介護者(介護施設の職員及び監視対象の親族等)に異常の発生を通知する等、適切な異常対応処理を行う。具体的には、見守りシステム1は、居室内において設定された監視エリアごとに、当該監視エリアに関連づけられた特定動作を監視し、特定動作の検出結果に基づいて異常の発生を判定する。
【0019】
特定動作とは、介護者が監視したい行動である。例えば、窓付近においては不正な出入口である窓からの退室が特定動作とされ、窓からの退室が検出された場合に異常が発生したと判定される。また例えば、生活空間においては監視対象の動きが特定動作とされ、動きが検出されなくなった場合に異常が発生したと判定される。
【0020】
図1図2に示すように、見守りシステム1は、監視装置10、深度センサー21、マイク22及びRGBカメラ23を備える。
【0021】
深度センサー21は、居室内における通常の生活空間が撮像エリアに含まれるように設置される。図2では、深度センサー21は、窓に対向する壁面に、居室の幅がX方向、高さがY方向、奥行きがZ方向となるように設置されている。図2における網掛け部分が、深度センサー21の撮像エリアである。つまり、本実施の形態では、居室内のベッド、窓、タンス、及び本棚を含むエリアが、見守りシステム1の監視エリアである。
【0022】
深度センサー21は、撮像エリアに含まれる3次元空間を一定周期(フレームレート、例えば30fps)で撮像し、所定の解像度(例えば512×424)で深度情報を取得する。画素単位で取得された深度情報の集合を「深度画像データ」と称する。深度情報とは、深度センサー21の撮像面から対象物体までの深度(奥行き)を示す情報である。取得された深度画像データは、監視装置10に送信される。
【0023】
図3は、深度センサー21によって得られる深度画像データをカメラ基準で画像化した深度画像を描画した線図である。図3では、撮像エリアに含まれる居室内の様子をわかりやすくするため線図で示しているが、一般的には、深度画像は、深度情報を各画素の画素値(階調値)に置き換えて描画され、濃淡画像で表される(図4参照)。
【0024】
深度センサー21は、例えばパターン照射方式、TOF(Time of Flight)方式、又はステレオカメラ方式により、対象物体までの距離(深度)を測定する。深度センサー21には、例えばマイクロソフト社製のKinectを利用することができる。Kinectは、深度センサーだけでなく、マイク及びRGBカメラも備えている。
【0025】
パターン照射方式の場合、深度センサー21は、赤外線プロジェクター及び赤外線カメラを含む。赤外線プロジェクターは、赤外線による所定のドットパターンを、対象物体に向けて照射する。赤外線カメラは、対象物体に照射されたドットパターンを撮像する。対象物体までの距離によって、ドットパターンの幾何学的な形状が変化するので、その変化(歪み)を演算することにより、深度情報を取得することができる。
【0026】
マイク22は、居室内で発せられる音声を集音し、音声情報を監視装置10に送信する。居室内において異常が生じたときには、日常生活では聞き慣れない異音(金切り声のように周波数の高い音又はうめき声のように周波数の低い音)が集音される。
【0027】
RGBカメラ23は、撮像エリアに含まれる3次元空間を一定周期(フレームレート、例えば30fps)で撮像し、所定の解像度で輝度情報を取得する。画素単位で取得された輝度情報に基づいて、カラー画像が生成される。カラー画像を構成する各画素は、対象物体の色を再現するための色情報を有する。RGBカメラ23は、居住者のプライバシーに配慮して、通常の監視処理では動作せず、異常が検出された場合にのみ動作する。
【0028】
監視装置10は、一般的なパーソナルコンピューター相当の機能を有する情報処理装置である。監視装置10は、制御部11、入力部12、表示部13、音声出力部14、通信部15、及び記憶部16等を備える。
【0029】
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備える(いずれも図示略)。CPUは、例えばROM又は記憶部16から処理内容に応じたプログラムを読み出してRAMに展開し、展開したプログラムと協働して、監視装置10の各ブロックの動作を集中制御する。制御部11は、深度画像データ取得部111、ターゲット認識部112、エリア判定部113、動作検出部114、及び異常対応部115として機能する。これらの機能については、図8図12図14のフローチャートに従って詳述する。
【0030】
入力部12は、文字入力可能なキーボードやマウス等のポインティングデバイスを含む。監視エリアの設定や、検出条件の設定を行う際に用いられる。表示部13は、液晶ディスプレイや有機ELディスプレイなどのディスプレイであり、見守りシステム1を実現する上で必要な情報を表示する。音声出力部14は、危険が迫っている監視対象に対して警告音を発するスピーカーである。通信部15は、無線通信又は有線通信により、介護者が所有する情報端末(例えばパーソナルコンピューターやスマートフォン)と情報の送受信を行う。
【0031】
記憶部16は、例えばHDD(Hard Disk Drive)、又はSSD(Solid State Drive)等の補助記憶装置である。記憶部16は、エリア情報161、背景深度画像162及び監視プログラム163等を記憶する。
【0032】
エリア情報161は、居室内における監視エリアを示す情報であり、監視エリアの範囲が3次元直交座標系で表される。背景深度画像162は、監視対象が含まれていない状態を撮像した深度画像であり、監視対象の存否を判定する際に用いられる。背景深度画像162は、所定の時間間隔で更新されるのが好ましい。監視プログラム163は、監視対象の特定動作を検出するためのプログラムである。
【0033】
図5は、監視エリアの設定例を示す図である。本実施の形態では、監視エリアのY方向については、利用者が特に設定操作を行うことなく全範囲(床(Y=0)から天井(Y=Ymax))が設定されるものとする。監視すべき特定動作が空中で行われる行動である場合には、監視エリアのY方向の範囲を制限することは有効であるが、そのようなケースは想定しづらいためである。
【0034】
監視エリアのX方向及びZ方向については、図5に示すように、XZ平面において長方形を描画することにより、範囲の設定が行われるものとする。図5では、居室の不正出入口である窓近傍のエリアR1(以下「窓エリアR1」と称する)、通常の生活空間である居室全体を含むエリアR2(以下「居室エリアR2」と称する)、居住者が就寝するエリアR3(以下「ベッドエリアR3」と称する)が、それぞれ監視エリアとして設定されている。図5に示すように、監視エリアは、対角のXZ座標で規定される。なお、監視エリアの外形は、円形など長方形以外の形状であってもよい。
【0035】
監視エリアは、見守りシステム1を設置する際に、例えば介護事業者によって、居室の間取り図(XZ平面の俯瞰図)を利用して設定される。具体的には、居室の間取り図において、所望する監視エリアの外形を規定する対角の頂点座標をマウスでクリックしたり、監視エリアの対角線をマウスをドラッグして指定したりすることにより、矩形状の監視エリアを設定することができる。
【0036】
なお、介護事業者が、監視エリアとして想定しうる複数のエリアについてエリア情報を登録しておき、その中から居住者の親族等が選択できるようにしてもよい。
【0037】
図6は、エリア情報161のデータ構成の一例を示す図である。図6には、図5のように監視エリアが設定されている場合のデータ構成を示している。図6に示すように、エリア情報161は、エリア名、監視エリアの水平方向の範囲、鉛直方向の範囲、奥行方向の範囲、及び監視プログラムを含む。
【0038】
監視エリアに対応して設定されている監視プログラムは、当該監視エリアに監視対象がいる場合に実行されるサブルーチンであり、監視すべき特定動作ごとに用意される。図6において、監視プログラムPRG1は、窓からの不正入退室を監視するプログラムであり、監視プログラムPRG2、PRG3は、監視対象の動きを監視するプログラムである。監視プログラムPRG2、PRG3は、監視すべき特定動作は同じであるが、特定動作を検出する際の検出条件が異なる。
【0039】
図6に従うと、監視対象が窓エリアR1にいる場合は監視プログラムPRG1が実行され、居室エリアR2にいる場合は監視プログラムPRG2が実行され、ベッドエリアR3にいる場合は監視プログラムPRG3が実行される。また、深度画像においては、図7に示すように、画素群P11〜P13(第1画素群P1)が、それぞれ窓エリアR1、居室エリアR2、ベッドエリアR3に対応する。
【0040】
図8は、監視装置1における特定動作の監視処理を示すフローチャートである。この処理は、例えば監視装置1が起動されることに伴い、CPUが記憶部16に格納されているメイン監視プログラムPRG0を呼び出して実行することで実現される。
【0041】
図8のステップS1において、制御部11は、深度センサー21に対して深度画像データを要求し、深度センサー21から深度画像データを取得する(深度画像データ取得部111としての処理)。深度画像データは、例えばRAMに一時的に記憶され、経時的な深度画像間の変化を算出する際に用いられる。
【0042】
ステップS2において、制御部11は、監視対象の認識を行う(ターゲット認識部112としての処理)。具体的には、基準となる背景深度画像(図9A参照)と、ステップS1で取得した深度画像データに基づく深度画像(図9B参照)との差分を示す深度差分画像に基づいて、背景深度画像で示される基準状態からの変化を検出する。そして、基準状態から変化した画素群(連続する画素の集合)が一定面積(一定画素数)以上である場合に、この画素群を監視対象に対応する画素群(第2画素群)として認識する。
【0043】
このとき、図9Cに示すように、深度差分画像(図示略)を所定のしきい値を用いて2値化することにより、監視対象に対応する第2画素群P2を容易に認識することができる。深度差分画像が256階調で表される場合、しきい値は、例えば15に設定される。2値化画像のデータは、例えばRAMに一時的に記憶され、監視対象の変化を算出する際に用いられる。
【0044】
ステップS3において、制御部11は、監視対象が監視エリアに存在するか否かを判定する(エリア判定部113としての処理)。具体的には、ステップS2で得られた監視対象に対応する第2画素群P2が、監視エリアに対応する第1画素群P11〜P13(図7参照)に含まれ、かつ、第2画素群P2の平均深度Zavgが監視エリアの奥行範囲に含まれる場合に、監視対象が監視エリアに存在すると判定する。
【0045】
なお、監視対象に対応する第2画素群P2の構成画素の全部が第1画素群P1に含まれていなくても、第2画素群P2の構成画素のうち所定割合以上(例えば10%以上)の画素が第1画素群P1に含まれている場合は、第2画素群P2が第1画素群P1に含まれていると判定される。また、第2画素群P2の平均深度Zavgは、第2画素群P2の構成画素がそれぞれ有する深度情報の平均値である。
【0046】
例えば、図10A図10Bに示す場合、監視対象に対応する第2画素群P2の構成要素のうち40%以上の画素が第1画素群P11に含まれているが、第2画素群P2の平均深度Zavgが窓エリアR1の奥行き範囲(Z11〜Z12、図6参照)に含まれないので、監視対象は窓エリアR1にいないと判断される。一方、図11A図11Bに示す場合、監視対象に対応する第2画素群P2の構成要素のうち20%以上の画素が第1画素群P11に含まれており、第2画素群P2の平均深度Zavgも窓エリアR1の奥行き範囲(Z11〜Z12、図6参照)に含まれているので、監視対象は窓エリアR1にいると判断される。この場合、窓エリアR1が監視対象の所在エリアとなる。
【0047】
ステップS4において、制御部11は、監視エリアに関連づけられた特定動作の検出を行う(動作検出部114としての処理)。特定動作の検出は、第1の画素群P1の深度情報の変化、及び当該監視エリアに対応して設定されている検出条件に基づいて行われる。具体的には、監視対象が所在する監視エリアに対応して設定されている監視プログラムが実行される。監視プログラムにより実行される特定行動の判定処理に用いられる判定基準が、監視エリアに対応して設定されている検出条件である。
【0048】
図12は、監視対象が窓エリアR1にいる場合に実行される監視処理を示すフローチャートである。この処理は、図8のステップS3において、監視対象の所在エリアが窓エリアR1であると判定された場合に実行される。この処理により、窓からの不正入退室が監視される。図13A図13Bは、窓エリアR1に対応する第1画素群P11の変化(第2画素群P2の変化を含む)を示す図である。
【0049】
窓からの不正入退室は、監視対象に対応する第2画素群P2の平均深度Zavg及び平均深度の変化ΔZavgに基づいて判定される。平均深度の変化ΔZavgは、現在の平均深度Zavgと、数フレーム前(1フレームでもよい)の第2画素群P2の平均深度Zavgの差である。
【0050】
図12のステップS11において、制御部11は、制御対象に対応する第2画素群P2の平均深度の変化ΔZavgが0より大きく、かつ平均深度Zavgが窓の深度Zwより大きいか否かを判定する。窓の深度Zwは、窓エリアR1の奥行き範囲内(Z11〜Z12)の値であり、例えば窓エリアR1のエリア情報161を設定する際に、深度センサー21によって予め測定され、記憶部16に格納される。
【0051】
第2画素群P2の平均深度の変化ΔZavgが0より大きく、かつ平均深度Zavgが窓の深度Zwより大きい場合(ステップS11で“YES”)、ステップS13の処理に移行する。この場合は、居住者が窓エリアR1を居室外に向かって移動し、窓を跨いで室外に出たことになる(不正退室)。一方、第2画素群P2の平均深度の変化ΔZavgが0以下であり、又は平均深度Zavgが窓の深度Zw以下である場合(ステップS11で“NO”)、ステップS12の処理に移行する。
【0052】
ステップS12において、制御部11は、制御対象に対応する第2画素群P2の平均深度の変化ΔZavgが0以下であり、かつ平均深度Zavgが窓の深度Zw以下であるか否かを判定する。第2画素群P2の平均深度の変化ΔZavgが0以下であり、かつ平均深度Zavgが窓の深度Zw以下である場合(ステップS12で“YES”)、ステップS13の処理に移行する。この場合は、部外者が窓エリアR1を居室内に向かって移動し、窓を跨いで室内に入ったことになる(不正入室)。
【0053】
一方、第2画素群P2の平均深度の変化ΔZavgが0より大きく、又は平均深度Zavgが窓の深度Zwより大きい場合(ステップS11で“NO”)、図12のステップS12の処理に移行する。第2画素群P2の平均深度の変化ΔZavgが0以下であり、かつ平均深度Zavgが窓の深度Zwよりも大きい場合は、居室外において部外者が窓に近づいていることになる。また、第2画素群P2の平均深度の変化ΔZavgが0より大きく、かつ平均深度Zavgが窓の深度Zw以下である場合は、居室内においてに居住者が窓に近づいていることになる。これらの場合は、不正退室又は不正入室に発展する虞があるので、引き続き監視する。また、居住者に、不正退室又は不正入室が行われようとしていることを示す音声を音声出力部14から出力し、居住者に対して警告を行ってもよい。
【0054】
ステップS13において、制御部11は、不正退室又は不正入室の検出が行われたことに基づいて、異常が発生したと判定し、不正入退室に対する異常対応処理を行う(異常対応部115としての処理)。具体的には、異常対応処理として、異常が発生したことを示す異常情報を所定の通知先(例えば介護事業者及び監視対象の近親者等の介護者)に電子メールで通知する。異常情報は、異常の発生時刻、発生状況等を含む。これにより、介護者は、監視対象に異常が発生したことを知得することができ、必要な措置を講じることができる。
【0055】
この異常情報には、異常発生後の居室空間の映像又は居室空間で発生された音声を含むことが好ましい。異常発生後の映像はRGBカメラ23から取得でき、音声はマイク22から取得できる。また、異常情報を記憶部16に記録するようにしてもよい。これにより、介護者は、異常が発生した後の状況を知得することができるので、状況に応じて適切な措置を講じることができる。
【0056】
なお、ステップS11で窓からの異常退室が検出された場合は、引き続き監視を継続し、監視対象に対応する第2画素群P2が消失した時点で異常が発生したとみなし、異常対応を行うようにしてもよい。窓からの一時的な退室は日常生活の中でも想定しうる行動であり、このような退室の意思がない場合にまで異常対応を行う必要はないためである。
【0057】
このように、監視エリアが居室内の不正な出入口である窓エリアR1(第1のエリア)である場合、動作検出部114は、監視対象に対応する第2画素群P2の深度情報の変化、及び窓エリアR1に対応する検出条件に基づいて、監視対象の不正入退室を検出する。第2画素群P2は、第1画素群P1に含まれるので、第1画素群P2の深度情報の変化に基づいて、監視対象の不正入退室を検出していることになる。
【0058】
この監視処理では、Kinectから提供されるスケルトン情報は利用せず、第2画素群P2の深度情報だけを利用するため、引用文献4に開示の見守りシステムに比較して処理負荷は格段に軽減される。
【0059】
図14は、監視対象が通常の居室エリアR2にいる場合に実行される監視処理を示すフローチャートである。この処理は、図8のステップS3において、監視対象の所在エリアが居室エリアR2であると判定された場合に実行される。この処理により、監視対象が動いているか否かが監視される。図15A図15Bは、居室エリアR2に対応する第1画素群P12の変化(第2画素群P2の変化を含む)を示す図である。
【0060】
図14のステップS21において、制御部11は、居室エリアR2に対応する第1画素群P11において、監視対象に対応する第2画素群P2が変化したか否かを判定する。監視対象に対応する第2画素群P2が変化した場合(ステップS21で“YES”)、図8のステップS1の処理に移行する。静止時間のカウントはリセットされる。この場合は、監視対象が健全に日常生活を送っていると判断できる。一方、監視対象に対応する第2画素群P2が変化していない場合(ステップS21で“NO”)、ステップS22の処理に移行する。この場合は、居室エリアR2において監視対象の動きがないことになり、監視対象が意識を失っている可能性がある。静止時間のカウントは開始又は継続される。
【0061】
第2画素群P2が変化したか否かの判定は、例えば第2画素群P2の2フレーム間の変化画素数を、過去数フレームにわたって積算した活動量を用いて行われる。第2画素群P2の変化画素数は、深度差分画像を利用して算出される。例えば、図16に示すような動きがあった場合は、連続する4フレームにおいて、各フレーム間の変化画素数が100であるので、第4フレームにおける活動量は300となる。また例えば、図17に示すような動きがあった場合は、連続する4フレームにおいて、各フレーム間の変化画素数が50であるので、第4フレームにおける活動量は150となる。つまり、図16に示す動きよりも、図17に示す動きの方が小さい。適切に活動量のしきい値を設定することで、算出された活動量に基づいて、第2画素群P2が変化したか否かを判定することができる。
【0062】
ここで、深度画像における第2画素群P2の面積は、同じポーズであっても、深度が浅い程大きく、深度が深い程小さくなる。そのため、図18に示すように、監視対象が激しい動きをしていても、深度の深い場所にいると、活動量は小さくなってしまう。図18に示す動きは、図16に示す動きよりも明らかに激しいが、監視対象が深度の深い場所にいるために、活動量は小さくなる。このように、上述した活動量を指標として監視対象の動きを監視すると、深度センサー21から監視対象までの距離による影響を受ける結果、監視対象が深度の深い場所にいる場合に、誤検知を生じる虞がある。
【0063】
そこで、第2画素群P2の変化画素数(変化量)に対して、第2画素群P2の深度情報に基づく重み付けをした活動量を用いるのが好ましい。これにより、深度センサー21から監視対象までの距離による影響を低減でき、監視対象の動きに比例した値が活動量となるので、誤検知を防止することができる。例えば、図18において、監視対象がいる深度に基づく深度重みが20であるとすると、第4フレームにおける活動量は600となり、激しい動きをしていることを適正に判断できる。
【0064】
ステップS22において、制御部11は、監視対象に対応する第2画素群P2の平均高さYavgが所定のしきい値Ythよりも小さいか否かを判定する。しきい値Ythは、監視対象の姿勢を判定する際の判定基準であり、臥位又は座位(図15B参照)と、立位(図15A参照)を区別できる値に設定される。現在の第2画素群P2の平均高さYavgがしきい値Ythよりも小さい場合(ステップS22で“YES”)、ステップS23の処理に移行する。この場合は、意識を失って倒れている可能性が高い(図15B参照)。一方、第2画素群P2の平均高さYavgがしきい値Yth以上である場合(ステップS22で“NO”)、図8のステップS1の処理に移行する。静止時間のカウントはリセットされる。この場合は、監視対象は起立していることになり、健全に日常生活を送っていると判断できる(図15A参照)。
【0065】
ステップS23において、制御部11は、静止状態が所定時間経過したか否かを判定する。所定時間は、意識を失っていると判断できる値(例えば3分)に設定される。静止状態が所定時間経過した場合(ステップS23で“YES”)、ステップS24の処理に移行する。この場合は、監視対象が意識を失って危険な状態であると判断できる(図15B参照)。一方、静止状態が所定時間経過していない場合(ステップS23で“NO”)、図8のステップS1の処理に移行する。この場合は、意識がないとまでは判断できないので、引き続き監視する。
【0066】
ステップS24において、制御部11は、監視対象の動きが検出されないことに基づいて、異常が発生したと判定し、監視対象が動いていないことに対する異常対応処理を行う(異常対応部115としての処理)。異常対応処理としては、図12のステップS13と同様であるので、説明を省略する。
【0067】
このように、監視エリアが居室内の生活空間として定義された居室エリアR2(第2のエリア)である場合、動作検出部114は、監視対象に対応する第2画素群P2の変化、及び居室エリアR2に対応する検出条件に基づいて、監視対象の動きを検出する。第2画素群P2は、第1画素群P1に含まれるので、第1画素群P2の深度情報の変化に基づいて、監視対象の不正入退室を検出していることになる。
【0068】
この監視処理では、Kinectから提供されるスケルトン情報は利用せず、第2画素群P2の深度情報を利用するため、引用文献4に開示の見守りシステムに比較して処理負荷は格段に軽減される。
【0069】
監視対象がベッドエリアR3にいる場合は、図14に示すフローチャートと同様の監視処理が行われる。ただし、ステップS21において、監視対象に対応する第2画素群P2が変化したか否かを判定するための判断基準(ここでは活動量のしきい値)が異なる。
【0070】
監視対象がベッドエリアR3において寝ている場合、起きている場合に比較して監視対象に対応する第2画素群P2の変化量は極端に減少する。したがって、正常に寝ている状態を静止状態と判定して、動きがないことを誤検知しないように、言い換えると、画素の変化が小さくても監視対象の動きを検出できるように、第2画素群P2が変化したか否かを判定するための活動量のしきい値が設定される。
【0071】
このように、本実施の形態に係る監視装置10は、深度センサー21の撮像エリア(所定の3次元空間)の深度画像データを取得する深度画像データ取得部111と、深度画像データ取得部111が取得した深度画像データの中の撮像エリアに含まれる所定の監視エリアに対応する第1画素群P1の深度情報の変化、及び監視エリアに対応して設定されている検出条件に基づいて、当該監視エリアに関連づけられた監視対象の特定動作(窓からの不正入退室、動き)を検出する動作検出部114と、を備える。
【0072】
また、監視装置10においては、監視エリアが複数である場合に、監視エリアごとに、異なる検出条件を用いて監視対象の特定動作を検出する。
【0073】
監視装置10によれば、監視エリアごとに監視すべき特定動作を設定し、その特定動作を検出するための検出条件を用いて検出が行われるので、処理負荷を抑制しつつ、監視対象の特定動作を精度よく検出することができる。また、一つの深度センサー21で複数の監視エリアをカバーできるので、システム構成は極めて簡易であり、介護施設等に容易に導入することができる。さらには、赤外線を利用したパターン照射方式の深度センサー21を適用する場合、就寝時等の暗室環境でも監視を行うことができる。
【0074】
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
【0075】
例えば、監視装置10は、監視対象の特定動作を検出するに際し、第1画素群P1の深度情報の変化、及び監視エリアに対応して設定されている検出条件に加えて、マイク22によって集音される居室内において発せられた音声を考慮してもよい。具体的には、監視対象の動きが検出されなくても、声が聞こえていれば健全に日常生活を送っていると判断できる。また、激しい動きが検出されても、同時に日常生活では聞き慣れない金切り声が聞こえた場合には、運動ではなく苦しんでいることを知得できる。また、監視対象の動きが検出されない場合に、うめき声が聞こえていれば、所定時間が経過する前にいち早く異常対応を行うことができる。
【0076】
実施の形態で示した監視エリアと監視エリアに対応する特定動作は一例であり、監視エリアと特定動作の組み合わせについては、様々なパターンが考えられる。例えば、タンス等の貴重品保管場所を監視エリアに設定し、監視エリアに所定時間立っていた場合に、貴重品の取り扱いという特定行動を検出し、記録するようにすれば、痴呆患者や居室に立ち入った人物による貴重品の取り扱いを管理することができる。また、特定動作を判定するための検出条件には、監視時間帯等を含めてもよい。
【0077】
実施の形態では、介護施設の居室内における監視対象の特定動作を検出する場合を例に説明したが、本発明は、児童保育所や学校施設での児童や生徒の見守り、病院施設での患者の見守り、動物園や家畜施設での動物の監視をする場合に好適である。美術館や博物館における展示品の監視システムにも適用できる。この場合、展示品周辺を監視エリアとして設定し、監視対象が一定距離以上近づいたときに警告を通知するシステムを実現できる。さらには、イベント会場等における入退人数をカウントするシステムに適用することもできる。
【0078】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0079】
1 見守りシステム(監視システム)
10 監視装置
11 制御部
111 深度画像データ取得部
112 ターゲット認識部
113 エリア判定部
114 動作検出部
115 異常対応部
12 入力部
13 表示部
14 音声出力部
15 通信部
16 記憶部
21 深度センサー
22 マイク
23 RGBカメラ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18