IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本ケミコン株式会社の特許一覧

特開2024-48931検知システム、検知方法、プログラムおよび検知モジュール
<>
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図1
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図2
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図3
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図4
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図5
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図6
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図7
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図8
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図9
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図10
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図11
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図12
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図13
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図14
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048931
(43)【公開日】2024-04-09
(54)【発明の名称】検知システム、検知方法、プログラムおよび検知モジュール
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240402BHJP
   G06T 7/62 20170101ALI20240402BHJP
   H04N 7/18 20060101ALI20240402BHJP
【FI】
G06T7/00 C
G06T7/62
H04N7/18 K
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022155109
(22)【出願日】2022-09-28
(71)【出願人】
【識別番号】000228578
【氏名又は名称】日本ケミコン株式会社
(74)【代理人】
【識別番号】100083725
【弁理士】
【氏名又は名称】畝本 正一
(74)【代理人】
【識別番号】100140349
【弁理士】
【氏名又は名称】畝本 継立
(74)【代理人】
【識別番号】100153305
【弁理士】
【氏名又は名称】畝本 卓弥
(74)【代理人】
【識別番号】100206933
【弁理士】
【氏名又は名称】沖田 正樹
(72)【発明者】
【氏名】佐藤 遼
(72)【発明者】
【氏名】田巻 克弥
(72)【発明者】
【氏名】柴田 尚久
【テーマコード(参考)】
5C054
5L096
【Fターム(参考)】
5C054EA01
5C054FC01
5C054FC12
5C054FC13
5C054FC14
5C054GB15
5L096AA09
5L096BA02
5L096CA18
5L096FA59
5L096FA66
5L096FA81
(57)【要約】
【課題】撮像によって得た距離画像から取得した仮想体積を取得し、この仮想体積を用いて対象物の検知や異常などの状態を検知する。
【解決手段】検知すべき対象物(4)に対して背景を表す第一距離画像(Vv1)を予め取得し、少なくとも背景と対象物を含む第二距離画像(Vv2)を取得する撮像部(検知モジュール11、撮像部12)と、第一距離画像から背景を表す第一仮想体積を算出し、第二距離画像から対象物を表す第二仮想体積を算出し、第一仮想体積と第二仮想体積を比較して対象物を検知する処理部(13、処理装置16)とを含んでいる。
【選択図】図1
【特許請求の範囲】
【請求項1】
背景を表す第一距離画像を予め取得し、少なくとも前記背景と前記対象物を含む第二距離画像を取得する撮像部と、
前記第一距離画像から前記背景を表す第一仮想体積を算出し、前記第二距離画像から前記対象物を表す第二仮想体積を算出し、前記第一仮想体積と前記第二仮想体積を比較して前記対象物を検知する処理部と、
を含む、検知システム。
【請求項2】
検知すべき対象物以外の物体とともに、前記背景を表す第一距離画像を予め取得し、前記背景、前記物体および前記対象物を含む第二距離画像を取得する撮像部と、
前記第一距離画像から前記物体および前記背景を表す第一仮想体積を算出し、前記第二距離画像から前記対象物および前記物体を表す第二仮想体積を算出し、前記第一仮想体積と前記第二仮想体積を比較して前記対象物を検知する処理部と、
を含む、検知システム。
【請求項3】
前記処理部が、前記対象物の前記撮像部との距離およびまたは仮想面積を算出し、前記撮像部との前記距離およびまたは前記仮想面積を用いて前記対象物の状態を検知する、請求項1または請求項2に記載の検知システム。
【請求項4】
前記第一距離画像、前記第二距離画像、前記第一仮想体積画像、前記第二仮想体積画像、前記最大高さ、前記仮想面積、前記対象物の状態を表す状態情報の何れかまたは二以上を提示する情報提示部を含む、請求項1または請求項2に記載の検知システム。
【請求項5】
撮像部が、検知すべき対象物に対して背景を表す第一距離画像を予め取得し、少なくとも前記背景と前記対象物を含む第二距離画像を取得する工程と、
処理部が、前記第一距離画像から前記背景を表す第一仮想体積を算出し、前記第二距離画像から前記対象物を表す第二仮想体積を算出し、前記第一仮想体積と前記第二仮想体積を比較して前記対象物を検知する工程と、
を含む、検知方法。
【請求項6】
コンピュータに実行させるためのプログラムであって、
検知すべき対象物に対して背景を表す第一距離画像を予め取得する機能と、
少なくとも前記背景と前記対象物を含む第二距離画像を取得する機能と、
前記第一距離画像から前記背景を表す第一仮想体積を算出する機能と、
前記第二距離画像から前記対象物を表す第二仮想体積を算出する機能と、
前記第一の仮想体積と前記第二仮想体積を比較して前記対象物を検知し、該対象物から最大高さまたは仮想面積を算出する機能と、
を前記コンピュータに実行させるためのプログラム。
【請求項7】
検知すべき対象物に対して背景を表す第一距離画像を予め取得し、少なくとも前記背景と前記対象物を含む第二距離画像を取得する撮像部と、
前記第一距離画像から前記背景を表す第一仮想体積を算出し、前記第二距離画像から前記対象物を表す第二仮想体積を算出し、前記第一仮想体積と前記第二仮想体積を比較して前記対象物を検知する処理部と、
を含む、検知モジュール。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は検知すべき対象物として、たとえば、ヒトの状態検知などに用いられる検知技術に関する。
【背景技術】
【0002】
ToFカメラ(Time-of-Flight Camera)は、対象物に光を照射し、その反射光の到達時間を用いて対象物から三次元情報(距離画像)を計測可能なカメラである。
【0003】
このToFによる検知技術に関し、撮像画像から背景差分処理に差分画像を取得し、この差分画像に含まれる人のオブジェクトから頭部を推定し、この頭部と対象空間の床面との距離を算出して人の姿勢を判定し、姿勢および物の位置情報から人の挙動を検出することが知られている(たとえば、特許文献1)。
【0004】
対象物の異常検知に関し、対象物の静止状態を表す時間を計測し、この時間が閾値を超えた場合、異常であるとの判断を行うことが知られている(たとえば、特許文献2)。
【0005】
異常監視に関し、距離画像中の任意の一領域における測定点の距離の時間的変化をモニターし、この時間的変化が一定範囲を超えた場合に異常である認識することが知られている(たとえば、特許文献3)。
【0006】
移動物体の検知に関し、距離画像から検知空間内の物体の移動ベクトルおよび体積を算出し、移動ベクトルおよび体積に基づいて検知対象を検知することが知られている(たとえば、特許文献4)。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2015-130014号公報
【特許文献2】特開2008-052631号公報
【特許文献3】特開2019-124659号公報
【特許文献4】特開2022-051172号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
挙動などの状態を検知すべき対象物がたとえば、ヒトである場合には、肖像などの属性情報、プライバシーに関する情報など、異常検知などの状態情報の取得と同等以上に優先すべき課題がある。一般的なカメラによる撮像では異常検知が可能であってもプライバシーなど、個人情報を防護することができない。
【0009】
これに対し、ToFカメラで得られる距離画像によれば、対象物がヒトであっても、そのプライバシーや個人情報の暴露を防止できるという利点がある。
【0010】
本開示の発明者は、対象物とセンサとの間の距離を表す距離画像の画素によって仮想体積を取得し、その体積変化から対象物の状態を検知することができるとの知見を得た。
【0011】
そこで、本開示の目的は上記課題および上記知見に鑑み、撮像によって得た距離画像から取得した仮想体積を取得し、この仮想体積を用いて対象物の検知や異常などの状態を検知することにある。
【課題を解決するための手段】
【0012】
上記目的を達成するため、本開示の検知システムの一側面によれば、背景を表す第一距離画像を予め取得し、少なくとも前記背景と前記対象物を含む第二距離画像を取得する撮像部と、前記第一距離画像から前記背景を表す第一仮想体積を算出し、前記第二距離画像から前記対象物を表す第二仮想体積を算出し、前記第一仮想体積と前記第二仮想体積を比較して前記対象物を検知する処理部とを含む。
【0013】
上記目的を達成するため、本開示の検知システムの一側面によれば、検知すべき対象物以外の物体とともに、前記背景を表す第一距離画像を予め取得し、前記背景、前記物体および前記対象物を含む第二距離画像を取得する撮像部と、前記第一距離画像から前記物体および前記背景を表す第一仮想体積を算出し、前記第二距離画像から前記対象物および前記物体を表す第二仮想体積を算出し、前記第一仮想体積と前記第二仮想体積を比較して前記対象物を検知する処理部とを含む。
【0014】
この検知システムにおいて、前記処理部が、前記対象物の撮像部との距離およびまたは仮想面積を算出し、前記撮像部との前記距離およびまたは前記仮想面積を用いて前記対象物の状態を検知してもよい。
【0015】
この検知システムにおいて、前記第一距離画像、前記第二距離画像、前記第一仮想体積画像、前記第二仮想体積画像、前記最大高さ、前記仮想面積、前記対象物の状態を表す状態情報の何れかまたは二以上を提示する情報提示部を含んでもよい。
【0016】
上記目的を達成するため、本開示の検知方法の一側面によれば、撮像部が、検知すべき対象物に対して背景を表す第一距離画像を予め取得し、少なくとも前記背景と前記対象物を含む第二距離画像を取得する工程と、処理部が、前記第一距離画像から前記背景を表す第一仮想体積を算出し、前記第二距離画像から前記対象物を表す第二仮想体積を算出し、前記第一仮想体積と前記第二仮想体積を比較して前記対象物を検知する工程とを含む。
【0017】
上記目的を達成するため、本開示のプログラムの一側面によれば、コンピュータに実行させるためのプログラムであって、検知すべき対象物に対して背景を表す第一距離画像を予め取得する機能と、少なくとも前記背景と前記対象物を含む第二距離画像を取得する機能と、前記第一距離画像から前記背景を表す第一仮想体積を算出する機能と、前記第二距離画像から前記対象物を表す第二仮想体積を算出する機能と、前記第一の仮想体積と前記第二仮想体積を比較して前記対象物を検知し、該対象物から最大高さまたは仮想面積を算出する機能とを前記コンピュータに実行させる。
【0018】
上記目的を達成するため、本開示の検知モジュールの一側面によれば、検知すべき対象物に対して背景を表す第一距離画像を予め取得し、少なくとも前記背景と前記対象物を含む第二距離画像を取得する撮像部と、前記第一距離画像から前記背景を表す第一仮想体積を算出し、前記第二距離画像から前記対象物を表す第二仮想体積を算出し、前記第一仮想体積と前記第二仮想体積を比較して前記対象物を検知する処理部とを含む。
【発明の効果】
【0019】
本開示によれば、次の何れかの効果が得られる。
(1) 距離画像に含まれる画素を用いて対象物を表す仮想体積を取得し、この仮想体積の変化を用いて対象物の検知を行うことができ、対象物の異常などの状態を高精度にしかも迅速に検知することができる。
【0020】
(2) 距離画像から対象物を特定するので、対象物がたとえばヒトである場合、性別などの属性情報や対象物の状態以外の情報を省略することができ、検知処理に用いる情報を削減でき、情報処理の負荷を低減できるとともに処理の迅速化を図ることができる。
【0021】
(3) 対象物を特定した上で、距離画像のフレーム間の比較によって対象物の異常または正常を表す状態検知を行うことができる。
【図面の簡単な説明】
【0022】
図1図1は、第一の実施の形態に係る検知システムを示す図である。
図2図2のAは、状態Xを表す実像を示す図であり、図2のBは、状態Xを表す複合画像の一例を示す図である。
図3図3のAは、状態Yを表す実像を示す図であり、図3のBは、状態Yを表す複合画像の一例を示す図である。
図4図4は、第一の実施の形態に係る検知システムの処理手順を示すフローチャートである。
図5図5は、第二の実施の形態に係る検知システムを示す図である。
図6図6は、検知情報データベースの一例を示す図である。
図7図7は、第二の実施の形態に係る検知システムの処理手順を示すフローチャートである。
図8図8は、状態A、状態Bおよび状態Cに係る実像例を示す図である。
図9図9は、状態A、状態Bおよび状態Cに係る状態検知テーブルを示す図である。
図10図10のAは、第三の実施の形態に係る背景距離画像GdAの一例を示す図であり、図10のBは第三の実施の形態に係る背景・物体距離画像GdBの一例を示す図であり、図10のCは第三の実施の形態に係る背景・物体・対象物距離画像GdCの一例を示す図である。
図11図11は、第三の実施の形態に係る検知情報データベースの一例を示す図である。
図12図12、第三の実施の形態に係る検知システムの処理手順を示すフローチャートである。
図13図13のAは、背景差分情報の取得手順を示すフローチャートであり、図13のBは、仮想体積差分情報の取得手順を示すフローチャートであり、図13のCは、対象物の存在検知の処理手順を示すフローチャートである。
図14図14のAは、対象物の状態検知の処理手順を示すフローチャートであり、図14のBは、対象物の異常検知の処理手順を示すフローチャートである。
図15図15は、実施例に係る検知モジュールを示す図である。
【発明を実施するための形態】
【0023】
〔第一の実施の形態〕
図1は、第一の実施の形態に係る検知システム2および検知対象を示している。図1に示す構成は一例であり、斯かる構成に本開示が限定されるものではない。
【0024】
この検知システム2は、背景距離画像Gd1(以下、単に「背景画像Gd1」と称する)および複合距離画像Gd2(以下、単に「複合画像Gd2」と称する)を取得し、これらGd1およびGd2を用いて対象物4の状態を検知する。つまり、この検知システム2では、検知対象である対象物4の状態変化を、その画像を表す複数のフレームから検出する。この対象物4の検知には対象物4の状態変化の認識、または対象物4の状態変化の把握が含まれ、状態検知にはこれらの何れを用いてもよい。この検知システム2において、背景画像Gd1は本開示の第一距離画像の一例であり、複合画像Gd2は本開示の第二距離画像の一例である。本開示には、この第一距離画像の取得について、背景6を表す第一距離画像を予め取得し、この取得から一定時間後に第一距離画像の再取得を行い、再取得した第一距離画像に先の第一距離画像を更新する処理としてもよい。
【0025】
背景画像Gd1は、対象物4に対する背景6との距離を表す画像である。対象物4は、ヒト、ロボットなど、状態が変化する物である。状態を検知すべき対象物4がたとえば、ヒトであれば、頭部4a、胴部4b、または手足を含む四肢4cなどの対象物4の挙動が複合画像Gd2に表われる。背景6は、対象物4が存在する浴室、居室などの居場所や水面であり、換言すれば、対象物4の滞在エリアであり、その状態検出エリアである。
【0026】
複合画像Gd2は、背景6と、対象物4以外の物体8を含み、これらとの距離を表す画像である。物体8は、状態検知エリアに存在する対象物4以外の動体、静止物などの物を想定している。
【0027】
<検知システム2>
検知システム2には図1に示すように、検知モジュール11および処理部13を備えている。
検知モジュール11は本開示の撮像部の一例である。この検知モジュール11は、間欠発光させた光Liを対象物4に照射し、この光Liを受けた対象物4から反射光Lfを受光し、距離画像Gdを時系列で生成する。これにより、検知モジュール11は、対象物4と撮像部12(図5)との距離を表す距離画像Gdを時系列によりフレーム単位で取得する。
【0028】
処理部13は、本開示の処理部の一例である。この実施の形態では、処理部13はたとえば、パーソナルコンピュータであり、OS(Operating System)や本開示の検知プログラムを実行し、対象物4の状態検知に必要な情報処理を実行し、対象物4の状態検知を行う。
【0029】
<対象物4の状態検知>
この検知システム2では距離画像Gdを用いて対象物4の状態検知を行うので、通常の光学カメラと異なり、距離画像Gdから対象物4を視覚で認識することができない。そこで、状態X(図2)および状態Y(図3)を参照して対象物4を実像で表示し、距離画像Gdとの関係を明示する。
【0030】
図2のAは、状態Xの対象物4、背景6および物体8を示している。この場合、対象物4は起立状態のヒトを示している。
【0031】
図2のBは、状態Xの対象物4の上方から検知モジュール11で取得した複合画像Gd2Xを示している。フレーム15-1にある複合画像Gd2Xは対象物4、背景6および物体8を含んでいるから、複合画像Gd2Xから、背景6および物体8を含む背景画像Gd1Xを除くことにより、対象物4の距離画像GdXを抽出できる。
【0032】
そこで、対象物4の最大高さをHmaxXとする。この最大高さHmaxXは本開示の距離の一例であり、この実施の形態では対象物4と撮像部12の距離を表す距離情報である。つまり、対象物4の最大高さHmaxXは対象物4と撮像部12の最小距離を表しているから、この距離情報を用いて対象物4と撮像部12の距離ないし対象物4の最大高さHmaxXを表すことができる。
【0033】
対象物4の仮想体積をVvXとする。仮想体積をVvXは本開示の対象物4の仮想体積を表す。この仮想体積VvXは、距離画像GdXおよび最大高さをHmaxXを用いて式1で表すことができる。
【0034】
VvX=GdX・HmaxX ・・・(式1)
【0035】
この状態Xにおいて、物体8が破線で示すように移動したとしても複合画像Gd2Xから、背景6および物体8を含む背景画像Gd1Xを除くことにより、対象物4の距離画像GdXを抽出できる。この距離画像GdXから対象物4を検知することができる。この距離画像GdXは対象物4の仮想面積VsXを表している。
【0036】
仮想体積Vvxの算出には高さの総和を用いてもよく、仮想体積Vvxは式2で表すことができる。
Vvx=ΣGdx ・・・(式2)
【0037】
式2において、ΣGdxは、対象物4の高さ情報の総和を表す。
【0038】
図3のAは、状態Xから状態Yに変化した対象物4、背景6および物体8を示している。この場合、対象物4は仰臥位状態のヒトを示している。
【0039】
図3のBは、状態Yの対象物4の上方から検知モジュール11で取得した複合画像Gd2Yを示している。フレーム15-2にある複合画像Gd2Yは対象物4を含んでいるから、複合画像Gd2Yから背景画像Gd1Yを除くことにより、同様に、状態Yの対象物4の距離画像GdYを抽出できる。この距離画像GdYは対象物4の仮想面積VsYを表している。
【0040】
そこで、対象物4の最大高さをHmaxY、対象物4の仮想体積をVvYとすれば、この仮想体積Vvyは式3で表すことができる。
【0041】
VvY=VsY・HmaxY ・・・(式3)
【0042】
このように、対象物4が状態Xから状態Yに推移したとき、対象物4の最大高さHmaxXからHmaxYに変化し、その仮想面積はVsXからVsYに変化している。したがって、最大高さHmaxX、HmaxYの比較、仮想面積VsX、VsYの比較から、対象物4が状態Xから状態Yに変化したことを認識できる。
【0043】
<対象物4の状態検知の処理手順>
この処理手順は、検知モジュール11の撮像で取得した距離画像Gdを用いる状態検知の処理手順を示している。
【0044】
図4は、対象物4の状態検知の処理手順の一例を示している。この処理手順には、撮像(S101)、仮想体積VvX1、VvX2、VvY1、VvY2の算出(S102)、仮想体積差分ΔVvの算出(S103)、対象物4の検知(S104)、対象物4の最大高さHmaxXおよび最大高さHmaxYの算出(S105)、対象物4の仮想面積VsX、VsYの算出(S106)、対象物4の状態検知(S107)などが含まれる。
【0045】
検知モジュール11が撮像し(S101)、この撮像により、状態Xおよび状態Yの背景画像Gd1および複合画像Gd2を取得する。
【0046】
処理部13はプロセッサ26(図5)の情報処理により、状態Xの複合画像Gd2Xを用いて、状態Xの対象物4を含む仮想体積VvX1、VvX2を算出する(S102)。仮想体積VvX1、VvX2は異なるフレーム間の仮想体積である。これら仮想体積VvX1、VvX2の体積差ΔVvを算出し(S103)、背景6における対象物4の存在を検知する。背景6上にある物体8が移動しても、この移動の影響を受けることなく、特定体積の対象物4を検知でき、対象物4の存在を知ることができる。
【0047】
処理部13は検知した対象物4のたとえば、状態Xの距離画像GdX、状態Yの距離画像GdYから対象物4の最大高さHmaxXおよび最大高さHmaxYを算出し(S105)、対象物4の仮想面積VsX、VsYを算出する(S106)。
【0048】
そして、処理部13は最大高さHmaxX、HmaxYの比較、仮想面積VsX、VsYの比較により、対象物4の状態検知を行う(S107)。
【0049】
<第一の実施の形態の効果>
第一の実施の形態によれば、次の何れかの効果が得られる。
(1) 距離画像Gdに含まれる画素giを用いて対象物4を表す仮想体積Vvを取得でき、この仮想体積Vvの変化を用いて対象物4を検知でき、対象物4の異常などの状態を高精度にしかも迅速に検知することができる。
【0050】
(2) 距離画像Gdから対象物4を特定でき、対象物4がたとえばヒトである場合、性別などの属性情報を対象物の状態以外の情報を省略でき、検知処理に用いる情報を削減でき、情報処理の負荷を低減できるとともに処理の迅速化を図ることができる。
【0051】
(3) 対象物4を特定した上で、距離画像Gdのフレーム間の比較によって対象物の異常または正常を表す状態検知を正確に行うことができる。
【0052】
〔第二の実施の形態〕
図5は、第二の実施の形態に係る検知システム2および検知対象を示している。図5に示す構成は一例であり、斯かる構成に本開示が限定されるものではない。図5において図1と同一部分には同一符号を付してある。
【0053】
この検知システム2には、発光部10、撮像部12、制御部14、処理装置16などが含まれる。発光部10は、制御部14の制御により発光駆動部18から駆動出力を受けて間欠発光させ、その光Liを対象物4に照射する。この光Liを受けた対象物4から反射光Lfが得られる。光Liの発光時点から反射光Lfの受光時点までの時間が距離を表す。
【0054】
撮像部12は、本開示の撮像部の一例である。この撮像部12には、受光部20および距離画像生成部22が含まれる。受光部20は、制御部14の制御により発光部10の発光に同期して対象物4からの反射光Lfを時系列で受光し、受光信号を出力する。距離画像生成部22は、受光部20からの受光信号を受け、距離画像Gdを時系列で生成する。したがって、対象物4と撮像部12との距離を表す距離画像Gdを時系列によりフレーム単位で取得する。
【0055】
制御部14はたとえば、コンピュータで構成し、撮像プログラムの実行により発光部10の発光制御、撮像部12の撮像制御を実行する。発光部10、撮像部12、制御部14および発光駆動部18は本開示の検知モジュール11の一例であり、たとえば、1チップICなど、1パッケージのディスクリート素子で構成できる。この検知モジュール11はたとえば、既述のToFカメラを構成する。
【0056】
処理装置16は本開示の処理部13の一例である。この実施の形態では、処理装置16は通信機能を備えるたとえば、パーソナルコンピュータであり、プロセッサ26、記憶部28、入出力部(I/O)30、情報提示部32、通信部34などを備えている。
【0057】
プロセッサ26は、記憶部28にあるOS、本開示の検知プログラムを実行し、対象物4の状態検知に必要な情報処理を実行する。
【0058】
記憶部28はOSや検知プログラム、状態検知に必要な情報処理に用いられる検知情報データベース(DB)36-1(図6)、36-2(図11)などを格納している。この記憶部28はROM(Read-Only Memory)、RAM(Random-Access Memory)などの記憶素子を含んでいる。入出力部30は、プロセッサ26の制御により、情報の入出力を行う。
【0059】
入出力部30には情報提示部32の他、図示しない操作入力部が接続される。この入出力部30は、ユーザ操作などによる操作入力情報を受け付け、プロセッサ26の情報処理に基づく出力情報が得られる。
【0060】
情報提示部32は本開示の情報提示部の一例であり、たとえば、LCD(Liquid Crystal Display)などで構成される。この情報提示部32はプロセッサ26の制御により、距離画像Gd、仮想体積Vv、最大高さHmax、仮想面積Vs、対象物4の状態を表す状態情報Sxの何れかまたは二以上を含む提示情報を提示する。操作入力部には、情報提示部32のたとえば、LCDの画面に設置されたタッチパネルを用いてもよい。
【0061】
通信部34はプロセッサ26の制御により図示しない通信端末などの情報機器と公衆回線などを媒介として有線または無線によって接続され、対象物4の状態情報などを通信端末に提示することができる。
【0062】
<制御部14による制御>
制御部14による制御には、a)光Liの発光制御、b)反射光Lfの受光制御、c)距離画像Gdの生成処理、d)距離画像Gdの送出制御などの処理が含まれる。
【0063】
a)光Liの発光制御
制御部14は、対象物4から反射光Lfを生じさせるため、発光部10の発光制御を行う。発光部10に間欠発光させるため、制御部14の制御により、発光駆動部18から駆動信号が発光部10に提供される。これにより、発光部10から間欠的な光Liを発光し、対象物4に照射する。
【0064】
b)反射光Lfの受光制御
光Liを受けた対象物4からの反射光Lfを受けるため、制御部14は受光部20の受光制御を行う。これにより、対象物4からの反射光Lfが受光部20に受光される。この受光によって受光部20から受光信号が生成され、距離画像生成部22に提供される。
【0065】
c)距離画像Gdの生成処理
距離画像生成部22は、制御部14の制御により、受光信号を用いて距離画像Gdを生成する。この距離画像Gdは、対象物4の凹凸や距離に応じて受光距離の異なる画素giで構成される。
【0066】
d)距離画像Gdの送出制御
制御部14は、距離画像生成部22から距離画像Gdを受け、この距離画像Gdをフレーム単位で処理装置16に送出する。
【0067】
<処理装置16による情報処理>
処理装置16の情報処理には、e)距離画像Gdの取得、f)仮想体積Vvの算出、g)対象物4の検知、h)最大高さHmaxおよび仮想面積Vsの算出、i)対象物4の状態検知、j)対象物4の異常検出、k)距離画像Gd、仮想体積Vv、最大高さHmaxおよび仮想面積Vsの算出、状態情報Sxの提示、l)DB36-1の生成および更新などの処理が含まれる。
【0068】
e)距離画像Gdの取得
処理装置16は、プロセッサ26の制御により、距離画像Gdを時系列で取得する。距離画像Gdはフレーム単位で実行する。この距離画像Gdには、背景画像Gd1および複合画像Gd2が含まれる。背景画像Gd1および複合画像Gd2は、既述したので、その詳細説明は割愛する。
【0069】
f)仮想体積Vvの算出
処理装置16は、背景画像Gd1から背景6を表す第一仮想体積Vv1を算出し、複合画像Gd2から対象物4を表す第二仮想体積Vv2を算出する。
【0070】
背景画像Gd1に含まれる画素giをg1、複合画像Gd2に含まれる画素giをg2、画素giを体積に変換する変換係数をηとすれば、第一仮想体積Vv1、第二仮想体積Vv2は、式4および式5で表すことができる。
【0071】
Vv1=η・g1 ・・・(式4)
Vv2=η・g2 ・・・(式5)
【0072】
g)対象物4の検知
処理装置16は、第一仮想体積Vv1と第二仮想体積Vv2を比較して対象物4を検知する。つまり、対象物4の仮想体積をVvxとすれば、式6で表すことができる。
Vvx=Vv2-Vv1=η・(g2-g1)
=η・Δg ・・・(式6)
式3において、Δgは対象物4を表す画素数(g2-g1)である。
【0073】
h)最大高さHmaxおよび仮想面積Vsの算出
処理装置16は、距離画像Gdから得られる対象物4の最大高さHmax、仮想面積をVsとすると、対象物4の仮想面積Vsは、式7で表すことができる。
Vs=Vvx÷Hmax=η・Δg÷Hmax ・・・(式7)
【0074】
また、処理装置16は、対象物4が存在する背景6から対象物4の最大高さHmaxは画素giを用いて求めることができる。
【0075】
i)対象物4の状態検知
処理装置16は、最大高さHmaxまたは仮想面積Vsから対象物4の状態変化を検知する。処理装置16は、最大高さHmaxに対して閾値Hth、仮想面積Vsに対して閾値Vsthを設定し、高さHが閾値Hth以上か未満かを検知し、仮想面積Vsが閾値Vsth以上か未満かを検知する。
【0076】
j)対象物4の異常検出
処理装置16は、距離画像を二以上のフレーム間で比較した対象物4の変化が閾値未満の場合に異常検知とする。
【0077】
k)距離画像Vd、仮想体積Vv、仮想面積Vs、状態情報Sxの提示
処理装置16はプロセッサ26の制御により情報提示部32に背景画像Gd1、複合画像Gd2、仮想体積Vv1、Vv2、最大高さHmax、仮想面積Vsの算出、状態情報Sxを提示する。これらの提示情報によれば、対象物4の存在、状態、状態が正常か異常かを表す判定情報を視認することができる。
【0078】
この情報提示には、処理装置16からプロセッサ26の制御により、通信部34と該当する通信端末を無線により接続し、当該通信端末に情報提示部32と同様の情報提示を行うことができる。
【0079】
l)DB36-1の情報処理およびデータ更新
処理装置16は、記憶部28に格納されているDB36-1の生成および更新をプロセッサ26の制御により行う。
【0080】
<DB36-1>
このDB36-1は本開示のデータベースの一例である。このDB36-1には対象物4の状態検知のための制御情報や検知情報などが格納されている。
【0081】
図6は、DB36-1の一例を示している。このDB36-1には、距離画像部38、仮想体積部40、仮想面積部42、最大高さ部44、対象物部46、提示情報部48、履歴情報部50が含まれる。
【0082】
距離画像部38には背景画像部38-1、複合画像部38-2が設定されている。背景画像部38-1には背景画像の距離画像である背景画像Gd1が格納されている。複合画像部38-2には複合画像の距離画像である複合画像Gd2が格納されている。
【0083】
仮想体積部40には第一仮想体積部40-1、第二仮想体積部40-2が設定されている。第一仮想体積部40-1には第一仮想体積Vv1が格納されている。第二仮想体積部 40-2には第二仮想体積Vv2が格納されている。
【0084】
仮想面積部42には面積部42-1、閾値部42-2が設定されている。面積部42-1には仮想面積Vsを表す面積データが格納されている。閾値部42-2には仮想面積Vsの閾値Vsthを表すデータが格納されている。
【0085】
最大高さ部44には高さ部44-1、閾値部44-2が設定されている。高さ部44-1には最大高さHmaxを表す長さデータが格納されている。閾値部44-2には最大高さHmaxの閾値Hthを表すデータが格納されている。
【0086】
対象物部46には検知情報部46-1、状態検知部46-2が設定されている。検知情報部46-1には対象物4の検知情報が格納されている。状態検知部46-2には検知情報から得られる対象物4が正常か、異常かを表す状態情報が格納されている。
【0087】
提示情報部48には距離画像Gd、仮想体積Vv、最大高さHmax、仮想面積Vs、検知情報、状態情報などの提示情報が格納されている。
【0088】
履歴情報部50には情報検知、提示情報などの履歴を表す履歴情報が格納されている。
【0089】
なお、このDB36-1には図示しないが、日時情報部を設定し、対象物4の状態検知の日時を表す日時情報が格納されてもよい。
【0090】
<対象物4の状態検知の処理手順>
この処理手順は検知モジュール11の撮像で取得した距離画像Gdを用いる状態検知の処理手順を示している。
【0091】
図7は、対象物4の状態検知の処理手順の一例を示している。この処理手順には、背景画像Gd1の撮像(S201)、第一仮想体積Vv1の算出(S202)、複合画像Gd21の撮像(S203)、第二仮想体積Vv2の算出(S204)、対象物4の検知(S205)、仮想面積Vsおよび最大高さHmaxの算出(S206)、別フレームとの比較、ΔVs、ΔHmaxの算出(S207)、ΔHmaxとΔHthの比較(S208)、ΔVsとΔVsHthの比較(S209)、仮想面積Vsの閾値Vsth判定(S207)、対象物4の正常検知(S210)、対象物4の異常検知(S211)、情報提示(S212、S213)などが含まれる。
【0092】
撮像部12は、制御部14の制御により背景画像Gd1を撮像する(S201)。処理装置16は、第一仮想体積Vv1を算出する(S202)。撮像部12は、制御部14の制御により複合画像Gd2を撮像する(S203)。処理装置16は、制御部14は第二仮想体積Vv2を算出する(S204)。処理装置16は、撮像部12から背景画像Gd1および複合画像Gd2を取得し、DB36-1に格納する。
【0093】
処理装置16はプロセッサ26の情報処理により、第一仮想体積Vv1および第二仮想体積Vv2を用いて第二仮想体積Vv2から対象物4を検知されたかを判定する(S205)。
【0094】
処理装置16はプロセッサ26の情報処理により、仮想面積Vsおよび最大高さHmaxを算出し(S206)、この算出結果をDB36-1に格納する。
【0095】
処理装置16はプロセッサ26の情報処理により、最大高さHmaxと閾値Hthの比較し、その大小関係を判定する(S208)。
【0096】
処理装置16はプロセッサ26の情報処理により、Hmax≦Hthであれば(S208のYES)、対象物4の正常検知を判定することができ、仮想面積Vsと閾値Vsthの比較により、その大小関係を判定する(S209)。Vs≧Vsthであれば(S207のYES)、対象物4の正常検知を判定する(S210)。
【0097】
S208において、Hmax≦Hthでなければ(S206のNO)、対象物4の異常検知と判定する(S211)。また、S209において、Vs≧Vsthでなければ(S209のNO)、同様に対象物4の異常検知と判定する(S211)。
【0098】
処理装置16はプロセッサ26の制御により情報提示(S212、S213)を実行し、S212に係る情報提示では検知情報、距離画像Gd、対象物4が正常であることを表す正常情報などの情報が提示される。また、S213に係る情報提示では検知情報、距離画像Gd、対象物4が異常であることを表す異常情報などの情報が提示される。
【0099】
そして、対象物4に異常がある場合にはこの処理を終了し、正常であればS212からS203にリターンし、状態検知を継続する。
【0100】
<対象物4の状態検知>
状態検知の対象物4はたとえば、ヒトであるが、検知モジュール11から得られる距離画像Gdは受光部20と対象物4との距離を表す画素giの集合である。このため、対象物4の状態検知をシミュレーションするため、一例として対象物4の実像を例示する。
【0101】
図8は、対象物4の挙動の一例を示している。この挙動にはたとえば、状態A(図8のA)、状態B(図8のB)、状態C(図8のC)が含まれる。
【0102】
状態Aは、対象物4の起立状態を頭部上方の受光部20から見て示している。
【0103】
状態Bは、状態Aから推移した対象物4のしゃがみ状態を頭部上方の受光部20から見て示している。
【0104】
状態Cは、状態Bから推移した対象物4のしゃがみ状態を示し、頭部上方の受光部20から見て示している。状態Cは、状態Bから左腕が図中上方に移動している。
【0105】
この対象物4の挙動において、状態検知のシミュレーションとして、状態Bで対象物4の挙動が停止し、たとえば、一定時間が経過しても変動がない場合の状態は異常状態と判定する。これに対し、状態Bから状態Cに推移するなど、対象物4に挙動が生じた場合には正常状態と判定する。
【0106】
<状態A、B、Cの背景画像Gd1、複合画像Gd2、第一仮想体積Vv1、第二仮想体積Vv2、対象物画像Gdtおよび状態検知情報>
【0107】
図9は、検知情報テーブル51の一例を示している。この検知情報テーブル51には状態A、B、Cについて、背景画像Gd1、複合画像Gd2、第一仮想体積Vv1、第二仮想体積Vv2、対象物画像Gdtおよび状態検知情報を示している。
【0108】
フレーム15-3にある背景画像Gd1は状態A、B、Cに共通している。複合画像Gd2において、フレーム15-4にあるGd2Aは図8のAに示す状態Aの実像に対応し、フレーム15-5にあるGd2Bは図8のBに示す状態Bの実像に対応し、また、フレーム15-6にあるGd2Cは図8のCに示す状態Cの実像に対応している。
【0109】
フレーム15-7にある第一仮想体積Vv1は、Gd1に対応し、背景画像Gd1から得られる。
【0110】
第二仮想体積Vv2において、フレーム15-8にあるVv2Aは複合画像Gd2Aから得られ、フレーム15-9にあるVv2BはGd2Bから得られ、また、フレーム15-10にあるVv2CはGd2Cから得られる。
【0111】
対象物画像Gdtにおいて、フレーム15-11にあるGdtAは第2仮想体積Vv2Aから得られ、フレーム15-12にあるGdtBはVv2Bから得られ、また、フレーム15-13にあるGdtCはVv2Cから得られる。
【0112】
そして、対象物画像GdtA、GdtBおよびGdtCを比較すると、対象物4の挙動状態を検知することができる。この場合、状態検知では、状態Aが対象物4の動きありを表し、状態Aから状態Bについても同様に動きがあり、状態Bから状態Cについても同様に動きがあることを示している。したがって、この場合、状態検知は対象物4が正常である。
【0113】
<第二の実施の形態の効果>
この第二の実施の形態によれば、次の何れかの効果が得られる。
(1) 距離画像Gd(背景画像Gd1、複合画像Gd2)に含まれる画素giを用いて対象物4を表す第二仮想体積Vv2を取得でき、この第二仮想体積Vv2の差分を用いて対象物4を検知するので、物体8などの移動の影響を受けることなく、特定体積の対象物4を検知することができる。
【0114】
(2) 対象物4の第二仮想体積Vv2の変動を用いて対象物4の状態を検知するので、物体8の形状や性別などの属性情報に影響されることなく、秘匿性の高い検知処理を実現することができる。
【0115】
(3) 主として対象物4を表す画素giを用いて対象物4の状態を検知できるので、検知に要する情報処理の負荷を低減でき、処理に要するリソースを削減できるとともに処理の迅速化を図ることができる。
【0116】
(4) 対象物4は静止体、動体に限定されることなく、距離画像を用いて仮想体積を正確に算出できるので、距離測定や高さ測定など、画素間の時差の影響を受けることなく、精度の高い状態検知を行うことができる。
【0117】
〔第三の実施の形態〕
第三の実施の形態は、背景6のみの距離画像を背景距離画像GdA、背景6および物体8を含む距離画像を背景・物体距離画像GdB、対象物4、背景6および物体8を含む距離画像を背景・物体・対象物距離画像GdCの三距離画像としている。
【0118】
図10のAは、フレーム15-14に撮像された背景距離画像GdAの一例を示し、図10のBは、フレーム15-15に撮像された背景・物体距離画像GdBの一例を示し、図10のCは、フレーム15-16に撮像された背景・物体・対象物距離画像GdCの一例を示している。
【0119】
<第三の実施の形態に係る検知システム2>
第三の実施の形態に係る検知システム2は、図5に示す構成と共通であるので、その説明を割愛する。
【0120】
<第三の実施の形態に係る制御部14による制御>
第三の実施の形態に係る制御部14による制御には同様に、a)光Liの発光制御、b)反射光Lfの受光制御、c)距離画像Gdの生成処理、d)距離画像Gdの送出制御などの処理が含まれる。これらの制御は、第二の実施の形態と同様であるので、その説明を割愛する。
【0121】
<処理装置16による情報処理>
処理装置16の情報処理には、m)距離画像Gdの取得、n)背景差分情報の取得、o)仮想体積差分情報の取得、p)対象物4の存在検知、q)対象物4の状態検知、r)対象物4の異常検知、s)距離画像、仮想体積、仮想面積、最大高さHmaxの算出、状態情報の提示、t)DB36-2の生成および更新などの処理が含まれる。
【0122】
m)距離画像Gdの取得
処理装置16は、プロセッサ26の制御により、背景距離画像GdA、背景・物体距離画像GdB、背景・物体・対象物距離画像GdCを時系列で取得する。これらGdA、GdB、GdCはフレーム単位で実行する。
【0123】
n)背景差分情報の取得
処理装置16は、プロセッサ26の制御により、背景距離画像GdAと背景・物体距離画像GdBの背景差分、背景・物体距離画像GdBと背景・物体・対象物距離画像GdCの背景差分を算出し、DB36-2(図11)に格納する。
【0124】
o)仮想体積差分情報の取得
処理装置16は、プロセッサ26の制御により、仮想体積VvAと仮想体積VvBとを比較し、その変化を表す変化情報(仮想体積差分情報)を取得する。
【0125】
p)対象物4の存在検知
処理装置16は、プロセッサ26の制御により、仮想体積差分情報を用いて対象物4の存在を検知する。
【0126】
q)対象物4の状態検知
処理装置16は、プロセッサ26の制御により、背景・物体・対象物距離画像GdCを用いて対象物4の最大高さHmax、仮想面積Vsを算出する。最大高さHmaxおよび仮想面積Vsを用いて対象物4の状態を検知する。
【0127】
r)対象物4の異常検知
処理装置16は、プロセッサ26の制御により前フレームの背景・物体・対象物距離画像GdCと、現在フレームの背景・物体・対象物距離画像GdCを比較し、両者の差分を求め、差分があれば所定数のフレーム内で変化を検知する。この変化があれば、対象物4は正常、変化がなければ、対象物4に異常ありを検知する。
【0128】
s)距離画像、仮想体積、仮想面積、最大高さHmaxの算出、状態情報の提示
処理装置16はプロセッサ26の制御により情報提示部32に距離画像Gd、ブロックごとの仮想面積、状態情報、判定情報を提示する。これらの提示情報によれば、対象物4の存在、状態、状態が正常か異常かを表す判定情報を視認することができる。
【0129】
この情報提示には、処理装置16からプロセッサ26の制御により、通信部34と該当する通信端末を無線により接続し、当該通信端末に情報提示部32と同様の情報提示を行うことができる。
【0130】
t)DB36-2の生成および更新
処理装置16は、記憶部28に格納されているDB36-2の生成および更新をプロセッサ26の制御により行う。
【0131】
<DB36-2>
このDB36-2には第二の実施の形態と同様に対象物4の状態検知のための制御部14の制御情報、処理装置16の制御情報、距離画像Gdの処理情報、対象物4の状態検知情報などが格納される。
【0132】
図11は、DB36-2の一例を示している。このDB36-2は本開示のデータベースの一例である。このDB36-2には、背景差分情報部52、仮想体積差分情報部54、対象物存在検知情報部56、対象物状態検知情報部58、対象物異常検知部60、提示情報部62、履歴情報部64が含まれる。
【0133】
背景差分情報部52には、背景差分情報である背景距離画像GdA(52-1)などが格納されている。
【0134】
仮想体積差分情報部54には、背景・物体距離画像部54-1、背景・物体仮想体積部54-2が設定されている。背景・物体距離画像部54-1には背景・物体距離画像GdBが格納されている。背景・物体仮想体積部54-2には背景・物体距離画像GdBから算出した背景・物体仮想体積VvBが格納されている。
【0135】
対象物存在検知情報部56には、背景・物体・対象物距離画像部56-1、背景・物体・対象物仮想体積部56-2、仮想体積変化情報部56-3、存在検知情報部56-4が設定されている。背景・物体・対象物距離画像部56-1には背景・物体・対象物距離画像GdCが格納されている。背景・物体・対象物仮想体積部56-2には背景・物体・対象物距離画像GdCから取得した背景・物体・対象物仮想体積VvCが格納されている。仮想体積変化情報部56-3には、仮想体積の変化情報が格納されている。存在検知情報部56-4には、仮想体積の変化から検知した対象物4の存在を表す存在検知情報が格納されている。
【0136】
対象物状態検知情報部58には、最大高さ部58-1、閾値部58-2、仮想面積部58-3、閾値部58-4、対象物状態変化部58-5が設定されている。最大高さ部58-1には背景・物体・対象物距離画像GdCから取得した対象物4の最大高さHmaxが格納されている。閾値部58-2には、最大高さHmaxに対する閾値Hthが格納されている。仮想面積部58-3には、背景・物体・対象物距離画像GdCから取得した対象物4の仮想面積Vsが格納されている。閾値部58-4には、仮想面積Vsに対する閾値Vsthが格納されている。対象物状態変化部58-5には、最大高さHmaxおよび仮想面積Vsから算出された対象物4の状態変化を表す変化情報が格納されている。
【0137】
対象物異常検知部60には、フレーム情報部60-1、差分情報部60-2、規定フレーム数内変化部60-3、異常検知情報部60-4が設定されている。フレーム情報部60-1には、比較する背景・物体・対象物距離画像GdCの対象であるフレーム情報が格納されている。差分情報部60-2には、前フレームの背景・物体・対象物距離画像GdCと現在フレームの背景・物体・対象物距離画像GdCとの比較により求められたフレーム間の差分情報が格納されている。規定フレーム数内変化部60-3には、比較対象となるフレーム数とともに背景・物体・対象物距離画像GdCの変化情報が格納されている。異常検知情報部60-4には、背景・物体・対象物距離画像GdCの変化の有無から検知された対象物4の正常情報または異常情報が格納されている。
【0138】
提示情報部62には、距離画像Gdなどの提示情報が格納されている。
【0139】
履歴情報部64には、検知履歴、状態履歴などの履歴を表す履歴情報が格納されている。
【0140】
<対象物4の状態検知の処理手順>
この処理手順は、背景距離画像GdA、背景・物体距離画像GdB、背景・物体・対象物距離画像GdCの三距離画像を用いる状態検知の処理手順である。
【0141】
図12は、対象物4の状態検知の処理手順を示している。この処理手順には、背景差分情報の取得(S301)、仮想体積差分情報の取得(S302)、対象物4の存在検知(S303)、対象物4の状態検知(S304)、対象物4の異常検知(S305)が含まれる。
【0142】
この処理手順によれば、処理装置16がプロセッサ26の制御により、背景差分情報を取得し(S301)、仮想体積差分情報を取得し(S302)、これらに基づいて、対象物4の存在を検知し(S303)、対象物4の状態を検知し(S304)、対象物4の異常を検知し(S305)、S303にリターンする。
【0143】
<背景差分情報の取得>
図13のAは、背景差分情報の取得処理の処理手順を示している。この処理手順では、制御部14の制御により撮像部12が背景6を撮像し(S3011)、処理装置16はプロセッサ26の制御により、背景距離画像GdAを取得する(S3012)。この背景距離画像GdAは、処理装置16のプロセッサ26の制御により、DB36-2に格納されて記録される(S3013)。
【0144】
<仮想体積差分情報の取得>
図13のBは、仮想体積差分情報の取得処理の処理手順を示している。この処理手順では、制御部14の制御により撮像部12が物体8を含む背景6を撮像し(S3021)、処理装置16はプロセッサ26の制御により、背景距離画像GdAとの背景差分を取得する(S3022)。
【0145】
処理装置16は制御部14から背景・物体距離画像GdBを取得し(S3023)、この背景・物体距離画像GdBを用いて背景・物体仮想体積VvBを算出する(S3024)。この背景・物体仮想体積VvBは、処理装置16のプロセッサ26の制御により、DB36-2に格納されて記録される(S3025)。
【0146】
<対象物4の存在検知>
図13のCは、対象物4の存在検知の処理手順を示している。この処理手順では、制御部14の制御により撮像部12が対象物4、背景6および物体8を撮像し(S3031)、処理装置16はプロセッサ26の制御により、背景・物体距離画像GdBとの背景差分を取得する(S3032)。
【0147】
処理装置16は制御部14から背景・物体・対象物距離画像GdCを取得し(S3033)、この背景・物体・対象物距離画像GdCを用いて背景・物体・対象物仮想体積VvCを算出する(S3034)。処理装置16は、背景・物体仮想体積VvBと背景・物体・対象物仮想体積VvCを比較し、これらの仮想体積差ΔVvを算出する(S3035)。処理装置16がプロセッサ26の制御により、仮想体積差ΔVvの閾値判定を行う(S3036)。
【0148】
ΔVv≧ΔVvthであれば(S3036のYES)、対象物4の存在を検知する(S3037)。ΔVv≧ΔVvthでなければ(S3036のNO)、S3031に戻る。
【0149】
<対象物4の状態検知>
図14のAは、対象物4の状態検知の処理手順を示している。この処理手順では、制御部14の制御により撮像部12が背景・物体・対象物距離画像GdCの最大高さHmaxおよび仮想面積Vsを算出し(S3041)、最大高さHmaxの閾値Hth判定を行う(S3042)。
【0150】
Hmax≦Hthであれば(S3042のYES)、仮想面積Vsの閾値Vsth判定を行う(S3043)。Vs≧Vsthであれば(S3043のYES)、対象物4に変化有りを検知する(S3044)。
【0151】
Hmax≦Hthでなければ(S3042のNO)、対象物4が横たわっていることを検知する(S3045)。同様にVs≧Vsthでなければ(S3043のNO)、たとえば、対象物が横たわっていないことを検知し(S3045)、この対象物4の状態検知を継続する。
【0152】
<対象物4の異常検知>
図14のBは、対象物4の異常検知の処理手順を示している。この処理手順では、制御部14の制御により撮像部12が背景・物体・対象物距離画像GdCの前フレームと現在フレームの比較を行い、両者の距離画像差分ΔXを算出し(S3051)、距離画像差分ΔXの閾値ΔXth判定を行う(S3052)。
【0153】
ΔX≧ΔXthであれば(S3052のYES)、現在フレームで対象物4に変化有りを検知しこの変化情報を記録し(S3053)、所定フレーム数nでの変化無しかを判定する(S3054)。ΔX≧ΔXthでなければ(S3052のNO)、S3053をスキップしてS3054に遷移する。
【0154】
所定フレーム数nでの変化無しであれば(S3054のYES)、対象物4の異常検知とし(S3055)、この処理を終了する。所定フレーム数nでの変化有りを検知すれば(S3054のNO)、対象物4の正常検知とし(S3056)、この処理を継続する。
【0155】
<第三の実施の形態の効果>
第三の実施の形態によっても第二の実施の形態と同様の効果が得られる。
【実施例0156】
図15は検知モジュール11の1チップ化を例示している。この検知モジュール11には処理装置16と同等の機能を持つ処理部66を含んでいる。この検知モジュール11において、既述の検知システム2と共通部分には同一符号を付しその説明を割愛する。
【0157】
<実施例の効果>
この実施例によれば、次の何れかの効果が得られる。
(1) ヒトなどの対象物4の状態検知に広く利用することができる。
【0158】
(2) 性別など、プライバシーに配慮することなく、対象物4の状態検知を行うことができ、浴室やトイレなどにおける状態検知に利用できる。
【0159】
〔他の実施の形態〕
(1) 上記実施の形態では対象物4にヒトを例示したが、ヒト以外の動体たとえば、自動車やロボットなどの移動体を対象物4に用いてもよい。
【0160】
(2) 上記の実施の形態では、単一の検知モジュールを例示したが、複数のカメラを用いて得られる複数の検知モジュールを併用してもよい。
【0161】
(3) 対象物4の状態検知について、検知時間を設定し、この検知時間内での挙動の有無から対象物4が正常か異常かを検知してもよい。
【0162】
(4) 上記実施の形態において、処理装置16が、フレーム間で仮想面積または仮想体積を比較して前後間の差分から対象物4の状態変動を検知してもよい。
【0163】
以上説明したように、本発明の最も好ましい実施例について説明した。本開示の技術は、上記記載に限定されるものではない。特許請求の範囲に記載され、又は明細書に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能である。斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
【産業上の利用可能性】
【0164】
本開示の状態検知のシステム、方法、プログラムおよび検知モジュールによれば、ヒトなどの対象物から得た距離画像から算出した仮想体積画像、最大高さおよび仮想面積を用いて、対象物の存在や状態検知を容易且つ高精度に行うことができる。
【符号の説明】
【0165】
2 検知システム
4 対象物
4a 頭部
4b 胴部
4c 四肢
6 背景
8 物体
10 発光部
11 検知モジュール
12 撮像部
13 処理部
14 制御部
15-1、15-2、15-3、15-4、15-5、15-6、15-7、15-8、15-9、15-10、15-11、15-12 フレーム
16 処理装置
18 発光駆動部
20 受光部
22 距離画像生成部
26 プロセッサ
28 記憶部
30 入出力部(I/O)
32 情報提示部
34 通信部
36-1、36-2 検知情報データベース(DB)
38 距離画像部
38-1 背景画像部
38-2 複合画像部
40 仮想体積部
40-1 第一仮想体積部
40-2 第二仮想体積部
42 仮想面積部
42-1 面積部
42-2 閾値部
44 複合長部
44-1 長さ部
44-2 閾値部
46 対象物部
46-1 検知情報部
46-2 状態検知部
48 提示情報部
50 履歴情報部
51 検知情報テーブル
52 背景差分情報部
52-1 背景距離画像部
54 仮想体積差分情報部
54-1 背景・物体距離画像部
54-2 背景・物体仮想体積部
56 対象物存在検知情報部
56-1 背景・物体・対象物距離画像部
56-2 背景・物体・対象物仮想体積部
56-3 仮想体積変化情報部
56-4 存在検知情報部
58 対象物状態検知情報部
58-1 最大高さ部
58-2、58-4 閾値部
58-3 仮想面積部
58-5 対象物状態変化部
60 対象物異常検知部
60-1 フレーム情報部
60-2 差分情報部
60-3 規定フレーム数内変化部
60-4 異常検知情報部
62 提示情報部
64 履歴情報部
66 処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15