IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本ケミコン株式会社の特許一覧

特開2024-44294検知システム、検知方法、プログラムおよび検知モジュール
<>
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図1
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図2
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図3
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図4
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図5
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図6
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図7
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図8
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図9
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図10
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図11
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図12
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図13
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図14
  • 特開-検知システム、検知方法、プログラムおよび検知モジュール 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024044294
(43)【公開日】2024-04-02
(54)【発明の名称】検知システム、検知方法、プログラムおよび検知モジュール
(51)【国際特許分類】
   G06V 20/64 20220101AFI20240326BHJP
   G06T 7/62 20170101ALI20240326BHJP
   G06T 7/00 20170101ALI20240326BHJP
【FI】
G06V20/64
G06T7/62
G06T7/00 C
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022149734
(22)【出願日】2022-09-21
(71)【出願人】
【識別番号】000228578
【氏名又は名称】日本ケミコン株式会社
(74)【代理人】
【識別番号】100083725
【弁理士】
【氏名又は名称】畝本 正一
(74)【代理人】
【識別番号】100140349
【弁理士】
【氏名又は名称】畝本 継立
(74)【代理人】
【識別番号】100153305
【弁理士】
【氏名又は名称】畝本 卓弥
(74)【代理人】
【識別番号】100206933
【弁理士】
【氏名又は名称】沖田 正樹
(72)【発明者】
【氏名】佐藤 遼
(72)【発明者】
【氏名】田巻 克弥
(72)【発明者】
【氏名】柴田 尚久
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA09
5L096BA02
5L096CA04
5L096FA02
5L096FA59
5L096FA60
5L096FA66
5L096HA02
(57)【要約】
【課題】距離画像から特定距離で選択した画素により算出した仮想面積または仮想体積によって対象物の異常などの状態を検知する。
【解決手段】 対象物(4)との距離を表す距離画像を時系列で取得する撮像部(8)と、距離画像に含まれる画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、対象物(4)の状態を検知する処理部(処理装置12、処理部64)とを含み、さらに処理部(処理装置12、処理部64)は、フレーム間で二以上の前後間の距離画像を比較してその差分から対象物(4)の状態変動を検知する。
【選択図】図1
【特許請求の範囲】
【請求項1】
対象物との距離を表す距離画像を取得する撮像部と、
前記距離画像に含まれる画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する処理部と、
を含む、検知システム。
【請求項2】
前記処理部は、二以上の前後間の距離画像に含まれる画素を比較してその差分から前記対象物の状態変動を検知する、請求項1に記載の検知システム。
【請求項3】
前記処理部は、前記距離画像のフレーム間で前記画素を比較する、請求項1または請求項2に記載の検知システム。
【請求項4】
前記処理部は、前記ブロックに含まれる画素を用いて前記対象物の仮想面積および/または仮想体積を算出し、二以上の前後間の前記仮想面積を比較し、または二以上の前後間の前記体積を比較することにより、前記対象物の状態変動を検出する、請求項1または請求項2に記載の検知システム。
【請求項5】
前記処理部は、二以上の前記距離画像、仮想面積画像または仮想体積画像に含まれる画素の座標を比較し、前後間の前記座標の差分から前記対象物の状態変動を検知する、請求項1または請求項2に記載の検知システム。
【請求項6】
前記座標は、前記距離画像、前記仮想面積画像または前記仮想体積画像に含まれる特異点、重心点、または頂点の何れかを含む、請求項5に記載の検知システム。
【請求項7】
前記距離画像、前記仮想面積または前記仮想体積、前記対象物の状態を表す状態情報の何れかまたは二以上を提示する情報提示部を含む、請求項1または請求項2に記載の検知システム。
【請求項8】
撮像部が、対象物との距離を表す距離画像を時系列で取得する工程と、
処理部が、前記距離画像に含まれる前記画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する工程と、各ブロックに含まれる画素を用いてブロックごとの仮想面積または仮想体積を前記対象物の少なくとも状態ごとに算出する工程と、
を含む、検知方法。
【請求項9】
前記処理部が、二以上の前後間の距離画像を比較してその差分から前記対象物の状態変動を検知する工程を含む、請求項8に記載の検知方法。
【請求項10】
前記処理部が、前記ブロックに含まれる画素を用いて前記対象物の仮想面積および/または仮想体積を算出し、フレーム間で二以上の前後間の前記仮想面積を比較し、またはフレーム間で二以上の前後間の前記体積を比較することにより、前記対象物の状態変動を検出する工程を含む、請求項8または請求項9に記載の検知方法。
【請求項11】
コンピュータに実行させるためのプログラムであって、
対象物との距離を表す距離画像を時系列で取得する機能と、
前記距離画像に含まれる画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する機能と、
を前記コンピュータに実行させるためのプログラム。
【請求項12】
対象物との距離を表す距離画像を時系列で取得する機能と、
前記距離画像に含まれる前記画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する機能と、各ブロックに含まれる画素を用いてブロックごとの仮想面積または仮想体積を前記対象物の少なくとも状態ごとに算出する機能と、
を前記コンピュータに実行させるための請求項11に記載のプログラム。
【請求項13】
二以上の前後間の距離画像を比較してその差分から前記対象物の状態変動を検知する機能を前記コンピュータに実行させるための請求項11または請求項12に記載のプログラム。
【請求項14】
対象物との距離を表す距離画像を時系列で取得する撮像部と、
前記距離画像に含まれる画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する処理部と、
を含む、検知モジュール。
【請求項15】
前記処理部は、二以上の前後間の距離画像を比較してその差分から前記対象物の状態変動を検知する、請求項14に記載の検知モジュール。
【請求項16】
前記処理部は、前記ブロックに含まれる画素を用いて前記対象物の仮想面積および/または仮想体積を算出し、二以上の前後間の前記仮想面積を比較し、またはフレーム間で二以上の前後間の前記体積を比較することにより、前記対象物の状態変動を検出する、請求項14または請求項15に記載の検知モジュール。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はたとえば、人などの物体の状態検知などに用いられる検知技術に関する。
【背景技術】
【0002】
ToFカメラ(Time-of-Flight Camera )は、対象物に光を照射し、その反射光の到達時間を用いて対象物から三次元情報(距離画像)を計測可能なカメラである。
【0003】
このToFカメラによる検知技術に関し、撮像画像から背景差分処理に差分画像を取得し、この差分画像に含まれる人のオブジェクトから頭部を推定し、この頭部と対象空間の床面との距離を算出して人の姿勢を判定し、姿勢および物の位置情報から人の挙動を検出することが知られている(たとえば、特許文献1)。
【0004】
対象物の異常検知に関し、対象物の静止状態を表す時間を計測し、この時間が閾値を超えた場合、異常であるとの判断を行うことが知られている(たとえば、特許文献2)。
【0005】
異常監視に関し、距離画像中の任意の一領域における測定点の距離の時間的変化をモニターし、この時間的変化が一定範囲を超えた場合に異常であると認識することが知られている(たとえば、特許文献3)。
【0006】
移動物体の検知に関し、距離画像から検知空間内の物体の移動ベクトルおよび体積を算出し、移動ベクトルおよび体積に基づいて検知対象を検知することが知られている(たとえば、特許文献4)。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2015-130014号公報
【特許文献2】特開2008-052631号公報
【特許文献3】特開2019-124659号公報
【特許文献4】特開2022-051172号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
挙動などの状態を検知すべき対象物がたとえば、ヒトである場合には、肖像などの属性情報、プライバシーに関する情報など、異常検知などの状態情報の取得と同等以上に優先すべき課題がある。一般的なカメラによる撮像では異常検知が可能であってもプライバシーなど、個人情報を防護することができない。
【0009】
これに対し、ToFカメラで得られる距離画像によれば、対象物がヒトであっても、そのプライバシーや個人情報の暴露を防止できる。しかしながら、距離画像は、対象物の範囲情報や距離情報を含む三次元情報であり、この三次元情報から対象物上の状態を検知することは容易ではない。
【0010】
本開示の発明者は、対象物とセンサとの間の距離を表す距離画像から特定距離で画素を選択すれば、選択された画像を用いて対象物の異常などの状態を検知することができるとの知見を得た。
【0011】
そこで、本開示の目的は上記課題および上記知見に鑑み、距離画像から特定距離で選択した画素により算出した仮想面積または仮想体積によって対象物の異常などの状態を検知することにある。
【課題を解決するための手段】
【0012】
上記目的を達成するため、本開示の検知システムの一側面によれば、対象物との距離を表す距離画像を時系列で取得する撮像部と、前記距離画像に含まれる画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する処理部とを含む。
【0013】
この検知システムにおいて、前記処理部は、二以上の前後間の距離画像を比較してその差分から前記対象物の状態変動を検知してもよい。
【0014】
この検知システムにおいて、前記処理部は、前記距離画像のフレーム間で前記画素を比較してもよい。
【0015】
この検知システムにおいて、前記処理部は、前記ブロックに含まれる画素を用いて前記対象物の仮想面積および/または仮想体積を算出し、二以上の前後間の前記仮想面積を比較し、または二以上の前後間の前記体積を比較することにより、前記対象物の状態変動を検出してもよい。
【0016】
この検知システムにおいて、前記処理部は、二以上の前記距離画像、仮想面積画像または仮想体積画像に含まれる画素の座標を比較し、前後間の前記座標の差分から前記対象物の状態変動を検知してもよい。
【0017】
この検知システムにおいて、前記座標は、前記距離画像、前記仮想面積画像または前記仮想体積画像に含まれる特異点、重心点、または頂点の何れかを含んでもよい。
【0018】
この検知システムにおいて、前記距離画像、前記仮想面積または前記仮想体積、前記対象物の状態を表す状態情報の何れかまたは二以上を提示する情報提示部を含んでもよい。
【0019】
上記目的を達成するため、本開示の検知方法の一側面によれば、撮像部が、対象物との距離を表す距離画像を時系列で取得する工程と、処理部が、前記距離画像に含まれる前記画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する工程と、各ブロックに含まれる画素を用いてブロックごとの仮想面積または仮想体積を前記対象物の少なくとも状態ごとに算出する工程とを含む。
【0020】
この検知方法において、前記処理部が、二以上の前後間の距離画像を比較してその差分から前記対象物の状態変動を検知する工程を含んでもよい。
【0021】
この検知方法において、前記処理部が、前記ブロックに含まれる画素を用いて前記対象物の仮想面積および/または仮想体積を算出し、フレーム間で二以上の前後間の前記仮想面積を比較し、またはフレーム間で二以上の前後間の前記体積を比較することにより、前記対象物の状態変動を検出する工程を含んでもよい。
【0022】
上記目的を達成するため、本開示のプログラムの一側面によれば、コンピュータに実行させるためのプログラムであって、対象物との距離を表す距離画像を時系列で取得する機能と、前記距離画像に含まれる画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する機能とを前記コンピュータに実行させる。
【0023】
このプログラムにおいて、対象物との距離を表す距離画像を時系列で取得する機能と、前記距離画像に含まれる前記画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する機能と、各ブロックに含まれる画素を用いてブロックごとの仮想面積または仮想体積を前記対象物の少なくとも状態ごとに算出する機能とを前記コンピュータに実行させてもよい。
【0024】
このプログラムにおいて、二以上の前後間の距離画像を比較してその差分から前記対象物の状態変動を検知する機能を前記コンピュータに実行させてもよい。
【0025】
上記目的を達成するため、本開示の検知モジュールの一側面によれば、対象物との距離を表す距離画像を時系列で取得する撮像部と、前記距離画像に含まれる画素を遠近関係により二以上のブロックに区分し、各ブロックに含まれる画素の比率を比較することにより、前記対象物の状態を検知する処理部とを含む。
【0026】
この検知モジュールにおいて、前記処理部は、二以上の前後間の距離画像を比較してその差分から前記対象物の状態変動を検知してもよい。
【0027】
この検知モジュールにおいて、前記処理部は、前記ブロックに含まれる画素を用いて前記対象物の仮想面積および/または仮想体積を算出し、二以上の前後間の前記仮想面積を比較し、またはフレーム間で二以上の前後間の前記体積を比較することにより、前記対象物の状態変動を検出してもよい。
【発明の効果】
【0028】
本開示によれば、次の何れかの効果が得られる。
(1) 距離画像に含まれる画素を遠近関係により2以上のブロックに区分してブロックごとの画素を用いて仮想面積または仮想体積を算出し、各仮想面積または各仮想体積の比率を比較するので、対象物の状態を容易且つ高精度に検知することができる。
【0029】
(2) ブロックごとの仮想面積または仮想体積の比率で対象物の状態を検知するので、対象物がたとえばヒトである場合、性別などの属性情報などを対象物の状態以外の情報を省略することができ、検知処理に用いる情報を削減でき、情報処理の負荷を低減できるとともに処理の迅速化を図ることができる。
【0030】
(3) 距離画像からブロックに区分された仮想面積または仮想体積を表すフレーム間の比較によって対象物の状態検知を行うことができる。
【図面の簡単な説明】
【0031】
図1図1は、第一の実施の形態に係る検知システムを示す図である。
図2図2は、第一の実施の形態に係る検知情報データベースの一例を示す図である。
図3図3は、第一の実施の形態に係る状態検知の処理手順を示すフローチャートである。
図4図4のAは、対象物の状態Aを示す図であり、図4のBは、状態Bを示す図であり、図4のCは、状態Cを示す図である。
図5図5のAは、対象物の状態B(図4のB)の距離画像を示す図であり、図5のBは、仮想面積画像の示す図である。
図6図6のAは、第一ブロック(図5のB)の仮想面積画像を示す図であり、図6のBは、第二ブロック(図5のB)の仮想面積画像を示す図であり、図6のCは、第三ブロック(図5のB)の仮想面積画像を示す図である。
図7図7のAは、対象物の状態C(図4のC)の距離画像を示す図であり、図7のBは、仮想面積画像の示す図である。
図8図8のAは、第一ブロック(図7のB)の仮想面積画像を示す図であり、図8のBは、第二ブロック(図7のB)の仮想面積画像を示す図であり、図8のCは、第三ブロック(図7のB)の仮想面積画像を示す図である。
図9図9は、第二の実施の形態に係る検知情報データベースの一例を示す図である。
図10図10は、第二の実施の形態に係る検知システムの処理手順を示すフローチャートである。
図11図11のAは、対象物の状態B(図4のB)の距離画像を示す図であり、図11のBは、第一ブロック、仮想体積画像の示す図である。
図12図12のAは、第一ブロック(図11のB)の仮想体積画像を示す図であり、図12のBは、第二ブロック(図11のB)の仮想体積画像を示す図であり、図12のCは、第三ブロック(図11のB)の仮想体積画像を示す図である。
図13図13のAは、対象物の状態C(図4のC)の距離画像を示す図であり、図13のBは、仮想体積画像の示す図である。
図14図14のAは、第一ブロック(図13のB)の仮想体積画像を示す図であり、図14のBは、第二ブロック(図13のB)の仮想体積画像を示す図であり、図14のCは、第三ブロック(図13のB)の仮想体積画像を示す図である。
図15図15は、実施例に係る検知モジュールを示す図である。
【発明を実施するための形態】
【0032】
〔第一の実施の形態〕
図1は、第一の実施の形態に係る検知システム2を示す図である。図1に示す構成は一例であり、斯かる構成に本開示が限定されるものではない。
【0033】
この検知システム2は、対象物4から取得した距離画像Gdを用いて対象物4の状態を検知するシステムである。対象物4は動体などであり、状態を検知すべき対象物4がたとえば、ヒトであれば、頭部4a、胴部4b、四肢4cなどの動きを表す挙動情報が距離画像Gd(図5など)に表われる。
【0034】
図1に示す検知システム2には、発光部6、撮像部8、制御部10、処理装置12などが含まれる。発光部6は、制御部10の制御により発光駆動部14から駆動出力を受けて間欠発光させ、その光Liを対象物4に照射する。この光Liを受けた対象物4から反射光Lfが得られる。光Liの発光時点から反射光Lfの受光時点までの時間が距離を表す。
【0035】
撮像部8は、本開示の撮像部の一例であり、受光部16および距離画像生成部18を含む。受光部16は、制御部10の制御により発光部6の発光に同期して対象物4からの反射光Lfを時系列で受光し、受光信号を出力する。距離画像生成部18は、受光部16からの受光信号を受け、距離画像Gdを時系列で生成する。したがって、撮像部8は、対象物4と撮像部8との距離を表す距離画像Gdを時系列によりフレーム単位で取得する。
【0036】
制御部10はたとえば、コンピュータで構成し、撮像プログラムの実行により発光部6の発光制御、撮像部8の撮像制御を実行する。発光部6、撮像部8、制御部10および発光駆動部14は本開示の検知モジュール20の一例であり、たとえば、1チップICなど、1パッケージのディスクリート素子で構成できる。この検知モジュール20は既述のToFカメラを構成する。
【0037】
処理装置12は本開示の処理部の一例である。この実施の形態では、処理装置12は通信機能を備えるたとえば、パーソナルコンピュータであり、プロセッサ22、記憶部24、入出力部(I/O)26、情報提示部28、通信部30などを備えている。
【0038】
プロセッサ22は、記憶部24にあるOS(Operating System)、本開示の検知プログラムを実行し、対象物4の状態検知に必要な情報処理を実行する。
【0039】
記憶部24はOSや検知プログラム、状態検知に必要な情報処理に用いられる検知情報データベース32-1(図2)、32-2(図9)などを格納している。この記憶部24はROM(Read-Only Memory)、RAM(Random-Access Memory)などの記憶素子を含んでいる。入出力部26は、プロセッサ22の制御により、情報の入出力を行う。
【0040】
入出力部26には情報提示部28の他、図示しない操作入力部が接続される。この入出力部26は、ユーザ操作などによる操作入力情報を受け付け、プロセッサ22の情報処理に基づく出力情報が得られる。
【0041】
情報提示部28は本開示の情報提示部の一例であり、たとえば、LCD(Liquid Crystal Display)などで構成される。この情報提示部28はプロセッサ22の制御により、距離画像Gd、後述の仮想面積Vs、対象物4の状態を表す状態情報Sxの何れかまたは二以上を含む画像情報Dgを提示する。操作入力部には、情報提示部28のたとえば、LCDの画面に設置されたタッチパネルを用いてもよい。
【0042】
通信部30はプロセッサ22の制御により図示しない通信端末などの情報機器と公衆回線などを媒介として有線または無線によって接続され、対象物4の状態情報などを通信端末に提示することができる。
【0043】
<制御部10による制御>
制御部10による制御には、a)光Liの発光制御、b)反射光Lfの受光制御、c)距離画像Gdの生成処理、d)距離画像Gdの送出制御などの処理が含まれる。
【0044】
a)光Liの発光制御
制御部10は、対象物4から反射光Lfを生じさせるため、発光部6の発光制御を行う。発光部6に間欠発光させるため、制御部10の制御により、発光駆動部14から駆動信号が発光部6に提供される。これにより、発光部6から間欠的な光Liを発光し、対象物4に照射する。
【0045】
b)反射光Lfの受光制御
光Liを受けた対象物4からの反射光Lfを受けるため、制御部10は受光部16の受光制御を行う。これにより、対象物4からの反射光Lfが受光部16に受光される。この受光によって受光部16から受光信号が生成され、距離画像生成部18に提供される。
【0046】
c)距離画像Gdの生成処理
距離画像生成部18は、制御部10の制御により、受光信号を用いて距離画像Gdを生成する。この距離画像Gdは、対象物4の凹凸や距離に応じて受光距離の異なる画素giで構成される。
【0047】
d)距離画像Gdの送出制御
制御部10は、距離画像生成部18から距離画像Gdを受け、この距離画像Gdをフレーム単位で処理装置12に送出する。
【0048】
<処理装置12による情報処理>
処理装置12の情報処理にはe)距離画像Gdの取得、f)距離画像Gdの区分化、g)仮想面積画像Gsの生成、h)ブロックごとの仮想面積の算出、i)ブロックの比率の算出、j)距離情報分布の変動検知、k)対象物4の存在およびその状態検知、l)距離画像、仮想面積画像、状態情報、判定情報の提示、m)検知情報データベース32-1の生成および更新などの処理が含まれる。
【0049】
e)距離画像Gdの取得
処理装置12は、プロセッサ22の制御により、距離画像Gdを時系列で取得する。距離画像Gdはフレーム単位で実行する。
【0050】
f)距離画像Gdの区分化
処理装置12は、プロセッサ22の制御により、距離画像Gdに含まれる複数の画素giを遠近関係により二以上のブロックに区分する。この区分はたとえば、第一ブロック、第二ブロックおよび第三ブロックに区分する。
【0051】
g)仮想面積画像Gsの生成
処理装置12は、プロセッサ22の制御により、ブロックに区分された距離画像Gdからブロックごとに区分された仮想面積画像Gsを生成する。
【0052】
h)ブロックごとの仮想面積Vsの算出
処理装置12は、第一ブロック、第二ブロックおよび第三ブロックに含まれる画素giを以て第一ブロック、第二ブロックおよび第三ブロックごとの仮想面積Vs1、Vs2、Vs3を対象物4の少なくとも状態ごとに算出する。
【0053】
第一ブロックに含まれる画素giをg1、第二ブロックに含まれる画素giをg2、第三ブロックに含まれる画素giをg3、画素giを面積に変換する変換係数をkとすれば、第一ブロックの仮想面積Vs1、第二ブロックの仮想面積Vs2、第三ブロックの仮想面積Vs3は、式1、式2および式3で表すことができる。
【0054】
Vs1=k・g1 ・・・(式1)
Vs2=k・g2 ・・・(式2)
Vs3=k・g3 ・・・(式3)
【0055】
i)各ブロックの比率R11、R12、R13の算出
処理装置12は、第一ブロック、第二ブロックおよび第三ブロックの比率R11、R12を算出する。第一ブロックの仮想面積Vs1を基準に各ブロックの比率R11、R12、R13は、式4、式5、式6で表すことができる。
【0056】
R11=Vs1/Vs1=1 ・・・(式4)
R12=Vs2/Vs1=g2/g1 ・・・(式5)
R13=Vs3/Vs1=g3/g1 ・・・(式6)
【0057】
各ブロックの比率R11、R12、R13を用いて対象物4の状態検知が可能である。
【0058】
また、各ブロックの比率R11、R12、R13を用いて検知した対象物4の状態を表す状態情報を用いて対象物4が正常か異常かを検知してもよい。
【0059】
j)距離情報分布の変動検知
処理装置12は、各ブロックの比率R11、R12、R13を用いてフレーム間の比較を行い、比率R11、R12、R13間の差分ΔRから距離画像Gdにおける距離情報分布の変動を検知する。
【0060】
k)対象物4の存在およびその状態検知
処理装置12は、距離画像Gdから検知された距離情報分布の変動の多寡を表す変動量Mを求め、この変動量Mと異常を検知するための閾値Mthとを比較し、対象物4の存在およびその状態を検知する。この場合、対象物4の挙動の有無で状態を検知するので、変動量Mが閾値Mthより大きければ(M>Mth)正常を検知し、変動量Mが閾値Mth以下(M≦Mth)であれば異常を検知する。
【0061】
対象物4の状態検知、異常または正常の検知には、各ブロックの比率R11、R12、R13と既述のj)距離情報分布の変動検知との組み合わせを用いてもよい。この場合、たとえば、特定の状態aから特定の状態bに変化した場合を以て対象物4の正常または異常を検知してもよい。
【0062】
l)距離画像、仮想面積画像、状態情報、判定情報の提示
処理装置12はプロセッサ22の制御により情報提示部28に距離画像Gd、ブロックごとの仮想面積、状態情報、判定情報を提示する。これらの提示情報によれば、対象物4の存在、状態、状態が正常か異常かを表す判定情報を視認することができる。
【0063】
この情報提示には、処理装置12からプロセッサ22の制御により、通信部30と該当する通信端末を無線により接続し、当該通信端末に情報提示部28と同様の情報提示を行うことができる。
【0064】
m)検知情報データベース32-1の生成および更新
処理装置12は、記憶部24に格納されている検知情報データベース32-1の生成および更新をプロセッサ22の制御により行う。
【0065】
<検知情報データベース32-1>
この検知情報データベース32-1には対象物4の状態検知のための制御部10の制御情報、処理装置12の制御情報、距離画像Gdの処理情報、対象物4の状態検知情報などが格納される。
【0066】
図2は、検知情報を格納する検知情報データベース32-1(以下単に「データベース32-1」と称する)を示している。
【0067】
このデータベース32-1は本開示のデータベースの一例である。このデータベース32-1には日時情報部34、発光情報部36、受光情報部38、距離画像部40、区分情報部42、ブロック画像情報部44、仮想面積・比率部46、距離情報分布部48、変動量情報部49、状態情報部50、検知情報部52、提示情報部54、履歴情報部56が含まれる。
【0068】
日時情報部34には、対象物4の状態検知の日時を表す日時情報が格納される。
【0069】
発光情報部36には、発光部6の発光素子の仕様情報、発光タイミング、発光制御情報などが格納される。
【0070】
受光情報部38には、受光部16の受光素子の仕様情報、受光タイミング、受光制御情報などが格納される。
【0071】
距離画像部40には、距離画像生成部18が受光情報を用いて生成する距離画像Gdを表す画像情報が格納される。
【0072】
区分情報部42には、距離画像Gdをたとえば、第一ブロック、第二ブロック、第三ブロックに区分するための遠近関係を表す遠近情報などの区分情報が格納される。
【0073】
ブロック画像情報部44には第一ブロック部44-1、第二ブロック部44-2、第三ブロック部44-3が設定されている。第一ブロック部44-1には第一ブロックに該当する画像情報Gd1、第二ブロック部44-2には第二ブロックに該当する画像情報Gd2、第三ブロック部44-3には第三ブロックに該当する画像情報Gd3を表す画像情報が格納される。
【0074】
仮想面積・比率部46にはたとえば、第一ブロックの仮想面積Vs1、第二ブロックの仮想面積Vs2、第三ブロックの仮想面積Vs3を表す画像情報、第一ブロックの仮想面積Vs1を基準に第一ブロック、第二ブロックおよび第三ブロックの比率R11、R12、R13を表す比率情報が格納される。
【0075】
距離情報分布部48には、第一ブロック、第二ブロックおよび第三ブロックの距離情報分布を表す分布情報が格納される。
【0076】
変動量情報部49には、対象物4の動作の繰り返しなどの挙動の変化を表す変動量情報を格納する。このブロックをまたぐ変動量も含んでよい。
【0077】
状態情報部50には、変動量情報部49に関係付け、対象物4の状態を表す状態情報が格納される。
【0078】
検知情報部52には、距離情報分布などから判定された対象物4の状態が正常であるか異常であるかを表す検知情報が格納される。
【0079】
提示情報部54には、情報提示部28に提示される距離画像Gdなどの提示情報が格納される。
【0080】
履歴情報部56には、状態検知などを含む処理履歴を表す情報が格納される。
【0081】
<対象物4の状態検知の処理手順>
この処理手順は検知モジュール20の撮像で取得した距離画像Gdを用いる状態検知の処理手順である。
【0082】
図3は、対象物4の状態検知の処理手順を示している。この処理手順には、撮像(S101)、距離画像Gdの取得(S102)、距離画像Gdのブロック処理(S103)、ブロックごとの仮想面積Vs1、Vs2、Vs3の算出(S104)、ブロックの比率R11、R12、R13の算出(S105)、距離情報分布の変動情報の取得(S106)、変動量Mの閾値判定(S107)、異常検知(S108)、正常検知(S109)、情報提示(S110、S111)が含まれる。
【0083】
この処理手順によれば、撮像部8が制御部10の制御により対象物4を撮像する(S101)。撮像部8は、距離画像生成部18が受光部16から受光信号を取得し、この受光信号から対象物4を表す距離画像Gdを生成する。
【0084】
処理装置12はプロセッサ22の制御により、検知モジュール20の制御部10から距離画像Gdを取得する(S102)。
【0085】
処理装置12はプロセッサ22の情報処理により、距離画像Gdのブロック処理を実行し、距離画像Gdを第一ブロック60-1、第二ブロック60-2、第三ブロック60-3(図5のB)に区分する(S103)。
【0086】
処理装置12はプロセッサ22の情報処理により、ブロック処理された距離画像Gdを用いてブロックごとの仮想面積Vs1、Vs2、Vs3を算出する(S104)。
【0087】
処理装置12はプロセッサ22の情報処理により、ブロックの比率R11、R12、R13を算出する(S105)。
【0088】
処理装置12はプロセッサ22の情報処理により、ブロックの比率R11、R12、R13を用いて状態ごとの距離情報分布の変動情報を比較演算により取得する(S106)。
【0089】
処理装置12はプロセッサ22の情報処理により、変動量Mを取得し、変動量Mと閾値Mthを比較し、その大小関係を判定する(S107)。
【0090】
処理装置12はプロセッサ22の情報処理により、M≦Mthであれば(S107のYES)、対象物4に挙動がないと判定して異常検知を行う(S108)。また、M>Mthであれば(S107のNO)、対象物4に挙動があると判定して正常検知を行う(S109)。
【0091】
処理装置12はプロセッサ22の制御により情報提示(S110、S111)を実行し、S110に係る情報提示では異常を表す検知情報、距離画像Gdなどの情報が提示される。また、S111に係る情報提示では正常を表す検知情報、距離画像Gdなどの情報が提示される。
【0092】
そして、対象物4に異常がある場合にはこの処理を終了し、正常であればS111からS101にリターンし、状態検知を継続する。
【0093】
<対象物4の挙動>
状態検知の対象物4はたとえば、ヒトであるが、検知モジュール20から得られる距離画像Gdは受光部16と対象物4との距離を表す画素giの集合である。このため、対象物4の状態検知をシミュレーションするため、一例として対象物4の実像を図4に示すように明示し、対象物4の挙動を提示する。
【0094】
この挙動にはたとえば、状態A(図4のA)、状態B(図4のB)、状態C(図4のC)が含まれる。
【0095】
図4のAに示すように、状態Aは対象物4の起立状態を示し、頭部上方の受光部16から見て示した図である。
【0096】
図4のBに示すように、状態Bは状態Aから推移した対象物4のしゃがみ状態を示し、頭部上方の受光部16から見て示した図である。
【0097】
図4のCに示すように、状態Cは状態Bから推移した対象物4のしゃがみ状態を示し、頭部上方の受光部16から見て示した図である。破線は四肢4cの移動、具体的には左腕の動きを示している。
【0098】
この対象物4の挙動において、状態検知のシミュレーションとして、状態Bで対象物4の挙動が停止し、たとえば、一定時間が経過しても変動がない場合の状態は異常状態と判定する。これに対し、状態Bから状態Cに推移するなど、対象物4に挙動が生じた場合には正常状態と判定する。
【0099】
<対象物4の挙動とその状態検知>
この状態検知は、既述のデータベース38-1の変動量情報部49に格納された変動量情報を用いた状態検知である。
【0100】
対象物4の変動量のフレーム間の少なくともその前後を比較すれば、対象物4の状態検知やその周期性検知に利用できる。この変動量情報部49には検出した周期性に対する許容値を表す許容値情報を格納し、この許容値を超える変動量を以て対象物4の異常状態を判断してもよい。この許容値には経過時間、変動量、変動回数も含んでもよい。例えば、対象物4の四肢におけるたとえば、左腕の挙動が停止している場合、右腕が動いている挙動を異常状態と判断してもよい。この変動量情報部49に記録した変動量情報の推移や軌跡を比較すれば、対象物4の状態の順序などの検知も可能である。たとえば、対象物4から検知された挙動の順序が挙動前の状態と異なる場合には、その挙動範囲に許容値を設定すれば、異常状態と判断することもできる。対象物4の左腕の挙動がたとえば、図4に示す状態C→状態A→状態Bの推移が前の状態とすれば、状態C→状態B→状態Aに推移したならば、前の状態と異なる挙動として異常状態と判断するといった処理が可能であり、この変動量情報部49に格納された変動量情報を有効に活用できる。
【0101】
<状態Bの距離画像Gd-B、距離画像Gd-Bの第一ブロック60-1、第二ブロック60-2および第三ブロック60-3、ブロックごとの仮想面積画像Gs1-B、Gs2-B、Gs3-B、仮想面積Vs1-B、Vs2-B、Vs3-Bおよび比率R11-B、R12-B、R13-B>
【0102】
図5のAは、対象物4の状態B(図4のB)から得られたフレーム58-1上の距離画像Gd-Bを示している。この距離画像Gd-Bには、第一ブロック60-1に該当する画素gi、第二ブロック60-2に該当する画素gi、第三ブロック60-3に該当する画素giが含まれる。
【0103】
図5のBは、距離画像Gd-Bから生成された仮想面積画像Gs1-B、Gs2-B、Gs3-Bを示している。仮想面積画像Gs1-Bは、状態Bの第一ブロック60-1に含まれる画素giから算出された対象物4の一部およびその仮想面積を表す。仮想面積画像Gs2-Bは、状態Bの第二ブロック60-2に含まれる画素giから算出された対象物4の一部およびその仮想面積を示す。仮想面積画像Gs3-Bは、状態Bの第三ブロック60-3に含まれる画素giから算出された対象物4の一部およびその仮想面積を表す。
【0104】
図6のAは、仮想面積画像Gs-Bから分離されたフレーム58-3上の第一ブロック60-1に該当する仮想面積画像Gs1-Bを示している。この仮想面積画像Gs1-Bに含まれる画素giにより第一ブロック60-1の仮想面積Vs1-Bが算出できる。この場合、比率R11は、R11―Bである。
【0105】
図6のBは、仮想面積画像Gs-Bから分離されたフレーム58-4上の第二ブロック60-2に該当する仮想面積画像Gs2-Bを示している。この仮想面積画像Gs2-Bに含まれる画素giにより第二ブロック60-2の仮想面積Vs2-Bが算出できる。この場合、比率R12は、R12―Bである。
【0106】
図6のCは、仮想面積画像Gs-Bから分離されたフレーム58-5上の第三ブロック60-3に該当する仮想面積画像Gs3-Bを示している。この仮想面積画像Gs3-Bに含まれる画素giにより第三ブロック60-3の仮想面積Vs3-Bが算出できる。この場合、比率R13は、R13―Bである。
【0107】
図7のAは、対象物4の状態C(図4のC)から得られたフレーム58-6上の距離画像Gd-Cを示している。この距離画像Gd-Cには、第一ブロック60-1に該当する画素gi、第二ブロック60-2に該当する画素gi、第三ブロック60-3に該当する画素giが含まれる。
【0108】
図7のBは、仮想面積画像Gs-Cに含まれる画素giを遠近関係によりフレーム58-7上でブロック化された距離画像Gd-Cから生成された仮想面積画像Gs1-C、Gs2-C、Gs3-Cを表す。仮想面積画像Gs1-Cは、状態Cの第一ブロック60-1に含まれる画素giから算出された対象物4の一部およびその仮想面積を表す。仮想面積画像Gs2-Cは、状態Cの第二ブロック60-2に含まれる画素giから算出された対象物4の一部およびその仮想面積を表す。仮想面積画像Gs3-Cにおいて、状態Cの第三ブロック60-3に含まれる画素giから算出された対象物4の一部およびその仮想面積を表す。
【0109】
図8のAは、仮想面積画像Gs-Cから分離されたフレーム58-8上の第一ブロック60-1に該当する仮想面積画像Gs1-Cを示している。この仮想面積画像Gs1-Cに含まれる画素giにより第一ブロックの仮想面積Vs1-Cが算出できる。この場合、比率R11は、R11―Cである。
【0110】
図8のBは、仮想面積画像Gs-Cから分離されたフレーム58-9上の第二ブロック60-2に該当する仮想面積画像Gs2-Cを示している。この仮想面積画像Gs2-Cに含まれる画素giにより第二ブロックの仮想面積Vs2-Cが算出できる。この場合、比率R12は、R12―Cである。
【0111】
図8のCは、仮想面積画像Gs-Cから分離されたフレーム58-10上の第三ブロック60-3に該当する仮想面積画像Gs3-Cを示している。この仮想面積画像Gs3-Cに含まれる画素giにより第三ブロックの仮想面積Vs3-Cが算出できる。この場合、比率R13は、R13―Cである。
【0112】
<状態B、Cの距離情報分布の変動情報の比較演算および判定>
この状態B、Cの距離情報分布の変動情報の比較演算は、対象物4が正常か異常かの検知である。状態Bから求められた図6のA、B、Cに示す比率R11-B、R12-B、R13-Bと、状態Cから求められた図8のA、B、Cに示す比率R11-C、R12-C、R13-Cを比較すると、状態Cでは図8のAに示すように、対象物4の四肢4cのうち腕部分が第一ブロック60-1の距離画像Gd1-Bに加わったために仮想面積Vs1-Cが拡大し、図8のCに示すように、第三ブロックの距離画像Gd3-Cが変化して仮想面積Vs3-Cが減少している。
【0113】
この場合、既述の処理により状態B、Cの距離情報分布の変動情報から変動量Mを取得し、変動量Mと閾値Mthを比較すると、状態B、Cでは、M>Mthが成立し、対象物4に挙動があると判断され、正常検知となる。
【0114】
この場合、既述の処理により状態B、Cの距離情報分布の変動情報から変動量Mを取得し、変動量Mと閾値Mthを比較し、M≦Mthが成立した場合には、対象物4の挙動なしとして異常検知となる。
【0115】
<第一の実施の形態の効果>
第一の実施の形態によれば、次の何れかの効果が得られる。
【0116】
(1) 距離画像Gdに含まれる画素giを遠近関係により第一ブロック60-1、第二ブロック60-2および第三ブロック60-3に区分し、第一ブロック60-1、第二ブロック60-2および第三ブロック60-3ごとの画素giを用いて状態B、Cの仮想面積Vs1-B、Vs2-B、Vs3-B、Vs1-C、Vs2-C、Vs3-Cを算出し、状態Bの比率R11-B、R12-B、R13-Bと状態Cの比率R11-C、R12-C、R13-Cを比較するので、対象物4の状態を容易且つ高精度に検知することができる。
【0117】
(2) ブロックごとの仮想面積Vs1-B、Vs2-B、Vs3-B、Vs1-C、Vs2-C、Vs3-Cの状態Bの比率R11-B、R12-B、R13-Bと状態Cの比率R11-C、R12-C、R13-Cで対象物4の状態を検知するので、対象物4がたとえばヒトである場合、性別などの属性情報を対象物の状態以外の情報を省略することができ、検知処理に用いる情報を削減でき、情報処理の負荷を低減できるとともに処理の迅速化を図ることができる。
【0118】
(3) 距離画像Gdから第一ブロック60-1、第二ブロック60-2、第三ブロック60-3に区分された距離画像Gd1-B、Gd2-B、Gd3-Bと距離画像Gd1-C、Gd2-C、Gd3-Cを表すフレーム間の比較によって対象物4の状態検知を行うことができる。
【0119】
〔第二の実施の形態〕
この第二の実施の形態では、距離画像Gdから第一ブロック60-1、第二ブロック60-2、第三ブロック60-3に区分された対象物4の仮想体積Vv1、Vv2、Vv3を算出して対象物4の状態を検知している。
【0120】
<第二の実施の形態に係る検知システム2>
第二の実施の形態に係る検知システム2は、図1に示す構成と共通であるので、その説明を割愛する。
【0121】
<第二の実施の形態に係る制御部10による制御>
第二の実施の形態に係る制御部10による制御には同様に、a)光Liの発光制御、b)反射光Lfの受光制御、c)距離画像Gdの生成処理、d)距離画像Gdの送出などの処理が含まれる。
【0122】
<第二の実施の形態に係る処理装置12による情報処理>
処理装置12の情報処理にはn)距離画像Gdの取得、o)距離画像Gdの区分化、p)仮想体積画像Gvの生成、q)ブロックごとの仮想体積の算出、r)ブロックの比率の算出、s)距離情報分布の変動検知、t)対象物4の存在およびその状態検知、u)距離画像、仮想体積画像、状態情報、判定情報の提示、v)検知情報データベース32-1の生成および更新などの処理が含まれる。
【0123】
n)距離画像Gdの取得
処理装置12は、プロセッサ22の制御により、距離画像Gdを時系列で取得する。距離画像Gdはフレーム単位で実行する。
【0124】
o)距離画像Gdの区分化
処理装置12は、プロセッサ22の制御により、距離画像Gdに含まれる複数の画素giを遠近関係により二以上のブロックに区分する。この区分はたとえば、第一ブロック、第二ブロックおよび第三ブロックに区分する。
【0125】
p)仮想体積画像Gvの生成、
処理装置12は、プロセッサ22の制御により、ブロックに区分された距離画像Gdからブロックごとに仮想体積画像Gvを生成する。
【0126】
q)ブロックごとの仮想体積の算出
処理装置12は、第一ブロック、第二ブロックおよび第三ブロックに含まれる画素giを以て第一ブロック、第二ブロックおよび第三ブロックごとの仮想体積Vv1、Vv2、Vv3を対象物4の少なくとも状態ごとに算出する。
【0127】
第一ブロックに含まれる画素giをg1、第二ブロックに含まれる画素giをg2、第三ブロックに含まれる画素giをg3、画素giを体積に変換する変換係数をqとすれば、第一ブロックの仮想体積Vv1、第二ブロックの仮想体積Vv2、第三ブロックの仮想体積Vv3は、式7、式8および式9で表すことができる。
【0128】
Vv1=q・g1 ・・・(式7)
Vv2=q・g2 ・・・(式8)
Vv3=q・g3 ・・・(式9)
【0129】
r)各ブロックの比率R11、R12、R13の算出
処理装置12は、第一ブロック、第二ブロックおよび第三ブロックの比率R11、R12を算出する。第一ブロックの仮想体積Vv1を基準に各ブロックの比率R11、R12、R13は、式10、式11、式12で表すことができる。
【0130】
R11=Vv1/Vv1=1 ・・・(式10)
R12=Vv2/Vv1=g2/g1 ・・・(式11)
R13=Vv3/Vv1=g3/g1 ・・・(式12)
【0131】
各ブロックの比率R11、R12、R13を用いて対象物4の状態検知が可能である。
【0132】
また、各ブロックの比率R11、R12、R13を用いて検知した対象物4の状態を表す状態情報を用いて対象物4が正常か異常かを検知してもよい。
【0133】
s)距離情報分布の変動検知
処理装置12は、各ブロックの比率R11、R12、R13を用いてフレーム間の比較を行い、比率R11、R12、R13間の差分ΔRから距離画像Gdにおける距離情報分布の変動を検知する。
【0134】
t)対象物4の存在およびその状態検知
処理装置12は、距離画像Gdから検知された距離情報分布の変動の多寡を表す変動量Mを求め、この変動量Mと異常を検知するための閾値Mthとを比較し、対象物4の存在およびその状態を検知する。この場合、対象物4の挙動の有無で状態を検知するので、変動量Mが閾値Mth以上(M≧Mth)であれば正常を検知し、変動量Mが閾値Mth未満(M<Mth)であれば異常を検知する。
【0135】
対象物4の状態検知、異常または正常の検知には、各ブロックの比率R11、R12、R13と既述のs)距離情報分布の変動検知との組み合わせを用いてもよい。この場合、たとえば、特定の状態aから特定の状態bに変化した場合を以て対象物4の正常または異常を検知してもよい。
【0136】
u)距離画像、仮想体積画像、状態情報、判定情報の提示
処理装置12はプロセッサ22の制御により情報提示部28に距離画像Gd、ブロックごとの仮想体積、状態情報、判定情報を提示する。これらの提示情報によれば、対象物4の存在、状態、状態が正常か異常かを表す判定情報を視認することができる。
【0137】
この情報提示には、処理装置12からプロセッサ22の制御により、通信部30と該当する通信端末を無線により接続し、当該通信端末に情報提示部28と同様の情報提示を行うことができる。
【0138】
v)検知情報データベース32-2の生成および更新
処理装置12は、記憶部24に格納されている検知情報データベース32-2の生成および更新をプロセッサ22の制御により行う。
【0139】
<検知情報データベース32-2>
この検知情報データベース32-2には第一の実施の形態と同様に対象物4の状態検知のための制御部10の制御情報、処理装置12の制御情報、距離画像Gdの処理情報、対象物4の状態検知情報などが格納される。
【0140】
図9は、検知情報を格納する検知情報データベース32-2(以下単に「データベース32-2」と称する)を示している。
【0141】
このデータベース32-2は本開示のデータベースの一例である。このデータベース32-2において、データベース32-1と同一部分には同一符号を付してある。データベース32-2には日時情報部34、発光情報部36、受光情報部38、距離画像部40、区分情報部42、ブロック画像情報部44、仮想体積・比率部47、距離情報分布部48、状態情報部50、検知情報部52、提示情報部54、履歴情報部56が含まれる。
【0142】
日時情報部34、発光情報部36、受光情報部38、距離画像部40、区分情報部42、
ブロック画像情報部44、距離情報分布部48、状態情報部50、検知情報部52、提示情報部54、履歴情報部56はデータベース32-1と同一であるのでその説明を割愛する。
【0143】
仮想体積・比率部47にはたとえば、第一ブロックの仮想体積Vv1、第二ブロックの仮想体積Vv2、第三ブロックの仮想体積Vv3を表す画像情報、第一ブロックの仮想体積Vv1を基準に第一ブロック、第二ブロックおよび第三ブロックの比率R11、R12、R13を表す比率情報が格納される。
【0144】
<対象物4の状態検知の処理手順>
この処理手順は第一の実施の形態と同様に検知モジュール20の撮像で取得した距離画像Gdを用いる状態検知の処理手順である。
【0145】
図10は、対象物4の状態検知の処理手順を示している。この処理手順には、撮像(S201)、距離画像Gdの取得(S202)、距離画像Gdのブロック処理(S203)、ブロックごとの仮想体積Vv1、Vv2、Vv3の算出(S204)、ブロックの比率R11、R12、R13の算出(S205)、距離情報分布の変動情報の取得(S206)、変動量Mの閾値判定(S207)、異常検知(S208)、正常検知(S209)、情報提示(S210、S211)が含まれる。
【0146】
この処理手順によれば、撮像部8が制御部10の制御により対象物4を撮像する(S201)。撮像部8は、距離画像生成部18が受光部16から受光信号を取得し、この受光信号から対象物4を表す距離画像Gdを生成する。
【0147】
処理装置12はプロセッサ22の制御により、検知モジュール20の制御部10から距離画像Gdを取得する(S202)。
【0148】
処理装置12はプロセッサ22の情報処理により、距離画像Gdのブロック処理を実行し、距離画像Gdを第一ブロック60-1、第二ブロック60-2、第三ブロック60-3(図5のB)に区分する(S203)。
【0149】
処理装置12はプロセッサ22の情報処理により、ブロック処理された距離画像Gdを用いてブロックごとの仮想体積Vv1、Vv2、Vv3を算出する(S204)。
【0150】
処理装置12はプロセッサ22の情報処理により、ブロックの比率R11、R12、R13を算出する(S205)。
【0151】
処理装置12はプロセッサ22の情報処理により、ブロックの比率R11、R12、R13を用いて状態ごとの距離情報分布の変動情報を比較演算により取得する(S206)。
【0152】
処理装置12はプロセッサ22の情報処理により、変動量Mを取得し、変動量Mと閾値Mthを比較し、その大小関係を判定する(S207)。
【0153】
処理装置12はプロセッサ22の情報処理により、M≦Mthであれば(S207のYES)、対象物4に挙動がないと判定して異常検知を行う(S208)。また、M>Mthであれば(S207のNO)、対象物4に挙動があると判定して正常検知を行う(S209)。
【0154】
処理装置12はプロセッサ22の制御により情報提示(S210、S211)を実行し、S210に係る情報提示では異常を表す検知情報、距離画像Gdなどの情報が提示される。また、S211に係る情報提示では正常を表す検知情報、距離画像Gdなどの情報が提示される。
【0155】
そして、対象物4に異常がある場合にはこの処理を終了し、正常であればS211からS201にリターンし、状態検知を継続する。
【0156】
<対象物4の挙動>
状態検知の対象物4は第一の実施の形態と同様とし、その説明を割愛するとともに、挙動について状態A(図4のA)、状態B(図4のB)、状態C(図4のC)を参照する。
【0157】
<状態Bの距離画像Gd-B、距離画像Gd-Bの第一ブロック60-1、第二ブロック60-2および第三ブロック60-3、ブロックごとの仮想体積画像Gv1-B、Gv2-B、Gv3-B、仮想体積Vv1-B、Vv2-B、Vv3-Bおよび比率R11-B、R12-B、R13-B>
【0158】
図11のAは、対象物4の状態B(図4のB)から得られたフレーム62-1上の距離画像Gd-Bを示している。この距離画像Gd-Bには、第一ブロック60-1に該当する画素gi、第二ブロック60-2に該当する画素gi、第三ブロック60-3に該当する画素giが含まれる。
【0159】
図11のBは、距離画像Gd-Bから生成された仮想体積画像Gv1-B、Gv2-B、Gv3-Bを示している。仮想体積画像Gv1-Bは、状態Bの第一ブロック60-1に含まれる画素giから算出された対象物4の一部およびその仮想体積を示す。仮想体積画像Gv2-Bは、状態Bの第二ブロック60-2に含まれる画素giから算出された対象物4の一部およびその仮想体積を表す。仮想体積画像Gv3-Bは、状態Bの第三ブロック60-3に含まれる画素giから算出された対象物4の一部およびその仮想体積を表す。
【0160】
図12のAは、仮想体積画像Gv-Bから分離されたフレーム62-3上の第一ブロック60-1に該当する仮想体積画像Gv1-Bを示している。この仮想体積画像Gv1-Bに含まれる画素giにより第一ブロック60-1の仮想体積Vv1-Bが算出できる。この場合、比率R11は、R11―Bである。
【0161】
図12のBは、仮想体積画像Gv-Bから分離されたフレーム62-4上の第二ブロック60-2に該当する仮想体積画像Gv2-Bを示している。この仮想体積画像Gv2-Bに含まれる画素giにより第二ブロック60-2の仮想体積Vv2-Bが算出できる。この場合、比率R12は、R12―Bである。
【0162】
図12のCは、仮想体積画像Gv-Bから分離されたフレーム62-5上の第三ブロック60-3に該当する仮想体積画像Gv3-Bを示している。この仮想体積画像Gv3-Bに含まれる画素giにより第三ブロック60-3の仮想体積Vv3-Bが算出できる。この場合、比率R13は、R13―Bである。
【0163】
図13のAは、対象物4の状態C(図4のC)から得られたフレーム62-1上の距離画像Gd-Bを示している。この距離画像Gd-Cには、第一ブロック60-1に該当する画素gi、第二ブロック60-2に該当する画素gi、第三ブロック60-3に該当する画素giが含まれる。
【0164】
図13のBは、距離画像Gd―Bから生成された仮想体積画像Gv1-C、Gv2-C、Gv3-Cを示している。仮想体積画像Gv1-Cは、状態Cの第一ブロック60-1に含まれる画素giから算出された対象物4の一部およびその仮想体積を示す。仮想体積画像Gv2-Cは、状態Cの第二ブロック60-2に含まれる画素giから算出された対象物4の一部およびその仮想体積を表す。仮想体積画像Gv3-Cは、状態Cの第三ブロック60-3に含まれる画素giから算出された対象物4の一部およびその仮想体積を表す。
【0165】
図14のAは、仮想体積画像Gv-Cから分離されたフレーム62-8上の第一ブロック60-1に該当する仮想体積画像Gv1-Cを示している。この仮想体積画像Gv1-Cに含まれる画素giにより仮想体積Vv1-Cが算出できる。この場合、比率R11は、R11―Cである。
【0166】
図14のBは、仮想体積画像Gv-Cから分離されたフレーム62-9上の第二ブロック60-2に該当する仮想体積画像Gv2-Cを示している。この仮想体積画像Gv2-Cに含まれる画素giにより仮想体積Vv2-Cが算出できる。この場合、比率R12は、R12―Cである。
【0167】
図14のCは、仮想体積画像Gv-Cから分離されたフレーム62-10上の第三ブロック60-3に該当する仮想体積画像Gv3-Cを示している。この仮想体積画像Gv3-Cに含まれる画素giにより仮想体積Vv3-Cが算出できる。この場合、比率R13は、R13―Cである。
【0168】
<状態B、Cの距離情報分布の変動情報の比較演算および判定>
この状態B、Cの距離情報分布の変動情報の比較演算は、第一の実施の形態と同様に対象物4が正常か異常かの検知である。状態Bから求められた図12のA、B、Cに示す比率R11-B、R12-B、R13-Bと、状態Cから求められた図14のA、B、Cに示す比率R11-C、R12-C、R13-Cを比較すると、状態Cでは図14のAに示すように、対象物4の四肢4cのうち腕部分が第一ブロックの仮想体積画像Gv1-Cに加わったために仮想体積Vv1-Cが拡大し、図14のCに示すように、第三ブロックの仮想体積画像Gv3-Cが変化して仮想体積Vv3-Cが減少している。
【0169】
したがって、既述の処理により状態B、Cの距離情報分布の変動情報から変動量Mを取得し、変動量Mと閾値Mthを比較すると、状態B、Cでは、M>Mthが成立し、対象物4に挙動があると判断され、正常検知となる。
【0170】
この場合、既述の処理により状態B、Cの距離情報分布の変動情報から変動量Mを取得し、変動量Mと閾値Mthを比較し、M≦Mthが成立した場合には、対象物4の挙動なしとして異常検知となる。
【0171】
<第二の実施の形態の効果>
第二の実施の形態によれば、次の何れかの効果が得られる。
【0172】
(1) 第一の実施の形態と同様の効果が得られる。
【0173】
(2) 第二の実施の形態では仮想体積Vv1-B、Vv2-B、Vv3-B、Vv1-C、Vv2-C、Vv3-Cの状態Bの比率R11-B、R12-B、R13-Bと状態Cの比率R11-C、R12-C、R13-Cで対象物4の状態を検知するので、対象物4がたとえばヒトである場合、対象物4の厚み方向の情報を加味して状態検知をすることができ、より検知精度を高めることができる。
【実施例0174】
図15は検知モジュール20の1チップ化を例示している。この検知モジュール20には処理装置12と同等の機能を持つ処理部64を含んでいる。この検知モジュール20において、既述の検知システム2と共通部分には同一符号を付しその説明を割愛する。
【0175】
<実施例の効果>
この実施例によれば、次の何れかの効果が得られる。
(1) ヒトなどの対象物4の状態検知に広く利用することができる。
【0176】
(2) 性別など、プライバシーに配慮することなく、対象物4の状態検知を行うことができ、浴室やトイレなどにおける状態検知に利用できる。
【0177】
〔他の実施の形態〕
本開示には次のような変形例が含まれる。
(1) この検知システム2において、処理装置12は、二以上の距離画像Gd、仮想面積画像Gsまたは仮想体積画像Gvに含まれる画素giの座標を比較し、前後間の座標の差分から対象物4の状態変動を検知してもよい。
【0178】
(2) この検知システム2において、画像上の座標は、距離画像Gd、仮想面積画像Gsまたは仮想体積画像Gvに含まれる特異点(対象物4の特徴点を含む)、重心点、または頂点の何れかを含んでもよい。
【0179】
(3) 上記実施の形態では距離画像を第一ブロック、第二ブロック、第三ブロックの三ブロックに区分しているが、対象物4から得られる距離画像を用いて、二区分または四区分以上の区分を適用してもよい。
【0180】
(4) 上記実施の形態では対象物4にヒトを例示したが、ヒト以外の動体たとえば、自動車やロボットなどの移動体を対象物4に用いてもよい。
【0181】
(5) 上記の実施の形態では、単一の検知モジュールを例示したが、複数のカメラを用いて得られる複数の検知モジュールを併用してもよい。
【0182】
(6) 対象物4の状態検知について、検知時間を設定し、この検知時間内での挙動の有無から対象物4が正常か異常かを検知してもよい。
【0183】
(7) 距離画像または体積画像のブロック化について、距離画像から画素giの高さ距離を表す標高情報を定義し、この標高情報が表す画像情報に含まれる画素が持つ高さに関係付けられた画素群ごとにブロック化してもよい。
【0184】
(8) 上記実施の形態において、処理装置12が、フレーム間で仮想面積または仮想体積を比較して前後間の差分から対象物4の状態変動を検知してもよい。
【0185】
以上説明したように、本発明の最も好ましい実施例について説明した。本開示の技術は、上記記載に限定されるものではない。特許請求の範囲に記載され、又は明細書に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能である。斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
【産業上の利用可能性】
【0186】
本開示の状態検知のシステム、方法、プログラムおよび検知モジュールによれば、ヒトなどの対象物から得た距離画像のみを用いて、対象物の状態検知を容易且つ高精度に行うことができる。
【符号の説明】
【0187】
2 検知システム
4 対象物
4a 頭部
4b 胴部
4c 四肢
6 発光部
8 撮像部
10 制御部
12 処理装置
14 発光駆動部
16 受光部
18 距離画像生成部
20 検知モジュール
22 プロセッサ
24 記憶部
26 入出力部
28 情報提示部
30 通信部
32-1、32-2 データベース
34 日時情報部
36 発光情報部
38 受光情報部
40 距離画像部
42 区分情報部
44 ブロック画像情報部
44-1 第一ブロック部
44-2 第二ブロック部
44-3 第三ブロック部
46 仮想面積・比率部
47 仮想体積・比率部
48 距離情報分布部
50 状態情報部
52 検知情報部
54 提示情報部
56 履歴情報部
58-1、58-2、58-3、58-4、58-5、58-6、58-7、58-8、58-9、58-10、62-1、62-2、62-3、62-4、62-5、62-6、62-7、62-8、62-9、62-10 フレーム
60-1 第一ブロック
60-2 第二ブロック
60-3 第三ブロック
64 処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15