特許第6461035号(P6461035)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セコム株式会社の特許一覧

<>
  • 特許6461035-領域検出装置 図000002
  • 特許6461035-領域検出装置 図000003
  • 特許6461035-領域検出装置 図000004
  • 特許6461035-領域検出装置 図000005
  • 特許6461035-領域検出装置 図000006
  • 特許6461035-領域検出装置 図000007
  • 特許6461035-領域検出装置 図000008
  • 特許6461035-領域検出装置 図000009
  • 特許6461035-領域検出装置 図000010
  • 特許6461035-領域検出装置 図000011
  • 特許6461035-領域検出装置 図000012
  • 特許6461035-領域検出装置 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6461035
(24)【登録日】2019年1月11日
(45)【発行日】2019年1月30日
(54)【発明の名称】領域検出装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20190121BHJP
   G06T 1/00 20060101ALI20190121BHJP
   G01N 21/17 20060101ALI20190121BHJP
   G01N 21/27 20060101ALI20190121BHJP
【FI】
   H04N7/18 D
   G06T1/00 340Z
   H04N7/18 K
   G01N21/17 F
   G01N21/27 A
【請求項の数】5
【全頁数】19
(21)【出願番号】特願2016-65868(P2016-65868)
(22)【出願日】2016年3月29日
(65)【公開番号】特開2017-183904(P2017-183904A)
(43)【公開日】2017年10月5日
【審査請求日】2017年8月2日
(73)【特許権者】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(72)【発明者】
【氏名】山口 純
【審査官】 秦野 孝一郎
(56)【参考文献】
【文献】 国際公開第2015/098063(WO,A1)
【文献】 特開昭59−208442(JP,A)
【文献】 特開平9−210905(JP,A)
【文献】 特開2015−72204(JP,A)
【文献】 特開2009−301495(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 1/00
G01N 21/00−21/61
(57)【特許請求の範囲】
【請求項1】
少なくとも水に吸収される吸収波長帯の光および前記吸収波長帯とは異なる所定の非吸収波長帯の光に感度を有し、所定の空間を順次撮像して画像を出力する撮像手段と、
前後して撮像された前記画像を比較して、各画素について前記吸収波長帯における光強度の変化の度合いである吸収帯変化度および前記非吸収波長帯における光強度の変化の度合いである非吸収帯変化度を算出する変化度算出手段と、
前記吸収帯変化度と前記非吸収帯変化度の間の相違度が所定基準を超える画素からなる水領域を検出する水領域検出手段と、
を備えたことを特徴とする領域検出装置。
【請求項2】
前記水領域を順次記憶する水領域記憶手段と、
前後して検出された前記水領域を比較して包含関係を有する前記水領域の組み合わせを抽出し、前記組み合わせのうち面積の変化度合いが所定の面積変化閾値を超える水領域を水溜り領域と判定する水溜り判定手段と、
をさらに備えたことを特徴とする請求項1に記載の領域検出装置。
【請求項3】
前記撮像手段は、さらに可視光または近赤外の波長帯に感度を有して前記画像を出力し、
さらに、
前後して撮像された前記画像を比較して可視光または近赤外の波長帯における変化領域を検出する変化領域検出手段と、
前記水溜り領域を記憶する水溜り領域記憶部と、
前記変化領域が前記水溜り領域と重複する場合、当該変化領域内において対応する前記空間内の位置が前記撮像手段から最も遠い最遠位置を設定し、前記最遠位置を用いて、当該変化領域内において水溜りに映った像による非実体領域と当該変化領域内において実物体による実体領域とを判別する実体領域判別手段と、
を備えたことを特徴とする請求項2に記載の領域検出装置。
【請求項4】
前記空間内を移動する物体の物体サイズを記憶する物体情報記憶手段、
をさらに備え、
前記実体領域判別手段は、前記水溜り領域と重複する前記変化領域が前記物体サイズよりも大きい場合に、当該変化領域のうち前記最遠位置を含む前記物体サイズの部分領域を前記実体領域と判別することを特徴とする請求項3に記載の領域検出装置。
【請求項5】
前記実体領域判別手段は、前記水溜り領域と重複する前記変化領域の前記最遠位置が前記水溜り領域の略領域境界上である場合に、当該変化領域を前記非実体領域と判別することを特徴とする請求項3または4に記載の領域検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定空間を撮像した画像から当該空間において水が存在する領域を検出する領域検出装置、水溜りが動的に形成された領域を検出する領域検出装置、および人などの実体によって生じた変化領域を水溜りに映った像によって生じたものと区別して検出する領域検出装置に関する。
【背景技術】
【0002】
防犯等を目的として監視カメラにより監視空間を撮像した画像から侵入者を検知する装置が広く用いられている。このような装置においては侵入者により生じた変化領域をその大きさ、形状、動きなどの特徴により検知するが、変化領域は侵入者と特徴が類似する様々な外乱によっても生じる。また、外乱による変化領域が侵入者による変化領域と重なって侵入者の特徴を検知しにくくなる場合もある。そのため、これらの外乱による誤検知を防ぐための研究が行われている。
【0003】
例えば、特許文献1には植栽による誤検知を防止する侵入物体検出装置が記載されている。この侵入物体検出装置においては、運用者等から指定された植栽領域を記憶し、または、エッジ画素の多くが頻繁に変動を繰り返して生じている変化領域を植栽領域として記憶する。
【0004】
そして、この侵入物体検出装置においては、植栽の前を移動する侵入物体による変化領域を精度良く判定するために、植栽領域と重なっている変化領域の侵入物体らしさを植栽領域と重なっていない変化領域よりも低く調整することで変化領域が侵入物体によるものか否かを判定している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2012−88861号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、監視空間には水溜りに映る人の像が外乱として発生し得る。しかしながら、従来技術では、以下に示すように、水溜りの領域を設定または検出すること、および水溜りに映る像による誤検知を防ぐことが困難であった。
【0007】
すなわち、水溜りは、動的に現れ、また動的に消滅するため、運用者等が水溜り領域を予め設定しておくことは困難である。また、水溜りの多くは降雨により生じ、その際に地面が濡れる変化を伴うが、像が映ることのない濡れた地面は水溜りと区別する必要がある。ところが、乾いた地面が濡れたときと濡れた地面に水溜りが生じるときは類似した画像変化が生じる。そのため、濡れた地面と水溜りが生じた領域を区別して検出することが困難である。
【0008】
また、水溜りに映る人の像は、侵入者ときわめて似た大きさ、形状、動きなどを有する。そのため、この像による変化領域に対して侵入物体らしさを低く調整することが困難である。その結果、この像が、監視空間の外の人が監視空間内の水溜りに映った像であれば侵入者と誤って検知されてしまう。また、一人の侵入者が水溜りを通過すると水たまりに映った像と実体が一体化し、人の特徴を有する変化領域が急激に大きさを変えながら検出され、一人の侵入者として追跡することが困難となる。
【0009】
本発明は、上記問題を鑑みてなされたものであり、水溜り等により生じた領域を濡れた地面の領域と区別して検出可能な領域検出装置を提供することを目的とする。また、本発明は、動的に現れ消滅する水溜りの領域を精度良く検出可能な領域検出装置を提供することを別の目的とする。また、本発明は、人などの実体によって生じた変化領域を水溜りに映った像によって生じたものと区別して検出可能な領域検出装置を提供することを別の目的とする。
【課題を解決するための手段】
【0010】
かかる課題を解決するために本発明の領域検出装置は、少なくとも水に吸収される吸収波長帯の光および吸収波長帯とは異なる所定の非吸収波長帯の光に感度を有し、所定の空間を順次撮像して画像を出力する撮像手段と、前後して撮像された画像を比較して、各画素について吸収波長帯における光強度の変化の度合いである吸収帯変化度および非吸収波長帯における光強度の変化の度合いである非吸収帯変化度を算出する変化度算出手段と、吸収帯変化度と非吸収帯変化度の間の相違度が所定基準を超える画素からなる水領域を検出する水領域検出手段と、を備えたことを特徴とする。
【0011】
また、本発明に係る領域検出装置においては、水領域を順次記憶する水領域記憶手段と、前後して検出された水領域を比較して包含関係を有する水領域の組み合わせを抽出し、組み合わせのうち面積の変化度合いが所定の面積変化閾値を超える水領域を水溜り領域と判定する水溜り判定手段と、をさらに備えることが好ましい。
【0012】
また、本発明に係る領域検出装置においては、撮像手段は、さらに可視光または近赤外の波長帯に感度を有して画像を出力し、さらに、前後して撮像された画像を比較して可視光または近赤外の波長帯における変化領域を検出する変化領域検出手段と、水溜り領域を記憶する水溜り領域記憶部と、変化領域が水溜り領域と重複する場合、当該変化領域内において対応する空間内の位置が撮像手段から最も遠い最遠位置を設定し、最遠位置を用いて、当該変化領域内において水溜りに映った像による非実体領域と当該変化領域内において実物体による実体領域とを判別する実体領域判別手段と、を備えることが好ましい。
【0013】
また、本発明に係る領域検出装置においては、空間内を移動する物体の物体サイズを記憶する物体情報記憶手段、をさらに備え、実体領域判別手段は、水溜り領域と重複する変化領域が物体サイズよりも大きい場合に、当該変化領域のうち最遠位置を含む物体サイズの部分領域を実体領域と判別することが好ましい。
【0014】
また、本発明に係る領域検出装置においては、実体領域判別手段は、水溜り領域と重複する変化領域の最遠位置が水溜り領域の略領域境界上である場合に、当該変化領域を非実体領域と判別することが好ましい。
【発明の効果】
【0015】
本発明の領域検出装置によれば、水溜り等により生じた水領域を濡れた地面の領域と区別して精度良く検出することが可能となる。また本発明の領域検出装置によれば、動的に現れ消滅する水領域である水溜り領域を精度良く検出可能となる。また本発明の領域検出装置によれば、実体によって生じた変化領域を水溜りに映った像によって生じたものと区別して検出可能となる。
【図面の簡単な説明】
【0016】
図1】本実施形態による侵入検知装置の構成を表すブロック図である。
図2】本実施形態による領域検出装置の機能を表すブロック図である。
図3】吸収帯および非吸収帯での光強度の数値例である。
図4】吸収帯変化度、非吸収帯変化度および変化度の比(相違度)の数値例である。
図5】水溜り領域判定の処理例に係るイメージ図である。
図6】水溜り領域と非実体領域の位置関係を示すイメージ図である。
図7】実体領域判別の処理例に係るイメージ図である。
図8】実体領域判別の別の処理例に係るイメージ図である。
図9】本実施形態による侵入検知装置が行う処理の流れを示すフローチャートである。
図10】本実施形態による領域検出装置が行う水領域検出処理の流れを示すフローチャートである。
図11】本実施形態による領域検出装置が行う水溜り領域判定処理の流れを示すフローチャートである。
図12】本実施形態による領域検出装置が行う実態領域判別処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態による領域検出装置が実装された侵入検知装置について説明する。本実施形態による侵入検知装置は監視空間に侵入した侵入者を検知してアラーム信号を出力する。この侵入検知装置は、監視空間を撮影した監視画像を順次領域検出装置に入力し、領域検出装置は水領域の検出、検出した水領域が水溜り領域であるか否かの判定、変化領域の検出、および検出した変化領域のうち水溜りに映った像による非実体領域ではない実体領域部分の判別を行う。侵入検知装置は監視画像から人による実体領域が検出された場合にアラーム信号を出力する。
【0018】
[侵入検知装置1の構成]
図1は本実施形態に係る侵入検知装置1の概略の構成を示すブロック図である。侵入検知装置1は撮像部2、記憶部3、画像処理部4および出力部5から構成される。
【0019】
撮像部2はいわゆるマルチスペクトルカメラであり、CCD素子またはC−MOS素子等の撮像素子、光学系部品、A/D変換機等を含んで構成される。撮像部2は画像処理部4と接続され、所定の監視空間を順次撮像して監視画像を生成し、各監視画像を画像処理部4に入力する。
【0020】
撮像部2の光学系部品には、近赤外カットフィルター、水に吸収される波長帯(吸収波長帯。以下、吸収帯と称する)である970nmのみを通すバンドパスフィルター、水の吸収波長帯ではない波長帯(非吸収波長帯。以下、非吸収帯と称する)として予め定めた900nmのみを通すバンドパスフィルターとこれらを所定周期で切り替えるフィルター切り替え手段が含まれる。
【0021】
例えば、撮像部2は1/5秒の撮像周期で監視画像を撮像し、そのうち30分に1回ずつの割合で吸収波長帯のみを通すバンドパスフィルターに切り替えて撮像を行うことにより吸収帯の画像(以下、吸収帯画像と称する)を生成し、その1/5秒後に非吸収帯のみを通すバンドパスフィルターに切り替えて撮像を行うことにより非吸収帯の画像(以下、非吸収帯画像と称する)を生成し、それら以外の時間は近赤外カットフィルターに切り替えて撮像を行うことにより可視光帯の画像(以下、可視画像と称する)を生成する。吸収帯画像および非吸収帯画像は水領域の検出に用いられ、可視画像は実体領域の検出に用いられる。
【0022】
撮像部2は、固定設置され、同一サイズの吸収帯画像、非吸収帯画像および可視画像を撮像する。そのため、これらの画像間で対応する画素は監視空間における同一位置を撮像したものとなる。
【0023】
なお、吸収帯は、970nm以外にも1.94μm、1.45μm、1.19μmが知られており、InGaAs撮像素子等を用いる場合はこれらの波長帯とすることもできる。また、非吸収帯は、900nm以外にも340nm〜940nmの範囲から適宜選択し、設定することができる。
【0024】
また、上記切り替え周期は一例であり、30分よりも短い周期あるいは長い周期を、検出する水領域の利用目的や監視空間の環境(水はけなど)に応じて適宜設定することができる。
【0025】
また、フィルターを切り替える代わりに照明を切り替えて各波長帯の画像を生成することもできる。例えば、撮像部2は、吸収帯の光のみを照射する吸収帯照明手段、非吸収帯の光のみを照射する非吸収帯照明手段とこれらの点消灯を所定周期で切り替える照明切り替え手段を備える。各照明手段はLED照明等により実現できる。撮像部2は吸収帯照明手段を点灯させて監視空間を撮像した監視画像と両照明手段を消灯させて監視空間を撮像した監視画像を差分処理して吸収帯画像を生成する。また撮像部2は非吸収帯照明手段を点灯させて監視空間を撮像した監視画像と両照明手段を消灯させて監視空間を撮像した監視画像を差分処理して非吸収帯画像を生成する。また撮像部2は両照明手段を消灯させて監視空間を撮像することにより可視画像を生成する。
【0026】
また、撮像部2は、可視画像の代わりに近赤外光のみに感度を有する近赤外画像を撮像してもよい。この場合、撮像部2は、上記の吸収帯照明手段、非吸収帯照明手段に加えて近赤外の光のみを照射する近赤外照明手段を備え、照明切り替え手段はこれら3つの点消灯を所定周期で切り替える。そして撮像部2は近赤外照明手段を点灯させて監視空間を撮像することにより近赤外画像を生成する。
【0027】
また、撮像部2は、日中は可視画像を、夜間は近赤外画像を、それぞれ実体領域の検出に用いる画像として撮像し、出力してもよい。
【0028】
以上のように、撮像部2は、少なくとも水に吸収される吸収波長帯の光および吸収波長帯とは異なる所定の非吸収波長帯の光に感度を有し、所定空間を順次撮像して画像を出力する。また撮像部2は、さらに可視光または近赤外光の波長帯に感度を有して上記画像を出力してもよい。
【0029】
記憶部3は、ROM、RAM等の記憶装置である。記憶部3は画像処理部4で用いられる各種プログラムや各種データを記憶し、画像処理部4との間でこれらの情報を入出力する。
【0030】
画像処理部4は、CPU、DSP、MCU等の演算装置を用いて構成され、撮像部2、記憶部3および出力部5に接続される。画像処理部4は記憶部3からプログラムを読み出して実行することで後述する各手段として機能する。画像処理部4は撮像部2からの監視画像を処理し、監視画像から侵入者を検知した場合にアラーム信号を出力部5に出力する。
【0031】
出力部5は画像処理部4と外部装置を接続する通信インターフェース回路である。例えば、出力部5は監視センターのサーバーとの通信を行う通信装置であり、画像処理部4から入力されたアラーム信号をサーバーに送信する。
【0032】
図2は、本実施形態に係る領域検出装置の概略の機能ブロック図である。撮像部2は撮像手段20として機能する。また記憶部3は背景画像記憶手段30、水領域記憶手段31、水溜り領域記憶手段32および物体情報記憶手段33として機能する。また画像処理部4は変化度算出手段40、水領域検出手段41、水溜り判定手段42、変化領域検出手段43および実体領域判別手段44として機能する。
【0033】
撮像手段20は、監視空間を撮像して、吸収帯画像および非吸収帯画像を変化度算出手段40に入力し、可視画像を変化領域検出手段43に入力する。
【0034】
背景画像記憶手段30は、現時刻よりも過去に撮像された吸収帯画像、非吸収帯画像および可視画像を背景画像として記憶する。以下では、吸収帯の背景画像を吸収帯背景画像、非吸収帯の背景画像を非吸収帯背景画像、可視光帯の背景画像を可視背景画像と称する。
【0035】
変化度算出手段40は、吸収帯および非吸収帯のそれぞれについて各画素における輝度値の変化の度合いを表す変化度を算出し、また、吸収帯および非吸収帯のそれぞれについて現時刻の画像で背景画像記憶手段30の背景画像を更新する。
【0036】
具体的には、変化度算出手段40は、背景画像記憶手段30から吸収帯背景画像を読み出し、対応する画素ごとに、読み出した吸収帯背景画像の輝度値Bwと撮像手段20から入力された現時刻の吸収帯画像の輝度値Iwの比(Bw/Iw)を算出し、各画素について算出した比を水領域検出手段41に出力する。各画素における比が当該画素における吸収帯での変化度Vw(以下、吸収帯変化度と称する)である。
【0037】
また変化度算出手段40は、背景画像記憶手段30から非吸収帯背景画像を読み出し、対応する画素ごとに、読み出した非吸収帯背景画像の輝度値Bnと撮像手段20から入力された現時刻の非吸収帯画像の輝度値Inの比(Bn/In)を算出し、各画素について算出した比を水領域検出手段41に出力する。各画素における比が当該画素における非吸収帯での変化度Vn(以下、非吸収帯変化度と称する)である。
【0038】
このように、変化度算出手段40は、前後して撮像された画像を比較して、各画素について水の吸収波長帯における光強度の変化の度合いである吸収帯変化度および非吸収波長帯における光強度の変化の度合いである非吸収帯変化度を算出し、吸収帯変化度および非吸収帯変化度を水領域検出手段41に出力する。
【0039】
また変化度算出手段40は、背景画像記憶手段30に記憶されている吸収帯背景画像および非吸収帯背景画像を、現時刻の吸収帯画像および現時刻の非吸収帯画像とそれぞれ置換することにより背景画像を更新する。
【0040】
水領域検出手段41は、変化度算出手段40から入力された吸収帯変化度および非吸収帯変化度を用いて、監視空間において水が存在している領域である水領域を検出し、水領域記憶手段31は、水領域検出手段41が検出した水領域を順次記憶する。
【0041】
具体的には、水領域検出手段41は、対応する画素ごとに、吸収帯変化度Vwと非吸収帯変化度Vnの比R(=Vw/Vn)を算出し、算出した各画素の比Rが予め定めた閾値Trを超えて上回る画素を抽出する。この場合、比Rが閾値Tr以下である画素は抽出されない。そして、水領域検出手段41は、抽出した画素のうち近傍画素どうしをまとめたまとまりのそれぞれを水領域として検出し、検出した水領域の情報を水溜り判定手段42に出力し、また検出した水領域の情報を水領域記憶手段31に追記する。
【0042】
図3および図4を参照して、水溜りを撮像した注目画素が水領域の画素として検出される原理について説明する。
【0043】
図3の数値例200は、注目画素における吸収帯での光強度201、注目画素における非吸収帯での光強度202を示している。そして、光強度201および光強度202のそれぞれに示した3つの数値は、上から順に、注目画素と対応する監視空間中の位置が乾燥地面であった時点での光強度、同位置が濡れているが水溜りが形成されていなかった(濡れた地面であった)時点での光強度および同位置に水溜りが形成された時点での光強度を示している。
【0044】
図4の数値例300は、数値例200から算出した、注目画素における吸収帯での変化度301、注目画素における非吸収帯での変化度302、変化度301および変化度302から算出した、注目画素における変化度の比303を示している。そして、変化度301および変化度302のそれぞれに示した2つの数値は、上から順に、注目画素と対応する監視空間中の位置が乾燥地面から濡れた地面に変化した場合の変化度、および同位置が濡れた地面から水溜りに変化した場合の変化度を示している。また、変化度の比303に示した2つの数値は、上から順に、注目画素と対応する監視空間中の位置が乾燥地面から濡れた地面に変化した場合の変化度の比、および同位置が濡れた地面から水溜りに変化した場合の変化度の比を示している。
【0045】
吸収帯での変化度301において、2つの変化度を対比すると、1.64と1.75の比率は0.94であり、両者には大差がない。そのため、吸収帯での光強度のみを用いて、乾燥地面から濡れた地面に変化したのか濡れた地面から水溜りに変化したのかを弁別することは難しいことが分かる。
【0046】
他方、変化度の比303において、2つの比を対比すると、1.18と1.58の比率は1.35であり、変化度301の0.94と比べて大きく異なっている。そのため、変化度の比を用いれば、乾燥地面から濡れた地面に変化したのか濡れた地面から水溜りに変化したのかを弁別することが容易になる。
【0047】
これらを弁別する閾値Trは例えば1.25などと設定することができる。上記注目画素は、乾燥地面から濡れた地面に変化した時点で変化度の比は1.18であり1.25以下であるため水領域の画素として抽出されず、濡れた地面から水溜りに変化した時点で変化度の比が1.58となり1.25を超えて上回るため水領域の画素として抽出される。
【0048】
また、濡れた状態を経由せずに乾燥状態から水溜りに直接変化した水領域についても、変化度の比によって検出できる。ちなみに、図3および図4の数値例を参照すると、注目画素が乾燥状態から水溜りに変化した場合の変化度の比は1.85であり1.25を超えて上回るため注目画素は水領域の画素として抽出される。
【0049】
なお、変化度の比は、分子と分母を入れ替えて、非吸収帯変化度Vnと吸収帯変化度Vwとの比(Vn/Vw)としてもよく、この場合、水領域検出手段41は、変化度の比が閾値1/1.25を超えて下回る画素を水領域の画素として抽出する。
【0050】
また、変化度の比の代わりに、変化度の差や変化度の差の絶対値を用いることもできる。変化度の差(vw−vn)を用いる場合、水領域検出手段41は変化度の差が閾値を超えて上回る画素を水領域の画素として抽出する。また、変化度の差(vn−vw)を用いる場合、水領域検出手段41は変化度の差が閾値を超えて下回る画素を水領域の画素として抽出する。また、変化度の差の絶対値を用いる場合、水領域検出手段41は変化度の差の絶対値が閾値を超えて上回る画素を水領域の画素として抽出する。
【0051】
つまり、これら変化度の比、差または差の絶対値は、吸収帯変化度と非吸収帯変化度の間の違いを表す相違度であり、水領域検出手段41は相違度が所定基準を超える画素を水領域の画素として抽出する。
【0052】
このように、吸収帯変化度と非吸収帯変化度の間の相違度が所定基準を超える画素からなる水領域を検出して、水領域を水溜り判定手段42に出力するとともに水領域を水領域記憶手段31に記憶させる。
【0053】
以上で述べたように、変化度算出手段40、水領域検出手段41および背景画像記憶手段30を含んで構成される領域検出装置は、吸収帯変化度と非吸収帯変化度の間の相違度に基づいて水領域を検出することによって、濡れただけで物体の像が映り込まない領域を誤検出せずに、水がたまって物体の像が映り込み得る水領域を高精度に検出できる。
【0054】
ここで、屋外の監視空間においては、水分を多く含んだ草木が水領域として検出される場合がある。水溜り判定手段42は、草木は揺れ得るが水溜りは動かないという違い、および草木に揺れがない場合はその大きさが変化しないが水溜りは徐々に大きくなるまたは小さくなるという違いに着目した次に述べる処理によって、このような草木等の検出を防止する。
【0055】
すなわち、水溜り判定手段42は、水領域検出手段41から入力された現時刻の水領域を、水領域記憶手段31に記憶されている前回検出された水領域と比較して包含関係を有する水領域の組み合わせを抽出する。そして水溜り判定手段42は現時刻の水領域のうち検出された水領域と包含関係を有さない水領域は水溜りではないと判定する。さらに、水溜り判定手段42は、抽出した組み合わせ内で水領域どうしの面積の変化度合いを算出して、面積の変化度合いが予め定めた面積変化閾値を超える水領域を水溜り領域であると判定し、面積の変化度合いが面積変化閾値を超えない水領域を水溜り領域ではないと判定する。
【0056】
徐々に大きくなる水溜りと徐々に小さくなる水溜りの両方に対応するために、面積の変化度合いは大きい方の水領域の面積に対する小さい方の面積の比と定めることができる。また面積変化閾値は例えば1.1とし、面積の比が1.1を超えて上回る場合に水溜り領域と判定することができる。また、面積の比を算出する際の大小関係を逆に定めてもよく、その場合、面積変化閾値は例えば1/1.1とし、面積の比が1/1.1を超えて下回る場合に水溜り領域と判定することができる。なお上記閾値は一例であり、水領域検出周期の値や解像度等に合わせて適宜に定めることができる。
【0057】
なお、面積の比に代えて面積の差の絶対値を算出してもよい。その場合、いずれか小さい方の面積で差の絶対値を除するなどの正規化を行うのがよく、面積変化閾値は例えば0.1などとすることができる。また正規化に用いる面積の大小関係を逆に定めてもよい。その場合、面積変化閾値は0.1/1.1などとすることができる。または、面積の大小に代えて時刻順で面積の比または面積の差の絶対値を算出し、徐々に大きくなる水溜りと徐々に小さくなる水溜りを区別して検出してもよい。
【0058】
このように、水溜り判定手段42は、前後する時刻に検出された水領域を比較して、包含関係を有する水領域の組み合わせを抽出し、抽出した組み合わせのうち面積の変化度合いが所定の面積変化閾値を超える水領域を水溜り領域と判定する。
【0059】
水溜り領域記憶手段32は水溜り領域を記憶する手段である。水溜り判定手段42は、実体領域判別手段44の判別に供するために水溜り領域を水溜り領域記憶手段32に記憶させる。
【0060】
図5は、水溜り領域判定の処理の様子を例示したものである。
【0061】
時刻ta付近では降雨等により水溜りが形成され、それが徐々に大きくなっている。時刻taにおいては水領域検出手段41によって水領域400が検出され、これが水領域記憶手段31に記憶される。続く時刻(ta+1)においては、水領域検出手段41によって水領域401が検出され、これが水溜り判定手段42に入力される。水領域記憶手段31には水領域401に包含される水領域400が記憶されているため、水溜り判定手段42は水領域401と水領域400の組み合わせを抽出し、(水領域401の面積)/(水領域400の面積)が1.1より大きいため、水領域401を水溜り領域と判定する。
【0062】
また、時刻tb付近では雨が上がり、水溜りが徐々に小さくなっている。時刻tbにおいては水領域検出手段41によって水領域402が検出され、これが水領域記憶手段31に記憶される。続く時刻(tb+1)においては、水領域検出手段41によって水領域403が検出され、これが水溜り判定手段42に入力される。水領域記憶手段31には水領域403を包含する水領域402が記憶されているため、水溜り判定手段42は水領域402と水領域403の組み合わせを抽出し、(水領域402の面積)/(水領域403の面積)が1.1より大きいため、水領域403を水溜り領域と判定する。
【0063】
一方、草木の領域が水領域記憶手段31に水領域として記憶されたとしても、草木が揺れれば包含関係を有する水領域の組み合わせは抽出されないため、草木の領域は水溜り領域と判定されない。また、草木が揺れなくとも30分程度の時間で草木の大きさは変わらないため面積比は1.1以下となり、草木の領域は水溜り領域と判定されない。
【0064】
以上で述べたように、変化度算出手段40、水領域検出手段41、水溜り判定手段42、背景画像記憶手段30および水領域記憶手段31を含んで構成される領域検出装置は、包含関係と面積の変化度合いの判定に基づいて水溜り領域を判定することによって、水分を多く含んだ草木等による水領域を誤検出せずに、水がたまって物体の像が映り込み得る水溜り領域を高精度に検出できる。
【0065】
変化領域検出手段43は、撮像手段20から入力された現時刻の可視画像と、背景画像記憶手段30に記憶されている現時刻より過去の可視背景画像の背景差分処理を行って、現時刻の可視画像における変化領域を検出し、検出した変化領域を実体領域判別手段44に出力する。また、現時刻の可視画像を用いて可視背景画像を更新する。なお、背景差分処理の代わりに背景相関処理を行ってもよい。また上述したように可視画像に代えて近赤外画像を用いることもできる。
【0066】
すなわち、変化領域検出手段43は、異なる時刻に撮像された画像を比較して可視光または近赤外光の波長帯における変化領域を検出し、変化領域を実体領域判別手段44に出力する。
【0067】
こうして検出された変化領域には、侵入者など実体のあるものによる変化領域(以下、実体領域)に加え、水溜りに映った像すなわち実体のないにものよる変化領域(以下、非実体領域)が含まれ得る。
【0068】
ここで、図6に示すように、撮像手段20が撮像する画像においては、実体500と撮像手段20の間の水溜り501に映った像502による非実体領域が現れることはあっても、実体500と撮像手段20の間にない水溜り503の領域内に非実体領域が現れることはない。つまり、非実体領域は撮像手段20が撮像した画像上においては必ず撮像手段20と対応する位置から近い側に現れる。
【0069】
実体領域判別手段44は、非実体領域は水溜り領域に重複し且つ撮像手段20と対応する位置から近い側に現れるなどの性質に着目した処理によって、実体領域と非実体領域を弁別する。
【0070】
すなわち、実体領域判別手段44は、変化領域検出手段43から入力された変化領域が、水溜り領域記憶手段32に記憶されている水溜り領域と重複する場合、当該変化領域内において対応する監視空間内の位置が撮像手段20から最も遠い最遠位置を設定し、最遠位置を用いて、当該変化領域内における非実体領域と当該変化領域内における実体領域とを判別する。
【0071】
撮像手段20が通常の広角カメラであれば、実体領域判別手段44は、変化領域内の画素のうち、最も上の画素の位置(Y座標が最小の画素の位置)を最遠位置に設定する。あるいは撮像手段20が魚眼カメラであれば、実体領域判別手段44は、変化領域内の画素のうち、画像中心からの距離が最も遠い画素の位置を最遠位置に設定する。
【0072】
一方、実体領域判別手段44は水溜り領域と重複しない変化領域を実体領域と判別する。そして、実体領域判別手段44は、実体領域と判別した変化領域の幅と高さを物体情報記憶手段33に記憶させ、物体情報記憶手段33は、この変化領域の幅と高さ、すなわち監視空間内を移動する物体のサイズ(以下、物体サイズと称する)を記憶する。また、物体情報記憶手段33には物体サイズの初期値として人の標準サイズを記憶させておく。
【0073】
物体サイズは、監視空間が比較的狭い場合は画素数で表すこともできるが、実寸とすることが望ましい。そのために記憶部3は撮像部2のカメラパラメーターを予め記憶し、実体領域判別手段44はカメラパラメーターを用いて変化領域の外接矩形の座標値に逆透視変換を行って実寸の物体サイズを算出する。なお、実寸での標準サイズは例えば170cm×60cmとすることができる。
【0074】
また、水溜り領域と重複していない時点で検出した物体サイズを、水溜り領域と重複した時点で参照するために、実体領域判別手段44は、前後する時刻に検出された変化領域のうち検出位置が最も近接する変化領域どうしを対応付ける追跡処理を行い、対応付けた変化領域どうしおよび当該変化領域から検出した物体サイズに同一識別符号を付与する。また、実体領域判別手段44は、実体領域と判別した変化領域の外接矩形の座標値に付与した識別符号を対応付けた追跡情報を物体情報記憶手段33に記憶させ、実体領域と判別した変化領域の物体サイズに付与した識別符号を対応付けて物体情報記憶手段33に記憶させる。
【0075】
図7および図8を参照して、実体領域判別手段44が行う判別処理を具体的に説明する。
【0076】
図7は、実体領域と非実体領域が一体化した変化領域が検出されるケースを説明する図である。
【0077】
図7に示すケース(A)のように、水溜り領域600と重複する変化領域601が入力され、そのサイズが当該変化領域と同一識別符号が付与された物体サイズ602よりも大きい場合、実体領域判別手段44は、変化領域601のうち最遠位置603を含む物体サイズ602の部分領域604を実体領域と判別し、残余の部分領域605を非実体領域と判別し、実体領域604の情報を出力する。なお、サイズの比較においては変化領域の検出誤差を考慮した余裕を持たせる。例えば、変化領域601の幅および高さをそれぞれWiおよびHiとし、物体サイズ602として記憶されている幅および高さをそれぞれWrおよびHrとし、余裕を5%とすると、実体領域判別手段44は、(Wi×Hi)/(Wr×Hr)>1.05であれば、変化領域601のサイズが物体サイズ602よりも大きいと判定し、(Wi×Hi)/(Wr×Hr)≦1.05であれば、変化領域601のサイズが物体サイズ602よりも小さいと判定する。
【0078】
同様に、図7に示すケース(B)のように、水溜り領域610と重複する変化領域611が該領域に対応する物体サイズ612よりも大きい場合、実体領域判別手段44は、当該変化領域611のうち最遠位置613を含む物体サイズ612の部分領域614を実体領域と判別し、残余の部分領域615を非実体領域と判別し、実体領域614の情報を出力する。
【0079】
同様に、図7に示すケース(C)のように、水溜り領域620と重複する変化領域621が該領域に対応する物体サイズ622よりも大きい場合、実体領域判別手段44は、当該変化領域621のうち最遠位置623を含む物体サイズ622の部分領域624を実体領域と判別し、残余の部分領域625を非実体領域と判別し、実体領域624の情報を出力する。
【0080】
一方、図8は、非実体領域のみからなる変化領域が検出されるケースを説明する図である。実体700が監視空間から出て可視画像の範囲701に現れなくなったが、その像が監視空間内の水溜りに映っている場合などに、非実体領域702が当該実体として誤追跡され得る。
【0081】
このケースに関し、実体領域判別手段44は、水溜り領域703と重複する変化領域702が該領域に対応する物体サイズ704よりも小さく、且つその最遠位置705が水溜り領域703の略境界線上である場合、当該変化領域702を非実体領域と判別する。なお、略境界線上とは、境界線から最遠位置までの距離が、変化領域の検出誤差を考慮して予め定めた距離閾値以下であることを意味する。距離閾値は数画素程度の値とすればよい。
【0082】
このように、実体領域判別手段44は、変化領域検出手段43が検出した変化領域のそれぞれについて、当該変化領域が水溜り領域と重複する場合、当該変化領域内において対応する監視空間内の位置が撮像手段20から最も遠い最遠位置を設定し、最遠位置を用いて、当該変化領域内において水溜りに映った像による非実体領域と当該変化領域内において実物体による実体領域とを判別する。
【0083】
より具体的には、実体領域判別手段44は、水溜り領域と重複する変化領域が物体サイズよりも大きい場合に、当該変化領域のうち当該変化領域に設定された最遠位置を含む物体サイズの部分領域を実体領域と判別する。また、実体領域判別手段44は、水溜り領域と重複する変化領域の最遠位置が水溜り領域の略領域境界上である場合に、当該変化領域を非実体領域と判別する。
【0084】
以上で述べたように、変化領域検出手段43、実体領域判別手段44、背景画像記憶手段30および水溜り領域記憶手段32を含み、必要に応じて物体情報記憶手段33を含んで構成される領域検出装置は、水溜り領域と最遠位置等に基づいて変化領域のうちの実体領域を高精度に判別できる。
【0085】
[侵入検知装置1の動作]
図9図12のフローチャートを参照して、本実施形態に係る侵入検知装置1の動作を説明する。
【0086】
侵入検知装置1が動作を開始した後、撮影部2は撮像手段20として機能し、所定の撮像周期で監視空間を撮影して画像を出力する。この撮像周期で図9に示す処理が繰り返される。
【0087】
まず画像処理部4は水領域検出周期が到来したか否かを確認する(S1)。この確認は、計時または画像入力回数の計数などによって行うことができる。
【0088】
水領域検出周期が到来すると(ステップS1にてYES)、画像処理部4は水領域検出処理を実行する(S2)。以下、図10を参照して、ステップS2の水領域検出処理を説明する。
【0089】
水領域検出処理において、まず、画像処理部4は変化度算出手段40として機能し、記憶部3は背景画像記憶手段30として機能する。
【0090】
変化度算出手段40は撮像手段20から吸収帯画像を取得するとともに(S20)、背景画像記憶手段30から吸収帯背景画像を読み出し、各画素における吸収帯背景画像の輝度値Bwと吸収帯画像の輝度値Iwの比を当該画素の吸収帯変化度Vwとして算出する(S21)。ただし吸収帯背景画像が記憶されていない検出処理初回において変化度算出手段40はステップS21を省略する。
【0091】
変化度算出手段40は次に撮像手段20から非吸収帯画像を取得するとともに(S22)、背景画像記憶手段30から非吸収帯背景画像を読み出し、各画素における非吸収帯背景画像の輝度値Bnと非吸収帯画像の輝度値Inの比を当該画素の非吸収帯変化度Vnとして算出する(S23)。ただし非吸収帯背景画像が記憶されていない検出処理初回において変化度算出手段40はステップS23を省略する。
【0092】
なお、ステップS20〜S23の順序は、S20の後にS21を実行し且つS22の後にS24を実行するという順序さえ守られていれば適宜変更することができる。
【0093】
変化度を算出し終えた画像処理部4は水領域検出手段41として機能し、記憶部3は水領域記憶手段31として機能する。
【0094】
水領域検出手段41は、吸収帯変化度Vwと非吸収帯変化度Vnの比Rが閾値Tr以上である画素を抽出し、互いに近接して抽出された画素のまとまりのそれぞれを水領域として検出する(S25)。ただし各変化度の算出が省略される検出処理初回において水領域検出手段41は便宜的に水領域がひとつも検出されなかったものとして処理する。
【0095】
検出処理を行った水領域検出手段41は次回の検出のために検出結果を水領域記憶手段31に記憶させる更新を行う(S25)。すなわち水領域検出手段41は検出した水領域内の画素値と水領域外の画素値を異ならせた2値画像を水領域の情報として水領域記憶手段31に追加記憶させる。ちなみに水領域が検出されなかった場合の2値画像は全画素値が水領域外の画素値となる。
【0096】
水領域がひとつも検出されなかった場合(ステップS26にてYES)、変化度算出手段40はステップS20にて取得した吸収帯画像を次回の吸収帯背景画像として背景画像記憶手段30に記憶させるとともに(S27)、ステップS22にて取得した非吸収帯画像を次回の非吸収帯背景画像として背景画像記憶手段30に記憶させる(S28)。
【0097】
以上の処理を終えた画像処理部4は処理を図9のステップS3に進める。
【0098】
図9に戻り、画像処理部4は水溜り領域判定処理を実行する(S3)。以下、図11を参照して、ステップS3の水溜り領域判定処理を説明する。
【0099】
水溜り領域判定処理において、画像処理部4は水溜り判定手段42として機能し、記憶部3は水領域記憶手段31および水溜り領域記憶手段32として機能する。
【0100】
水溜り判定手段42は、図10のステップS25にて検出された水領域を順次、注目水領域に設定してステップS30〜S34のループ処理を実行する。
【0101】
水領域のループ処理において、まず、水溜り判定手段42は、1周期前に検出された前回水領域を水領域記憶手段31から読み出し、前回水領域と注目水領域を重ねあわせて注目水領域が前回水領域のいずれかと包含関係にあるか否かを確認する(S31)。
【0102】
いずれかの前回水領域と包含関係にあれば、水溜り判定手段42は、包含関係にある前回水領域の面積および注目水領域の面積の小さい方を大きい方で除して面積の比を算出して閾値Tsと比較することで、閾値を超える面積変化があったか否かを確認する(S32)。
【0103】
注目水領域に閾値を超える面積変化があった場合すなわち面積の比が閾値Tsより大きい場合(ステップS32にてYES)、水溜り判定手段42は、注目水領域は水溜り領域であると判定する(S33)。
【0104】
一方、前回水領域のいずれとも包含関係にない注目水領域(ステップS31にてNO)、または前回水領域と包含関係にあるが閾値を超える面積変化がなかった注目水領域(ステップS32にてNO)は水溜り領域でないと判定される。
【0105】
注目水領域に対するステップS31〜S33の処理を終えた水溜り判定手段42は、現時刻に検出された全ての水領域を処理し終えたか否かを確認し(S34)、未処理の水領域があれば(ステップS34にてNO)、処理をステップS31に戻して未処理の水領域に対する処理を進める。
【0106】
他方、全ての水領域を処理し終えた場合(ステップS34にてYES)、水溜り判定手段42は、次回の判定のため、および後段で行われる実体判別のために判定結果を水溜り領域記憶手段32に記憶させる更新を行う(S35)。すなわち水溜り判定手段42は水溜り領域と判定した水領域内の画素値とそれ以外の画素値を異ならせた2値画像を水溜り領域の情報として水溜り領域記憶手段32に上書き記憶させる。ちなみに水溜り領域と判定された水領域がなかった場合の2値画像は全画素値が水溜り領域外の画素値となる。
【0107】
以上の処理を終えた画像処理部4は処理を図9のステップS1に戻す。
【0108】
図9に戻り、画像処理部4は未だ水領域検出周期が到来していない場合(S1にてNO)、まず、画像処理部4は変化領域検出手段43として機能し、記憶部3は背景画像記憶手段30として機能する。
【0109】
変化領域検出手段43は、撮像手段20から現時刻の可視画像を取得するとともに(S4)、背景画像記憶手段30から可視背景画像を読み出し、可視画像と可視背景画像の背景差分処理を行って変化領域を検出する(S5)。ただし検出処理初回において変化領域検出手段43は便宜的に変化領域がひとつも検出されなかったものとして処理する。
【0110】
変化領域がひとつも検出されなかった場合(ステップS5にてNO)、現時刻の可視画像を用いて背景画像記憶手段30の可視背景画像を更新し(S11)、処理をステップS1に戻す。
【0111】
他方、1以上の変化領域が検出された場合(ステップS5にてYES)、画像処理部4は実体領域判別処理を実行する(S7)。以下、図12を参照して、ステップS7の実体領域判別処理を説明する。
【0112】
実体領域判別処理において、画像処理部4は実体領域判別手段44として機能し、記憶部3は水溜り領域記憶手段32および物体情報記憶手段33として機能する。
【0113】
まず、実体領域判別手段44は、ステップS5にて検出された変化領域と物体情報記憶手段33に記憶されている追跡情報を対応付ける変化領域追跡処理を行う(S70)。追跡情報と対応付けられた変化領域には追跡情報と同一の識別符号を付与し、追跡情報と対応付けられなかった変化領域には新規の識別符号を付与する。また、変化領域と対応付けられなかった追跡情報は物体情報記憶手段33から削除する。
【0114】
次に、実体領域判別手段44は、変化領域を順次注目変化領域に設定してステップS71〜S80のループ処理を行う。
【0115】
変化領域のループ処理において、実体領域判別手段44は、まず、水溜り領域記憶手段32から水溜り領域の情報を読み出して注目変化領域との重ね合わせを行い、注目変化領域が水溜り領域と重複しているか否かを確認する(S72)。
【0116】
注目変化領域が水溜り領域と重複していない場合(ステップS72にてNO)、実体領域判別手段44は、注目変化領域が実体領域であると判定し(S73)、注目変化領域から注目変化領域に付与された識別符号が示す物体の物体サイズを求めて物体情報記憶手段33に記憶させるとともに(S74)、注目変化領域を同物体の追跡情報として物体情報記憶手段33に記憶させる。
【0117】
他方、注目変化領域が水溜り領域と重複している場合(ステップS72にてYES)、実体領域判別手段44は、注目変化領域が非実体領域を含み得るとして以下の判定を行う。
【0118】
実体領域判別手段44は、注目変化領域の最上端を最遠位置に設定するとともに(S75)、注目変化領域のサイズを算出し、物体情報記憶手段33から注目変化領域と同一識別符号が付与されている物体サイズを読み出して、注目変化領域のサイズを読み出した物体サイズと比較する(S76)。ただし注目変化領域が新規出現物体である場合は同一識別符号が付与されている物体サイズの代わりに標準サイズを読み出す。
【0119】
注目変化領域のサイズが読み出した物体サイズよりも大きい場合(ステップS76にてYES)、実体領域判別手段44は、注目変化領域において最遠位置側の物体サイズの部分が実体領域であるとして、注目変化領域を実体領域に補正する(S77)。ちなみに実体領域とされた部分以外は非実体領域であると判定されたことになる。
【0120】
他方、注目変化領域のサイズが読み出した物体サイズ以下の場合(ステップS76にてNO)、実体領域判別手段44は、注目変化領域の最遠位置が水溜り領域の略境界線上であるか否かを確認し(S78)、略境界線上である場合は(ステップS78にてYES)、注目変化領域が非実体領域であると判定する(S79)。確認の結果、最遠位置が境界線上にない場合(ステップS78にてNO)、実体領域判別手段44は、注目変化領域が実体領域であるとして(S73)、注目領域から求めた物体サイズを注目変化領域に付与された識別符号が示す物体の物体サイズとして物体情報記憶手段33に記憶させる(S74)。
【0121】
注目変化領域に対するステップS72〜S79の処理を終えた実体領域判別手段44は、現時刻に検出された全ての変化領域を処理し終えたか否かを確認し(S80)、未処理の変化領域があれば(ステップS80にてNO)、処理をステップS71に戻して未処理の変化領域に対する判別を進める。
【0122】
他方、全ての変化領域を処理し終えた場合(ステップS80にてYES)、実体領域判別手段44は、処理を図9のステップS7に進める。
【0123】
図9に戻り、画像処理部4は、ステップS7にて実体領域と判別された変化領域の有無を確認し(S8)、実体領域と判別された変化領域が1以上あった場合(ステップS8にてYES)、該当する各変化領域すなわち各実体領域が人によるものであるか否かを判定する(S9)。例えば、画像処理部4は、実体領域のサイズ、形状、当該実体領域の追跡情報に基づく動き等を精査して該判定を行う。
【0124】
人によるものと判定した実体領域が1以上あった場合(ステップS9にてYES)、画像処理部4は、監視空間に侵入者が存在するとしてアラーム信号を出力部5に出力し、出力部5は該アラーム信号を監視センターのサーバーに送信する(S10)。
【0125】
一方、実体領域と判別された変化領域が一つもなかった場合(ステップS8にてNO)、または実体領域と判別されたが人によるものと判定した実体領域が一つもなかった場合(ステップS9にてNO)、ステップS10の処理は省略される。
【0126】
以上の処理を終えた画像処理部4は処理をステップS1に戻して次時刻の監視画像を処理する。
【0127】
<変形例>
上記実施形態においては変化度算出手段40が変化度として背景画像の輝度値と現時刻の画像の輝度値の比を算出する例を示した。別の実施形態においては、変化度算出手段40は、変化度として背景画像の輝度値と現時刻の画像の輝度値の差の絶対値を算出する。この場合、例えば、吸収帯変化度は|Iw−Bw|、非吸収帯変化度は|In−Bn|となる。ただし、変化度の算出と相違度の算出のいずれかにおいて波長帯間の感度を正規化する必要があるため、変化度算出手段40が差に基づいて変化度を算出する場合、水領域検出手段41は、変化度の比を変化度の相違度として算出する必要がある。
【符号の説明】
【0128】
1・・・侵入検知装置
2・・・撮像部
3・・・記憶部
4・・・画像処理部
5・・・出力部
20・・・撮像手段
30・・・背景画像記憶手段
31・・・水領域記憶手段
32・・・水溜り領域記憶手段
33・・・物体情報記憶手段
40・・・変化度算出手段
41・・・水領域検出手段
42・・・水溜り判定手段
43・・・変化領域検出手段
44・・・実体領域判別手段
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12