特許 6405141 撮像装置及び判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6405141

(24)【登録日】2018年9月21日

(45)【発行日】2018年10月17日

(54)【発明の名称】撮像装置及び判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20181004BHJP

   G06T 1/00 20060101ALI20181004BHJP

   H04N 7/18 20060101ALI20181004BHJP

   H04N 5/232 20060101ALI20181004BHJP

   G08G 1/00 20060101ALI20181004BHJP

   G08G 1/04 20060101ALI20181004BHJP

【ＦＩ】

   G06T7/00 650B

   G06T1/00 330B

   H04N7/18 D

   H04N5/232

   G08G1/00 K

   G08G1/04 D

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2014-149066(P2014-149066)

(22)【出願日】2014年7月22日

(65)【公開番号】特開2016-24676(P2016-24676A)

(43)【公開日】2016年2月8日

【審査請求日】2017年1月5日

(73)【特許権者】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(73)【特許権者】

【識別番号】597173004

【氏名又は名称】株式会社サイヴァース

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(72)【発明者】

【氏名】遠藤 直樹

(72)【発明者】

【氏名】中山 進

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１４−０７４７０８（ＪＰ，Ａ）

【文献】 特開２０１３−０１７５８７（ＪＰ，Ａ）

【文献】 特開２０１４−０２０８４７（ＪＰ，Ａ）

【文献】 特開２０１４−０５５９２５（ＪＰ，Ａ）

【文献】 特開２００６−３１３４４５（ＪＰ，Ａ）

【文献】 特開２０１４−０５６４９４（ＪＰ，Ａ）

【文献】 特表２０１５−５２２１９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２３２

Ｇ０８Ｇ １／００

Ｇ０８Ｇ １／０４

(57)【特許請求の範囲】

【請求項1】

撮像部と、
前記撮像部において撮像された撮像画像に基づいて、前記撮像画像に含まれる被写体までの距離に基づく画素値の画素から構成される距離画像を生成する距離画像生成部と、
所定期間内に生成された複数の前記距離画像に含まれるそれぞれの画素について、前記所定期間内において最大値となる前記画素値を、それぞれの前記画素の前記所定期間内における演算値として算出する算出部と、
それぞれの前記画素に対して算出された前記演算値に基づいて、所定の被写体の有無を判定する判定部と、
を備える撮像装置。

【請求項2】

前記判定部は、それぞれの前記画素のうち、前記演算値が閾値よりも大きい画素の数に基づいて、前記所定の被写体の有無を判定する、
請求項１に記載の撮像装置。

【請求項3】

前記判定部は、前記距離画像の画素数に対する、前記演算値が所定の範囲内の画素の数の割合を示す含有率を算出し、当該含有率に基づいて前記所定の被写体の有無を判定する、
請求項１又は２に記載の撮像装置。

【請求項4】

前記算出部は、前記距離画像における前記画素の位置に基づいて重み付けして前記演算値を算出する、
請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

撮像部において撮像された撮像画像に基づいて、前記撮像画像に含まれる被写体までの距離に基づく画素値の画素から構成される距離画像を生成するステップと、
所定期間内に生成された複数の前記距離画像に含まれるそれぞれの画素について、前記所定期間内において最大値となる前記画素値を、それぞれの前記画素の前記所定期間内における演算値として算出するステップと、
それぞれの前記画素に対して算出された前記演算値に基づいて、所定の被写体の有無を判定するステップと、
を備える判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び判定方法に関する。

【背景技術】

【0002】

従来、カメラを用いて道路やトンネル等を移動する人や自転車等の移動体を検出して車等に危険を知らせる監視システムが知られている（例えば、特許文献１参照）。このような監視システムでは、例えば、撮像画像に基づいて生成した距離画像から高さのある物体を検出し、当該物体のサイズ、移動速度、及び移動方向等に基づいて人や自転車等の移動体を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−９９０１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の監視システムは、車両の色や形状によっては、距離画像の作成の際に、車両の少なくとも一部について視差を認識することができず、距離を算出することができない場合がある。また、トンネル内部を通過する移動体を撮像する場合、トンネル内部が十分に明るくないことから、撮像画像において車両が不鮮明に写り、結果として距離を算出することができない場合がある。その結果、距離画像では、距離を算出することができた部分のみが表示され、距離を算出することができない部分が表示されない。

【0005】

これにより、従来の監視システムでは、車両のサイズを実際のサイズよりも小さく認識したり、一台の車両を複数の移動体として認識したりして、車両の移動速度等によっては、人や自転車等の移動体と誤検出してしまうという問題が発生する。そこで、人や自転車等の移動体を精度よく検出することが求められている。

【0006】

そこで、本発明はこれらの点に鑑みてなされたものであり、人や自転車等の移動体を精度よく検出する撮像装置及び判定方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様に係る撮像装置は、撮像部と、前記撮像部において撮像された撮像画像に基づいて、前記撮像画像に含まれる被写体までの距離に基づく画素値の画素から構成される距離画像を生成する距離画像生成部と、所定期間内に生成された複数の前記距離画像に含まれるそれぞれの画素の前記画素値に基づいて、それぞれの前記画素の前記所定期間内における演算値を算出する算出部と、それぞれの前記画素の演算値に基づいて、所定の被写体の有無を判定する判定部と、を備える。

【0008】

前記判定部は、それぞれの前記画素のうち、前記演算値が閾値よりも大きい画素の数に基づいて、前記所定の被写体の有無を判定してもよい。
前記判定部は、前記距離画像の画素数に対する、前記演算値が所定の範囲内の画素の数の割合を示す含有率を算出し、当該含有率に基づいて前記所定の被写体の有無を判定してもよい。

【0009】

前記算出部は、前記所定期間内に生成された複数の前記距離画像に含まれるそれぞれの前記画素について、前記所定期間内において最大値となる前記画素値を、前記演算値として算出してもよい。
前記算出部は、前記距離画像における前記画素の位置に基づいて重み付けして前記演算値を算出してもよい。

【0010】

本発明の第２の態様に係る判定方法は、撮像部において撮像された撮像画像に基づいて、前記撮像画像に含まれる被写体までの距離に基づく画素値の画素から構成される距離画像を生成するステップと、所定期間内に生成された複数の前記距離画像に含まれるそれぞれの画素の前記画素値に基づいて、それぞれの前記画素の前記所定期間内における演算値を算出するステップと、それぞれの前記画素の演算値に基づいて、所定の被写体の有無を判定するステップと、を備える。

【発明の効果】

【0011】

本発明によれば、人や自転車等の移動体を精度よく検出することができるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】監視システムの構成を示す図である。

【図2】監視システムの使用態様の一例を示す図である。

【図3】撮像装置の設置例を示す図である。

【図4】撮像装置の機能構成図である。

【図5】第１画像及び第２画像の一例を示す図である。

【図6】第１画像及び第２画像に基づいて生成された距離画像の一例を示す図である。

【図7】第１距離画像及び第２距離画像から注目画像領域を特定する例を示す図である。

【図8】撮像装置の処理の流れを示すフローチャートである。

【図9】対象物判定処理における処理の流れを示すフローチャートである。

【図10】算出部が算出した演算値に基づいて生成された画像の例を示す図である。

【発明を実施するための形態】

【0013】

［監視システム１０の概要］
図１は、本実施形態に係る監視システム１０の構成を示す図である。監視システム１０は、複数の撮像装置１００（撮像装置１００−１、１００−２、・・・１００−ｎ、ただし、ｎは３以上の自然数）と、データ管理装置２００とを備える。複数の撮像装置１００は、例えば、ＬＡＮ用の８芯ケーブルである通信線５０（通信線５０−１、５０−２、・・・５０−ｎ、ただし、ｎは３以上の自然数）によってデイジーチェーン接続されている。

【0014】

撮像装置１００−１は、ハブ３００及び通信線５０−１を介して、データ管理装置２００と通信可能に接続されている。監視システム１０は、ハブ３００に接続された複数の撮像装置１００の群を複数備えてもよい。監視システム１０は、撮像装置１００が撮像した撮像画像を表示するモニタ４００を備えてもよい。なお、本実施形態においては、監視システム１０が、デイジーチェーン接続された複数の撮像装置１００を備える例を用いて説明するが、監視システム１０は、１台の撮像装置１００により構成されていてもよい。

【0015】

図２は、本実施形態に係る監視システム１０の使用態様の一例を示す図である。図３は、撮像装置１００の道路における設置例を示す図である。一例として、撮像装置１００は、トンネル内部における出入口付近に道路に沿って等間隔に設置され、道路の斜め上方から道路を走行する車両及び自転車や、道路を歩行する歩行者等の被写体を撮像する。

【0016】

撮像装置１００は、撮像して生成した複数の撮像画像に基づいて、被写体までの距離に基づく距離画像を生成し、当該距離画像から被写体を含む画像領域を検出する。ここで、トンネル内部は、照明が十分に明るくないことから、撮像画像において車両が不鮮明に写る。また、車両の色や形状によっては、距離画像の作成の際に車両の少なくとも一部について視差を認識することができない。このような問題に対して、撮像装置１００は、複数の距離画像において検出された、複数の被写体を含む画像領域を包含する注目画像領域を特定する。そして、撮像装置１００は、当該注目画像領域の移動距離、移動速度及び移動範囲等に基づいて、歩行者や自転車等を示す所定の被写体の有無を判定する。

【0017】

さらに、撮像装置１００は、複数の距離画像において被写体として検出された画像の画素値に基づいて所定の演算をすることにより、演算値を算出する。そして、撮像装置１００は、上述の判定において所定の被写体が有ると判定した場合に、当該演算値に基づいて、所定の被写体の有無をさらに判定する。その後、撮像装置１００は、所定の被写体が有ると判定すると、自動車の運転手等に注意を促すための警告情報をデータ管理装置２００に出力する。

【0018】

［撮像装置１００の機能構成］
続いて、撮像装置１００の機能構成について説明する。図４は、本実施形態に係る撮像装置１００の機能構成図である。撮像装置１００は、複数の撮像部１１０（撮像部１１０−１、１１０−２）と、撮像画像生成部１２０と、送受信部１３０と、記憶部１４０と、制御部１５０とを備える。

【0019】

複数の撮像部１１０は、それぞれ、レンズ及びＣＣＤ（Charge Coupled Device：電荷結合素子）を有しており、ステレオカメラとして機能する。複数の撮像部１１０のそれぞれは、道路における所定領域を通過する歩行者や車両等を含む被写体の画像を撮像する。

【0020】

撮像画像生成部１２０は、複数の撮像部１１０において撮像された所定領域の画像を含む複数の撮像画像を生成する。例えば、撮像画像生成部１２０は、撮像部１１０−１及び撮像部１１０−２のそれぞれから出力される画像信号を取得し、取得した画像信号をアナログ／デジタル変換して生成した撮像画像を制御部１５０に出力する。例えば、撮像画像生成部１２０は、撮像部１１０−１及び撮像部１１０−２のそれぞれについて、１秒間に所定フレーム（例えば、１５フレーム）の撮像画像を制御部１５０に出力する。ここで、撮像部１１０−１において撮像された所定領域の画像を含む撮像画像を第１画像といい、撮像部１１０−２において撮像された所定領域の画像を含む撮像画像を第２画像という。

【0021】

図５は、第１画像及び第２画像の一例を示す図である。複数の撮像部１１０のそれぞれが、同じタイミングで撮像した第１画像及び第２画像は、図５に示されているようにほぼ同一の画像となる。ここで、第１画像及び第２画像では、図５に示すように、車両の進行方向に平行な方向にＸ軸が設けられ、Ｘ軸と垂直な方向にＹ軸が設けられている。

【0022】

ここで、Ｘ軸及びＹ軸の原点は、画像の左上の頂点であるものとし、原点から右方向に進むに従ってＸ座標が増加し、下方向に進むに従ってＹ座標が増加するものとする。第１画像及び第２画像は、道路の側面に設置されている撮像装置１００によって撮像されることによって生成されるので、Ｙ座標が小さい位置ほど撮像装置１００との距離が長くなる。

【0023】

送受信部１３０は、制御部１５０が所定の被写体を検出したことを示す警告情報をデータ管理装置２００に送信する。送受信部１３０は、データ管理装置２００から各種の情報を受信してもよく、デイジーチェーン接続された他の撮像装置１００との間でデータを送受信してもよい。

【0024】

記憶部１４０は、制御部１５０を動作させるためのプログラム、及び制御部１５０の動作中に生成されるデータを記憶する記憶媒体である。記憶部１４０は、例えばＲＯＭ及びＲＡＭの少なくとも１つを含む。記憶部１４０は、撮像装置１００に内蔵された記憶媒体であってもよく、取り外し可能な記憶媒体であってもよい。

【0025】

制御部１５０は、例えば、記憶部１４０に記憶されたプログラムを実行することにより制御部１５０が撮像した画像を解析して所定の被写体を示す画像が撮像画像に含まれているかを検出するマイクロプロセッサである。制御部１５０は、距離画像生成部１５１と、検出部１５２と、算出部１５３と、判定部１５４と、通知部１５５とを備える。

【0026】

距離画像生成部１５１は、撮像部１１０において撮像された撮像画像に基づいて、撮像画像に含まれる被写体までの距離に基づく画素値の画素から構成される距離画像を生成する。具体的には、距離画像生成部１５１は、撮像部１１０−１及び撮像部１１０−２のそれぞれにおいて同じタイミングで撮像された第１画像及び第２画像の視差に基づいて距離画像を生成する。図６は、第１画像及び第２画像に基づいて生成された距離画像の一例を示す図である。

【0027】

例えば、距離画像生成部１５１は、例えば、第１画像を基準画像とするとともに、第２画像を比較画像とする。そして、距離画像生成部１５１は、当該基準画像の基準点と対応する対応点を比較画像の中から探索することで視差を算出する。具体的には、基準となる画素を中心に基準画像から画素ブロックを抽出し、比較画像の探索領域内の画素ブロックのうち基準画像から抽出した画素ブロックと輝度パターンが類似している画素ブロックをＳＡＤ（Sum of Absolute Differences）法等の公知の手法により特定する。そして、距離画像生成部１５１は、基準画像の画素ブロックの座標と比較画像の画素ブロックの座標との相違から、視差を算出する。なお、本実施形態では、画素ブロックを構成する複数の画素のうち隣接する画素との輝度差が所定以上でない画素については、視差をゼロとして距離画像を生成する。

【0028】

ここで、視差が相対的に大きい場合、当該画素に示される被写体と撮像装置１００との距離が短いことを示し、視差が相対的に小さい場合、当該画素に示される被写体と撮像装置１００との距離が長いことを示している。距離画像では、図６に示すように、被写体と撮像装置１００との距離が短いほど、黒色に近い色で表現し、被写体と撮像装置１００との距離が長いほど、白色に近い色で表現している。これにより、距離画像では、視差がゼロとされた領域、すなわち、距離が検出されなかった領域は、白色となる。

【0029】

なお、本実施形態では、被写体と撮像装置１００との距離が短いほど、黒色に近い色で表現し、被写体と撮像装置１００との距離が長いほど、白色に近い色で表現しているが、これに限らない。例えば、被写体と撮像装置１００との距離が短いほど、白色に近い色で表現し、被写体と撮像装置１００との距離が長いほど、黒色に近い色で表現してもよい。

【0030】

検出部１５２は、撮像部１１０において撮像された第１撮像画像と、第１撮像画像の後に撮像された第２撮像画像とに基づいて、第１撮像画像に含まれる背景画像と異なる被写体を含む第１画像領域と、第２撮像画像に含まれる背景画像と異なる被写体を含む第２画像領域とを含む注目画像領域を検出する。

【0031】

ここで、第１撮像画像は、第１フレームにおいて、撮像画像生成部１２０が生成した第１画像及び第２画像である。また、第２撮像画像は、第１フレームの直後の第２フレームにおいて、撮像画像生成部１２０が生成した第１画像及び第２画像である。

【0032】

まず、検出部１５２は、第１撮像画像に基づいて距離画像生成部１５１が生成した距離画像である第１距離画像と、第２撮像画像に基づいて距離画像生成部１５１が生成した距離画像である第２距離画像とのそれぞれにおいて、被写体を含む領域を検出する。続いて、検出部１５２は、第１距離画像と第２距離画像のそれぞれにおいて検出された複数の領域を包含する領域を特定する。

【0033】

図７は、第１距離画像及び第２距離画像から注目画像領域する例を示す図である。図７に示すように、第１距離画像では被写体の一部について距離が検出されないことにより、被写体を含む領域として２つの領域が検出されている。また、第２距離画像でも、被写体の一部について距離が検出されないことにより、被写体を含む領域として２つの領域が検出されている。検出部１５２は、これらの複数の領域を包含する領域を特定するための合成画像を生成する。図７に示すように、合成画像では、一の距離画像において複数の被写体として検出されていた被写体が、一の被写体として検出されていることが確認できる。検出部１５２は、複数の領域を包含する領域を、注目画像領域Ｂとして検出する。注目画像領域Ｂは、被写体が写った画像領域を時間積分することにより得られる領域に相当する。ここで、検出部１５２は、生成した合成画像を記憶部１４０に記憶させる。

【0034】

なお、本実施形態では、検出部１５２は、２つのフレームにおいて撮像された第１撮像画像及び第２撮像画像に基づいて注目画像領域を検出したが、これに限らず、３つ以上のフレームにおいて撮像された複数の撮像画像に基づいて注目画像領域を検出してもよい。

【0035】

また、検出部１５２は、第１距離画像及び第２距離画像に基づいて注目画像領域を検出したが、これに限らない。検出部１５２は、例えば、異なる時間において撮像された複数の第１画像について差分を抽出することで差分画像を生成し、複数の差分画像が示す領域を包含する領域を特定することで注目画像領域を検出してもよい。

【0036】

算出部１５３は、所定期間内に生成された複数の距離画像に含まれるそれぞれの画素の画素値に基づいて、それぞれの画素の所定期間内における演算値を算出する。具体的には、算出部１５３は、まず、距離画像における画素の位置に基づいて重み付けして演算値を算出する。すなわち、第１画像及び第２画像と同様に、距離画像においても、Ｙ座標が小さい画素に対応する位置ほど撮像装置１００からの距離が遠くなることから、算出部１５３は、距離画像を構成する複数の画素のそれぞれの位置と、撮像装置１００との距離の関係に基づいて、複数の画素のそれぞれの画素値を補正する。距離画像におけるＹ軸の画素数がＮ、補正パラメータをＲ、画素値をＰとすると、算出部１５３は、Ｙ座標がｉ（ただし、ｉは、０からＮの任意の整数）の任意の画素における画素値Ｐを、例えば、以下の式（１）に基づいてＰ’と補正する。
Ｐ’＝Ｐ＋（１＋（Ｎ−ｉ）＊Ｒ）・・・（１）

【0037】

続いて、算出部１５３は、所定期間内に生成された複数の距離画像の所定領域に含まれるそれぞれの画素について、所定期間内において最大値となる画素値を、演算値として算出する。例えば、所定期間内に生成された距離画像が５つであり、所定画素の画素値がそれぞれ、５、２、６、３、１０である場合、算出部１５３は、当該所定画素の演算値を１０とする。

【0038】

なお、算出部１５３は、複数の距離画像に含まれるそれぞれの画素について、所定期間内において最大値となる画素値を、演算値として算出したが、これに限らない。算出部１５３は、例えば、所定期間内における画素値の平均値を演算値として算出したり、所定期間内における画素値の合計値を演算値として算出したりしてもよい。また、算出部１５３で用いた所定期間と、検出部１５２で用いた所定期間は、異なる期間であってもよい。

【0039】

判定部１５４は、所定期間内に撮像された所定数以上の撮像画像の所定領域から検出部１５２により検出された複数の注目画像領域の位置に基づいて、注目画像領域が所定の被写体を含む画像領域であると判定する。ここで、判定部１５４は、所定の被写体に対応する速度に基づいて所定数を定めてもよい。例えば、判定部１５４は、歩行者及び自転車を所定の被写体とする場合、歩行者又は自転車が取りうる速度及び想定する動きに基づいて所定数を定める。

【0040】

また、判定部１５４は、注目画像領域が所定の被写体を含む画像領域ではないと判定した場合に、算出部１５３が算出したそれぞれの画素の演算値に基づいて、所定の被写体の有無を判定する。判定部１５４の詳細については、後述するフローチャートにおいて説明する。

【0041】

通知部１５５は、判定部１５４が撮像画像に所定の被写体が含まれていると判定したことに応じて、データ管理装置２００に、所定の被写体が含まれていることを示す警告情報を送信する。ここで、警告情報には、撮像装置１００の位置を示す位置情報が含まれていてもよい。これにより、データ管理装置２００は、道路に設置されている案内板等に、例えば、「トンネル内情報：３００ｍ先に歩行者有り」といった警告情報を表示することができる。

【0042】

［撮像装置１００の処理］
続いて、図８及び図９を参照して、撮像装置１００の処理の流れについて説明する。図８は、撮像装置１００の処理の流れを示すフローチャートである。この処理は、例えば毎フレームにおいて実行される。

【0043】

まず、撮像画像生成部１２０は、撮像部１１０−１及び撮像部１１０−２のそれぞれにおいて撮像された所定領域の画像を含む２つの撮像画像を生成する（Ｓ１０）。
続いて、距離画像生成部１５１は、撮像画像生成部１２０によって生成された２つの撮像画像に基づいて距離画像を生成する（Ｓ２０）。

【0044】

続いて、検出部１５２は、本フローチャートを前回実行することにより得られた第１距離画像と、Ｓ２０において生成された距離画像である第２距離画像とに基づいて、注目画像領域を検出する（Ｓ３０）。
続いて、算出部１５３は、現在時刻から所定期間内に生成された複数の距離画像に含まれるそれぞれの画素の画素値に基づいて、それぞれの画素の所定期間内における演算値を算出する（Ｓ４０）。
なお、制御部１５０は、Ｓ３０に係る処理の後に、Ｓ４０に係る処理を実行したが、これに限らない。例えば、制御部１５０は、Ｓ３０に係る処理とＳ４０に係る処理とを並列に実行してもよい。

【0045】

続いて、判定部１５４は、対象物が所定の対象物であるか否かを判定する対象物判定処理を実行する（Ｓ５０）。対象物判定処理の詳細については、後述する。
続いて、通知部１５５は、所定の被写体が検出中であるか否かを判定する（Ｓ６０）。通知部１５５は、所定の被写体が検出中である場合（判定がＹＥＳの場合）、Ｓ７０に処理を移し、所定の被写体が検出されていない場合（判定がＮＯの場合）、本フローチャートに係る処理を終了する。
通知部１５５は、Ｓ６０において所定の被写体が含まれていると判定したことに応じて、データ管理装置２００に警告情報を送信することにより警告通知を行う（Ｓ７０）。

【0046】

続いて、対象物判定処理の詳細について説明する。図９は、対象物判定処理における処理の流れを示すフローチャートである。
判定部１５４は、最新の合成画像を解析し、所定の被写体を検出中か否かを判定する（Ｓ５１）。具体的には、判定部１５４は、最新の合成画像に、当該合成画像の直前に生成された合成画像に含まれていると判定された所定の被写体を示す注目画像領域が含まれているか否かを判定する。例えば、判定部１５４は、最新の合成画像における注目画像領域と、直前に生成され、記憶部１４０に記憶されている合成画像における注目画像領域との類似度を算出し、この類似度が所定値以上の場合に、所定の被写体を検出中と判定する。判定部１５４は、所定の被写体を検出中と判定すると（判定がＹＥＳの場合）、Ｓ５９に処理を移し、所定の被写体を検出中ではないと判定すると（判定がＮＯの場合）、Ｓ５２に処理を移す。

【0047】

続いて、判定部１５４は、注目画像領域のサイズが、所定サイズよりも大きいか否かを判定する（Ｓ５２）。判定部１５４は、所定サイズよりも大きいと判定すると（判定がＹＥＳの場合）、本フローチャートに係る処理を終了し、所定サイズ以下と判定すると（判定がＮＯの場合）、Ｓ５３に処理を移す。この判定を行うことで、判定部１５４は、注目画像領域のサイズが大きい場合に、当該注目画像領域に含まれる被写体が所定の被写体ではなく、車両等であると判定することができる。

【0048】

続いて、判定部１５４は、最新の合成画像に含まれている注目画像領域に対応する注目画像領域が、所定期間内に検出部１５２により所定回数以上検出されたか否かを判定することにより、最新の合成画像に含まれている注目画像領域に含まれている被写体の生存時間が第１閾値より大きいか否かを判定する（Ｓ５３）。具体的には、判定部１５４は、最新の合成画像及び所定期間内に生成された複数の合成画像に基づいて、最新の合成画像に含まれている注目画像領域と類似する注目画像領域が連続して所定回数以上検出されたか否かを判定する。

【0049】

ここで、生存時間とは、同一の被写体が連続した複数の合成画像に含まれていた時間である。また、注目画像領域が連続して所定回数以上検出されることは、注目画像領域に含まれている被写体の生存時間が第１閾値を超えていることを示している。判定部１５４は、被写体の生存時間が第１閾値より大きいと判定した場合（判定がＹＥＳの場合）、Ｓ５９に処理を移し、被写体の生存時間が第１閾値以下と判定した場合（判定がＮＯの場合）、Ｓ５４に処理を移す。

【0050】

続いて、判定部１５４は、最新の合成画像に含まれている注目画像領域の移動距離を算出し、当該注目画像領域の移動距離が第２閾値（所定の距離）より大きいか否かを判定する（Ｓ５４）。具体的には、判定部１５４は、所定期間内に生成された複数の合成画像において、最新の合成画像に含まれている注目画像領域と類似する注目画像領域を、最新の合成画像に含まれている注目画像領域と同一の注目画像領域とみなす。そして、判定部１５４は、複数の合成画像において、連続する２つの合成画像に含まれる注目画像領域の移動量を算出し、算出した複数の移動量を合計することにより、注目画像領域の移動距離を算出する。

【0051】

判定部１５４は、移動距離が第２閾値より大きい場合（判定がＹＥＳの場合）、Ｓ５５に処理を移し、移動距離が第２閾値以下である場合（判定がＮＯの場合）、対象物判定処理を終了する。これにより、判定部１５４は、注目画像領域の移動距離が所定の距離より小さい場合に、注目画像領域が所定の被写体を含む画像領域ではないと判定する。このようにすることで、判定部１５４は、注目画像領域が示す被写体が静止物等である場合に、所定の被写体ではないと判定することができる。

【0052】

続いて、判定部１５４は、最新の合成画像に含まれている注目画像領域の移動範囲が第３閾値（所定の範囲）より大きいか否かを判定する（Ｓ５５）。具体的には、判定部１５４は、Ｓ５４における処理と同様に、最新の合成画像に含まれている注目画像領域と類似する注目画像領域を、最新の合成画像に含まれている注目画像領域と同一の注目画像領域とみなす。そして、判定部１５４は、複数の合成画像に含まれる注目画像領域の位置に基づいて、注目画像領域の移動範囲を算出する。

【0053】

判定部１５４は、移動範囲が第３閾値より大きい場合（判定がＹＥＳの場合）、Ｓ５６に処理を移し、移動範囲が第３閾値以下である場合（判定がＮＯの場合）、対象物判定処理を終了する。これにより、判定部１５４は、注目画像領域の移動範囲が所定の範囲より小さい場合に、注目画像領域が所定の被写体を含む画像領域ではないと判定する。このようにすることで、判定部１５４は、注目画像領域が示す被写体が、風等によって形が随時変化している静止物である場合に、所定の被写体ではないと判定することができる。なお、判定部１５４は、複数の合成画像における注目画像領域の中心位置の分散を算出し、当該分散に基づいて、注目画像の領域が所定の範囲より大きいか否かについて判定してもよい。

【0054】

続いて、判定部１５４は、最新の合成画像に含まれている注目画像領域の移動速度が第４閾値（所定の速度）より小さいか否かを判定する（Ｓ５６）。具体的には、判定部１５４は、Ｓ５４における処理と同様に、最新の合成画像に含まれている注目画像領域と類似する注目画像領域を、最新の合成画像に含まれている注目画像領域と同一の注目画像領域とみなす。そして、判定部１５４は、複数の合成画像に含まれる注目画像領域の位置と、これらの合成画像が生成された時間差に基づいて、注目画像領域の移動速度を算出する。

【0055】

判定部１５４は、移動速度が第４閾値より小さい場合（判定がＹＥＳの場合）、Ｓ５７に処理を移し、移動速度が第４閾値以上である場合（判定がＮＯの場合）、対象物判定処理を終了する。これにより、判定部１５４は、注目画像領域の移動速度が所定の速度より大きい場合に、注目画像領域が所定の被写体を含む画像領域ではないと判定する。このようにすることで、判定部１５４は、注目画像領域が示す被写体が、バイク等の高速で移動する小型の移動体である場合に、所定の被写体ではないと判定することができる。

【0056】

続いて、判定部１５４は、注目画像領域の移動方向が所定方向と一致しているか否かを判定する（Ｓ５７）。具体的には、判定部１５４は、Ｓ５４における処理と同様に、最新の合成画像に含まれている注目画像領域と類似する注目画像領域を、最新の合成画像に含まれている注目画像領域と同一の注目画像領域とみなす。そして、判定部１５４は、複数の合成画像に含まれる注目画像領域の位置に基づいて、注目画像領域の移動方向を算出する。

【0057】

判定部１５４は、移動方向が所定方向と一致している場合（判定がＹＥＳの場合）、Ｓ５８に処理を移し、移動方向が所定方向と一致していない場合（判定がＮＯの場合）、対象物判定処理を終了する。これにより、判定部１５４は、注目画像領域の移動方向が所定方向と異なる場合に、注目画像領域が所定の被写体を含む画像領域ではないと判定する。このようにすることで、判定部１５４は、注目画像領域が示す被写体が、例えば、トンネルから出ようとしている人である場合に、当該被写体を所定の被写体から除外することができる。

【0058】

続いて、判定部１５４は、算出部１５３が算出したそれぞれの画素の演算値に基づいて、所定の被写体の有無を判定する。具体的には、判定部１５４は、それぞれの画素のうち、演算値が閾値よりも大きい画素の数に基づいて、所定の被写体の有無を判定する。より具体的には、判定部１５４は、距離画像の所定領域の画素数に対する、演算値が所定の範囲内の画素の数の割合を示す含有率を算出し、当該含有率に基づいて所定の被写体の有無を判定する。

【0059】

図１０は、算出部１５３が算出した演算値に基づいて生成された画像の例を示す図である。図１０（Ａ）は、被写体が自動車である場合の画像であり、図１０（Ｂ）は、被写体が歩行者である場合の画像である。被写体が自動車である場合、高速で走行することから、所定領域Ａにおける演算値が大きい領域の含有率が高くなる。これに対して、被写体が歩行者である場合、歩行速度が自動車に比べて遅いことから、所定領域Ａにおける演算値が大きい領域の含有率が低くなる。

【0060】

図９に示す例においては、判定部１５４は、含有率が第５閾値より小さいか否かを判定する（Ｓ５８）。判定部１５４は、含有率が第５閾値より小さい場合（判定がＹＥＳの場合）、Ｓ５９に処理を写し、含有率が第５閾値以上の場合、対象物判定処理を終了する。

【0061】

続いて、判定部１５４は、Ｓ５１、Ｓ５２又はＳ５８における判定がＹＥＳの場合、注目画像領域が示す被写体が所定の被写体であると判定する（Ｓ５９）。判定部１５４は、多段階の判定を行うことによって、所定の被写体を精度よく検出することができる。

【0062】

［本実施形態における効果］
以上のとおり、本実施形態に係る撮像装置１００は、第１撮像画像に含まれる背景画像と異なる第１画像領域と、第２撮像画像に含まれる背景画像と異なる第２画像領域とを含む注目画像領域を検出し、所定期間内に撮像された所定数以上の撮像画像から検出された複数の注目画像領域の位置に基づいて、注目画像領域が所定の被写体を含む画像領域であると判定する。このようにすることで、トンネル内部等の照明が十分に明るくない場所においても、被写体を正確に把握し、当該被写体を含む注目画像領域に基づいて、精度よく所定の被写体を検出することができる。

【0063】

また、撮像装置１００は、距離画像から生成された合成画像に基づいて注目画像領域を検出するので、トンネル内部等のように照明の明るさが被写体の位置によって変化し、撮像画像における被写体の色が変化する場合であっても、複数の合成画像から、当該被写体を同一の被写体として検出することができる。

【0064】

また、撮像装置１００は、複数の距離画像に基づいて算出した演算値を用いて所定の被写体の有無を算出することから、一の距離画像における被写体の検出精度が低い場合であっても、精度よく所定の被写体を検出することができる。

【0065】

また、撮像装置１００は、注目画像領域のサイズがフレームごとに変化し、注目画像領域に基づく所定の被写体の検出精度が低下した場合であっても、距離画像の所定領域の画素数に対する、演算値が所定の範囲内の画素の数の割合を示す含有率に基づいて所定の被写体の有無を判定することにより、高い検出精度を維持することができる。

【0066】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0067】

例えば、上記の実施形態に係る撮像装置１００は、複数の撮像部１１０における視差を用いて距離画像を生成したが、撮像装置１００は、単一の撮像部１１０を用いて撮影された複数の撮像画像に写った物体の位置及び形状に基づいて距離画像を生成してもよい。

【符号の説明】

【0068】

１０・・・監視システム、１００・・・撮像装置、１１０・・・撮像部、１２０・・・撮像画像生成部、１３０・・・送受信部、１４０・・・記憶部、１５０・・・制御部、１５１・・・距離画像生成部、１５２・・・検出部、１５３・・・算出部、１５４・・・判定部、１５５・・・通知部、２００・・・データ管理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】