特許 7092616 物体検出装置、物体検出方法、及び物体検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-20

(45)【発行日】2022-06-28

(54)【発明の名称】物体検出装置、物体検出方法、及び物体検出プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220621BHJP

   G06T 7/194 20170101ALI20220621BHJP

【ＦＩ】

G06T7/00 300G

G06T7/194

【請求項の数】 10

(21)【出願番号】P 2018157458

(22)【出願日】2018-08-24

(65)【公開番号】P2020030751

(43)【公開日】2020-02-27

【審査請求日】2021-06-11

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】野中 陽介

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１１－０２８６８６（ＪＰ，Ａ）

【文献】橋本 敦史，局所的な照明条件の変化に頑健な背景差分 作業中の人物周辺に生じる影などに頑健な物体領域抽出を目指して，画像ラボ 第２２巻 第１０号，日本，日本工業出版株式会社，2011年10月10日，2011 10，P.1-7

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１９４

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する物体検出装置であって、
前記背景をなす背景構成物の反射特性が類似する特性類似領域を記憶している背景情報記憶手段と、
前記撮影画像において影が撮影されている影領域を抽出する影領域抽出手段と、
前記特性類似領域ごとに前記影領域について求めた前記撮影画像の画素値の頻度分布のうちのいずれかが複数の山部を有する場合に前記空間に前記前景物体が存在すると判定する前景物体検出手段と、
を備えたことを特徴とする物体検出装置。

【請求項2】

前記前景物体検出手段は、前記特性類似領域ごとに前記影領域及び前記影領域以外の非影領域のそれぞれについて前記撮影画像の画素値の頻度分布を算出し、いずれかの当該頻度分布が複数の山部を有する場合に前記空間に前記前景物体が存在すると判定すること、を特徴とする請求項１に記載の物体検出装置。

【請求項3】

前記背景情報記憶手段は、前記背景が撮影された背景画像をさらに記憶し、
前記前景物体検出手段は、前記撮影画像のうち前記背景画像との画素値の相違度が所定の基準値以下である非強変化領域内で前記頻度分布を算出すること、
を特徴とする請求項１又は請求項２に記載の物体検出装置。

【請求項4】

前記前景物体検出手段は、前記山部での頻度又は画素値に基づいて前記複数の山部の中から前記前景物体に帰属する前景山部を特定し、前記撮影画像にて、前記前景山部の画素値を有する領域と前記相違度が前記基準値を超える強変化領域とに基づいて前記前景物体の領域を抽出すること、を特徴とする請求項３に記載の物体検出装置。

【請求項5】

所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する物体検出装置であって、
前記背景をなす背景構成物の反射特性が類似する特性類似領域、及び前記背景が撮影された背景画像を記憶している背景情報記憶手段と、
前記撮影画像の画素ごとに前記背景画像との画素値の相違度を算出するとともに、前記特性類似領域ごとの影領域と当該影領域以外の非影領域とのそれぞれ、又は当該影領域を補正対象領域として当該補正対象領域ごとに前記撮影画像の各画素値の頻度を算出し、前記補正対象領域の画素については当該画素に関する前記頻度が低いほど大きな補正値を前記相違度に加算する補正を行い、前記撮影画像内にて前記相違度が予め定めたしきい値を超える画素が存在する場合に前記空間に前記前景物体が存在すると判定する前景物体検出手段と、
を備えたことを特徴とする物体検出装置。

【請求項6】

前記背景構成物の前記反射特性及び三次元座標値と前記空間を照らす光源の光源位置とを含んだ環境モデル、並びに前記撮影画像を撮影するカメラのカメラパラメータを記憶するモデル記憶手段と、
前記環境モデル及び前記カメラパラメータを用いて前記特性類似領域を求める背景情報生成手段と、
をさらに備えたことを特徴とする請求項１から請求項５のいずれか１つに記載の物体検出装置。

【請求項7】

所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する物体検出方法であって、
前記背景をなす背景構成物の反射特性が類似する特性類似領域を記憶する背景情報記憶ステップと、
前記撮影画像において影が撮影されている影領域を抽出する影領域抽出ステップと、
前記特性類似領域ごとに前記影領域について求めた前記撮影画像の画素値の頻度分布のうちのいずれかが複数の山部を有する場合に前記空間に前記前景物体が存在すると判定する前景物体検出ステップと、
を含むことを特徴とする物体検出方法。

【請求項8】

所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、
前記背景をなす背景構成物の反射特性が類似する特性類似領域を記憶している背景情報記憶手段、
前記撮影画像において影が撮影されている影領域を抽出する影領域抽出手段、及び、
前記特性類似領域ごとに前記影領域について求めた前記撮影画像の画素値の頻度分布のうちのいずれかが複数の山部を有する場合に前記空間に前記前景物体が存在すると判定する前景物体検出手段、
として機能させることを特徴とする物体検出プログラム。

【請求項9】

所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する物体検出方法であって、
前記背景をなす背景構成物の反射特性が類似する特性類似領域、及び前記背景が撮影された背景画像を記憶する背景情報記憶ステップと、
前記撮影画像の画素ごとに前記背景画像との画素値の相違度を算出するとともに、前記特性類似領域ごとの影領域と当該影領域以外の非影領域とのそれぞれ、又は当該影領域を補正対象領域として当該補正対象領域ごとに前記撮影画像の各画素値の頻度を算出し、前記補正対象領域の画素については当該画素に関する前記頻度が低いほど大きな補正値を前記相違度に加算する補正を行い、前記撮影画像内にて前記相違度が予め定めたしきい値を超える画素が存在する場合に前記空間に前記前景物体が存在すると判定する前景物体検出ステップと、
を含むことを特徴とする物体検出方法。

【請求項10】

所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、
前記背景をなす背景構成物の反射特性が類似する特性類似領域、及び前記背景が撮影された背景画像を記憶している背景情報記憶手段、及び、
前記撮影画像の画素ごとに前記背景画像との画素値の相違度を算出するとともに、前記特性類似領域ごとの影領域と当該影領域以外の非影領域とのそれぞれ、又は当該影領域を補正対象領域として当該補正対象領域ごとに前記撮影画像の各画素値の頻度を算出し、前記補正対象領域の画素については当該画素に関する前記頻度が低いほど大きな補正値を前記相違度に加算する補正を行い、前記撮影画像内にて前記相違度が予め定めたしきい値を超える画素が存在する場合に前記空間に前記前景物体が存在すると判定する前景物体検出手段、
として機能させることを特徴とする物体検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像と背景画像との比較によって人等の前景物体を検出する物体検出技術に関する。

【背景技術】

【0002】

監視空間を撮影した撮影画像と背景画像との比較によって監視空間に現れた前景物体を検出する場合、監視空間における日陰など影の領域ではコントラスト低下によって、影の中の暗色物体に対する検出精度が低下するといった問題がある。例えば、影の中の黒い服を着用した人等に対する検出精度が低下する。

【0003】

この問題に対し、下記特許文献１に記載の異常監視装置では、撮影画像を日陰領域と日向領域とに分割し、日陰領域における撮影画像と背景画像との差画像を求め、日陰領域で求めた差画像に対して適切な２値化しきい値を設定していた。なお、特許文献１には、監視空間を川、暗色物体を油リークとする例が挙げられている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１０－０４２２７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では背景が複雑な空間で影が生じると適切な２値化しきい値を設定することが困難になり、影の中の暗色物体を検出する精度が低下する問題があった。

【0006】

例えば、撮影画像の影領域に、背景構成物である２種類の素材Ａ，Ｂと、素材Ａ，Ｂの境界に跨がって単色で暗色の前景物体Ｃとが存在している場合に、当該撮影画像と素材Ａ，Ｂの背景構成物を写した背景画像との画素値の差を求めると、前景物体Ｃが写る領域のうち素材Ａと重なる部分での差Δ_Ｃ－Ａと素材Ｂと重なる部分での差Δ_Ｃ－Ｂとに違いが生じる一方、素材Ａが写る領域での差Δ_Ａ－Ａおよび素材Ｂが写る領域での差Δ_Ｂ－Ｂに関しては素材Ａ，Ｂの撮影画像における明暗差は相殺されて同一の値Δ_{ＡＢ－ＡＢ}で近似されるとともに、Δ_Ｃ－ＡとΔ_Ｃ－Ｂとの中間値となり得る。つまりその場合、差画像が３値となり、２値化によっては暗色の前景物体のみを検出することができない。同様に、３種類以上の素材からなる背景に影が生じれば、２値化による影の中の暗色物体の検出は一層困難となってしまう。

【0007】

また、影領域以外においても、例えば、背景にグレーの床を含んだ空間におけるグレーのズボンをはいた人物のように、背景と似た色を有する前景物体に対しても同様の問題が生じていた。

【0008】

本発明は上記問題を解決するためになされたものであり、背景が複雑な空間を撮影した撮影画像から背景と似た色を有する前景物体を含めて前景物体を高精度に検出可能な物体検出装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

（１）本発明に係る物体検出装置は、所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する装置であって、前記背景をなす背景構成物の反射特性が類似する特性類似領域を記憶している背景情報記憶手段と、前記撮影画像において影が撮影されている影領域を抽出する影領域抽出手段と、前記特性類似領域ごとに前記影領域について求めた前記撮影画像の画素値の頻度分布のうちのいずれかが複数の山部を有する場合に前記空間に前記前景物体が存在すると判定する前景物体検出手段と、を備える。

【0010】

（２）上記（１）に記載の物体検出装置において、前記前景物体検出手段は、前記特性類似領域ごとに前記影領域及び前記影領域以外の非影領域のそれぞれについて前記撮影画像の画素値の頻度分布を算出し、いずれかの当該頻度分布が複数の山部を有する場合に前記空間に前記前景物体が存在すると判定する構成とすることができる。

【0011】

（３）上記（１）または（２）に記載の物体検出装置において、前記背景情報記憶手段は、前記背景が撮影された背景画像をさらに記憶し、前記前景物体検出手段は、前記撮影画像のうち前記背景画像との画素値の相違度が所定の基準値以下である非強変化領域内で前記頻度分布を算出する構成とすることができる。

【0012】

（４）上記（３）に記載の物体検出装置において、前記前景物体検出手段は、前記山部での頻度又は画素値に基づいて前記複数の山部の中から前記前景物体に帰属する前景山部を特定し、前記撮影画像にて、前記前景山部の画素値を有する領域と前記相違度が前記基準値を超える強変化領域とに基づいて前記前景物体の領域を抽出する構成とすることができる。

【0013】

（５）他の本発明に係る物体検出装置は、所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する装置であって、前記背景をなす背景構成物の反射特性が類似する特性類似領域、及び前記背景が撮影された背景画像を記憶している背景情報記憶手段と、前記撮影画像の画素ごとに前記背景画像との画素値の相違度を算出するとともに、前記特性類似領域ごとの影領域と当該影領域以外の非影領域とのそれぞれ、又は当該影領域を補正対象領域として当該補正対象領域ごとに前記撮影画像の各画素値の頻度を算出し、前記補正対象領域の画素については当該画素に関する前記頻度が低いほど大きな補正値を前記相違度に加算する補正を行い、前記撮影画像内にて前記相違度が予め定めたしきい値を超える画素が存在する場合に前記空間に前記前景物体が存在すると判定する前景物体検出手段と、を備える。

【0014】

（６）上記（１）～（５）に記載の物体検出装置において、前記背景構成物の前記反射特性及び三次元座標値と前記空間を照らす光源の光源位置とを含んだ環境モデル、並びに前記撮影画像を撮影するカメラのカメラパラメータを記憶するモデル記憶手段と、前記環境モデル及び前記カメラパラメータを用いて前記特性類似領域を求める背景情報生成手段と、をさらに備えた構成とすることができる。

【0015】

（７）本発明に係る物体検出方法は、所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する方法であって、前記背景をなす背景構成物の反射特性が類似する特性類似領域を記憶する背景情報記憶ステップと、前記撮影画像において影が撮影されている影領域を抽出する影領域抽出ステップと、前記特性類似領域ごとに前記影領域について求めた前記撮影画像の画素値の頻度分布のうちのいずれかが複数の山部を有する場合に前記空間に前記前景物体が存在すると判定する前景物体検出ステップと、を含む。

【0016】

（８）本発明に係る物体検出プログラムは、所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、前記背景をなす背景構成物の反射特性が類似する特性類似領域を記憶している背景情報記憶手段、前記撮影画像において影が撮影されている影領域を抽出する影領域抽出手段、及び、前記特性類似領域ごとに前記影領域について求めた前記撮影画像の画素値の頻度分布のうちのいずれかが複数の山部を有する場合に前記空間に前記前景物体が存在すると判定する前景物体検出手段、として機能させる。

【0017】

（９）他の本発明に係る物体検出方法は、所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する方法であって、前記背景をなす背景構成物の反射特性が類似する特性類似領域、及び前記背景が撮影された背景画像を記憶する背景情報記憶ステップと、前記撮影画像の画素ごとに前記背景画像との画素値の相違度を算出するとともに、前記特性類似領域ごとの影領域と当該影領域以外の非影領域とのそれぞれ、又は当該影領域を補正対象領域として当該補正対象領域ごとに前記撮影画像の各画素値の頻度を算出し、前記補正対象領域の画素については当該画素に関する前記頻度が低いほど大きな補正値を前記相違度に加算する補正を行い、前記撮影画像内にて前記相違度が予め定めたしきい値を超える画素が存在する場合に前記空間に前記前景物体が存在すると判定する前景物体検出ステップと、を含む。

【0018】

（１０）他の本発明に係る物体検出プログラムは、所定の空間が撮影された撮影画像において、背景内に現れる前景物体を検出する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、前記背景をなす背景構成物の反射特性が類似する特性類似領域、及び前記背景が撮影された背景画像を記憶している背景情報記憶手段、及び、前記撮影画像の画素ごとに前記背景画像との画素値の相違度を算出するとともに、前記特性類似領域ごとの影領域と当該影領域以外の非影領域とのそれぞれ、又は当該影領域を補正対象領域として当該補正対象領域ごとに前記撮影画像の各画素値の頻度を算出し、前記補正対象領域の画素については当該画素に関する前記頻度が低いほど大きな補正値を前記相違度に加算する補正を行い、前記撮影画像内にて前記相違度が予め定めたしきい値を超える画素が存在する場合に前記空間に前記前景物体が存在すると判定する前景物体検出手段、として機能させる。

【発明の効果】

【0019】

本発明によれば、背景の反射特性を単一に限定できる特性類似領域ごとに撮影画像を解析するので、背景が複雑な空間における背景と似た色を有する前景物体を含め、前景物体を高精度に検出できる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。

【図2】本発明の第１の実施形態に係る画像監視装置の概略の機能ブロック図である。

【図3】反射特性マップの例を示す模式図である。

【図4】本発明の第１の実施形態に係る画像監視装置の動作を説明する概略のフロー図である。

【図5】前景物体検出処理の概略のフロー図である。

【図6】本発明の第１の実施形態における変化領域抽出手段の処理を説明する画像の模式図である。

【図7】前景物体領域抽出手段による分割領域の設定例を示す画像の模式図である。

【図8】図７に示す分割領域に対応した輝度ヒストグラムの模式図である。

【図9】前景物体領域および強変化領域を統合する処理を説明する模式図である。

【図10】本発明の第２の実施形態における前景物体検出処理の概略のフロー図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態（以下実施形態という）である画像監視装置１について、図面に基づいて説明する。画像監視装置１は、本発明に係る物体検出装置を含んで構成され、所定の空間（監視空間）が撮影された画像（撮影画像）において背景内に現れる人や不審物等の前景物体を検出し、その検出結果に基づいて監視対象の有無等を解析する。

【0022】

［画像監視装置の構成］
図１は第１および第２の実施形態に係る画像監視装置１の概略の構成を示すブロック図である。画像監視装置１はカメラ２、通信部３、記憶部４、画像処理部５および報知部６からなる。

【0023】

カメラ２は監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次、画像処理部５に入力する撮影手段である。例えば、カメラ２は、監視空間であるイベント会場の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期１秒で撮影してカラー画像を生成する。なお、カメラ２はカラー画像の代わりにモノクロ画像を生成してもよい。

【0024】

通信部３は通信回路であり、その一端が画像処理部５に接続され、他端がカメラ２および報知部６と接続される。通信部３はカメラ２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された解析結果を報知部６へ出力する。

【0025】

例えば、カメラ２および報知部６がイベント会場内の監視センターに設置され、通信部３、記憶部４および画像処理部５が遠隔地の画像解析センターに設置される場合、通信部３とカメラ２、および通信部３と報知部６をそれぞれインターネット回線にて接続し、通信部３と画像処理部５はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部３とカメラ２を同軸ケーブルまたはＬＡＮ（Local Area Network）で接続し、通信部３と報知部６はディスプレイケーブル、通信部３と画像処理部５はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。

【0026】

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は画像処理部５と接続されて、画像処理部５との間でこれらの情報を入出力する。

【0027】

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。また、画像処理部５は、通信部３経由でカメラ２から取得した撮影画像から監視空間における監視対象の有無や位置などに関する解析結果を生成し、通信部３を介して報知部６へ出力する。

【0028】

報知部６は、液晶ディスプレイまたはＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３から入力された解析結果に含まれる監視対象の有無や位置等の情報を表示することによって監視員に報知する。報知部６には、さらに、注意喚起を強調するためにブザーやランプ等を含めることもできる。監視員は表示された解析結果を視認して対処の要否等を判断し、必要に応じて対処員を急行させる等の対処を行う。

【0029】

なお、本実施形態においては、通信部３と画像処理部５の組に対してカメラ２が１台である画像監視装置１を例示するが、別の実施形態においては、通信部３と画像処理部５の組に対してカメラ２が２台以上接続された構成とすることもできる。その場合、通信部３は各カメラ２から撮影画像を時分割で受信し、画像処理部５は各カメラ２からの撮影画像を時分割処理または並列処理する。

【0030】

［第１の実施形態に係る画像監視装置の機能］
図２は第１の実施形態に係る画像監視装置１の概略の機能ブロック図である。図２には専ら、通信部３、記憶部４および画像処理部５の機能が示されており、具体的には、通信部３は撮影画像取得手段３０、解析結果出力手段３１等として機能し、記憶部４は環境モデル記憶手段４０、カメラ情報記憶手段４１、背景情報記憶手段４２等として機能し、画像処理部５は背景情報生成手段５０、影抽出手段５１、前景物体検出手段５２および前景物体情報解析手段５３として機能する。

【0031】

撮影画像取得手段３０はカメラ２から撮影画像を順次取得して、取得した撮影画像を背景情報生成手段５０、影抽出手段５１および前景物体検出手段５２に順次出力する。

【0032】

環境モデル記憶手段４０は、監視空間の背景を構成する複数の構成物（背景構成物）の三次元モデルを三次元背景として記憶する。

【0033】

背景構成物は例えば、屋外であれば、歩道、道路、建物、標識などの建造物や、樹木などの移動しない自然物である。好適には、道路のうちのアスファルト部分と白線部分、また標識のうちの地色部分と文字・マーク部分のように、反射特性が互いに有意に異なる部分が別の背景構成物として記憶される。

【0034】

背景構成物の三次元モデルは、監視空間を模したＸＹＺ座標系における各背景構成物の位置、姿勢、立体形状にて表される三次元座標値および各背景構成物の反射特性のデータを含む。反射特性は一般的に、構成物表面の色、テクスチャ、反射率等の要素で構成される。反射率は例えば、鏡面反射成分の反射率および拡散反射成分の反射率、並びにそれらの割合をパラメータとして持つ二色性反射モデルで表現される。

【0035】

背景構成物の三次元モデルは、建築設計時に作成されたＩＦＣ（Industry Foundation Classes）規格の建物情報、三次元ＣＡＤデータ等あるいは事前の実計測データから取得できる。

【0036】

また、環境モデル記憶手段４０はさらに当該監視空間の照明モデルも予め記憶している。照明モデルは、監視空間を照明する１以上の光源について、監視空間を模したＸＹＺ座標系における当該光源の位置、および当該光源の配光、色温度などで表される照明特性を含む。光源は人工照明や太陽等である。

【0037】

カメラ情報記憶手段４１は監視空間を模したＸＹＺ座標系におけるカメラ２のカメラパラメータを予め記憶している。カメラパラメータは外部パラメータと内部パラメータとからなる。外部パラメータはＸＹＺ座標系におけるカメラ２の位置姿勢である。内部パラメータはカメラ２の焦点距離、中心座標、歪係数などである。カメラパラメータは事前のキャリブレーションによって計測され、カメラ情報記憶手段４１に記憶される。このカメラパラメータをピンホールカメラモデルに適用することによってＸＹＺ座標系の座標をカメラ２の撮影面を表すｘｙ座標系に変換できる。

【0038】

本発明のモデル記憶手段は環境モデル記憶手段４０とカメラ情報記憶手段４１を含む。

【0039】

背景情報記憶手段４２は、監視空間の背景が撮影された撮影画像（背景画像）にて背景構成物の反射特性が類似する画素の集まりである特性類似領域を記憶する。この特性類似領域を参照することによって、撮影画像中の任意の画素について、当該画素に背景として撮影され得る背景構成物の反射特性を特定できる。

【0040】

また、背景情報記憶手段４２は背景画像を記憶する。背景画像は撮影画像に撮影され得る背景構成物の像を表し、撮影画像と比較されて当該撮影画像において背景構成物以外（前景物体）の像が撮影されている領域（前景物体領域）を抽出するために用いられる。

【0041】

背景情報生成手段５０は特性類似領域および背景画像を算出し、算出した特性類似領域および背景画像を背景情報記憶手段４２に記憶させる。例えば、特性類似領域は、環境モデル記憶手段４０に記憶されている環境モデルをカメラ情報記憶手段４１に記憶されているカメラパラメータを用いてレンダリングすることにより算出できる。

【0042】

具体的には、背景情報生成手段５０は、カメラ２のカメラパラメータを用いて環境モデルをカメラ２の撮影面にレンダリングすることによって、撮影面に形成される画像の各画素に投影される背景構成物を特定する。なお、ここでのレンダリングにおいては光源の照明条件は問わず、任意の照明条件を１つ設定すればよい。

【0043】

その一方で、背景情報生成手段５０は環境モデルに含まれる背景構成物の反射特性ごとにその識別子として反射特性ＩＤを付与する。その際、値が完全一致する反射特性に共通の反射特性ＩＤを付与してもよいし、値が同一とみなせる程度に類似する反射特性に共通の反射特性ＩＤを付与してもよい。反射特性の類否は、反射特性を構成する上述した要素、パラメータに基づいて判定される。具体的には、それぞれの要素およびパラメータの差が予め定めた閾値以下であれば反射特性が類似と判断する。なお、元から反射特性ごとのＩＤが付与されている環境モデルであれば当該ＩＤを利用すればよい。

【0044】

そして、次に、背景情報生成手段５０は撮影画像の各画素に対応する画素を有した反射特性マップを作成し、当該反射特性マップの各画素の画素値に、当該画素に投影される背景構成物の反射特性ＩＤを設定する。この反射特性マップにおいて画素値が同一である画素からなる領域それぞれが特性類似領域となる。

【0045】

また、背景画像は、撮影画像の照明条件およびカメラ情報記憶手段４１に記憶されているカメラパラメータにて、環境モデル記憶手段４０に記憶されている環境モデルをレンダリングすることにより算出できる。

【0046】

具体的には、背景情報生成手段５０は、まず、撮影画像が撮影された時点における光源の照明条件の推定および当該照明条件下での環境モデルのレンダリングを行う。すなわち、複数通りの照明条件を設定してレンダリングを行い、撮影画像とレンダリングの結果として得られるレンダリング画像との類似度を算出し、類似度が最大であるレンダリング画像を背景画像として選択する。

【0047】

なお、背景情報生成手段５０は、前景物体が監視空間内に存在しない状態での撮影画像を背景画像とすることもできる。その場合、好適には、背景情報記憶手段４２に記憶されている背景画像を、前景物体領域を除いた領域の撮影画像との重み付け平均画像に置き換えるなどの更新を随時行う。

【0048】

図３は反射特性マップの例を示す模式図である。図３において、反射特性マップ１００は、車道の右側に歩道を挟んで建物が存在する曲がり角が写った撮影画像に対応する例である。図に示すように、反射特性マップ１００は撮影画像の各画素と対応する画素を有する画像データとすることができ、カメラ２の撮影面と同じｘｙ座標系で表すことができる。

【0049】

具体的には反射特性マップ１００は、それに対応する撮影画像に反射特性が異なる背景構成物として、石畳からなる歩道、アスファルト舗装された道路、当該道路に道路標示として描かれた白線、および建物の壁が写っている場合の例である。ここで例えば、歩道の石畳の反射特性に対しては反射特性ＩＤを「１」と定義し、同様に、アスファルトの路面、白色の道路標示、建物の壁の反射特性に対しては反射特性ＩＤをそれぞれ「２」，「３」，「４」と定義する。

【0050】

反射特性マップ１００には撮影画像における反射特性が異なる背景構成物の領域ごとに反射特性ＩＤが設定される。画像１０１は反射特性マップ１００のうち歩道領域１１１を斜線で示しており、当該斜線領域の画素に反射特性ＩＤとして値「１」が設定される。同様に、画像１０２，１０３，１０４はそれぞれ反射特性マップ１００のうちアスファルト領域１１２、白線領域１１３、壁領域１１４を斜線で示しており、当該斜線領域の画素に反射特性ＩＤとしてそれぞれ値「２」，「３」，「４」が設定される。

【0051】

影抽出手段５１は撮影画像において監視空間内に生じた影が撮影されている領域（影領域）を抽出し、抽出した影領域の情報を前景物体検出手段５２に出力する。具体的には、影抽出手段５１は、撮影画像の照明条件およびカメラ情報記憶手段４１に記憶されているカメラパラメータにて、環境モデル記憶手段４０に記憶されている環境モデルをレンダリングし、背景構成物の影が形成されている領域（直接光が背景構成物によって遮られている領域）を推定影領域として抽出する。

【0052】

なお、影抽出手段５１は、背景画像の輝度値が予め定めたしきい値未満である領域を推定影領域とすることもできる。

【0053】

または、予めの学習に基づいて影領域と影領域以外の領域（非影領域）とを識別する識別器（影識別器）を用いて影領域を抽出することもできる。影識別器は、例えば、影判定モデルにランダムフォレスト（Random Forest）と呼ばれる木構造のモデルを用い、学習用データにより予め学習される。そして、撮影画像内の局所領域ごとに画素値・輝度値などの画像特徴を入力され、当該局所領域に影が撮影されている可能性の高さを表す値（影度合い）を出力する。好適には、影判定モデルは特性類似領域ごとに生成する。つまり、特性類似領域ごとに、学習用の撮影画像における当該特性類似領域に帰属する局所領域の画像特徴を影判定モデルに入力して得られる影度合いを、当該局所領域の学習用影度合いに近づける更新を影判定モデルに対して行うことで、学習済のモデルを生成する。なお、影判定モデルは、ランダムフォレストに代えて、サポートベクターマシーン（Support Vector Machine：ＳＶＭ）、アダブースト（AdaBoost）型の識別器、または識別型のＣＮＮ（Convolutional Neural Network）等、２クラス問題に適用可能な種々の公知のモデルとすることができる。

【0054】

または、影抽出手段５１は、撮影画像と光源を反映せずにレンダリングした背景画像とを比較して輝度値の低下が予め定めたしきい値Ｔ_Ｓ以上である領域を影領域として抽出する構成とすることもできる。

【0055】

前景物体検出手段５２は撮影画像に撮影されている前景物体を検出する検出処理を行い、検出処理の結果である前景物体の情報（前景物体情報）を生成して、前景物体情報を前景物体情報解析手段５３に出力する。前景物体情報には、少なくとも監視空間における前景物体の有無を含み、好適には撮影画像における前景物体領域、前景物体領域の代表位置、撮影画像から前景物体領域を切り出した前景物体画像などを含む。ちなみに、前景物体領域は影領域および非影領域のいずれにも存在し得る。

【0056】

検出処理は、背景情報生成手段５０に記憶されている特性類似領域および影抽出手段５１が抽出した影領域を参照して、特性類似領域ごとの影領域および特性類似領域ごとの非影領域に分けて行う。例えば、図３のような４種類の特性類似領域が設定され、それぞれが影領域と非影領域とを有する場合は８領域に分けて検出処理が行われる。

【0057】

検出処理の対象として分けられた領域（分割領域）のそれぞれでは、背景構成物の反射特性ＩＤは１つに特定されること、および影領域の推定誤差の影響は受け得るが基本的には影の有無のいずれかが支配的であることから、画素値が略単一となる。そのため、分割領域における撮影画像の画素値の頻度分布を解析すれば、前景物体が当該分割領域に存在しない場合は単峰性の頻度分布となり、一方、前景物体が当該分割領域に存在する場合は頻度分布に複数の山部が現れることが期待できる。

【0058】

そこで、前景物体検出手段５２は、特性類似領域ごとに影領域および非影領域のそれぞれについて撮影画像の画素値の頻度分布を算出する。例えば、画素値の頻度分布は輝度値の頻度分布とすることができる。画素値の頻度分布はＲＧＢ成分値またはＨＳＶ成分値についての３次元の頻度分布とすることができる。

【0059】

そして、前景物体検出手段５２はいずれかの頻度分布が複数の山部を有する場合に監視空間に前景物体が存在すると判定する。

【0060】

画素値の頻度分布が単峰性か否かの違いに着目して前景物体を検出する本手法では、背景差分処理における２値化しきい値を適切に設定しないと前景物体の検出精度が低下するという問題が生じない。そのため、本手法はコントラスト低下によりしきい値の設定が難しくなる場合に特に有効である。そこで、非影領域よりコントラストが低下し易い影領域にて本手法を用い、非影領域では背景差分処理または背景相関処理などの他の手法で前景物体を検出する構成とすることもできる。

【0061】

また、前景物体検出手段５２は、複数の山部のうちの前景物体に帰属する山部（前景山部）を特定し、前景山部に属する画素の塊を前景物体領域として抽出する。前景山部は複数の山部のうちの背景構成物に係る山部（背景山部）以外の山部である。具体的には前景山部は、山部の頻度および画素値の少なくとも一方に基づいて特定することができる。山部の頻度に基づいて特定する場合は、例えば、最も高い山部を背景山部と特定し、それ以外の山部を前景山部と特定する。また、山部の画素値に基づいて特定する場合は、例えば、各分割領域における背景画像の画素値と一致する画素値を含む山部を背景山部と特定し、それ以外の山部を前景山部と特定する。また、頻度の高さと背景画像の画素値との類似度を総合評価する評価値を算出して、評価値が最大の山部を背景山部と特定し、それ以外の山部を前景山部と特定してもよい。

【0062】

ここまでに説明した、頻度分布に基づく前景物体の検出処理と前景物体領域の抽出処理とを行うために、前景物体検出手段５２は、前景物体領域抽出手段５２１を備える。

【0063】

前景物体領域抽出手段５２１は、各特性類似領域を影領域と非影領域とに分割して分割領域を設定し、各分割領域における正規化輝度ヒストグラム（以下、単に輝度ヒストグラム）を算出する。このとき、人のサイズよりも小さな分割領域など、検出対象とする前景物体よりも小さな分割領域は、頻度分布の分析対象とせず、後述する穴埋め処理で補う。

【0064】

なお、撮影画像がカラー画像である場合、前景物体領域抽出手段５２１は、撮影画像にグレースケール変換を施すことによって、ＲＧＢ成分値を輝度値に変換してから各輝度ヒストグラムを算出する。

【0065】

さらに、前景物体領域抽出手段５２１は、各輝度ヒストグラムが単峰性か否かを判定する。そして、前景物体領域抽出手段５２１は単峰性ではないと判定した輝度ヒストグラムにおいて前景山部を特定する。

【0066】

例えば、前景物体領域抽出手段５２１は、各輝度ヒストグラムを正規分布の数（分布数）が２である混合正規分布で近似して、２つの正規分布同士での平均値の差が予め定めたしきい値Ｔ_Ｍ以上であれば複数の山部が存在すると判定し、しきい値Ｔ_Ｍ未満であれば単峰性であると判定する。

【0067】

本実施形態では、複数の山部が存在すると判定した場合、前景物体領域抽出手段５２１は、分布数を予め定めた上限数Ｎ_Ｄまで１ずつ増加させながら混合正規分布の輝度ヒストグラムに対する近似度を算出して、近似度が最も高い分布数を特定する。そして、特定した分布数で近似した混合正規分布において、最も混合比が高い正規分布（すなわち最も高い山）を背景山部と特定し、それ以外の正規分布を前景山部と特定する。または、平均値と背景画像の輝度値との間の距離が最小の正規分布を背景山部と特定し、それ以外の正規分布を前景山部と特定してもよい。または、混合比が高いほど高く上記距離が短いほど高い評価値が最大の正規分布を背景山部と特定し、それ以外の正規分布を前景山部と特定してもよい。なお、隣接する任意の２つの山部は有意に分離するように制限することができ、例えば、２つの正規分布それぞれの平均値の間の距離が上述したしきい値Ｔ_Ｍのような下限距離以上となることを条件として課すことができる。

【0068】

前景物体領域抽出手段５２１は、分割領域ごとに前景山部の位置と共通する輝度値を有する画素を前景物体領域の画素として抽出し、各分割領域から抽出された前景物体領域のうちの隣接関係にある前景物体領域同士を１つに統合する。好適には、前景物体領域抽出手段５２１は、さらに、統合後の前景物体領域に穴埋め処理やノイズ除去処理などの補正処理を施す。

【0069】

ところで、前景物体領域は、撮影画像において背景画像との画素値の相違度が大きな強変化領域と、撮影画像において背景画像との画素値の相違度が小さな弱変化領域とを含み得る。そのうちの弱変化領域が、前景物体において背景構成物と似た色を有する部分である。ちなみに、強変化領域以外の領域（非強変化領域）には弱変化領域の他に、変化のない無変化領域も含まれ得る。

【0070】

強変化領域は従前の背景差分処理または背景相関処理によって容易に検出でき、強変化領域を除いた非強変化領域に対して上述の画素値の頻度分布の分析を行えば山部の検出や前景山部の特定が容易になる。

【0071】

そこで、前景物体検出手段５２は、撮影画像と背景画像との間で画素値の相違度が基準値Ｔ_Ｄ以下である非強変化領域を抽出し、非強変化領域について頻度分布の算出を行って、当該頻度分布における前景山部に属する画素を弱変化領域として抽出する。また、前景物体検出手段５２は、相違度が基準値Ｔ_Ｄを超える強変化領域を抽出し、隣接関係にある弱変化領域と強変化領域を１つにまとめることによって前景物体領域を抽出する。

【0072】

強変化領域と非強変化領域とを分ける基準値Ｔ_Ｄは、換言すれば弱変化領域に関する上限値であり、上述の画素値の頻度分布の分析に関し、濃い影の中の前景物体における暗色部分を含め、前景物体の背景と似た色の部分などの抽出し損ねを許容しつつ、余分な抽出が生じないように、予めの実験を通じて設定された値である。

【0073】

この変化領域の抽出を行うために、前景物体検出手段５２は変化領域抽出手段５２０を備える。すなわち、変化領域抽出手段５２０は、撮影画像と、背景情報記憶手段４２に記憶されている背景画像との間で背景差分処理を行い、差分値がＴ_Ｄを超える強変化領域と差分値がＴ_Ｄ以下である非強変化領域とを示す情報を前景物体領域抽出手段５２１に出力する。ここでは背景差分処理による差分値が、変化領域の変化強度を評価する相違度となる。なお、背景差分処理に代えて背景相関処理を用いる場合は、相関値を相違度に変換してＴ_Ｄを適用すればよい。

【0074】

この変化領域抽出手段５２０を備えて撮影画像を強変化領域と非強変化領域とに区分する構成では、前景物体領域抽出手段５２１は、各特性類似領域内の非強変化領域を影領域と非影領域とに分割して分割領域を設定し、各分割領域における輝度ヒストグラムを算出する。

【0075】

当該構成では強変化領域が除かれている分、輝度ヒストグラムの山部が少なくなる。また、輝度ヒストグラムに現れる山部は輝度値が比較的低い範囲に偏在する。そこで、前景物体領域抽出手段５２１は、分布数の上限値Ｎ_Ｄを低めに設定して混合正規分布による近似処理を行う。また、前景物体領域抽出手段５２１は、輝度ヒストグラムにおいて高輝度側および低輝度側の頻度値が連続して０である領域を除いて混合正規分布による近似処理を行う。このようにすることで山部の検出や前景山部の特定のための処理負荷を減じることができる。

【0076】

前景物体情報解析手段５３は、前景物体検出手段５２が出力した前景物体情報を解析して、解析結果を解析結果出力手段３１へ出力する。前景物体情報解析手段５３は例えば、前景物体から監視対象である物体を検出し、また当該物体の姿勢の推定、当該物体の追跡などを行う。

【0077】

解析結果出力手段３１は前景物体情報解析手段５３から入力された解析結果を報知部６へ出力する。

【0078】

［第１の実施形態に係る画像監視装置の動作］
図４は第１の実施形態に係る画像監視装置１の動作を説明する概略のフロー図である。

【0079】

画像処理部５は、撮影画像から対象を検知する処理に先立って背景情報生成手段５０として動作し、特性類似領域を算出する（ステップＳ１）。例えば、図３の反射特性マップ１００の例では、画像１０１～１０４それぞれの斜線領域が特性類似領域として得られる。背景情報生成手段５０は算出した特性類似領域を背景情報記憶手段４２に記憶させる。

【0080】

背景情報記憶手段４２に特性類似領域が記憶された状態にて、通信部３は撮影画像取得手段３０として動作し、カメラ２から撮影画像を順次取得する（ステップＳ２）。

【0081】

画像処理部５は、撮影画像取得手段３０から撮影画像を取得するごとに、背景情報生成手段５０として動作し、当該撮影画像に対応した背景画像を生成する（ステップＳ３）。また、画像処理部５は影抽出手段５１として動作して、背景画像にて背景構成物の影が形成されている領域を推定影領域として抽出する（ステップＳ４）。

【0082】

しかる後、画像処理部５は前景物体検出手段５２として動作し、撮影画像における前景物体を検出し前景物体情報を生成する（ステップＳ５）。

【0083】

図５は前景物体検出処理Ｓ５の概略のフロー図である。前景物体検出手段５２における変化領域抽出手段５２０は撮影画像を、背景画像との相違度に関する基準値Ｔ_Ｄに基づいて区分し、強変化領域と非強変化領域を抽出する（ステップＳ５００）。

【0084】

図６は変化領域抽出手段５２０の処理を説明する画像の模式図である。画像２００は撮影画像の一例であり、また画像２０１，２０２は撮影画像２００から抽出される強変化領域および非強変化領域それぞれを示している。撮影画像２００には、左上から右下への斜線のハッチングで示す日陰領域２１０と、歩道領域の非影領域に立つ人物２１１とが示されている。人物２１１は黒い頭髪で黒い服（右上から左下への斜線のハッチング部分）を着用しており基本的に暗色であり、日陰領域２１０に近い輝度値を有する。一方、人物２１１の顔および手は頭髪や服よりも高輝度である。変化領域抽出手段５２０は、撮影画像２００と背景画像との差分画像の画素値を基準値Ｔ_Ｄと比較して強変化領域、非強変化領域を求める。その結果、画像２０１には画素値がＴ_Ｄを超える強変化領域２２０として人物２１１の顔および両手が抽出されている。一方、画像２０２の斜線部が非強変化領域を示しており、撮影画像２００のうち背景部分および人物２１１の顔・手以外の部分についての差分画素値がＴ_Ｄ以下であり、非強変化領域として抽出されたことを示している。ちなみに、非強変化領域のうち背景部分は無変化領域であり、人物２１１の頭髪・服は弱変化領域となる。

【0085】

変化領域抽出手段５２０による強変化領域、非強変化領域の抽出結果は前景物体領域抽出手段５２１に渡される。前景物体領域抽出手段５２１は特性類似領域ごとに分割領域として影領域と非影領域とを設定するが、本実施形態では、当該分割領域の設定を非強変化領域のみにて行う（ステップＳ５０１）。

【0086】

図７は前景物体領域抽出手段５２１による分割領域の設定例を示す画像の模式図であり、図６の撮影画像２００に対応した例である。ここでは説明を簡単にするため、影抽出手段５１による推定影領域は撮影画像２００の日陰領域２１０と一致しているものとする。図７の画像３００～３３５の斜線部が分割領域である。ここでは上述のように分割領域は図４の画像２０２に示す非強変化領域を特性類似領域ごとに、また影領域と非影領域とに分割して設定される。具体的には、反射特性ＩＤの値をｒとすると、画像３００に示す分割領域は、ｒ＝１の非影領域であり、画像３０５に示す分割領域は、ｒ＝１の影領域である。また、画像３１０，３１５に示す分割領域はそれぞれｒ＝２の非影領域、影領域であり、同様に、画像３２０，３２５はそれぞれｒ＝３の非影領域、影領域であり、画像３３０，３３５はそれぞれｒ＝４の非影領域、影領域である。

【0087】

図８は画像３００～３３５に示す分割領域の輝度ヒストグラムの模式図であり、横軸Ｉが輝度、縦軸Ｆが頻度を表す。輝度ヒストグラム４００，４０５，４１０，４１５，４２０，４２５，４３０，４３５はそれぞれ画像３００，３０５，３１０，３１５，３２０，３２５，３３０，３３５の分割領域に対応する。例えば、人物２１１の非強変化領域は図４の撮影画像２００に示すように、歩道の非影領域および影領域と建物の壁の非影領域および影領域とに存在し、よって、画像３００，３０５，３２０，３２５の分割領域には背景構成物の他に、前景物体として人物が写っている。これに対応して、輝度ヒストグラム４００，４０５，４２０，４２５には２つの山部が現れている。これに対し、画像３１０，３１５，３３０，３３５の分割領域には背景構成物しか写っておらず、輝度ヒストグラム４１０，４１５，４３０，４３５は単峰となっている。

【0088】

前景物体領域抽出手段５２１はステップＳ５０１にて設定した各分割領域を順次、注目領域に設定して（ステップＳ５０２）、ステップＳ５０３～Ｓ５０５の処理をループ処理で全分割領域に対して行う（ステップＳ５０６）。

【0089】

当該ループ内にて、前景物体領域抽出手段５２１は、撮影画像における注目領域内の画素群についての輝度ヒストグラムを算出する（ステップＳ５０３）。これにより、図７の分割領域のうち注目領域に設定されているものについて図８に示す輝度ヒストグラムが算出される。

【0090】

そして、前景物体領域抽出手段５２１は、当該輝度ヒストグラムに存在する山部が複数であるか単一であるかを判定する処理を行い、山部が複数ある場合は（ステップＳ５０４にて「ＹＥＳ」の場合）、それら山部のうち前景山部を特定し、前景山部に属する画素を前景物体領域に設定する（ステップＳ５０５）。一方、輝度ヒストグラムが単一の山部を有する場合（ステップＳ５０４にて「ＮＯ」の場合）、ステップＳ５０５は省略される。

【0091】

ちなみに、ステップＳ５０４において山部が複数存在すると判定された時点（またはステップＳ５０５にて前景物体領域が設定された時点）で、本発明の物体検出装置による前景物体の検出がなされたことになる。

【0092】

前景物体領域抽出手段５２１は、このステップＳ５０３～Ｓ５０５の処理を全分割領域について終えていない場合（ステップＳ５０６にて「ＮＯ」の場合）、処理をステップＳ５０２に戻して未処理の分割領域を注目領域に設定してループ処理を繰り返す。

【0093】

一方、全ての分割領域についてループ処理を終えると（ステップＳ５０６にて「ＹＥＳ」の場合）、前景物体領域抽出手段５２１は、隣接関係にある前景物体領域同士とそれらに隣接する強変化領域とを統合する（ステップＳ５０７）。

【0094】

図９はステップＳ５０７の処理例を説明する模式図であり、図７、図８の例に対応している。画像３００，３０５，３２０，３２５に示す分割領域に対応する輝度ヒストグラム４００，４０５，４２０，４２５が複数の山部を有するので、それら画像からそれぞれステップＳ５０５にて前景物体領域が抽出される。図９の画像５００，５１０，５２０，５３０の斜線部で示した領域は、それぞれ画像３００，３０５，３２０，３２５の分割領域から抽出された前景物体領域である。画像５４０はステップＳ５０７にてこれら前景物体領域をまとめた結果を示している。具体的には、図６の撮影画像２００に写る人物２１１の頭髪・服に起因する弱変化領域が画像５４０にて斜線領域として得られる。

【0095】

一方、画像５５０は画像２０１の強変化領域２２０を斜線部で示している。具体的には、撮影画像２００に写る人物２１１の顔・手が当該斜線部に対応する。

【0096】

画像５６０は、画像５４０に示す非強変化領域から抽出された前景物体領域の斜線部と画像５５０に示す強変化領域として抽出された前景物体領域とを統合するステップＳ５０７の処理結果を示している。具体的には、撮影画像２００にて人物２１１が写る領域が斜線部で示す前景物体領域として得られる。

【0097】

さらに、前景物体領域抽出手段５２１は統合後の前景物体領域に補正処理を施す（ステップＳ５０８）。当該補正処理では、小さな特性類似領域を分析対象から外したことを補償するための穴埋め処理や、２値化処理などで生じる１画素ないし数画素のごま塩ノイズを除去する処理が行われる。また、当該補正処理は、影抽出手段５１による抽出に誤差があった場合に、影領域と非影領域との境界部分が背景差分にて大きな画素値を有し輝度ヒストグラムにて山部を生じ前景物体領域として誤検出されることを防ぐための処理を含む。具体的には、境界部分と前景物体領域との形状を比較して、それらの一致度が予め定めたしきい値Ｔ_Ｂ以上である前景物体領域を誤検出であるとして削除する。

【0098】

以上説明した前景物体検出手段５２による前景物体検出処理Ｓ５にて前景物体情報が生成され、画像処理部５は処理を図４のステップＳ６に進める。

【0099】

画像処理部５は前景物体情報解析手段５３として動作し、前景物体情報解析手段５３は前景物体検出手段５２から入力された前景物体情報を解析して、解析結果を解析結果出力手段３１に出力する（ステップＳ６）。そして、解析結果出力手段３１は前景物体情報解析手段５３から入力された解析結果を報知部６へ出力する（ステップＳ７）。

【0100】

ステップＳ２にて取得された撮影画像に対して以上の処理を終えると、処理は再びステップＳ２に戻され、新たに取得される撮影画像に対して上述したステップＳ３～Ｓ７の処理が繰り返される。

【0101】

以上のように、特性類似領域ごとの影領域および特性類似領域ごとの非影領域に分けて検出処理を行うことで、各分割領域では、影領域への帰属の有無を含めて当該分割領域に撮影され得る背景構成物の画素値が略単一となるため、分割領域における画素値の頻度分布は前景物体が存在しなければ単峰性を示し、前景物体が存在すれば複数の山部を有する。よって、暗色部分を有して影領域内に存在する前景物体をはじめとする背景構成物と似た色を有する前景物体を含めて前景物体を精度良く検出することが可能となる。

【0102】

［第２の実施形態に係る画像監視装置の機能］
第２の実施形態に係る画像監視装置の構成要素のうち、第１の実施形態と基本的に同一の構成要素には同一の符号を付して第１の実施形態での説明を援用しここでの説明の簡素化を図ることとする。

【0103】

第２の実施形態に係る画像監視装置１の概略の機能ブロック図は第１の実施形態の図２と共通である。但し、第２の実施形態は前景物体検出手段５２の処理内容において第１の実施形態と相違する。以下、主に当該相違点について説明する。

【0104】

第１の実施形態の前景物体検出手段５２は、分割領域ごとの処理にて、輝度ヒストグラムにおける背景山部や前景山部を特定し前景物体領域を抽出した。これに対し、本実施形態の前景物体検出手段５２は背景山部・前景山部を特定する処理を行わない。本実施形態の前景物体検出手段５２における前景物体領域抽出手段５２１は、撮影画像と背景画像との画素値の相違度を補正し、それを用いて弱変化領域を抽出することによって、前景物体の検出や前景物体領域の抽出を行う。

【0105】

すなわち、本実施形態の前景物体領域抽出手段５２１は、撮影画像の画素ごとに背景画像との間で画素値の相違度を算出するとともに、特性類似領域ごとの影領域を補正対象領域として当該補正対象領域ごとに撮影画像の各画素値の頻度を算出し、補正対象領域の画素については当該画素に関する当該頻度が低いほど大きな補正値を相違度に加算する補正を行う。そして、前景物体領域抽出手段５２１は当該補正後、撮影画像内にて相違度が予め定めたしきい値を超える画素が存在する場合に監視空間に前景物体が存在すると判定する。

【0106】

また、好適には、前景物体領域抽出手段５２１は特性類似領域ごとの非影領域についても補正対象領域とし、上述の影領域に対すると同様の処理を行う。つまり、この場合は、特性類似領域ごとの影領域と非影領域とのそれぞれを補正対象領域とする。

【0107】

なお、本実施形態では非強変化領域のみにて補正対象領域を設定するが、強変化領域を除外せずに補正対象領域を設定する構成としてもよい。

【0108】

相違度Ｄに加算する補正値Ｃは、例えば次式で定義する、各輝度値に対するボーナス値に応じて定めることができる。

【0109】

【数1】

【0110】

ここで、ｉは注目する輝度値であり、Ｂ_ｉは輝度値ｉに対するボーナス値である。また、輝度値は０～２５５の２５６階調とし、右辺の総和Σにおける変数ｊは輝度値であり、ｆ_ｊは輝度ヒストグラムにおける輝度値ｊの頻度を表す。なお、頻度ｆ_ｊとして相対度数を用いることができる。Ｍ_ｉは、ｆ_ｊ＞０のときに１、それ以外のときに０となる変数である。

【0111】

このＢ_ｉが頻度ｆ_ｉが低いほど大きな値となることは、輝度ｊに関する総和にて、ｊ＝ｉの項は０となりＢ_ｉに寄与せず、Ｂ_ｉに寄与するのは、|ｉ－ｊ|＞０となるｊ≠ｉの項の和（Σ_ｊ≠ｉとする）であるところ、ｆ_ｉが大きくなると相対的にΣ_ｊ≠ｉが小さくなり、逆にｆ_ｉが小さくなるとΣ_ｊ≠ｉが大きくなることから定性的に理解される。

【0112】

前景物体領域抽出手段５２１は、分割領域ごとに、各輝度値ｉに対するボーナス値Ｂ_ｉを算出し、各分割領域における非強変化領域の各画素の相違度Ｄ_０を次式に従い補正する。

【0113】

Ｄ_Ｃ＝Ｄ_０＋Ｃ
Ｃ＝α・Ｂ_ｉ

【0114】

ここで、Ｃは補正値、Ｄ_Ｃは補正後の相違度である。Ｂ_ｉは補正対象の画素が帰属する分割領域について算出された、当該画素の輝度値ｉに対応するボーナス値である。αはボーナス値による補正の程度を加減するための調整係数であり、正の定数である。例えば、αは事前の実験を通じて予め定められる。

【0115】

なお、補正に用いるボーナス値に下限値を設けてもよい。その場合、前景物体領域抽出手段５２１は、補正対象領域の画素のうち、予め定めたしきい値Ｔ_Ｆ以上のボーナス値Ｂ_ｉを与える画素値ｉを有した画素に対してのみ、ボーナス値Ｂ_ｉを用いた上述の補正を行う。

【0116】

［第２の実施形態に係る画像監視装置の動作］
第２の実施形態の画像監視装置１は図４のフロー図と共通の動作をする。但し、前景物体検出処理Ｓ５の内容において第１の実施形態と相違点を有する。図１０は第２の実施形態における前景物体検出処理Ｓ５の概略のフロー図である。以下、図１０の前景物体検出処理Ｓ５を説明する。

【0117】

変化領域抽出手段５２０は、撮影画像の各画素の背景画像に対する相違度を算出する（ステップＳ５１０）。この相違度の算出処理は第１の実施形態と同様にして行うことができる。変化領域抽出手段５２０は、相違度に基づいて強変化領域と非強変化領域を抽出する(ステップＳ５１１）。この処理も第１の実施形態と同様とすることができる。そして、変化領域抽出手段５２０は、強変化領域および非強変化領域の情報とともに各画素の相違度を前景物体領域抽出手段５２１に出力する。

【0118】

前景物体領域抽出手段５２１は、第１の実施形態と同様に各特性類似領域内の非強変化領域を影領域と非影領域とに分割して分割領域を設定する（ステップＳ５１２）。

【0119】

前景物体領域抽出手段５２１はステップＳ５１２にて設定した各分割領域を順次、注目領域に設定して（ステップＳ５１３）、ステップＳ５１４～Ｓ５１６の処理をループ処理で全分割領域に対して行う（ステップＳ５１７）。

【0120】

当該ループ内にて、前景物体領域抽出手段５２１は、撮影画像における注目領域内の画素群についての輝度ヒストグラムを算出する（ステップＳ５１４）。前景物体領域抽出手段５２１は注目領域の各画素に対して、当該輝度ヒストグラムに基づいて上述のボーナス値Ｂ_ｉを算出する。そして、注目領域の各画素について、ステップＳ５１０で算出された相違度Ｄ_０に対し、ボーナス値Ｂ_ｉに対応して当該画素の画素値ｉの頻度が低いほど大きくなる補正値Ｃを加算して、補正された相違度Ｄ_Ｃを求める（ステップＳ５１５）。

【0121】

前景物体領域抽出手段５２１は、非強変化領域にて注目領域に設定した分割領域の各画素の補正後の相違度を予め定めた基準値Ｔ_Ｃと比較し、補正後の相違度Ｄ_ＣがＴ_Ｃを超える画素を弱変化領域の画素と判定する。そして、前景物体領域抽出手段５２１は、隣接関係にある弱変化領域と強変化領域とを１つにまとめることによって前景物体領域を抽出する（ステップＳ５１６）。基準値Ｔ_Ｃは予めの実験を通じて設定することができる。また、上述した強変化領域と非強変化領域とを区分した基準値Ｔ_Ｄと共通の値を基準値Ｔ_Ｃとして用いることができるように、ボーナス値Ｂ_ｉ又は係数αを定義し、相違度に対する補正値Ｃを定めてもよい。

【0122】

前景物体領域抽出手段５２１は、このステップＳ５１４～Ｓ５１６の処理を全分割領域について終えていない場合（ステップＳ５１７にて「ＮＯ」の場合）、処理をステップＳ５１３に戻して未処理の分割領域を注目領域に設定してループ処理を繰り返す。

【0123】

一方、全ての分割領域についてループ処理を終えると（ステップＳ５１７にて「ＹＥＳ」の場合）、前景物体領域抽出手段５２１は、隣接関係にある前景物体領域同士とそれらに隣接する強変化領域とを統合する（ステップＳ５１８）。

【0124】

さらに、前景物体領域抽出手段５２１は統合後の前景物体領域に、第１の実施形態と同様に補正処理を施す（ステップＳ５１９）。

【0125】

以上が第２の実施形態における前景物体検出処理Ｓ５であり、画像処理部５は当該処理にて前景物体情報を生成し、処理を図４のステップＳ６に進める。

【0126】

以上のように、特性類似領域ごとの影領域および特性類似領域ごとの非影領域に分けて補正対象領域を設定することで、各補正対象領域では、影領域への帰属の有無を含めて当該補正対象領域に撮影され得る背景構成物の輝度値が略単一となるため、当該補正対象領域における画素値の頻度分布は背景構成物に係るひとつの高い山部を含むものとなり、前景物体が存在すれば当該前景物体に係る低い山部を含むものとなる。よって、撮影画像の画素ごとの背景画像との画素値の相違度に対して、当該画素に対する頻度が低いほど大きな補正値を加算する補正を行うことで前景物体に係る画素ほど相違度が大きく補正されるため、暗色部分を有して影領域内に存在する前景物体をはじめとする背景構成物と似た色を有する前景物体を含めて前景物体を精度良く検出することが可能となる。

【0127】

［変形例］
（１）上記各実施形態においては背景情報生成手段５０が環境モデルをレンダリングして特性類似領域を算出する例を示したが、背景情報生成手段５０が背景画像に対してセマンティックセグメンテーションと呼ばれる処理を適用することによって特性類似領域を算出することもできる。

【0128】

なお、セマンティックセグメンテーションについては、例えば、"Pyramid Scene Parsing Network" Hengshuang Zhao, et al. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017 や、"DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs" LC Chen, et al. IEEE transactions on pattern analysis and machine intelligence 40 (4), 834-848に記されている。

【0129】

その場合、記憶部４には、背景構成物の画像と監視空間に現れるであろう物体の画像とを含んだ背景・前景構成物の画像のそれぞれを、予め学習した学習済モデルを記憶させておく。そして、背景情報生成手段５０は、その学習済モデルを用いた撮影画像の探索によって、撮影画像全体を背景・前景構成物ごとの領域に区分し、区分した領域のうちの背景構成物の領域それぞれに互いに異なる反射特性ＩＤを付与することによって特性類似領域を算出する。

【0130】

（２）上記各実施形態およびその変形例においては、視野が固定され、カメラパラメータが一定値であるカメラ２の例を説明したが、パン、チルト、ズームが可能なＰＴＺカメラのように、または車載カメラ、空撮カメラなどのように、カメラパラメータが変化するカメラ２を利用することもできる。その場合、画像処理部５はカメラパラメータの変化を検出した場合に特性類似領域を更新する。

【0131】

例えば、カメラ２が撮影時のカメラパラメータを都度算出して撮影画像とともに出力する。図４に示した処理フローのステップＳ２において、撮影画像取得手段３０は入力されたカメラパラメータを背景情報生成手段５０に出力し、背景情報生成手段５０は入力されたカメラパラメータをカメラ情報記憶手段４１に記憶されているカメラパラメータと比較して一致するか否かを判定し、一致しなければ入力されたカメラパラメータをカメラ情報記憶手段４１に上書き記憶させるとともに図４のステップＳ１と同様にして特性類似領域を算出し、算出した特性類似領域を背景情報記憶手段４２に上書き記憶させる。

【符号の説明】

【0132】

１ 画像監視装置、２ カメラ、３ 通信部、４ 記憶部、５ 画像処理部、６ 報知部、３０ 撮影画像取得手段、３１ 解析結果出力手段、４０ 環境モデル記憶手段、４１ カメラ情報記憶手段、４２ 背景情報記憶手段、５０ 背景情報生成手段、５１ 影抽出手段、５２ 前景物体検出手段、５３ 前景物体情報解析手段、１００ 反射特性マップ、５２０ 変化領域抽出手段、５２１ 前景物体領域抽出手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】