特許 6097150 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6097150

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20170306BHJP

   G08B 13/194 20060101ALI20170306BHJP

   H04N 7/18 20060101ALI20170306BHJP

【ＦＩ】

   G06T7/60 180D

   G08B13/194

   H04N7/18 D

【請求項の数】9

【全頁数】27

(21)【出願番号】特願2013-110264(P2013-110264)

(22)【出願日】2013年5月24日

(65)【公開番号】特開2014-229210(P2014-229210A)

(43)【公開日】2014年12月8日

【審査請求日】2015年12月24日

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】佐野 弘長

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１０−０３９５８０（ＪＰ，Ａ）

【文献】 特開２０１２−２０８８７８（ＪＰ，Ａ）

【文献】 特開２０１２−２３６２４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０８Ｂ １３／１９４−１３／１９６，２５／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

画像に含まれる物体を検出する検出部と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定部と
を具備し、
前記遮蔽物領域は、前記画像において登録されている登録領域の境界または境界付近に設置される物体であって前記検出された物体を遮蔽する遮蔽物の領域であり、
前記判定部は、前記画像において前記検出された物体と前記登録領域とが重複し、かつ、前記画像において前記検出された物体と前記遮蔽物領域とが重複する場合に、前記位置関係を判定し、当該判定結果に基づいて前記検出された物体が前記登録領域に侵入したか否かを判定する
画像処理装置。

【請求項2】

前記判定部は、前記検出された物体および前記遮蔽物領域の前記画像における重複領域について、前記画像における前記検出された物体の前記重複領域に含まれる特徴量と記憶部に記憶されている前記遮蔽物領域における前記重複領域に含まれる特徴量とを比較して当該比較結果に基づいて前記位置関係を判定する請求項１記載の画像処理装置。

【請求項3】

前記判定部は、前記検出された物体の前記重複領域に含まれる画素と、前記遮蔽物領域における前記重複領域に含まれる画素とを比較して前記重複領域における画素の類似度に基づいて、前記位置関係を判定する請求項２記載の画像処理装置。

【請求項4】

画像に含まれる物体を検出する検出部と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定部と
を具備し、
前記検出部は、前記画像に含まれる動物体を検出し、
前記判定部は、前記検出された動物体に関するサイズ情報と、前記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて前記検出された動物体に関するオクルージョンの発生の有無を判定する
画像処理装置。

【請求項5】

前記判定部は、前記オクルージョンが発生していると判定された場合には、前記遮蔽物領域の両側に隣接する複数の動物体を１つの動物体であると判定する請求項４記載の画像処理装置。

【請求項6】

画像に含まれる物体を検出する検出手順と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
を具備し、
前記遮蔽物領域は、前記画像において登録されている登録領域の境界または境界付近に設置される物体であって前記検出された物体を遮蔽する遮蔽物の領域であり、
前記判定手順において、前記画像において前記検出された物体と前記登録領域とが重複し、かつ、前記画像において前記検出された物体と前記遮蔽物領域とが重複する場合に、前記位置関係を判定し、当該判定結果に基づいて前記検出された物体が前記登録領域に侵入したか否かを判定する
画像処理方法。

【請求項7】

画像に含まれる物体を検出する検出手順と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
を具備し、
前記検出手順において、前記画像に含まれる動物体を検出し、
前記判定手順において、前記検出された動物体に関するサイズ情報と、前記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて前記検出された動物体に関するオクルージョンの発生の有無を判定する
画像処理方法。

【請求項8】

画像に含まれる物体を検出する検出手順と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
をコンピュータに実行させるプログラムであって、
前記遮蔽物領域は、前記画像において登録されている登録領域の境界または境界付近に設置される物体であって前記検出された物体を遮蔽する遮蔽物の領域であり、
前記判定手順において、前記画像において前記検出された物体と前記登録領域とが重複し、かつ、前記画像において前記検出された物体と前記遮蔽物領域とが重複する場合に、前記位置関係を判定し、当該判定結果に基づいて前記検出された物体が前記登録領域に侵入したか否かを判定する
プログラム。

【請求項9】

画像に含まれる物体を検出する検出手順と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
をコンピュータに実行させるプログラムであって、
前記検出手順において、前記画像に含まれる動物体を検出し、
前記判定手順において、前記検出された動物体に関するサイズ情報と、前記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて前記検出された動物体に関するオクルージョンの発生の有無を判定する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置に関する。詳しくは、画像を扱う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

【背景技術】

【0002】

従来、人物等の被写体を撮像して画像（画像データ）を生成する撮像装置等の画像処理装置が普及している。また、そのように生成された画像に含まれる人物や動物体等の物体を検出する被写体認識技術が提案されている。

【0003】

例えば、輝度や色等の特徴量を用いた画像処理により画像に含まれる人物の顔を検出する画像処理装置が提案されている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−１３１４０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の従来技術によれば、画像に含まれる人物や動物体等の物体を検出することができる。

【0006】

ここで、例えば、被写体を撮像する機器（例えば、撮像装置）の撮像範囲に、検出対象となる物体と他の物体とが存在する場合を想定する。例えば、円周状の侵入禁止領域の境界に設置されている柵（他の物体）と、その侵入禁止領域の付近に存在する人物（検出対象となる物体）とが存在する場合を想定する。この場合には、例えば、その侵入禁止領域の付近に存在する人物を検出することができるが、その侵入禁止領域に人物が侵入したか否かを正確に判定することは困難であることが想定される。そこで、例えば、画像の奥行方向における柵と人物との位置関係を判定することができれば、その侵入禁止領域に人物が侵入したか否かを正確に判定することができると考えられる。

【0007】

本技術はこのような状況に鑑みて生み出されたものであり、物体の検出精度を高めることを目的とする。

【課題を解決するための手段】

【0008】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像に含まれる物体を検出する検出部と、上記画像において上記検出された物体と遮蔽物領域とが重複する場合に上記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて上記画像の奥行方向における上記検出された物体と上記遮蔽物領域との位置関係を判定する判定部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像において検出された物体と遮蔽物領域とが重複する場合に、その検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて、その画像の奥行方向におけるその検出された物体と遮蔽物領域との位置関係を判定するという作用をもたらす。

【0009】

また、この第１の側面において、上記判定部は、上記検出された物体および上記遮蔽物領域の上記画像における重複領域について、上記画像における上記検出された物体の上記重複領域に含まれる特徴量と記憶部に記憶されている上記遮蔽物領域における上記重複領域に含まれる特徴量とを比較して当該比較結果に基づいて上記位置関係を判定するようにしてもよい。これにより、検出された物体および遮蔽物領域の画像における重複領域について、その検出された物体の重複領域に含まれる特徴量と、記憶部に記憶されている遮蔽物領域における重複領域に含まれる特徴量とを比較し、この比較結果に基づいてその位置関係を判定するという作用をもたらす。

【0010】

また、この第１の側面において、上記判定部は、上記検出された物体の上記重複領域に含まれる画素と、上記遮蔽物領域における上記重複領域に含まれる画素とを比較して上記重複領域における画素の類似度に基づいて、上記位置関係を判定するようにしてもよい。これにより、検出された物体の重複領域に含まれる画素と、遮蔽物領域における重複領域に含まれる画素とを比較し、その重複領域における画素の類似度に基づいて、その位置関係を判定するという作用をもたらす。

【0011】

また、この第１の側面において、上記遮蔽物領域は、上記画像において登録されている登録領域の境界または境界付近に設置される物体であって上記検出された物体を遮蔽する遮蔽物の領域であり、上記判定部は、上記画像において上記検出された物体と上記登録領域とが重複し、かつ、上記画像において上記検出された物体と上記遮蔽物領域とが重複する場合に、上記位置関係を判定し、当該判定結果に基づいて上記検出された物体が上記登録領域に侵入したか否かを判定するようにしてもよい。これにより、画像において検出された物体と登録領域とが重複し、かつ、その画像において検出された物体と遮蔽物領域とが重複する場合に、その位置関係を判定し、この判定結果に基づいてその検出された物体が登録領域に侵入したか否かを判定するという作用をもたらす。

【0012】

また、この第１の側面において、上記検出部は、上記画像に含まれる動物体を検出し、上記判定部は、上記検出された動物体に関するオクルージョンの発生の有無を判定するようにしてもよい。これにより、検出された動物体に関するオクルージョンの発生の有無を判定するという作用をもたらす。

【0013】

また、この第１の側面において、上記判定部は、上記検出された動物体に関するサイズ情報と、上記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて上記オクルージョンの発生の有無を判定するようにしてもよい。これにより、検出された動物体に関するサイズ情報と、画像においてその動物体の直前に検出された動物体に関するサイズ情報とを比較し、この比較結果に基づいてオクルージョンの発生の有無を判定するという作用をもたらす。

【0014】

また、この第１の側面において、上記判定部は、上記オクルージョンが発生していると判定された場合には、上記遮蔽物領域の両側に隣接する複数の動物体を１つの動物体であると判定するようにしてもよい。これにより、オクルージョンが発生していると判定された場合には、遮蔽物領域の両側に隣接する複数の動物体を１つの動物体であると判定するという作用をもたらす。

【発明の効果】

【0015】

本技術によれば、物体の検出精度を高めることができるという優れた効果を奏し得る。

【図面の簡単な説明】

【0016】

【図1】本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。

【図2】本技術の第１の実施の形態における画像処理装置１００による各処理に用いられる背景画像、登録領域および遮蔽物領域の一例を示す図である。

【図3】本技術の第１の実施の形態における画像取得部１３０により取得された画像における登録領域および物体の関係例を示す図である。

【図4】本技術の第１の実施の形態における記憶部１１０に記憶される登録領域情報および登録領域の関係例を示す図である。

【図5】本技術の第１の実施の形態における記憶部１１０に記憶される遮蔽物領域情報および遮蔽物領域の関係例を示す図である。

【図6】本技術の第１の実施の形態における検出部１４０による物体検出処理の検出結果を示す図である。

【図7】本技術の第１の実施の形態における画像処理装置１００による物体の侵入判定処理の処理手順の一例を示すフローチャートである。

【図8】本技術の第１の実施の形態における画像処理装置１００による物体の侵入判定処理のうちの物体検出処理の一例を示すフローチャートである。

【図9】本技術の第２の実施の形態における記憶部１１０に記憶される遮蔽物領域情報および遮蔽物領域の関係例を示す図である。

【図10】本技術の第２の実施の形態における検出部１４０による動物体検出処理の検出結果を示す図である。

【図11】本技術の第２の実施の形態における検出部１４０による動物体検出処理の検出結果を示す図である。

【図12】本技術の第２の実施の形態における判定部１５０による動物体検出情報の補正例を示す図である。

【図13】本技術の第２の実施の形態における画像処理装置１００によるオクルージョン判定処理の処理手順の一例を示すフローチャートである。

【図14】本技術の第３の実施の形態における画像処理システム４００の構成例を示す図である。

【図15】本技術の第３の実施の形態における画像処理システム５００の構成例を示す図である。

【発明を実施するための形態】

【0017】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（遮蔽物領域情報を用いて物体の侵入判定処理を行う例）
２．第２の実施の形態（遮蔽物領域情報を用いてオクルージョン判定処理を行う例）
３．第３の実施の形態（複数の装置により構成される画像処理システムの例）
４．変形例

【0018】

＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。

【0019】

画像処理装置１００は、記憶部１１０と、設定部１２０と、画像取得部１３０と、検出部１４０と、判定部１５０と、出力部１６０とを備える。画像処理装置１００は、例えば、登録領域（例えば、侵入禁止領域）への侵入者を監視するための撮像装置（例えば、監視カメラ）や物体検出装置により実現される。また、本技術の第１の実施の形態では、監視対象となる撮像範囲を固定する画像処理装置（例えば、監視対象となる撮像範囲を撮像する撮像部を固定する画像処理装置）を例にして説明する。

【0020】

記憶部１１０は、背景画像に関する情報（背景画像情報）と、登録領域に関する情報（登録領域情報）と、遮蔽物領域に関する情報（遮蔽物領域情報）とを記憶するものである。そして、記憶部１１０は、記憶されている背景画像情報を検出部１４０に供給し、記憶されている登録領域情報および遮蔽物領域情報を判定部１５０に供給する。

【0021】

ここで、背景画像は、監視対象となる撮像範囲に対応する画像であって、侵入した物体（例えば、侵入者）が存在しない画像を意味する。背景画像は、例えば、図２のａに示す背景画像２００である。また、背景画像については、図２のａを参照して詳細に説明する。

【0022】

また、登録領域は、設定部１２０により設定された領域（登録領域（例えば、侵入禁止領域））を意味する。登録領域は、例えば、図２のｂに示す登録領域２１１である。また、登録領域については、図２のｂを参照して詳細に説明する。また、登録領域情報については、図４を参照して詳細に説明する。

【0023】

また、遮蔽物領域は、登録領域または登録領域の付近のうち、侵入した物体により遮蔽される可能性がある物体（遮蔽物）に対応する領域（遮蔽物領域）を意味する。この遮蔽物は、例えば、侵入禁止領域の境界または境界付近に設置されている柵（例えば、図２のａに示す柵２０２）である。また、遮蔽物領域は、例えば、図２のｂに示す遮蔽物領域２１２である。なお、遮蔽物領域は、設定部１２０により設定される。また、遮蔽物領域については、図２のｂを参照して詳細に説明する。また、遮蔽物領域情報については、図５を参照して詳細に説明する。

【0024】

設定部１２０は、登録領域および遮蔽物領域のそれぞれを設定するものである。例えば、設定部１２０は、背景画像において、ユーザによる手動操作により指定された領域を登録領域として設定することができる。また、例えば、設定部１２０は、その設定された登録領域または登録領域の付近において、ユーザによる手動操作により指定された領域を遮蔽物領域として設定することができる。また、設定された登録領域に関する登録領域情報と、設定された遮蔽物領域に関する遮蔽物領域情報とのそれぞれが関連付けて記憶部１１０に記憶される。

【0025】

画像取得部１３０は、各処理（物体検出処理、物体の侵入判定処理）に用いられる画像（画像データ）を取得するものであり、取得された画像を検出部１４０および判定部１５０に出力する。例えば、画像取得部１３０は、被写体を撮像して画像を生成する撮像部により実現される。この撮像部は、例えば、光学系（複数のレンズ）、撮像素子、信号処理部より構成される。また、例えば、画像取得部１３０は、他の撮像装置により生成された画像を取得するようにしてもよい。なお、本技術の実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの両方の意味を含むものとする。

【0026】

検出部１４０は、記憶部１１０に記憶されている背景画像情報に基づいて、画像取得部１３０から出力された画像に含まれる物体を検出するものである。そして、検出部１４０は、その検出された物体に関する物体検出情報（検出結果）を判定部１５０に出力する。例えば、検出部１４０は、背景差分法を用いて物体を検出することができる。ここで、背景差分法は、予め記憶されている背景画像（標準パターン）と入力画像とを比較し、この比較結果に基づいて、濃度差のある部分は何らかの変化があったと判定する物体検出方法である。なお、フレーム間差分法等の他の物体検出方法を用いて物体を検出するようにしてもよい。ここで、フレーム間差分法は、現在の入力画像と前回の入力画像との差分を算出し、この差分値の大きい領域を移動物体として検出する動物体検出方法である。

【0027】

判定部１５０は、検出部１４０により検出された物体が登録領域（例えば、侵入禁止領域）に侵入したか否かを判定するものであり、その判定結果を出力部１６０に出力する。例えば、判定部１５０は、記憶部１１０に記憶されている登録領域情報および遮蔽物領域情報と、検出部１４０から出力された物体検出情報とに基づいて、検出部１４０により検出された物体が登録領域（例えば、侵入禁止領域）に侵入したか否かを判定する。

【0028】

例えば、判定部１５０は、画像取得部１３０から出力された画像において検出された物体と遮蔽物領域とが重複する場合に、画像の奥行方向におけるその検出された物体と遮蔽物領域との位置関係を判定する。例えば、判定部１５０は、その検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいてその位置関係を判定する。この場合に、判定部１５０は、その検出された物体および遮蔽物領域の重複領域について、その検出された物体の重複領域に含まれる特徴量と、記憶部１１０に記憶されている遮蔽物領域情報における重複領域に含まれる特徴量とを比較する。そして、判定部１５０は、その比較結果に基づいてその位置関係を判定する。例えば、判定部１５０は、その検出された物体の重複領域に含まれる画素と、遮蔽物領域における重複領域に含まれる画素とを比較し、その重複領域における画素の類似度に基づいてその位置関係を判定する。

【0029】

また、例えば、判定部１５０は、画像において検出された物体と登録領域とが重複し、かつ、その検出された物体と遮蔽物領域とが重複する場合に、その位置関係を判定し、この判定結果に基づいてその検出された物体が登録領域に侵入したか否かを判定する。

【0030】

例えば、検出部１４０および判定部１５０は、画像について所定の信号処理を施す信号処理部により実現される。

【0031】

出力部１６０は、判定部１５０から出力された判定結果を出力するものである。出力部１６０は、例えば、各画像を表示する表示部や各音声情報を出力する音声出力部により実現される。なお、出力部１６０は、検出部１４０により検出された物体が登録領域（例えば、侵入禁止領域）に侵入したと判定された場合にのみ、その判定結果を侵入警報として出力するようにしてもよい。

【0032】

また、検出部１４０および判定部１５０は、画像取得部１３０から出力された画像の全て（全てのフレーム）について検出処理および判定処理を行うようにしてもよく、所定間隔毎（例えば、１分毎）に検出処理および判定処理を行うようにしてもよい。

【0033】

［背景画像、登録領域および遮蔽物領域の例］
図２は、本技術の第１の実施の形態における画像処理装置１００による各処理に用いられる背景画像、登録領域および遮蔽物領域の一例を示す図である。

【0034】

図２のａには、背景画像２００を示す。背景画像２００は、上述したように、画像処理装置１００による監視対象となる撮像範囲に対応する画像であり、侵入した物体（例えば、侵入者）が存在しない画像である。図２のａでは、恐竜の復元模型２０１およびその周辺を、画像処理装置１００による監視対象とする例を示す。また、この監視対象となる撮像範囲では、恐竜の復元模型２０１およびその周辺（柵２０２の内側）を侵入禁止領域とし、この侵入禁止領域に関係者以外の者が侵入しないように柵２０２が設置されているものとする。

【0035】

図２のｂには、登録領域２１１および遮蔽物領域２１２を示す。なお、図２のｂでは、背景画像２１０上に登録領域２１１および遮蔽物領域２１２を示す。また、図２のｂでは、登録領域２１１には色を付し、遮蔽物領域２１２には斜線を付して示す。

【0036】

なお、図２のｂでは、登録領域２１１に遮蔽物領域２１２が含まれる例を示すが、登録領域および遮蔽物領域を異なる領域とするようにしてもよい。

【0037】

［登録領域および物体の関係例］
図３は、本技術の第１の実施の形態における画像取得部１３０により取得された画像における登録領域および物体の関係例を示す図である。

【0038】

図３のａには、侵入禁止領域内に人物２２１が侵入している場合（人物２２１が柵２０２の内側に存在する場合）における画像２２０を示す。このように、侵入禁止領域内に人物２２１が侵入している場合（人物２２１が柵２０２の内側に存在する場合）には、画像２２０において、人物２２１および登録領域２１１（図２のｂに示す）が重なる。このため、人物２２１および登録領域２１１が重なるか否かに基づいて、侵入禁止領域内への人物２２１の侵入を判定することができる。

【0039】

図３のｂには、侵入禁止領域外に人物２２１が存在する場合（人物２２１が柵２０２の外側に存在する場合）における画像２２５を示す。このように、侵入禁止領域外に人物２２１が存在する場合（人物２２１が柵２０２の外側に存在する場合）でも、画像２２５において、人物２２１および登録領域２１１（図２のｂに示す）は重なることがある。例えば、人物２２１の足と登録領域２１１とが重なることが想定される。このため、人物２２１および登録領域２１１が重なるか否かに基づいて、侵入禁止領域内への人物２２１の侵入を判定すると誤判定してしまうおそれがある。

【0040】

そこで、本技術の第１の実施の形態では、遮蔽物領域情報を用いて物体の侵入判定処理を行う。これにより、侵入禁止領域への侵入に対する誤判定を回避し、物体の検出精度を高めることができる。

【0041】

［登録領域および登録領域情報の関係例］
図４は、本技術の第１の実施の形態における記憶部１１０に記憶される登録領域情報および登録領域の関係例を示す図である。

【0042】

図４のａには、背景画像上における登録領域２１１を示す。なお、登録領域２１１は、図２のｂと同様である。

【0043】

図４のｂには、図４のａに示す登録領域２１１に対応する登録領域情報２３０を示す。ここで、登録領域情報２３０は、登録領域２１１を特定するための情報である。また、図４のｂでは、登録領域２１１を特徴量（例えば、１）により特定する登録領域情報２３０を例にして示す。なお、図４のｂでは、説明の容易のため、背景画像に対応する座標（例えば、図４のｂの左上を原点とするｘｙ座標）を１２０（８×１５）の矩形で模式的に示す。また、この各矩形において、登録領域２１１には「１」を付し、登録領域２１１以外の領域には「０」を付して示す。

【0044】

［遮蔽物領域および遮蔽物領域情報の関係例］
図５は、本技術の第１の実施の形態における記憶部１１０に記憶される遮蔽物領域情報および遮蔽物領域の関係例を示す図である。

【0045】

図５のａには、背景画像上における遮蔽物領域２１２を示す。なお、遮蔽物領域２１２は、図２のｂと同様である。

【0046】

図５のｂには、図５のａに示す遮蔽物領域２１２に対応する遮蔽物領域情報２４０を示す。ここで、遮蔽物領域情報２４０は、遮蔽物領域２１２を特定するための情報である。また、図５のｂでは、図４のｂと同様に、遮蔽物領域２１２を特徴量（例えば、遮蔽物領域２１２における各座標に対応する画素の輝度値）により特定する遮蔽物領域情報２４０を例にして示す。なお、図５のｂでは、説明の容易のため、図４のｂと同様に、背景画像に対応する座標を１２０（８×１５）の矩形で模式的に示す。また、この各矩形において、遮蔽物領域２１２には「１」を付し、遮蔽物領域以外の領域には「０」を付して示す。

【0047】

また、図４のｂに示す登録領域情報２３０と、図５のｂに示す遮蔽物領域情報２４０とが記憶部１１０に関連付けて記憶される。

【0048】

このように、本技術の第１の実施の形態では、登録領域および遮蔽物領域を特徴量により特定する登録領域情報および遮蔽物領域情報を記憶部１１０に記憶する例を示す。ただし、登録領域および遮蔽物領域を画像情報により特定する登録領域情報および遮蔽物領域情報を記憶部１１０に記憶するようにしてもよい。

【0049】

［物体の検出例］
図６は、本技術の第１の実施の形態における検出部１４０による物体検出処理の検出結果を示す図である。

【0050】

図６のａには、画像取得部１３０により取得された画像２５０を示す。また、画像２５０には人物２５１が含まれているものとする。このため、検出部１４０は、画像２５０から人物２５１を検出する。

【0051】

図６のｂには、図６のａに示す画像２５０において検出された人物２５１に対応する物体検出情報２６０を示す。ここで、物体検出情報は、検出部１４０により検出された物体に対応する領域を特定するための情報である。また、図６のｂでは、図４のｂと同様に、画像２５０において検出された人物２５１に対応する領域を特徴量により特定する物体検出情報２６０を例にして示す。なお、図６のｂでは、説明の容易のため、図４のｂと同様に、背景画像に対応する座標を１２０（８×１５）の矩形で模式的に示す。また、この各矩形において、人物２５１に対応する領域には「１」を付し、人物２５１以外の領域には「０」を付して示す。

【0052】

［物体の侵入判定例］
図６の示すように、画像２５０において人物２５１が検出された場合には、検出部１４０は、その検出された人物２５１に関する物体検出情報２６０を判定部１５０に出力する。続いて、判定部１５０は、記憶部１１０に記憶されている登録領域情報２３０（図４のｂに示す）と、物体検出情報２６０とに基づいて、検出された人物２５１と登録領域２１１（図４のａに示す）とが重なるか否かを判断する。

【0053】

図６のａに示す例では、検出された人物２５１と登録領域２１１（図４のａに示す）とが重なる。この場合には、判定部１５０は、記憶部１１０に記憶されている遮蔽物領域情報２４０（図５のｂに示す）と、物体検出情報２６０とに基づいて、検出された人物２５１と遮蔽物領域２１２（図５のａに示す）とが重なるか否かを判断する。

【0054】

図６のａに示す例では、検出された人物２５１と遮蔽物領域２１２（図５のａに示す）とが重なる。この場合には、判定部１５０は、その重なっている領域（例えば、図６のｂに示す太線の矩形２６１で囲まれている座標に対応する領域）について、画像２５０における特徴量と、遮蔽物領域情報２４０（図５のｂに示す）における特徴量とを比較する。続いて、判定部１５０は、その比較結果に基づいて、その重なっている領域（重複領域）における特徴量の差分値を算出する。例えば、特徴量として輝度を用いる場合には、判定部１５０は、その重複領域について、画像２５０における輝度値と、遮蔽物領域情報２４０における輝度値との差分値を画素毎に算出する。そして、判定部１５０は、算出された画素毎の差分値の絶対値を加算し、その重複領域を構成する各画素の差分値の絶対値の合計値を算出する。

【0055】

ここで、その合計値が閾値以下である場合には、画像２５０における重複領域と、遮蔽物領域における重複領域とが略同一の画像であると推定される。この場合には、画像２５０を撮像する機器（例えば、画像処理装置１００）の位置を基準として、検出された物体は、遮蔽物領域に対応する遮蔽物よりも遠くに存在する（奥側に存在する）と推定される。すなわち、検出された物体は、登録領域に侵入していないと推定される。

【0056】

一方、その合計値が閾値を超えている場合には、画像２５０における重複領域と、遮蔽物領域における重複領域とが異なる画像であると推定される。この場合には、画像２５０を撮像する機器（例えば、画像処理装置１００）の位置を基準として、検出された物体は、遮蔽物領域に対応する遮蔽物よりも近くに存在する（手前側に存在する）と推定される。すなわち、検出された物体は、登録領域に侵入したと推定される。

【0057】

そこで、判定部１５０は、その合計値が閾値以下であるか否かを判断する。そして、その合計値が閾値以下である場合には、判定部１５０は、検出された物体が登録領域に侵入していないと判定する。一方、その合計値が閾値を超えている場合には、判定部１５０は、検出された物体が登録領域に侵入したと判定する。

【0058】

このように、例えば、画像取得部１３０により取得された画像において検出された物体が登録領域に重なっているような場合に、その物体が侵入禁止領域内に侵入したか否かを正確に判定することができる。

【0059】

続いて、判定部１５０は、その判定結果を出力部１６０に出力する。そして、出力部１６０は、判定部１５０からの判定結果を出力する。例えば、出力部１６０は、表示部への表示や音声出力部からの音声出力によりその判定結果を出力する。例えば、出力部１６０は、表示部の画面を赤くして点滅表示させることにより、その判定結果を出力することができる。また、侵入禁止領域内に侵入した物体の領域に特定の色（例えば、赤）を付して表示するようにしてもよい。また、例えば、出力部１６０は、異常発生を表す音声出力をすることにより、その判定結果を出力することができる。

【0060】

例えば、図６のａに示す例では、画像２５０を撮像する機器（例えば、画像処理装置１００）の位置を基準として、検出された人物２５１は、遮蔽物領域２１２（図５のａに示す）に対応する遮蔽物（柵２０２）よりも遠くに存在する（奥側に存在する）。このため、画像２５０における重複領域と、遮蔽物領域情報２４０（図５のｂに示す）における重複領域とが略同一の画像となる。この場合には、画像２５０における重複領域と、遮蔽物領域情報２４０における重複領域とに関する差分値の絶対値の合計値は閾値以下となる。このため、判定部１５０は、検出された人物２１５が登録領域に侵入していないと判定する。

【0061】

なお、検出された物体と登録領域とが重ならない場合には、検出された物体が登録領域に侵入していないと推定される。このため、検出された物体と登録領域とが重ならない場合には、判定部１５０は、検出された物体が登録領域に侵入していないと判定する。

【0062】

また、検出された物体と登録領域とが重なる場合であって、検出された物体と遮蔽物領域とが重ならない場合には、検出された物体が登録領域に完全に侵入したと推定される。このため、検出された物体と登録領域とが重なる場合であって、検出された物体と遮蔽物領域とが重ならない場合には、判定部１５０は、検出された物体が登録領域に侵入したと判定する。

【0063】

なお、この例では、物体の侵入判定処理に用いる特徴量として輝度値を用いる例を示したが、他の特徴量を用いるようにしてもよい。物体の侵入判定処理に用いる特徴量として、例えば、画像を構成する各画素のＲＧＢ値を用いることができる。また、これらの特徴量を用いて物体の侵入判定処理を行う際に、誤差を許容するために閾値処理等を行うようにしてもよい。

【0064】

また、この例では、画像取得部１３０により取得された画像（例えば、撮像装置により生成された撮像画像）を用いて各処理（物体検出処理、物体の侵入判定処理）を行う例を示したが、この画像の縮小画像を用いて各処理を行うようにしてもよい。また、各処理に用いる画像として、撮像画像以外の他の画像（例えば、ＲＧＢ等のカラー画像、輝度情報のみの画像、エッジ画像化等の画像処理が施された画像（例えば、エッジ抽出画像））を用いるようにしてもよい。

【0065】

［画像処理装置の動作例］
図７は、本技術の第１の実施の形態における画像処理装置１００による物体の侵入判定処理の処理手順の一例を示すフローチャートである。なお、図７では、登録領域の境界に遮蔽物（遮蔽物領域に対応する物体）が設置されている場合を例にして示す。

【0066】

最初に、検出部１４０は、画像取得部１３０により取得された画像について物体検出処理を行う（ステップＳ９１０）。なお、この物体検出処理については、図８を参照して詳細に説明する。また、ステップＳ９１０は、特許請求の範囲に記載の検出手順の一例である。

【0067】

続いて、判定部１５０は、検出部１４０による検出結果に基づいて、画像取得部１３０により取得された画像から物体が検出されたか否かを判断する（ステップＳ９０１）。そして、物体が検出されていない場合には（ステップＳ９０１）、ステップＳ９１０に戻る。

【0068】

また、物体が検出された場合には（ステップＳ９０１）、判定部１５０は、検出された物体と登録領域とが重なるか否かを判断する（ステップＳ９０２）。そして、検出された物体と登録領域とが重ならない場合には（ステップＳ９０２）、検出された物体が登録領域に侵入していないと推定されるため、判定部１５０は、侵入未発生と判定する（ステップＳ９０７）。

【0069】

また、検出された物体と登録領域とが重なる場合には（ステップＳ９０２）、判定部１５０は、検出された物体と遮蔽物領域とが重なるか否かを判断する（ステップＳ９０３）。そして、検出された物体と遮蔽物領域とが重ならない場合には（ステップＳ９０３）、検出された物体が登録領域に完全に侵入したと推定されるため、判定部１５０は、侵入発生と判定する（ステップＳ９０６）。

【0070】

また、検出された物体と遮蔽物領域とが重なる場合には（ステップＳ９０３）、判定部１５０は、その重なっている領域（重複領域）における特徴量（例えば、輝度値）を比較する（ステップＳ９０４）。すなわち、判定部１５０は、画像取得部１３０により取得された画像の重複領域における特徴量と、遮蔽物領域情報（例えば、図５のｂに示す遮蔽物領域情報２４０）の重複領域における特徴量とを比較する（ステップＳ９０４）。

【0071】

続いて、判定部１５０は、その比較により算出された差分値の絶対値の合計値が閾値以下であるか否かを判断する（ステップＳ９０５）。そして、その合計値が閾値を超えている場合には（ステップＳ９０５）、検出された物体が登録領域に侵入したと推定されるため、判定部１５０は、侵入発生と判定する（ステップＳ９０６）。一方、その合計値が閾値以下である場合には（ステップＳ９０５）、検出された物体が登録領域に侵入していないと推定されるため、判定部１５０は、侵入未発生と判定する（ステップＳ９０７）。なお、ステップＳ９０２乃至Ｓ９０７は、特許請求の範囲に記載の判定手順の一例である。

【0072】

続いて、出力部１６０は、判定部１５０からの判定結果を出力する（ステップＳ９０８）。例えば、出力部１６０は、表示部への表示や音声出力部からの音声出力によりその判定結果を出力する（ステップＳ９０８）。

【0073】

続いて、物体の侵入判定処理の動作を終了させる終了指示が行われたか否かが判断され（ステップＳ９０９）、終了指示が行われていない場合には、ステップＳ９１０に戻る。一方、終了指示が行われた場合には（ステップＳ９０９）、物体の侵入判定処理の動作を終了する。

【0074】

図８は、本技術の第１の実施の形態における画像処理装置１００による物体の侵入判定処理のうちの物体検出処理（図７に示すステップＳ９１０の処理手順）の一例を示すフローチャートである。なお、図８では、物体検出処理の一例として、動きのある物体を検出する動物体検出処理を示す。

【0075】

最初に、検出部１４０は、画像取得部１３０により取得された画像について背景差分処理を行う（ステップＳ９１１）。

【0076】

続いて、検出部１４０は、背景差分処理により検出された物体に対応する領域（物体領域）についてラベリング処理を行う（ステップＳ９１２）。このラベリング処理は、例えば、背景差分処理により検出された物体のうち、繋がっている領域を同一物体として認識するため、その繋がっている領域に同一の識別情報を付与する処理である。

【0077】

続いて、検出部１４０は、ラベリング処理が行われた物体領域についてトラッキング処理を行う（ステップＳ９１３）。このトラッキング処理は、例えば、前のフレームの位置を参照して、背景差分処理により検出された物体の動きを予測する処理である。

【0078】

続いて、検出部１４０は、トラッキング処理が行われた物体領域について後処理を行う（ステップＳ９１４）。この後処理は、検出対象となる動体を確定するための処理である。この後処理として、例えば、ノイズ除去処理、影判定処理等の各処理が行われ、検出対象となる動体以外の物体が削除される。

【0079】

なお、図８では、物体検出処理の一例として、動きのある物体を検出する動物体検出処理を示したが、他の検出方法を用いて物体（例えば、飛行機、車、人体）を検出するようにしてもよい。例えば、勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を用いて物体検出を行う検出方法を用いることができる（例えば、特開２０１０−０６７１０２号参照。）。

【0080】

ここで、例えば、３次元空間の現実世界をカメラで撮影すると２次元空間として表現される。この２次元空間として表現される画像では、画像の奥行方向（カメラの光軸方向）において奥側にある物体に対して手前側にある物体は重なった状態で表現される。すなわち、２次元空間として表現される画像では、画像の奥行方向において奥側にある物体を手前側にある物体が遮蔽してしまう。このため、画像の奥行方向において奥側にある物体を検出する場合には、遮蔽物の存在がその検出精度を低下させるおそれがある。

【0081】

また、例えば、画像の奥行方向において奥側にある物体と手前側にある物体とを正確に判定するため、その奥行方向に直交する方向（横方向）からの撮影を行うカメラを設置することも考えられる。例えば、侵入禁止領域に対して横方向からの撮影を行うカメラを設置することが考えられる。しかしながら、この場合には複数のカメラが必要となる。また、複数のカメラの設置場所が制約されるおそれもある。

【0082】

そこで、本技術の第１の実施の形態では、遮蔽物領域（例えば、図２に示す柵２０２に対応する領域）を設定し、これに関する遮蔽物領域情報（例えば、図５のｂに示す遮蔽物領域情報２４０）を記憶する。そして、遮蔽物領域情報を用いて、検出された物体と遮蔽物（背景構造物）との奥行方向の位置関係を判定することができる。これにより、２次元で表現されている画像についても、３次元空間における物体の位置の検出精度を向上させることができる。すなわち、ユーザにより設定された遮蔽物に関する遮蔽物領域情報を判定に用いることにより、２次元画像からでも精度高く３次元空間の状況判断を行うことができる。

【0083】

また、画像取得部１３０により取得された画像において検出された物体（例えば、人物）が登録領域（例えば、侵入禁止領域）に侵入したか否かを正確に判定することができる。これにより、侵入禁止領域に対する誤検知を回避することができる。すなわち、物体の検出精度を高めることができる。

【0084】

また、例えば、侵入禁止領域に対して前方からの撮影のみで奥行方向の位置関係を判定することができる。例えば、図２に示すように、侵入禁止領域がサークル状にラウンドしているような場合でも、前方からの撮影による奥行判定により侵入検知が可能になる。これにより、画像処理装置を設置する際の制約を低減させることができる。言い換えると、画像処理装置の設置空間を広げることができる。すなわち、比較的自由なカメラレイアウトが可能となる。

【0085】

なお、本技術の第１の実施の形態では、監視対象となる撮像範囲を固定する画像処理装置１００を例にして説明した。ただし、例えば、監視対象となる撮像範囲を移動することが可能な画像処理装置（例えば、水平方向に首振りを行う首振り式監視カメラ）についても本技術の第１の実施の形態を適用することができる。例えば、首振りの角度（例えば、水平方向における光軸の角度）と、各情報（背景画像情報、登録領域情報および遮蔽物領域情報）とを関連付けて記憶しておく。そして、各処理を行う場合には、その処理時に対応する首振りの角度に関連付けて記憶されている各情報を用いてその処理を行うようにする。

【0086】

＜２．第２の実施の形態＞
本技術の第１の実施の形態では、遮蔽物領域情報を用いて物体の侵入判定処理を行う例を示した。ここで、例えば、動体検出処理におけるオクルージョン判定処理（動物体に重なりがあるか否かを判定する処理）についても遮蔽物領域情報を用いて行うことができると考えられる。

【0087】

そこで、本技術の第２の実施の形態では、遮蔽物領域情報を用いてオクルージョン判定処理を行う例を示す。なお、本技術の第２の実施の形態における画像処理装置は、本技術の第１の実施の形態における画像処理装置１００（図１に示す）と共通する。このため、画像処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。

【0088】

［遮蔽物領域および遮蔽物領域情報の関係例］
図９は、本技術の第２の実施の形態における記憶部１１０に記憶される遮蔽物領域情報および遮蔽物領域の関係例を示す図である。

【0089】

図９のａには、背景画像３００上における遮蔽物領域３０１を示す。なお、遮蔽物領域３０１は、図２のｂに示す遮蔽物領域２１２に対応する。また、遮蔽物領域３０１は、道路上に設置されている標識である。また、図１０のａに示すように、遮蔽物領域３０１の棒状部分の水平方向におけるサイズをＷ０とする。

【0090】

図９のｂには、図９のａに示す遮蔽物領域３０１に対応する遮蔽物領域情報３１０を示す。ここで、遮蔽物領域情報３１０は、遮蔽物領域３０１を特定するための情報である。また、図９のｂでは、図４のｂと同様に、遮蔽物領域３０１に対応する遮蔽物領域を特徴量（例えば、１）により特定する遮蔽物領域情報３１０を例にして示す。なお、図９のｂでは、説明の容易のため、背景画像に対応する座標を１１７（９×１３）の矩形で模式的に示す。また、この各矩形において、遮蔽物領域３０１には「１」を付し、遮蔽物領域３０１以外の領域には「０」を付して示す。

【0091】

なお、遮蔽物領域情報３１０の設定方法については、本技術の第１の実施の形態における遮蔽物領域情報の設定方法と同様である。また、遮蔽物領域情報３１０は、記憶部１１０に記憶される。

【0092】

［動物体の検出例］
図１０および図１１は、本技術の第２の実施の形態における検出部１４０による動物体検出処理の検出結果を示す図である。

【0093】

検出部１４０は、動物体を検出する動物体検出処理を行う。この動物体検出処理として、例えば、図８に示す動物体検出処理を行うことができる。

【0094】

図１０のａには、画像取得部１３０により取得された画像３２０を示す。また、画像３２０には、走行中の自動車３２１が含まれているものとする。このため、検出部１４０は、画像３２０から自動車３２１を検出する。また、検出部１４０は、自動車３２１とともにそのサイズを検出する。例えば、検出部１４０は、自動車３２１のサイズとして垂直方向のサイズＨ１および水平方向のサイズＷ１を検出する。そして、検出部１４０は、その検出された自動車３２１に関する動物体検出情報を判定部１５０に出力する。ここで、動物体検出情報は、検出部１４０により検出された動物体に対応する領域を特定するための情報であり、背景画像における自動車３２１の位置およびそのサイズを特定するための情報を含む。

【0095】

図１０のｂには、図１０のａに示す画像３２０において検出された自動車３２１に対応する動物体検出情報と、遮蔽物領域情報３１０とを含む情報３３０を示す。また、図１０のｂでは、画像３２０において検出された自動車３２１に対応する領域と、遮蔽物領域３０１とを特徴量により特定する情報３３０を例にして示す。なお、図１０のｂでは、説明の容易のため、図９のｂと同様に、背景画像に対応する座標を１１７（９×１３）の矩形で模式的に示す。また、この各矩形において、自動車３２１に対応する領域には「２」を付し、遮蔽物領域３０１に対応する遮蔽物領域には「１」を付し、これら以外の領域には「０」を付して示す。

【0096】

また、判定部１５０は、検出部１４０により検出された動物体（例えば、自動車３２１）に関する動物体検出情報を所定期間だけ保持する。そして、判定部１５０は、保持されている動物体検出情報をオクルージョン判定処理に用いる。

【0097】

図１１のａには、画像取得部１３０により取得された画像３４０を示す。画像３４０は、図１０のａに示す画像３２０に含まれる自動車３２１が移動した後に取得された画像である。ここで、画像３４０には自動車３２１が含まれているが、移動により自動車３２１が遮蔽物領域３０１で分割されているものとする。このため、検出部１４０は、画像３４０から自動車３２１を検出するが、自動車３２１は２つの動物体３４１、３４２として検出される。この場合には、例えば、検出部１４０は、動物体３４１（前方の自動車３２１）のサイズとして垂直方向のサイズＨ２および水平方向のサイズＷ２を検出する。また、検出部１４０は、動物体３４２（後方の自動車３２１）のサイズとして垂直方向のサイズＨ３および水平方向のサイズＷ３を検出する。そして、検出部１４０は、その検出された動物体３４１に関する動物体検出情報（背景画像における動物体３４１の位置およびそのサイズを特定するための情報を含む）を判定部１５０に出力する。同様に、検出部１４０は、その検出された動物体３４２に関する動物体検出情報（背景画像における動物体３４２の位置およびそのサイズを特定するための情報を含む）を判定部１５０に出力する。

【0098】

図１１のｂには、図１１のａに示す画像３４０において検出された２つの動物体３４１、３４２に対応する動物体検出情報と、遮蔽物領域情報３１０とを含む情報３５０を示す。図１１のｂでは、図１０のｂと同様に、画像３４０において検出された２つの動物体３４１、３４２に対応する領域と、遮蔽物領域３０１とを特徴量により特定する情報３５０を例にして示す。なお、図１１のｂでは、説明の容易のため、図９のｂと同様に、背景画像に対応する座標を１１７（９×１３）の矩形で模式的に示す。また、この各矩形において、動物体３４１に対応する領域には「３」を付し、動物体３４２に対応する領域には「２」を付し、遮蔽物領域３０１には「１」を付し、これら以外の領域には「０」を付して示す。

【0099】

［オクルージョン判定例］
図１１のａに示すように、遮蔽物領域３０１に隣接する動物体３４１、３４２が検出されている場合には、オクルージョンが発生している可能性がある。そこで、遮蔽物領域３０１に隣接する動物体３４１、３４２が検出されている場合には、判定部１５０は、オクルージョン判定処理を行う。

【0100】

最初に、判定部１５０は、検出された動物体が、登録されている遮蔽物の両側に隣接しているか否かを判断する。そして、検出された動物体が、登録されている遮蔽物の両側に隣接していない場合には、判定部１５０は、検出された動物体のそれぞれが１つの動物体であると判定する。例えば、図１０のａでは、自動車３２１が、登録されている遮蔽物（遮蔽物領域３０１に対応する遮蔽物（標識））の両側に隣接していない。この場合には、判定部１５０は、検出された自動車３２１が１つの動物体であると判定する。

【0101】

また、検出された動物体が、登録されている遮蔽物の両側に隣接している場合には、判定部１５０は、保持されている過去の物体検出情報を用いて比較処理を行う。具体的には、判定部１５０は、保持されている過去の物体検出情報に係るサイズと、登録されている遮蔽物の両側に隣接している２つの動物体の物体検出情報に係るサイズとを比較する。そして、判定部１５０は、その比較対象となる２つのサイズが略同一（または同一）となるか否かを判断する。

【0102】

ここで、２つのサイズの比較例について説明する。例えば、水平方向に進行する動物体を判定対象とする場合には、保持されている過去の物体検出情報に係る水平方向のサイズと、比較対象となる２つの動物体と遮蔽物とのそれぞれの水平方向のサイズの合計値との差分値を算出する。また、保持されている過去の物体検出情報に係る垂直方向のサイズと、比較対象となる２つの動物体のうち、値が大きい垂直方向のサイズとの差分値を算出する。

【0103】

そして、水平方向のサイズの差分値と、垂直方向のサイズの差分値との双方が閾値以下である場合には、判定部１５０は、２つの動物体が１つの動物体であると判定する。すなわち、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体を１つの動物体であると判定する。

【0104】

例えば、図１１のａに示す例では、水平方向に進行する自動車が判定対象となる。このため、判定部１５０は、保持されている過去の物体検出情報に係る水平方向のサイズと、比較対象となる２つの動物体３４１、３４２と遮蔽物領域３０１とのそれぞれの水平方向のサイズの合計値との差分値を算出する。例えば、遮蔽物領域３０１の水平方向のサイズはＷ０であるため、比較対象となる２つの動物体３４１、３４２と遮蔽物領域３０１とのそれぞれの水平方向のサイズの合計値は、Ｗ０＋Ｗ２＋Ｗ３である。このため、判定部１５０は、その合計値（Ｗ０＋Ｗ２＋Ｗ３）と、保持されている過去の物体検出情報に係る水平方向のサイズＷ１（図１０のａに示す）との差分値として、Ｗ１−（Ｗ０＋Ｗ２＋Ｗ３）を算出する。また、判定部１５０は、保持されている過去の物体検出情報に係る垂直方向のサイズ（図１０のａに示すＨ１）と、比較対象となる２つの動物体のうち、値が大きい垂直方向のサイズ（Ｈ３）との差分値（Ｈ１−Ｈ３）を算出する。

【0105】

ここで、垂直方向のサイズＨ１と垂直方向のサイズＨ３とは同一である。このため、垂直方向のサイズの差分値（Ｈ１−Ｈ３）は０である。すなわち、垂直方向のサイズの差分値（Ｈ１−Ｈ３）は、閾値以下である。

【0106】

また、水平方向のサイズの合計値Ｗ１と、水平方向のサイズの合計値（Ｗ０＋Ｗ２＋Ｗ３）とは同一である。このため、水平方向のサイズの差分値（Ｗ１−（Ｗ０＋Ｗ２＋Ｗ３））は０である。すなわち、水平方向のサイズの差分値（Ｗ１−（Ｗ０＋Ｗ２＋Ｗ３））は、閾値以下である。

【0107】

このように、図１１のａに示す例では、水平方向のサイズの差分値と、垂直方向のサイズの差分値との双方が閾値以下となるため、判定部１５０は、２つの動物体が１つの動物体であると判定する。すなわち、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体３４１、３４２を１つの動物体（自動車３２１）であると判定する。

【0108】

一方、水平方向のサイズの差分値と、垂直方向のサイズの差分値とのうちの少なくとも１つが閾値を超えている場合には、判定部１５０は、２つの動物体が異なる２つの動物体であると判定する。すなわち、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体を異なる２つの動物体であると判定する。

【0109】

なお、この例では、水平方向および垂直方向のサイズに基づいて比較処理を行う例を示したが、他の情報に基づいて比較処理を行うようにしてもよい。

【0110】

例えば、動物体に係る画像同士の比較処理を行い、同一の動物体であるか否かを判定するようにしてもよい。例えば、過去の物体検出情報として、検出された動物体に係る画像情報（例えば、画像を構成する輝度値）を保持しておき、この画像情報（例えば、検出された動物体に係る画像を構成する輝度値）に基づいて比較処理を行うようにしてもよい。例えば、判定部１５０は、比較対象となる動物体に対応する各画素の輝度の差分値の絶対値を算出する。具体的には、判定部１５０は、過去に検出された１つの動物体に対応する各画素の輝度値と、登録されている遮蔽物の両側に隣接している２つの動物体に対応する各画素の輝度値との差分値の絶対値を画素毎に算出する。続いて、判定部１５０は、画素毎の差分値の絶対値の合計値を算出する。続いて、判定部１５０は、算出された合計値が閾値以下であるか否かを判断する。

【0111】

そして、算出された合計値が閾値以下である場合には、判定部１５０は、その比較対象となる２つの動物体が同一であると判定する。この場合には、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体を１つの動物体であると判定する。

【0112】

一方、算出された合計値が閾値を超えている場合には、判定部１５０は、その比較対象となる２つの動物体が同一でないと判定する。この場合には、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体を異なる２つの動物体であると判定する。

【0113】

また、過去の物体検出情報を用いずに、登録されている遮蔽物の両側に隣接している２つの動物体に対応する領域の特徴量の比較処理を行い、同一の動物体であるか否かを判定するようにしてもよい。

【0114】

例えば、判定部１５０は、比較対象となる２つの動物体に対応する領域のうち、水平方向において遮蔽物から所定数の画素分（例えば、５画素分）の領域についてヒストグラム（濃度ヒストグラム）を生成する。なお、ヒストグラムは、横軸を濃度値とし、縦軸を画素数とするグラフにおいて、画像を構成する各画素を濃度値に従って配置したものである。例えば、判定部１５０は、水平方向における左側の領域（例えば、５画素分の領域）についてヒストグラムを生成するとともに、水平方向における右側の領域（例えば、５画素分の領域）についてヒストグラムを生成する。そして、判定部１５０は、その生成された２つのヒストグラムの類似度に基づいて、同一の動物体であるか否かを判定する。

【0115】

例えば、判定部１５０は、その生成された２つのヒストグラムの画素数の差分値の絶対値を濃度値毎に算出する。そして、判定部１５０は、その濃度値毎の差分値の絶対値の合計値を算出する。続いて、判定部１５０は、算出された合計値が閾値以下であるか否かを判断する。

【0116】

そして、算出された合計値が閾値以下である場合には、判定部１５０は、その比較対象となる２つの動物体が同一であると判定する。この場合には、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体を１つの動物体であると判定する。

【0117】

一方、算出された合計値が閾値を超えている場合には、判定部１５０は、その比較対象となる２つの動物体が同一でないと判定する。この場合には、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体を異なる２つの動物体であると判定する。

【0118】

［動物体検出情報の補正例］
図１２は、本技術の第２の実施の形態における判定部１５０による動物体検出情報の補正例を示す図である。

【0119】

上述したように、登録されている遮蔽物の両側に隣接している２つの動物体が１つの動物体であると判定された場合には、判定部１５０は、検出部１４０から出力された動物体検出情報を補正する。

【0120】

例えば、図１１のａに示す例において、２つの動物体３４１、３４２が１つの動物体であると判定された場合を想定する。この場合には、図１２に示すように、判定部１５０は、２つの動物体３４１、３４２の物体検出情報を、１つの動物体の物体検出情報とする補正を行う。また、判定部１５０は、判定処理に用いた過去の物体検出情報に係るサイズ（水平方向のサイズＷ１、垂直方向のサイズＨ１）を２つの動物体３４１、３４２のサイズとする補正を行う。

【0121】

ここで、遮蔽物が動物体よりも大きいことも想定される。この場合には、過去に検出された動物体が遮蔽物に完全に隠れてしまうことも想定される。このような場合でも、過去に検出された動物体に基づいて、この動物体の移動ベクトルを求めることが可能である。そこで、過去に検出された動物体の移動ベクトルに基づいて、その動物体が遮蔽物の裏に存在していることを推定することが可能である。このように、動物体が遮蔽物の裏に存在していることが推定された場合には、その動物体については、消失したとは判定せずに、オクルージョンが発生したと判定することができる。

【0122】

［画像処理装置の動作例］
図１３は、本技術の第２の実施の形態における画像処理装置１００によるオクルージョン判定処理の処理手順の一例を示すフローチャートである。

【0123】

最初に、検出部１４０は、画像取得部１３０により取得された画像について動物体検出処理を行う（ステップＳ９３０）。なお、この動物体検出処理は、図８に示す物体検出処理と同様である。

【0124】

続いて、判定部１５０は、検出部１４０による検出結果に基づいて、画像取得部１３０により取得された画像から動物体が検出されたか否かを判断する（ステップＳ９２１）。そして、動物体が検出されていない場合には（ステップＳ９２１）、ステップＳ９３０に戻る。

【0125】

また、動物体が検出された場合には（ステップＳ９２１）、判定部１５０は、検出された動物体が、登録されている遮蔽物の両側に隣接しているか否かを判断する（ステップＳ９２２）。そして、検出された動物体が、登録されている遮蔽物の両側に隣接していない場合には（ステップＳ９２２）、判定部１５０は、検出された動物体のそれぞれが１つの動物体であると判定する（ステップＳ９２３）。

【0126】

また、検出された動物体が、登録されている遮蔽物の両側に隣接している場合には（ステップＳ９２２）、判定部１５０は、保持されている過去の物体検出情報を用いて比較処理を行う（ステップＳ９２４）。すなわち、判定部１５０は、保持されている過去の物体検出情報に係るサイズと、登録されている遮蔽物の両側に隣接している２つの動物体の物体検出情報に係るサイズとを比較する（ステップＳ９２４）。続いて、判定部１５０は、その比較対象となる２つのサイズが略同一（または同一）となるか否かを判断する（ステップＳ９２５）。

【0127】

その比較対象となる２つのサイズが略同一でない場合には（ステップＳ９２５）、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体を異なる２つの動物体であると判定する（ステップＳ９２６）。一方、その比較対象となる２つのサイズが略同一である場合には（ステップＳ９２５）、判定部１５０は、登録されている遮蔽物の両側に隣接している２つの動物体を１つの動物体であると判定する（ステップＳ９２７）。

【0128】

続いて、出力部１６０は、判定部１５０からの判定結果を出力する（ステップＳ９２８）。例えば、出力部１６０は、表示部への表示や音声出力部からの音声出力によりその判定結果を出力する（ステップＳ９２８）。

【0129】

続いて、オクルージョン判定処理の動作を終了させる終了指示が行われたか否かが判断され（ステップＳ９２９）、終了指示が行われていない場合には、ステップＳ９３０に戻る。一方、終了指示が行われた場合には（ステップＳ９２９）、オクルージョン判定処理の動作を終了する。

【0130】

このように、判定部１５０は、画像において検出された動物体に関するオクルージョンの発生の有無を判定する。この場合に、例えば、判定部１５０は、その検出された動物体に関するサイズ情報と、画像においてその動物体の直前に検出された動物体に関するサイズ情報とを比較し、この比較結果に基づいてオクルージョンの発生の有無を判定する。また、判定部１５０は、オクルージョンが発生していると判定された場合には、遮蔽物領域の両側に隣接する複数の動物体を１つの動物体であると判定する。

【0131】

このように、本技術の第２の実施の形態では、既知の遮蔽物（例えば、道路標識）を設定しておき、この遮蔽物に関する遮蔽物領域情報を用いてオクルージョン判定処理を行う。これにより、異なる２つの動物体が存在しているのか、オクルージョン発生により１つの動物体が分裂しているのかを正確に判定することができる。また、動物体の検出精度を向上させることができる。

【0132】

なお、本技術の第１の実施の形態と同様に、画像の奥行方向における動物体と遮蔽物領域との位置関係を判定し、動物体が遮蔽物領域よりも奥側であると判定された場合にのみ、その動物体に関するオクルージョンの発生の有無を判定するようにしてもよい。

【0133】

＜３．第３の実施の形態＞
本技術の第１および第２の実施の形態では、一体として構成される画像処理装置１００を例にして説明した。ただし、画像処理装置１００における各機能を複数の装置により実現する画像処理システムについても本技術の第１および第２の実施の形態を適用することができる。

【0134】

そこで、本技術の第３の実施の形態では、複数の装置により構成される画像処理システムの例を示す。なお、本技術の第３の実施の形態における画像処理システムを構成する各部は、図１に示す画像処理装置１００を構成する各部に対応する。このため、画像処理装置１００に対応する部分については、その旨を示してこれらの説明の一部を省略する。

【0135】

［画像処理システムの構成例］
図１４は、本技術の第３の実施の形態における画像処理システム４００の構成例を示す図である。

【0136】

画像処理システム４００は、撮像装置４１０と、ネットワーク４２０と、サーバ４３０と、入出力装置４４０とを備える。

【0137】

なお、画像取得部４１１、検出部４３２、判定部４３３および記憶部４３１のそれぞれは、図１に示す画像取得部１３０、検出部１４０、判定部１５０および記憶部１１０に対応する。

【0138】

また、入出力装置４４０は、図１に示す設定部１２０および出力部１６０に対応する。すなわち、入出力装置４４０は、登録領域および遮蔽物領域のそれぞれを設定する。また、入出力装置４４０は、判定部４３３から出力された判定結果を出力する。例えば、各画像を表示する表示部や各音声情報を出力する音声出力部により判定結果を出力することができる。

【0139】

ネットワーク４２０は、撮像装置４１０およびサーバ４３０を接続するネットワークである。例えば、ネットワーク４２０は、電話網、インターネット等のネットワーク（例えば、公衆回線網）である。また、例えば、ネットワーク４２０は、有線ネットワーク（例えば、イーサネット（登録商標））や同軸ケーブルとするようにしてもよい。

【0140】

このように、画像処理システム４００は、ネットワーク４２０を介して撮像装置４１０およびサーバ４３０が接続される。そして、撮像装置４１０の画像取得部４１１により取得された画像がネットワーク４２０を介してサーバ４３０に送信される。

【0141】

すなわち、画像処理システム４００は、物体検出処理および物体の侵入判定処理（または、動物体検出処理およびオクルージョン判定処理）をサーバ４３０側で行う画像処理システムである。なお、これらの各処理のうちの一部を撮像装置側で行うようにしてもよい。この例を図１５に示す。

【0142】

［画像処理システムの構成例］
図１５は、本技術の第３の実施の形態における画像処理システム５００の構成例を示す図である。

【0143】

画像処理システム５００は、撮像装置５１０と、ネットワーク５２０と、サーバ５３０と、入出力装置５４０とを備える。

【0144】

なお、画像取得部５１２、検出部５１３、ネットワーク５２０、判定部５３２および入出力装置５４０のそれぞれは、図１４に示す画像取得部４１１、ネットワーク４２０、検出部４３２、判定部４３３および入出力装置４４０に対応する。ただし、入出力装置５４０は、遮蔽物領域のみを設定する。なお、ネットワーク５２０を介して撮像装置５１０および入出力装置５４０を接続し、入出力装置５４０を用いて登録領域を設定するようにしてもよい。

【0145】

また、記憶部５１１および記憶部５３１は、図１４に示す記憶部４３１に対応する。すなわち、記憶部５１１には、背景画像情報が記憶され、この記憶されている背景画像情報を検出部５１３に供給する。また、記憶部５３１には、登録領域情報および遮蔽物領域情報が記憶され、この記憶されている各情報を判定部５３２に供給する。

【0146】

このように、画像処理システム５００は、ネットワーク５２０を介して撮像装置５１０およびサーバ５３０が接続される。そして、撮像装置５１０の画像取得部５１２により取得された画像について検出部５１３が物体検出処理（または、動物体検出処理）を行う。また、検出部５１３は、画像取得部５１２により取得された画像とともにその検出結果をネットワーク５２０を介してサーバ５３０に送信する。

【0147】

このように、本技術の第３の実施の形態では、本技術の第１および第２の実施の形態で示した各処理（物体検出処理および物体の侵入判定処理（または、動物体検出処理およびオクルージョン判定処理））を複数の装置により実行する。このため、例えば、監視対象となる複数の場所のそれぞれに撮像装置を設置し、これらの各撮像装置により取得された画像について、１つのサーバが集中して各処理を行うことができる。

【0148】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0149】

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

【0150】

なお、本技術は以下のような構成もとることができる。
（１）
画像に含まれる物体を検出する検出部と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定部と
を具備する画像処理装置。
（２）
前記判定部は、前記検出された物体および前記遮蔽物領域の前記画像における重複領域について、前記画像における前記検出された物体の前記重複領域に含まれる特徴量と記憶部に記憶されている前記遮蔽物領域における前記重複領域に含まれる特徴量とを比較して当該比較結果に基づいて前記位置関係を判定する前記（１）に記載の画像処理装置。
（３）
前記判定部は、前記検出された物体の前記重複領域に含まれる画素と、前記遮蔽物領域における前記重複領域に含まれる画素とを比較して前記重複領域における画素の類似度に基づいて、前記位置関係を判定する前記（２）に記載の画像処理装置。
（４）
前記遮蔽物領域は、前記画像において登録されている登録領域の境界または境界付近に設置される物体であって前記検出された物体を遮蔽する遮蔽物の領域であり、
前記判定部は、前記画像において前記検出された物体と前記登録領域とが重複し、かつ、前記画像において前記検出された物体と前記遮蔽物領域とが重複する場合に、前記位置関係を判定し、当該判定結果に基づいて前記検出された物体が前記登録領域に侵入したか否かを判定する
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記検出部は、前記画像に含まれる動物体を検出し、
前記判定部は、前記検出された動物体に関するオクルージョンの発生の有無を判定する
前記（１）に記載の画像処理装置。
（６）
前記判定部は、前記検出された動物体に関するサイズ情報と、前記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて前記オクルージョンの発生の有無を判定する前記（５）に記載の画像処理装置。
（７）
前記判定部は、前記オクルージョンが発生していると判定された場合には、前記遮蔽物領域の両側に隣接する複数の動物体を１つの動物体であると判定する前記（５）または（６）に記載の画像処理装置。
（８）
画像に含まれる物体を検出する検出手順と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
を具備する画像処理方法。
（９）
画像に含まれる物体を検出する検出手順と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも１つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
をコンピュータに実行させるプログラム。

【符号の説明】

【0151】

１００ 画像処理装置
１１０ 記憶部
１２０ 設定部
１３０ 画像取得部
１４０ 検出部
１５０ 判定部
１６０ 出力部
４００ 画像処理システム
４１０ 撮像装置
４１１ 画像取得部
４２０ ネットワーク
４３０ サーバ
４３１ 記憶部
４３２ 検出部
４３３ 判定部
４４０ 入出力装置
５００ 画像処理システム
５１０ 撮像装置
５１１ 記憶部
５１２ 画像取得部
５１３ 検出部
５２０ ネットワーク
５３０ サーバ
５３１ 記憶部
５３２ 判定部
５４０ 入出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】