特許 6254114 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6254114

(24)【登録日】2017年12月8日

(45)【発行日】2017年12月27日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171218BHJP

   H04N 7/18 20060101ALI20171218BHJP

   G06T 7/20 20170101ALI20171218BHJP

【ＦＩ】

   H04N5/232 450

   H04N7/18 D

   H04N7/18 U

   H04N7/18 E

   G06T7/20

【請求項の数】3

【全頁数】9

(21)【出願番号】特願2015-72119(P2015-72119)

(22)【出願日】2015年3月31日

(65)【公開番号】特開2016-192703(P2016-192703A)

(43)【公開日】2016年11月10日

【審査請求日】2016年12月20日

(73)【特許権者】

【識別番号】000204424

【氏名又は名称】大井電気株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】特許業務法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】尾形 英治

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００５−１７５７１９（ＪＰ，Ａ）

【文献】 特開２００８−１４１６９９（ＪＰ，Ａ）

【文献】 特開２００４−３０４５５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

画像を撮影する撮像部と、
前記撮像部の撮影モードを高解像度モードまたは低解像度モードのいずれかに設定する撮影モード設定部と、
前記撮像部が前記低解像度モードで動作しているときに前記撮像部から順次出力される各画像データに基づいて、各画像データによって示される動体オブジェクトを検出する動体オブジェクト検出部と、
前記撮像部が前記高解像度モードで動作しているときに前記撮像部から順次出力される各画像データに基づいて、前記動体オブジェクトの特徴画像データを生成する特徴画像生成部と、を備え、
前記撮影モード設定部は、
前記動体オブジェクトが検出されたときに、前記撮像部の撮影モードを前記低解像度モードから前記高解像度モードに設定する、ことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記撮像部が前記低解像度モードで動作しているときに前記撮像部から出力される画像データに基づいて、着目領域を設定する着目領域設定部を備え、
前記動体オブジェクト検出部は、
各画像データによって示される各画像の着目領域内の動体オブジェクトを検出する、ことを特徴とする画像処理装置。

【請求項3】

請求項１または請求項２に記載の画像処理装置において、
前記撮影モード設定部は、
前記撮像部が前記高解像度モードで動作した時間が、予め定められた時間を超えたときに、前記撮像部の撮影モードを前記高解像度モードから前記低解像度モードに切り換える、ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、特に、画像から動体オブジェクトを検出する装置に関する。

【背景技術】

【0002】

スーパーマーケット、コンビニエンスストア等の店舗には、カメラ監視システムが設置されることが多い。カメラ監視システムは、店舗の様子を撮影して動画像データを生成し、ガードマンが待機する部屋のモニタに動画像データを送信する。また、カメラ監視システムは、動画像データをメモリに記憶したり、動画像データを警備業者の設備に送信する場合もある。

【0003】

カメラ監視システムを用いた研究として、人物等の動く物体を示す動体オブジェクトを動画像において観測し、消費者の行動を解析する研究や、動画像中の動体オブジェクトの観測によって不審者の特徴を解析する研究が広く行われている。

【0004】

また、動画像データに対する処理には、特許文献１および２に示されているように、動体オブジェクトデータと静止画像データとを分離して情報量を低減するものがある。この処理では、動画像データから動体オブジェクトデータが検出および抽出され、動体オブジェクトデータと静止画像データとが分離される。静止画像データを時間変化のない一定のデータとし、動画像オブジェクトデータと静止画像データとを併せたデータを新たな動画像データとすることで情報量が低減され、動画像データに対して行われる各処理が迅速となる。また、非特許文献１には、画像処理工学に関する基本的な技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０００−１７５０８６号公報

【特許文献2】特開２０１０−２８３４４４号公報

【非特許文献】

【0006】

【非特許文献1】谷口慶治，「画像処理工学 基礎編」，共立出版，１９９６年１１月

【発明の概要】

【発明が解決しようとする課題】

【0007】

カメラ監視システム等では、消費者や不審者等の動体オブジェクトの特徴を調査するため、撮影された画像の解像度が十分高いことが求められる。しかし、画像の解像度を高くすると、処理すべき情報量が多くなり動体オブジェクトを検出する処理が遅くなってしまうという問題が生じる。

【0008】

本発明は、画像から動体オブジェクトを検出する処理を迅速に行うことを目的とする。

【課題を解決するための手段】

【0009】

本発明は、画像を撮影する撮像部と、前記撮像部の撮影モードを高解像度モードまたは低解像度モードのいずれかに設定する撮影モード設定部と、前記撮像部が前記低解像度モードで動作しているときに前記撮像部から順次出力される各画像データに基づいて、各画像データによって示される動体オブジェクトを検出する動体オブジェクト検出部と、前記撮像部が前記高解像度モードで動作しているときに前記撮像部から順次出力される各画像データに基づいて、前記動体オブジェクトの特徴画像データを生成する特徴画像生成部と、を備え、前記撮影モード設定部は、前記動体オブジェクトが検出されたときに、前記撮像部の撮影モードを前記低解像度モードから前記高解像度モードに設定する、ことを特徴とする。

【0010】

望ましくは、前記撮像部が前記低解像度モードで動作しているときに前記撮像部から出力される画像データに基づいて、着目領域を設定する着目領域設定部を備え、前記動体オブジェクト検出部は、各画像データによって示される各画像の着目領域内の動体オブジェクトを検出する。

【0011】

望ましくは、前記撮影モード設定部は、前記撮像部が前記高解像度モードで動作した時間が、予め定められた時間を超えたときに、前記撮像部の撮影モードを前記高解像度モードから前記低解像度モードに切り換える。

【発明の効果】

【0012】

本発明によれば、画像から動体オブジェクトを検出する処理を迅速に行うことができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る画像処理装置の構成を示す図である。

【図2】制御部が実行する処理を示すフローチャートである。

【図3】第２実施形態に係る画像処理装置の構成を示す図である。

【図4】道路および舗道を撮影する場合の着目領域の例を示す図である。

【図5】店舗内を撮影する場合の着目領域の例を示す図である。

【図6】制御部が実行する処理を示すフローチャートである。

【発明を実施するための形態】

【0014】

図１には本発明の第１実施形態に係る画像処理装置１０の構成が示されている。画像処理装置１０は、例えば、スーパーマーケット、コンビニエンスストア等の店舗内の状況や、道路状況を監視するためのカメラ監視システムに用いられる。

【0015】

画像処理装置１０は、撮像部１２、制御部１８、記憶部２８、および表示部３０を備える。撮像部１２は、カメラ１４および画像データ生成回路１６を備える。画像データ生成回路１６は、カメラ１４から出力された各画素値に基づいて画像データを生成し、制御部１８に出力する。撮像部１２は、時間経過と共に順次、画像を撮影して画像データを生成し、画像データを順次、制御部１８に出力する。

【0016】

撮像部１２は、制御部１８によって低解像度モードまたは高解像度モードのいずれかの撮影モードに設定される。高解像度モードで撮像部１２が出力する画像データの画素数は、低解像度モードで撮像部１２が出力する画像データの画素数よりも大きい。したがって、高解像度モードでの撮影は、低解像度モードでの撮影よりも処理すべき情報量が多い。

【0017】

制御部１８は、プロセッサ等によって構成される。制御部１８は、記憶部２８に記憶されたプログラムを実行し、撮影モード設定部２０、動体オブジェクト検出部２２、特徴画像生成部２４および画像合成部２６を内部に構成する。また、これらの構成要素がハードウエアとして予め制御部１８に構成されてもよい。

【0018】

撮影モード設定部２０は、低解像度モードまたは高解像度モードのいずれかに撮像部１２の撮影モードを設定する。

【0019】

動体オブジェクト検出部２２は、撮像部１２から順次出力された各画像データから動体オブジェクトデータを検出する。動体オブジェクトは、撮像部１２から出力された複数の画像データが示す複数の画像を動画像として捉えた場合に、この動画像に現れる動きのある対象物をいい、動体オブジェクトデータは、そのような動体オブジェクトを表す。動体オブジェクト検出部２２は、例えば、時間を前後して撮像部１２から出力された２つの画像データの相違に基づいて、動体オブジェクトデータを検出する。

【0020】

この処理は、例えば、撮像部１２から時間的に先に出力された画像データが示す画像から、後に出力された画像データが示す画像にかけて、位置または形状が変化したパターンを検出することで行われる。

【0021】

動体オブジェクト検出部２２は、動体オブジェクトデータを検出すると共に、動体オブジェクトが占める領域を座標値によって表す動体領域データを生成する。

【0022】

特徴画像生成部２４は、動体オブジェクト検出部２２によって生成された動体領域データと、撮像部１２から順次出力される各画像データとに基づいて、各画像データについて、動体オブジェクトの特徴画像データを生成する。特徴画像データが示す特徴画像は、輪郭線、高解像度の画像等によって動体オブジェクトを示す。

【0023】

具体的に、特徴画像生成部２４は、動体オブジェクトデータを各画像データから抽出し、各動体オブジェクトデータに基づいて特徴画像データを生成する。動体オブジェクトデータの抽出は、例えば、次のようなパターンマッチングによって行われる。

【0024】

特徴画像生成部２４が、一連の画像データのそれぞれから動体オブジェクトデータを抽出する際、特徴画像生成部２４は、最初の画像データから動体オブジェクトデータを抽出するために、動体オブジェクト検出部２２によって生成された動体領域データを用いる。すなわち、特徴画像生成部２４は、動体オブジェクトが占める領域を動体領域データによって認識し、最初の画像データから動体オブジェクトデータを抽出する。そして、最初の動体オブジェクトデータのパターンと近似するパターンを示すデータを、２番目に取得された画像データから、２番目の動体オブジェクトデータとして抽出する。さらに、特徴画像生成部２４は、２番目の動体オブジェクトデータのパターンと近似するパターンを示すデータを、３番目に取得された画像データから、３番目の動体オブジェクトデータとして抽出する。特徴画像生成部２４は、４番目以降に取得された画像データについても、同様の処理によって動体オブジェクトデータを抽出する。

【0025】

パターンの近似度に基づいて動体オブジェクトデータを抽出する処理は、例えば、相関演算によって行われる。相関演算は、２つのパターン同士が一致する程度を相関値として求める演算である。相関値が大きい程、２つのパターンの近似度が高い。特徴画像生成部２４は、相関値が所定の閾値以上となる２つのパターンについては、これらのパターンが近似するものとする。このような近似度の定義に従って、特徴画像生成部２４は、時間的に先に取得された動体オブジェクトデータのパターンと近似するパターンを示すデータを、次に取得された画像データから、次の動体オブジェクトデータとして抽出する。

【0026】

画像合成部２６は、撮像部１２から出力された各画像データについて、動体オブジェクトを特徴画像に置き換えた表示画像データを生成し、表示部３０に出力する。表示部３０は、表示画像データに基づく画像を順次表示する。表示画像データを生成する際には、各画像データから静止画像データを抽出し、動体オブジェクトデータと静止画像データとを合成する処理が実行されてもよい。

【0027】

図２には、制御部１８が実行する処理のフローチャートが示されている。この処理は、図１に示される制御部１８の内部に構成された撮影モード設定部２０、動体オブジェクト検出部２２、特徴画像生成部２４、および画像合成部２６によって実行される。

【0028】

制御部１８は、撮像部１２の撮影モードを低解像度モードに設定する（Ｓ１０１）。撮像部１２は、低解像度モードで画像を撮影し、時間経過と共に順次、低解像度モードで得られた画像データを制御部１８に出力する。制御部１８は、画像データを表示部３０に順次出力し、表示部３０に画像データに基づく画像を表示させてもよい。

【0029】

制御部１８は、撮像部１２から順次出力される画像データから動体オブジェクトデータを検出する処理を実行し（Ｓ１０２）、画像に動体オブジェクトが含まれるか否かを判定する（Ｓ１０３）。制御部１８は、動体オブジェクトが含まれないとの判定をしたとき、すなわち、動体オブジェクトを検出しなかったときは、ステップＳ１０２の処理に戻り、動体オブジェクトを検出する処理を引き続き実行する。

【0030】

制御部１８は、動体オブジェクトが含まれるとの判定をしたとき、すなわち、画像内に動体オブジェクトの全部または一部が検出されたときは、動体領域データを生成し（Ｓ１０４）、撮像部１２の撮影モードを高解像度モードに設定する（Ｓ１０５）。撮像部１２は、高解像度モードで画像を撮影し、時間経過と共に順次、高解像度モードで得られた画像データを制御部１８に出力する。

【0031】

制御部１８は、撮像部１２から出力された一連の画像データのそれぞれからオブジェクトデータを抽出し、各画像データに対して特徴画像データを生成する（Ｓ１０６）。制御部１８は、さらに、各画像データについて動体オブジェクトを特徴画像に置き換えた表示画像データを生成し（Ｓ１０６）、表示部３０に出力する。

【0032】

ステップＳ１０６において、所定枚数の画像に相当する特徴画像データが生成されたときに、制御部１８は、高解像度モード時間が、所定の制限時間を超えたか否かを判定する（Ｓ１０７）。ここで、高解像度モード時間は、撮像部１２の撮影モードが高解像度モードに設定されてからの経過時間である。制御部１８は、高解像度モード時間が制限時間を超えていないときは、ステップＳ１０６の処理に戻る。一方、高解像度モード時間が制限時間を超えたときは、ステップＳ１０１の処理に戻り、撮像部１２の撮影モードを低解像度モードに設定し（Ｓ１０１）、再び、動体オブジェクトを検出する処理を実行する（Ｓ１０２）。

【0033】

ステップＳ１０７の判定によれば、高解像度モード時間が所定の制限時間を超えた場合に、再び、動体オブジェクトを検出する処理が開始される。これによって、新たに撮影範囲内に動体が入り込んだ場合に、適切なタイミングで新たな動体オブジェクトが検出される。

【0034】

図２に示された処理によれば、撮影された画像に動体オブジェクトが検出されない間は、低解像度モードで生成された画像データに基づいて動体オブジェクトを検出する処理が繰り返される。一方、撮影された画像に動体オブジェクトが検出されると、撮像部１２の撮影モードは高解像度モードに設定される。そして、高解像度モードでの撮影によって得られた画像データから特徴画像データが生成され、動体オブジェクトが特徴画像に置き換えられた画像が表示される。

【0035】

画像データから動体オブジェクトデータを検出する処理（動体オブジェクト検出処理）は各画像の全面について行われる。したがって、高解像度モードで生成された画像データに対して動体オブジェクト検出処理を実行したのでは、処理すべき情報量が多くなってしまう。そこで、本発明に係る画像処理装置では、低解像度モードで生成された画像データに対して動体オブジェクト検出処理が実行される。これによって、動体オブジェクト検出処理の負担が軽減され、動体オブジェクト検出処理が迅速に行われる。

【0036】

一方、特徴画像データは、動体オブジェクト検出処理によって得られた動体領域データが最初に用いられた上で、高解像度モードで生成された各画像データから生成される。これによって特徴画像の解像度が高められ、動体オブジェクトの特徴が詳細に表示される。さらに、特徴画像データの元となる動体オブジェクトデータを各画像データから抽出する処理は、各画像データが示す画像の領域のうち、動体オブジェクトおよびその近傍の領域に対して行われ、画像全面について行わなくてもよい。これによって、動体オブジェクトデータを各画像データから抽出し、特徴画像データを生成する処理の負担が軽減され、特徴画像データの生成が迅速に行われる。

【0037】

図３には、本発明の第２実施形態に係る画像処理装置３２の構成が示されている。この装置は、動体オブジェクトを検出する画像上の領域を所定の着目領域に限定するものである。図１に示される構成要素と同一の構成要素については、同一の符号を付してその説明を省略する。

【0038】

画像処理装置３２は、制御部１８に着目領域設定部３４が含まれている点が、第１実施形態に係る画像処理装置１０と異なる。着目領域設定部３４は、撮像部１２から出力された画像データに対して着目領域を設定する。撮像部１２が道路および歩道の画像を撮影し、歩道を進む人を動体オブジェクトとする場合、着目領域は、例えば、歩道の画像を含む領域とする。また、撮像部１２が、コンビニエンスストアやスーパーマーケット等の店舗内を撮影し、買い物客を動体オブジェクトとする場合、着目領域は、例えば、レジ台の前の領域とする。

【0039】

記憶部２８には、歩道、レジ台の前の領域等の着目領域を設定するための複数種の標準パターンデータが記憶されている。着目領域設定部３４は、記憶部２８から各標準パターンデータを読み込み、撮像部１２から出力された画像データと各標準パターンデータとを比較する。そして、画像データが示す画像に複数種の標準パターンのいずれかに近似する領域があるときは、その領域を着目領域とする。一方、画像データが示す画像に標準パターンに近似する領域がないときは、着目領域設定部３４は、画像の全領域を着目領域とする。着目領域設定部３４は、画像上の着目領域が占める範囲を座標値によって示す着目領域データを生成する。

【0040】

図４には、撮像部１２が道路および歩道を撮影する場合の着目領域の例が概念的に示されている。図４には、道路３６、歩道３８、および建造物４０が示されている。道路３６の脇の歩道３８を含む二点鎖線で囲まれた領域４２が着目領域である。図５には、撮像部１２が店舗内を撮影する場合の着目領域の例が概念的に示されている。図５には、レジ台４４および陳列棚４６が示されている。レジ台４４と陳列棚４６との間にある二点鎖線で囲まれた領域４８が着目領域である。

【0041】

図６には、画像処理装置３２が備える制御部１８が実行する処理のフローチャートが示されている。この処理は、図３に示される制御部１８の内部に構成された撮影モード設定部２０、動体オブジェクト検出部２２、特徴画像生成部２４、画像合成部２６および着目領域設定部３４によって実行される。図２のフローチャートに示されている処理と同一の処理については、同一の符号を付してその説明を省略する。

【0042】

制御部１８は、撮像部１２の撮影モードを低解像度モードに設定する（Ｓ１０１）。撮像部１２は、低解像度モードで画像を撮影し、時間経過と共に順次、低解像度モードで得られた画像データを制御部１８に出力する。

【0043】

制御部１８は、撮像部１２から出力された画像データに基づいて着目領域を設定する（Ｓ２０１）。制御部１８は、撮像部１２から順次出力された画像データが示す画像における着目領域内で動体オブジェクトを検出する処理を実行し（Ｓ２０２）、着目領域に動体オブジェクトが含まれるか否かを判定する（Ｓ２０３）。制御部１８は、着目領域内に動体オブジェクトが含まれないとき、すなわち、着目領域内に動体オブジェクトが検出されないときは、ステップＳ２０２の処理に戻る。一方、動体オブジェクトが含まれるとき、すなわち、着目領域内で動体オブジェクトの全部または一部が検出されたときは、制御部１８は、ステップＳ１０４以降の処理を実行する。

【0044】

このような処理によれば、着目領域という限られた領域に対して動体オブジェクトの検出が行われるため、不審者の監視等、目的に応じた無駄のない処理が実行される。

【符号の説明】

【0045】

１０，３２ 画像処理装置、１２ 撮像部、１８ 制御部、２０ 撮影モード設定部、２２ 動体オブジェクト検出部、２４ 特徴画像生成部、２６ 画像合成部、２８ 記憶部、３０ 表示部、３４ 着目領域設定部、３６ 道路、３８ 歩道、４０ 建造物、４２，４８ 着目領域、４４ レジ台、４６ 陳列棚。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】