特許 6939065 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6939065

(24)【登録日】2021年9月6日

(45)【発行日】2021年9月22日

(54)【発明の名称】画像認識用コンピュータプログラム、画像認識装置及び画像認識方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210909BHJP

【ＦＩ】

   G06T7/00 660B

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2017-91201(P2017-91201)

(22)【出願日】2017年5月1日

(65)【公開番号】特開2018-190132(P2018-190132A)

(43)【公開日】2018年11月29日

【審査請求日】2020年2月13日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100119987

【弁理士】

【氏名又は名称】伊坪 公一

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】鄭 明燮

(72)【発明者】

【氏名】馬場 孝之

(72)【発明者】

【氏名】上原 祐介

(72)【発明者】

【氏名】宮▲崎▼ 信浩

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１５−０３２１３３（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１０８６８６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像部により得られた時系列の複数の画像のそれぞれから被写体が表された領域を検出し、
前記領域の縦横比の時系列に沿った変化度合い、または、前記領域内の各画素の前景の値と背景の値との差の絶対値に応じて、前記複数の画像のうち、前記領域が誤検出されている可能性がある要注意画像を特定し、
前記複数の画像のうちの前記要注意画像以外の画像を、当該画像から検出された前記被写体が表された領域の外枠を重畳した上で表示装置に表示させ、一方、前記複数の画像のうちの前記要注意画像を、当該画像から検出された前記被写体が表された領域の外枠を重畳せずに前記表示装置に表示させる、
ことをコンピュータに実行させるための画像認識用コンピュータプログラム。

【請求項2】

前記複数の画像のうちの前記被写体が表された領域が検出された画像のそれぞれについて、当該領域を複数のサブ領域に分割し、前記複数のサブ領域のそれぞれについて、当該サブ領域内の各画素について前景の値と背景の値との差の絶対値の統計的代表値を算出することをさらにコンピュータに実行させ、
前記要注意画像を特定することは、前記被写体が表された領域が検出された画像のうち、前記複数のサブ領域の何れかのサブ領域についての前記統計的代表値が第１の閾値未満となる画像を前記要注意画像として特定することを含む、請求項１に記載の画像認識用コンピュータプログラム。

【請求項3】

前記複数の画像のうちの前記被写体が表された領域が検出された画像のそれぞれについて、当該領域の縦横比を算出することをさらにコンピュータに実行させ、
前記要注意画像を特定することは、前記被写体が表された領域が検出された画像のうち、当該画像の前記縦横比と時系列で直前の画像における前記縦横比との差の絶対値が第２の閾値よりも大きくなる画像を前記要注意画像として特定することを含む、請求項１または２に記載の画像認識用コンピュータプログラム。

【請求項4】

撮像部により得られた時系列の複数の画像のそれぞれから被写体が表された領域を検出する被写体検出部と、
前記領域の縦横比の時系列に沿った変化度合い、または、前記領域内の各画素の前景の値と背景の値との差の絶対値に応じて、前記複数の画像のうち、前記領域が誤検出されている可能性がある要注意画像を特定する要注意判定部と、
前記複数の画像のうちの前記要注意画像以外の画像を、当該画像から検出された前記被写体が表された領域の外枠を重畳した上で表示装置に表示し、一方、前記複数の画像のうちの前記要注意画像を、当該画像から検出された前記被写体が表された領域の外枠を重畳せずに前記表示装置に表示する提示部と、
を有する画像認識装置。

【請求項5】

撮像部により得られた時系列の複数の画像のそれぞれから被写体が表された領域を検出し、
前記領域の縦横比の時系列に沿った変化度合い、または、前記領域内の各画素の前景の値と背景の値との差の絶対値に応じて、前記複数の画像のうち、前記領域が誤検出されている可能性がある要注意画像を特定し、
前記複数の画像のうちの前記要注意画像以外の画像を、当該画像から検出された前記被写体が表された領域の外枠を重畳した上で表示装置に表示し、一方、前記複数の画像のうちの前記要注意画像を、当該画像から検出された前記被写体が表された領域の外枠を重畳せずに前記表示装置に表示する、
ことを含む画像認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、画像上に表された被写体を認識する画像認識用コンピュータプログラム、画像認識装置及び画像認識方法に関する。

【背景技術】

【0002】

防犯、防災、あるいは情報収集といった目的のために、建物内あるいは屋外に監視カメラが設置されることがある。このような監視カメラにより得られた画像に基づいて、上記のような所望の目的を達成するためには、その画像から、人あるいは車両といった認識対象となる被写体を正確に検出できることが好ましい。そこで、背景画像のフレームと対象映像のフレーム間の背景差分領域を求めることで、対象映像のフレームにおいて被写体が表された領域を抽出する技術が提案されている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平０６−２５１１５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像から被写体を検出するための技術の一つとして、adaBoost、サポートベクトルマシン、あるいは、ニューラルネットワークといった、機械学習を用いた識別器が知られている。このような識別器を用いて画像から被写体を高精度で検出できるようにするために、カメラの設置環境下において被写体が表された様々な画像、及び、被写体が表されていない様々な画像が、その識別器を学習するための教師画像として収集される。

【0005】

このような教師画像を収集するために、画像ごとに、その画像に被写体が表されているか否かを確認し、かつ、被写体が表されている場合には、被写体が表されている領域を示す枠及び識別情報などを画像に付与する作業が行われる。作業者が、画像ごとにこのような作業を実施すると、その工数は膨大となる。そのため、このような作業は、極力自動で行えることが好ましい。しかしながら、例えば、特許文献１に記載されたような技術を利用して、画像に被写体が表されているか否かを自動的に判別する場合でも、被写体でないものを被写体と誤検出したり、被写体の検出に失敗することがある。このような場合、得られた教師画像のセットは識別器の学習には適さないものとなる。

【0006】

一つの側面では、本発明は、被写体が表された領域が誤検出されている可能性がある画像を特定することが可能な画像認識用コンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの実施形態によれば、画像認識用コンピュータプログラムが提供される。この画像認識用コンピュータプログラムは、撮像部により得られた時系列の複数の画像のそれぞれから被写体が表された領域を検出し、被写体が表された領域の縦横比の時系列に沿った変化度合い、または、被写体が表された領域内の各画素の前景の値と背景の値との差に応じて、複数の画像のうち、被写体が表された領域が誤検出されている可能性がある要注意画像を特定する、ことをコンピュータに実行させるための命令を含む。

【発明の効果】

【0008】

一つの側面によれば、被写体が表された領域が誤検出されている可能性がある画像を特定することができる。

【図面の簡単な説明】

【0009】

【図1】一つの実施形態による、画像認識装置のハードウェア構成図である。

【図2】画像認識処理に関するＣＰＵの機能ブロック図である。

【図3】画素値差算出の概要の説明図である。

【図4】被写体領域の縦横比算出の概要の説明図である。

【図5】検出情報テーブルの一例を示す図である。

【図6】ユーザインターフェースに表示される画像の一例を示す図である。

【図7】（ａ）及び（ｂ）は、変形例による、ユーザインターフェースに表示される画像の一例を示す図である。

【図8】画像認識処理の動作フローチャートである。

【発明を実施するための形態】

【0010】

以下、図を参照しつつ、画像認識装置、及び、その画像認識装置で利用される画像認識方法及び画像認識用コンピュータプログラムについて説明する。この画像認識装置は、例えば、機械学習に基づく被写体認識用の識別器の学習に使用される教師画像のセットを作成するために用いられる。そのために、この画像認識装置は、その識別器が利用されるカメラの設置環境下で、そのカメラにより得られた一連の複数の画像のそれぞれから、検出対象となる被写体が表されている被写体領域を検出する。そしてこの画像認識装置は、被写体領域内の各画素の前景と背景間の画素値の差の統計的代表値、及び、被写体領域の縦横比を算出する。そしてこの画像認識装置は、画素値の差の統計的代表値または被写体領域の縦横比の時系列に沿った変化度合いに応じて、被写体領域が誤検出されている可能性がある画像を要注意画像として特定する。なお、本明細書において、被写体領域が誤検出されていることには、被写体領域に被写体以外のものが表されていることだけでなく、被写体領域に被写体の一部しか表されていないことも含まれる。

【0011】

図１は、一つの実施形態による、画像認識装置のハードウェア構成図である。図１に示されるように、画像認識装置１は、カメラ２と、通信インターフェース３と、ユーザインターフェース４と、メモリ５と、記憶媒体アクセス装置６と、ＣＰＵ(Central Processing Unit)７とを有する。

【0012】

カメラ２は、撮像部の一例であり、所定の撮影範囲を撮影し、その撮影範囲が写った画像を生成する。そのために、カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する固体撮像素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影範囲の像を結像する結像光学系とを有する。カメラ２は、一定の撮影周期（例えば1/30秒）ごとに画像を生成する。そしてカメラ２は、画像を生成する度に、その画像を、通信ネットワークを介して、通信インターフェース３へ出力する。
本実施形態では、カメラ２により生成される画像は、各画素の値が輝度値で表されるモノクロ画像である。しかし、カメラ２により生成される画像は、各画素の値がRGB色空間または他の色空間（例えば、HLS色空間あるいはYPbPr色空間）の値で表されるカラー画像であってもよい。

【0013】

通信インターフェース３は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース３は、通信ネットワークを介してカメラ２から画像を受け取り、その受け取った画像をＣＰＵ７にわたす。また通信インターフェース３は、ＣＰＵ７から受け取った、機械学習システムの学習用の教師画像のセットを、通信ネットワークを介して他の機器（図示せず）へ出力してもよい。

【0014】

ユーザインターフェース４は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。あるいは、ユーザインターフェース４は、タッチパネルといった、入力装置と表示装置とが一体化された装置を有していてもよい。そしてユーザインターフェース４は、例えば、ＣＰＵ７から受け取った、画像認識処理が行われた画像とその画像認識結果とを表示装置に表示する。また、ユーザインターフェース４は、表示装置に表示された画像及び画像認識結果を確認したユーザの操作に応じて修正された被写体領域の外接矩形を表す情報及び被写体の識別情報などをＣＰＵ７へ出力する。

【0015】

メモリ５は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリである。そしてメモリ５は、例えば、ＣＰＵ７で実行される画像認識処理を実行するための各種のデータ及び認識結果などを記憶する。さらに、メモリ５は、カメラ２から取得した画像を一定期間記憶してもよい。

【0016】

記憶媒体アクセス装置６は、記憶部の他の一例であり、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置６は、例えば、記憶媒体８に記憶された、ＣＰＵ７上で実行される画像認識処理用のコンピュータプログラムを読み込み、ＣＰＵ７に渡す。あるいは、記憶媒体アクセス装置６は、作成された教師画像のセットをＣＰＵ７から受け取って、そのセットを記憶媒体８に書き込んでもよい。

【0017】

ＣＰＵ７は、制御部の一例であり、例えば、１個または複数個のプロセッサ及びその周辺回路を有する。そしてＣＰＵ７は、画像認識装置１全体を制御する。また、ＣＰＵ７は、通信インターフェース３を介してカメラ２から画像を受け取る度に、その画像に画像生成日時を対応付けてメモリ５に保存する。そしてＣＰＵ７は、教師画像のセットに含める予定の複数の画像のそれぞれに対して画像認識処理を実行する。

【0018】

本実施形態では、画像認識処理の対象となる複数の画像は、カメラ２が連続的に撮影することにより生成された、時系列に沿って連続する一連の画像である。なお、画像認識処理の対象となる複数の画像には、そのような一連の画像のセットが複数含まれていてもよい。また、画像認識処理における認識対象となる被写体は人である。しかし、認識対象となる被写体は人に限られず、例えば、車両あるいは人以外の他の動物であってもよい。

【0019】

図２は、画像認識処理に関するＣＰＵ７の機能ブロック図である。図２に示されるように、ＣＰＵ７は、被写体検出部１１と、画素値差算出部１２と、縦横比算出部１３と、要注意判定部１４と、提示部１５とを有する。

【0020】

ＣＰＵ７が有するこれらの各部は、例えば、ＣＰＵ７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、ＣＰＵ７が有するこれらの各部は、ファームウェアとして画像認識装置１に実装されてもよい。

【0021】

被写体検出部１１は、画像認識処理の対象となる複数の画像のそれぞれから被写体が表された領域である被写体領域を検出する。なお、被写体検出部１１は、複数の画像のそれぞれに対して同一の処理を行えばよいので、以下では、一つの画像に対する処理について説明する。

【0022】

被写体検出部１１は、例えば、画像に対して背景差分処理を行うことにより、被写体領域を検出する。この場合、被写体検出部１１は、画像と背景画像との各対応画素間の輝度値の差の絶対値を算出し、輝度値の差の絶対値が所定の閾値以上となる画素を抽出する。そして被写体検出部１１は、抽出した画素の集合を被写体領域とする。なお、背景画像は、例えば、カメラ２の撮影範囲内に被写体が存在しないときにカメラ２がその撮影範囲を撮影することにより生成され、メモリ５に予め保存される。

【0023】

なお、被写体検出部１１は、抽出した画素の集合に対してラベリング処理を行って、互いに連結される画素同士を一つの被写体領域としてもよい。これにより、被写体検出部１１は、一つの画像に複数の被写体が写っている場合でも、被写体ごとに、その被写体が表される被写体領域を検出できる。また、被写体検出部１１は、ラベリング処理の前に、モルフォロジーの膨張収縮演算を実行して得られる領域を被写体領域としてもよい。これにより、被写体検出部１１は、被写体の一部が写っているにもかかわらず、孤立した画素を被写体領域に含めることができる。

【0024】

また、被写体検出部１１は、カメラ２の設置環境に対して最適化されていない、被写体検出用の汎用識別器を用いて、画像から被写体領域を検出してもよい。この場合、被写体検出部１１は、画像上にウィンドウを設定し、ウィンドウ内の各画素の値から、汎用識別器に入力する特徴（例えば、Haar-like特徴）を算出して、その特徴を汎用識別器に入力することで、ウィンドウ内に被写体が写っているか否か判定する。そして被写体検出部１１は、被写体が写っていると判定されたウィンドウに対して、例えば、改めて背景差分処理を実行することで、被写体領域を検出してもよい。被写体検出部１１は、ウィンドウの位置を変更しながら上記の処理を繰り返すことで、画像上の何れの位置に写っている被写体についても、被写体領域を検出できる。

【0025】

なお、汎用識別器として、例えば、adaBoost識別器、サポートベクトルマシンあるいは多層パーセプトロンなどを用いることができる。ただし、汎用識別器は、カメラ２の設置環境に応じて最適化された識別器と比較して、被写体の検出精度は低い。そこで汎用識別器は、被写体以外のものが写っている領域を被写体領域として誤検出する可能性が若干高くても、被写体が写っているにもかかわらず、被写体領域の検出に失敗する可能性が低くなるように調整されていることが好ましい。

【0026】

被写体検出部１１は、画像上に複数の被写体領域が検出された場合、それら被写体領域のうちの面積が最大となる被写体領域を残し、他の被写体領域は誤検出されたものとして削除してもよい。あるいは、被写体検出部１１は、面積が所定の面積閾値未満となる被写体領域について、誤検出されたものとして削除してもよい。

【0027】

検出した被写体領域は、例えば、被写体領域に含まれる各画素の値と被写体領域外の各画素の値とが異なる２値画像で表される。被写体検出部１１は、各画像について、検出した被写体領域を画素値差算出部１２及び縦横比算出部１３へ通知する。

【0028】

画素値差算出部１２は、画像認識処理の対象となる複数の画像のうち、被写体領域が検出された画像に対して、被写体領域内の前景と背景間の画素値の差の統計的代表値を算出する。この画素値の差の統計的代表値は、被写体領域が誤検出されている可能性がある要注意画像を特定するために用いられる特徴量の一つである。なお、画素値差算出部１２は、複数の画像のそれぞれに対して同一の処理を行えばよいので、以下では、一つの画像に対する処理について説明する。

【0029】

画素値差算出部１２は、例えば、直前の画像について被写体領域が確認されている場合、直前の画像について設定された、被写体領域の外接矩形と同サイズの画素値差算出枠を、着目する画像の被写体領域の位置に応じて設定する。そして画素値差算出部１２は、画素値差算出枠内の被写体領域の各画素について前景と背景間の画素値の差を算出する。例えば、画素値差算出部１２は、画素値差算出枠の上端を被写体領域の上端と一致させ、かつ、画素値差算出枠の水平方向の中心が、被写体領域の重心の水平方向の座標と一致するように、画素値差算出枠を設定する。これにより、着目する画像において被写体領域が正確に検出されていない場合でも、画素値差算出部１２は、画素値差が算出される領域を適切に設定できる。
なお、直前の画像について検出された被写体領域が作業者により確認されていない場合には、画素値差算出部１２は、着目する画像の被写体領域の外接矩形そのものを画素値差算出枠としてもよい。

【0030】

本実施形態では、画素値差算出部１２は、被写体領域を複数のサブ領域に分割する。その際、画素値差算出部１２は、互いに類似する画素値を持つ画素同士が同じサブ領域に含まれるように、例えば、被写体領域の前景内の各画素の値（すなわち、着目画像における、被写体領域内の各画素の値）に基づいて、被写体領域をサブ領域ごとに分割する。なお、被写体領域をサブ領域ごとに分割するために、画素値差算出部１２は、例えば、単純領域拡張法といった領域分割法を用いることができる。また、カメラ２により生成される画像がカラー画像である場合には、画素値差算出部１２は、領域分割法として、例えば、Maximally Stable Color Regions(MSCR)法といった、色情報を用いる領域分割法を使用してもよい。

【0031】

画素値差算出部１２は、サブ領域ごとに、そのサブ領域内の各画素について、前景と背景の画素値の差の絶対値を算出する。なお、前景の画素の画素値は、着目する画像における、対応画素の画素値であり、背景の画素の画素値は、背景画像における、対応画素の画素値である。また、本実施形態では、画素値の差の絶対値の算出に利用する画素値は、輝度値とすることができる。しかし、カメラ２により生成される画像がカラー画像である場合、画素値の差の絶対値の算出に利用する画素値は、何れかの色成分、色相あるいは彩度の値であってもよい。

【0032】

画素値差算出部１２は、サブ領域ごとに、そのサブ領域内の各画素の画素値の差の絶対値の平均値を、前景と背景間の画素値の差の統計的代表値として算出する。

【0033】

図３は、画素値差算出の概要の説明図である。図３に示されるように、着目する画像３００と背景画像３０１間の背景差分により得られる差分画像３０２上で、被写体領域３１０が特定される。被写体領域３１０が複数のサブ領域３１１に分割され、サブ領域３１１ごとに、前景と背景間の画素値の差の統計的代表値mdiが算出される。

【0034】

なお、変形例によれば、画素値差算出部１２は、サブ領域ごとに、そのサブ領域内の各画素の輝度値の差の絶対値の最頻値あるいは中央値を、前景と背景間の画素値の差の統計的代表値として算出してもよい。また、他の変形例によれば、画素値差算出部１２は、被写体領域全体として、前景と背景間の画素値の差の絶対値の平均値、中央値あるいは最頻値の何れかを、前景と背景間の画素値の差の統計的代表値として算出してもよい。

【0035】

画素値差算出部１２は、画像ごとに、その画像の被写体領域のサブ領域ごとの画素値の差の統計的代表値を要注意判定部１４へ通知する。また、被写体領域全体として一つの統計的代表値が算出されている場合、画素値差算出部１２は、被写体領域について算出されたその統計的代表値を要注意判定部１４へ通知する。

【0036】

縦横比算出部１３は、画像認識処理の対象となる複数の画像のうち、被写体領域が検出された画像に対して、被写体領域の縦横比を算出する。なお、縦横比算出部１３は、複数の画像のそれぞれに対して同一の処理を行えばよいので、以下では、一つの画像に対する処理について説明する。

【0037】

縦横比算出部１３は、被写体領域に対して外接矩形を設定し、その外接矩形の横幅に対する縦幅の比を、被写体領域の縦横比として算出する。画像に表される被写体（例えば、人）の縦横比の取り得る範囲は、その被写体の形状に応じて予め想定される。また、被写体領域の縦横比は、ある画像について被写体の一部が被写体領域に含まれていなかったり、逆に、被写体領域に被写体以外の物が含まれると、時系列に大きく変化することがある。そのため、被写体領域の縦横比の時系列の変化は、要注意画像を特定するために用いられる特徴量の他の一つである。

【0038】

図４は、被写体領域の縦横比算出の概要の説明図である。画像４００上の被写体領域４０１に対して、被写体領域４０１の上下端、及び左右端とそれぞれ接するように、外接矩形４０２が設定される。この場合、被写体領域４０１の縦横比Rは、外接矩形４０２の横幅Wに対する縦幅Hの比として算出される。すなわち、外接矩形４０２の左上端の画素SPの座標が(x1,y1)であり、右下端の画素EPの座標が(x2,y2)であれば、縦横比Rは、次式で表される。

【数1】

【0039】

縦横比算出部１３は、画像ごとに、その画像の被写体領域の縦横比を要注意判定部１４へ通知する。

【0040】

要注意判定部１４は、画像認識処理の対象となる複数の画像のうち、被写体領域が検出された画像について、被写体領域の前景と背景間の画素値の差の統計的代表値及び被写体領域の縦横比に基づいて、要注意画像か否か判定する。なお、要注意判定部１４は、複数の画像のそれぞれに対して同一の処理を行えばよいので、以下では、一つの画像に対する処理について説明する。

【0041】

例えば、画像上に表された被写体とその背景間の画素値の差が小さいほど、被写体を正確に検出することが困難となる。そのため、被写体領域の前景と背景間の画素値の差の統計的代表値（例えば、差の絶対値の平均値、中央値あるいは最頻値）が小さいほど、被写体の一部について検出に失敗していたり、逆に、被写体以外の物体を被写体として誤検出している可能性が高くなる。また、被写体領域の一部に、被写体以外の物が含まれる場合、その一部について、前景と背景間の画素値の差の統計的代表値が小さくなることがある。

【0042】

そこで、要注意判定部１４は、着目する画像の被写体領域について複数のサブ領域が設定されている場合、サブ領域ごとに、そのサブ領域について算出された前景と背景間の画素値の差の統計的代表値を画素値差閾値Th1と比較する。そして要注意判定部１４は、何れかのサブ領域について、その統計的代表値が画素値差閾値Th1未満となる場合、そのサブ領域が含まれる被写体領域は、正しく検出されていない可能性があると判定する。すなわち、被写体の一部のみが被写体領域に含まれていたり、あるいは、被写体とは異なる他の物体が被写体領域に含まれている可能性がある。そこで要注意判定部１４は、着目する画像を要注意画像と判定する。このように、要注意判定部１４は、サブ領域ごとに前景と背景間の画素値の差の統計的代表値を画素値差閾値Th1と比較することで、被写体領域の一部に他の物体が含まれている場合でも、その被写体領域を含む画像を要注意画像として特定できる。

【0043】

なお、着目する画像の被写体領域全体について前景と背景間の画素値の差の統計的代表値が算出されている場合、要注意判定部１４は、その統計的代表値が画素値差閾値Th1未満となる場合、着目する画像を要注意画像と判定すればよい。

【0044】

なお、画素値差閾値Th1は、例えば、カメラ２の撮影範囲内に被写体が存在しない状態でカメラ２がその撮影範囲を互いに異なるタイミングで撮影することで得られた２枚の背景画像の対応画素間の差分値D(i,j)の標準偏差σの3倍とすることができる。

【0045】

また、時間的に連続する複数の画像間で、被写体の形状はあまり変化しないと想定される。したがって、各画像において、被写体領域が被写体を正しく表している場合には、被写体領域の縦横比は、それら複数の画像間であまり変化しないと想定される。一方、何れかの画像において被写体領域が被写体を正確に表していなければ、その画像と前後の画像間で、被写体領域の縦横比が相対的に大きく変化することがある。

【0046】

そこで要注意判定部１４は、着目する画像の被写体領域の縦横比R_nと、着目する画像の直前の被写体領域の縦横比R_n-1間の差Rvを縦横比の時系列に沿った変化度合いとして算出し、その変化度合いRvを所定の形状閾値Th2と比較する。そして要注意判定部１４は、その変化度合いRvが所定の形状閾値Th2よりも大きければ、着目する画像を要注意画像と判定する。なお、変化度合いRvは、例えば、次式に従って算出される。

【数2】

【0047】

また、形状閾値Th2は、想定される被写体の縦横比に応じて予め設定される。

【0048】

なお、着目する画像の直前の画像において被写体領域が検出されていない場合、被写体領域の縦横比の時系列に沿った変化度合いが算出されないので、要注意判定部１４は、着目する画像を要注意画像と判定してもよい。また、要注意判定部１４は、被写体領域が検出されなかった画像を、要注意画像でないとしてもよい。

【0049】

要注意判定部１４は、画像ごとに、検出された被写体領域の外接矩形の位置及び範囲と、被写体領域内のサブ領域ごとの画素値の差の統計的代表値と、縦横比と、要注意画像か否かを表すフラグとを、メモリ５に記憶される検出情報テーブルに書き込む。

【0050】

図５は、検出情報テーブルの一例を示す図である。検出情報テーブル５００には、行ごとに、一つの画像についての検出情報が表される。すなわち、検出情報テーブル５００の左端の欄には、画像の生成順序を表すフレーム番号が示される。左から２番目の欄には、検出された被写体領域の外接矩形の左上端画素の座標SPn(x1,y1)及び右下端画素の座標EPn(x2,y2)が示される。左から３番目の欄には、被写体領域内のサブ領域ごとの前景と背景間の画素値の差の統計的代表値(md1, md2, ...)が示される。また、右から２番目の欄には、縦横比Rnが示される。そして右端の欄には、要注意画像か否かのフラグが示される。

【0051】

提示部１５は、画像認識処理の対象となる複数の画像のそれぞれを、例えば、生成時間順に、ユーザインターフェース４に順次表示させる。その際、提示部１５は、検出情報テーブルを参照して、要注意画像でない画像については、被写体領域の外接矩形をその画像に重畳して表示させる。一方、提示部１５は、検出情報テーブルを参照して、要注意画像である画像については、被写体領域が検出されていても、被写体領域の外接矩形を表示しない。提示部１５は、代わりに、被写体領域の近傍に、要注意画像であることを表すマーク、例えば、矢印を表示させてもよい。

【0052】

図６は、ユーザインターフェース４に表示される画像の一例を示す図である。この例では、時刻T0〜T3に得られた４枚の画像６００〜６０３のうち、時刻T3に得られた画像６０３のみが要注意画像であるとする。なお、画像６００〜６０３は、例えば、生成時間順に一枚ずつ表示される。

【0053】

この場合、画像６００〜６０２については、それぞれ、検出された被写体領域の外接矩形６１０〜６１２が、画像６００〜６０２とともに表示される。これにより、作業者は、画像６００〜６０２に関しては、外接矩形６１０〜６１２を参照して、被写体が正しく検出されていることを確認すればよい。なお、提示部１５は、ユーザインターフェース４から、画像６００〜６０２のそれぞれごとに、作業者が確認したことを表す操作信号を受け付けてもよい。そして提示部１５は、その操作信号を受け付けると、外接矩形に被写体の識別情報を付してもよい。あるいは、作業者が、各画像に写っている被写体を確認して、各画像に被写体の識別情報を付してもよい。また、同一の被写体ごとに、その被写体の識別情報と、その被写体が写っている画像の数と、各画像における検出情報とを対応付けた被写体データが作成されてもよい。

【0054】

一方、要注意画像である画像６０３については、被写体領域の外接矩形は表示されない。その代り、被写体領域６２０の近傍に、要注意画像であることを表す矢印６１３が表示される。そして画像６０３について、作業者が、ユーザインターフェース４を操作して、被写体領域の外接矩形を設定し、設定された外接矩形の位置及び範囲を表す情報がＣＰＵ７に渡される。ＣＰＵ７が、ユーザにより設定された外接矩形の位置及び範囲を表す情報を受け取ると、提示部１５は、その情報で表される外接矩形を、被写体領域の本当の外接矩形とする。そして提示部１５は、検出情報テーブルに示された、要注意画像６０３の外接矩形の位置及び範囲を表す情報を、作業者により設定された外接矩形の位置及び範囲を表す情報で更新してもよい。さらに、作業者は、ユーザインターフェース４を操作して、設定した外接矩形に被写体の識別情報を付してもよい。

【0055】

なお、変形例によれば、提示部１５は、要注意画像でない画像が連続する場合、その連続する画像を早送り表示させてもよい。あるいは、提示部１５は、その連続する画像のそれぞれの被写体領域及びその外接矩形を一度に表示させてもよい。例えば、提示部１５は、その連続する画像のそれぞれから被写体領域を切り出して、一つの画像に合成することで、連続する画像のそれぞれの被写体領域及び外接矩形を一つの画像に表してもよい。あるいは、提示部１５は、連続する画像のそれぞれを縮小してサムネイル画像を生成し、それらサムネイル画像をユーザインターフェース４に同時に表示させてもよい。その際、提示部１５は、各サムネイル画像上に、被写体領域を囲う外接矩形を表示すればよい。

【0056】

ただし、この変形例の場合も、提示部１５は、要注意画像については、個々の要注意画像ごとに、ユーザインターフェース４に表示することが好ましい。これにより、作業者は、要注意画像でない画像については、一度に複数の画像について検出された被写体領域が正しいか否か確認することができ、一方、要注意画像を見易い状態で、被写体領域の外接矩形を設定する操作を行うことができる。

【0057】

図７（ａ）及び図７（ｂ）は、この変形例による、ユーザインターフェース４に表示される画像の一例を示す図である。この例では、時刻T0〜T2に得られた３枚の画像７００〜７０２は、何れも、要注意画像でないとする。

【0058】

図７（ａ）に示される例では、画像７００〜７０２は、被写体領域の外枠７１０〜７１２とともに早送り表示される。その際、作業者が、ユーザインターフェース４を介して早送り表示を停止する操作を行わない限り、提示部１５は、各画像の被写体領域が正しいことが確認されたとみなして、各画像について、一定期間（例えば、1〜5秒）表示後に次の画像を表示してもよい。

【0059】

また、図７（ｂ）に示される例では、画像７００〜７０２のそれぞれから検出された被写体領域７２０〜７２２が一つの画像７３０上に合成され、その画像７３０が表示される。そのため、作業者は、一枚の画像７３０を確認するだけで、３枚の画像７００〜７０２のそれぞれの被写体領域が正しいことを確認できる。

【0060】

図８は、ＣＰＵ７により実行される、画像認識処理の動作フローチャートである。ＣＰＵ７は、画像ごとに、下記の動作フローチャートに従って画像認識処理を実行すればよい。

【0061】

被写体検出部１１は、画像上で検出対象となる被写体が表されている被写体領域を検出する（ステップＳ１０１）。
画素値差算出部１２は、被写体領域を複数のサブ領域に分割する（ステップＳ１０２）。そして画素値差算出部１２は、サブ領域ごとに、前景と背景間の画素値の差の統計的代表値を算出する（ステップＳ１０３）。

【0062】

また、縦横比算出部１３は、被写体領域の縦横比を算出する（ステップＳ１０４）。

【0063】

要注意判定部１４は、被写体領域のサブ領域ごとの前景と背景間の画素値の差の統計的代表値、または、縦横比の時系列に沿った変化度合いが、画像が要注意画像となる条件を満たすか否か判定する（ステップＳ１０５）。画素値の差の統計的代表値及び縦横比の時系列に沿った変化度合いの何れも要注意画像となる条件を満たさない場合（ステップＳ１０５−Ｎｏ）、提示部１５は、ユーザインターフェース４に画像とともに被写体領域の外接矩形を表示させる（ステップＳ１０６）。一方、画素値の差の統計的代表値または縦横比の時系列に沿った変化度合いの何れかが要注意画像となる条件を満たす場合（ステップＳ１０５−Ｙｅｓ）、着目する画像は要注意画像である。そこで提示部１５は、ユーザインターフェース４に、画像とともに要注意画像であることを表すマークを表示させる（ステップＳ１０７）。そして提示部１５は、ユーザインターフェース４を介した被写体領域の外接矩形の設定情報及び被写体の識別情報を受け付け、その設定情報にしたがって、被写体領域の外接矩形を設定するとともに、その外接矩形に被写体の識別情報を付す（ステップＳ１０８）。
ステップＳ１０６またはＳ１０８の後、ＣＰＵ７は、画像認識処理を終了する。なお、ＣＰＵ７は、ステップＳ１０２及びＳ１０３の処理と、ステップＳ１０４の処理の順序を入れ替えてもよく、あるいは、ステップＳ１０２及びＳ１０３の処理と、ステップＳ１０４の処理を並列に実行してもよい。

【0064】

以上に説明してきたように、この画像認識装置は、着目する画像の被写体領域の前景と背景間の画素値の差の統計的代表値、及び、被写体領域の縦横比の時系列に沿った変化度合いを算出する。そしてこの画像認識装置は、その統計的代表値または縦横比の時系列に沿った変化度合いに応じて、着目する画像が、被写体領域が誤検出されている可能性がある要注意画像か否か判定する。そのため、この画像認識装置は、識別器学習用の教師画像のセットを生成する際に、要注意画像を自動的に特定できる。また、この画像認識装置は、要注意画像を作業者に確認させる際、被写体領域の外接矩形を表示しないことで、その外接矩形を修正する手間を削減することができる。

【0065】

なお、変形例によれば、要注意判定部１４は、被写体領域の前景と背景間の画素値の差の統計的代表値、及び、被写体領域の縦横比の時系列に沿った変化度合いのうちの何れか一方のみに基づいて、着目する画像が要注意画像か否か判定してもよい。この場合、画素値差算出部１２及び縦横比算出部１３のうち、算出される値が要注意判定部１４で使用されない方については省略されてもよい。

【0066】

また他の変形例によれば、縦横比算出部１３は、被写体領域の外接矩形を設定する代わりに、被写体領域の外接楕円を設定してもよい。そして縦横比算出部１３は、その外接楕円の短軸方向の直径に対する長軸方向の直径の比を、縦横比として算出してもよい。

【0067】

さらに他の変形例によれば、一つの画像から複数の被写体領域が検出された場合、画素値差算出部１２、縦横比算出部１３及び要注意判定部１４は、被写体領域ごとに、上記の実施形態または変形例による処理を行ってもよい。そして要注意判定部１４は、複数の被写体領域のうちの何れか一つについて、画像が要注意画像に該当する判定条件が満たされる場合、その画像を要注意画像としてもよい。

【0068】

さらに他の変形例によれば、提示部１５は省略されてもよい。この場合には、例えば、作業者は、一連の画像について画像認識処理が終了した後に、検出情報テーブルを参照して、ユーザインターフェース４を操作することで、特定された要注意画像をユーザインターフェース４に表示させてもよい。そして作業者は、表示された要注意画像を参照して、ユーザインターフェース４を操作することで、その要注意画像に被写体領域の外接矩形及び被写体の識別情報を付してもよい。

【0069】

さらに、上記の実施形態または変形例による画像認識装置のＣＰＵが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。

【0070】

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0071】

１ 画像認識装置
２ カメラ
３ 通信インターフェース
４ ユーザインターフェース
５ メモリ
６ 記憶媒体アクセス装置
７ ＣＰＵ
８ 記憶媒体
１１ 被写体検出部
１２ 画素値差算出部
１３ 縦横比算出部
１４ 要注意判定部
１５ 提示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】