特開2016-206836(P2016-206836A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 東京大学の特許一覧
特開2016-206836特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム
<>
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000009
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000010
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000011
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000012
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000013
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000014
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000015
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000016
  • 特開2016206836-特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム 図000017
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-206836(P2016-206836A)
(43)【公開日】2016年12月8日
(54)【発明の名称】特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム
(51)【国際特許分類】
   G06T 7/00 20060101AFI20161111BHJP
【FI】
   G06T7/00 300F
【審査請求】未請求
【請求項の数】11
【出願形態】OL
【全頁数】16
(21)【出願番号】特願2015-85950(P2015-85950)
(22)【出願日】2015年4月20日
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】特許業務法人 楓国際特許事務所
(72)【発明者】
【氏名】佐藤 洋一
(72)【発明者】
【氏名】松川 徹
(72)【発明者】
【氏名】労 世紅
(72)【発明者】
【氏名】張 海虹
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA02
5L096CA02
5L096DA01
5L096EA13
5L096FA16
5L096FA34
5L096GA07
5L096JA11
5L096JA18
(57)【要約】
【課題】オブジェクトの撮像画像から、カメラの性能や撮像環境の違いに対して頑健性を持つオブジェクトの特徴量を生成し、オブジェクトの照合精度を向上させる技術を提供する。
【解決手段】画素特徴ベクトルマップ生成機能部34は、オブジェクトが撮像されているオブジェクト画像の各画素について、予め定めた次元の画素特徴ベクトルを抽出する。局所領域ベクトル生成機能部36は、大域領域内に設定した複数の局所領域毎に、その局所領域に位置する画素の画素特徴ベクトルの自己相関行列を算出し、算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する。大域領域ベクトル生成機能部37は、大域領域に位置する局所領域の局所領域ベクトルの自己相関行列を算出し、算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する。
【選択図】図2
【特許請求の範囲】
【請求項1】
オブジェクトが撮像されているオブジェクト画像に対して設定した大域領域の特徴量を生成する特徴量生成ユニットであって、
オブジェクトが撮像されているオブジェクト画像の各画素について、画素特徴ベクトルを抽出する画素特徴ベクトル抽出部と、
前記大域領域内に設定した複数の局所領域毎に、その局所領域に位置する画素の画素特徴ベクトルの自己相関行列を算出する第1の自己相関行列算出部と、
前記局所領域毎に、前記第1の自己相関行列算出部で算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する局所領域ベクトル生成部と、
前記大域領域に位置する前記局所領域の局所領域ベクトルの自己相関行列を算出する第2の自己相関行列算出部と、
前記大域領域の特徴量として、前記第2の自己相関行列算出部で算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する大域領域ベクトル生成部と、を備えた特徴量生成ユニット。
【請求項2】
前記局所領域ベクトル生成部は、前記第1の自己相関行列算出部で算出した画素特徴ベクトルの自己相関行列に対して行列対数変換を行って局所領域ベクトルを生成する、請求項1に記載の特徴量生成ユニット。
【請求項3】
前記画素特徴ベクトル抽出部は、画素の輝度値にかかる要素を含む画素特徴ベクトルを抽出する、請求項1、または2に記載の特徴量生成ユニット。
【請求項4】
前記画素特徴ベクトル抽出部は、画素のエッジにかかる要素を含む画素特徴ベクトルを抽出する、請求項1〜3のいずれかに記載の特徴量生成ユニット。
【請求項5】
オブジェクトが撮像されているフレーム画像から、このオブジェクトが撮像されている領域を切り出し、切り出した領域を予め定めた画素数に変換した画像を前記オブジェクト画像として生成するオブジェクト画像生成部を備えた、請求項1〜4のいずれかに記載の特徴量生成ユニット。
【請求項6】
前記大域領域内に設定した前記局所領域は、この大域領域内に設定した他の局所領域と重なっている、請求項1〜5のいずれかに記載の特徴量生成ユニット。
【請求項7】
前記オブジェクト画像に対して設定した複数の前記大域領域毎に、その大域領域について前記大域領域ベクトル生成部が生成した大域領域ベクトルを、このオブジェクト画像に撮像されているオブジェクトの特徴量にするオブジェクト特徴量生成部を備えた請求項1〜6のいずれかに記載の特徴量生成ユニット。
【請求項8】
前記オブジェクト画像に対して設定した前記大域領域は、このオブジェクト画像に対して設定した他の大域領域と重なっている、請求項7に記載の特徴量生成ユニット。
【請求項9】
請求項1〜8のいずれかに記載の特徴量生成ユニットを備え、
前記特徴量生成ユニットが検索対象オブジェクトについて生成した前記大域領域ベクトルと、被検索対象オブジェクトについて生成した前記大域領域ベクトルと、を用いて、前記被検索対象オブジェクトが前記検索対象オブジェクトであるかどうかを判定する照合部を備えた照合装置。
【請求項10】
オブジェクトが撮像されているオブジェクト画像に対して設定した大域領域の特徴量を生成する特徴量生成方法であって、
オブジェクトが撮像されているオブジェクト画像の各画素について、予め定めた次元の画素特徴ベクトルを抽出する画素特徴ベクトル抽出ステップと、
前記大域領域内に設定した複数の局所領域毎に、その局所領域に位置する画素の画素特徴ベクトルの自己相関行列を算出する第1の自己相関行列算出ステップと、
前記局所領域毎に、前記第1の自己相関行列算出ステップで算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する局所領域ベクトル生成ステップと、
前記大域領域に位置する前記局所領域の局所領域ベクトルの自己相関行列を算出する第2の自己相関行列算出ステップと、
前記大域領域の特徴量として、前記第2の自己相関行列算出ステップで算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する大域領域ベクトル生成ステップと、を備えた特徴量生成方法。
【請求項11】
オブジェクトが撮像されているオブジェクト画像に対して設定した大域領域の特徴量を生成する処理をコンピュータに実行させる特徴量生成プログラムであって、
オブジェクトが撮像されているオブジェクト画像の各画素について、予め定めた次元の画素特徴ベクトルを抽出する画素特徴ベクトル抽出ステップと、
前記大域領域内に設定した複数の局所領域毎に、その局所領域に位置する画素の画素特徴ベクトルの自己相関行列を算出する第1の自己相関行列算出ステップと、
前記局所領域毎に、前記第1の自己相関行列算出ステップで算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する局所領域ベクトル生成ステップと、
前記大域領域に位置する前記局所領域の局所領域ベクトルの自己相関行列を算出する第2の自己相関行列算出ステップと、
前記大域領域の特徴量として、前記第2の自己相関行列算出ステップで算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する大域領域ベクトル生成ステップと、をコンピュータに実行させる特徴量生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、オブジェクトの照合に用いる特徴量を、このオブジェクトが撮像されているオブジェクト画像を処理して生成する技術に関する。
【背景技術】
【0002】
従来、カメラで撮像したフレーム画像に撮像されているオブジェクト(被検索対象オブジェクト)の中から、特定のオブジェクト(検索対象オブジェクト)を検出する画像処理の技術が様々な分野で利用されている。例えば、犯罪捜査等では、様々な場所に設置されている防犯カメラによって撮像された動画像に対して、犯罪に関係する人(容疑者)が撮像されているかどうかの検索に利用している。また、製造ラインでは、この製造ラインを流れる物品を撮像した画像を処理して、異種物品や不良品(検索対象オブジェクトでない物品)の検出に利用している。
【0003】
被検索対象オブジェクトが検索対象のオブジェクトであるかどうかの判定は、検索対象オブジェクトが撮像された画像から生成した検索対象オブジェクトの特徴量と、被検索対象オブジェクトが撮像された画像から生成した被検索対象オブジェクトの特徴量と、を照合し、その類似度によって行っている。したがって、オブジェクトの照合精度の向上を図る上で、オブジェクトが撮像された画像から照合に適したオブジェクトの特徴量を生成することが重要である。
【0004】
例えば、特許文献1、2は、オブジェクトが撮像された画像から、このオブジェクトの色と形状の情報を含む特徴量を生成する手法を開示している。具体的には、オブジェクトが撮像された画像の画素の2値化された濃淡値や量子化された色ベクトルの局所自己相関によって、オブジェクトの特徴量を生成している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−260310号公報
【特許文献2】特開2010− 26712号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
最近では、テロリズムによる事件や、凶悪犯罪等に対する対策として、容疑者の探索が広域にわたって行われることがある。この場合、撮像エリアが異なる多数の防犯カメラの撮像画像を確認することになる。すなわち、防犯カメラ間で容疑者の照合を行うことになる。異なる防犯カメラ間においては、解像度等の性能の違いや、撮像エリアに対するアングルや周辺の明るさ等の撮像環境の違いがあるので、性能や撮像環境が違う防犯カメラで撮像された撮像画像間で容疑者を照合することになる。このようなことから、オブジェクトの撮像画像から、カメラの性能や撮像環境の違いに対して頑健性を持つオブジェクトの特徴量を生成する技術の開発が要望されている。
【0007】
この発明の目的は、オブジェクトの撮像画像から、カメラの性能や撮像環境の違いに対して頑健性を持つオブジェクトの特徴量を生成し、オブジェクトの照合精度を向上させる技術を提供することを目的にする。
【課題を解決するための手段】
【0008】
この発明の特徴量生成ユニットは、上記目的を達するため、以下のように構成されている。
【0009】
この特徴量生成ユニットは、オブジェクトが撮像されているオブジェクト画像に対して設定した大域領域の特徴量を生成する。
【0010】
オブジェクト画像は、オブジェクトが撮像されているフレーム画像から、このオブジェクトが撮像されている領域を切り出し、切り出した領域を予め定めた画素数に変換した画像にすればよい。これにより、大域領域の特徴量を生成するオブジェクト画像のサイズが均一になる。また、オブジェクト画像全体を1つの大域領域としてもよいし、オブジェクト画像に対して複数の大域領域を設定してもよい。また、オブジェクト画像に対して複数の大域領域を設定する場合には、各帯域領域が他の大域領域に重ならないように設定してもよいし、他の大域領域に重なるようにしてもよい。オブジェクト画像に撮像されているオブジェクトの特徴量は、このオブジェクト画像に対して設定した各大域領域の特徴量である。
【0011】
画素特徴ベクトル抽出部は、オブジェクトが撮像されているオブジェクト画像の各画素について、画素特徴ベクトルを抽出する。画素特徴ベクトルの要素としては、輝度値にかかる要素や、エッジにかかる要素や、色相にかかる要素等がある。
【0012】
第1の自己相関行列算出部は、大域領域内に設定した複数の局所領域毎に、その局所領域内に位置する画素の画素特徴ベクトルの自己相関行列を算出する。自己相関行列は、画素特徴ベクトルの平均の情報を含んでいる(自己相関行列は、平均をゼロとした場合の共分散行列である。)。
【0013】
局所領域ベクトル生成部は、局所領域毎に、第1の自己相関行列算出部で算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する。例えば、自己相関行列同士の距離を適切に計算するため,行列に対して定義される対数変換(行列対数変換)を行った後、画像特徴ベクトルの自己相関行列をベクトルに並び替えることで、局所領域ベクトルを生成する。
【0014】
第2の自己相関行列算出部は、大域領域に位置する局所領域の局所領域ベクトルの自己相関行列を算出する。そして、大域領域ベクトル生成部は、大域領域の特徴量として、第2の自己相関行列算出部で算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する。大域領域ベクトル生成部も、例えば、局所領域ベクトルの自己相関行列に対して行列対数変換を行い、ベクトルへ並び替えることで、大域領域ベクトルを生成する。
【0015】
このように、局所領域における画素の特徴量の分布(自己相関行列)を一旦局所領域の特徴量として算出し、その後大域領域における局所領域の特徴量の分布(自己相関行列)を大域領域の特徴量として算出する。大域領域の特徴量は、大域領域内に位置する局所領域の特徴分布である。したがって、大域領域において、色や勾配等の特徴量(画素特徴ベクトル)の分布量が類似しているオブジェクトであっても、局所領域における画素の分布が異なっているオブジェクトであれば、異なる大域領域の特徴ベクトルを生成でき、対象の判別性が向上する。また、画像の局所領域における画素の特徴分布は、カメラの性能や撮像環境の違いに対して頑健性を持つ。したがって、画像の局所領域における画素の特徴分布を統合した大域領域の特徴量も、カメラの性能や撮像環境の違いに対して頑健性を持つ。
【0016】
また、この発明にかかる照合装置は、特徴量生成ユニットが検索対象オブジェクトについて生成した大域領域ベクトルと、被検索対象オブジェクトについて生成した大域領域ベクトルとを用いて、被検索対象オブジェクトが検索対象オブジェクトであるかどうかを判定する。上述したように、大域領域の特徴量は、カメラの性能や撮像環境の違いに対して頑健性を持つので、オブジェクトの照合精度を向上させることができる。
【発明の効果】
【0017】
この発明によれば、オブジェクトの撮像画像から、カメラの性能や撮像環境の違いに対して頑健性を持つオブジェクトの特徴量を生成することができる。
【図面の簡単な説明】
【0018】
図1】照合装置の主要部の構成を示すブロック図である。
図2】画像処理部の機能構成を示す概略の機能ブロック図である。
図3】特徴量生成処理を示すフローチャートである。
図4】処理対象フレーム画像を示す図である。
図5】処理対象フレーム画像上に設定したオブジェクト領域を示す図である。
図6】正規化画像を示す図である。
図7】正規化画像に対して設定される大域領域示す図である。
図8】正規化画像に対して設定される参照画素を示す図である。
図9】照合処理を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、この発明の実施形態である照合装置について説明する。
【0020】
図1は、この例にかかる照合装置の主要部の構成を示すブロック図である。照合装置1は、画像入力部2と、画像処理部3と、照合部4と、出力部5と、特徴量記憶部6と、を備えている。
【0021】
この例にかかる照合装置1は、フレーム画像に撮像されている人を対象者とし、この対象者の特徴量を生成する特徴量生成処理を行う。また、照合装置1は、特徴量生成処理で生成した対象者(検索対象者)の特徴量と、特徴量生成処理で生成した他の対象者(被検索対象者)の特徴量とを照合し、被検索対象者が検索対象者であるかどうかを判定する照合処理を行う。
【0022】
画像入力部2には、接続された外部機器から対象者が撮像されている静止画像や、動画像が入力される。外部機器は、静止画像や、動画像を画像入力部2に入力する機能を備える装置であれば、どのような機器であってもよい。例えば、外部機器は、監視エリアを撮像している防犯カメラあってもよいし、防犯カメラが監視エリアを撮像した動画像にかかる動画像ファイルを再生する再生装置であってもよいし、撮像した静止画像を記憶しているデジタルスチルカメラであってもよい。
【0023】
画像処理部3は、画像入力部2に入力されたフレーム画像に撮像されている人を対象者とし、この対象者の特徴量を生成する特徴量生成処理を行う。画像処理部3が、この発明にかかる特徴量生成方法を実行する。また、この発明にかかる特徴量生成プログラムは、各ステップを画像処理部3が備える画像処理プロセッサ(コンピュータ)に実行させる。画像処理部3が実行する特徴量生成処理の詳細については後述する。
【0024】
照合部4は、対象者(検索対象者)の特徴量と、他の対象者(被検索対象者)の特徴量とを照合し、被検索対象者が検索対象者であるかどうかを判定する照合処理を行う。照合部4が実行する照合処理の詳細については後述する。
【0025】
出力部5は、照合部における照合処理の結果を上位装置等に出力する。
【0026】
特徴量記憶部6は、画像処理部3が特徴量を生成した対象者毎に、対象者を識別するID、この対象者について生成した特徴量、特徴量の生成に用いたフレーム画像の撮像日時、特徴量の生成に用いたフレーム画像の撮像場所等を対応付けた照合用データを記憶する。特徴量記憶部6は、対象者の特徴量を生成したフレーム画像毎に、その対象者の照合用データを特徴量記憶部6に記憶する。したがって、同一人物であっても、特徴量を生成したフレーム画像が異なる場合には、IDが異なる照合用データが特徴量記憶部6に記憶される。
【0027】
図2は、画像処理部の機能構成を示す概略の機能ブロック図である。画像処理部3は、オブジェクト検出機能部31と、オブジェクト領域切出機能部32と、画像サイズ正規化機能部33と、画素特徴ベクトルマップ生成機能部34と、領域設定機能部35と、局所領域ベクトル生成機能部36と、大域領域ベクトル生成機能部37と、特徴量生成機能部38とを有する。
【0028】
オブジェクト検出機能部31は、画像入力部2に入力されたフレーム画像に撮像されている人物(対象者)を検出する。また、オブジェクト検出機能部31は、対象者が撮像されているフレーム画像の中から処理対象フレーム画像を選択する機能を有する。
【0029】
オブジェクト領域切出機能部32は、オブジェクト検出機能部31が選択した処理対象フレーム画像上において、オブジェクト検出機能部31が検出した対象者を囲む矩形領域をオブジェクト領域として切り出す。
【0030】
画像サイズ正規化機能部33は、オブジェクト領域切出機能部32が切り出したオブジェクト領域の画像を予め定めた画素数の画像に変換する。画像サイズ正規化機能部33は、オブジェクト領域切出機能部32が切り出したオブジェクト領域の画像を、公知のニアレストネイバー法、バイリニア法、バイキュービック法等で予め定めた画素数の画像に変換する。画像サイズ正規化機能部33が予め定めた画素数に変換したオブジェクト領域の画像を、ここでは正規化画像と言う。
【0031】
オブジェクト領域切出機能部32、および画像サイズ正規化機能部33が、この発明で言うオブジェクト画像生成部に相当する。
【0032】
画素特徴ベクトルマップ生成機能部34は、正規化画像の画素毎に画素特徴ベクトルを生成する。画素特徴ベクトルは、d次元のベクトルである(d>1)。画素特徴ベクトルマップ生成機能部34が、この発明で言う画素特徴ベクトル抽出部に相当する。
【0033】
領域設定機能部35は、正規化画像に対して、局所領域と、大域領域と、を設定する。局所領域は、複数の画素からなる領域である。大域領域は、複数の局所領域が位置する領域である。すなわち、大域領域は、局所領域よりも大きい。また、この例では、正規化画像に対して、大域領域を複数設定する。複数の大域領域は、他の大域領域と重ならないように設定してもよいし、他の大域領域と重なるように設定してもよい。また、局所領域も他の局所領域と重ならないように設定してもよいし、他の局所領域と重なるように設定してもよい。
【0034】
局所領域ベクトル生成機能部36は、領域設定機能部35によって設定された局所領域毎に、その局所領域内に位置する画素の画素特徴ベクトルの自己相関行列を算出する。局所領域内に位置する画素の画素特徴ベクトルの自己相関行列が、この発明で言う第1の自己相関行列に相当する。
【0035】
また、局所領域ベクトル生成機能部36は、局所領域毎に、その局所領域について算出した画素の画素特徴ベクトルの自己相関行列をベクトル化した局所領域ベクトルを生成する。局所領域ベクトルが、局所領域の特徴量である。局所領域ベクトル生成機能部36が、この発明で言う第1の自己相関行列算出部、および局所領域ベクトル生成部に相当する。
【0036】
大域領域ベクトル生成機能部37は、領域設定機能部35によって設定された大域領域毎に、その大域領域内に位置する局所領域の局所領域ベクトルの自己相関行列を算出する。大域領域内に位置する局所領域の局所領域ベクトルの自己相関行列が、この発明で言う第2の自己相関行列に相当する。
【0037】
また、大域領域ベクトル生成機能部37は、大域領域毎に算出した局所領域の局所領域ベクトルの自己相関行列をベクトル化した大域領域ベクトルを生成する。大域領域ベクトルが、大域領域の特徴量である。大域領域ベクトル生成機能部37が、この発明で言う第2の自己相関行列算出部、および大域領域ベクトル生成部に相当する。
【0038】
特徴量生成機能部38は、各大域領域の大域領域ベクトルを対象者の特徴量にする。すなわち、対象者の特徴量は、複数(領域設定機能部35が正規化画像に対して設定した大域領域の個数)の大域領域ベクトルである。
【0039】
以下、この例にかかる照合装置1の動作について説明する。
【0040】
まず、照合装置1における特徴量生成処理について説明する。図3は、特徴量生成処理を示すフローチャートである。画像処理部3が、この特徴量生成処理を実行する。ここでは、画像入力部2に入力されるフレーム画像は、カラー画像である。また、照合装置1には、画像入力部2に入力されたフレーム画像の撮像日時や撮像場所等の情報が入力されている。
【0041】
画像処理部3は、画像入力部2に入力されたフレーム画像の中から、処理対象フレーム画像を選択する(s1)。s1では、オブジェクト検出機能部31が、画像入力部2に入力されたフレーム画像に対象者(特徴量を生成する対象者)が撮像されているかどうかを、公知のパターンマッチング等の手法で判定する。オブジェクト検出機能部31は、対象者が撮像されているフレーム画像を処理対象フレーム画像として選択する。
【0042】
なお、画像入力部2に入力されている画像が動画像であれば、対象者が時間的に連続する複数のフレーム画像に撮像されている場合がある。オブジェクト検出機能部31は、対象者が時間的に連続する複数のフレーム画像に撮像されている場合には、これらのフレーム画像の中で、この対象者の撮像状態が特徴量の生成に最適であるフレーム画像を処理対象フレーム画像として選択する。この例では、フレーム画像上における対象者の大きさが正規化サイズに最も近いフレーム画像を処理対象フレーム画像として選択する。
【0043】
図4は、s1で選択された処理対象フレーム画像を示す図である。オブジェクト領域切出機能部32は、s1で選択した処理対象フレーム画像に撮像されている対象者を囲む矩形領域をオブジェクト領域に設定し、このオブジェクト領域を切り出す(s2)。図5は、処理対象フレーム画像上に設定したオブジェクト領域を示す図である。
【0044】
画像サイズ正規化機能部33は、s2で切り出したオブジェクト領域の画像を、予め定めた画素数の正規化画像(n(横)×m(縦)画素の画像)に変換する正規化画像生成処理を行う(s3)。s3では、公知のニアレストネイバー法、バイリニア法、バイキュービック法等で、s2で切り出したオブジェクト領域の画像を正規化画像に変換する。図6は正規化画像を示す図である。この例では、正規化画像は、48(=n)×128(=m)画素である。
【0045】
上述したように、処理対象フレーム画像として、フレーム画像上における対象者の大きさが正規化サイズに最も近いフレーム画像を選択するので、s3にかかる正規化画像生成処理の影響が抑えられる。
【0046】
画素特徴ベクトルマップ生成機能部34は、正規化画像の画素毎に、その画素の画素特徴ベクトルを登録した画素特徴ベクトルマップを作成する(s4)。この例では、正規化画像の任意の画素rの画素特徴ベクトルx(r)は、[数1]に示す6次元のベクトルである。rは、正規化画像における画素の位置を示す。
【0047】
【数1】
【0048】
[数1]においてR(r)は、その画素の赤の輝度値、G(r)は、その画素の緑の輝度値、B(r)は、その画素の青の輝度値、Ixは水平方向のエッジの強さ、Iyは垂直方向のエッジの強さである。また、||は絶対値である。[数1]に示す画素特徴ベクトルx(r)は、オブジェクトの色と模様にかかる情報を含んでいる。
【0049】
なお、画素特徴ベクトルは、[数1]に示した6次元のベクトルに限らず、色相(H)、彩度(S)、明度(V)にかかる要素も加えた9次元のベクトルにしてもよいし、RGBの輝度値にかかる要素を色相(H)、彩度(S)、明度(V)にかかる要素に置き換えた6次元のベクトルにしてもよい。さらには、画像入力部2に入力されている画像がカラー画像でない場合(モノクロ画像である場合)には、RGBの輝度値にかかる要素をその画素の輝度値に置き換えた4次元のベクトルにしてもよい。
【0050】
また、水平方向のエッジの強さや、垂直方向のエッジの強さは、公知のPrewittフィルタや、Sobelフィルタ等を用いることによって検出できる。
【0051】
また、領域設定機能部35が、s3で生成した正規化画像に対して、大域領域、および局所領域を設定する領域設定処理を行う(s5)。このs5にかかる処理は、s4にかかる処理よりも先に行ってもよい。図7は、正規化画像に対して設定される大域領域を示す図である。この例では、図7に示すように、正規化画像に対して7つの大域領域A〜Gを設定する。大域領域A〜Gのサイズは同じである。この例では、大域領域のサイズは、48×32画素(1536画素)である。領域設定機能部35は、正規化画像を縦方向(図7に示す上下方向)に均等に4分割し、上から順番に大域領域A,大域領域C、大域領域E、大域領域Gを設定する。また、領域設定機能部35は、上半分が大域領域Aに重なり、下半分が大域領域Cに重なる大域領域B、上半分が大域領域Cに重なり、下半分が大域領域Eに重なる大域領域D、および上半分が大域領域Eに重なり、下半分が大域領域Gに重なる大域領域Fを設定する。
【0052】
なお、正規化画像に対して設定する大域領域の個数は、図7に示した7つに限らず、いくつであってもよい。また、正規化画像に対していずれかの大域領域が、他の大域領域と重なるように設定してもよいし、重ならないように設定してもよい。
【0053】
また、領域設定機能部35は、正規化画像に対して複数の参照画素pを設定することにより、複数の局所領域を設定する。局所領域は、設定した参照画素p毎に、その参照画素pを中心とするα×β画素の領域である。この例では、局所領域は、参照画素pを中心とする7(=α)×7(=β)画素(49画素)の領域である。領域設定機能部35は、図8に示すように、正規化画像に対して、横方向、および縦方向に2画素間隔で参照画素pを設定する。図8において、ハッチングで示すそれぞれの画素が、参照画素pである。また、図8では、1つの参照画素pについて設定される1つの局所領域を図示している。
【0054】
なお、領域設定機能部35は、正規化画像の全ての画素を参照画素pに設定してもよいし、横方向、および縦方向に3画素間隔等で参照画素pを設定してもよい。また、局所領域のサイズも、7×7画素に限らず、3×3画素や、4×4画素、11×11画素等に設定してもよい。さらには、この例では、局所領域が参照画素pを中心にして設定されるとしたが、参照画素pを中心とせず、参照画素pを局所領域の右上の角の画素にしてもよいし、左上の角の画素にしてもよい。すなわち、局所領域は、参照画素pを基準にして設定される領域であれば、どのように設定される領域であってもよい。
【0055】
正規化画像に対する大域領域の設定条件、正規化画像に対する参照画素pの設定条件、参照画素pを基準にした局所領域の設定条件等は、予め設定されている。
【0056】
局所領域ベクトル生成機能部36は、s5で設定された参照画素p毎に、その参照画素pに対して設定される局所領域の自己相関行列Σ(p)を登録した自己相関局行列マップを作成する(s6)。s6で生成する自己相関行列マップは、参照画素pと、局所領域の自己相関局行列Σ(p)と、を対応づけたものである。
【0057】
参照画素pに対して設定される局所領域の自己相関行列Σ(p)は、
【0058】
【数2】
【0059】
により算出される。[数2]において、NL(p)は、参照画素pの局所領域内の画素数(この例では、49画素)であり、LocalArea(p)は、参照画素pに対して設定される局所領域を示す。
【0060】
局所領域ベクトル生成機能部36は、正規化画像の参照画素pについて設定される局所領域LocalArea(p)ごとに、自己相関行列Σ(p)を算出する。このとき、各局所領域の自己相関行列が対称行列であるので、重複する要素については、一方について演算し、他方については一方の演算結果を流用する。この例では、画素特徴ベクトルx(r)が6次元であるので、画素特徴ベクトルx(r)の自己相関行列は6行6列になる。また、重複する要素の組は、15組である。すなわち、この例では、1つの局所領域の自己相関行列の算出において、15個の要素について演算を省略できる。
【0061】
また、局所領域ベクトル生成機能部36は、局所領域LocalArea(p)毎の自己相関行列Σ(p)に対して行列対数変換を行う(s7)。自己相関行列は正定値対象行列であるため、この行列の形成する空間は、ユークリッド空間でなく、リーマン多様体となっている。行列対数変換は、正定値対象行列をこの多様体の接空間へ射影することに相当し、これを行った後、行列をベクトル化することで、自己相関行列の多様体構造を配慮した演算が、通常のユークリッド空間の演算により実現可能となる。
【0062】
s7では、各局所領域LocalArea(p)の自己相関行列Σ(p)を、
【0063】
【数3】
に示すように特異値分解する。
【0064】
また、行列対数変換を、
【0065】
【数4】
と定義する。この行列対数変換では、固有値λが0であるとき、行列対数変換した値が−∞になるのを防止するため、特異値λにεを加算するようにしている。この例では、ε=1とした。
【0066】
さらに、局所領域ベクトル生成機能部36は、行列対数変換した行列Y(p)=log(Σ(p))を、要素の重複を考慮し、
【0067】
【数5】
により、ベクトル化する(s8)。s8でベクトル化された、局所領域LocalArea(p)の自己相関行列Σ(p)のベクトルy(p)は、局所領域LocalArea(p)の特徴ベクトル(この発明で言う、局所領域ベクトルに相当する。)である。局所領域LocalArea(p)の特徴ベクトルy(p)は、画素特徴ベクトルがd次元のベクトルである場合、(d×(d+1)/2)次元のベクトルになる。局所領域ベクトル生成機能部36は、局所領域LocalArea(p)毎に、その局所領域LocalArea(p)の特徴ベクトルy(p)を登録した局所領域ベクトルマップを作成する(s9)。
【0068】
次に、大域領域ベクトル生成機能部37が、大域領域A〜G毎に、その大域領域A〜Gの自己相関行列M(M(A)〜M(G))を登録した自己相関局行列マップを作成する(s10)。大域領域A〜Gの自己相関局行列マップは、
【0069】
【数6】
により算出する。[数6]において、NGは、大域領域内に位置する局所領域の数であり、GlobalAreaは大域領域を示す。
【0070】
s9では、大域領域において、その領域内の局所領域LocalArea(p)の特徴ベクトルy(p)の自己相関行列Mを算出する。このとき、大域領域ベクトル生成機能部37は、大域領域の自己相関行列Mが対称行列であるので、重複する要素については、一方について演算し、他方については一方の演算結果を流用する。この例では、局所領域LocalArea(p)の特徴ベクトルy(p)は、21次元であるので、大域領域の自己相関行列Mは21行21列になる。また、重複する要素の組は、210組である。すなわち、この例では、大域領域の自己相関行列Mの算出において、210個の要素について演算を省略できる。
【0071】
大域領域ベクトル生成機能部37は、大域領域A〜G毎に、自己相関行列M(M(A)〜M(G))を対応づけた大域領域の自己相関行列マップを作成する。
【0072】
また、大域領域ベクトル生成機能部37は、大域領域A〜G毎に、その大域領域A〜Gの自己相関行列M(M(A)〜M(G))に対して行列対数変換を行う(s11)。上述したように、自己相関行列は、正定値対称行列であることから、行列の対数変換を行ってベクトル化することで、ユークリッド空間の演算に自己相関行列の多様体構造を配慮させる。
【0073】
s11では、s7と同様の手法で、各大域領域A〜Gの自己相関行列M(M(A)〜M(G))に対して行列対数変換を行う。
【0074】
さらに、大域領域ベクトル生成機能部37は、大域領域A〜G毎に、行列対数変換した行列を、要素の重複を考慮してベクトル化する(s12)。s12でベクトル化された、各大域領域A〜Gの特徴ベクトルz(A)〜z(G)は、画素特徴ベクトルがd次元のベクトルである場合、
((d×(d+1)/2)×((d×(d+1)/2)+1)/2)次元のベクトルになる。この例では、231次元のベクトルになる。各大域領域A〜Gの特徴ベクトルz(A)〜z(G)が、この発明で言う大域領域ベクトルに相当する。
【0075】
特徴量生成機能部38は、対象者を識別する対象者のID、各大域領域A〜Gの特徴ベクトルz(A)〜z(G)、処理対象フレーム画像の日時、撮像場所等を対応づけた照合用データを生成し、この照合用データを特徴量記憶部6に登録する(s13)。
【0076】
このように、画像処理部3は、局所領域LocalArea(p)における画素の特徴量の分布(自己相関行列)を、局所領域LocalArea(p)の特徴量として算出し、その後大域領域における局所領域LocalArea(p)の特徴量の分布を大域領域の特徴量として算出する。画像の局所領域LocalArea(p)における画素の特徴分布は、カメラの性能や撮像環境の違いに対して頑健性を持つ。また、大域領域の特徴量は、この大域領域内に位置する局所領域LocalArea(p)の特徴分布である。したがって、オブジェクト画像において、色や勾配等の特徴量(画素特徴ベクトル)が類似する画素の分布量が近似しているオブジェクトであっても、局所領域の画素の分布が異なっているオブジェクトであれば、異なる大域領域ベクトルが生成される。
【0077】
次に、照合処理について説明する。図9は、照合処理を示すフローチャートである。
【0078】
照合部4は、指定された検索対象者の照合用データを特徴量記憶部6から読み出すとともに(s21)、被検索対象者の照合用データを特徴量記憶部6から読み出す(s22)。検索対象者、および被検索対象者の照合用データは、上述した特徴量生成処理で生成され、特徴量記憶部6に記憶されている。
【0079】
照合装置1は、オペレータ等が被検索対象者を指定する構成であってもよいし、照合部4が特徴量記憶部6に照合用データが記憶されている人物の中から被検索対象者を自動的に選択する構成であってもよい。
【0080】
照合部4は、大域領域A〜G毎に、検索対象者の特徴ベクトルz(A)〜z(G)と、被検索対象者の特徴ベクトルz(A)〜z(G)と、の距離を算出する(s23)。照合部4は、大域領域A〜G毎に算出した、特徴ベクトルz(A)〜z(G)の距離の総和を算出する(s24)。
【0081】
照合部4は、s24で算出した、距離の総和が予め定めた閾値以下であれば、s2で照合用データを読み出した被検索対象者を、s1で照合用データを読み出した検索対象であると判定する(s25、s26)。反対に、照合部4は、s25で算出した、距離の総和が予め定めた閾値以下でなければ、s2で照合用データを読み出した被検索対象者を、s1で照合用データを読み出した検索対象でないと判定する(s25、s27)。
【0082】
このように、この照合装置1は、上述した特徴量生成処理で生成した特徴量を用いて、オブジェクトの照合を行うので、照合精度の向上が図れる。
【符号の説明】
【0083】
1…照合装置
2…画像入力部
3…画像処理部
4…照合部
5…出力部
6…特徴量記憶部
31…オブジェクト検出機能部
32…オブジェクト領域切出機能部
33…画像サイズ正規化機能部
34…画素特徴ベクトルマップ生成機能部
34…画素特徴ベクトルマップ生成機能部
34…画素特徴ベクトルマップ生成機能部
35…領域設定機能部
36…局所領域ベクトル生成機能部
37…大域領域ベクトル生成機能部
38…特徴量生成機能部
図1
図2
図3
図4
図5
図6
図7
図8
図9