特許 6671133 画像照合装置及び画像照合方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6671133

(24)【登録日】2020年3月5日

(45)【発行日】2020年3月25日

(54)【発明の名称】画像照合装置及び画像照合方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20200316BHJP

   G06T 7/00 20170101ALI20200316BHJP

   G06T 7/10 20170101ALI20200316BHJP

   G06T 7/11 20170101ALI20200316BHJP

【ＦＩ】

   G06T1/00 340B

   G06T7/00 660B

   G06T7/10

   G06T7/11

【請求項の数】7

【全頁数】23

(21)【出願番号】特願2015-187517(P2015-187517)

(22)【出願日】2015年9月24日

(65)【公開番号】特開2017-62633(P2017-62633A)

(43)【公開日】2017年3月30日

【審査請求日】2018年7月18日

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】中嶋 康博

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００７−１２８２６２（ＪＰ，Ａ）

【文献】 特開２０１４−１４２８１７（ＪＰ，Ａ）

【文献】 特開２０１２−１２８６９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

人物の身体像を含む入力画像データと、あらかじめ登録された人物の身体像を含む登録画像データとを照合処理する画像照合装置であって、
前記入力画像データ及び／又は前記登録画像データの人物の身体像の領域を分割し、分割した領域の一部をなす重み対象領域を特定する重み対象領域特定部と、
前記入力画像データ及び前記登録画像データの対応関係に基づいて、前記重み対象領域に付与する重みを決定する重み決定部と、
前記重み決定部により決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データを照合処理する照合処理部と
を備え、
前記重み決定部は、
前記入力画像データに含まれる前記人物の身体像に体の中央が存在し、かつ、前記登録画像データに含まれる前記人物の身体像に前記体の中央が存在する場合には、前記体の中央が含まれる前記重み対象領域に付与する重みを上げ、前記入力画像データ又は前記登録画像データの一方に前記体の中央が存在しない場合には、前記体の中央が含まれる前記重み対象領域に付与する重みを下げる
ことを特徴とする画像照合装置。

【請求項2】

人物の身体像を含む入力画像データと、あらかじめ登録された人物の身体像を含む登録画像データとを照合処理する画像照合装置であって、
前記入力画像データ及び／又は前記登録画像データの人物の身体像の領域を分割し、分割した領域の一部をなす重み対象領域を特定する重み対象領域特定部と、
前記入力画像データ及び前記登録画像データの対応関係に基づいて、前記重み対象領域に付与する重みを決定する重み決定部と、
前記重み決定部により決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データを照合処理する照合処理部と
を備え、
前記重み決定部は、
前記入力画像データに含まれる前記人物の身体像に所持品が存在し、かつ、前記登録画像データに含まれる前記人物の身体像に前記所持品が存在する場合には、前記所持品が含まれる前記重み対象領域に付与する重みを上げ、前記入力画像データ又は前記登録画像データの一方に前記所持品が存在しない場合には、前記所持品が含まれる前記重み対象領域に付与する重みを下げる
ことを特徴とする画像照合装置。

【請求項3】

前記重み決定部は、
前記入力画像データに含まれる人物の身体像の態様と、前記登録画像データに含まれる人物の身体像の態様とが一致又は類似する場合には、前記重み対象領域に付与する重みを上げ、前記入力画像データに含まれる人物の身体像の態様と、前記登録画像データに含まれる人物の身体像の態様とが類似しない場合には、前記重み対象領域に付与する重みを下げる
ことを特徴とする請求項１又は２に記載の画像照合装置。

【請求項4】

前記重み決定部は、
前記入力画像データに含まれる人物の身体像の向きと、前記登録画像データに含まれる人物の身体像の向きとが一致する場合には、前記重み対象領域に付与する重みを上げ、前記入力画像データに含まれる人物の身体像の向きと、前記登録画像データに含まれる人物の身体像の向きとが一致しない場合には、前記重み対象領域に付与する重みを下げる
ことを特徴とする請求項１又は２に記載の画像照合装置。

【請求項5】

前記照合処理部は、
前記重み決定部により決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データの重み付きヒストグラムをそれぞれ算定し、算定した重み付きヒストグラムに基づいて、前記入力画像データ及び前記登録画像データを照合処理する
ことを特徴とする請求項４に記載の画像照合装置。

【請求項6】

人物の身体像を含む入力画像データと、あらかじめ登録された人物の身体像を含む登録画像データとを照合処理する画像照合装置における画像照合方法であって、
前記入力画像データ及び／又は前記登録画像データの人物の身体像の領域を分割し、分割した領域の一部をなす重み対象領域を特定する重み対象領域特定ステップと、
前記入力画像データ及び前記登録画像データの対応関係に基づいて、前記重み対象領域に付与する重みを決定する重み決定ステップと、
前記重み決定ステップにより決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データを照合処理する照合処理ステップと
を含み、
前記重み決定ステップは、
前記入力画像データに含まれる前記人物の身体像に体の中央が存在し、かつ、前記登録画像データに含まれる前記人物の身体像に前記体の中央が存在する場合には、前記体の中央が含まれる前記重み対象領域に付与する重みを上げ、前記入力画像データ又は前記登録画像データの一方に体の中央が存在しない場合には、前記体の中央が含まれる重み対象領域に付与する重みを下げる
ことを特徴とする画像照合方法。

【請求項7】

人物の身体像を含む入力画像データと、あらかじめ登録された人物の身体像を含む登録画像データとを照合処理する画像照合装置における画像照合方法であって、
前記入力画像データ及び／又は前記登録画像データの人物の身体像の領域を分割し、分割した領域の一部をなし、かつ、前記人物の身体像の特徴部分を含む重み対象領域を特定する重み対象領域特定ステップと、
前記入力画像データ及び前記登録画像データの対応関係に基づいて、前記重み対象領域に付与する重みを決定する重み決定ステップと、
前記重み決定ステップにより決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データを照合処理する照合処理ステップと
を含み、
前記重み決定ステップは、
前記入力画像データに含まれる前記人物の身体像に所持品が存在し、かつ、前記登録画像データに含まれる前記人物の身体像に前記所持品が存在する場合には、前記所持品が含まれる前記重み対象領域に付与する重みを上げ、前記入力画像データ又は前記登録画像データの一方に所持品が存在しない場合には、前記所持品が含まれる前記重み対象領域に付与する重みを下げる
ことを特徴とする画像照合方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視カメラ等で撮影された入力画像データに含まれる人物や車両等の対象物と登録画像データに含まれる対象物の態様が異なる場合に、正確かつ効率的に画像照合を行う画像照合装置及び画像照合方法に関する。

【背景技術】

【0002】

従来、入力画像データに含まれる対象物と、あらかじめ登録された登録画像データに含まれる対象物とを色特徴を用いて照合することで、入力画像データから特定の対象物を検出する技術が知られている。

【0003】

例えば、特許文献１には、物体の領域全体を高さ毎の領域に分割し、分割された各領域の色を抽出して平均化し、平均化された高さ毎の領域の色に基づいて物体全体の高さ毎の色特徴分布を作成し、各物体の色特徴分布と比較すべき物体の色特徴分布との比較に基づいて物体と比較すべき物体の同定を行う物体の同定方法が開示されている。

【0004】

また、特許文献２には、第１の撮影手段で撮影された登録画像データに基づいて人物の衣服特徴に関する情報を抽出してデータベース化しておき、他の環境において、１または２以上の第２の撮影手段で撮影された入力画像データに基づいて人物の衣服特徴に関する情報を抽出し、データベースとの照合を行って入力画像データに含まれる所定の人物を検索する人物検索システムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−２５０６９２号公報

【特許文献2】特開２０１３−１８６５４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１及び２に代表される従来技術のものは、入力画像データに含まれる人物の向きや姿勢が登録画像データに含まれる人物の向きや姿勢と異なる場合には、人物を正確に同定できない可能性がある。人物の向きや姿勢が異なると、色特徴分布や衣服特徴が異なってしまうからである。

【0007】

また、入力画像データに含まれる人物がカバンや杖などの所持品を所持しているにも関わらず、登録画像データに含まれる人物が所持品を所持していない場合には、同一人であっても色特徴分布や衣服特徴に差違が生じ、誤って他人であると判定される可能性がある。

【0008】

これらのことから、入力画像データと登録画像データに含まれる人物等の向き、姿勢、所持品等の態様が異なる場合に、いかに正確かつ効率的に画像照合を行うかが重要な課題となっている。かかる課題は、人物を対象とする場合にのみ生ずる課題ではなく、車両等の他の対象物を対象とする場合にも同様に生ずる課題である。

【0009】

本発明は、上記従来技術の課題を解決するためになされたものであって、入力画像データと登録画像データに含まれる対象物の態様が異なる場合であっても、正確かつ効率的に画像照合を行うことができる画像照合装置及び画像照合方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記の課題を解決するため、本発明は、人物の身体像を含む入力画像データと、あらかじめ登録された人物の身体像を含む登録画像データとを照合処理する画像照合装置であって、前記入力画像データ及び／又は前記登録画像データの人物の身体像の領域を分割し、分割した領域の一部をなす重み対象領域を特定する重み対象領域特定部と、前記入力画像データ及び前記登録画像データの対応関係に基づいて、前記重み対象領域に付与する重みを決定する重み決定部と、前記重み決定部により決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データを照合処理する照合処理部とを備え、前記重み決定部は、前記入力画像データに含まれる前記人物の身体像に体の中央が存在し、かつ、前記登録画像データに含まれる前記人物の身体像に前記体の中央が存在する場合には、前記体の中央が含まれる前記重み対象領域に付与する重みを上げ、前記入力画像データ又は前記登録画像データの一方に体の中央が存在しない場合には、前記体の中央が含まれる前記重み対象領域に付与する重みを下げることを特徴とする。
また、本発明は、人物の身体像を含む入力画像データと、あらかじめ登録された人物の身体像を含む登録画像データとを照合処理する画像照合装置であって、前記入力画像データ及び／又は前記登録画像データの人物の身体像の領域を分割し、分割した領域の一部をなす重み対象領域を特定する重み対象領域特定部と、前記入力画像データ及び前記登録画像データの対応関係に基づいて、前記重み対象領域に付与する重みを決定する重み決定部と、前記重み決定部により決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データを照合処理する照合処理部とを備え、前記重み決定部は、前記入力画像データに含まれる前記人物の身体像に所持品が存在し、かつ、前記登録画像データに含まれる前記人物の身体像に前記所持品が存在する場合には、前記所持品が含まれる前記重み対象領域に付与する重みを上げ、前記入力画像データ又は前記登録画像データの一方に前記所持品が存在しない場合には、前記所持品が含まれる前記重み対象領域に付与する重みを下げることを特徴とする。

【0011】

また、本発明は、上記の発明において、前記重み決定部は、前記入力画像データに含まれる人物の身体像の態様と、前記登録画像データに含まれる人物の身体像の態様とが一致又は類似する場合には、前記重み対象領域に付与する重みを上げ、前記入力画像データに含まれる人物の身体像の態様と、前記登録画像データに含まれる人物の身体像の態様とが類似しない場合には、前記重み対象領域に付与する重みを下げることを特徴とする。

【0012】

また、本発明は、上記の発明において、前記重み決定部は、前記入力画像データに含まれる人物の身体像の向きと、前記登録画像データに含まれる人物の身体像の向きとが一致する場合には、前記重み対象領域に付与する重みを上げ、前記入力画像データに含まれる人物の身体像の向きと、前記登録画像データに含まれる人物の身体像の向きとが一致しない場合には、前記重み対象領域に付与する重みを下げることを特徴とする。

【0014】

また、本発明は、上記の発明において、前記照合処理部は、前記重み決定部により決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データの重み付きヒストグラムをそれぞれ算定し、算定した重み付きヒストグラムに基づいて、前記入力画像データ及び前記登録画像データを照合処理することを特徴とする。

【0016】

また、本発明は、人物の身体像を含む入力画像データと、あらかじめ登録された人物の身体像を含む登録画像データとを照合処理する画像照合装置における画像照合方法であって、前記入力画像データ及び／又は前記登録画像データの人物の身体像の領域を分割し、分割した領域の一部をなす重み対象領域を特定する重み対象領域特定ステップと、前記入力画像データ及び前記登録画像データの対応関係に基づいて、前記重み対象領域に付与する重みを決定する重み決定ステップと、前記重み決定ステップにより決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データを照合処理する照合処理ステップとを含み、前記重み決定ステップは、前記入力画像データに含まれる前記人物の身体像に体の中央が存在し、かつ、前記登録画像データに含まれる前記人物の身体像に前記体の中央が存在する場合には、前記体の中央が含まれる前記重み対象領域に付与する重みを上げ、前記入力画像データ又は前記登録画像データの一方に体の中央が存在しない場合には、前記体の中央が含まれる重み対象領域に付与する重みを下げることを特徴とする。
また、本発明は、人物の身体像を含む入力画像データと、あらかじめ登録された人物の身体像を含む登録画像データとを照合処理する画像照合装置における画像照合方法であって、前記入力画像データ及び／又は前記登録画像データの人物の身体像の領域を分割し、分割した領域の一部をなす重み対象領域を特定する重み対象領域特定ステップと、前記入力画像データ及び前記登録画像データの対応関係に基づいて、前記重み対象領域に付与する重みを決定する重み決定ステップと、前記重み決定ステップにより決定された重みを前記重み対象領域に適用しつつ、前記入力画像データ及び前記登録画像データを照合処理する照合処理ステップとを含み、前記重み決定ステップは、前記入力画像データに含まれる前記人物の身体像に所持品が存在し、かつ、前記登録画像データに含まれる前記人物の身体像に前記所持品が存在する場合には、前記所持品が含まれる前記重み対象領域に付与する重みを上げ、前記入力画像データ又は前記登録画像データの一方に所持品が存在しない場合には、前記所持品が含まれる前記重み対象領域に付与する重みを下げることを特徴とする。

【発明の効果】

【0017】

本発明によれば、入力画像と登録画像に含まれる対象物の態様が異なる場合であっても、正確かつ効率的に画像照合を行うことができる。

【図面の簡単な説明】

【0018】

【図1】図１は、実施例１に係る画像照合装置の特徴を説明するための説明図である。

【図2】図２は、実施例１に係る画像照合装置の構成を示す機能ブロック図である。

【図3】図３は、図１に示した画像照合装置の処理手順を示すフローチャートである。

【図4】図４は、図３に示した前処理の処理手順を示すフローチャートである。

【図5】図５は、図４に示した前処理を説明するための説明図である。

【図6】図６は、図４に示したヒストグラムの平坦化を説明するための説明図である。

【図7】図７は、ヒストグラムの平坦化の概念を説明するための説明図である。

【図8】図８は、図３に示した重み設定処理の処理手順を示すフローチャートである。

【図9】図９は、重み対象領域特定部による部位の推定についての説明図である。

【図10】図１０は、重み対象領域の特定についての説明図である。

【図11】図１１は、重み決定部による重みの決定についての説明図である。

【図12】図１２は、図３に示した照合スコアＳ_HSVの算定の処理手順を示すフローチャートである。

【図13】図１３は、照合スコアＳ_HSVの算定についての説明図である。

【図14】図１４は、図３に示した照合スコアＳ_SEGの算定の処理手順を示すフローチャートである。

【図15】図１５は、照合スコアＳ_SEGの算定についての説明図である。

【図16】図１６は、実施例２に係る画像照合装置の特徴を説明するための説明図である。

【図17】図１７は、実施例２に係る画像照合装置の構成を示す機能ブロック図である。

【図18】図１８は、図１７に示した画像照合装置の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、添付図面を参照して、本発明に係る画像照合装置及び画像照合方法の実施例を説明する。なお、以下に示す実施例１では、登録画像データ及び入力画像データにそれぞれ含まれる人物の向きを利用して重みを決定する場合について説明し、実施例２では、登録画像データ及び入力画像データにそれぞれ含まれる人物の所持品を利用して重みを決定する場合について説明することとする。

【実施例1】

【0020】

まず、本実施例１に係る画像照合装置の特徴について説明する。図１は、本実施例１に係る画像照合装置の特徴を説明するための説明図である。なお、ここでは登録画像データＡ及び入力画像データＢを人物の洋服など外観上の色の一致度を用いて照合処理する場合を示すこととする。監視カメラから取得された画像データからは、十分な解像度を持った画像データが得られない場合があり、顔照合等の詳細な形状特徴に基づく照合処理を行えない場合があるためである。

【0021】

図１（ａ）に示すように、登録画像データＡ１には人物の正面像が含まれ、入力画像データＢ１には人物の正面像が含まれている場合には、図中に斜線で示す人物の正面上部を特徴部分としてその重みを大きくする。図中に斜線で示す人物の正面上部は、特徴的な色合いが現れることが多いためである。ただし、人物の正面上部以外の他の部分を特徴部分とすることもできる。

【0022】

一方、図１（ｂ）に示すように、登録画像データＡ１には人物の正面像が含まれ、入力画像データＢ２には人物の側面像が含まれている場合には、図中に白領域で示す人物の特徴部分の重みを小さくする。入力画像データＢ２には人物の正面上部が現れないためである。

【0023】

このように、登録画像データＡ及び入力画像データＢを人物の向きに基づいて、特徴部分の重みを変化させることにより、特徴部分を考慮した正確な照合処理を行うことが可能となる。

【0024】

次に、本実施例１に係る画像照合装置の構成について説明する。図２は、本実施例１に係る画像照合装置の構成を示す機能ブロック図である。図２に示すように画像照合装置２０は、カメラ１０、操作部３０及び表示部４０と接続される。

【0025】

カメラ１０は、周囲を撮像する監視カメラなどの撮像装置である。画像照合装置２０は、カメラ１０により撮像された撮像データから人物の像を含む領域を切り出して、入力画像データＢとして用いる。カメラ１０は、１つである必要は無く、複数の撮像装置をそれぞれカメラ１０として利用することができる。

【0026】

操作部３０は、キーボード、マウス、専用の操作パネルなど、操作者の操作入力を受け付ける入力インタフェースである。表示部４０は、液晶ディスプレイ等の表示出力を行う出力インタフェースである。

【0027】

画像照合装置２０は、その内部に記憶部２１及び制御部２２を有する。記憶部２１は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、登録データ２１ａを記憶する。また、記憶部２１は、照合の過程において生成される候補画像リスト２１ｂの記憶に用いられる。

【0028】

登録データ２１ａは、複数の登録画像データＡを有し、各登録画像データＡには向きデータが対応付けられている。複数の登録画像データＡは、例えば異なる人物についてそれぞれ生成したものであり、１つの登録画像データＡには人物の像が１つ含まれている。向きデータは、対応する登録画像データＡにおける人物の向きを示す。図２では、登録画像データＡ１に向きデータＡ１ａを対応付けた状態を示している。

【0029】

候補画像リスト２１ｂは、後述する照合において、入力画像データＢとの類似度がしきい値以上となる登録画像データＡのリストである。すなわち、候補画像リスト２１ｂは、入力画像データＢに示された人物と一致する可能性のある人物の候補を示す。

【0030】

制御部２２は、画像照合装置２０を全体制御する制御部であり、前処理部２２ａ、重み対象領域特定部２２ｂ、重み決定部２２ｃ、トータルスコア算出部２２ｄ、判定処理部２２ｅ及び表示制御部２２ｆを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、前処理部２２ａ、重み対象領域特定部２２ｂ、重み決定部２２ｃ、トータルスコア算出部２２ｄ、判定処理部２２ｅ及び表示制御部２２ｆにそれぞれ対応するプロセスを実行させることになる。

【0031】

前処理部２２ａは、照合の前処理として、カメラ１０により撮像された撮像データから入力画像データＢを生成する処理部である。具体的には、前処理部２２ａは、撮像データから人物の像を検出し、人物の向きを推定し、人物の像を含む領域を人物領域として切り出す。そして、切り出した人物領域の大きさを正規化し、画素のヒストグラムを平坦化して入力画像データＢを生成する。

【0032】

重み対象領域特定部２２ｂは、登録画像データＡ及び入力画像データＢに含まれる人物の像について、人物の部位を推定し、推定した部位から重み対象領域を特定する処理部である。重み対象領域としては、人物の部位のうち、人物の特徴を多く含む特徴部分を用いる。例えば、人物の正面上部は、人物の特徴を多く含む特徴部分であり、この特徴部分を重み対象領域とする。

【0033】

重み決定部２２ｃは、登録画像データＡ及び入力画像データＢの対応関係に基づいて、重み対象領域に付与する重みを決定する処理部である。ここで、重み決定部２２ｃは、登録画像データＡ及び入力画像データＢの対応関係に、人物の向きを利用する。

【0034】

具体的には、重み決定部２２ｃは、入力画像データＢについて推定された人物の向きと、登録画像データＡに対応する向きデータに示された向きとが一致する場合には、重み対象領域に付与する重みを上げる。一方、入力画像データＢについて推定された人物の向きと、登録画像データＡに対応する向きデータに示された向きとが一致しない場合には、重み対象領域に付与する重みを下げる。

【0035】

トータルスコア算出部２２ｄは、重み決定部２２ｃにより決定された重みを重み対象領域に適用し、適用した重みに基づき入力画像データＢと登録画像データＡを照合処理し、一致度合を示すトータルスコアを算出する処理部である。

【0036】

具体的には、トータルスコア算出部２２ｄは、人物の部位毎に一致度合を評価した評価値である照合スコアＳ_HSVと、色が類似する小領域毎に一致度合を評価した評価値である照合スコアＳ_SEGとを算定し、照合スコアＳ_HSVと照合スコアＳ_SEGの合計をトータルスコアとして算出する。照合スコアＳ_HSV及び照合スコアＳ_SEGの具体的な算出処理については後述する。

【0037】

判定処理部２２ｅは、トータルスコアとしきい値とを比較することで、入力画像データＢに示された人物と登録画像データＡに示された人物とが同一人物である可能性が高いか否かを判定する処理部である。判定処理部２２ｅは、判定の結果、トータルスコアがしきい値以上となった登録画像データＡを候補画像リスト２１ｂに登録する。

【0038】

表示制御部２２ｆは、候補画像リスト２１ｂに登録された登録画像データＡを表示部４０に表示制御する処理部である。操作者は、この表示制御により、入力画像データＢに示された人物と一致する人物の候補を確認することができる。

【0039】

次に、画像照合装置２０の処理手順について説明する。図３は、画像照合装置２０の処理手順を示すフローチャートである。まず、カメラ１０から撮像データを受け付けると（ステップＳ１０１）、画像照合装置２０の前処理部２２ａは、撮像データに対して前処理を行い、入力画像データＢを生成する（ステップＳ１０２）。

【0040】

また、判定処理部２２ｅは、複数の登録画像データＡからいずれかを選択する（ステップＳ１０３）。重み対象領域特定部２２ｂ及び重み決定部２２ｃは、ステップＳ１０２で生成された入力画像データＢと、ステップＳ１０３で選択された登録画像データＡとを用いて重み設定処理を行う（ステップＳ１０４）。

【0041】

トータルスコア算出部２２ｄは、ステップＳ１０４で設定された重みを重み対象領域に適用しつつ、入力画像データＢ及び登録画像データＡを人物の部位毎に照合し、照合スコアＳ_HSVを算出する（ステップＳ１０５）。

【0042】

また、トータルスコア算出部２２ｄは、ステップＳ１０４で設定された重みを重み対象領域に適用しつつ、入力画像データＢ及び登録画像データＡを色が類似する小領域毎に照合し、照合スコアＳ_SEGを算出する（ステップＳ１０６）。

【0043】

トータルスコア算出部２２ｄは、照合スコアＳ_HSVと照合スコアＳ_SEGとを合計し、トータルスコアＳを算出する（ステップＳ１０７）。判定処理部２２ｅは、トータルスコアＳとしきい値Ｔとを比較する（ステップＳ１０７）。

【0044】

その結果、トータルスコアＳがしきい値Ｔ以上であるならば（ステップＳ１０８；Ｙｅｓ）、判定処理部２２ｅは、ステップＳ１０３で選択された登録画像データＡを候補画像リスト２１ｂに登録する（ステップＳ１０９）。

【0045】

ステップＳ１０９の後、若しくはトータルスコアＳがしきい値Ｔ未満である場合（ステップＳ１０８；Ｎｏ）、判定処理部２２ｅは、ステップＳ１０３で選択されていない未処理の登録画像データＡが残っているか否かを判定する（ステップＳ１１０）。未処理の登録画像データＡが残っているならば（ステップＳ１１０；Ｙｅｓ）、判定処理部２２ｅは、ステップＳ１０３に移行し、未処理の登録画像データＡからいずれかを選択する。

【0046】

未処理の登録画像データＡが残っていなければ（ステップＳ１１０；Ｎｏ）、表示制御部２２ｆは、候補画像リスト２１ｂに登録された登録画像データＡを表示部４０に表示し（ステップＳ１１１）、処理を終了する。

【0047】

次に、図３のステップＳ１０２に示した前処理について詳細に説明する。図４は、図３に示した前処理の処理手順を示すフローチャートである。前処理部２２ａは、まず、撮像データから人物の像を検出し（ステップＳ２０１）、人物の向きを推定する（ステップＳ２０２）。人物の像の検出と人物の向きの推定には、例えば向きの異なる人物の形状をそれぞれモデル化した複数のテンプレートを用意し、パターンマッチングで対象を探せばよい。なお、パターンマッチングの手法については、ＳＶＭなどの機械学習や部分空間法など、任意の手法を用いることができる。

【0048】

前処理部２２ａは、検出した人物の像を含む領域を人物領域として切り出し（ステップＳ２０３）、切り出した人物領域の大きさを正規化し（ステップＳ２０４）、画素のヒストグラムを平坦化する（ステップＳ２０５）。これらの処理により得られた画像データが入力画像データＢであり、ステップＳ２０５の後、前処理部２２ａは前処理を終了して図３の処理に戻る。

【0049】

図５は、図４に示した前処理を説明するための説明図である。図５に示した画像データＣ１は、カメラ１０が撮像した撮像データに対応する。パターンマッチング等でこの画像データＣ１から人物領域を切り出して、大きさを正規化することにより、画像データＣ２が得られる。前処理部２２ａは、画像データＣ２から背景を除去して画像データＣ３を生成し、さらに画像データＣ３における画素のヒストグラムを平坦化することで画像データＣ４を生成する。この画像データＣ４が入力画像データＢに対応する。

【0050】

前処理部２２ａによるヒストグラムの平坦化についてさらに説明する。図６は、図４に示したヒストグラムの平坦化を説明するための説明図である。前処理部２２ａは、ヒストグラムの平坦化に際し、まず、画像データＣ３をＨＳＶ変換する。このＨＳＶ変換により、画像データＣ３の色相成分を示す画像データＣ３ｈと、画像データＣ３の彩度成分を示す画像データＣ３ｓと、画像データＣ３の明度成分を示す画像データＣ３ｖとが得られる。

【0051】

前処理部２２ａは、画像データＣ３ｖの人物領域内の画素に対して次の変換を行って画像データＣ３ｖ’を生成する。

【数1】

ここで、Ｖは変換前の画素値であり、Ｖ’は変換後の画素値である。また、ＨｉｓｔはＶ成分のヒストグラムであり、ＳＩＺＥは人物領域の画素数である。

【0052】

その後、前処理部２２ａは、画像データＣ３ｈ、画像データＣ３ｓ及び画像データＣ３ｖ’をＲＧＢ画像に変換することで、入力画像データＢに対応する画像データＣ４を生成する。

【0053】

図７は、ヒストグラムの平坦化の概念を説明するための説明図である。図７（ａ）は、平坦化前の画像データＣ３ｖにおける明度成分のヒストグラムであり、図７（ｂ）は、平坦化後の画像データＣ３ｖ’における明度成分のヒストグラムである。平坦化の前後を比較すると、平坦化前には明度値ｘが狭い範囲に偏っているのに対し、平坦化後には明度値ｘが偏り無く分布している。

【0054】

このようにヒストグラムを平坦化することにより、入力画像データＢにおける明るさの偏りを解消し、入力画像データＢと登録画像データＡとの間で明るさを揃えることができる。

【0055】

次に、図３のステップＳ１０４に示した重み設定処理について詳細に説明する。図８は、図３に示した重み設定処理の処理手順を示すフローチャートである。まず、重み対象領域特定部２２ｂは、登録画像データＡ及び入力画像データＢに含まれる人物の像について人物の部位を推定する（ステップＳ３０１）。さらに、重み対象領域特定部２２ｂは、推定した部位から重み対象領域を特定する（ステップＳ３０２）。

【0056】

重み決定部２２ｃは、入力画像データＢについて推定された人物の向きと、登録画像データＡに対応する向きデータに示された向きに基づいて、重み対象領域に付与する重みを決定する（ステップＳ３０３）。この重みの決定により重み設定処理は終了し、図３の処理に戻る。

【0057】

次に、重み対象領域特定部２２ｂによる部位の推定について説明する。図９は、重み対象領域特定部２２ｂによる部位の推定についての説明図である。まず、重み対象領域特定部２２ｂは、登録画像データＡ及び入力画像データＢに含まれる人物の像について、頭、体、足及び中心軸を推定する。なお、本実施例において「体」とは、身体のうち頭と足を除いた部分のことである。また、身体のうち頭と手足を除いた部分としてもよい。

【0058】

図９（ａ）は、頭、体及び足の推定についての説明図である。重み対象領域特定部２２ｂは、登録画像データＡ及び入力画像データＢについて、足と体の境界を示すｉＴＬ、体と頭の境界示すｉＨＬｙをそれぞれ算出する。ｉＴＬ及びｉＨＬｙは、登録画像データＡ及び入力画像データＢにおける高さ方向、即ちＹ軸の値として求められる。

【0059】

ｉＴＬｙを算出する場合、重み対象領域特定部２２ｂは、ｙをΔｙ内で走査しながら、σｙ１とσｙ２の間の以下の特徴Ｆを計算する。
Ｆ（ｙ）＝１−Ｃ（ｙ，σ）＋Ｓ（ｙ，σ）

【0060】

ここで、Δｙは、登録画像データＡ及び入力画像データＢにおいてｉＴＬｙが所在する可能性のある範囲を予め指定した指定範囲である。登録画像データＡ及び入力画像データＢは人物領域として切り出されているため、足と体の境界が極端に高い位置や低い位置に所在することはない。そこで、足と体の境界が所在しない範囲を除外し、Δｙを予め指定しているのである。

【0061】

また、σｙ１及びσｙ２は、登録画像データＡ及び入力画像データＢにおいて、部分的な特徴を検知できる程度の面積が含まれるよう設定された部分領域である。σｙ１及びσｙ２のｘ軸方向の幅は登録画像データＡ及び入力画像データＢのｘ軸方向の幅に等しい。また、σｙ１のｙ軸方向の高さとσｙ２のｙ軸方向の高さとは同一である。そしてσｙ１は下端が変数ｙの値であり、変数ｙの上方に設定される。σｙ２は上端が変数ｙの値であり、変数ｙの下方に設定される。

【0062】

Ｃ（ｙ，σ）はＨＳＶ色空間におけるσｙ１とσｙ２との間のユークリッド距離である。Ｓ（ｙ，σ）は、σｙ１内における人物部分とσｙ２内における人物部分の面積の差である。重み対象領域特定部２２ｂは、Ｆ（ｙ）が最小となるｙ座標を求め、そのｙ座標をｉＴＬｙとする。

【0063】

ｉＨＬを算出する場合には、重み対象領域特定部２２ｂは、ｉＴＬｙと同様にｙを指定範囲内で走査しながら、以下の特徴Ｆを計算する。
Ｆ（ｙ）＝Ｓ（ｙ，σ）
そして、Ｆ（ｙ）が最大となるｙ座標を求め、そのｙ座標をｉＨＬとする。なお、ｉＨＬを算出する場合の指定範囲は、ｉＨＬが所在する可能性のある範囲を予め指定したものである。

【0064】

図９（ｂ）は、中心軸の推定についての説明図である。重み対象領域特定部２２ｂは、体の中心軸ｊＬＲ１と、足の中心軸ｊＬＲ２とをそれぞれ求める。体の中心軸を求める場合には、対象範囲はｉＴＬからｉＨＬｙまでであり、足の中心軸を求める場合には、対象範囲は下端（ｙ＝０）からｉＨＬｙまでである。ｊＬＲ１及びｊＬＲ２は、登録画像データＡ及び入力画像データＢにおける横方向、即ちｘ軸の値として求められる。

【0065】

中心軸を算出する場合、重み対象領域特定部２２ｂは、ｘを走査しながら、σｘ１とσｘ２の間の以下の特徴Ｆを計算する。
Ｆ（ｘ）＝Ｃ（ｘ，σ）＋Ｓ（ｘ，σ）
そして、Ｆ（ｘ）が最小となるｘ座標を中心軸とする。

【0066】

ここで、σｘ１を変数ｘの左側の部分領域、σｘ２を変数ｘの右側の部分領域とする。図９（ｂ）では、足の中心軸ｊＬＲ２を求める場合のσｘ１及びσｘ２を示している。σｘ１及びσｘ２のｙ軸方向の高さは対象範囲の高さに等しい。また、σｘ１のｘ軸方向の幅とσｘ２のｘ軸方向の幅とは同一である。この幅は、対象範囲における人物部分の半分以上を含むように設定することが好適である。そしてσｘ１は右端が変数ｘの値であり、σｘ２は左端が変数ｘの値である。

【0067】

重み対象領域特定部２２ｂは、ｉＴＬ、ｉＨＬｙ、ｊＬＲ１、ｊＬＲ２に加え、登録画像データＡ及び入力画像データＢの向きを用いて重み対象領域を特定する。図１０は、重み対象領域の特定についての説明図である。

【0068】

まず、登録画像データＡや入力画像データＢにおける人物の向きが正面である場合には、重み対象領域特定部２２ｂは、頭、足、体の左、体の中央、体の右の５つのエリアを設定する。一方、人物の向きが側面や背面である場合には、頭、足、体の３つのエリアを設定する。

【0069】

図１０（ａ）では、登録画像データＡ２の人物の向きが正面である。このため、エリアデータＰＡ２に示すように、頭、足、体の左、体の中央、体の右の５つのエリアが設定される。一方、図１０（ｂ）では、入力画像データＢ３の人物の向きが背面である。このため、エリアデータＰＢ３に示すように、頭、足、体の３つのエリアが設定される。

【0070】

なお、体の部位を体の左、体の中央、体の右の３つに分割する位置は、体の中心軸ｊＬＲ１から左右にｗだけ離れた位置とする。ここで、ｗについては、画像データの幅と正規化された人物の大きさから、予め適切な値を設定しておく。

【0071】

重み対象領域特定部２２ｂは、設定したエリアから重み対象領域の選択を行う。例えば、体の中央は人物の特徴を多く含む特徴部分であり、重み対象領域として好適である。また、設定した全てのエリアを重み対象領域とし、各エリアに対して重み設定を行うことも可能である。

【0072】

次に、重み決定部２２ｃによる重みの決定について説明する。図１１は、重み決定部２２ｃによる重みの決定についての説明図である。重み決定部２２ｃは、登録画像データＡ及び入力画像データＢにおける人物の向きの組合せに基づいて重みを決定する。

【0073】

図１１には、人物の向きの組合せと重みとの対応関係を示している。なお、図１１の斜線領域は重みを上げることで強調して特徴抽出を行うことを示し、白領域は重みを下げて特徴抽出を行うことを示す。

【0074】

図１１に示したように、重み決定部２２ｃは、人物の向きの組合せが「正面−正面」である場合には、体の中央の重みを上げる。服のデザインやネクタイやスカーフの着用により、体の中央に特徴がある場合が多いためである。一方、人物の向きの組合せが「正面−側面」である場合には、体の中央の重みを下げる。また、人物の向きの組合せが「正面−背面」である場合には、体の中央と頭の重みを下げる。体の中央の特徴が側面や背面には現れない場合が多いためである。また頭は、正面と側面と背面の特徴は大きく異なるためである。そして人物の向きの組合せが「側面−背面」である場合には、頭の重みを下げる。なお、図示は省略したが、人物の向きの組合せが「背面−背面」である場合には、重みを付与しない。

【0075】

図１１では、人物の向きが正面であれば、体の部位を中央と左右にエリア分けして異なる重みを付け、人物の向きが正面以外であれば、体の部位全体を１つのエリアとして同一の重みを付けている。このエリア分けは重みを付与する範囲を定めるものであり、照合の単位として用いるものではない。すなわち、体の部位について照合を行う場合には、３つのエリアに分けられた体の部位と、１つのエリアである体の部位とが照合されることになる。

【0076】

なお、本実施例では、正面、側面、背面それぞれの立位の３つの態様を用い、その組合せ毎に重み付けを定めたが、用いる態様は３つに限定されない。例えば、左斜め前方、右斜め前方などの方向や座位など姿勢について、さらに態様を追加することができる。その場合は、それぞれの態様に応じたテンプレートを用意して検出する。また、それぞれの態様の組合せ毎に、重み付けを定める。

【0077】

このように、重み決定部２２ｃは、特徴部分が登録画像データＡ及び入力画像データＢの双方に含まれていれば重みを上げ、一方にしか含まれない場合には重みを下げる。特徴部分が登録画像データＡ及び入力画像データＢの双方に含まれていれば、その特徴部分は照合精度の向上に寄与するが、一方にしか含まれていない特徴部分はむしろ照合の精度を低下させるおそれがあり、特徴部分以外に注目した方が照合精度の向上が期待できるためである。

【0078】

次に、図３のステップＳ１０５に示した照合スコアＳ_HSVの算定について詳細に説明する。図１２は、図３に示した照合スコアＳ_HSVの算定の処理手順を示すフローチャートである。

【0079】

トータルスコア算出部２２ｄは、まず、登録画像データＡの部位毎に重み付き３次元ＨＳＶヒストグラムを算定する（ステップＳ４０１）。また、入力画像データＢの部位毎に重み付き３次元ＨＳＶヒストグラムを算定する（ステップＳ４０２）。そして、各部位についてバチャタリヤ距離を算定し、その平均を照合スコアＳ_HSVとして（ステップＳ４０３）、図３の処理に戻る。

【0080】

ここで、３次元ＨＳＶヒストグラムを算定における重みは、重み決定部２２ｃにより決定された重みと、中心軸からの距離に応じたガウス分布による重みを乗算したものを用いる。なお、向きが正面である場合には、体の部位が３つのエリアに分かれているが、体の部位について３次元ＨＳＶヒストグラムを算定する際にはその全てのエリアが用いられる。

【0081】

また、ヒストグラムｈ₁とヒストグラムｈ₂のバチャタリヤ距離は、ヒストグラムのビン数をｎとして以下の式により求められる。

【数2】

【0082】

図１３は、照合スコアＳ_HSVの算定についての説明図である。図１３では、登録画像データＡ２の人物の向きが正面であり、入力画像データＢ３の人物の向きが背面である。トータルスコア算出部２２ｄは、登録画像データＡ２に対しては対応するエリアデータＰＡ２を重み付けに用い、入力画像データＢ３に対しては対応するエリアデータＰＢ３を重み付けに用いる。

【0083】

トータルスコア算出部２２ｄは、エリアデータＰＡ２及びエリアデータＰＢ３にもとづく重みをそれぞれ登録画像データＡ２と入力画像データＢ３とに適用し、登録画像データＡ２と入力画像データＢ３との部位別のヒストグラム照合を行い、照合スコアＳ_HSVを算定する。

【0084】

次に、図３のステップＳ１０６に示した照合スコアＳ_SEGの算定について詳細に説明する。図１４は、図３に示した照合スコアＳ_SEGの算定の処理手順を示すフローチャートである。

【0085】

トータルスコア算出部２２ｄは、まず、登録画像データＡを色領域に分割する（ステップＳ５０１）。色領域は、類似色で連続する画素からなる小領域である。同様に、トータルスコア算出部２２ｄは、入力画像データＢを色領域に分割する（ステップＳ５０２）。そして、色領域同士の照合スコアＳ_SEGを算出し（ステップＳ５０３）、図３の処理に戻る。

【0086】

色領域同士の照合スコアＳ_SEGは、次の式により求められる。

【数3】

ここで、Ｓ_seg1は、

【数4】

であり、Ｓ_seg2は、

【数5】

である。なお、Ｔｐは登録画像データＡから分割した色領域の集合であり、Ｉｎは入力画像データＢから分割した色領域の集合である。ｉ，ｊは、色領域の選択に用いる変数である。Ｓ_seg1の算出時にはｉ∈Ｉｎ、ｊ∈Ｔｐとし、Ｓ_seg2の算出時にはｉ∈Ｔｐ、ｊ∈Ｉｎとしている。すなわち、Ｓ_seg1及びＳ_seg2は、ｗij(γｄ^ij_y＋（１−γ）ｄ^ij_c)が最小となるｊを各ｉについて求めている。

【0087】

また、登録画像データＡから分割した色領域について、その重心をｇｊ、平均ＲＧＢ値をｃｊ、ｇｊが属するエリアに設定された重みをｗｊとする。同様に、入力画像データＢから分割した色領域について、その重心をｇｉ、平均ＲＧＢ値をｃｉ、ｇｉが属するエリアに設定された重みをｗｉとする。

【0088】

ｄ^ij_yは、重心のｙ座標の距離であり、
ｄ^ij_y＝｜ｇ_iy-ｇ_jy｜
により求める。
ｄ^ij_cは、平均ＲＧＢの距離であり、
ｄ^ij_c＝｜ｃ_i−ｃ_j｜
により求める。

【0089】

ｗ_ijは重みであり、
ｗ_ij＝１／min（ｗ_i，ｗ_j）
を用いる。なお、γは所定のパラメータである。また、ｎ_inはＳ_seg1において用いた重みの和であり、ｎ_tpはＳ_seg2において用いた重みの和である。そして、ｎｕｍ_inは入力画像データＢから分割した色領域の数であり、ｎｕｍ_tpは登録画像データＡから分割した色領域の数である。

【0090】

図１５は、照合スコアＳ_SEGの算定についての説明図である。図１５では、登録画像データＡ２の人物の向きが正面であり、入力画像データＢ３の人物の向きが背面である。トータルスコア算出部２２ｄは、登録画像データＡ２を色領域に分割して色領域データＱＡ２を生成する。同様に、入力画像データＢ３を色領域に分割して色領域データＱＢ３を生成する。

【0091】

トータルスコア算出部２２ｄは、色領域データＱＡ２に対しては対応するエリアデータＰＡ２を重み付けに用い、色領域データＱＢ３に対しては対応するエリアデータＰＢ３を重み付けに用いる。

【0092】

トータルスコア算出部２２ｄは、エリアデータＰＡ２及びエリアデータＰＢ３にもとづく重みを用いて、色領域データＱＡ２と色領域データＱＢ３との色領域同士の照合を行って、照合スコアＳ_SEGを算定する。

【0093】

次に、図３のステップＳ１０７に示したトータルスコアの算定について説明する。トータルスコア算出部２２ｄは、照合スコアＳ_HSVと照合スコアＳ_SEGとを用い、トータルスコアＳを
Ｓ＝0.5×Ｓ_HSV＋0.5×Ｓ_SEG
として算出する。ここでは、照合スコアＳ_HSVと照合スコアＳ_SEGにそれぞれ0.5を乗算した上で合計する場合を例示したが、この比率は適宜設定可能である。

【0094】

上述してきたように、本実施例１に係る画像照合装置２０は、登録画像データＡ及び入力画像データＢから重み対象領域を特定し、登録画像データＡ及び入力画像データＢに含まれる人物の向きの組合せに基づいて重み対象領域に付与する重みを決定し、決定された重みを重み対象領域に適用しつつ、登録画像データＡ及び入力画像データＢを照合処理する。このため、登録画像データＡと入力画像データＢに含まれる人物の向きが異なる場合であっても、正確かつ効率的に画像照合を行うことができる。

【実施例2】

【0095】

実施例１では、登録画像データ及び入力画像データにそれぞれ含まれる人物の向きを利用して重みを決定する場合について説明したが、本実施例２では、登録画像データ及び入力画像データにそれぞれ含まれる人物の所持品を利用して重みを決定する場合について説明する。

【0096】

図１６は、本実施例２に係る画像照合装置の特徴を説明するための説明図である。なお、ここでは登録画像データＡ及び入力画像データＢを人物の洋服や所持品の色の一致度を用いて照合処理する場合を示すこととする。

【0097】

図１６（ａ）に示すように、登録画像データＡ３に鞄を所持した人物の像が含まれ、入力画像データＢ４にも鞄を所持した人物の像が含まれている場合には、図中に斜線で示すように鞄に対応する領域を特徴部分としてその重みを大きくする。鞄などの所持品が同一であれば、同一人物である可能性が高く、その色合いを特徴部分とすることで照合精度を高めることができるためである。なお、鞄に限らず、他の所持品や帽子等を特徴部分とすることもできる。

【0098】

一方、図１６（ｂ）に示すように、登録画像データＡ３には鞄を所持した人物の像が含まれ、入力画像データＢ５には鞄を持たない人物の像が含まれている場合には、図中に白領域で示すように鞄に対応する領域の重みを小さくする。鞄などの所持品は途中で手放す可能性があり、所持品が同一でないことは同一人物でないことの根拠とはならないので、所持品の特徴に注目して照合を行うとかえって照合精度が低下するおそれがあるためである。

【0099】

このように、登録画像データＡ及び入力画像データＢにおける人物の所持品の有無により、所持品に対応する領域の重みを変化させることで、所持品の特徴を有効に利用して正確な照合処理を行うことが可能となる。

【0100】

次に、本実施例２に係る画像照合装置の構成について説明する。図１７は、本実施例２に係る画像照合装置の構成を示す機能ブロック図である。図１７に示すように画像照合装置５０は、記憶部２１に記憶される登録データ５４が実施例１に示した登録データ２１ａと異なる。また、前処理部５１、重み対象領域特定部５２及び重み決定部５３の動作が実施例１に示した前処理部２２ａ、重み対象領域特定部２２ｂ及び重み決定部２２ｃと異なる。その他の構成及び動作については、実施例１に示した画像照合装置２０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

【0101】

登録データ５４は、複数の登録画像データＡを有し、各登録画像データＡには所持品データが対応付けられている。複数の登録画像データＡは、例えば異なる人物についてそれぞれ生成したものであり、１つの登録画像データＡには人物の像が１つ含まれている。所持品データは、対応する登録画像データＡにおける人物の所持品を示す。図１７では、登録画像データＡ３に所持品データＡ３ｂを対応付けた状態を示している。

【0102】

前処理部５１は、照合の前処理として、カメラ１０により撮像された撮像データから入力画像データＢを生成する処理部である。具体的には、前処理部５１は、撮像データから人物の像を検出し、人物の所持品の有無を推定し、人物の像を含む領域を人物領域として切り出す。そして、切り出した人物領域の大きさを正規化し、画素のヒストグラムを平坦化して入力画像データＢを生成する。なお、人物と所持品の像の検知には、任意の手法を用いることができる。例えば、連続して撮像された撮像データの差分から人物と所持品の双方を含む画像を切り出し、この画像に人物のパターンマッチングを行うことで人物の像を抽出することができる。そして、人物と所持品の双方を含む画像から人物の像を除外すれば、所持品の像が得られる。

【0103】

重み対象領域特定部５２は、登録画像データＡ及び入力画像データＢに含まれる人物の像について、所持品がある場合には所持品に対応する領域を重み対象領域として特定する処理を行う。

【0104】

重み決定部５３は、登録画像データＡ及び入力画像データＢの対応関係に基づいて、重み対象領域に付与する重みを決定する。ここで、重み決定部５３は、登録画像データＡ及び入力画像データＢの対応関係に、人物の所持品を利用する。具体的には、重み決定部５３は、入力画像データＢに含まれる人物について所持品があると推定され、かつ、登録画像データＡに対応付けられた所持品データにより所持品があることが示されている場合には、重み対象領域に付与する重みを上げる。一方、入力画像データＢ又は登録画像データＡの一方に所持品がない場合には、重み対象領域に付与する重みを下げる。

【0105】

次に、画像照合装置５０の処理手順について説明する。図１８は、画像照合装置５０の処理手順を示すフローチャートである。まず、カメラ１０から撮像データを受け付けると（ステップＳ１０１）、画像照合装置５０の前処理部５１は、撮像データに対して前処理を行い、入力画像データＢを生成する（ステップＳ６０２）。この前処理により、入力画像データＢにおける所持品の有無が推定される。

【0106】

また、判定処理部２２ｅは、複数の登録画像データＡからいずれかを選択する（ステップＳ１０３）。重み対象領域特定部５２及び重み決定部５３は、ステップＳ６０２で生成された入力画像データＢと、ステップＳ１０３で選択された登録画像データＡとを用いて重み設定処理を行う（ステップＳ６０４）。この重み設定では、所持品に対応する領域が重み対象領域として特定され、入力画像データＢと登録画像データＡにおける所持品の有無の組合せにより重みが決定されることになる。

【0107】

トータルスコア算出部２２ｄは、ステップＳ１０４で設定された重みを重み対象領域に適用しつつ、入力画像データＢ及び登録画像データＡを照合し、照合スコアＳ_HSVを算出する（ステップＳ６０５）。ここで、入力画像データＢ及び登録画像データＡは、所持品に対応する重み対象領域と所持品以外の人物領域とに分割され、トータルスコア算出部２２ｄは、それぞれの領域について照合を行って照合スコアＳ_HSVを算出することになる。以降の処理は、図３に示したフローチャートと同様であるので、説明を省略する。

【0108】

上述してきたように、本実施例２に係る画像照合装置５０は、登録画像データＡ及び入力画像データＢから所持品に対応する重み対象領域を特定し、登録画像データＡ及び入力画像データＢに含まれる人物の所持品の有無の組合せに基づいて重み対象領域に付与する重みを決定し、決定された重みを重み対象領域に適用しつつ、登録画像データＡ及び入力画像データＢを照合処理する。このため、登録画像データＡと入力画像データＢに含まれる人物の所持品の有無に関わらず、正確かつ効率的に画像照合を行うことができる。

【0109】

なお、上記の実施例１及び２では、人物の照合を例に説明を行ったが、本発明は人物の照合に限定されるものではなく、車両等の他の対象物を照合する場合にも適用することができる。

【0110】

また、上記の実施例１及び２では、人物の外観上の色の一致度を用いて照合処理する場合を示したが、監視カメラ等の性能が向上し、解像度の高い画像データが取得できる場合は、例えば服の模様や装着物による形状特徴に基づく照合処理を行うことも可能である。本発明は、入力画像データと登録画像データ照合処理に際して、両画像の態様に応じた重み付けを行うものであり、照合処理の方式にはこだわらない。

【0111】

また、上記の実施例２では、所持品を対象物の特徴部として用いる場合を例に説明を行ったが、帽子や杖、車両のオプションパーツなど、対象物の態様に影響を与え、かつ着脱等が比較的容易であれば、任意の特徴部を用いることができる。

【0112】

また、本実施例に図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部または一部を各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0113】

本発明に係る画像照合装置及び画像照合方法は、入力画像と登録画像に含まれる対象物の態様が異なるときに、正確かつ効率的に画像照合を行う場合に適している。

【符号の説明】

【0114】

１０ カメラ
２０ 画像照合装置
２１ 記憶部
２１ａ，５４ 登録データ
２１ｂ 候補画像リスト
２２ 制御部
２２ａ，５１ 前処理部
２２ｂ，５２ 重み対象領域特定部
２２ｃ，５３ 重み決定部
２３ｄ トータルスコア算出部
２２ｅ 判定処理部
２２ｆ 表示制御部
３０ 操作部
４０ 表示部
Ａ，Ａ１〜Ａ３ 登録画像データ
Ａ１ａ 向きデータ
Ａ１ｂ 所持品データ
Ｂ，Ｂ１〜Ｂ５ 入力画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】