特許 5940862 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5940862

(24)【登録日】2016年5月27日

(45)【発行日】2016年6月29日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/00 20060101AFI20160616BHJP

   G06T 1/00 20060101ALI20160616BHJP

   H04N 7/18 20060101ALI20160616BHJP

【ＦＩ】

   G06T7/00 300F

   G06T1/00 340B

   H04N7/18 D

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2012-80567(P2012-80567)

(22)【出願日】2012年3月30日

(65)【公開番号】特開2013-210843(P2013-210843A)

(43)【公開日】2013年10月10日

【審査請求日】2015年3月11日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】氏家 秀紀

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１０−２７７２９６（ＪＰ，Ａ）

【文献】 山崎和博，外３名，“対応点および境界候補の推定に基づくＳｕｐｅｒｐｉｘｅｌの時間方向安定化”，画像電子学会誌，一般社団法人画像電子学会，２０１１年 ７月２５日，第４０巻，第４号，ｐ．６１７−６３０

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ − ７／６０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数フレームに亘り移動物体を撮像した時系列画像から当該移動物体の照合に用いる物体特徴量を抽出する画像処理装置であって、
前記各フレームにおける注目移動物体の物体像を互いに輝度特徴が類似する近傍画素からなる複数の物体像断片に分割する物体像分割部と、
前記フレーム間で前記物体像断片の前記輝度特徴及び前記物体像断片の前記物体像における占有場所の情報を含む幾何特徴を比較して、前記輝度特徴及び前記幾何特徴が共に類似する前記物体像断片からなる複数の断片グループを生成する物体像断片グループ生成部と、
前記各断片グループに対して、当該断片グループを構成する前記物体像断片の数に応じた安定性評価値を算出し、当該安定性評価値が所定基準を超えて高い断片グループの前記輝度特徴及び前記幾何特徴から前記物体特徴量を生成する特徴量生成部と、
を備えたことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記特徴量生成部は、前記断片グループを構成する前記物体像断片の前記占有場所の面積が大きいほど当該断片グループの前記安定性評価値を高く算出すること、を特徴とする画像処理装置。

【請求項3】

請求項１又は請求項２に記載の画像処理装置において、
前記特徴量生成部は、前記断片グループを構成する前記物体像断片間にて前記占有場所の位置が近いほど当該断片グループの前記安定性評価値を高く算出すること、を特徴とする画像処理装置。

【請求項4】

請求項１から請求項３のいずれか１つに記載の画像処理装置において、
前記特徴量生成部は、前記断片グループを構成する前記物体像断片間にて前記輝度特徴が類似しているほど当該断片グループの前記安定性評価値を高く算出すること、を特徴とする画像処理装置。

【請求項5】

請求項１から請求項４のいずれか１つに記載の画像処理装置において、
前記物体像断片グループ生成部は、前記物体像断片内の画素値を代表する代表画素値と当該物体像断片の代表位置とを要素とする特徴ベクトルを前記物体像に対する当該物体像断片の面積の割合で重み付けし、当該重み付けした特徴ベクトルをクラスタリングすることにより前記断片グループを生成すること、を特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動物体の時系列画像から当該移動物体の照合に用いる画像特徴量を抽出する画像処理装置に関する。

【背景技術】

【0002】

不審人物の足跡を追う目的等で、異なる場所に設置された監視カメラで撮像した映像から同一人物の映像を検索することを要求される場合がある。例えば、建物の２階の映像にて確認された不審人物がいつ入館したかを特定するために、当該建物入口の映像を検索することが要求される。

【0003】

移動物体を追跡する画像処理技術によれば、人物位置の連続性を利用して同一人物が映った時系列画像を特定することができる。しかし、監視カメラは設置コスト等の理由から離散的に設置されることが多く、離れた監視カメラの間では人物位置の連続性が利用困難となる。そのため断続的に追跡した人物の時系列画像を服装など見かけ（アピアランス）の特徴で照合することになる。断続的な時系列画像の照合は、監視カメラの視野から一旦外れた人物が同一監視カメラの視野に再登場する場合にも生じる。

【0004】

このように、断続的な時系列画像の間で人物の照合を行う場合に、監視カメラごとにアングルが異なることや手足の動きなど人物の姿勢が時々刻々と変化することによるアピアランス変動が問題となる。

【0005】

下記特許文献１に記載の移動物体追跡方法においては、人間を追跡する場合に手や足など動きのある部分では一致しない場所がでてくることを鑑み、順次取得される時系列画像において検出した複数の２値化後の人物パターンを所定数分重ね合わせて共通に出現している度合いが大きい点の集合をマスクパターンと、予め用意している人物の辞書との共通部分を照合に用いることで、動きの影響を受けにくくしていた。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平６−２７４６２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来技術を用いた場合、重ね合わせる時系列画像を増やすほどマスクパターンの面積は減少し、人物の照合に用いる特徴量が減少してしまう。例えば、手足部分の特徴量が除外されて胴部のみの特徴量となる。

【0008】

そのため、従来技術により生成される人物の特徴量を用いると、アピアランス変動による本人不一致率は低くなるものの、特徴量の不足により他人一致率が高まる問題があった。

【0009】

本人不一致率及び他人一致率を共に低減するには、動きがある手足等の部位からもアピアランス変動の影響を受けにくい特徴量を選び出して照合に用いることが望ましい。

【0010】

本発明は上記問題を鑑みてなされたものであり、移動物体の照合精度を向上させるために時系列画像からアピアランス変動の影響を受けにくい移動物体の特徴量をより多く抽出できる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明に係る画像処理装置は、複数フレームに亘り移動物体を撮像した時系列画像から当該移動物体の照合に用いる物体特徴量を抽出するものであって、前記各フレームにおける注目移動物体の物体像を互いに輝度特徴が類似する近傍画素からなる複数の物体像断片に分割する物体像分割部と、前記フレーム間で前記物体像断片の前記輝度特徴及び前記物体像断片の前記物体像における占有場所の情報を含む幾何特徴を比較して、前記輝度特徴及び前記幾何特徴が共に類似する前記物体像断片からなる複数の断片グループを生成する物体像断片グループ生成部と、前記各断片グループに対して、当該断片グループを構成する前記物体像断片の数に応じた安定性評価値を算出し、当該安定性評価値が所定基準を超えて高い断片グループの前記輝度特徴及び前記幾何特徴から前記物体特徴量を生成する特徴量生成部と、を備える。

【0012】

他の本発明に係る画像処理装置においては、前記特徴量生成部は、前記断片グループを構成する前記物体像断片の前記占有場所の面積が大きいほど当該断片グループの前記安定性評価値を高く算出する。

【0013】

さらに他の本発明に係る画像処理装置においては、前記特徴量生成部は、前記断片グループを構成する前記物体像断片間にて前記占有場所の位置が近いほど当該断片グループの前記安定性評価値を高く算出する。

【0014】

さらに他の本発明に係る画像処理装置においては、前記特徴量生成部は、前記断片グループを構成する前記物体像断片間にて前記輝度特徴が類似しているほど当該断片グループの前記安定性評価値を高く算出する。

【0015】

別の本発明に係る画像処理装置においては、前記物体像断片グループ生成部は、前記物体像断片内の前記画素値を代表する代表画素値と当該物体像断片の代表位置とを要素とする特徴ベクトルを前記物体像に対する当該物体像断片の面積の割合で重み付けし、当該重み付けした特徴ベクトルをクラスタリングすることにより前記断片グループを生成する。

【発明の効果】

【0016】

本発明によれば、動きがある部位からもアピアランス変動の影響を受けにくい移動物体の特徴量をより多く抽出できるので、移動物体の照合精度を向上させることが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態である人物同定・検索システムの概念を説明するための模式図である。

【図2】人物情報生成装置の概略の構成を示すブロック図である。

【図3】或る人物についての追跡系列の模式図である。

【図4】クラスタリング対象のセグメント特徴量とクラスタリング結果を示す模式図である。

【図5】記憶部に格納された人物特徴量の例を示す模式図である。

【図6】人物情報生成装置の動作を説明する概略のフロー図である。

【図7】人物同定装置の概略の構成を示すブロック図である。

【図8】人物同定装置の動作を説明する概略のフロー図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

【0019】

図１は実施形態である人物同定・検索システム５００の概念を説明するための模式図である。本システムは、複数のフレームに亘り移動物体を撮像した時系列画像から当該移動物体の照合に用いる物体特徴量を抽出する画像処理装置であって、移動物体として人物を処理対象とする。本システムは、人物の物体特徴量（人物特徴量）をフレームごとに１つずつ抽出するのではなく、監視カメラ（以下単にカメラと称する）の撮像領域内で人物を追跡して得られた時系列画像（追跡系列）から１つの人物特徴量を生成する。追跡系列は各カメラが撮影した映像の各フレーム内において人物が現れた領域（人物領域）の画像（物体像。以下、人物像と称する）からなる。図１において、追跡系列５１０は或るカメラにより撮影された未知の人物の人物像からなる追跡系列である。例えば追跡系列５１０は互いに異なる時刻の人物像５１１，５１２を含んでいる。一方、別のカメラで撮影された映像からは追跡系列５２０として複数の追跡系列５２１，５２２が得られている。追跡系列５２１，５２２は互いに異なる人物を注目移動物体とする追跡処理で生成される。人物同定・検索システム５００は、未知の人物の追跡系列５１０を入力されると、追跡系列５２０として記憶部に蓄積されている複数の追跡系列それぞれに対応する人物の中から人物特徴量が最も似ている人物を検索する。

【0020】

人物同定・検索システム５００は、各カメラの撮像領域において追跡された人物の人物特徴量を作成する人物情報生成装置１と、作成された人物特徴量同士を比較して同一人物を検索する人物同定装置２とを含んで構成される。以下、人物情報生成装置１及び人物同定装置２をそれぞれ説明する。

【0021】

［人物情報生成装置１の構成］
図２は人物情報生成装置１の概略の構成を示すブロック図である。人物情報生成装置１は入力部１０、信号処理部１２及び記憶部１４から構成される。

【0022】

入力部１０は複数のカメラ、または各カメラの映像を記録したＤＶＲ（Digital Video Recorder）などの記録装置であり、信号処理部１２に接続される。

【0023】

信号処理部１２はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、入力部１０及び記憶部１４に接続される。信号処理部１２は記憶部１４からプログラムを読み出して実行し、人物追跡部１２０、色補正部１２２、セグメント特徴量生成部１２４及び人物特徴量生成部１２６等として機能する。

【0024】

人物追跡部１２０は入力部１０から得られた各カメラの映像それぞれから人物ごとの追跡系列を生成する。具体的には人物追跡部１２０は背景差分処理及び追跡処理を用いて各映像に対して各人物の人物領域の抽出及び各人物の追跡を行い、人物ごとに当該人物の追跡系列を構成する各フレームに対応する元映像のフレーム番号及び当該フレームにおける当該人物の人物領域を表すマスク画像を記憶部１４の人物情報１４０に格納する。

【0025】

色補正部１２２はカメラ間の色の違いを抑制することを目的として追跡系列を色補正する。これはヒストグラム平坦化処理などの既存の技術によってなされる。

【0026】

人物特徴量を作成する処理は追跡系列に対して行う２段階の処理から構成され、第１段階としてフレームごとの処理が行われ、第２段階として、第１段階でフレームごとに得られた情報を追跡系列ごとにまとめる処理が行われる。

【0027】

セグメント特徴量生成部１２４（物体像分割部）は人物特徴量作成の上記第１段階を行う。セグメント特徴量生成部１２４は、追跡系列の各フレームにおける人物像を互いに輝度特徴が類似する近傍画素からなる複数の領域（物体像断片、以下、セグメント）に分割し、各セグメントの輝度特徴量及び各セグメントが分割元の人物像において占める占有場所の情報を含む幾何特徴量を当該セグメントの特徴量（セグメント特徴量）として抽出する。

【0028】

セグメント特徴量生成部１２４は各人物像に対して、当該人物像を構成する画素ごとにその色及びＸＹ座標からなる特徴量ベクトルを生成して、これら画素ごとの特徴ベクトルをクラスタリングすることにより領域分割を行う。クラスタリング法はミーンシフト（Mean Shift）法又はクイックシフト（Quick Shift）法などの各種クラスタリング法を用いることができる。別の実施形態ではクラスタリングに代えて領域成長法、分割統合法など各種領域分割法を用いることができる。またこの例では各画素の色を輝度特徴としているが別の実施形態では各画素の濃淡値、各画素を中心とする局所領域の輝度勾配ヒストグラムなどを輝度特徴とすることもできる。また輝度特徴の類似性は輝度特徴の距離、類似度又は分散などを尺度として判定することができる。

【0029】

セグメント特徴量生成部１２４は、各セグメントの輝度特徴量として当該セグメントを構成する画素の代表輝度値を抽出し、各セグメントの幾何特徴量として当該セグメントの代表位置と人物像において当該セグメントが占める面積を抽出する。具体的には、セグメント特徴量生成部１２４は輝度特徴量としてセグメントを構成する画素のＬａｂ表色系での平均画素値、代表位置としてセグメントを構成する画素の平均座標値（重心）、面積として人物像全体の画素数に対するセグメントの画素数の割合をそれぞれ算出する。各セグメントが分割元の人物像において占める占有場所の情報は、当該セグメントの位置と面積で構成している。

【0030】

別の実施形態では、平均画素値に代えて最頻画素値又は中央画素値を代表輝度値とすることもでき、その画素値をＲＧＢ表色系、ＨＳＶ表色系又は濃淡値とすることもできる。また別の実施形態では、平均座標値に代えてセグメントを近似した図形の重心座標又は上記クラスタリングにより得られるクラスタ中心の座標を代表位置とすることもできる。また別の実施形態では、代表位置と面積に代えてセグメントの領域そのもの又はセグメントの近似図形を占有場所の情報とすることもできる。

【0031】

ここで、実世界での人物とカメラとの相対的な位置関係に応じて、各カメラの映像から抽出された人物像の大きさや傾きには違いが生じる。また、この違いはフレーム間でも生じる。人物特徴量は人物の部位ごとの特徴を表現するものなので、その元となるセグメント特徴量は、これらの違いに対する正規化を行って作成することが好適である。そこでセグメント特徴量生成部１２４は以下の正規化を行ってから幾何特徴量を算出する。例えば、人物像を構成する画素のフレームにおける座標から、人物像を構成する画素の平均座標及び、人物像の主軸及び当該主軸に直交する軸を計算する。なお、これら軸の情報は各軸の向きを示す単位ベクトルで表される。セグメント特徴量生成部１２４は、人物像を構成する各画素のフレームでの座標から、人物像の平均座標を減算することにより、平均座標を始点とし当該画素を終点とするベクトルを求め、当該ベクトルを各軸に射影することによって、人物像の中心を基準とした位置座標を求める。これにより人物像の傾きが正規化される。また、人物像の大きさについては、例えば、主軸方向の寸法を一定に揃えるように、人物像の中心を基準とした位置座標をスケーリングする。

【0032】

セグメント特徴量生成部１２４はこのようにして各人物の追跡系列中の各フレームでセグメント特徴量を生成し、セグメント特徴量生成部１２４は算出されたセグメント特徴量を、対応する人物ＩＤ及びフレーム番号と紐付けて人物情報１４０に格納する。

【0033】

人物特徴量生成部１２６は物体像断片グループ生成部及び特徴量生成部としての機能を有し、人物特徴量作成の上記第２段階を行う。人物特徴量生成部１２６は、注目する人物の追跡系列中の各フレームについてセグメント特徴量生成部１２４が生成したセグメント特徴量を時間方向にまとめる処理（クラスタリング処理）を行う。すなわち、人物特徴量生成部１２６は物体像断片グループ生成部としての機能により、注目する人物についてフレーム間でセグメント特徴量、すなわちセグメントの輝度特徴量及び幾何特徴量を比較して、輝度特徴量と幾何特徴が共に類似するセグメントからなるクラスタ（断片グループ）を生成する。時間頻度の高い部位に対応するクラスタの規模は大きくなり、一方、時間頻度の低い部位、又は人物像に混入した背景画素などのノイズに対応するクラスタの規模は小さくなる。前者の方が人物特徴量として安定しており照合に有用である。クラスタを生成した人物特徴量生成部１２６は特徴量生成部としての機能により、クラスタのうちその規模に応じた重み（安定性評価値）が所定値以上であるものに基づいて人物特徴量（画像特徴量）を定める。

【0034】

図３、図４は人物特徴量生成部１２６によるクラスタリング処理を説明する模式図である。図３は或る人物についての追跡系列の模式図であり、人物像５１１，５１２は２時刻のフレームから抽出され、それぞれセグメント特徴量生成部１２４により複数のセグメントに分割されている。実際には、追跡系列はより多くの時刻の人物像を含み得るが、ここでは説明を簡単にするため２時刻の人物像だけにしている。人物特徴量生成部１２６はセグメント特徴量生成部１２４により得られる、追跡系列を構成する全人物像の全セグメントのセグメント特徴量を対象としてクラスタリング処理を行う。図４は、クラスタリング対象のセグメント特徴量とクラスタリング結果を示す模式図であり、図３に示す追跡系列についての例を示している。セグメント特徴量のうち３次元の色空間座標（代表輝度に対応）及び２次元の位置座標（代表位置に対応）は５次元の特徴ベクトルを構成するが、図４では図示の都合上、色については１次元に簡略化し、当該特徴ベクトルを３次元空間内での位置で表現している。

【0035】

図４では、人物像５１１の各セグメントから得られたセグメント特徴量を斜線の円（円５３０〜５３６）で表し、また人物像５１２の各セグメントから得られたセグメント特徴量を白塗りの円（円５４０〜５４６）で表している。各セグメントの色及び位置座標を表す特徴ベクトルは座標原点を始点とし、各円の中心座標を終点とする。また、円の大きさがセグメントの面積割合を表している。具体的には、円５３０及び円５４０はそれぞれ人物像５１１及び人物像５１２から得られた頭部付近のセグメントの特徴量である。また、円５３１及び円５４１は胴体あたりのセグメントの特徴量、円５３２及び円５４２は下半身上部のセグメントの特徴量、円５３３，５４３，５４５，５３５は太ももあたりのセグメントの特徴量、円５３４，５４４，５３６，５４６は足あたりのセグメントの特徴量である。

【0036】

人物特徴量生成部１２６はこれらのセグメント特徴量をクラスタリング処理によりまとめる。その際に、セグメントの大きさを考慮してクラスタリングする。クラスタリングした結果、図４にてセグメント特徴量を囲む点線で示す９つのクラスタができる。

【0037】

例えば、足の部分のように変動が多いところは、まとまらず１つのメンバからなるクラスタが複数作成される。ここで、例えば、２人の人物が黒の長ズボンと黒の半ズボンをはいていた場合に、それらの区別には足の部分の情報が重要となる。変動が多いところは使用しないようにする従来の方法では、変動する部分に重要な情報がある場合に区別が難しくなる。これに対し、本発明はセグメントの代表位置に加えてその大きさを考慮することでフレーム間で重なりを有するセグメントの特徴量をまとめる。すなわち、多少の位置ずれを許容しながら物体の各部位の特徴量をまとめる。このことによって可動部の情報を残しておくことが可能となる。

【0038】

クラスタリングはミーンシフト法又はクイックシフト法などの既存の方法を用いて行う。本実施形態ではミーンシフト法を用いてクラスタリングを行う。例えば、特徴ベクトルの密度関数ｆ(ｘ)はカーネル関数をガウシアンカーネルとした場合のカーネル密度推定法を用いて次のように表せる。

【数1】

【0039】

ここでｘは３次元の色空間座標及び２次元の位置座標からなる５次元のベクトルであり、ｎはクラスタリングの対象となるセグメント数であり、追跡系列内の全セグメント数がこれに当たる。ｒ_ｉ，ｘ_ｉ及びＳ_ｉはそれぞれｉ番目のセグメント（ｉ＝１〜ｎ）の重み、特徴ベクトル、及び共分散行列である。共分散行列Ｓ_ｉは全セグメントに共通に予め定めたものとすることもできる。ｄは次元数であり本実施形態ではｄ＝５である。

【0040】

この密度関数ｆ(ｘ)に対するミーンシフト法は次式を用いてｘ_ｉ^(ｔ＋１)を逐次更新する。ここで初期値ｘ_ｉ^(０)はｘ_ｉ^(０)＝ｘ_ｉである。

【数2】

【0041】

更新後のｘ_ｉ^(ｔ＋１)が更新前のｘ_ｉ^(ｔ)と変わらなくなったら収束したと判断して、更新を停止する。この停止した際の点ｘ_ｉ'＝ｘ_ｉ^(ｔ＋１)は密度関数ｆ(ｘ)の局所最大に収束したことになり、そのときの局所最大値はｆ(ｘ_ｉ')である。この手順を各セグメントの特徴ベクトルに対して行い、収束する点ｘ_ｉ'（ｉ＝１〜ｎ）を求める。収束した点ｘ_ｉ'が近いもの（ある一定の距離範囲に含まれるもの）は同じ局所最大に収束したと考えられるので同じクラスタに所属すると判断する。

【0042】

人物特徴量生成部１２６はクラスタリング後、人物特徴量として各クラスタについて、代表輝度値、代表位置及び重み（安定性評価値）を計算する。人物特徴量生成部１２６は各クラスタの代表輝度値として、当該クラスタに属するセグメントの代表色の平均値を算出する。当該平均値は各セグメントの面積割合を重みとした重み付き平均である。クラスタの代表輝度値は、セグメント特徴量と同様、Ｌａｂ色空間での３次元の座標値で表される。人物特徴量生成部１２６はクラスタの代表位置として、当該クラスタに属するセグメントの位置座標についての重み付き平均値を算出する。当該平均値算出における重みは各セグメントの面積割合である。クラスタの代表位置はセグメント特徴量と同様、Ｘ，Ｙ座標の２次元の座標値で表される。人物特徴量生成部１２６は各クラスタの重みとして当該クラスタに属するセグメントの面積割合の合計に比例する値を算出する。この重みはスカラー量であり、全クラスタについての当該重みの合計が１になるように正規化される。

【0043】

上述の人物特徴量の計算では、クラスタｃ_ｊの重みｗ_ｊは次式で表されるクラスタｃ_ｊに所属するメンバの重み合計としている。

【数3】

【0044】

すなわち重みｗ_ｊはメンバであるセグメントの数が多いほど大きく、またセグメントの面積が大きいほど大きくなり、セグメントの数が少ないほど小さく、またセグメントの面積が小さいほど小さくなる。

【0045】

この場合、クラスタｃ_ｊの代表特徴ベクトルμ_ｊは上述した代表色及び位置座標それぞれの重み付き平均値を要素とするベクトルで与えられる。すなわち、当該代表特徴ベクトルμ_ｊはクラスタｃ_ｊに所属するメンバの特徴ベクトルについての次式で表される重み付き平均となる。

【数4】

【0046】

なお、クラスタの重みは上述したように最終的にはその合計が１になるように正規化される。

【0047】

人物特徴量生成部１２６は正規化したクラスタの重み（安定性評価値）が予め定めた閾値以下のものを取り除く。これにより、多くのフレームに共通して現れる人物特徴量、すなわちアピアランス変動の影響を受けにくい人物特徴量を生成できる。またこれにより、人物抽出時に誤って混入した背景物に起因するクラスタを排除することもできる。つまりメンバであるセグメントの数が多いクラスタ、メンバであるセグメントの面積が大きいクラスタを人物特徴量として残す。数が多いクラスタは大きさ考慮により許容される位置ずれの範囲で時間安定性が高く同一人物の異なる時系列画像間にも現れやすい部位に対応するクラスタである。また面積の大きいクラスタは位置ずれに対する安定性が高く（重なり度合いが高く）同一人物の異なる時系列画像間で一致を得やすい部位に対応するクラスタである。よって、これらのクラスタを残すことで動きのある部位を含めてアピアランス変動の影響を受けにくい人物特徴量を生成できる。

【0048】

重みの小さいクラスタの除去後、残った全クラスタの重みの合計が１になるように再度、重みを正規化する。この再度の正規化を行った後、人物特徴量生成部１２６は、各クラスタの特徴量（代表輝度値、代表位置）及び重みを、対応する人物識別子（人物ＩＤ）と紐づけて人物情報１４０に記憶する。これにより、各人物の追跡系列に対して１つの人物特徴量が作成される。

【0049】

記憶部１４は例えば、ハードディスクドライブ（Hard disk drive：HDD）、ＲＡＭ(Random Access Memory)等の記憶装置からなり、人物情報１４０を格納する他、計算用の一時記憶領域（図示せず）として信号処理部１２により利用される。また、記憶部１４は信号処理部１２で用いられる各種プログラムや各種データを記憶し、信号処理部１２との間でこれらの情報を入出力する。

【0050】

人物情報１４０には各人物の追跡系列について以下の情報が保存される。
（１）フレーム番号ごとの人物領域（マスク画像）
（２）フレーム番号ごとのセグメント特徴量
（３）人物特徴量

【0051】

ここで、上記（１）の情報は人物追跡部１２０により生成され、（２）の情報はセグメント特徴量生成部１２４により生成され、（３）の情報は人物特徴量生成部１２６により生成される。

【0052】

図５は作成された人物特徴量の例を示す模式図であり、上述の人物情報１４０に格納される（３）の情報を示している。人物情報１４０には、人物ＩＤごとに当該人物の人物特徴量として、追跡系列から得られた各クラスタの特徴量及び重みがクラスタＩＤを付されて格納される。例えば、図５において、人物ＩＤがＰｋ（ｋは自然数）でクラスタＩＤがｊ（ｊは自然数）の代表輝度値はＣ_ｊ^Pｋ、代表位置はＸ_ｊ^Pｋ、重みはＷ_ｊ^Pｋで表されている。

【0053】

上述の構成では、人物特徴量生成部１２６は、物体像断片の輝度特徴量である代表輝度値（色）と当該物体像断片の幾何特徴量の１つである代表位置とを要素とする特徴ベクトルを物体像に対する当該物体像断片の幾何特徴量のもう１つである面積割合で重み付けし、当該重み付けした特徴ベクトルをクラスタリングすることにより追跡系列における物体像断片グループを生成している。

【0054】

ここで物体像断片グループは上述の構成で用いたものに限定されず、追跡系列中の各フレームの人物像から生成された物体像断片群であって、輝度特徴量及び幾何特徴量が共に類似する物体像断片からなるものを物体像断片グループとすることができる。

【0055】

例えば、代表輝度値の差が所定値以下であり、且つ重複面積の割合が所定値以上である物体像断片をグループにまとめることができる。この場合の重複面積はＸＹ座標上でセグメントそのものをフレーム間で重ね合わせることで求めることができる。なお、この場合は幾何特徴として形状も考慮していることになる。

【0056】

また、クラスタの重みについても上述したものとは異なるものを用いることができる。例えば、クラスタｃ_ｊの重みｗ_ｊとして次式に示す、クラスタｃ_ｊの代表特徴ベクトルにおける密度関数の値を用いることもできる。

【数5】

【0057】

この場合のクラスタｃ_ｊの代表特徴ベクトルμ_ｊは次式に示す、クラスタｃ_ｊに所属するメンバの特徴ベクトルの収束点ｘ_ｉ'の平均で与えられる。ここでｍ_ｊはクラスタｃ_ｊに所属するメンバの個数である。

【数6】

【0058】

すなわち上式の重み（安定性評価値）は、前述したセグメントの数と面積に加えて、メンバであるセグメントの間の代表位置が近いほど大きく、セグメントの間で輝度特徴量が似ているほど大きくなる。代表位置が近いセグメントの組が多いクラスタは位置ずれに対する安定性が高く（重なり度合いが高く）同一人物の異なる時系列画像間で一致を得やすい部位に対応するクラスタである。輝度特徴量が似ているセグメントの組が多いクラスタは照明変動やしわ等による陰影に対する安定性が高く同一人物の異なる時系列画像間で一致を得やすい部位に対応するクラスタである。よって、これらのクラスタを残すことで動きのある部位を含めてアピアランス変動の影響を受けにくい人物特徴量を生成できる。

【0059】

また、クラスタの重みはクラスタの規模を表すさらに別の値を用いて定義してもよい。例えば、クラスタを構成するセグメント同士の重なりの度合いに応じて重みを設定することができる。セグメント同士の重なりの度合いは例えば、クラスタ内で互いに重なりを有するセグメント対の数や、重なりの面積の和、又はクラスタ内のセグメントの面積和に対する重なり面積の比の値などで表すことができる。セグメント同士の重なりの度合いは、クラスタを構成するセグメントの数が多いほど大きいことが期待でき、クラスタを構成するセグメントの面積が大きいほど大きいことが期待できる。またセグメント相互が人物像内で接近している、具体的には人物像の中心を基準とした位置座標での代表位置（重心など）間の距離が小さいほど、セグメント同士の重なりの度合いは大きいことが期待できる。よって、例えば、クラスタを構成するセグメントについてその面積が大きいほど重なりの度合いを大きく算定したり、代表位置間の距離が小さいほど重なりの度合いを大きく算定したりすることができる。そして、セグメント同士の重なりの度合いが大きいほどクラスタの重みを大きく設定することができる。なお、このセグメント同士の重なりの度合いを定めるに際して、重なりの面積や代表位置間の距離は上述した正規化した人物像に基づいて算出することが好適である。

【0060】

また、人物特徴量に用いるクラスタを取捨選択する判定は、重みを単純に閾値判定する以外にも以下に示すような基準を超えて高いことを以て判定することができる。すなわち、例えば、各クラスタの重みを降順にソートして当該順に順次重みを累積し、累積重み合計が予め定めた閾値を超えた以降のクラスタを取り除く判定とすることができる。また、例えば、全クラスタのメンバ数合計に対するメンバ数の割合が予め定めた割合以下のクラスタを取り除く判定とすることができる。

【0061】

［人物情報生成装置１の動作］
図６は人物情報生成装置１の動作を説明する概略のフロー図である。

【0062】

人物情報生成装置１が動作開始すると入力部１０は映像の各フレームを順次、信号処理部１２に入力し、信号処理部１２は入力ごとにループ処理を行う。

【0063】

入力部１０より新たなフレームが入力されると人物追跡部１２０は、現フレームから人物像を抽出し（ステップＳ１０）前フレームまでの人物との間で対応づけを行う（ステップＳ２０）。

【0064】

色補正部１２２は現フレームの人物像の色補正を行う（ステップＳ２５）。セグメント特徴量生成部１２４は色補正後の人物像を領域分割してセグメントを生成し（ステップＳ３０）、各セグメントのセグメント特徴量を抽出する。さらに、当該セグメント特徴量を、対応する人物ＩＤ及び現フレームのフレーム番号と紐付けて記憶部１４に格納する。（ステップＳ４０）。

【0065】

追跡を終了した人物が居る場合（ステップＳ５０にてＹＥＳの場合）はステップＳ６０に進み、そうでない場合（ステップＳ５０でＮＯの場合）は新たに入力されるフレームに対してステップＳ１０〜Ｓ４０の処理を繰り返す。

【0066】

人物特徴量生成部１２６は追跡終了人物の各フレームに対応するセグメント特徴量を人物情報１４０から読み込み（ステップＳ６０）、セグメント特徴量のクラスタリングを行う（ステップＳ７０）。その後、重みが予め定めた閾値以下である低頻度クラスタを除去した後、残った全クラスタの重みの合計が１になるように正規化し、得られた追跡終了人物についての人物特徴量を記憶部１４の人物情報１４０に追加して（ステップＳ８０）、ステップＳ１０に戻る。

【0067】

人物情報生成装置１は、複数フレームに亘る同一人物の像を画素単位で比較するのではなく、人物ごとの色分布に応じた大きさ、色、位置を有するセグメント単位で比較し、時間安定性と位置ずれ安定性が高いセグメントから人物特徴量を生成するので、動きがある部位からもアピアランス変動の影響を受けにくい移動物体の特徴量をより多く抽出でき、移動物体の照合精度が向上させることが可能となる。

【0068】

［人物同定装置２の構成］
図７は、人物同定装置２の概略の構成を示すブロック図である。人物同定装置２は入力部２０、信号処理部２２、記憶部２１及び表示部２３から構成される。既に述べたように人物同定装置２は、人物情報生成装置１により作成された人物特徴量を用いて同一人物を検索同定処理を行う。本実施形態では、ユーザが或るカメラ（以下、カメラＡとする）の画像に現れた人物について検索を要求し、人物同定装置２が他のカメラ（以下、カメラＢとする）で撮影された人物特徴量群から当該人物を検索するものとする。

【0069】

入力部２０はキーボードやマウスなどの入力装置であり、信号処理部２２と接続され、ユーザが検索したい人物を選択したり、検索するデータベースを指定したりする時などに用いられる。

【0070】

記憶部２１は記憶部１４と同様、ＨＤＤ等の記憶装置からなり、人物情報２１０Ａ，２１０Ｂを格納する他、計算用の一時記憶領域（図示せず）として信号処理部２２により利用される。また、記憶部２１は信号処理部２２で用いられる各種プログラムや各種データを記憶し、信号処理部２２との間でこれらの情報を入出力する。

【0071】

人物情報２１０Ａ，２１０Ｂは、人物情報生成装置１における人物情報１４０と同様のものであり、人物情報生成装置１によって予め作成されている。ここで、人物情報２１０Ａの内容は、カメラＡの映像を用いて人物情報生成装置１で生成された人物情報１４０であり、カメラＡで撮影された複数人物の人物特徴量、追跡系列、マスク画像を格納している。また人物情報２１０Ｂの内容は、カメラＢの映像を用いて人物情報生成装置１で生成された人物情報１４０であり、カメラＢで撮影された複数人物の人物特徴量、追跡系列、マスク画像を格納している。なお、本実施形態ではカメラが２台の場合で説明しているが、カメラが２台より多い場合はカメラと同じ数の人物情報２１０が記憶部２１に格納される。

【0072】

信号処理部２２は信号処理部１２と同様、ＣＰＵ等の演算装置を用いて構成され、入力部２０、記憶部２１及び表示部２３に接続される。信号処理部２２は記憶部２１からプログラムを読み出して実行し、人物特徴量取得部２２０、距離計算部２２２、対応付け部２２４及び表示処理部２２６等として機能する。

【0073】

人物特徴量取得部２２０は入力部２０から検索要求された人物（以下、クエリー（query）と称する）の人物特徴量を記憶部２１から読み込む。また、人物特徴量取得部２２０は入力部２０から照合相手としてカメラ単位で指定された複数の人物（以下、データベース（ＤＢ：data base）と称する）の人物特徴量を記憶部２１から読み込む。そして、人物特徴量取得部２２０は検索対象や照合相手として指定された人物の各クラスタの特徴量と重みとをペアにしたものを人物情報２１０（２１０Ａ，２１０Ｂ）から読み込み、距離計算部２２２に渡す。

【0074】

距離計算部２２２は与えられた２人の人物特徴量の距離（どれだけ似ていないかを表す値）を計算する。距離の計算には既存技術であるＥＭＤ（Earth Mover's Distance）を用いる（Y. Rubner, C. Tomasi, and L. J. Guibas. A Metric for Distributions with Applications to Image Databases. Proceedings of the 1998 IEEE International Conference on Computer Vision, 1998, pp. 59-66）。計算された距離値は記憶部２１の一時記憶領域に記憶する。

【0075】

対応付け部２２４は、データベース中の人物のうち距離計算部２２２により計算された距離が閾値以下で、且つ最小となる人物をクエリーに対応付ける。ここで、閾値以下の人物がない場合は該当者なしとする。

【0076】

表示処理部２２６は対応付け部２２４によって対応付けられた人物の追跡系列を人物情報２１０から読み出して表示部２３に表示する。

【0077】

表示部２３は検索結果などを表示するディスプレイなどから構成される。

【0078】

なお、人物情報生成装置１及び人物同定装置２を一体の人物同定・検索システム５００として構成する場合、信号処理部１２及び信号処理部２２は共通の演算装置で構成でき、また記憶部１４及び記憶部２１も共通の記憶装置で構成できる。

【0079】

［人物同定装置２の動作］
図８は人物同定装置２の動作を説明する概略のフロー図である。

【0080】

ユーザーは入力部２０を操作して、カメラＡの画像に写っている人物をクエリーとして選択し（ステップＳ１１０）、また、対応付けを行いたいカメラとしてカメラＢを選択する（ステップＳ１２０）。なお、対応付けを行いたいカメラの選択は照合相手のデータベースを選択することに相当する。

【0081】

人物特徴量取得部２２０は、クエリーの人物特徴量をカメラＡに対応する人物情報２１０Ａから読み込み、またデータベースの人物特徴量をカメラＢに対応する人物情報２１０Ｂから読み込む（ステップＳ１３０）。

【0082】

人物特徴量取得部２２０はデータベースの人物の中でクエリーとの距離計算を行っていない人物を１人選択し、選択した人物の人物特徴量とクエリーの人物特徴量を距離計算部２２２へ与える（ステップＳ１４０）。距離計算部２２２は人物特徴量取得部２２０から与えられたクエリーの人物特徴量とデータベースから選択された人物特徴量との距離を計算し、当該距離を記憶部の一時記憶部に人物ＩＤと共に保存する（ステップＳ１５０）。

【0083】

人物特徴量取得部２２０及び距離計算部２２２はデータベース中の全ての人物特徴量との距離計算が終了するまで（ステップＳ１６０にてＮＯの場合）ステップＳ１４０，Ｓ１５０の処理を繰り返し、全ての人物との距離計算が終了した場合（ステップＳ１６０にてＹＥＳの場合）ステップＳ１７０に進む。

【0084】

対応付け部２２４は、計算した距離の最小値及びその最小値を与える照合相手の人物ＩＤを求める（ステップＳ１７０）。そして、距離の最小値が閾値以下の場合（ステップＳ１８０でＹＥＳの場合）、クエリーと距離の最小値に対応する人物ＩＤとを対応付ける（ステップＳ１９０）。一方、最小距離が閾値以下でない場合（ステップＳ１８０でＮＯの場合）は、クエリーに対応する人物はカメラＢに写っていないと判断する。

【0085】

表示処理部２２６は、対応付け結果に基づきクエリーの画像とカメラＢの対応付けられた人物の追跡系列とを並べて表示部２３に表示させたり、対応する人物無しを表す表示などを表示部２３に表示させたりする（ステップＳ２００）。

【符号の説明】

【0086】

１ 人物情報生成装置、２ 人物同定装置、１０，２０ 入力部、１２，２２ 信号処理部、１４，２１ 記憶部、２３ 表示部、１２０ 人物追跡部、１２２ 色補正部、１２４ セグメント特徴量生成部、１２６ 人物特徴量生成部、１４０，２１０ 人物情報、２２０ 人物特徴量取得部、２２２ 距離計算部、２２４ 対応付け部、２２６ 表示処理部、５００ 人物同定・検索システム、５１０，５２０ 追跡系列、５１１，５１２ 人物像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】