特許 7493995 人物識別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-24

(45)【発行日】2024-06-03

(54)【発明の名称】人物識別システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240527BHJP

   H04N 23/60 20230101ALI20240527BHJP

【ＦＩ】

G06T7/00 660B

H04N23/60 100

【請求項の数】 6

(21)【出願番号】P 2020080187

(22)【出願日】2020-04-30

(65)【公開番号】P2021174431

(43)【公開日】2021-11-01

【審査請求日】2023-03-07

(73)【特許権者】

【識別番号】000004651

【氏名又は名称】日本信号株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】中村 泰之

(72)【発明者】

【氏名】佐々木 崇人

(72)【発明者】

【氏名】須藤 紗葵

(72)【発明者】

【氏名】白井 稔人

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０２０－０１３２９０（ＪＰ，Ａ）

【文献】特開２０１３－１９６２９４（ＪＰ，Ａ）

【文献】特開２０１０－１２２７４６（ＪＰ，Ａ）

【文献】谷川 右京 外，複数フレームの統合による混雑環境での車椅子利用者検出に関する検討，電子情報通信学会技術研究報告 Ｖｏｌ．１１７ Ｎｏ．３９１，2018年

【文献】A. Utsumi; N. Tetsutani，Human Tracking using Multiple-Camera-Based Head Appearance Modeling，Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004. Proceedings.，2004年06月07日，https://ieeexplore.ieee.org/document/1301609

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

監視カメラが撮影した人物の画像の明瞭度と当該画像を撮影した監視カメラの設置位置情報とに基づいて特定した信頼度に基づき当該画像から抽出した特徴と既知の人物の特徴との類似度を特定し、当該類似度に基づき当該画像の人物を識別する
人物識別システム。

【請求項2】

明瞭度に関する複数のパラメータに基づき前記信頼度を特定する
請求項１に記載の人物識別システム。

【請求項3】

監視カメラが撮影した画像のうち人物の画像が占める領域の明瞭度に基づき前記信頼度を特定する
請求項２に記載の人物識別システム。

【請求項4】

明瞭度が閾値未満である画像に対し明瞭度を高める補正処理を行った補正画像の明瞭度が前記閾値以上であれば前記補正画像から抽出した特徴を人物の識別に用いる
請求項１乃至３のいずれか１項に記載の人物識別システム。

【請求項5】

白飛びの程度、暗さの程度、コントラストの程度、画素数、及び、人物全体における認識された部分の面積の比率、画像の撮影タイミング、画像の撮影時の天気、及び、画像の撮影に用いられた監視カメラの性能のうちの１以上に基づき画像の信頼度を特定する
請求項１乃至４のいずれか１項に記載の人物識別システム。

【請求項6】

監視カメラが撮影した人物の画像から抽出した複数種類の特徴の各々に関し、当該画像から抽出した特徴と既知の人物の特徴との類似度に特徴の種類に応じた重み付けを行い、重み付け後の類似度に基づき当該画像の人物を識別する
請求項１乃至５のいずれか１項に記載の人物識別システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通行人の特定を行う技術に関する。

【背景技術】

【0002】

例えば施設の管理者が、施設内の通行人が支援の必要な人であるか否かを判別し、支援が必要な人であれば、その人のいる場所や移動状況等に応じて適切な支援を提供したい、というニーズがある。

【0003】

上記のニーズを満たすためには、通行人を識別する必要がある。通行人を識別する技術として、通行人を監視カメラで撮影した画像に写っている人の特徴と、過去に画像に写っていた人の特徴の類似度に基づき、人物の同定を行う技術が実用化されている。

【0004】

そのような人物の同定のための技術に関する技術を開示した文献として、例えば特許文献１がある。特許文献１には、異なる撮像エリアの各々で撮像された画像から検出された対象者の撮像エリアと撮像日時に基づき、それらの対象者が同一であるか否かの信頼度を算出し、算出した信頼度に基づき対象者が同一であるか否かを判定する監視装置が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１３－１９２１５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

監視カメラが撮影した画像に基づき通行人の識別を行うシステムにおいて、画像が不明瞭であったり、通行人が他の人や物に隠れてその一部しか画像に写っていなかったりすると、通行人の誤認識が生じる場合がある。

【0007】

上述の事情に鑑み、本発明は、監視カメラが撮影した画像に基づき人物を識別する際の誤認識を低減する手段を提供する。

【課題を解決するための手段】

【0008】

本発明は、監視カメラが撮影した人物の画像の明瞭度と当該画像を撮影した監視カメラの設置位置情報とに基づいて特定した信頼度に基づき当該画像から抽出した特徴と既知の人物の特徴との類似度を特定し、当該類似度に基づき当該画像の人物を識別する人物識別システムを第１の態様として提案する。

【0009】

第１の態様に係る人物識別システムによれば、人物を識別する際の誤認識が低減される。

【0010】

第１の態様に係る人物識別システムにおいて、明瞭度に関する複数のパラメータに基づき前記信頼度を特定する、という構成が第２の態様として採用されてもよい。

【0011】

第２の態様に係る人物識別システムによれば、複数のパラメータにより特定された明瞭度による信頼度に基づき人物が識別されるため、人物の誤認識が低減される。

【0012】

第２の態様に係る人物識別システムにおいて、監視カメラが撮影した画像のうち人物の画像が占める領域の明瞭度に基づき前記信頼度を特定する、という構成が第３の態様として採用されてもよい。

【0013】

第３の態様に係る人物識別システムによれば、画像全体の明瞭度に基づき特定される信頼度を用いる場合と比較し、人物の誤認識がより低減される。

【0014】

第１乃至第３のいずれかの態様に係る人物識別システムにおいて、明瞭度が閾値未満である画像に対し明瞭度を高める補正処理を行った補正画像の明瞭度が前記閾値以上であれば前記補正画像から抽出した特徴を人物の識別に用いる、という構成が第４の態様として採用されてもよい。

【0015】

第４の態様に係る人物識別システムによれば、明瞭度が低い画像であっても、人物の識別が可能となる場合があり、人物が識別される頻度が高まる。

【0016】

第１乃至第４のいずれかの態様に係る人物識別システムにおいて、白飛びの程度、暗さの程度、コントラストの程度、画素数、及び、人物全体における認識された部分の面積の比率、画像の撮影タイミング、画像の撮影時の天気、及び、画像の撮影に用いられた監視カメラの性能のうちの１以上に基づき画像の信頼度を特定する、という構成が第５の態様として採用されてもよい。

【0017】

第４又は第５の態様に係る人物識別システムによれば、意義ある信頼度に基づき人物の識別が行われるため、人物の誤認識が低減される。

【0018】

第１乃至第５のいずれかの態様に係る人物識別システムにおいて、監視カメラが撮影した人物の画像から抽出した複数種類の特徴の各々に関し、当該画像から抽出した特徴と既知の人物の特徴との類似度に特徴の種類に応じた重み付けを行い、重み付け後の類似度に基づき当該画像の人物を識別する、という構成が第６の態様として採用されてもよい。

【0019】

第６の態様に係る人物識別システムによれば、特徴の種類に応じて重み付けされた類似度に基づき人物の識別が行われるので、人物の誤認識が低減される。

【図面の簡単な説明】

【0020】

【図1】一実施形態に係る人物識別システムの全体構成を模式的に示した図。

【図2】一実施形態に係るデータ処理装置の機能構成を示した図。

【図3】一実施形態に係る監視カメラＴＢ（テーブル）のデータ構成を例示した図。

【図4】一実施形態に係るアイテムＴＢ（テーブル）のデータ構成を例示した図。

【図5】一実施形態に係る人物特徴ＴＢ（テーブル）のデータ構成を例示した図。

【図6】一実施形態に係る人物検出ログＴＢ（テーブル）のデータ構成を例示した図。

【図7】一実施形態に係るデータ処理装置が行う処理のフローを示した図。

【発明を実施するための形態】

【0021】

［実施形態］
以下に、本発明の一実施形態に係る人物識別システム１を説明する。図１は人物識別システム１の全体構成を模式的に示した図である。人物識別システム１は監視対象エリアの互いに異なる位置に配置された複数（ｎ個）の監視カメラ、すなわち、監視カメラ１１（１）～１１（ｎ）と、これらの監視カメラの各々が撮影した画像から対象者を検出し、過去に検出した対象者と新たに検出した対象者の同定を行うデータ処理装置１２を備える。以下、監視カメラ１１（１）～１１（ｎ）を互いに区別しない場合、単に監視カメラ１１という。

【0022】

監視カメラ１１の各々は、データ処理装置１２と無線又は有線で通信接続されたネットワークカメラであり、継続的に撮影を行い、生成した画像を順次、データ処理装置１２に送信する。

【0023】

データ処理装置１２のハードウェアはプロセッサ、メモリ、通信インタフェースを備えるサーバ装置用の一般的なコンピュータであり、メモリに記憶されているプログラムに従いプロセッサがデータ処理を行うことにより、図２に示す構成部を備える装置として機能する。以下に図２に示すデータ処理装置１２の機能構成を説明する。

【0024】

記憶部１２０は各種データを記憶する。記憶部１２０が記憶するデータには、以下に説明する監視カメラＴＢ、アイテムＴＢ、人物特徴ＤＢ、人物検出ログＤＢが含まれる。なお、本願において、ＴＢはテーブルを意味し、ＤＢは複数のテーブルを含むデータベースを意味するものとする。

【0025】

図３は、監視カメラＴＢのデータ構成を例示した図である。監視カメラＴＢは監視カメラ１１の各々に関するレコードの集まりであり、各レコードは「監視カメラＩＤ」欄、「解像度」欄、「信頼度」欄、「位置」欄で構成される。「カメラＩＤ」欄には監視カメラ１１の識別情報が格納される。「解像度」欄には監視カメラ１１の解像度（監視カメラの性能の一例）が格納される。

【0026】

「信頼度」欄には監視カメラ１１の設置位置（すなわち、画像の撮影位置）の周囲の環境に応じて予め定められた信頼度が格納される。例えば、通行人が多い位置に設置された監視カメラ１１が撮影する画像に写る人物は、身体の一部が他の人物に隠れてしまうことが多い。従って、通行人が多い位置に設置されている監視カメラ１１ほど、監視カメラＴＢの「信頼度」欄に格納される信頼度は低くなる。この信頼度を決定するにあたり、通行人の量の他に、例えば、明るさ、撮影した画像に白飛びや逆光をもたらす直射日光の有無、ガラス等の光を反射する物の有無等が考慮される。

【0027】

「位置」欄には、「○○館○○階○○前」のような、監視カメラ１１が設置されている位置の識別情報が格納される。なお、「位置」欄に、「○○館○○階○○前」のような名称に代えて、ＧＮＳＳ（Global Navigation Satellite System）で測位される地球上の三次元位置を示す座標値等が格納されてもよい。

【0028】

図４は、アイテムＴＢのデータ構成を例示した図である。アイテムＴＢはアイテムの種類の各々に応じたレコードの集まりである。本願においてアイテムとは、人物の画像から抽出される身体の部分、所持物等の、人物の識別に役立つものを意味する。身体のうち、顔の他、例えば頭髪部分は人物により色や髪型が異なるため、人物の識別に役立つ。また、衣服や鞄等の所持物も人物によりその色や形状が異なるため、人物の識別に役立つ。これらのものがアイテムである。

【0029】

アイテムの中には、支援の対象者であるか否かの判定の基準となるアイテムが含まれる。本実施形態において、支援の対象者は、視覚障がい者、歩行困難者、高齢者、低年齢者であるものとするが、これに限られない。

【0030】

例えば、視覚障がい者は通行時に白杖又は盲導犬を利用する場合が多い。従って、監視カメラ１１が撮影した画像に写っている人物の画像から白杖又は盲導犬が抽出された場合、その人物は視覚障がい者であると判定される。また、歩行困難者は通行時に車椅子又は杖を利用する場合が多い。従って、監視カメラ１１が撮影した画像に写っている人物の画像から車椅子又は杖が抽出された場合、その人物は歩行困難者であると判定される。同様に、例えば手押し車が抽出された場合は高齢者と判定され、ランドセルが抽出された場合は低年齢者と判定される。

【0031】

アイテムの種類とは、「顔」、「白杖」、「上着」、「帽子」、「頭髪」等である。アイテムＴＢは、これらのアイテム種類の各々に応じたレコードの集まりである。

【0032】

アイテムＴＢのレコードは「アイテム種類」欄、「対象者フラグ」欄、「特徴量データ群」欄、「定常度」欄、「ユニーク度」欄で構成される。「アイテム種類」欄にはアイテムの種類が格納される。「対象者フラグ」欄にはアイテムが支援の対象者（視覚障がい者等）の所持物等であるか否かを示すフラグ（Ｙｅｓ又はＮｏ）が格納される。「特徴量データ群」欄には、そのレコードに応じた種類のアイテムの様々な画像から抽出された特徴量を示す特徴量データが多数、格納される。

【0033】

「定常度」欄には、そのレコードに応じた種類のアイテムが同じユーザに伴う頻度の高低を示す指標である定常度が格納される。例えば、車椅子のユーザは、常に同じ車椅子を利用することが多い。一方、いつも同じ衣服を着用している人は少ない。従って、車椅子は衣服に属するズボン、上着等のアイテムと比較すると、定常度が高い。また、衣服に属するアイテムの間にも、定常度の高低がある。例えば、多くの人は、持っているトップス（シャツ、ジャケット等）の数の方が持っているボトムス（ズボン、スカート等）の数より多い。従って、トップスとボトムスを比較すると、ボトムスの方が定常度が高い。

【0034】

「定常度」欄の値は、例えば、後述の人物特徴ＤＢに格納されているデータに基づき算出された値である。すなわち、多くの人物の人物特徴ＴＢに同じアイテムを示す特徴量データが高い頻度で含まれている程、その特徴量データにより識別されるアイテムの種類の定常度は高くなる。

【0035】

「ユニーク度」欄には、そのレコードに応じた種類のアイテムが他のユーザの同種のアイテムと類似しない程度の高低を示す指標であるユニーク度が格納される。白杖は外観のバリエーションがほとんどない。従って、例えば対象者Ｘと対象者Ｙが各々、白杖を使用している場合、それらの対象者の画像から抽出された白杖の画像の特徴量データは高い確率で、互いに判別が困難な程の高い類似度を示す。例えば、手押し車の外観のバリエーションは、白杖よりは多い。従って、例えば対象者Ｐと対象者Ｑが各々、手押し車を使用している場合、それらの対象者の画像から抽出された手押し車の画像の特徴量データが、互いに判別が困難な程、高い類似度を示す確率は、白杖ほどは高くない。この場合、白杖よりも手押し車の方が、ユニーク度は高い。

【0036】

「ユニーク度」欄の値は、例えば、後述の人物特徴ＤＢに格納されているデータに基づき算出された値である。すなわち、異なる人の人物特徴ＴＢに、判別が困難な程度に類似度の高い特徴量データが高い頻度で含まれている程、その特徴量データにより識別されるアイテムの種類のユニーク度は低くなる。

【0037】

図５は、人物特徴ＤＢを構成する人物特徴ＴＢのデータ構成を例示した図である。人物特徴ＤＢは過去に検出された対象者の各々に関する人物特徴ＴＢの集まりである。人物特徴ＴＢは、その人物特徴ＴＢに応じた対象者の識別に用いられたアイテムに関するデータを格納するテーブルである。

【0038】

人物特徴ＴＢは、過去に対象者が識別された際に用いられた画像に応じたレコードの集まりである。人物特徴ＴＢのレコードは「日時」欄、「アイテム１」欄～「アイテム２０」欄、「信頼度」欄で構成される。「アイテム１」欄～「アイテム２０」欄を互いに区別しない場合、単に「アイテム」欄という。なお、図５の例では、「アイテム」欄の数は２０個であるが、「アイテム」欄の数は、１人の人物の画像から通常抽出されるアイテムの数より十分に大きい数である限り、２０個でなくてもよい。

【0039】

「日時」欄には、アイテムの抽出元の画像が撮影された日時が格納される。「アイテム」欄の各々は「アイテム種類」欄、「特徴量データ」欄で構成される。「アイテム種類」欄にはアイテムの種類が格納される。「特徴量データ」欄にはアイテムの画像から抽出された特徴量を示す特徴量データが格納される。「信頼度」欄には、アイテムの抽出元の画像の信頼度（後述）が格納される。

【0040】

例えば、２０２０年１月１日１２時００分００秒から００分１５秒までの間に、いずれかの監視カメラ１１が撮影した一連の画像に写っていた人物の画像から、白杖と帽子がアイテムとして抽出された場合、この人物の人物特徴ＤＢに新しいレコードが追加され、そのレコードの「日時」欄に「２０２０年１月１日１２時００分００秒」が格納される。また、そのレコードの「アイテム１」欄の「アイテム種類」欄に「白杖」が格納され、「特徴量データ」欄に白杖の画像の特徴量データが格納される。また、そのレコードの「アイテム２」欄の「アイテム種類」欄に「帽子」が格納され、「特徴量データ」欄に帽子の画像の特徴量データが格納される。

【0041】

人物特徴ＴＢのレコードのうち「日時」欄の日時から現在までの時間が所定の閾値を超えているものは順次、人物特徴ＴＢから削除される。また、人物特徴ＴＢに新たなレコードが追加されようとする場合、人物特徴ＴＢのレコード数が所定数（例えば、２０）に達していれば、新たに追加されようとしているレコードの「信頼度」欄の値が、既存のレコードの「信頼度」欄の最も低い値より低ければ、そのレコードは追加されない。一方、新たに追加されようとしているレコードの「信頼度」欄の値が、既存のレコードの「信頼度」欄の最も低い値以上であれば、既存のレコードの「信頼度」欄の値が最小のものが人物特徴ＴＢから削除された後、新たなレコードが追加される。その結果、人物特徴ＴＢには常に、新しく信頼できるデータが格納される。

【0042】

図６は、人物検出ログＤＢを構成する人物検出ログＴＢのデータ構成を例示した図である。人物検出ログＤＢは過去に検出された対象者の各々に関する人物検出ログＴＢの集まりである。人物検出ログＴＢは、その人物検出ログＴＢに応じた対象者が過去に検出された日時と位置を格納するテーブルである。

【0043】

人物検出ログＴＢのレコードは「日時」欄、「位置」欄、「画像データ」欄で構成される。「日時」欄には対象者が検出された日時が格納される。「位置」欄には対象者が検出された位置が格納される。「画像データ」欄には対象者の識別に用いられた画像（複数の一連の画像の場合、それらのうち、例えば最も明瞭度（後述）が高い画像）を表す画像データが格納される。なお、対象者が検出された日時とは、その対象者の識別に用いられた画像（複数の一連の画像の場合、それらのうち、例えば最初の画像）が撮影された日時である。また、対象者が検出された位置とは、その対象者の識別に用いられた画像を撮影した監視カメラ１１の設置されている位置である。

【0044】

以上が、データ処理装置１２の記憶部１２０（図２）に記憶されているＤＢ及びＴＢの説明である。データ処理装置１２の機能構成（図２）の説明を続ける。画像取得部１２１は、監視カメラ１１の各々から画像を取得する。画像認識部１２２は、画像取得部１２１が取得した画像から人物を認識し、人物（その人物の所持物等を含む）の部分を特定する。また、画像認識部１２２は、アイテムＴＢの「特徴量データ群」欄のデータを用いて、特定した人物の画像から、その人物のアイテムを認識する。

【0045】

画像明瞭度特定部１２３は、画像取得部１２１が取得した画像のうち人物の領域の明瞭度を特定する。本実施形態において、画像の明瞭度は、複数のパラメータに基づき特定される。それらの複数のパラメータには、例えば、画像の輪郭のコントラスト、画像の全体のコントラスト、画素数、画像全体に占める白飛びの領域の割合（白飛びの程度）、画像全体に占める黒つぶれの領域の割合（暗さの程度）、画像全体に占める写り込み（反射画像）の領域の割合、が含まれる。画像明瞭度特定部１２３は、これらのパラメータの数値に対し各々のパラメータに応じた所定のウェイト（重み係数）を乗じ（すなわち、重み付けを行い）、それらを加算した値を明瞭度（重み付け後の明瞭度）として算出する。

【0046】

画像補正部１２４は、画像明瞭度特定部１２３が特定した明瞭度が所定の閾値未満である画像に対し、その画像の明瞭度を高める補正処理を行う。画像補正部１２４が行う処理には、例えば、画像の輪郭のコントラストを高める処理、画像の明るさを調整する処理等が含まれる。

【0047】

画像信頼度特定部１２５は、画像取得部１２１が取得した画像のうち人物の部分の信頼度を特定する。本実施形態において、画像の信頼度は、複数のパラメータに基づき特定される。それらの複数のパラメータには、例えば、その画像に関し画像明瞭度特定部１２３が特定した明瞭度、その画像を撮影した監視カメラ１１の解像度、その監視カメラ１１の信頼度、人物全体における認識された部分の面積の比率、が含まれる。なお、監視カメラ１１の解像度と信頼度は、監視カメラＴＢ（図３）に格納されているデータである。画像信頼度特定部１２５は、これらのパラメータの数値に対し各々のパラメータに応じた所定のウェイト（重み係数）を乗じ（すなわち、重み付けを行い）、それらを加算した値を信頼度（重み付け後の信頼度）として算出する。

【0048】

対象者判定部１２６は、画像認識部１２２が抽出したアイテムに、アイテムＴＢ（図４）の「対象者フラグ」欄に「Ｙｅｓ」が格納されている種類のアイテムが含まれる場合、そのアイテムを所持等する人物を支援の対象者と判定する。

【0049】

人物識別部１２７は、人物特徴ＤＢに含まれる過去に検出済みの対象者の人物特徴ＴＢ（図５）の各々に関し、その人物特徴ＴＢに格納されている特徴量データと、対象者判定部１２６が新たに対象者と判定した人物（以下、未識別対象者という）に関し画像認識部１２２が抽出したアイテムの特徴量データとの類似度を算出する。そして、人物識別部１２７は、そのように算出した類似度のうち最高値のものが所定の閾値未満であれば、未識別対象者は過去に未検出の対象者である、と判定する。その場合、人物識別部１２７は人物特徴ＤＢに未識別対象者に応じた新たな人物特徴ＴＢ（図５）を追加し、その人物特徴ＴＢに未識別対象者に関するデータを格納する。また、人物識別部１２７は、人物検出ログＤＢに未識別対象者に応じた新たな人物検出ログＴＢ（図６）を追加し、その人物検出ログＴＢに未識別対象者に関するデータを格納する。

【0050】

一方、人物識別部１２７は、算出した類似度のうち最高値のものが所定の閾値以上であれば、未識別対象者はその類似度の算出に用いられた特徴量データを格納している人物特徴ＤＢ（図５）に応じた対象者である、と判定する。すなわち、対象者の識別ができたことになる。その場合、人物識別部１２７は、未識別対象者に関するデータを、未識別対象者と同一人物の人物特徴ＴＢ（図５）に格納する。また、人物識別部１２７は、その人物特徴ＴＢと同じ人物に関する人物検出ログＴＢ（図６）に未識別対象者に関するデータを格納する。

【0051】

人物識別部１２７が、人物特徴ＴＢ（図５）に格納されている特徴量データと、未識別対象者に関する特徴量データとの類似度を算出する方法を説明する。人物識別部１２７は、まず、未識別対象者のアイテム毎に、そのアイテムの種類と同じ種類のアイテムの特徴量データを人物特徴ＴＢから抽出する。続いて、人物識別部１２７は、人物特徴ＴＢから抽出した特徴量データの各々と、未識別対象者の特徴量データとの類似度を算出する。続いて、人物識別部１２７は、そのように算出した類似度が所定の閾値以上のものを選択する。

【0052】

続いて、人物識別部１２７は、選択した類似度の各々を、以下の算出式に従い補正する。
Ｉ＝ｉ×（Ｒ₁×Ｒ₂×Ｗ_R）×（Ａ×Ｗ_A）×（Ｓ×Ｗ_S）×（Ｕ×Ｗ_U）・・・（式１）

【0053】

ただし、
Ｉ：補正後の類似度、
ｉ：補正前の類似度、
Ｒ₁：人物特徴ＴＢから抽出された特徴量データの信頼度、すなわち、類似度の算出に用いた特徴量データを格納している人物特徴ＴＢ（図５）のレコードの「信頼度」欄の値、
Ｒ₂：未識別対象者のアイテムの特徴量データの信頼度、
Ｗ_R：信頼度に関し定められたウェイト（重み係数）、
Ａ：面積比率、すなわち、未識別対象者の人物の画像全体の大きさ（面積）に対する、対象のアイテムの画像の大きさ（面積）の比率、
Ｗ_A：面積比率に関し定められたウェイト、
Ｓ：定常度、すなわち、アイテムＴＢ（図４）の、対象のアイテムの種類に応じたレコードの「定常度」欄の値、
Ｗ_S：定常度に関し定められたウェイト、
Ｕ：ユニーク度、すなわち、アイテムＴＢ（図４）の、対象のアイテムの種類に応じたレコードの「ユニーク度」欄の値、
Ｗ_U：ユニーク度に関し定められたウェイト、
である。

【0054】

人物識別部１２７は、選択した類似度の各々に関し式１に従い算出した補正後の類似度の平均値を算出する。そして、人物識別部１２７は、未識別対象者の複数のアイテムの各々に関し算出した平均値の合計値を、人物特徴ＴＢに格納されている特徴量データと、未識別対象者に関する特徴量データとの類似度として算出する。

【0055】

上記のように、人物識別部１２７が算出する類似度は、特徴量データ間の類似度に対し、画像の信頼度、画像の面積比率、アイテムの種類に応じた定常度、アイテムの種類に応じたユニーク度が考慮された類似度である。なお、画像の信頼度には、画像の明瞭度、画像を撮影した監視カメラ１１の解像度、その監視カメラ１１の設置位置等に応じた信頼度が織り込まれている。

【0056】

定常度更新部１２８は、例えば所定の時間の経過毎に、人物特徴ＤＢに格納されている人物特徴ＴＢ（図５）のデータに基づき、アイテムＴＢ（図４）のレコード毎にそのレコードのアイテムの種類に関する定常度を算出し、算出した定常度をそのレコードの「定常度」欄に上書きする。

【0057】

ユニーク度更新部１２９は、例えば所定の時間の経過毎に、人物特徴ＤＢに格納されている人物特徴ＴＢ（図５）のデータに基づき、アイテムＴＢ（図４）のレコード毎にそのレコードのアイテムの種類に関するユニーク度を算出し、算出したユニーク度をそのレコードの「ユニーク度」欄に上書きする。

【0058】

以上が、データ処理装置１２の機能構成の説明である。続いて、データ処理装置１２の処理のフローを説明する。図７は、データ処理装置１２がいずれかの監視カメラ１１から新たな画像を取得した場合に行う処理のフローを示した図である。

【0059】

データ処理装置１２の画像取得部１２１が画像を取得すると、画像認識部１２２はその画像から人物の部分を特定し、その部分を取り出す（ステップＳ０１）。続いて、画像明瞭度特定部１２３は、画像認識部１２２により取り出された人物の画像の明瞭度を特定する（ステップＳ０２）。

【0060】

続いて、画像明瞭度特定部１２３は、画像明瞭度特定部１２３により特定された明瞭度が所定の閾値以上であるか否かを判定する（ステップＳ０３）。明瞭度が閾値未満である場合（ステップＳ０３；Ｎｏ）、画像補正部１２４は人物の画像に対し明瞭度を高める補正処理を行う（ステップＳ０４）。その後、画像明瞭度特定部１２３は、画像補正部１２４により補正された人物の画像（補正画像）の明瞭度を特定し（ステップＳ０５）、その明瞭度が所定の閾値以上であるか否かを判定する（ステップＳ０６）。

【0061】

ステップＳ０６の判定において、明瞭度が閾値未満である場合（ステップＳ０６；Ｎｏ）、データ処理装置１２は一連の処理を終了する。すなわち、補正をしても十分な明瞭度が得られない画像は、人物の識別に用いられない。

【0062】

ステップＳ０３又はステップＳ０６の判定において、明瞭度が閾値以上である場合（ステップＳ０３；Ｙｅｓ、又は、ステップＳ０６；Ｙｅｓ）、画像信頼度特定部１２５は人物の画像の信頼度を特定する（ステップＳ０７）。続いて、画像信頼度特定部１２５は、特定した信頼度が所定の閾値以上であるか否かを判定する（ステップＳ０８）。

【0063】

ステップＳ０８の判定において、信頼度が閾値未満である場合（ステップＳ０８；Ｎｏ）、データ処理装置１２は一連の処理を終了する。すなわち、信頼度が十分でない画像は、人物の識別に用いられない。

【0064】

ステップＳ０８の判定において、信頼度が閾値以上である場合（ステップＳ０８；Ｙｅｓ）、画像認識部１２２は人物の画像からアイテムを認識する（ステップＳ０９）。なお、ステップＳ０９の認識処理において、認識されたアイテムの特徴量データが生成される。

【0065】

続いて、対象者判定部１２６は、画像認識部１２２により認識されたアイテムの種類に基づき、画像の人物が支援の対象者であるか否かを判定する（ステップＳ１０）。

【0066】

ステップＳ１０の判定において、画像の人物が支援の対象者でないと判定された場合（ステップＳ１０；Ｎｏ）、データ処理装置１２は一連の処理を終了する。すなわち、本実施形態において、支援の対象者でない人物については、その人物の識別は行われない。

【0067】

ステップＳ１０の判定において、画像の人物が支援の対象者であると判定された場合（ステップＳ１０；Ｙｅｓ）、人物識別部１２７は上述した未識別対象者の識別の処理を行う（ステップＳ１１）。ステップＳ１１の処理において、人物特徴ＤＢ及び人物検出ログＤＢの更新が行われる。

【0068】

以上がデータ処理装置１２が行う処理の説明である。上述した人物識別システム１によれば、監視対象エリア内の通行人に支援の対象者が含まれる場合、その対象者が検出され、人物検出ログＴＢにその対象者が検出された日時と位置と画像が記録される。従って、例えば、人物検出ログＴＢの更新をトリガに、データ処理装置１２が監視対象エリアの管理者の使用する端末装置に対象者の位置と画像を送信することで、管理者がその対象者に対し必要な支援を迅速に提供することが可能となる。

【0069】

上述した人物識別システム１においては、画像から対象者を識別する際に、画像の信頼度、画像の面積比率、アイテムの定常度、アイテムのユニーク度といったパラメータが、それらの重要度に応じて考慮されるため、対象者の誤認識が少なく、信頼性の高い情報が人物識別システム１のユーザに提供される。

【0070】

［変形例］
上述した実施形態は本発明の技術的思想の範囲内で様々に変形されてよい。以下にそれらの変形例を示す。なお、以下に示す変形例の２以上が適宜組み合わされてもよい。

【0071】

（１）上述した実施形態においては、明瞭度、信頼度、補正後の類似度、の各々を特定するために用いるものとしたパラメータは例示であって、それらのパラメータは様々に変更されてよい。例えば、画像の信頼度を特定するパラメータとして、画像の撮影タイミングが用いられてもよい。例えば、日中の特定の時間帯においてのみ、直射日光が監視カメラ１１に当たるような場合、撮影タイミングがその時間帯内である画像の信頼度を、その時間帯外である画像の信頼度より低くするとよい。

【0072】

また、画像の信頼度を特定するパラメータとして、画像の撮影時の天気が用いられてもよい。例えば、晴天中には逆光により画像に黒つぶれが生じやすいが、曇天中及び雨天中には黒つぶれが生じない場合、曇天中及び雨天中に撮影された画像の信頼度を、晴天中に撮影された画像の信頼度より高くするとよい。

【0073】

（２）上述した実施形態において、画像補正部１２４が行う補正処理の種類は様々に変更されてよい。

【0074】

（３）上述したデータ処理装置１２の処理のフローは一例であって、様々に変更されてよい。例えば、不要なステップが省略されたり、同様の結果が得られる限り、処理の順序が変更されたりしてもよい。

【0075】

（４）上述した実施形態においては、監視カメラ１１の性能を示す指標として解像度が用いられる。監視カメラ１１の性能を示す指標として、解像度に加えて、又は代えて、フォーカス性能、レンズの明るさ等の他の指標が用いられてもよい。

【0076】

（５）上述した実施形態においては、画像（又は補正後の画像）の明瞭度に基づき、その画像が人物の識別に用いられるか否かが決定される。画像の明瞭度に加えて、もしくは代えて、画像の信頼度（図５参照）に基づき、その画像が人物の識別に用いられるか否かが決定されてもよい。

【符号の説明】

【0077】

１…人物識別システム、１１…監視カメラ、１２…データ処理装置、１２０…記憶部、１２１…画像取得部、１２２…画像認識部、１２３…画像明瞭度特定部、１２４…画像補正部、１２５…画像信頼度特定部、１２６…対象者判定部、１２７…人物識別部、１２８…定常度更新部、１２９…ユニーク度更新部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】