特開 2025-58472 人物同定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025058472

(43)【公開日】2025-04-09

(54)【発明の名称】人物同定装置

(51)【国際特許分類】

   G06V 10/74 20220101AFI20250402BHJP

   G06T 7/00 20170101ALI20250402BHJP

   G06V 10/82 20220101ALI20250402BHJP

【ＦＩ】

G06V10/74

G06T7/00 300F

G06T7/00 660Z

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023168430

(22)【出願日】2023-09-28

(71)【出願人】

【識別番号】511121768

【氏名又は名称】今井 龍一

(71)【出願人】

【識別番号】500063228

【氏名又は名称】田中 成典

(71)【出願人】

【識別番号】519113745

【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社

(71)【出願人】

【識別番号】516119678

【氏名又は名称】株式会社日本インシーク

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷 栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下 正

(72)【発明者】

【氏名】今井 龍一

(72)【発明者】

【氏名】田中 成典

(72)【発明者】

【氏名】西田 義人

(72)【発明者】

【氏名】鳴尾 丈司

(72)【発明者】

【氏名】梅▲原▼ 喜政

(72)【発明者】

【氏名】坂本 一磨

(72)【発明者】

【氏名】平野 順俊

(72)【発明者】

【氏名】大月 庄治

(72)【発明者】

【氏名】川村 義和

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA18

5L096FA33

5L096FA64

5L096GA41

5L096HA05

5L096HA11

5L096JA03

5L096JA11

5L096KA04

(57)【要約】      （修正有）

【課題】異なる状況やカメラで撮像した人物の同定精度を向上させる人物同定装置及びプログラムを提供する。
【解決手段】人物同定装置において、対象人物画像取得手段２は対象人物画像を取得し、特徴取得手段４は対象人物画像の画像的特徴を解析し取得し、変化決定手段８は、画像的特徴に基づき、同定手段１０における同定精度向上のために、対象人物画像の色空間における少なくとも一要素を変化させるか否かを決定し、同定用画像決定手段６は、変化決定手段８が変化をさせると判断した場合、対象人物画像の色空間における少なくとも一要素を変化させ、同定用対象人物画像を生成し、変化をさせないと判断した場合、対象人物画像を変化させず同定用対象人物画像とする。同定手段１０は、同定用対象人物画像の特徴ベクトルを算出し、記録部に記録された同定対象である複数人の人物画像の特徴ベクトルと比較し、当該同定用対象人物画像の人物を同定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

同定対象である複数人の人物画像の特徴ベクトルを記録する記録部と、
対象となる人物の対象人物画像を取得する対象人物画像取得手段と、
対象人物画像の画像的特徴を取得する特徴取得手段と、
前記画像的特徴に基づいて、同定手段における同定精度を向上させるためには、前記対象人物画像の色空間における少なくとも一要素を変化させた方がよいかどうかを決定する変化決定手段と、
前記変化決定手段の決定に基づいて、前記対象人物画像を変化させ、または変化させずに同定用対象人物画像を得る同定用画像決定手段と、
当該同定用対象人物画像の特徴ベクトルを算出し、前記記録部に記録された同定対象である複数人の人物画像の特徴ベクトルと比較して、当該同定用対象人物画像の人物を同定する同定手段と、
を備えた人物同定装置。

【請求項2】

人物同定装置をコンピュータによって実現するための人物同定プログラムであって、コンピュータを、
対象となる人物の対象人物画像を取得する対象人物画像取得手段と、
対象人物画像の画像的特徴を取得する特徴取得手段と、
前記画像的特徴に基づいて、同定手段における同定精度を向上させるためには、前記対象人物画像の色空間における少なくとも一要素を変化させた方がよいかどうかを決定する変化決定手段と、
前記変化決定手段の決定に基づいて、前回対象人物画像を変化させ、または変化させずに同定用対象人物画像を得る同定用画像決定手段と、
当該同定用対象人物画像の特徴ベクトルを算出し、記録部に記録された同定対象である複数人の人物画像の特徴ベクトルと比較して、当該同定用対象人物画像の人物を同定する同定手段として機能させるための人物同定プログラム。

【請求項3】

請求項１の装置または請求項２のプログラムにおいて、
前記記録部には、同一人物の人物画像の特徴ベクトルが類似し、異なる人物の人物画像の特徴ベクトルがが類似しないように、人物画像の特徴ベクトルを算出するように学習された学習済の深層距離学習モデルに、同定対象である複数人の人物画像を与えて、算出された特徴ベクトルが記録されていることを特徴とする装置またはプログラム。

【請求項4】

請求項１の装置または請求項２のプログラムにおいて、
前記色空間における要素は、CIELAB色空間におけるＬ^＊ａ^＊ｂ^＊の少なくともいずれかを含むことを特徴とする装置またはプログラム。

【請求項5】

請求項１の装置または請求項２のプログラムにおいて、
前記変化決定手段は、所定の複数の画像的特徴を有する複数の対象人物画像の色空間における一要素をを変化させた時に、前記同定手段による同定精度が向上するか否かをプロットした前記複数の画像的特徴多次元空間上に、前記対象人物画像の複数の画像的特徴をプロットし、前記色空間における一要素を変化させるか否かを決定することを特徴とする装置またはプログラム。

【請求項6】

請求項１の装置または請求項２のプログラムにおいて、
前記画像的特徴は、人物画像の少なくも平均明度、平均ａ^＊、ａ^＊の中央値、平均ｂ^＊、ｂ^＊の中央値、ピクセル数、鮮明度のいずれかを含むことを特徴とする装置またはプログラム。

【請求項7】

請求項１の装置または請求項２のプログラムにおいて、
前記色空間における要素は、平均明度を画像サイズで除したもの、あるいはCIELAB色空間における平均ｂ^＊に鮮明度を乗じ、平均ａ^＊で除したものであることを特徴とする装置またはプログラム。

【請求項8】

請求項１の装置または請求項２のプログラムにおいて、
前記人物画像は背景を含んでおり、
前記画像的特徴は、前記背景も含めた画像的特徴であることを特徴とする装置またはプログラム。

【請求項9】

請求項１の装置または請求項２のプログラムにおいて、
異なる位置に設置されたカメラにて撮像した人物画像について、前記人物同定を行って、異なる位置における人物の移動を追跡することを特徴とする装置またはプログラム。

【請求項10】

請求項１の装置において、
前記記録部には、各人物の所持物の種類も記録されており、
前記対象人物画像取得手段は、撮像画像から対象となる人物の対象人物画像を抽出して取得するものであり、
前記撮像画像から前記対象となる人物の所持物の種類または有無を推定する所持物情報取得手段をさらに備え、
前記同定手段は、前記人物の所持物の種類または有無も考慮して当該対象人物画像の人物を同定するものであることを特徴とする装置。

【請求項11】

請求項２のプログラムにおいて、
前記記録部には、各人物の所持物の種類も記録されており、
前記対象人物画像取得手段は、撮像画像から対象となる人物の対象人物画像を抽出して取得するものであり、
前記プログラムは、コンピュータを、さらに、前記撮像画像から前記対象となる人物の所持物の種類または有無を推定する所持物情報取得手段として機能させるものであり、
前記同定手段は、前記人物の所持物の種類または有無も考慮して当該対象人物画像の人物を同定するものであることを特徴とするプログラム。

【請求項12】

同定対象である複数人の人物画像の特徴ベクトルおよび各人物の所持物の種類を記録する記録部と、
撮像画像から対象となる人物の対象人物画像を抽出して取得する対象人物画像取得手段と、
前記撮像画像から前記対象となる人物の所持物の種類または有無を推定する所持物情報取得手段と、
前記対象人物画像の特徴ベクトルを算出し、前記記録部に記録された同定対象である複数人の人物画像の特徴ベクトルと比較するとともに、前記対象となる人物の所持物の種類または有無と前記記録部に記録された各人物の所持物の種類または有無とに基づいて、当該対象人物画像の人物を同定する同定手段と、
を備えた人物同定装置。

【請求項13】

人物同定装置をコンピュータによって実現するための人物同定プログラムであって、コンピュータを、
撮像画像から対象となる人物の対象人物画像を抽出して取得する対象人物画像取得手段と、
前記撮像画像から前記対象となる人物の所持物の種類または有無を推定する所持物情報取得手段と、
前記対象人物画像の特徴ベクトルを算出し、前記記録部に記録された同定対象である複数人の人物画像の特徴ベクトルと比較するとともに、前記対象となる人物の所持物の種類または有無と前記記録部に記録された各人物の所持物の種類または有無とに基づいて、当該対象人物画像の人物を同定する同定手段として機能させるための人物同定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、人物の同定を行うための装置に関するものである。

【背景技術】

【0002】

撮像された人物が、いずれの人であるかを同定する装置が提案されている。たとえば、特許文献１では、人物画像の特徴ベクトル（特徴量）を算出し、当該特徴ベクトルの類似度に基づいて人物を同定する装置が開示されている。

【0003】

これにより、人物同定を精度良く行うことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１８６９５５

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の装置では、単純に人物画像の特徴ベクトルを用いているだけであるから、異なる状況（夕焼けなど光の度合いが異なる状況など）や異なるカメラにて撮像した同一人物を、同じ人物であると判定する精度が高くなかった。

【0006】

また、人物画像の特徴ベクトルのみに基づいて同定を行っているため、同定精度向上に限界があった。

【0007】

この発明は、上記のような問題点に鑑みて、異なる状況や異なるカメラにて撮像した人物の同定精度を向上することのできる人物同定装置あるいはさらなる同定精度向上を図った人物同定装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

この発明の独立して、あるいは組み合わせて適用可能な特徴を以下に列挙する。

【0009】

(1)(2)この発明に係る人物同定装置は、同定対象である複数人の人物画像の特徴ベクトルを記録する記録部と、対象となる人物の対象人物画像を取得する対象人物画像取得手段と、対象人物画像の画像的特徴を取得する特徴取得手段と、前記画像的特徴に基づいて、同定手段における同定精度を向上させるためには、前記対象人物画像の色空間における少なくとも一要素を変化させた方がよいかどうかを決定する変化決定手段と、前記変化決定手段の決定に基づいて、前記対象人物画像を変化させ、または変化させずに同定用対象人物画像を得る同定用画像決定手段と、当該同定用対象人物画像の特徴ベクトルを算出し、前記記録部に記録された同定対象である複数人の人物画像の特徴ベクトルと比較して、当該同定用対象人物画像の人物を同定する同定手段とを備えている。

【0010】

対象人物画像の色空間における少なくとも一要素を変化させることが同定精度を向上するかどうかを判断し、同定精度が向上する場合には前記要素を変化させているので、異なる状況において撮像された対象人物画像であっても精度良く人物を同定することができる。

【0011】

(3)この発明に係る人物同定装置は、記録部には、同一人物の人物画像の特徴ベクトルが類似し、異なる人物の人物画像の特徴ベクトルがが類似しないように、人物画像の特徴ベクトルを算出するように学習された学習済の深層距離学習モデルに、同定対象である複数人の人物画像を与えて、算出された特徴ベクトルが記録されていることを特徴としている。

【0012】

したがって、同定対象となる人物画像が少ない場合であっても、適切な人物ＤＢを構築することができる。

【0013】

(4)この発明に係る人物同定装置は、色空間における要素が、CIELAB色空間におけるＬ^＊ａ^＊ｂ^＊の少なくともいずれかを含むことを特徴としている。

【0014】

したがって、これらによる画質変化を行って同定精度を向上することができる。

【0015】

(5)この発明に係る人物同定装置は、色空間における要素が、平均明度を画像サイズで除したもの、あるいはCIELAB色空間における平均ｂ^＊に鮮明度を乗じ、平均ａ^＊で除したものであることを特徴としている。

【0016】

したがって、これらによる画質変化を行って同定精度を向上することができる。

【0017】

(6)この発明に係る人物同定装置は、画像的特徴が、人物画像の少なくも平均明度、平均ａ^＊、ａ^＊の中央値、平均ｂ^＊、ｂ^＊の中央値、ピクセル数、鮮明度のいずれかを含むことを特徴としている。

【0018】

したがって、これら特徴に基づいて、同定精度向上のために画質変化を行うべきか否かを推定することができる。

【0019】

(7)この発明に係る人物同定装置は、変化決定手段は、所定の複数の画像的特徴を有する複数の対象人物画像の色空間における一要素をを変化させた時に、前記同定手段による同定精度が向上するか否かをプロットした前記複数の画像的特徴多次元空間上に、前記対象人物画像の複数の画像的特徴をプロットし、前記色空間における一要素を変化させるか否かを決定することを特徴としている。

【0020】

したがって、これら特徴に基づいて、同定精度向上のために画質変化を行うべきか否かを推定することができる。

【0021】

(8)この発明に係る人物同定装置は、人物画像が背景を含んでおり、画像的特徴は、前記背景も含めた画像的特徴であることを特徴としている。

【0022】

したがって、背景も含めた画像的特徴により、画質変化を行うか否かを判定することができる。

【0023】

(9)この発明に係る人物同定装置は、異なる位置に設置されたカメラにて撮像した人物画像について、前記人物同定を行って、異なる位置における人物の移動を追跡することを特徴としている。

【0024】

したがって、同定結果に基づいて人物追跡を行うことができる。

【0025】

(10)(11)この発明に係る人物同定装置は、記録部には、各人物の所持物の種類も記録されており、対象人物画像取得手段は、撮像画像から対象となる人物の対象人物画像を抽出して取得するものであり、撮像画像から前記対象となる人物の所持物の種類または有無を推定する所持物情報取得手段をさらに備え、同定手段は、前記人物の所持物の種類または有無も考慮して当該対象人物画像の人物を同定するものであることを特徴としている。

【0026】

したがって、さらに同定精度を向上させることができる。

【0027】

(12)(13)この発明に係る人物同定装置は、同定対象である複数人の人物画像の特徴ベクトルおよび各人物の所持物の種類を記録する記録部と、撮像画像から対象となる人物の対象人物画像を抽出して取得する対象人物画像取得手段と、前記撮像画像から前記対象となる人物の所持物の種類または有無を推定する所持物情報取得手段と、前記対象人物画像の特徴ベクトルを算出し、前記記録部に記録された同定対象である複数人の人物画像の特徴ベクトルと比較するとともに、前記対象となる人物の所持物の種類または有無と前記記録部に記録された各人物の所持物の種類または有無とに基づいて、当該対象人物画像の人物を同定する同定手段とを備えている。

【0028】

所持物情報も加味して人物同定を行うので、同定精度を向上させることができる。

【0029】

「対象人物画像取得手段」は、実施形態においては、ステップＳ２がこれに対応する。

【0030】

「特徴取得手段」は、実施形態においては、ステップＳ４がこれに対応する。

【0031】

「変化決定手段」は、実施形態においては、ステップＳ５がこれに対応する。

【0032】

「同定用画像決定手段」は、実施形態においては、ステップＳ６、Ｓ７、Ｓ８がこれに対応する。

【0033】

「同定手段」は、実施形態においては、ステップＳ９、Ｓ１０がこれに対応する。

【0034】

「所持物情報取得手段」は、実施形態においては、ステップＳ２０がこれに対応する。

【0035】

「装置」とは、１台のコンピュータによって構成されるものだけでなく、ネットワークなどを介して接続された複数のコンピュータによって構成されるものも含む概念である。したがって、本発明の手段（あるいは手段の一部でもよい）が複数のコンピュータに分散されている場合、これら複数のコンピュータが装置に該当する。

【0036】

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム、オペレーティングシステムと協働してその機能を発揮するプログラム等を含む概念である。

【図面の簡単な説明】

【0037】

【図1】この発明の一実施形態による人物同定装置の機能構成である。

【図2】人物同定装置のハードウエア構成である。

【図3】学習済の深層距離学習モデルFlipReIDを説明するための図である。

【図4】人物ＤＢ３８に登録するための人物画像である。

【図5A】人物ＤＢ３８に記録された特徴量ベクトルである。

【図5B】人物ＤＢ３８に記録された特徴量ベクトルである。

【図6】人物同定プログラム３６のフローチャートである。

【図7】図７Ａは撮像画像、図７ＢはYOLOによる人物抽出を示す図である。

【図8】図８Ａは対象人物画像、図８Ｂはａ^＊を低下させた画像である。

【図9】事前分析用の人物画像について、ａ^＊を低下した場合、しなかった場合の精度向上の有無に基づくグループ分けを表す図である。

【図10】グループ２、３の人物画像を、画像的特徴によって多次元空間にプロットした状態を示す図である。

【図11】事前分析におけるｋを変化させたときの合致数を示す図である。

【図12】第二の実施形態による人物同定装置の機能構成である。

【図13】人物ＤＢ３８を示す図である。

【図14】人物同定プログラム３６のフローチャートである。

【図15】撮像画像における人物認識、所持物認識の状態を示す図である。

【発明を実施するための形態】

【0038】

１．第一の実施形態
1.1機能構成
図１に、この発明の一実施形態による人物同定装置の機能構成図を示す。記録部１２には、同定対象である複数の人物の人物画像の特徴ベクトル１４が予め記録されている。

【0039】

対象人物画像取得手段２は、対象人物画像を取得する。特徴取得手段４は、当該対象人物画像の画像的特徴を解析して取得する。変化決定手段８は、当該画像的特徴に基づいて、同定手段１０における同定精度を向上させるためには、前記対象人物画像の色空間における少なくとも一要素を変化させた方がよいかどうかを決定する。

【0040】

同定用画像決定手段６は、変化決定手段８が変化をさせると判断した場合には、前記対象人物画像の色空間における少なくとも一要素を変化させて、同定用対象人物画像を生成する。また、変化決定手段８が変化をさせないと判断した場合には、前記対象人物画像を変化させずそのまま同定用対象人物画像とする。

【0041】

同定手段１０は、前記同定用対象人物画像の特徴ベクトルを算出し、記録部に記録された同定対象である複数人の人物画像の特徴ベクトルと比較して、当該同定用対象人物画像の人物を同定する。

【0042】

この実施形態では、対象人物画像の色空間における少なくとも一要素を変化させることが同定精度を向上するかどうかを判断し、同定精度が向上する場合には前記要素を変化させているので、異なる状況において撮像された対象人物画像であっても精度良く人物を同定することができる。

【0043】

1.2ハードウエア構成
図２に、人物同定装置のハードウエア構成を示す。ＣＰＵ２０には、メモリ２２、ディスプレイ２４、ＳＳＤ２６、ＤＶＤ－ＲＯＭ２８、キーボード／マウス３０、通信回路３２が接続されている。

【0044】

通信回路３２は、インターネットに接続するための回路である。この例では、インターネットを介して、建物内や屋外に設置したカメラ４２が接続されている。ＣＰＵ２０は、通信回路３２により、インターネットを介してカメラ４２によって撮像された画像を取得することができる。

【0045】

ＳＳＤ２６には、オペレーティングシステム３４、人物同定プログラム３６、人物ＤＢ３８が記録されている。人物同定プログラム３６は、オペレーティングシステム３４と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ４０に記録されていたものを、ＤＶＤ－ＲＯＭドライブ２８を介して、ＳＳＤ２６にインストールしたものである。

【0046】

人物ＤＢ３８は、同定対象である複数の人物の人物画像の特徴ベクトルを予め登録したものである。人物同定プログラム３６は、カメラ４２から取得した対象人物画像の特徴ベクトルを算出して、人物ＤＢ３８の特徴ベクトルと比較し、いずれの人物であるかを特定する。

【0047】

1.3人物同定処理
以下、人物同定装置による人物同定処理について説明する。この実施形態では、複数の人物を予め人物ＤＢに登録しておき、対象人物画像に写された人物が、予め登録されたいずれの人物であるかを判断するようにしている。

【0048】

したがって、この実施形態では、予め、ＳＳＤ２６に人物ＤＢ３８を記録する必要がある。まず、この人物ＤＢ３８について説明する。

【0049】

(1)人物ＤＢ３８
人物ＤＢ３８は、同定対象である既知の複数人物についての人物画像の特徴ベクトルを多数登録したものである。人物同定の際には、未知の人物画像の特徴ベクトルを算出し、人物ＤＢ３８に登録されたいずれの人物の特徴ベクトルと近いかを判定して、人物を同定するために用いられる。

【0050】

この実施形態では、人物ＤＢ３８を構築するために、多数の人物（上記同定対象である人物とは別の人物）の画像（各人ごとに複数アングル・姿態の画像を含む）の複数の特徴量が、異なる人物の画像については近似しないように、同一人物の画像については近似するように、学習された深層距離学習モデルを用いている。たとえば、FlipReIDを用いることができる。

【0051】

同一人物の画像であったとしても、正面、背面、側面などのアングルの違いや、姿態（頭を上げている、下げているなど）の違いにより、画像から抽出した特徴量（エッジ等）が異なったものとなる。深層距離学習では、複数の特徴量によって表される特徴ベクトルが、同一人については近似し、異なる人については近似しないように学習している。

【0052】

これを模式化して示したのが、図３である。複数の特徴量によって表される特徴ベクトルを、前記特徴量による多次元空間上（図３では説明を簡素化するため二次元空間としている）に配置したときに、人物α（人物β）の特徴ベクトル同士は近づくように、特徴量抽出を学習している。

【0053】

したがって、このように学習された深層距離学習モデルFlipReIDに、図４に示すような、同定対象である既知の複数人物の人物画像を与えると、人物ごとに、近似する特徴ベクトルを出力することになる。この各画像の特徴ベクトルを、人物に対応付けて記録したのが、人物ＤＢ３８である。図５Ａに、人物ＤＢ３８の例を示す。これを多次元空間上（図では二次元空間としている）にプロットしたものを、図５Ｂに示す。

【0054】

(2)人物同定処理
図６に、人物同定プログラム３６のフローチャートを示す。ＣＰＵ２０は、カメラ４２の撮像画像を取得する（ステップＳ１）。なお、カメラ４２からの撮像画像の取得は、その都度行っても良いが、全てのカメラ４２の撮像画像をまとめて取得し、ＳＳＤ２６に一旦記録し、ＳＳＤ２６から順次読み出すようにしてもよい。ここでは、図７Ａに示すような撮像画像を取得したものとして説明を行う。

【0055】

ＣＰＵ２０は、この撮像画像から人物を抽出し、これをバウンダリボックスＢＸにて囲う（ステップＳ２）。バウンダリボックスＢＸで囲った部分を、対象人物画像として取り出す。図８Ａに、取り出した人物画像の一例を示す。

【0056】

なお、撮像画像からの人物の抽出には、人物を含めた様々な物体を抽出するように学習された深層学習モデルを用いることができる。たとえば、YOLOのアルゴリズムを持つ深層学習モデルを、多種類・多数の物体の画像によって学習したものを用いることができる。この場合の学習データは、撮像画像と、当該撮像画像に写されている対象物（例えば人物）を囲うバウンダリボックスの座標値（撮像画像中の座標位置）に対象物の種類（例えば人物）を付したものを正解データとして用いる。

【0057】

次に、ＣＰＵ２０は、抽出した人物画像をそのまま用いて同定を行うか、抽出した人物画像の画質を変更してから同定を行うかを決定する。

【0058】

ここでは、まず、抽出した人物画像をそのまま用いて同定を行う処理について説明する。

【0059】

ＣＰＵ２０は、抽出した人物画像（対象人物画像）を、前記人物ＤＢ３８の生成時に用いた学習済深層距離学習モデルFlipReIDに与え、特徴ベクトルを算出する（ステップＳ９）。ＣＰＵ２０は、この人物画像の特徴ベクトルと最も近接する特徴ベクトルを人物ＤＢ３８（図５参照）から見いだす。すなわち、図５ｂに示すように、複数の特徴量によって構成される多次元空間において、対象人物画像の特徴ベクトルＵに最も近接した特徴ベクトルを人物ＤＢ３８から見いだす。図５ｂの例であれば、特徴ベクトルＵに最も近いのは、人物２の特徴ベクトルＶ2.1であるから、対象人物画像に写っている人物は人物２であると同定する。

【0060】

このように、対象人物画像に写し出されている人物は、人物ＤＢ３８において、当該特徴ベクトルに対応付けられた人物であると同定することができる（ステップＳ１０）。

【0061】

以上のようにして、ＣＰＵ２０は、人物ＤＢ３８を参照して、人物の同定を行っている。

【0062】

なお、前述のように、ＣＰＵ２０は、人物の同定を行う前に、抽出した人物画像（対象人物画像）をそのまま用いて同定を行うか、抽出した人物画像（対象人物画像）の画質を変更（色空間における要素を変更）してから同定を行うかを決定している。ＣＰＵ２０は、この決定処理を、対象人物画像の画像的特徴に基づいて行っている。以下その処理を説明する。

【0063】

まず、ＣＰＵ２０は、対象人物画像（図８Ａ）の画像的特徴を算出する（ステップＳ４）。この実施形態では、人物画像の平均明度、明度の中央値、平均ａ^＊、ａ^＊の中央値、平均ｂ^＊、ｂ^＊の中央値、画像の横幅、画像の縦幅、鮮明度の９個の画像的特徴を算出するようにしている。

【0064】

平均明度は、各画素の明度の画像全体の平均値である。明度の中央値は、各画素の明度の画像全体における中央値である。平均ａ^＊は、各画素のCIELAB色空間におけるａ^＊を画像全体で平均したものである。ａ^＊の中央値は、各画素のａ^＊の画像全体における中央値である。平均ｂ^＊は、各画素のCIELAB色空間におけるｂ^＊を画像全体で平均したものである。ｂ^＊の中央値は、各画素のｂ^＊の画像全体における中央値である。画像の横幅は、画像の横方向の画素数である。画像の縦幅は、画像の縦方向の画素数である。鮮明度は、画像をグレースケール化し、これにラプラシアンフィルタを適用して、画素値の分散を算出したものである。分散が大きければ、エッジ部分が多く表れており、鮮明であるといえる。

【0065】

続いて、ＣＰＵ２０は、人物画像をそのまま用いて特徴ベクトルを算出し、人物ＤＢ３８を参照して同定を行うのがよいか、人物画像のａ^＊を全体的に低下（この例では１０％低下）させた画像（画質を変更させた画像）にて特徴ベクトルを算出し、人物ＤＢ３８を参照して同定を行うのがよいかを決定する（ステップＳ５）。

【0066】

この決定は、次のようにして予め用意しておいたデータに基づいて、Ｋ近傍法（k-nearest neighbor algorithm, k-nn）を用いて行う。

【0067】

まず、複数の事前分析用人物の人物画像（上記人物ＤＢ３８に登録した人物とは別の人物の画像）を用意する。この複数の人物画像を、学習済深層距離学習モデルFlipReIDに与え、事前分析用人物についての人物ＤＢを生成する。

【0068】

次に、事前分析用人物の対象人物画像（上記登録用の画像とはアングルや姿態の異なる画像）を多数用意し、学習済深層距離学習モデルFlipReIDに与えて特徴ベクトルを算出し、人物ＤＢを参照して人物の同定を行う。なお、ここで、事前分析用人物は、いずれも既知の人物であるから、この同定結果が正しいものであるか否かを判定することができる。すなわち、同定に成功した人物画像と、同定に失敗した人物画像に分けることができる。

【0069】

続いて、事前分析用の対象人物画像について、ａ^＊を全体的に低下（この例では１０％低下）させて（画質を変化させて）、同定用人物画像を得る。この同定用人物画像を、学習済深層距離学習モデルFlipReIDに与えて特徴ベクトルを算出し、人物ＤＢを参照して人物の同定を行う。この場合も、同定に成功した同定用人物画像と、同定に失敗した同定用人物画像に分けることができる。

【0070】

したがって、ａ^＊を変更しなかった人物画像と、ａ^＊を低下させた人物画像について、成功・失敗を表にすると、図９のように４つのグループに分類されることになる。

【0071】

この実施形態では、ａ^＊を低下することが同定精度向上のために好ましくないと判断されるグループ２の人物画像と、ａ^＊を低下することが同定精度向上のために好ましいと判断されるグループ３の人物画像とを用いて、それぞれの画像的特徴（人物画像の平均明度、明度の中央値、平均ａ^＊、ａ^＊の中央値、平均ｂ^＊、ｂ^＊の中央値、画像の横幅、画像の縦幅、鮮明度）を算出する。

【0072】

そして、これらの画像的特徴を軸とする多次元空間上に、グループ２とグループ３の各人物画像を配置する。図１０Ａに、配置した状態を示す。なお、この例では、画像的特徴が９個あるので９次元空間における配置となるが、図１０Ａでは、簡単のために２次元空間にて表示している。

【0073】

図１０Ａは、画像的特徴によって、ａ^＊を低下すべきか、低下すべきでないかをプロットしたものとなっている。したがって、ステップＳ４において算出した、人物が未知である人物画像（図８Ａ）の画像的特徴が、いずれのグループに近いかを検討すれば、ａ^＊を低下すべきか、低下すべきでないかを決定できる。

【0074】

この実施形態では、ｋ＝３とし、Ｋ－ｎｎ法を用いて決定している。図１０Ｂに、人物が未知である人物画像の画像的特徴のプロットＴを示す。ｋ＝３であるから、Ｔに近いものから３つのプロットを選択する。選択されたプロットは、グループ２（ａ^＊を低下すべきでない）が２つ、グループ３（ａ^＊を低下すべき）が１つであるから、多数決により、ａ^＊を低下すべきでないと決定することができる。

【0075】

なお、この実施形態では、ｋを奇数としたが、ｋが偶数の場合には、多数決で決まらない場合がある。その場合には、プロットＴに最も近いプロットがいずれのグループに属するかによって決定すると良い。

【0076】

以上のようにして、ＣＰＵ２０は、ステップＳ５において、ａ^＊を低下すべきか、ａ^＊を低下すべきでないかを決定する。

【0077】

次に、ＣＰＵ２０は、ａ^＊を低下すべきでないと判断した場合には、ステップＳ２で抽出した人物画像（図８Ａ）を、そのまま同定用人物画像とする（ステップＳ７）。また、ＣＰＵ２０は、ａ^＊を低下すべきと判断した場合には、ステップＳ２で抽出した人物画像（図８Ａ）について、全体的にａ^＊を低下させ、これを同定用人物画像とする（ステップＳ８）。ａ^＊を低下して得られた同定用人物画像を図８Ｂに示す。白黒画像では判別しにくいが、少し青みがかった色調となっている。

【0078】

次に、ＣＰＵ２０は、同定用人物画像を前記人物ＤＢ３８の生成時に用いた学習済深層距離学習モデルFlipReIDに与え、特徴ベクトルを算出する（ステップＳ９）。ＣＰＵ２０は、この人物画像の特徴ベクトルと最も近接する特徴ベクトルを人物ＤＢ３８（図５参照）から見いだす。すなわち、図５Ｂに示すように、複数の特徴量によって構成される多次元空間において、対象人物画像の特徴ベクトルに最も近接した特徴ベクトルを人物ＤＢ３８から見いだす（ステップＳ１０）。このようにして人物を同定する。

【0079】

この実施形態では、ａ^＊を低下しないで同定用人物画像を生成した方が同定精度が向上するか、ａ^＊を低下させて同定用人物画像を生成した方が同定精度が向上するかを、対象人物画像の画像的特徴に基づいて決定するようにしている。したがって、対象人物画像の画像的特徴に基づいて、画質を変更し、同定精度を向上させることができる。

【0080】

ＣＰＵ２０は、上記のステップＳ４～Ｓ１０の処理を、ステップＳ１にて取得した撮像画像に写し出された人物の数だけ繰り返す（ステップＳ３、Ｓ１１）。

【0081】

撮像画像から抽出した人物画像の全てについて人物を同定すると、ＣＰＵ２０は、追跡処理（ステップＳ１２）を行う。すなわち、近傍の他のカメラで近接した時刻に撮像された撮像画像における人物同定結果を考慮して、当該同定した人物がどの位置に移動したかを判断する。

【0082】

続いて、ＣＰＵ２０は、他のカメラ４２からの撮像画像を取得し、ステップＳ２以下を繰り返し実行する。このようにして、全てのカメラ４２からの撮像画像について処理を終了すると、再び、最初のカメラ４２からの撮像画像を取得する処理に戻って、処理を繰り返す。

【0083】

このようにして、各カメラ４２において、各時刻に撮像された撮像画像につき、人物同定を行うことができる。

【0084】

(3)Ｋ－ｎｎ法におけるｋの決定
上記のステップＳ５（ａ^＊を低下させるか否かの判定）では、ｋ＝３として説明をした。このｋの値は、以下のようにして決定することが好ましい。

【0085】

事前分析用の既知の人物画像を用いて、ａ^＊を低下させた場合と、ａ^＊を低下させない場合で、同定精度が変わるかどうかを調べたのが、図９である（この点を既に述べた）。このグループ２（ａ^＊を低下すべきでない）とグループ３（ａ^＊を低下すべき）について、その画像的特徴（人物画像の平均明度、明度の中央値、平均ａ^＊、ａ^＊の中央値、平均ｂ^＊、ｂ^＊の中央値、画像の横幅、画像の縦幅、鮮明度）に基づいて、多次元区間上（図では二次元空間としている）にプロットしたのが、図１０Ａである。

【0086】

前述のように、未知の人物の対象人物画像の画像的特徴Ｔを、この多次元空間上にプロットし（図１０Ｂ参照）、近接する３つのプロットが（ｋ＝３）、いずれのグループに属するかを判定し、多数決にてａ^＊を低下すべきかどうかを決定している。

【0087】

ここで、ｋの値をいくらにするのが妥当であるかという問題が生じる。この実施形態では、以下のようにして、ｋの値を決定している。

【0088】

まず、人物が既知である別の事前分析用人物画像を多数用意し、それぞれについて、そのままの人物画像と、ａ^＊を低下させた人物画像を用いて、学習済深層距離学習モデルFlipReIDに与えて特徴ベクトルを算出し、人物ＤＢを参照して人物の同定を行う。

【0089】

その結果、これらの人物画像は、図９のようにグループ分けされる。これらのうち、グループ２、３に属する人物画像のみを抽出する。グループ２、３に属する人物画像は、ａ^＊を低下させた方がよいか否かが分かっている。

【0090】

そこで、各人物画像について、画像的特徴を算出し、図１０ＢのようにプロットＴとして多次元空間上に配置する。まず、ｋ＝１として、上記予め判明しているａ^＊を低下させた方がよいか否かに、合致するかどうかを判断する。続いて、ｋ＝２、ｋ＝３・・・として、この処理を繰り返す。

【0091】

図１１に、その結果例を示す。この例では、２０個の人物画像についてｋを変化させたときに、合致した数を記録したものである。ｋ＝３の時が最も合致数が高いので、これを選択する。

【0092】

以上のようにして、ｋの値を決めているので、カメラ４２や撮像状況などによって、最適なｋの値は変わる可能性がある。

【0093】

1.4変形例（その他）
(1)上記実施形態では、カメラ４２は、インターネットを介して人物同定装置に接続されている。しかし、ＬＡＮや専用回線にて接続するようにしてもよい。また、カメラ４２にて記録した撮像画像を、可搬性記録媒体に記録し、人物同定装置において読み込むようにしてもよい。

【0094】

(2)上記実施形態では、人物同定装置に人物ＤＢ３８が記録されている。しかし、インターネットやＬＡＮなどのネットワークにて接続された他の装置に人物ＤＢ３８を記録するようにしてもよい。

【0095】

(3)上記実施形態では、物体認識のためにYOLOアルゴリズムによる学習済深層学習モデルを用いている。しかし、他の物体認識のアルゴリズム、たとえばYOLACTを用いるようにしてもよい。

【0096】

YOLOでは、図８Ａに示すように対象人物画像に背景画像も含まれ、背景画像も含めて特徴ベクトルや画像的特徴を算出することになる。YOLACTでは、矩形ではなく抽出した人の外形に沿ったバウンダリーボックスを用いることができるので、背景のない人物画像を対象として、特徴ベクトルや画像的特徴を算出することができる。

【0097】

(4)上記実施形態では、画像的特徴として、人物画像の平均明度、明度の中央値、平均ａ^＊、ａ^＊の中央値、平均ｂ^＊、ｂ^＊の中央値、画像の横幅、画像の縦幅、鮮明度を用いている。しかし、これらの任意の組み合わせによる画像的特徴を用いるようにしてもよい。

【0098】

たとえば、平均明度÷画像サイズを画像的特徴として用いてもよい。この場合、小さくて明るいかどうかが特徴となる。また、（平均ｂ^＊×鮮明度）÷平均ａ^＊を画像的特徴として用いてもよい。この場合、鮮明で緑色がかっているかどうかが特徴となる。

【0099】

なお、少なくとも、画質変更を行う特徴（上記ではａ^＊）に関する画像的特徴（上記では平均ａ^＊、ａ^＊の中央値）を用いることが好ましい。

【0100】

(5)上記実施形態では、ａ^＊を所定割合低下させることで画質変更を行うようにしている。しかし、ａ^＊を所定割合増加させるようにしてもよい。また、ｂ^＊やＬ^＊を変化させるようにしてもよい。さらに、これらの複数を変化させるようにしてもよい。また、Ｒ、Ｇ、Ｂなどを変化させるようにしてもよい。

【0101】

(6)上記実施形態では、ステップＳ９において、最も近接する特徴ベクトルの人物を同定対象として選択するようにしている。しかし、近接する複数の特徴ベクトルを抽出し、いずれの人物の物が多いか（同数の場合には最も近い特徴ベクトルを有する人物として同定する）によって同定を行うようにしてもよい。

【0102】

(7)上記実施形態では、人物同定装置をスタンドアローンのＰＣとして構築している。しかし、サーバ装置として構築するようにしてもよい。この場合には、同定結果を、端末装置など他の装置に送信することになる。

【0103】

(8)上記実施形態では、学習済の深層距離学習モデルFlipReIDに、同定対象である人物画像を与えて特徴ベクトルを算出し、これを人物ＤＢ３８として登録するようにしている。しかし、未学習の深層距離学習モデルを、同定対象である人物画像によって学習し、これに同定対象である人物画像を与えて特徴ベクトルを算出し、これを人物ＤＢ３８として登録するようにしてもよい。

【0104】

(9)上記変形例は、互いに組み合わせて実施可能である。また、他の実施形態とも組み合わせて実施可能である。

【0105】

２．第二の実施形態
2.1全体的構成
図１２に、第二の実施形態による人物同定装置の機能構成を示す。対象人物画像取得手段２は、撮像画像から人物画像を抽出する。抽出された対象人物画像は、特徴取得手段４に与えられ、特徴ベクトルが算出される。

【0106】

所持物情報取得手段１８は、撮像画像から所持物を抽出し、所持物の有無または所持物の種類を推定する。

【0107】

人物ＤＢ１２には、同定対象である人物の各画像の特徴ベクトル１４が記録されている。また、登録の際の画像に所持物が写っている場合には、当該所持物の種類も対応付けて記録されている。

【0108】

同定手段１０は、対象人物画像の特徴ベクトルと、所持物情報とに基づいて、人物ＤＢ１２を参照し、人物の同定を行う。

【0109】

この実施形態では、所持物情報も加味して同定を行うようにしているので、同定精度を向上することができる。

【0110】

2.2ハードウエア構成
ハードウエア構成は、第一の実施形態における図２と同じである。

【0111】

2.3人物同定処理
(1)人物ＤＢ３８
人物ＤＢ３８は、第一の実施形態と同様の構成である。ただし、同定対象の人物画像の特徴ベクトルを登録する際に、同人が所持物を有しているかどうかをYOLOにて判断し、有していれば、YOLOにて特定した所持物の種類を併せて登録するようにしている。

【0112】

このようにして生成された人物ＤＢ３８の例を、図１３に示す。登録のための画像に同人の所持物が写されていれば、「かばん」「リュック」などの所持物の種類が併せて記録されている。

【0113】

(2)人物同定処理
図１４に、人物同定プログラム３６のフローチャートを示す。ＣＰＵ２０は、カメラ４２から撮像画像を取得する（ステップＳ１）。さらに、YOLOによりこの撮像画像から人物画像を抽出する（ステップＳ２）。また、YOLOによって当該人物の所持物の種類を推定する（ステップＳ２０）。

【0114】

図１５に、人物画像の抽出状態と、所持物の抽出状態を示す。YOLOでは、抽出したバウンダリーボックスに、その種類を示すラベル（人、かばん、リュック、手提げなど）を付すので、人物画像であるか、所持物であるかを判別することができる。また、所持物についてその種類を推定することができる。

【0115】

なお、人物のバウンダリーボックスと最も重なりの大きいバウンダリーボックスを有する所持物を、当該人物の所持物であると判断するようにしている。

【0116】

ＣＰＵ２０は、抽出した人物画像の特徴ベクトルを算出する（ステップＳ９）。この特徴ベクトルに基づいて、人物ＤＢ３８を参照して同定を行う点は、第一の実施形態と同様である（ステップＳ１０）。

【0117】

ただし、この実施形態では、対象人物が所持物を有していれば、当該所持物の種類と同じものが記録されている登録データを、人物ＤＢ３８から選択する。たとえば、対象人物が「かばん」を持っている場合、図１３の人物ＤＢ３８のデータ中から、所持物として「かばん」が記録されているデータのみを選択する。

【0118】

ＣＰＵ２０は、選択されたデータの中から、特徴ベクトルの最も違い人物を選択し、人物を同定する。

【0119】

このように、この実施形態では、所持物の種類を加味して同定を行うようにしているので、同定精度が向上する。

【0120】

1.4変形例（その他）
(1)上記実施形態では、対象人物の所持物の種類によって人物ＤＢ３８のデータを選択するようにしている。しかし、所持物の種類を問わず、所持物の有無によって人物ＤＢ３８のデータを選択するようにしてもよい。

【0121】

(2)上記実施形態による所持物を考慮した同定方法は、第一の実施形態と組み合わせて実施可能である。

【0122】

(3)上記変形例は、互いに組み合わせて実施可能である。また、他の実施形態とも組み合わせて実施可能である。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】