知財求人 - 知財ポータルサイト「IP Force」
特許7612014人物検索装置、人物検索システム、人物検索方法、および、人物検索プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-26
(45)【発行日】2025-01-10
(54)【発明の名称】人物検索装置、人物検索システム、人物検索方法、および、人物検索プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241227BHJP
G06V 10/74 20220101ALI20241227BHJP
G06F 16/56 20190101ALN20241227BHJP
【ＦＩ】
G06T7/00 660A
G06T7/00 660B
G06T7/00 300F
G06V10/74
G06F16/56
【請求項の数】
14
(21)【出願番号】P 2023525373
(86)(22)【出願日】2022-02-04
(86)【国際出願番号】 JP2022004351
(87)【国際公開番号】W WO2022254787
(87)【国際公開日】2022-12-08
【審査請求日】2023-05-09
(31)【優先権主張番号】P 2021094044
(32)【優先日】2021-06-04
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】岸下 整明
(72)【発明者】
【氏名】服部 亮史
(72)【発明者】
【氏名】大西 祐貴
【審査官】菊池 伸郎
(56)【参考文献】
【文献】特開２０２０－０４７１１０（ＪＰ，Ａ）
【文献】特開２０２０－１７８１６７（ＪＰ，Ａ）
【文献】特開２０１９－１８５２０５（ＪＰ，Ａ）
【文献】国際公開第２０１８／００８５７５（ＷＯ，Ａ１）
【文献】特開２０１４－２２５０８２（ＪＰ，Ａ）
【文献】特開２００９－１２４２６４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ １０／７４
Ｇ０６Ｆ １６／５６
(57)【特許請求の範囲】
【請求項1】
複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置であって、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、前記複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、前記特定人物画像の全身画像特徴量と前記データベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、前記特定人物画像の顔画像特徴量と前記データベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、
前記第１類似度が第１閾値を超えたかを判定するとともに、前記第２類似度が第２閾値を超えたかを判定する、分類部と、
前記分類部の判定結果を用いて、前記データベースから、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて前記特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯の撮影日時を含む特定人物撮影情報を、前記第１類似度が第１閾値を超えた全身画像特徴量に紐づけられた撮影情報および前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて生成する、人物検索部と、
を備えた、人物検索装置。
【請求項2】
前記人物検索部は、さらに、前記特定人物撮影情報と、当該特定人物撮影情報のカメラ識別情報に示されるカメラが撮影した画像とを、検索を要求した監視端末へ出力する、
請求項１に記載の人物検索装置。
【請求項3】
カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけて、データベースに保存する、人物特徴保存部を、さらに備えた、請求項１または請求項２に記載の人物検索装置。
【請求項4】
受け付けた画像から全身画像を抽出する全身画像抽出部と、受け付けた画像から顔画像を抽出する顔画像抽出部と、
前記全身画像抽出部により抽出された全身画像から全身画像特徴量を抽出する全身画像特徴量抽出部と、
前記顔画像抽出部により抽出された顔画像から顔画像特徴量を抽出する顔画像特徴量抽出部と、をさらに備え、
前記類似度算出部は、
前記全身画像特徴量抽出部から全身画像特徴量を取得するとともに、前記顔画像特徴量抽出部から顔画像特徴量を取得する、
請求項１または請求項２に記載の人物検索装置。
【請求項5】
複数のカメラにより撮影された画像および撮影情報を取得する、カメラ画像取得部と、カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけて、前記データベースに保存する、人物特徴保存部と、を備え、
前記全身画像抽出部は、前記カメラ画像取得部が取得した画像から全身画像を抽出し、
前記顔画像抽出部は、前記カメラ画像取得部が取得した画像から顔画像を抽出し、
前記全身画像特徴量抽出部は、前記カメラ画像取得部が取得した画像の全身画像から全身画像特徴量を抽出して、前記人物特徴保存部へ出力し、
前記顔画像特徴量抽出部は、前記カメラ画像取得部が取得した画像の顔画像から顔画像特徴量を抽出して、前記人物特徴保存部へ出力する、請求項４に記載の人物検索装置。
【請求項6】
前記人物検索部は、前記特定人物撮影情報を生成する際に、同一のカメラを示すカメラ識別情報が複数含まれる場合、同一のカメラを示すカメラ識別情報を、所定の時間間隔ごとに間引きする、
請求項１または請求項２に記載の人物検索装置。
【請求項7】
前記全身画像特徴量抽出部は、前記カメラが撮影した画像を受け付けると、カメラ識別情報が示すカメラごとの補正量を用いて補正した全身画像特徴量を算出するものであって、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量を用いて、前記全身画像特徴量抽出部に用いられる補正量を修正する、全身画像特徴量補正部、をさらに備えた、請求項４に記載の人物検索装置。
【請求項8】
前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量と、前記特定人物画像の全身画像特徴量との差分値が、第３閾値を超えた場合、当該特定人物画像の全身画像特徴量を、当該第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換える、全身画像特徴量補正部を、さらに備えた請求項４に記載の人物検索装置。
【請求項9】
前記分類部により事前に判定された結果に基づき蓄積された前記第１類似度、および、異なる人物それぞれの全身画像特徴量に基づき算出した類似度を用いて、前記第１閾値を設定する、閾値調整部をさらに備える、請求項１に記載の人物検索装置。
【請求項10】
前記閾値調整部は、さらに、異なる人物それぞれの顔画像特徴量に基づき算出した類似度を用いて、前記第２閾値を設定する、
請求項９に記載の人物検索装置。
【請求項11】
受け付けた画像から全身画像を抽出する全身画像抽出部と、前記全身画像抽出部により抽出された全身画像から全身画像特徴量を抽出する全身画像特徴量抽出部と、
前記閾値調整部により前記第１閾値の調整ができない場合、前記全身画像特徴量抽出部に対し、全身画像から全身画像特徴量を抽出するための学習処理を実行するよう指令する再学習判定部と、
をさらに備えた、請求項９または請求項１０に記載の人物検索装置。
【請求項12】
監視端末からの検索要求にしたがって、複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置を有する人物検索システムであって、前記監視端末と、前記複数のカメラと、前記人物検索装置とを有し、
前記人物検索装置は、
検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、前記特定人物画像の全身画像特徴量と前記データベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、
前記第１類似度が第１閾値を超えたかを判定するとともに、前記第２類似度が第２閾値を超えたかを判定する、分類部と、
前記分類部の判定結果を用いて、前記データベースから、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて前記特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯の撮影日時を含む特定人物撮影情報を、前記第１類似度が第１閾値を超えた全身画像特徴量に紐付けられた撮影情報および前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて生成する、人物検索部と、
を備えたことを特徴とする、人物検索システム。
【請求項13】
人物検索装置を用いて、複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索方法であって、前記人物検索装置における類似度算出部が、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、前記複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、前記特定人物画像の全身画像特徴量とデータベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、前記特定人物画像の顔画像特徴量とデータベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出ステップと、
前記人物検索装置における分類部が、前記第１類似度が第１閾値を超えたかを判定するとともに、前記第２類似度が第２閾値を超えたかを判定する、分類ステップと、
前記人物検索装置における人物検索部が、前記分類部の判定結果を用いて、前記データベースから、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて前記特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯の撮影日時を含む特定人物撮影情報を、前記第１類似度が第１閾値を超えた全身画像特徴量に紐付けられた撮影情報および前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて生成する、人物検索ステップと、
を備えた人物検索方法。
【請求項14】
コンピュータを、複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置として動作させる人物検索プログラムであって、前記コンピュータを、
検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、前記複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、前記特定人物画像の全身画像特徴量とデータベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、前記特定人物画像の顔画像特徴量とデータベース内の顔画像特徴量との類似度を示す第２類似度を算出する類似度算出部と、
前記第１類似度が第１閾値を超えたかを判定するとともに、前記第２類似度が第２閾値を超えたかを判定する、分類部と、
前記分類部の判定結果を用いて、前記データベースから、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて前記特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯の撮影日時を含む特定人物撮影情報を、前記第１類似度が第１閾値を超えた全身画像特徴量に紐付けられた撮影情報および前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて生成する、人物検索部と、
して動作させる、人物検索プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、複数の画像の中から、特定人物が含まれる画像を検索する人物検索装置に関する。
【背景技術】
【0002】
画像に含まれる人物を識別する技術の中には、画像における人物の特徴量を用いて人物を識別する技術がある。
例えば、特許文献１には、撮像部（カメラ）により撮像された人物を含む画像から、人物の顔に関する第１の特徴量および体に関する第２の特徴量を抽出し、抽出された第１の特徴量および第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて人物を識別することが記載されている。
例えば、特許文献１には、撮像部（カメラ）により撮像された人物を含む画像から、人物の顔に関する第１の特徴量および体に関する第２の特徴量を抽出し、抽出された第１の特徴量および第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて人物を識別することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－２３７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、複数の画像が複数のカメラで撮影された画像である場合、例えば、異なる撮影条件において撮影された画像が含まれ、撮影条件ごとに画像における人物の特徴量が異なる場合が多い。
このような場合、従来の技術では、人物を識別する精度にばらつきが生じてしまうため、複数のカメラで撮影された画像の中から特定人物が含まれる画像を検索する精度が低くなる傾向がある、という課題があった。
特許文献１に記載の人物識別装置は、複数のカメラ全ての撮影条件に合うように、重み付けを最適に定めることが困難であり、依然として、上記課題を解決できるものではない。
このような場合、従来の技術では、人物を識別する精度にばらつきが生じてしまうため、複数のカメラで撮影された画像の中から特定人物が含まれる画像を検索する精度が低くなる傾向がある、という課題があった。
特許文献１に記載の人物識別装置は、複数のカメラ全ての撮影条件に合うように、重み付けを最適に定めることが困難であり、依然として、上記課題を解決できるものではない。
【0005】
本開示は、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の人物検索装置は、複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置であって、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、特定人物画像の全身画像特徴量とデータベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する、分類部と、分類部の判定結果を用いて、データベースから、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯の撮影日時を含む特定人物撮影情報を、第１類似度が第１閾値を超えた全身画像特徴量に紐付けられた撮影情報および第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を用いて生成する、人物検索部と、を備えた。
【発明の効果】
【0007】
本開示によれば、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索装置を提供することができる、という効果を奏する。
【図面の簡単な説明】
【0008】
【図1】本開示に係る人物検索装置を含む人物検索システムを示す図である。
【図2】本開示の実施の形態１に係る人物検索装置を含む人物検索システムの構成を示す図である。
【図3】本開示において用いられる画像の一例を示す図である。
【図4】本開示の実施の形態１に係る人物検索装置におけるデータ生成処理を示すフローチャートである。
【図5】本開示の実施の形態１に係る人物検索装置における人物検索処理を示すフローチャートである。
【図7】本開示の実施の形態１に係る人物検索装置を含む人物検索システムの構成の変形例１を示す図である。
【図8】本開示の実施の形態１に係る人物検索装置を含む人物検索システムの構成の変形例２を示す図である。
【図9】本開示の実施の形態２に係る人物検索装置を含む人物検索システムの構成を示す図である。
【図10】本開示の実施の形態２に係る人物検索装置における補正値更新処理を示すフローチャートである。
【図11】本開示の実施の形態２に係る人物検索装置における全身画像特徴量を用いて画像を抽出する処理を示すフローチャートである。
【図12】本開示の実施の形態３に係る人物検索装置を含む人物検索システムの構成を示す図である。
【図13】本開示における閾値決定部の構成を示す図である。
【図14】本開示における第１閾値調整処理を示すフローチャートである。
【図15】本開示における第２閾値調整処理を示すフローチャートである。
【図16】本開示に係る人物検索装置のハードウェア構成の第１の例を示す図である。
【図17】本開示に係る人物検索装置のハードウェア構成の第２の例を示す図である。
【発明を実施するための形態】
【0009】
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、本開示に係る人物検索装置１００を含む人物検索システム１を示す図である。
図２は、本開示の実施の形態１に係る人物検索装置１００を含む人物検索システム１の構成を示す図である。
実施の形態１．
図１は、本開示に係る人物検索装置１００を含む人物検索システム１を示す図である。
図２は、本開示の実施の形態１に係る人物検索装置１００を含む人物検索システム１の構成を示す図である。
【0010】
図１に示す人物検索システム１は、人物検索装置１００、データベース２００、監視端末３００、カメラ４００、および、画像記録装置５００、を有する。
人物検索システム１において、人物検索装置１００は、データベース２００、監視端末３００、カメラ４００、および、画像記録装置５００、と通信可能に接続される。
また、監視端末３００、カメラ４００、および、画像記録装置５００は、相互に通信可能に接続される。
人物検索システム１は、複数のカメラ４００（４００－ｎ：ｎは１以上の任意の整数）により撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索するシステムである。
人物検索システム１において、人物検索装置１００は、データベース２００、監視端末３００、カメラ４００、および、画像記録装置５００、と通信可能に接続される。
また、監視端末３００、カメラ４００、および、画像記録装置５００は、相互に通信可能に接続される。
人物検索システム１は、複数のカメラ４００（４００－ｎ：ｎは１以上の任意の整数）により撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索するシステムである。
【0011】
人物検索システム１は、例えば図２に示すように、人物検索装置１００とデータベース２００とが通信線等により接続されており、また、人物検索装置１００、監視端末３００、カメラ４００、および、画像記録装置が、相互に、ＩＰネットワーク等の通信ネットワーク６００で接続されている。なお、データベース２００も通信ネットワーク６００を用いて接続されるように構成してもよい。
【0012】
人物検索装置１００は、複数のカメラ４００により撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する。
また、人物検索装置１００は、各カメラ４００により撮影された画像から、画像に含まれる人物の全身画像特徴量および顔画像特徴量を抽出し、画像の撮影条件を示す撮影情報と紐付けてデータベース２００に保存する。
また、人物検索装置１００は、各カメラ４００により撮影された画像から、画像に含まれる人物の全身画像特徴量および顔画像特徴量を抽出し、画像の撮影条件を示す撮影情報と紐付けてデータベース２００に保存する。
【0013】
人物検索装置１００は、例えば、監視端末３００から通信ネットワーク６００を介して、検索対象の人物が含まれる特定人物画像および検索要求を受け付ける。
また、人物検索装置１００は、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、データベース２００を参照して、特定人物画像の全身画像特徴量とデータベース２００内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース２００内の顔画像特徴量との類似度を示す第２類似度を算出する。また、人物検索装置１００は、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する。また、人物検索装置１００は、判定結果を用いて、データベース２００から、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。
人物検索装置１００は、例えば、検索結果として特定人物撮影情報を、通信ネットワーク６００を介して、監視端末３００に出力する。検索結果には、特定人物撮影情報に特定される画像が含まれてもよい。
人物検索装置１００の詳細は、後述する。
また、人物検索装置１００は、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、データベース２００を参照して、特定人物画像の全身画像特徴量とデータベース２００内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース２００内の顔画像特徴量との類似度を示す第２類似度を算出する。また、人物検索装置１００は、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する。また、人物検索装置１００は、判定結果を用いて、データベース２００から、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。
人物検索装置１００は、例えば、検索結果として特定人物撮影情報を、通信ネットワーク６００を介して、監視端末３００に出力する。検索結果には、特定人物撮影情報に特定される画像が含まれてもよい。
人物検索装置１００の詳細は、後述する。
【0014】
データベース２００には、複数のカメラ４００から出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報２７０、が紐づけられて保存されている。
さらに、具体的には、データベース２００は、プログラム２１０、全身情報２２０、顔情報２３０、補正値２４０、全身の類似度判定閾値（第１閾値）２５０、顔の類似度判定閾値（第２閾値）２６０、および、撮影情報２７０を有している。
プログラム２１０は、コンピュータを、人物検索装置１００として動作させるためのプログラムである。
全身情報２２０は、画像ごとの全身画像特徴量、人物の識別番号を含む。全身画像特徴量は、服装、体格、カメラ画角等による特徴を数値化したものであり、人物ごとの全身の特徴を示す値である。
顔情報２３０は、画像ごとの顔画像特徴量、人物の識別番号を含む。顔画像特徴量は、人物ごとの顔の特徴を数値化した値である。
補正値２４０は、カメラごとの撮影条件に応じて設定され、後述する全身画像特徴量抽出部１４０において、全身画像特徴量を抽出する際に用いられる。
全身の類似度判定閾値（第１閾値）２５０は、後述する分類部１８０において、特定人物画像の全身画像特徴量とデータベース２００の全身画像特徴量との類似度を示す第１類似度を用いて、分類を判定する際に用いられる。
顔の類似度判定閾値（第２閾値）２６０は、後述する分類部１８０において、特定人物画像の顔画像特徴量とデータベース２００の顔画像特徴量との類似度を示す第２類似度を用いて、分類を判定する際に用いられる。
撮影情報２７０は、カメラごとの撮影条件を示し、少なくともカメラ識別情報と撮影位置と撮影日時とを含む。カメラ識別情報は、例えば、カメラごとに異なるカメラ番号である。
データベース２００においては、情報の保存指令を受けると、情報が新たに追加され、または、上記情報が更新される。
また、データベース２００は、人物検索装置１００からの要求に応じて、保存されているデータを提示する。
なお、データベース２００は、人物検索装置１００の内部に含むように構成してもよい。
さらに、具体的には、データベース２００は、プログラム２１０、全身情報２２０、顔情報２３０、補正値２４０、全身の類似度判定閾値（第１閾値）２５０、顔の類似度判定閾値（第２閾値）２６０、および、撮影情報２７０を有している。
プログラム２１０は、コンピュータを、人物検索装置１００として動作させるためのプログラムである。
全身情報２２０は、画像ごとの全身画像特徴量、人物の識別番号を含む。全身画像特徴量は、服装、体格、カメラ画角等による特徴を数値化したものであり、人物ごとの全身の特徴を示す値である。
顔情報２３０は、画像ごとの顔画像特徴量、人物の識別番号を含む。顔画像特徴量は、人物ごとの顔の特徴を数値化した値である。
補正値２４０は、カメラごとの撮影条件に応じて設定され、後述する全身画像特徴量抽出部１４０において、全身画像特徴量を抽出する際に用いられる。
全身の類似度判定閾値（第１閾値）２５０は、後述する分類部１８０において、特定人物画像の全身画像特徴量とデータベース２００の全身画像特徴量との類似度を示す第１類似度を用いて、分類を判定する際に用いられる。
顔の類似度判定閾値（第２閾値）２６０は、後述する分類部１８０において、特定人物画像の顔画像特徴量とデータベース２００の顔画像特徴量との類似度を示す第２類似度を用いて、分類を判定する際に用いられる。
撮影情報２７０は、カメラごとの撮影条件を示し、少なくともカメラ識別情報と撮影位置と撮影日時とを含む。カメラ識別情報は、例えば、カメラごとに異なるカメラ番号である。
データベース２００においては、情報の保存指令を受けると、情報が新たに追加され、または、上記情報が更新される。
また、データベース２００は、人物検索装置１００からの要求に応じて、保存されているデータを提示する。
なお、データベース２００は、人物検索装置１００の内部に含むように構成してもよい。
【0015】
監視端末３００は、人物検索装置１００に対して、検索対象の人物を示す特定人物画像に示される人物と同一の人物が撮影された画像の検索を要求する。
また、監視端末３００は、カメラ４００により撮影された画像を、通信ネットワーク６００を介して取得できるように構成されている。
また、監視端末３００は、画像記録装置５００に記録された画像を、通信ネットワーク６００を介して取得できるように構成されている。
また、監視端末３００は、カメラ４００および画像記録装置５００以外の外部から、画像を取得できるように構成されている。
特定人物画像は、監視端末３００が取得した画像の中から指定される画像である。
また、監視端末３００は、カメラ４００により撮影された画像を、通信ネットワーク６００を介して取得できるように構成されている。
また、監視端末３００は、画像記録装置５００に記録された画像を、通信ネットワーク６００を介して取得できるように構成されている。
また、監視端末３００は、カメラ４００および画像記録装置５００以外の外部から、画像を取得できるように構成されている。
特定人物画像は、監視端末３００が取得した画像の中から指定される画像である。
【0016】
監視端末３００は、画像の検索を要求した後、人物検索装置１００から検索結果を受け取る。
検索結果は、例えば、人物検索装置１００において生成された特定人物撮影情報である。この場合、監視端末３００は、特定人物撮影情報を用いてカメラ４００または画像記録装置５００から画像を取得する。ただし、検索結果に画像が含まれる場合、監視端末３００は、特定人物撮影情報を用いた処理を行わなくてもよい。
検索結果は、例えば、人物検索装置１００において生成された特定人物撮影情報である。この場合、監視端末３００は、特定人物撮影情報を用いてカメラ４００または画像記録装置５００から画像を取得する。ただし、検索結果に画像が含まれる場合、監視端末３００は、特定人物撮影情報を用いた処理を行わなくてもよい。
【0017】
カメラ４００は、複数のカメラ４００－１，４００－２，４００－３，・・・，４００－ｎを示し、それぞれ撮影を行って画像を出力する。
複数のカメラ４００は、例えば、それぞれ異なる撮影対象範囲を撮影するように設置されている、監視カメラである。
複数のカメラが撮影した画像には、それぞれのカメラ４００を識別するカメラ識別番号、撮影日時が付される。また、さらに、撮影位置を示す情報が付されるようにしてもよい。
複数のカメラ４００は、例えば、それぞれ異なる撮影対象範囲を撮影するように設置されている、監視カメラである。
複数のカメラが撮影した画像には、それぞれのカメラ４００を識別するカメラ識別番号、撮影日時が付される。また、さらに、撮影位置を示す情報が付されるようにしてもよい。
【0018】
画像記録装置５００は、カメラ４００から出力された画像およびカメラ識別情報および撮影日時を記録する。また、画像に撮影位置を示す情報が含まれる場合は、撮影位置を示す情報を記録してもよい。
【0019】
人物検索装置１００の詳細を説明する。
人物検索装置１００は、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、および、図示しない制御部等を備える。
人物検索装置１００は、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、および、図示しない制御部等を備える。
【0020】
カメラ画像取得部１１０は、複数のカメラ４００により撮影された画像（カメラ画像）および撮影情報を取得する。
具体的には、カメラ画像取得部１１０は、複数のカメラ４００から一定のフレームレートで配信されるカメラ画像を受信し、受信したカメラ画像を、全身画像抽出部１２０および顔画像抽出部１３０に出力する。
具体的には、カメラ画像取得部１１０は、複数のカメラ４００から一定のフレームレートで配信されるカメラ画像を受信し、受信したカメラ画像を、全身画像抽出部１２０および顔画像抽出部１３０に出力する。
【0021】
本開示で用いられる画像について説明する。
図３は、本開示において用いられる画像の一例を示す図である。
図３に示す画像７００においては、人物ごとの全身画像７０１（７０１ａ，７０１ｂ）、および、人物ごとの顔画像７０２（７０２ａ，７０２ｂ）が含まれる。
ただし、画像７００においては、２人の人物が含まれているが、画像に含まれる人数は画像により異なる。
また、画像７００において、全身画像７０１は、頭の先から足の先までの全身が示されているが、これに限定するものではない。例えば、全身画像７０１は、顔画像７０２に比べ、体の特徴が抽出できる画像であって、全身のうちの顔以外の一部が含まれる画像であればよい。
図３は、本開示において用いられる画像の一例を示す図である。
図３に示す画像７００においては、人物ごとの全身画像７０１（７０１ａ，７０１ｂ）、および、人物ごとの顔画像７０２（７０２ａ，７０２ｂ）が含まれる。
ただし、画像７００においては、２人の人物が含まれているが、画像に含まれる人数は画像により異なる。
また、画像７００において、全身画像７０１は、頭の先から足の先までの全身が示されているが、これに限定するものではない。例えば、全身画像７０１は、顔画像７０２に比べ、体の特徴が抽出できる画像であって、全身のうちの顔以外の一部が含まれる画像であればよい。
【0022】
全身画像抽出部１２０は、画像を受け付け、受け付けた画像から人物の全身画像７０１を抽出する。
全身画像抽出部１２０は、例えば、カメラ画像取得部１１０が取得したカメラ画像から人物の全身画像７０１を抽出する。
また、全身画像抽出部１２０は、例えば、監視端末３００から特定人物画像を受け付け、受け付けた特定人物画像から人物の全身画像７０１を抽出する。
全身画像抽出部１２０は、例えば、画像を受け付けると、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた人物の画像に基づいて、人物の全身領域を抽出し、全身画像特徴量抽出部１４０に全身領域の画像（全身画像）を出力する。
全身画像抽出部１２０は、例えば、カメラ画像取得部１１０が取得したカメラ画像から人物の全身画像７０１を抽出する。
また、全身画像抽出部１２０は、例えば、監視端末３００から特定人物画像を受け付け、受け付けた特定人物画像から人物の全身画像７０１を抽出する。
全身画像抽出部１２０は、例えば、画像を受け付けると、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた人物の画像に基づいて、人物の全身領域を抽出し、全身画像特徴量抽出部１４０に全身領域の画像（全身画像）を出力する。
【0023】
顔画像抽出部１３０は、画像を受け付け、受け付けた画像から顔画像７０２を抽出する。
顔画像抽出部１３０は、例えば、カメラ画像取得部１１０からカメラ画像を受け付け、受け付けた画像から人物の顔画像７０２を抽出する。
また、顔画像抽出部１３０は、例えば、監視端末３００から特定人物画像を受け付け、受け付けた特定人物画像から人物の顔画像７０２を抽出する。
顔画像抽出部１３０は、例えば、画像を受け付けると、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた顔の画像に基づいて、人物の顔領域を抽出し、顔画像特徴量抽出部１５０に顔領域の画像（顔画像）を出力する。
なお、顔画像抽出部１３０は、全身画像抽出部１２０により抽出された全身画像７０１を受け付けるように構成してもよい。この場合、顔画像抽出部１３０は、全身画像７０１から顔画像７０２を抽出する。
顔画像抽出部１３０は、例えば、カメラ画像取得部１１０からカメラ画像を受け付け、受け付けた画像から人物の顔画像７０２を抽出する。
また、顔画像抽出部１３０は、例えば、監視端末３００から特定人物画像を受け付け、受け付けた特定人物画像から人物の顔画像７０２を抽出する。
顔画像抽出部１３０は、例えば、画像を受け付けると、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた顔の画像に基づいて、人物の顔領域を抽出し、顔画像特徴量抽出部１５０に顔領域の画像（顔画像）を出力する。
なお、顔画像抽出部１３０は、全身画像抽出部１２０により抽出された全身画像７０１を受け付けるように構成してもよい。この場合、顔画像抽出部１３０は、全身画像７０１から顔画像７０２を抽出する。
【0024】
全身画像特徴量抽出部１４０は、全身画像抽出部１２０により抽出された全身画像から全身画像特徴量を抽出する。
具体的には、全身画像特徴量抽出部１４０は、カメラ画像取得部１１０が取得したカメラ画像の全身画像から全身画像特徴量を抽出して、人物特徴保存部１６０へ出力する。この場合、全身画像特徴量抽出部１４０は、全身画像を受け付けると、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた人物の画像に基づいて、服装、体格、カメラ画角等による特徴を数値化した全身画像特徴量（Ｘ１）を抽出し、カメラ画像の全身画像特徴量を人物特徴保存部１６０へ出力する。
また、具体的には、全身画像特徴量抽出部１４０は、特定人物画像の全身画像から全身画像特徴量を抽出して、類似度算出部１７０へ出力する。この場合、全身画像特徴量抽出部１４０は、特定人物画像の全身画像を受け付けると、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた人物の画像に基づいて、服装、体格、カメラ画角等による特徴を数値化した全身画像特徴量（Ｘ１）を抽出し、特定人物画像の全身画像特徴量を類似度算出部１７０へ出力する。
具体的には、全身画像特徴量抽出部１４０は、カメラ画像取得部１１０が取得したカメラ画像の全身画像から全身画像特徴量を抽出して、人物特徴保存部１６０へ出力する。この場合、全身画像特徴量抽出部１４０は、全身画像を受け付けると、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた人物の画像に基づいて、服装、体格、カメラ画角等による特徴を数値化した全身画像特徴量（Ｘ１）を抽出し、カメラ画像の全身画像特徴量を人物特徴保存部１６０へ出力する。
また、具体的には、全身画像特徴量抽出部１４０は、特定人物画像の全身画像から全身画像特徴量を抽出して、類似度算出部１７０へ出力する。この場合、全身画像特徴量抽出部１４０は、特定人物画像の全身画像を受け付けると、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた人物の画像に基づいて、服装、体格、カメラ画角等による特徴を数値化した全身画像特徴量（Ｘ１）を抽出し、特定人物画像の全身画像特徴量を類似度算出部１７０へ出力する。
【0025】
顔画像特徴量抽出部１５０は、顔画像抽出部１３０により抽出された顔画像から顔画像特徴量を抽出する。
具体的には、顔画像特徴量抽出部１５０は、カメラ画像取得部１１０が取得したカメラ画像の顔画像から顔画像特徴量を抽出して、人物特徴保存部１６０へ出力する。この場合、顔画像特徴量抽出部１５０は、顔画像を受け付けると、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた顔の画像に基づいて、顔の特徴を数値化した顔画像特徴量（Ｙ１）を抽出し、カメラ画像の顔画像特徴量を人物特徴保存部１６０へ出力する。
また、具体的には、顔画像特徴量抽出部１５０は、特定人物画像の顔画像から顔画像特徴量を抽出して、類似度算出部１７０へ出力する。この場合、顔画像特徴量抽出部１５０は、顔画像を受け付けると、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた顔の画像に基づいて、顔の特徴を数値化した顔画像特徴量（Ｙ１）を抽出し、特定人物画像の顔画像特徴量を類似度算出部１７０へ出力する。
具体的には、顔画像特徴量抽出部１５０は、カメラ画像取得部１１０が取得したカメラ画像の顔画像から顔画像特徴量を抽出して、人物特徴保存部１６０へ出力する。この場合、顔画像特徴量抽出部１５０は、顔画像を受け付けると、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた顔の画像に基づいて、顔の特徴を数値化した顔画像特徴量（Ｙ１）を抽出し、カメラ画像の顔画像特徴量を人物特徴保存部１６０へ出力する。
また、具体的には、顔画像特徴量抽出部１５０は、特定人物画像の顔画像から顔画像特徴量を抽出して、類似度算出部１７０へ出力する。この場合、顔画像特徴量抽出部１５０は、顔画像を受け付けると、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の機械学習により事前に学習させた顔の画像に基づいて、顔の特徴を数値化した顔画像特徴量（Ｙ１）を抽出し、特定人物画像の顔画像特徴量を類似度算出部１７０へ出力する。
【0026】
人物特徴保存部１６０は、カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけて、データベース２００に保存する。
具体的には、人物特徴保存部１６０は、同一の画像から抽出された全身画像特徴量および顔画像特徴量を紐づけし、また、カメラ番号、撮影位置、撮影日時、全身画像および顔画像を切り出したサムネイル画像等も合わせて保存する。
具体的には、人物特徴保存部１６０は、同一の画像から抽出された全身画像特徴量および顔画像特徴量を紐づけし、また、カメラ番号、撮影位置、撮影日時、全身画像および顔画像を切り出したサムネイル画像等も合わせて保存する。
【0027】
類似度算出部１７０は、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、データベース２００を参照して、特定人物画像の全身画像特徴量とデータベース２００内の全身画像特徴量との類似度（全身画像の類似度）を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース２００内の顔画像特徴量との類似度（顔画像の類似度）を示す第２類似度を算出する。
類似度は、比較した画像が類似している度合いを示すもので、例えば０から１までの値をとり、１に近いほど類似度が高いものとする。
類似度は、比較した画像が類似している度合いを示すもので、例えば０から１までの値をとり、１に近いほど類似度が高いものとする。
【0028】
分類部１８０は、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する。
分類部１８０は、判定結果を用いて、全身画像特徴量、顔画像特徴量、撮影情報、および、サムネイル画像のセットを分類し、分類した結果に応じて、分類を示す分類情報とともにセットした情報（セット情報）を出力する。セット情報は、全身画像特徴量、顔画像特徴量、撮影情報、および、サムネイル画像、に加え、分類情報を含む。
具体的には、分類部１８０は、判定結果を用いて、以下の分類１から分類４のように分類する。
（分類１）全身画像の類似度、顔画像の類似度がともに閾値を上回る
（分類２）顔画像の類似度のみが閾値を上回る
（分類３）全身画像の類似度のみが閾値を上回る
（分類４）全身画像の類似度、顔画像の類似度がとも閾値を下回る
分類部１８０は、判定結果を用いて、全身画像特徴量、顔画像特徴量、撮影情報、および、サムネイル画像のセットを分類し、分類した結果に応じて、分類を示す分類情報とともにセットした情報（セット情報）を出力する。セット情報は、全身画像特徴量、顔画像特徴量、撮影情報、および、サムネイル画像、に加え、分類情報を含む。
具体的には、分類部１８０は、判定結果を用いて、以下の分類１から分類４のように分類する。
（分類１）全身画像の類似度、顔画像の類似度がともに閾値を上回る
（分類２）顔画像の類似度のみが閾値を上回る
（分類３）全身画像の類似度のみが閾値を上回る
（分類４）全身画像の類似度、顔画像の類似度がとも閾値を下回る
【0029】
人物検索部１９０は、分類部１８０の判定結果を用いて、データベース２００から、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。
具体的には、人物検索部１９０は、監視端末３００から検索要求とともに特定人物画像を受け取り、特定人物画像を、全身画像抽出部１２０および顔画像抽出部１３０へ出力する。
人物検索部１９０は、全身画像抽出部１２０および顔画像抽出部１３０へ出力した後、これにより分類部１８０から出力された情報を受け取り、分類情報およびセット情報を用いて、検索結果を監視端末３００へ通知する。
具体的には、人物検索部１９０は、監視端末３００から検索要求とともに特定人物画像を受け取り、特定人物画像を、全身画像抽出部１２０および顔画像抽出部１３０へ出力する。
人物検索部１９０は、全身画像抽出部１２０および顔画像抽出部１３０へ出力した後、これにより分類部１８０から出力された情報を受け取り、分類情報およびセット情報を用いて、検索結果を監視端末３００へ通知する。
【0030】
さらに具体的には、人物検索部１９０は、例えば、分類１および分類２のセット情報を、顔画像の類似度（第２類似度）が高い順に一定数を選定する。一定数は、検索結果として必要な数であればよく、特に限定しない。
また、人物検索部１９０は、分類１および分類２のセット情報を用いて、カメラ位置、カメラの隣接関係、相対距離等の情報を取得し、特定人物画像に示される検索対象の人物が撮影された可能性がある領域および時間帯を算出する。
人物検索部１９０は、分類１および分類２以外である、分類３のセット情報の中から、算出した領域および時間帯を用いて、当該領域内のカメラ識別情報および当該時間帯の撮影日時を含むセット情報を選び出す。
人物検索部１９０は、選び出したセット情報を対象にして、全身画像の類似度（第１類似度）が高い順に一定数を選定する。
人物検索部１９０は、分類１および分類２のセット情報および選び出した分類３のセット情報を用いて、カメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。
人物検索部１９０は、特定人物撮影情報を検索結果として出力する。
また、人物検索部１９０は、分類１および分類２のセット情報を用いて、カメラ位置、カメラの隣接関係、相対距離等の情報を取得し、特定人物画像に示される検索対象の人物が撮影された可能性がある領域および時間帯を算出する。
人物検索部１９０は、分類１および分類２以外である、分類３のセット情報の中から、算出した領域および時間帯を用いて、当該領域内のカメラ識別情報および当該時間帯の撮影日時を含むセット情報を選び出す。
人物検索部１９０は、選び出したセット情報を対象にして、全身画像の類似度（第１類似度）が高い順に一定数を選定する。
人物検索部１９０は、分類１および分類２のセット情報および選び出した分類３のセット情報を用いて、カメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。
人物検索部１９０は、特定人物撮影情報を検索結果として出力する。
【0031】
ここで、人物検索部１９０は、特定のカメラや時間帯に検索結果が偏ることを避けるため、一定時間内では同一カメラの画像を複数選択しないといった間引きを行うようにしてもよい。
この場合、人物検索部１９０は、特定人物撮影情報を生成する際に、同一のカメラを示すカメラ識別情報が複数含まれる場合、同一のカメラを示すカメラ識別情報を、所定の時間間隔ごとに間引きする。
この場合、人物検索部１９０は、特定人物撮影情報を生成する際に、同一のカメラを示すカメラ識別情報が複数含まれる場合、同一のカメラを示すカメラ識別情報を、所定の時間間隔ごとに間引きする。
【0032】
人物検索部１９０は、検索結果として、さらに、特定人物撮影情報と、当該特定人物撮影情報のカメラ識別情報に示されるカメラが撮影した画像とを、検索を要求した監視端末３００へ出力するようにしてもよい。
【0033】
人物検索装置１００の処理について説明する。
まず、人物検索装置１００が参照するデータベース２００のデータを生成し、保存する処理を説明する。
図４は、本開示の実施の形態１に係る人物検索装置１００におけるデータ生成処理を示すフローチャートである。
まず、人物検索装置１００が参照するデータベース２００のデータを生成し、保存する処理を説明する。
図４は、本開示の実施の形態１に係る人物検索装置１００におけるデータ生成処理を示すフローチャートである。
【0034】
人物検索装置１００は、例えば、図示しない制御部が処理を開始する指令を受けると、処理を開始する。
カメラ画像取得部１１０は、画像を取得する（ステップＳＴ１０）。
具体的には、カメラ画像取得部１１０は、複数のカメラによりそれぞれ撮影された画像および撮影情報を取得する。
カメラ画像取得部１１０は、画像を取得する（ステップＳＴ１０）。
具体的には、カメラ画像取得部１１０は、複数のカメラによりそれぞれ撮影された画像および撮影情報を取得する。
【0035】
全身画像抽出部１２０は、カメラ画像取得部１１０からカメラ画像を受け付け、カメラ画像取得部１１０が取得した画像から人物の全身画像７０１を抽出する（ステップＳＴ２０）。
全身画像抽出部１２０は、全身画像７０１を全身画像特徴量抽出部１４０へ出力する。
全身画像抽出部１２０は、全身画像７０１を全身画像特徴量抽出部１４０へ出力する。
【0036】
全身画像特徴量抽出部１４０は、全身画像抽出部１２０により抽出された全身画像から全身画像特徴量を抽出する（ステップＳＴ３０）。
具体的には、全身画像特徴量抽出部１４０は、カメラ画像取得部１１０が取得したカメラ画像の全身画像から全身画像特徴量を抽出して、人物特徴保存部１６０へ出力する。全身画像特徴量抽出部１４０は、全身画像を受け付けると、全身画像特徴量（Ｘ１）を抽出し、カメラ画像の全身画像特徴量を人物特徴保存部１６０へ出力する。
この際、全身画像特徴量抽出部１４０は、データベース２００のカメラごとの補正値を参照し、全身画像特徴量に補正値を乗じることで、全身画像特徴量を補正する（×補正値）。なお、当該補正は、後述するように、全身画像特徴量の類似度に対して実施するようにしてもよい。
具体的には、全身画像特徴量抽出部１４０は、カメラ画像取得部１１０が取得したカメラ画像の全身画像から全身画像特徴量を抽出して、人物特徴保存部１６０へ出力する。全身画像特徴量抽出部１４０は、全身画像を受け付けると、全身画像特徴量（Ｘ１）を抽出し、カメラ画像の全身画像特徴量を人物特徴保存部１６０へ出力する。
この際、全身画像特徴量抽出部１４０は、データベース２００のカメラごとの補正値を参照し、全身画像特徴量に補正値を乗じることで、全身画像特徴量を補正する（×補正値）。なお、当該補正は、後述するように、全身画像特徴量の類似度に対して実施するようにしてもよい。
【0037】
顔画像抽出部１３０は、カメラ画像取得部１１０からカメラ画像を受け付け、受け付けた画像から人物の顔画像７０２を抽出する（ステップＳＴ４０）。ステップＳＴ４０において、顔画像抽出部１３０は、全身画像抽出部１２０により抽出された全身画像を受け付けてもよい。
顔画像抽出部１３０は、顔画像７０２を顔画像特徴量抽出部１５０へ出力する。
顔画像抽出部１３０は、顔画像７０２を顔画像特徴量抽出部１５０へ出力する。
【0038】
顔画像特徴量抽出部１５０は、顔画像特徴量を抽出する（ステップＳＴ５０）。
顔画像特徴量抽出部１５０は、顔画像抽出部１３０により抽出された顔画像から顔画像特徴量を抽出する。
具体的には、顔画像特徴量抽出部１５０は、カメラ画像取得部１１０が取得したカメラ画像の顔画像から顔画像特徴量を抽出して、人物特徴保存部１６０へ出力する。顔画像特徴量抽出部１５０は、顔画像を受け付けると、顔画像特徴量（Ｙ１）を抽出し、顔画像特徴量を人物特徴保存部１６０へ出力する。
顔画像特徴量抽出部１５０は、顔画像抽出部１３０により抽出された顔画像から顔画像特徴量を抽出する。
具体的には、顔画像特徴量抽出部１５０は、カメラ画像取得部１１０が取得したカメラ画像の顔画像から顔画像特徴量を抽出して、人物特徴保存部１６０へ出力する。顔画像特徴量抽出部１５０は、顔画像を受け付けると、顔画像特徴量（Ｙ１）を抽出し、顔画像特徴量を人物特徴保存部１６０へ出力する。
【0039】
人物特徴保存部１６０は、全身画像と顔画像の特徴量をペアでデータベース２００に保存する（ステップＳＴ６０）。
具体的には、人物特徴保存部１６０は、カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけた、セット情報を、データベース２００に保存する。
具体的には、人物特徴保存部１６０は、カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけた、セット情報を、データベース２００に保存する。
【0040】
セット情報をデータベース２００に保存すると、次回の処理開始まで待機する。
【0041】
次に、人物検索処理について説明する。
図５は、本開示の実施の形態１に係る人物検索装置１００における人物検索処理を示すフローチャートである。
人物検索装置１００は、例えば、図示しない制御部が処理を開始する指令を受けると、処理を開始する。
人物検索部１９０は、監視端末３００から検索要求受け付けるとともに、検索対象の人物を含む特定人物画像を取得する（ステップＳＴ１１０）。
人物検索部１９０は、特定人物画像を、全身画像抽出部１２０および顔画像抽出部１３０へ出力する。
図５は、本開示の実施の形態１に係る人物検索装置１００における人物検索処理を示すフローチャートである。
人物検索装置１００は、例えば、図示しない制御部が処理を開始する指令を受けると、処理を開始する。
人物検索部１９０は、監視端末３００から検索要求受け付けるとともに、検索対象の人物を含む特定人物画像を取得する（ステップＳＴ１１０）。
人物検索部１９０は、特定人物画像を、全身画像抽出部１２０および顔画像抽出部１３０へ出力する。
【0042】
全身画像抽出部１２０は、例えば、監視端末３００から特定人物画像を受け付け、受け付けた特定人物画像から人物の全身画像７０１を抽出する（ステップＳＴ１２０）。
【0043】
全身画像特徴量抽出部１４０は、全身画像特徴量を抽出する（ステップＳＴ１３０）
具体的には、全身画像特徴量抽出部１４０は、特定人物画像の全身画像を受け付けると、全身画像特徴量（Ｘ１）を抽出し、特定人物画像の全身画像特徴量を類似度算出部１７０へ出力する。
具体的には、全身画像特徴量抽出部１４０は、特定人物画像の全身画像を受け付けると、全身画像特徴量（Ｘ１）を抽出し、特定人物画像の全身画像特徴量を類似度算出部１７０へ出力する。
【0044】
類似度算出部１７０は、検索対象の人物の全身画像と、データベース２００内の全身画像との類似度を算出する（ステップＳＴ１４０）
具体的には、類似度算出部１７０は、検索対象の人物が示された特定人物画像における人物の全身画像特徴量を取得すると、データベース２００を参照して、特定人物画像の全身画像特徴量とデータベース２００に保存された全身画像特徴量との類似度を示す第１類似度を算出する。
この際、類似度算出部１７０は、データベース２００のカメラごとの補正値を参照し、第１類似度に補正値を乗じることで、第１類似度を補正する（×補正値）。なお、当該補正は、上述した全身画像特徴量に対して実施するようにしてもよい。
具体的には、類似度算出部１７０は、検索対象の人物が示された特定人物画像における人物の全身画像特徴量を取得すると、データベース２００を参照して、特定人物画像の全身画像特徴量とデータベース２００に保存された全身画像特徴量との類似度を示す第１類似度を算出する。
この際、類似度算出部１７０は、データベース２００のカメラごとの補正値を参照し、第１類似度に補正値を乗じることで、第１類似度を補正する（×補正値）。なお、当該補正は、上述した全身画像特徴量に対して実施するようにしてもよい。
【0045】
顔画像抽出部１３０は、例えば、監視端末３００から特定人物画像を受け付け、受け付けた特定人物画像から人物の顔画像７０２を抽出する（ステップＳＴ１５０）。
【0046】
顔画像特徴量抽出部１５０は、顔画像特徴量を抽出する（ステップＳＴ１６０）
具体的には、顔画像特徴量抽出部１５０は、特定人物画像の顔画像から顔画像特徴量を抽出して、類似度算出部１７０へ出力する。この場合、顔画像特徴量抽出部１５０は、顔画像を受け付けると、例えば、顔画像特徴量（Ｙ１）を抽出し、特定人物画像の顔画像特徴量を類似度算出部１７０へ出力する。
具体的には、顔画像特徴量抽出部１５０は、特定人物画像の顔画像から顔画像特徴量を抽出して、類似度算出部１７０へ出力する。この場合、顔画像特徴量抽出部１５０は、顔画像を受け付けると、例えば、顔画像特徴量（Ｙ１）を抽出し、特定人物画像の顔画像特徴量を類似度算出部１７０へ出力する。
【0047】
類似度算出部１７０は、検索対象の人物の顔画像と、データベース２００内の顔画像との類似度を算出する（ステップＳＴ１７０）。
具体的には、類似度算出部１７０は、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、データベース２００を参照して、特定人物画像の顔画像特徴量とデータベース２００に保存された顔画像特徴量との類似度を示す第２類似度を算出する。類似度算出部１７０は、第１類似度および第２類似度と併せて、算出に用いたセット情報を分類部１８０へ出力する。
具体的には、類似度算出部１７０は、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、データベース２００を参照して、特定人物画像の顔画像特徴量とデータベース２００に保存された顔画像特徴量との類似度を示す第２類似度を算出する。類似度算出部１７０は、第１類似度および第２類似度と併せて、算出に用いたセット情報を分類部１８０へ出力する。
【0048】
分類部１８０は、類似度と閾値とを比較し、分類する（ステップＳＴ１８０）
具体的には、分類部１８０は、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する。
分類部１８０は、判定結果を用いて、全身画像特徴量、顔画像特徴量、撮影情報、および、サムネイル画像のセットを分類し、分類した結果に応じて、分類１から分類４を示す分類情報とともにセットした情報（セット情報）を出力する。
具体的には、分類部１８０は、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する。
分類部１８０は、判定結果を用いて、全身画像特徴量、顔画像特徴量、撮影情報、および、サムネイル画像のセットを分類し、分類した結果に応じて、分類１から分類４を示す分類情報とともにセットした情報（セット情報）を出力する。
【0049】
人物検索部１９０は、分類部１８０の判定結果を用いて、分類１および分類２から検索結果１を選出する（ステップＳＴ１９０）。
【0050】
人物検索部１９０は、検索対象の人物が存在する画像および撮影情報を選出する（ステップＳＴ２００）
具体的には、人物検索部１９０は、データベース２００から、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。
これにより、検索対象の人物が存在する可能性があるカメラと時間範囲が絞り込まれる。
具体的には、人物検索部１９０は、データベース２００から、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。
これにより、検索対象の人物が存在する可能性があるカメラと時間範囲が絞り込まれる。
【0051】
人物検索部１９０は、さらに、分類３から、検索対象の人物が存在する可能性があるカメラと時間範囲の条件を満たす、検索結果２を選出する（ステップＳＴ２１０）。
【0052】
人物検索部１９０は、検索結果を出力する（ステップＳＴ２２０）。
具体的には、人物検索部１９０は、分類１および分類２のセット情報および選び出した分類３のセット情報を用いて、カメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。人物検索部１９０は、特定人物撮影情報を検索結果として出力する。
具体的には、人物検索部１９０は、分類１および分類２のセット情報および選び出した分類３のセット情報を用いて、カメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する。人物検索部１９０は、特定人物撮影情報を検索結果として出力する。
【0053】
ここで、ステップＳＴ１８０のさらに詳細な処理を説明する。
図６は、図５におけるＳＴ１８０における詳細な処理を示すフローチャートである。
分類部１８０は、例えば、類似度算出部１７０が第１類似度および第２類似度を算出すると処理を開始する。
図６は、図５におけるＳＴ１８０における詳細な処理を示すフローチャートである。
分類部１８０は、例えば、類似度算出部１７０が第１類似度および第２類似度を算出すると処理を開始する。
【0054】
分類部１８０は、第２類似度が第２閾値を超えるか（第２類似度＞第２閾値？）を判定する（ステップＳＴ１８１）。
分類部１８０は、ステップＳＴ１８１において、第２類似度が第２閾値を超える場合（ステップＳＴ１８１“ＹＥＳ”）、第１類似度が第１閾値を超えるか（第１類似度＞第１閾値？）を判定する（ステップＳＴ１８２）。
分類部１８０は、ステップＳＴ１８２において、第１類似度が第１閾値を超える場合（ステップＳＴ１８２“ＹＥＳ”）、セット情報を分類１に分類する（ステップＳＴ１８３）。
分類部１８０は、ステップＳＴ１８２において、第１類似度が第１閾値を超えない場合（ステップＳＴ１８２“ＮＯ”）、セット情報を分類２に分類する（ステップＳＴ１８４）。
分類部１８０は、ステップＳＴ１８１において、第２類似度が第２閾値を超える場合（ステップＳＴ１８１“ＹＥＳ”）、第１類似度が第１閾値を超えるか（第１類似度＞第１閾値？）を判定する（ステップＳＴ１８２）。
分類部１８０は、ステップＳＴ１８２において、第１類似度が第１閾値を超える場合（ステップＳＴ１８２“ＹＥＳ”）、セット情報を分類１に分類する（ステップＳＴ１８３）。
分類部１８０は、ステップＳＴ１８２において、第１類似度が第１閾値を超えない場合（ステップＳＴ１８２“ＮＯ”）、セット情報を分類２に分類する（ステップＳＴ１８４）。
【0055】
分類部１８０は、ステップＳＴ１８１において、第２類似度が第２閾値を超えない場合（ステップＳＴ１８１“ＮＯ”）、第１類似度が第１閾値を超えるか（第１類似度＞第１閾値？）を判定する（ステップＳＴ１８５）。
分類部１８０は、ステップＳＴ１８５において、第１類似度が第１閾値を超える場合（ステップＳＴ１８５“ＹＥＳ”）、セット情報を分類３に分類する（ステップＳＴ１８６）。
分類部１８０は、ステップＳＴ１８５において、第１類似度が第１閾値を超えない場合（ステップＳＴ１８５“ＮＯ”）、セット情報を分類４に分類する（ステップＳＴ１８７）。
分類部１８０は、ステップＳＴ１８５において、第１類似度が第１閾値を超える場合（ステップＳＴ１８５“ＹＥＳ”）、セット情報を分類３に分類する（ステップＳＴ１８６）。
分類部１８０は、ステップＳＴ１８５において、第１類似度が第１閾値を超えない場合（ステップＳＴ１８５“ＮＯ”）、セット情報を分類４に分類する（ステップＳＴ１８７）。
【0056】
以上説明したように、特定人物画像に示される人物の顔特徴と類似している顔特徴を有する画像が撮影された領域および時間帯の画像を検索することができる。そして、普遍的な特徴量を用いた顔認証により同一人物の保証を得たうえで、検索されたカメラ画像の日時、カメラ位置、カメラの隣接関係及び相対距離等の情報から同一人物が存在する可能性があるカメラと時間範囲の絞込みを行ったうえで、全身画像特徴量の類似度による人物同定を行うことにより、特定人物の人物検索の高速化及び高精度化の効果が得られる。
【0057】
ここで、本開示の人物検索装置の変形例を説明する。
本開示においては、図２に示す人物検索装置１００および人物検索システム１を、人物検索装置１００の負荷低減を目的として、負荷分散させる構成にしてもよい。
図７は、本開示の実施の形態１に係る人物検索装置１００´を含む人物検索システム１´´の構成の変形例１を示す図である。
図８は、本開示の実施の形態１に係る人物検索装置１００´´を含む人物検索システム１´´´´の構成の変形例２を示す図である。
本開示においては、図２に示す人物検索装置１００および人物検索システム１を、人物検索装置１００の負荷低減を目的として、負荷分散させる構成にしてもよい。
図７は、本開示の実施の形態１に係る人物検索装置１００´を含む人物検索システム１´´の構成の変形例１を示す図である。
図８は、本開示の実施の形態１に係る人物検索装置１００´´を含む人物検索システム１´´´´の構成の変形例２を示す図である。
【0058】
図７に示す人物検索システム１´は、図２に示す人物検索装置１００から、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、および、顔画像特徴量抽出部１５０を取り出して画像解析装置１０２に変形したものである。
図７に示す人物検索装置１００´によれば、人物検索装置１００´の処理負荷の分散、および、人物検索装置１００´への入力がカメラの映像ストリームから全身画像、顔画像、全身画像特徴量及び顔画像特徴量となることで、伝送帯域の削減効果が期待できる。
図７に示す人物検索装置１００´によれば、人物検索装置１００´の処理負荷の分散、および、人物検索装置１００´への入力がカメラの映像ストリームから全身画像、顔画像、全身画像特徴量及び顔画像特徴量となることで、伝送帯域の削減効果が期待できる。
【0059】
図８に示す、人物検索システム１´´は、図２に示す人物検索装置１００から、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、および、顔画像特徴量抽出部１５０を取り出して、カメラ４００´´内において処理する構成に変形したものである。
これにより、処理負荷が分散され、安価なＣＰＵで人物検索装置１００´´を実現させることができる。また、伝送帯域を抑制できる。
これにより、処理負荷が分散され、安価なＣＰＵで人物検索装置１００´´を実現させることができる。また、伝送帯域を抑制できる。
【0060】
【0061】
上述した通り、本開示に係る人物検索装置は、複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置であって、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、特定人物画像の全身画像特徴量とデータベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する、分類部と、分類部の判定結果を用いて、データベースから、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する、人物検索部と、を備えるように構成した。
これにより、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索装置を提供することができる、という効果を奏する。
これにより、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索装置を提供することができる、という効果を奏する。
【0062】
本開示に係る人物検索装置は、さらに、人物検索部は、さらに、特定人物撮影情報と、当該特定人物撮影情報のカメラ識別情報に示されるカメラが撮影した画像とを、検索を要求した監視端末へ出力する、ように構成した。
これにより、検索結果に画像を含めた検索結果を提示する、人物検索装置を提供できる、という効果を奏する。
これにより、検索結果に画像を含めた検索結果を提示する、人物検索装置を提供できる、という効果を奏する。
【0063】
本開示に係る人物検索装置は、さらに、カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけて、データベースに保存する、人物特徴保存部を備える、ように構成した
これにより、データベースのデータを追加および更新する、人物検索装置を提供できる、という効果を奏する。
これにより、データベースのデータを追加および更新する、人物検索装置を提供できる、という効果を奏する。
【0064】
本開示に係る人物検索装置は、さらに、受け付けた画像から全身画像を抽出する全身画像抽出部と、受け付けた画像から顔画像を抽出する顔画像抽出部と、全身画像抽出部により抽出された全身画像から全身画像特徴量を抽出する全身画像特徴算出部と、顔画像抽出部により抽出された顔画像から顔画像特徴量を抽出する顔画像特徴算出部と、を、さらに備え、類似度算出部は、全身画像特徴算出部から全身画像特徴量を取得するとともに、顔画像特徴算出部から顔画像特徴量を取得する、ように構成した。
これにより、特定人物画像による検索要求を受け付ける、人物検索装置を提供できる、という効果を奏する。
これにより、特定人物画像による検索要求を受け付ける、人物検索装置を提供できる、という効果を奏する。
【0065】
本開示に係る人物検索装置は、さらに、複数のカメラにより撮影された画像および撮影情報を取得する、カメラ画像取得部と、カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけて、データベースに保存する、人物特徴保存部と、を備え、全身画像抽出部は、カメラ画像取得部が取得した画像から全身画像を抽出し、顔画像抽出部は、カメラ画像取得部が取得した画像から顔画像を抽出し、全身画像特徴算出部は、カメラ画像取得部が取得した画像の全身画像から全身画像特徴量を抽出して、人物特徴保存部へ出力し、顔画像特徴算出部は、カメラ画像取得部が取得した画像の顔画像から顔画像特徴量を抽出して、人物特徴保存部へ出力する、ように構成した。
これにより、カメラからの画像を取得してデータベースのデータを追加および更新する、人物検索装置を提供できる、という効果を奏する。
これにより、カメラからの画像を取得してデータベースのデータを追加および更新する、人物検索装置を提供できる、という効果を奏する。
【0066】
本開示に係る人物検索装置は、さらに、人物検索部は、特定人物撮影情報を生成する際に、同一のカメラを示すカメラ識別情報が複数含まれる場合、同一のカメラを示すカメラ識別情報を、所定の時間間隔ごとに間引きする、ように構成した。
これにより、特定のカメラや時間帯に偏りにくい検索結果を出力する、人物検索装置を提供できる、という効果を奏する。
これにより、特定のカメラや時間帯に偏りにくい検索結果を出力する、人物検索装置を提供できる、という効果を奏する。
【0067】
本開示に係る人物検索システムは、監視端末からの検索要求にしたがって、複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置を有する人物検索システムであって、監視端末と、複数のカメラと、人物検索装置とを有し、人物検索装置は、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、特定人物画像の全身画像特徴量とデータベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する、分類部と、分類部の判定結果を用いて、データベースから、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する、人物検索部と、を備えたことを特徴とする、ように構成した。
これにより、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索システムを提供することができる、という効果を奏する。
これにより、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索システムを提供することができる、という効果を奏する。
【0068】
本開示に係る人物検索プログラムは、コンピュータを、複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置として動作させる人物検索プログラムであって、コンピュータを、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、特定人物画像の全身画像特徴量とデータベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース内の顔画像特徴量との類似度を示す第２類似度を算出する類似度算出部と、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する、分類部と、分類部の判定結果を用いて、データベースから、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、当該領域内のカメラ識別情報および当該時間帯を含む特定人物撮影情報を生成する、人物検索部と、して動作させる、ように構成した。
これにより、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索プログラムを提供することができる、という効果を奏する。
これにより、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索プログラムを提供することができる、という効果を奏する。
【0069】
実施の形態２．
実施の形態２は、実施の形態１において、さらに、監視カメラの設置位置、画角及び外光差異等による見え方の違いまたは服装の違いにより生じる全身画像特徴量の差異を調整することで、人物検索の精度向上を図る形態を示す。
図９は、本開示の実施の形態２に係る人物検索装置１０１を含む人物検索システム２の構成を示す図である。
図９に示す人物検索システム２は、実施の形態１に示した人物検索装置１００を、人物検索装置１０１に変更した点が異なる。具体的には、全身画像特徴量補正部１４５を備えた点が異なる。
また、図９に示す人物検索システム２は、実施の形態１に示したデータベース２００を、データベース２０２に変更した点が異なる。具体的には、データベース２０２は、特徴量差分判定閾値（第３閾値）２８０を有する点で異なる。
そこで、以下、説明においては、人物検索システム２における、全身画像特徴量補正部１４５およびデータベース２０２に係る説明を行い、既に説明した内容については適宜省略する。
実施の形態２は、実施の形態１において、さらに、監視カメラの設置位置、画角及び外光差異等による見え方の違いまたは服装の違いにより生じる全身画像特徴量の差異を調整することで、人物検索の精度向上を図る形態を示す。
図９は、本開示の実施の形態２に係る人物検索装置１０１を含む人物検索システム２の構成を示す図である。
図９に示す人物検索システム２は、実施の形態１に示した人物検索装置１００を、人物検索装置１０１に変更した点が異なる。具体的には、全身画像特徴量補正部１４５を備えた点が異なる。
また、図９に示す人物検索システム２は、実施の形態１に示したデータベース２００を、データベース２０２に変更した点が異なる。具体的には、データベース２０２は、特徴量差分判定閾値（第３閾値）２８０を有する点で異なる。
そこで、以下、説明においては、人物検索システム２における、全身画像特徴量補正部１４５およびデータベース２０２に係る説明を行い、既に説明した内容については適宜省略する。
【0070】
人物検索システム２における人物検索装置１０１は、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、全身画像特徴量補正部１４５、および、図示しない制御部等を備える。
【0071】
全身画像特徴量補正部１４５は、全身画像特徴量抽出部１４０が全身画像特徴量を算出する際に、全身画像特徴量を補正する補正値２４０に対し、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量を用いて、補正値２４０を修正する。
【0072】
具体的には、全身画像特徴量補正部１４５は、分類部１８０により出力されたセット情報のうち、分類１および分類２を示す分類情報が付されたセット情報を取得する。
全身画像特徴量補正部１４５は、例えば、分類１および分類２の全身画像特徴量の類似度が最も高い結果を基準に、他の全身画像特徴量もしくは類似度が同程度となるよう重みづけし、カメラ４００（４００－１，４００－２，４００－３，・・・，４００－ｎ）ごとの補正値を算出する。全身画像特徴量補正部１４５は、複数回の算出結果を統計処理して、カメラ４００（４００－１，４００－２，４００－３，・・・，４００－ｎ）ごとの補正値を確定し、データベース２０２に保存された補正値２４０を更新する。
統計処理は、例えば、複数の補正値の平均値を算出するなど、複数回の算出結果から尤もらしい補正値を導出する統計処理を行うように設定されていればよい。
全身画像特徴量補正部１４５は、例えば、分類１および分類２の全身画像特徴量の類似度が最も高い結果を基準に、他の全身画像特徴量もしくは類似度が同程度となるよう重みづけし、カメラ４００（４００－１，４００－２，４００－３，・・・，４００－ｎ）ごとの補正値を算出する。全身画像特徴量補正部１４５は、複数回の算出結果を統計処理して、カメラ４００（４００－１，４００－２，４００－３，・・・，４００－ｎ）ごとの補正値を確定し、データベース２０２に保存された補正値２４０を更新する。
統計処理は、例えば、複数の補正値の平均値を算出するなど、複数回の算出結果から尤もらしい補正値を導出する統計処理を行うように設定されていればよい。
【0073】
この機能を有する場合の処理を説明する。
図１０は、本開示の実施の形態２に係る人物検索装置１０１における補正値更新処理を示すフローチャートである。
実施の形態２の人物検索装置１０１は、例えば、図５におけるステップＳＴ２１０が終わると、ステップＳＴ３１０へ進む。
全身画像特徴量補正部１４５は、データベース２０２から分類１および分類２に分類された画像の全身画像特徴量を抽出する（ステップＳＴ３１０）。
全身画像特徴量補正部１４５は、全身画像特徴量を用いて補正値を算出するとともに、複数回の算出結果を統計処理する（ステップＳＴ３２０）。
全身画像特徴量補正部１４５は、統計処理の結果により補正値を確定する（ステップＳＴ３３０）。
全身画像特徴量補正部１４５は、補正値を更新する（ステップＳＴ３４０）。
図１０は、本開示の実施の形態２に係る人物検索装置１０１における補正値更新処理を示すフローチャートである。
実施の形態２の人物検索装置１０１は、例えば、図５におけるステップＳＴ２１０が終わると、ステップＳＴ３１０へ進む。
全身画像特徴量補正部１４５は、データベース２０２から分類１および分類２に分類された画像の全身画像特徴量を抽出する（ステップＳＴ３１０）。
全身画像特徴量補正部１４５は、全身画像特徴量を用いて補正値を算出するとともに、複数回の算出結果を統計処理する（ステップＳＴ３２０）。
全身画像特徴量補正部１４５は、統計処理の結果により補正値を確定する（ステップＳＴ３３０）。
全身画像特徴量補正部１４５は、補正値を更新する（ステップＳＴ３４０）。
【0074】
これにより、カメラ４００（４００－１，４００－２，４００－３，・・・，４００－ｎ）ごとの画角や外光変化による全身画像特徴量のばらつきを、顔認証との連携により補正することで、全身画像による人物同定の精度を向上させることができる。
【0075】
以下、実施の形態２に係る人物検索装置１０１を含む人物検索システム２の構成の説明に戻る。
データベース２０２は、プログラム２１０、全身情報２２０、顔情報２３０、補正値２４０、全身の類似度判定閾値（第１閾値）２５０、顔の類似度判定閾値（第２閾値）２６０、および、撮影情報２７０に加え、さらに、特徴量差分判定閾値（第３閾値）２８０を有している。
特徴量差分判定閾値（第３閾値）２８０は、顔画像の類似度が高く、特定人物画像の人物と同一人物である可能性が高い場合に、全身画像特徴量の差異が、撮影したカメラの違い等による見え方の違いまたは服装の違いであるかどうかを判定する際に用いられる。
全身画像特徴量補正部１４５は、さらに、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量と、特定人物画像の全身画像特徴量との差分値が、特徴量差分判定閾値（第３閾値）２８０を超えた場合、特定人物画像の全身画像特徴量を、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換える。
データベース２０２は、プログラム２１０、全身情報２２０、顔情報２３０、補正値２４０、全身の類似度判定閾値（第１閾値）２５０、顔の類似度判定閾値（第２閾値）２６０、および、撮影情報２７０に加え、さらに、特徴量差分判定閾値（第３閾値）２８０を有している。
特徴量差分判定閾値（第３閾値）２８０は、顔画像の類似度が高く、特定人物画像の人物と同一人物である可能性が高い場合に、全身画像特徴量の差異が、撮影したカメラの違い等による見え方の違いまたは服装の違いであるかどうかを判定する際に用いられる。
全身画像特徴量補正部１４５は、さらに、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量と、特定人物画像の全身画像特徴量との差分値が、特徴量差分判定閾値（第３閾値）２８０を超えた場合、特定人物画像の全身画像特徴量を、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換える。
【0076】
具体的には、全身画像特徴量補正部１４５は、分類部１８０により出力されたセット情報のうち、分類２を示す分類情報が付されたセット情報を取得する。
全身画像特徴量補正部１４５は、分類２のセット情報のうち、セット情報の全身画像特徴量と、特定人物画像の全身画像特徴量との差分値が、全身特徴量差分判定閾値（第３閾値）を超えるかを判定する。
全身画像特徴量補正部１４５は、差分値が第３閾値を超えた場合、差分値の算出に用いた特定人物画像の全身画像特徴量を、データベース２０２における、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換えて、特定人物画像の第２全身画像特徴量とする。
全身画像特徴量補正部１４５は、分類２のセット情報のうち、セット情報の全身画像特徴量と、特定人物画像の全身画像特徴量との差分値が、全身特徴量差分判定閾値（第３閾値）を超えるかを判定する。
全身画像特徴量補正部１４５は、差分値が第３閾値を超えた場合、差分値の算出に用いた特定人物画像の全身画像特徴量を、データベース２０２における、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換えて、特定人物画像の第２全身画像特徴量とする。
【0077】
これにより、類似度算出部１７０は、特定人物画像の第２全身画像特徴量と、データベース２０２内の全身画像特徴量との類似度（第３類似度）を算出する。分類部１８０は、第３類似度が第１閾値を超えるかを判定してセット情報を分類する。人物検索部１９０は、第３類似度が第１閾値を超えた全身画像特徴量を有するセット情報を、データベース２０２から選び出し、検索結果として出力する。
【0078】
この機能を有する場合の処理を説明する。
図１１は、本開示の実施の形態２に係る人物検索装置１０１における全身画像特徴量を用いて画像を抽出する処理を示すフローチャートである。
実施の形態２の人物検索装置１０１は、例えば、図５におけるステップＳＴ２１０が終わると、ステップＳＴ４１０へ進む。
全身画像特徴量補正部１４５は、データベース２０２から、分類２に分類された画像の全身画像特徴量を抽出する（ステップＳＴ４１０）。
全身画像特徴量補正部１４５は、検索対象の人物画像（特定人物画像）の全身画像特徴量とデータベース２０２の全身画像特徴量との差分値が第３閾値を超えるか（差分値＞第３閾値）を判定する（ステップＳＴ４２０）。
全身画像特徴量補正部１４５は、第２全身画像特徴量を決定する（ステップＳＴ４３０）。全身画像特徴量補正部１４５は、第２全身画像特徴量を類似度算出部１７０へ出力する。
類似度算出部１７０は、特定人物画像の第２全身画像特徴量と、ステップＳＴ２００において選出した撮影情報に紐づけられた全身画像特徴量との類似度（第３類似度）を算出する。類似度算出部１７０は、第３類似度と併せて、算出に用いたセット情報を分類部１８０へ出力する。
分類部１８０は、第３類似度が第１閾値を超えるかを判定し、判定結果を用いて、実施の形態１と同様に、セット情報を分類する。分類部１８０は、実施の形態１に説明した第１類似度に替えて第３類似度を用いて分類する。
人物検出部は、分類２のセット情報から、第３類似度が第１閾値を超えるセット情報を、検索結果３として選出する（ステップＳＴ４５０）。
ステップＳＴ４５０の処理が終わると、人物検索装置１０１において、ステップＳＴ２２０へ処理が移る。
ステップＳＴ２２０において、人物検索部１９０は、検索結果３を含めた検索結果を出力する。
図１１は、本開示の実施の形態２に係る人物検索装置１０１における全身画像特徴量を用いて画像を抽出する処理を示すフローチャートである。
実施の形態２の人物検索装置１０１は、例えば、図５におけるステップＳＴ２１０が終わると、ステップＳＴ４１０へ進む。
全身画像特徴量補正部１４５は、データベース２０２から、分類２に分類された画像の全身画像特徴量を抽出する（ステップＳＴ４１０）。
全身画像特徴量補正部１４５は、検索対象の人物画像（特定人物画像）の全身画像特徴量とデータベース２０２の全身画像特徴量との差分値が第３閾値を超えるか（差分値＞第３閾値）を判定する（ステップＳＴ４２０）。
全身画像特徴量補正部１４５は、第２全身画像特徴量を決定する（ステップＳＴ４３０）。全身画像特徴量補正部１４５は、第２全身画像特徴量を類似度算出部１７０へ出力する。
類似度算出部１７０は、特定人物画像の第２全身画像特徴量と、ステップＳＴ２００において選出した撮影情報に紐づけられた全身画像特徴量との類似度（第３類似度）を算出する。類似度算出部１７０は、第３類似度と併せて、算出に用いたセット情報を分類部１８０へ出力する。
分類部１８０は、第３類似度が第１閾値を超えるかを判定し、判定結果を用いて、実施の形態１と同様に、セット情報を分類する。分類部１８０は、実施の形態１に説明した第１類似度に替えて第３類似度を用いて分類する。
人物検出部は、分類２のセット情報から、第３類似度が第１閾値を超えるセット情報を、検索結果３として選出する（ステップＳＴ４５０）。
ステップＳＴ４５０の処理が終わると、人物検索装置１０１において、ステップＳＴ２２０へ処理が移る。
ステップＳＴ２２０において、人物検索部１９０は、検索結果３を含めた検索結果を出力する。
【0079】
これにより、同一人物の服装の差異等による全身画像特徴量の大きな変化に追随させ、顔認証との連携により特定人物の全身画像特徴量を時間毎に更新するので、全身画像による人物同定の精度を向上させることができる。
【0080】
以上説明したように、普遍的な特徴量である顔画像特徴量の類似度から同一人物の保証を得たうえで、カメラ画角や外光変化による全身画像特徴量のばらつきの補正及び服装差異等による特徴量の変化に対応可能とするので、カメラ間での全身画像による人物同定の精度向上させることができる。
【0081】
本開示に係る人物検索装置は、さらに、全身画像特徴量抽出部は、カメラ画像取得部が取得した画像を受け付けると、カメラ識別情報が示すカメラごとの補正量を用いて補正した全身画像特徴量を算出するものであって、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量を用いて、全身画像特徴量抽出部に用いられる補正量を修正する、全身画像特徴量補正部を、備える、ように構成した。
これにより、カメラ間での全身画像による人物同定の精度をさらに向上させる、人物検索装置を提供できる、という効果を奏する。
これにより、カメラ間での全身画像による人物同定の精度をさらに向上させる、人物検索装置を提供できる、という効果を奏する。
【0082】
本開示に係る人物検索装置は、さらに、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量と、特定人物画像の全身画像特徴量との差分値が、第３閾値を超えた場合、当該特定人物画像の全身画像特徴量を、当該第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換える、全身画像特徴量補正部を、備える、ように構成した。
これにより、カメラ間での全身画像による人物同定の精度をさらに向上させる、人物検索装置を提供できる、という効果を奏する。
これにより、カメラ間での全身画像による人物同定の精度をさらに向上させる、人物検索装置を提供できる、という効果を奏する。
【0083】
実施の形態３．
実施の形態３は、実施の形態１または実施の形態２において用いられた第１閾値および第２閾値を調整する構成を含む形態である。
図１２は、本開示の実施の形態３に係る人物検索装置１０１Ａを含む人物検索システム２Ａの構成を示す図である。
図１２に示す人物検索システム２Ａは、図９に示した人物検索システム２における人物検索装置１０１を、人物検索装置１０１Ａに変更した点でこれまで説明した構成と異なる。具体的には、人物検索装置１０１Ａは、閾値調整部１１１０と再学習判定部１１２０とをさらに備えた点で異なる。
そこで、以下、説明においては、人物検索システム２Ａにおける、閾値調整部１１１０と再学習判定部１１２０に係る説明を中心に記載し、既に説明した内容と重複する説明については適宜省略する。
実施の形態３は、実施の形態１または実施の形態２において用いられた第１閾値および第２閾値を調整する構成を含む形態である。
図１２は、本開示の実施の形態３に係る人物検索装置１０１Ａを含む人物検索システム２Ａの構成を示す図である。
図１２に示す人物検索システム２Ａは、図９に示した人物検索システム２における人物検索装置１０１を、人物検索装置１０１Ａに変更した点でこれまで説明した構成と異なる。具体的には、人物検索装置１０１Ａは、閾値調整部１１１０と再学習判定部１１２０とをさらに備えた点で異なる。
そこで、以下、説明においては、人物検索システム２Ａにおける、閾値調整部１１１０と再学習判定部１１２０に係る説明を中心に記載し、既に説明した内容と重複する説明については適宜省略する。
【0084】
人物検索システム２Ａにおける人物検索装置１０１Ａは、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、全身画像特徴量補正部１４５、閾値調整部１１１０、再学習判定部１１２０、および、図示しない制御部等を備える。
【0085】
閾値調整部１１１０は、第１閾値および第２閾値を自動調整する閾値設定機能を実現する。
図１３は、本開示における閾値調整部１１１０の構成を示す図である。
図１３に示す閾値調整部１１１０は、第１閾値調整部１１１１、および、第２閾値調整部１１１２、を備える。
第１閾値調整部１１１１は、第１閾値を調整して設定する。
具体的には、第１閾値調整部１１１１は、分類部１８０により事前に判定された結果に基づき蓄積された第１の類似度、および、異なる人物それぞれの全身画像特徴量に基づき算出した類似度（異なる人物同士の全身特徴類似度）を用いて、第１閾値を調整して設定する。
図１３は、本開示における閾値調整部１１１０の構成を示す図である。
図１３に示す閾値調整部１１１０は、第１閾値調整部１１１１、および、第２閾値調整部１１１２、を備える。
第１閾値調整部１１１１は、第１閾値を調整して設定する。
具体的には、第１閾値調整部１１１１は、分類部１８０により事前に判定された結果に基づき蓄積された第１の類似度、および、異なる人物それぞれの全身画像特徴量に基づき算出した類似度（異なる人物同士の全身特徴類似度）を用いて、第１閾値を調整して設定する。
【0086】
さらに具体的には、第１閾値調整部１１１１は、まず、第１の類似度の統計値である第１の類似度統計値を算出する。第１閾値調整部１１１１は、分類部１８０による判定結果に基づき、顔画像の類似度のみが閾値を上回る「（分類２）」に分類された人物の全身画像の類似度（第１の類似度）を蓄積する。第１閾値調整部は、続いて、蓄積された第１の類似度を用いて、第１の類似度統計値を算出する。第１の類似度統計値は、例えば、第１の類似度の平均値、または、第１の類似度の加重平均値である。また、第１の類似度統計値は、蓄積された第１の類似度すべてでもよく、蓄積された第１の類似度の一部でもよい。
第１閾値調整部１１１１は、次に、異なる人物同士の全身特徴類似度の統計値である第２の類似度統計値を算出する。第１閾値調整部１１１１は、例えば同時刻において異なるカメラにて撮影された人物を異なる人物であると判定し、異なる人物のそれぞれの全身画像特徴量に基づき全身特徴類似度を算出し、異なる人物同士の全身特徴類似度を蓄積する。第１閾値調整部１１１１は、蓄積された、異なる人物同士の全身特徴類似度を用いて、第２の類似度統計値を算出する。第２の類似度統計値は、例えば、異なる人物同士の全身特徴類似度の平均値、または、異なる人物同士の全身特徴類似度の加重平均値である。また、第２の類似度統計値は、蓄積された異なる人物同士の全身特徴類似度すべてでもよく、蓄積された異なる人物同士の全身特徴類似度の一部でもよい。
第１閾値調整部１１１１は、次に、第１の類似度統計値および第２の類似度統計値を用いて、第１閾値を調整して設定する。第１閾値調整部１１１１は、例えば、第２の類似度統計値 ＜ 第１閾値 ＜ 第１の類似度統計値、といった関係になるように第１閾値を調整して設定する。これは、第２の類似度統計値が異なる人物同士の全身特徴類似度の統計値であると考えられるため、第２の類似度統計値より第１閾値を大きくするといった考え方に基づく。また、第１の類似度統計値が同じ人物の類似度の統計値であると考えられるため、第１の類似度統計値より第１閾値を小さくするといった考え方に基づく。
上記のような構成を有することにより、第１閾値を自動で調整して設定することができる。
第１閾値調整部１１１１は、次に、異なる人物同士の全身特徴類似度の統計値である第２の類似度統計値を算出する。第１閾値調整部１１１１は、例えば同時刻において異なるカメラにて撮影された人物を異なる人物であると判定し、異なる人物のそれぞれの全身画像特徴量に基づき全身特徴類似度を算出し、異なる人物同士の全身特徴類似度を蓄積する。第１閾値調整部１１１１は、蓄積された、異なる人物同士の全身特徴類似度を用いて、第２の類似度統計値を算出する。第２の類似度統計値は、例えば、異なる人物同士の全身特徴類似度の平均値、または、異なる人物同士の全身特徴類似度の加重平均値である。また、第２の類似度統計値は、蓄積された異なる人物同士の全身特徴類似度すべてでもよく、蓄積された異なる人物同士の全身特徴類似度の一部でもよい。
第１閾値調整部１１１１は、次に、第１の類似度統計値および第２の類似度統計値を用いて、第１閾値を調整して設定する。第１閾値調整部１１１１は、例えば、第２の類似度統計値 ＜ 第１閾値 ＜ 第１の類似度統計値、といった関係になるように第１閾値を調整して設定する。これは、第２の類似度統計値が異なる人物同士の全身特徴類似度の統計値であると考えられるため、第２の類似度統計値より第１閾値を大きくするといった考え方に基づく。また、第１の類似度統計値が同じ人物の類似度の統計値であると考えられるため、第１の類似度統計値より第１閾値を小さくするといった考え方に基づく。
上記のような構成を有することにより、第１閾値を自動で調整して設定することができる。
【0087】
第２閾値調整部１１１２は、異なる人物それぞれの顔画像特徴量に基づき算出した類似度（異なる人物同士の顔特徴類似度）を用いて、第２閾値を調整して設定する。
具体的には、第２閾値調整部１１１２は、異なる人物同士の顔特徴類似度の統計値である第３の類似度統計値を算出する。第２閾値調整部１１１２は、例えば同時刻において異なるカメラにて撮影された人物を異なる人物であると判定し、異なる人物のそれぞれの顔画像特徴量に基づき顔特徴類似度を算出し、異なる人物同士の顔特徴類似度を蓄積する。第２閾値調整部１１１２は、蓄積された、異なる人物同士の顔特徴類似度を用いて、第３の類似度統計値を算出する。第３の類似度統計値は、例えば、異なる人物同士の顔特徴類似度の平均値、または、異なる人物同士の顔特徴類似度の加重平均値である。また、第３の類似度統計値は、蓄積された異なる人物同士の顔特徴類似度すべてでもよく、蓄積された異なる人物同士の顔特徴類似度の一部でもよい。
第２閾値調整部１１１２は、次に、第３の類似度統計値を用いて、第２閾値を調整して設定する。第２閾値調整部１１１２は、例えば、第３の類似度統計値 ＜ 第２閾値、といった関係になるように第２閾値を調整して設定する。これは、第３の類似度統計値が異なる人物同士の顔特徴類似度の統計値であると考えられるため、第３の類似度統計値より第２閾値を大きくするといった考え方に基づく。
上記のような構成を有することにより、第２閾値を自動で調整して設定することができる。
具体的には、第２閾値調整部１１１２は、異なる人物同士の顔特徴類似度の統計値である第３の類似度統計値を算出する。第２閾値調整部１１１２は、例えば同時刻において異なるカメラにて撮影された人物を異なる人物であると判定し、異なる人物のそれぞれの顔画像特徴量に基づき顔特徴類似度を算出し、異なる人物同士の顔特徴類似度を蓄積する。第２閾値調整部１１１２は、蓄積された、異なる人物同士の顔特徴類似度を用いて、第３の類似度統計値を算出する。第３の類似度統計値は、例えば、異なる人物同士の顔特徴類似度の平均値、または、異なる人物同士の顔特徴類似度の加重平均値である。また、第３の類似度統計値は、蓄積された異なる人物同士の顔特徴類似度すべてでもよく、蓄積された異なる人物同士の顔特徴類似度の一部でもよい。
第２閾値調整部１１１２は、次に、第３の類似度統計値を用いて、第２閾値を調整して設定する。第２閾値調整部１１１２は、例えば、第３の類似度統計値 ＜ 第２閾値、といった関係になるように第２閾値を調整して設定する。これは、第３の類似度統計値が異なる人物同士の顔特徴類似度の統計値であると考えられるため、第３の類似度統計値より第２閾値を大きくするといった考え方に基づく。
上記のような構成を有することにより、第２閾値を自動で調整して設定することができる。
【0088】
なお、閾値調整部１１１０により閾値調整処理（第１閾値調整処理、第２閾値調整処理）は、任意のタイミングで実施するものでよい。例えば、人物検索システム設置時に実施してもよく、人物検索システム運用時に実施してもよい。また、人物検索システム運用時に実施する場合、予め決められた一定期間ごとに実施してもよく、適宜指令されて実施してもよい。
【0089】
再学習判定部１１２０は、閾値調整部１１１０により第１閾値の調整および設定ができない場合、全身画像特徴量抽出部１４０に対し、全身画像から全身画像特徴量を抽出するための学習処理を実行するよう指令する。
具体的には、再学習判定部１１２０は、閾値調整部１１１０から第１閾値の調整および設定ができない旨の通知を受けると、全身画像特徴量抽出部１４０において事前に学習処理（事前学習処理）により得られていた情報（画像から特徴量を抽出するために用いる情報）の再学習が必要であると判定し、全身画像特徴量抽出部１４０に対して学習処理を実行するよう指令する。
再学習判定部１１２０は、閾値調整部１１１０から上記通知を受ける際に、各類似度の算出に用いられた全身画像を取得し、例えばデータベース２００に蓄積するようにしてもよい。この場合、具体的には、再学習判定部１１２０は、例えば第１の類似度統計値に用いられた第１の類似度の関係（顔画像の類似度のみが閾値を上回る「（分類２）」に分類される関係）にある全身画像同士を、同一人物であると判別可能に蓄積する。これにより、同一人物であると判別されるべき複数の全身画像に対し、同一人物であることを示す真値を付与することになる。また、再学習判定部１１２０は、第２の類似度統計値に用いられた全身特徴類似度の関係にある全身画像同士を、別人物であると判別可能に蓄積する。
再学習判定部１１２０から指令を受けた全身画像特徴量抽出部１４０は、上記蓄積した画像を用いて学習処理を実行する。
学習処理を実行することにより、全身画像特徴量抽出部１４０は、異なる画像に含まれる同一人物である可能性が高い人物の全身画像特徴量それぞれを抽出する際、相互に類似した全身画像特徴量を抽出するようになる。また、全身画像特徴量抽出部１４０は、異なる画像に含まれる別人物である可能性が高い人物の全身画像特徴量それぞれを抽出する際、相互に類似しない全身画像特徴量を抽出するようになる。
その結果、全身画像特徴量抽出部１４０は、より精度よく全身画像特徴量を抽出することができるようになる。
具体的には、再学習判定部１１２０は、閾値調整部１１１０から第１閾値の調整および設定ができない旨の通知を受けると、全身画像特徴量抽出部１４０において事前に学習処理（事前学習処理）により得られていた情報（画像から特徴量を抽出するために用いる情報）の再学習が必要であると判定し、全身画像特徴量抽出部１４０に対して学習処理を実行するよう指令する。
再学習判定部１１２０は、閾値調整部１１１０から上記通知を受ける際に、各類似度の算出に用いられた全身画像を取得し、例えばデータベース２００に蓄積するようにしてもよい。この場合、具体的には、再学習判定部１１２０は、例えば第１の類似度統計値に用いられた第１の類似度の関係（顔画像の類似度のみが閾値を上回る「（分類２）」に分類される関係）にある全身画像同士を、同一人物であると判別可能に蓄積する。これにより、同一人物であると判別されるべき複数の全身画像に対し、同一人物であることを示す真値を付与することになる。また、再学習判定部１１２０は、第２の類似度統計値に用いられた全身特徴類似度の関係にある全身画像同士を、別人物であると判別可能に蓄積する。
再学習判定部１１２０から指令を受けた全身画像特徴量抽出部１４０は、上記蓄積した画像を用いて学習処理を実行する。
学習処理を実行することにより、全身画像特徴量抽出部１４０は、異なる画像に含まれる同一人物である可能性が高い人物の全身画像特徴量それぞれを抽出する際、相互に類似した全身画像特徴量を抽出するようになる。また、全身画像特徴量抽出部１４０は、異なる画像に含まれる別人物である可能性が高い人物の全身画像特徴量それぞれを抽出する際、相互に類似しない全身画像特徴量を抽出するようになる。
その結果、全身画像特徴量抽出部１４０は、より精度よく全身画像特徴量を抽出することができるようになる。
【0090】
ここで、本開示に係る閾値調整処理の例を説明する。以下、第１閾値調整処理の説明、第２閾値調整処理の説明の順に記載する。
図１４は、本開示における第１閾値調整処理の例を示すフローチャートである。
閾値調整部１１１０において第１閾値調整処理を開始すると、第１閾値調整部１１１１は、まず、第１の類似度統計値を算出する（ステップＳＴ５１０）。
具体的には、第１閾値調整部１１１１は、分類部１８０による判定結果に基づき、顔画像の類似度のみが閾値を上回る「（分類２）」に分類された人物の全身画像の類似度（第１の類似度）を蓄積する。このとき、第１の類似度は例えばデータベース２００に蓄積される。第１閾値調整部１１１１は、続いて、蓄積された第１の類似度を用いて、第１の類似度統計値を算出する。
図１４は、本開示における第１閾値調整処理の例を示すフローチャートである。
閾値調整部１１１０において第１閾値調整処理を開始すると、第１閾値調整部１１１１は、まず、第１の類似度統計値を算出する（ステップＳＴ５１０）。
具体的には、第１閾値調整部１１１１は、分類部１８０による判定結果に基づき、顔画像の類似度のみが閾値を上回る「（分類２）」に分類された人物の全身画像の類似度（第１の類似度）を蓄積する。このとき、第１の類似度は例えばデータベース２００に蓄積される。第１閾値調整部１１１１は、続いて、蓄積された第１の類似度を用いて、第１の類似度統計値を算出する。
【0091】
次に、第１閾値調整部１１１１は、第２の類似度統計値を算出する（ステップＳＴ５２０）。
具体的には、第１閾値調整部１１１１は、例えば同時刻において異なるカメラにて撮影された人物を異なる人物であると判定し、異なる人物のそれぞれの全身画像特徴量に基づき全身特徴類似度を算出し、異なる人物同士の全身特徴類似度を蓄積する。このとき、異なる人物同士の全身特徴類似度は例えばデータベース２００に蓄積される。第１閾値調整部１１１１は、蓄積された、異なる人物同士の全身特徴類似度を用いて、第２の類似度統計値を算出する。
具体的には、第１閾値調整部１１１１は、例えば同時刻において異なるカメラにて撮影された人物を異なる人物であると判定し、異なる人物のそれぞれの全身画像特徴量に基づき全身特徴類似度を算出し、異なる人物同士の全身特徴類似度を蓄積する。このとき、異なる人物同士の全身特徴類似度は例えばデータベース２００に蓄積される。第１閾値調整部１１１１は、蓄積された、異なる人物同士の全身特徴類似度を用いて、第２の類似度統計値を算出する。
【0092】
次に、第１閾値調整部１１１１は、第１の類似度統計値および第２の類似度統計値を用いて第１閾値を調整して設定する（ステップＳＴ５３０）。
具体的には、第１閾値調整部１１１１は、第２の類似度統計値 ＜ 第１閾値 ＜ 第１の類似度統計値、の関係になるように第１閾値を調整して設定する。
具体的には、第１閾値調整部１１１１は、第２の類似度統計値 ＜ 第１閾値 ＜ 第１の類似度統計値、の関係になるように第１閾値を調整して設定する。
【0093】
次に、第１閾値調整部１１１１は、調整不可であるかを判定する（ステップＳＴ５４０）。
具体的には、第１閾値調整部１１１１は、上記関係を満たさない、例えば第２の類似度統計値が第１の類似度統計値より大きい場合、に調整不可であると判定する。
具体的には、第１閾値調整部１１１１は、上記関係を満たさない、例えば第２の類似度統計値が第１の類似度統計値より大きい場合、に調整不可であると判定する。
【0094】
次に、第１閾値調整部１１１１は、調整不可であると判定した場合（ステップＳＴ５４０“ＹＥＳ”）、再学習判定部１１２０へ通知する（ステップＳＴ５５０）。
再学習判定部１１２０は、第１閾値調整部１１１１から通知を受けると、全身画像特徴量抽出部１４０に対して学習処理を実行するよう指令する。全身画像特徴量抽出部１４０は、再学習判定部１１２０から学習処理を実行するよう指令を受けると、学習処理を実行する。
再学習判定部１１２０は、第１閾値調整部１１１１から通知を受けると、全身画像特徴量抽出部１４０に対して学習処理を実行するよう指令する。全身画像特徴量抽出部１４０は、再学習判定部１１２０から学習処理を実行するよう指令を受けると、学習処理を実行する。
【0095】
第１閾値調整部１１１１は、再学習判定部１１２０へ通知したあと、ステップＳＴ５１０からの処理を繰り返す。
【0096】
次に、第１閾値調整部１１１１は、調整不可でないと判定した場合（ステップＳＴ５４０“ＮＯ”）、処理を終了する。
【0097】
第２閾値調整処理を説明する。
図１５は、本開示における第２閾値調整処理の例を示すフローチャートである。
閾値調整部１１１０において第２閾値調整処理を開始すると、第２閾値調整部は、まず、第３の類似度統計値を算出する（ステップＳＴ６１０）。
具体的には、第２閾値調整部１１１２は、例えば同時刻において異なるカメラにて撮影された人物を異なる人物であると判定し、異なる人物のそれぞれの顔画像特徴量に基づき顔特徴類似度を算出し、異なる人物同士の顔特徴類似度を蓄積する。このとき、異なる人物同士の顔特徴類似度は例えばデータベース２００に蓄積される。第２閾値調整部１１１２は、蓄積された、異なる人物同士の顔特徴類似度を用いて、第３の類似度統計値を算出する。
図１５は、本開示における第２閾値調整処理の例を示すフローチャートである。
閾値調整部１１１０において第２閾値調整処理を開始すると、第２閾値調整部は、まず、第３の類似度統計値を算出する（ステップＳＴ６１０）。
具体的には、第２閾値調整部１１１２は、例えば同時刻において異なるカメラにて撮影された人物を異なる人物であると判定し、異なる人物のそれぞれの顔画像特徴量に基づき顔特徴類似度を算出し、異なる人物同士の顔特徴類似度を蓄積する。このとき、異なる人物同士の顔特徴類似度は例えばデータベース２００に蓄積される。第２閾値調整部１１１２は、蓄積された、異なる人物同士の顔特徴類似度を用いて、第３の類似度統計値を算出する。
【0098】
第２閾値調整部１１１２は、第３の類似度統計値を用いて第２閾値を調整して設定する（ステップＳＴ６２０）。具体的には、第２閾値調整部１１１２は、例えば、第３の類似度統計値 ＜ 第２閾値、といった関係になるように第２閾値を調整して設定する。
【0099】
第２閾値調整部１１１２は、第２閾値を調整して設定すると、処理を終了する。
【0100】
本開示に係る人物検索装置において、前記閾値調整部は、前記分類部により事前に判定された結果に基づき蓄積された前記第１の類似度、および、異なる人物それぞれの全身画像特徴量に基づき算出した類似度を用いて、前記第１閾値を設定する、ように構成した。
これにより、第１閾値を自動で設定することができる人物検索装置を提供することができる、という効果を奏する。
これにより、第１閾値を自動で設定することができる人物検索装置を提供することができる、という効果を奏する。
【0101】
本開示に係る人物検索装置において、前記閾値調整部は、異なる人物それぞれの顔画像特徴量に基づき算出した類似度を用いて、前記第２閾値を設定する、ように構成した。
これにより、第２閾値を自動で設定することができる人物検索装置を提供することができる、という効果を奏する。
これにより、第２閾値を自動で設定することができる人物検索装置を提供することができる、という効果を奏する。
【0102】
本開示に係る人物検索装置は、前記閾値調整部により前記第１閾値の調整ができない場合、前記全身画像特徴量抽出部に対し、全身画像から全身画像特徴量を抽出するために用いる情報の学習処理を実行するよう指令する再学習判定部、をさらに備える、ように構成した。
これにより、全身画像特徴量抽出部により抽出される全身画像特徴量が適当でない可能性がある場合に、全身画像特徴量抽出部が抽出する全身画像特徴量を調整できる、という効果を奏する。
これにより、全身画像特徴量抽出部により抽出される全身画像特徴量が適当でない可能性がある場合に、全身画像特徴量抽出部が抽出する全身画像特徴量を調整できる、という効果を奏する。
【0103】
ここで、本開示の人物検索装置１００，１０１，１０１Ａのハードウェア構成を説明する。
図１６は、本開示に係る人物検索装置１００，１０１，１０１Ａのハードウェア構成の第１の例を示す図である。
図１７は、本開示に係る人物検索装置１００，１０１，１０１Ａのハードウェア構成の第２の例を示す図である。
実施の形態１（変形例を含む）、または、実施の形態２に係る人物検索装置１００，１０１，１０１Ａはそれぞれ、図１６または図１７に示されるようなハードウェアにより実現される。
図１６は、本開示に係る人物検索装置１００，１０１，１０１Ａのハードウェア構成の第１の例を示す図である。
図１７は、本開示に係る人物検索装置１００，１０１，１０１Ａのハードウェア構成の第２の例を示す図である。
実施の形態１（変形例を含む）、または、実施の形態２に係る人物検索装置１００，１０１，１０１Ａはそれぞれ、図１６または図１７に示されるようなハードウェアにより実現される。
【0104】
人物検索装置１００，１０１，１０１Ａはそれぞれ、図１６に示すように、プロセッサ１０００１、メモリ１０００２により構成される。
プロセッサ１０００１、メモリ１０００２は、例えば、コンピュータに搭載されているものである。
メモリ１０００２には、当該コンピュータを、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、全身画像特徴量補正部１４５、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、閾値調整部１１１０、第１閾値調整部１１１１、第２閾値調整部１１１２、再学習判定部１１２０、および、図示しない制御部として機能させるためのプログラムが記憶されている。メモリ１０００２に記憶されたプログラムをプロセッサ１０００１が読み出して実行することにより、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、顔画像特徴量抽出部１５０、全身画像特徴量補正部１４５、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、閾値調整部１１１０、第１閾値調整部１１１１、第２閾値調整部１１１２、再学習判定部１１２０、および、図示しない制御部の機能が実現される。
また、メモリ１０００２または図示しない他のメモリにより、データベース２００，２０２が実現される。
プロセッサ１０００１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
メモリ１０００２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
プロセッサ１０００１、メモリ１０００２は、例えば、コンピュータに搭載されているものである。
メモリ１０００２には、当該コンピュータを、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、全身画像特徴量補正部１４５、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、閾値調整部１１１０、第１閾値調整部１１１１、第２閾値調整部１１１２、再学習判定部１１２０、および、図示しない制御部として機能させるためのプログラムが記憶されている。メモリ１０００２に記憶されたプログラムをプロセッサ１０００１が読み出して実行することにより、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、顔画像特徴量抽出部１５０、全身画像特徴量補正部１４５、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、閾値調整部１１１０、第１閾値調整部１１１１、第２閾値調整部１１１２、再学習判定部１１２０、および、図示しない制御部の機能が実現される。
また、メモリ１０００２または図示しない他のメモリにより、データベース２００，２０２が実現される。
プロセッサ１０００１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
メモリ１０００２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
【0105】
または、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、全身画像特徴量補正部１４５、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、閾値調整部１１１０、第１閾値調整部１１１１、第２閾値調整部１１１２、再学習判定部１１２０、および、図示しない制御部の機能は、図１７に示すように、専用の処理回路１０００３により実現されるものであっても良い。
処理回路１０００３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等を用いたものである。
なお、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、全身画像特徴量補正部１４５、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、閾値調整部１１１０、第１閾値調整部１１１１、第２閾値調整部１１１２、再学習判定部１１２０、および、図示しない制御部の機能をそれぞれ別の処理回路１０００３で実現しても良いし，まとめて処理回路１０００３で実現しても良い。
処理回路１０００３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等を用いたものである。
なお、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、全身画像特徴量補正部１４５、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、閾値調整部１１１０、第１閾値調整部１１１１、第２閾値調整部１１１２、再学習判定部１１２０、および、図示しない制御部の機能をそれぞれ別の処理回路１０００３で実現しても良いし，まとめて処理回路１０００３で実現しても良い。
【0106】
または、カメラ画像取得部１１０、全身画像抽出部１２０、顔画像抽出部１３０、全身画像特徴量抽出部１４０、全身画像特徴量補正部１４５、顔画像特徴量抽出部１５０、人物特徴保存部１６０、類似度算出部１７０、分類部１８０、人物検索部１９０、閾値調整部１１１０、第１閾値調整部１１１１、第２閾値調整部１１１２、再学習判定部１１２０、および、図示しない制御部のうちの一部の機能がプロセッサ１０００１およびメモリ１０００２により実現され、かつ、残りの機能が処理回路１０００３により実現されるものであっても良い。
【0107】
なお、本開示は、その開示の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0108】
１，１´，１´´，２，２Ａ 人物検索システム、１００，１００´，１００´´，１０１，１０１Ａ 人物検索装置、１０２ 画像解析装置、１１０ カメラ画像取得部、１２０ 全身画像抽出部、１３０ 顔画像抽出部、１４０ 全身画像特徴量抽出部、１４５ 全身画像特徴量補正部、１５０ 顔画像特徴量抽出部、１６０ 人物特徴保存部、１７０ 類似度算出部、１８０ 分類部、１９０ 人物検索部、２００，２０２ データベース、２１０ プログラム、２２０ 全身情報、２３０ 顔情報、２４０ 補正値、２５０ 類似度判定閾値（第１閾値）、２６０ 類似度判定閾値（第２閾値）、２７０ 撮影情報、２８０ 特徴量差分判定閾値（第３閾値）、３００ 監視端末、４００，４００－１，４００－２，４００－３，・・・４００－ｎ，４００´´，４００´´－１，４００´´－２，４００´´－３，・・・４００´´－ｎ カメラ、５００ 画像記録装置、６００ 通信ネットワーク、７００ 画像、７０１ 全身画像、７０２ 顔画像、１１１０ 閾値決定部、１１１１ 第１閾値決定部、１１１２ 第２閾値決定部、１１２０ 再学習判定部、１０００１ プロセッサ、１０００２ メモリ、１０００３ 処理回路、１０００４ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】