知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】人物検索システム
(51)【国際特許分類】
G06F 16/532 20190101AFI20240509BHJP
【ＦＩ】
G06F16/532
【請求項の数】
10
(21)【出願番号】P 2022518452
(86)(22)【出願日】2020-04-27
(86)【国際出願番号】 JP2020018001
(87)【国際公開番号】W WO2021220354
(87)【国際公開日】2021-11-04
【審査請求日】2022-10-13
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】朴 君
【審査官】吉田 誠
(56)【参考文献】
【文献】国際公開第２０１１／０４６１２８（ＷＯ，Ａ１）
【文献】特開２０１３－１４０４７５（ＪＰ，Ａ）
【文献】特開２０１５－１７９４３１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００ － １６／９５８
(57)【特許請求の範囲】
【請求項1】
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出するクエリ人物・所持物画像抽出部と、前記クエリ人物・所持物画像から前記所持物の画像を抽出するクエリ所持物画像抽出部と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出するクエリ人物画像算出部と、
前記クエリ人物画像からクエリ人物特徴量を抽出するクエリ人物特徴量抽出部と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する判定部と、
を備える人物検索システム。
【請求項2】
前記所持物の画像からクエリ所持物特徴量を抽出するクエリ所持物特徴量抽出部を、さらに備え、前記判定部は、前記検索対象の人物と同一人物であると判定された前記登録人物に関連して前記データベースに予め登録された登録所持物特徴量と前記クエリ所持物特徴量とを比較して、前記登録人物が前記検索対象の人物と同一の所持物を所有しているか否かを判定するように構成されている、
請求項１に記載の人物検索システム。
【請求項3】
前記所持物の画像からクエリ所持物特徴量を抽出するクエリ所持物特徴量抽出部と、前記クエリ人物特徴量と前記クエリ所持物特徴量とを統合したクエリ人物・所持物特徴量を算出する統合部とを、さらに備え、
前記判定部は、さらに、前記クエリ人物・所持物特徴量とデータベースに予め登録された登録人物に係る登録人物・所持物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定するように構成されている、
請求項１または２に記載の人物検索システム。
【請求項4】
前記判定部は、前記クエリ人物特徴量と前記登録人物特徴量とに基づいて前記判定を行う人物再特定部と、
前記人物再特定部を機械学習させる学習部と、を備え、
前記学習部は、
学習用の画像から所持物の画像を含んだ人物の画像である学習人物・所持物画像を抽出する学習人物・所持物画像抽出部と、
前記学習人物・所持物画像から前記所持物の画像を抽出する学習所持物画像抽出部と、
前記学習人物・所持物画像中の前記所持物の画像部分に対して、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を施した後の前記学習人物・所持物画像である学習人物画像を算出する学習人物画像算出部と、
前記学習人物画像から前記機械学習に使用する学習人物特徴量を抽出する学習人物特徴量抽出部と、を備える、
請求項１乃至３の何れかに記載の人物検索システム。
【請求項5】
前記クエリ人物・所持物画像抽出部は、前記入力画像から所持物の画像を含んだ検索対象の人物の体全体の画像を前記クエリ人物・所持物画像として抽出する、
請求項１乃至４の何れかに記載の人物検索システム。
【請求項6】
コンピュータが、入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出し、
前記クエリ人物・所持物画像から前記所持物の画像を抽出し、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出し、
前記クエリ人物画像からクエリ人物特徴量を抽出し、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する、人物検索方法。
【請求項7】
前記コンピュータが、
さらに、
前記所持物の画像からクエリ所持物特徴量を抽出し、
前記判定では、さらに、前記検索対象の人物と同一人物であると判定された前記登録人物に関連して前記データベースに予め登録された登録所持物特徴量と前記クエリ所持物特徴量とを比較して、前記登録人物が前記検索対象の人物と同一の所持物を所有しているか否かを判定する、
請求項６に記載の人物検索方法。
【請求項8】
前記コンピュータが、
さらに、
前記所持物の画像からクエリ所持物特徴量を抽出し、
前記クエリ人物特徴量と前記クエリ所持物特徴量とを統合したクエリ人物・所持物特徴量を算出し、
前記判定では、さらに、前記クエリ人物・所持物特徴量とデータベースに予め登録された登録人物に係る登録人物・所持物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する、
請求項６または７に記載の人物検索方法。
【請求項9】
前記コンピュータが、
前記判定では、人物再特定部を使用して前記判定を行う前に、前記人物再特定部を機械学習させ、
前記機械学習では、
学習用の画像から所持物の画像を含んだ人物の画像である学習人物・所持物画像を抽出し、
前記学習人物・所持物画像から前記所持物の画像を抽出し、
前記学習人物・所持物画像中の前記所持物の画像部分に対して、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を施した後の前記学習人物・所持物画像である学習人物画像を算出し、
前記学習人物画像から前記機械学習に使用する学習人物特徴量を抽出する、
請求項６乃至８の何れかに記載の人物検索方法。
【請求項10】
コンピュータに、入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出する処理と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出する処理と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出する処理と、
前記クエリ人物画像からクエリ人物特徴量を抽出する処理と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する処理と、
を行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物検索システム、人物検索方法、および記録媒体に関する。
【背景技術】
【0002】
監視カメラの映像から特定の人物を探し出す装置や方法が提案ないし実用化されている。
【0003】
例えば、特許文献１には、複数の人物の頭部、顔、服装、鞄、バックパック、リュック、帽子、時計などのパーツ毎の特徴量を比較し、各パーツの類似度の総和がある一定の閾値以上である場合に、同一人物であると判定することにより、複数台のカメラの映像から特定の人物の対応付けや、要注意人物として指定した人物の検索を行う技術（以下、関連技術と記す）が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－１３２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上述した関連技術によれば、検索したい人物がバックパックなどの所持物を所持している場合、当該所持物が１つのパーツとして検出されることになる。その結果、所持物の影響を受けて同一人物の検索に失敗することがある。即ち、所持物を全く所持していない同一人物に係る他の画像や、色などが相違する別の所持物を所持している同一人物に係る他の画像が検索結果から漏れてしまうことがある。また、似たような所持物を所持している別の人物の画像が同一人物に係る他の画像として検索されてしまうことがある。
【0006】
本発明の目的は、上述した課題、すなわち、所持物の影響を受けて同一人物の検索に失敗することがある、という課題を解決する人物検索システムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一形態に係る人物検索システムは、
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出するクエリ人物・所持物画像抽出部と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出するクエリ所持物画像抽出部と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出するクエリ人物画像算出部と、
前記クエリ人物画像からクエリ人物特徴量を抽出するクエリ人物特徴量抽出部と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する判定部と、
を備えるように構成されている。
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出するクエリ人物・所持物画像抽出部と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出するクエリ所持物画像抽出部と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出するクエリ人物画像算出部と、
前記クエリ人物画像からクエリ人物特徴量を抽出するクエリ人物特徴量抽出部と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する判定部と、
を備えるように構成されている。
【0008】
また、本発明の他の形態に係る人物検索方法は、
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出し、
前記クエリ人物・所持物画像から前記所持物の画像を抽出し、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出し、
前記クエリ人物画像からクエリ人物特徴量を抽出し、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する、
ように構成されている。
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出し、
前記クエリ人物・所持物画像から前記所持物の画像を抽出し、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出し、
前記クエリ人物画像からクエリ人物特徴量を抽出し、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する、
ように構成されている。
【0009】
また、本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出する処理と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出する処理と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出する処理と、
前記クエリ人物画像からクエリ人物特徴量を抽出する処理と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する処理と、
を行わせるためのプログラムを記録するように構成されている。
コンピュータに、
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出する処理と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出する処理と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出する処理と、
前記クエリ人物画像からクエリ人物特徴量を抽出する処理と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する処理と、
を行わせるためのプログラムを記録するように構成されている。
【発明の効果】
【0010】
本発明は、以上のような構成を有することにより、所持物の影響を受けて同一人物の検索に失敗するのを防止することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の第１の実施形態に係る人物検索システムのブロック図である。
【図2】本発明の第１の実施形態におけるデータベースに保存されている情報の構成例を示す図である。
【図3】本発明の第１の実施形態における人物・所持物画像の例を示す模式図である。
【図4】本発明の第１の実施形態における所持物画像の例を示す模式図である。
【図5】本発明の第１の実施形態における人物画像の例を示す模式図である。
【図6】本発明の第１の実施形態に係る人物検索システムのデータベース更新動作の一例を示すフローチャートである。
【図7】本発明の第１の実施形態に係る人物検索システムの検索動作の一例を示すフローチャートである。
【図8】本発明の第１の実施形態における判定部の一例を示すブロック図である。
【図9】本発明の第２の実施形態に係る人物検索システムのブロック図である。
【図10】本発明の第２の実施形態におけるデータベースに保存されている情報の構成例を示す図である。
【図11】本発明の第２の実施形態に係る人物検索システムのデータベース更新動作の一例を示すフローチャートである。
【図12】本発明の第２の実施形態に係る人物検索システムの検索動作の一例を示すフローチャートである。
【図13】本発明の第２の実施形態における判定部の一例を示すブロック図である。
【図14】本発明の第３の実施形態に係る人物検索システムのブロック図である。
【図15】本発明の第３の実施形態におけるデータベースに保存されている情報の構成例を示す図である。
【図16】本発明の第３の実施形態に係る人物検索システムのデータベース更新動作の一例を示すフローチャートである。
【図17】本発明の第３の実施形態に係る人物検索システムの検索動作の一例を示すフローチャートである。
【図18】本発明の第３の実施形態における判定部の一例を示すブロック図である。
【図19】本発明の人物検索システムのハードウェア構成の一例を示すブロック図である。
【図20】本発明の第４の実施形態に係る人物検索システムのブロック図である。
【発明を実施するための形態】
【0012】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係る人物検索システム１００のブロック図である。図１を参照すると、人物検索システム１００は、カメラ１１０と、画像サーバ１２０と、表示装置１３０と、データベース１４０と、検索装置１５０と、登録装置１６０とを含んで構成されている。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係る人物検索システム１００のブロック図である。図１を参照すると、人物検索システム１００は、カメラ１１０と、画像サーバ１２０と、表示装置１３０と、データベース１４０と、検索装置１５０と、登録装置１６０とを含んで構成されている。
【0013】
カメラ１１０は、防犯・監視の目的のために多くの人物が行きかう街頭、屋内などに設置された撮像装置である。カメラ１１０は、固定された場所から固定された撮像方向で同一或いは異なる撮像領域を撮像してよい。或いはカメラ１１０は、車などの移動体に搭載されて移動しながら同一或いは異なる撮像領域を撮像してよい。カメラ１１０の台数は任意である。１台のカメラ１１０であってもよいし、互いに異なる撮像領域を撮像する２台以上のカメラ１１０が存在していてもよい。カメラ１１０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサを備え、一定のフレームレートで連続して撮像を行うカラーカメラであってよい。
【0014】
画像サーバ１２０は、有線または無線によりカメラ１１０に接続され、カメラ１１０で撮像して得られた時系列の画像から構成される映像（動画）を過去一定期間分蓄積する。画像サーバ１２０は、例えば、カメラ１１０で撮像された画像をフレーム画像の単位で蓄積する。また、画像サーバ１２０は、各々のフレーム画像を、そのフレーム画像を取得したカメラ１１０を一意に識別するカメラＩＤと撮像時刻とに関連付けて蓄積する。
【0015】
表示装置１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの画面表示装置から構成され、検索装置１５０からの指示に応じて、検索結果などの各種情報を画面表示するように構成されている。
【0016】
データベース１４０は、被検索対象となる人物に係る情報を保存する。図２は、データベース１４０に保存されている情報の構成例を示す。この例では、データベース１４０は、カメラＩＤ１４１、撮像時刻１４２、フレーム画像１４３、人物情報１４４から構成されるエントリを複数保存する。カメラＩＤ１４１の項目には、カメラ１１０を一意に識別するカメラＩＤが設定される。撮像時刻１４２およびフレーム画像１４３の各項目には、カメラ１１０の撮像時刻および当該撮像時刻で撮像されたフレーム画像が設定される。人物情報１４４の項目は、フレーム画像１４３から検出された人物の数だけ設けられる。
【0017】
個々の人物情報１４４は、登録人物・所持物画像１４４１と登録所持物画像１４４２と登録人物画像１４４３と登録人物特徴量１４４４とから構成される。登録人物・所持物画像１４４１の項目には、フレーム画像１４３から検出された人物の人物・所持物画像が設定される。人物・所持物画像には、人物が所定の所持物を所持していれば、人物以外の画像に当該所持物の画像が含まれている。所定の所持物は、例えばスーツケース、リュックなどが事前に定義されている。但し、所定の所持物の種類や数は任意である。以下では、バックパックを所定の所持物として説明する。この場合、例えば、人物がバックパックを背負っている人物については、バックパックとそれを所持している人物とが一体となった画像が、登録人物・所持物画像１４４１の項目に設定される。登録所持物画像１４４２の項目には、登録人物・所持物画像１４４１から抽出された所持物の画像が設定される。所定の所持物の画像が存在しない場合、登録所持物画像１４４２はＮＵＬＬである。登録人物画像１４４３の項目には、登録人物・所持物画像１４４１中の登録所持物画像１４４２の画像部分に対して有意な特徴量が抽出されないような加工を施した人物画像が設定される。加工の種類については後述する。登録人物特徴量１４４４の項目には、登録人物画像１４４３から抽出された人物特徴量が設定される。人物特徴量の種類については後述する。
【0018】
検索装置１５０は、カメラ１１０の映像から特定の人物を探し出す装置である。検索装置１５０は、画像取得部１５１、人物・所持物画像抽出部１５２、所持物画像抽出部１５３、人物画像算出部１５４、人物特徴量抽出部１５５、および判定部１５６を備えている。
【0019】
画像取得部１５１は、画像サーバ１２０から映像を構成するフレーム画像を取得する。例えば、画像取得部１５１は、オペレータからの指示に従って、オペレータから指定されたカメラ１１０の指定された撮像時刻のフレーム画像を取得する。或いは、画像取得部１５１は、画像サーバ１２０から自動的にフレーム画像を取得する。画像取得部１５１が取得したフレーム画像は、クエリフレーム画像とも称する。
【0020】
人物・所持物画像抽出部１５２は、クエリフレーム画像から人物・所持物画像を抽出する。人物・所持物画像抽出部１５２は、クエリフレーム画像から自動的に人物・所持物画像を抽出する。或いは、人物・所持物画像抽出部１５２は、クエリフレーム画像上においてオペレータから指定された範囲内の画像を人物・所持物画像として抽出する。図３は、人物・所持物画像の例を示す。この例は、フレーム画像中のバックパックを背負った人物の外接矩形内の画像を人物・所持物画像としている。人物・所持物画像抽出部１５２によって抽出された人物・所持物画像は、クエリ人物・所持物画像とも称する。
【0021】
所持物画像抽出部１５３は、クエリ人物・所持物画像から人物の所持物の画像を抽出する。抽出する所持物は、予め定められている（本例ではバックパック）。所持物画像抽出部１５３は、クエリ人物・所持物画像から自動的に所持物の画像を抽出する。あるいは、所持物画像抽出部１５３は、クエリ人物・所持物画像上においてオペレータから指定された範囲内の画像を所持物画像として抽出する。図４は、図３に示した人物・所持物画像から抽出された所持物画像の例を示す。この例は、バックパックの外接矩形内を所持物画像として抽出している。なお、人物・所持物画像中のバックパックの画像部分を、セグメンテーション処理により所持物画像として抽出してもよい。所持物画像抽出部１５３によって抽出された所持物画像は、クエリ所持物画像とも称する。なお、クエリ人物・所持物画像中に所持物の画像が存在しない場合、即ち人物が所持物を有していなかった場合、クエリ所持物画像は抽出されないことになる。この場合、クエリ所持物画像はＮＵＬＬである。
【0022】
人物画像算出部１５４は、クエリ人物・所持物画像中のクエリ所持物画像の部分に対して、有意な特徴量が抽出されないような加工を施した人物画像を算出する。上記加工の一例は、所持物画像の部分の画素値を値０に置換することである。また、上記加工の他の一例は、所持物画像の部分の画素値の重みを最小値に設定することである。また、上記加工の他の一例は、所持物画像の部分の画素値をランダムな値に置換することである。また、上記加工の他の一例は、所持物画像の部分をノイズ画像に置換することである。図５は、人物画像算出部１５４が算出した人物画像の例を示す。この例は、図３に示される人物・所持物画像中からセグメンテーション処理によりバックパックの画像部分を検出し、そのバックパックの画像部分の画素値を値０に置換している。人物画像算出部１５４によって算出された人物画像は、クエリ人物画像とも称する。
【0023】
人物特徴量抽出部１５５は、クエリ人物画像から人物特徴量を抽出する。抽出する特徴量の種類は、事前に定められている。人物特徴量は、人物の特徴量として使われるものであれば、任意である。例えば、人物特徴量は、人物の輪郭の形状や方向、腕や脚の形状、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主構成要素の大きさ、形状、配置関係などが考えられるが、それら以外であってもよい。人物特徴量抽出部１５５によって抽出された人物特徴量は、クエリ人物特徴量とも称する。
【0024】
判定部１５６は、データベース１４０に保存されている人物の登録人物特徴量１４４４毎に、クエリ人物特徴量と登録人物特徴量１４４４とを比較して、クエリ人物画像の人物が登録人物画像１４４３の人物と同一人物である程度を表すスコアを算出する。比較の対象とする登録人物特徴量１４４４は、データベース１４０に保存されている全ての登録人物特徴量１４４４としてよい。或いは、比較の対象とする登録人物特徴量１４４４は、オペレータの指示で選択された特定のカメラＩＤを有する１または２以上のカメラ１１０のフレーム画像から抽出された人物の登録人物特徴量１４４４としてよい。或いは、比較の対象とする登録人物特徴量１４４４は、オペレータから指定された撮像時刻の時間帯に含まれるフレーム画像から抽出された人物の登録人物特徴量１４４４としてよい。
【0025】
また、判定部１５６は、算出されたスコアに基づいて、検索結果を選択（作成）する。例えば、判定部１５６は、登録人物特徴量１４４４をスコアの高い順にソートし、スコアの上位ｎ個の登録人物特徴量１４４４に対応するｎ個の検索結果を選択する。ここで、ｎは１以上の正の整数であり、固定値または可変値としてよい。或いは、判定部１５６は、予め定められたスコア閾値を超えるスコアを有する１または複数の登録人物特徴量１４４４に対応する１または複数の検索結果を選択する。判定部１５６は、個々の検索結果には、例えば、登録人物特徴量１４４４、それに対応する登録人物・所持物画像１４４１、登録所持物画像１４４２、登録人物画像１４４３、カメラＩＤ１４１、撮像時刻１４２、およびフレーム画像１４３を含める。但し、検索結果に含まれる情報は上記以外の情報であってもよい。また、判定部１５６は、選択した１または複数の検索結果を表示装置１３０に表示し、または／および、図示しない外部装置に出力する。
【0026】
登録装置１６０は、画像サーバ１２０に蓄積された映像に基づいて、被検索対象となる人物に係る情報をデータベース１４０に記録する。登録装置１６０は、画像取得部１６１、人物・所持物画像抽出部１６２、所持物画像抽出部１６３、人物画像算出部１６４、人物特徴量抽出部１６５、および記憶制御部１６６を備える。これらのうち、画像取得部１６１、人物・所持物画像抽出部１６２、所持物画像抽出部１６３、人物画像算出部１６４、および人物特徴量抽出部１６５は、検索装置１５０における画像取得部１５１、人物・所持物画像抽出部１５２、所持物画像抽出部１５３、人物画像算出部１５４、および人物特徴量抽出部１５５と同様の機能を有する。
【0027】
記憶制御部１６６は、画像取得部１６１によって取得されたフレーム画像１４３、そのフレーム画像から検出された人物毎の人物情報１４４、そのフレーム画像を撮像したカメラＩＤ１４１、そのフレーム画像１４３の撮像時刻１４２から構成されるエントリをデータベース１４０に記憶させる。上記エントリの人物情報１４４には、人物・所持物画像抽出部１６２によって抽出された登録人物・所持物画像１４４１、所持物画像抽出部１６３によって抽出された登録所持物画像１４４２、人物画像算出部１６４によって算出された登録人物画像１４４３、および人物特徴量抽出部１６５によって抽出された登録人物特徴量１４４４が含まれる。
【0028】
上述したような検索装置１５０および登録装置１６０のそれぞれは、例えば、図１９に示すようなコンピュータ１０００と記録媒体２０００とから構成される情報処理装置により実現することができる。コンピュータ１０００は、ＣＰＵ１１００、主記憶装置１２００、二次記憶装置１３００、通信Ｉ／Ｆ装置１４００、入力装置１５００、表示装置１６００、それらを相互に接続するバス１７００などから構成される。記録媒体２０００は、プログラム２１００を記録する。記録媒体２０００に記録されたプログラム２１００は、コンピュータ１０００の立ち上げ時に二次記憶装置１３００にインストールされた後、主記憶装置１２００に読み込まれ、ＣＰＵ１１００で実行されることにより、コンピュータ１０００に検索装置１５０または登録装置１６０の各処理部の処理を行わせる。
【0029】
次に、人物検索システム１００の動作を説明する。人物検索システム１００の動作は、データベース更新動作と検索動作とに大別される。データベース更新動作は、登録装置１６０によって行われる。検索動作は、検索装置１５０によって行われる。
【0030】
最初に、データベース更新動作を、その処理の一例を示す図６のフローチャートを参照して説明する。登録装置１６０は、例えば、カメラ１１０で撮像された最新のフレーム画像が画像サーバ１２０に蓄積される毎に図６に示す処理を開始する。或いは、登録装置１６０は、画像サーバ１２０に蓄積された映像からオペレータによって被検索対象のフレーム画像が選択される毎に図６に示す処理を開始する。
【0031】
先ず、画像取得部１６１は、フレーム画像を画像サーバ１２０から取得する（ステップＳ１）。その際、画像取得部１６１は、フレーム画像を撮像したカメラ１１０のカメラＩＤ、フレーム画像の撮像時刻を画像サーバ１２０からフレーム画像と共に取得する。次に、人物・所持物画像抽出部１６２は、画像取得部１６１によって取得されたフレーム画像から登録人物・所持物画像１４４１を抽出する（ステップＳ２）。次に、所持物画像抽出部１６３は、人物・所持物画像抽出部１６２によって抽出された登録人物・所持物画像１４４１から登録所持物画像１４４２を抽出する（ステップＳ３）。次に、人物画像算出部１６４は、人物・所持物画像抽出部１６２によって抽出された登録人物・所持物画像１４４１中の所持物画像の部分に対して、有意な特徴量が抽出されないような加工を施した登録人物画像１４４３を算出する（ステップＳ４）。次に、人物特徴量抽出部１６５は、人物画像算出部１６４によって算出された登録人物画像１４４３から登録人物特徴量１４４４を抽出する（ステップＳ５）。次に、記憶制御部１６６は、画像取得部１６１によって取得されたフレーム画像１４３、そのフレーム画像から検出された人物毎の人物情報１４４、そのフレーム画像を撮像したカメラＩＤ１４１、そのフレーム画像１４３の撮像時刻１４２から構成されるエントリをデータベース１４０に追加する（ステップＳ６）。記憶制御部１６６は、人物情報１４４には、人物・所持物画像抽出部１６２によって抽出された登録人物・所持物画像１４４１、所持物画像抽出部１６３によって抽出された登録所持物画像１４４２、人物画像算出部１６４によって算出された登録人物画像１４４３、および人物特徴量抽出部１６５によって抽出された登録人物特徴量１４４４を含める。
【0032】
【0033】
先ず、画像取得部１５１は、例えば、オペレータからの指示に従って、オペレータから指定されたカメラ１１０の指定された撮像時刻のフレーム画像を画像サーバ１２０からクエリフレーム画像として取得する（ステップＳ１１）。次に、人物・所持物画像抽出部１５２は、例えば、オペレータからの指示に従って、クエリフレーム画像からクエリ人物・所持物画像を抽出する（ステップＳ１２）。次に、所持物画像抽出部１５３は、クエリ人物・所持物画像から人物の所持物の画像をクエリ所持物画像として抽出する（ステップＳ１３）。次に、人物画像算出部１５４は、クエリ人物・所持物画像中のクエリ所持物画像の部分に対して、有意な特徴量が抽出されないような加工を施したクエリ人物画像を算出する（ステップＳ１４）。次に、人物特徴量抽出部１５５は、クエリ人物画像からクエリ人物特徴量を抽出する（ステップＳ１５）。
【0034】
次に、判定部１５６は、データベース１４０に保存されている登録人物特徴量１４４４毎に、人物特徴量抽出部１５５によって抽出されたクエリ人物特徴量と登録人物特徴量１４４４とを比較して、登録人物画像１４４３の人物がクエリ人物画像の人物と同一人物である程度を表すスコアを算出する（ステップＳ１６）。次に、判定部１５６は、算出されたスコアに基づいて、クエリ人物画像の人物と同一人物である確率が高い登録人物画像の人物の検索結果を１または複数選択する（ステップＳ１７）。次に、判定部１５６は、選択した１または複数の検索結果を表示装置１３０に表示する（ステップＳ１８）。
【0035】
このように検索装置１５０は、検索したい人物がバックパックなどの所定の所持物を所持している場合、所持物の画像を含んだ人物のクエリ人物・所持物画像中のクエリ所持物画像の部分に対して、有意な特徴量が抽出されないような加工を施したクエリ人物画像を算出し、この算出したクエリ人物画像からクエリ人物特徴量を抽出する。また、検索装置１５０は、クエリ人物特徴量をデータベース１４０に保存されている登録人物画像の登録人物特徴量と比較することにより、検索対象の人物が被検索対象の人物である程度を表すスコアを算出する。そして、検索装置１５０は、算出したスコアに基づいて、１または複数の検索結果を選択する。これによって、検索装置１５０は、所持物の影響を受けて同一人物の検索に失敗することが低減される。即ち、所持物を全く所持していない同一人物に係る登録人物画像や、色や形などが異なる別の所持物を所持している同一人物に係る登録人物画像が検索結果から漏れてしまうことが低減される。また、検索したい人物と似たような所持物を所持している別人物の登録人物画像が検索結果に含まれることが低減される。
【0036】
また、登録装置１６０は、登録対象とする人物がバックパックなどの所定の所持物を所持している場合、抽出した登録人物・所持物画像中の所持物の画像部分に対して、有意な特徴量が抽出されないような加工を施した登録人物画像を算出し、この算出した登録人物画像から登録人物特徴量を抽出する。そして、登録装置１６０は、上記登録人物特徴量をデータベース１４０に保存する。これによって、登録対象とする人物がバックパックなどの所定の所持物を所持している場合に、所持物の画像を含んだ人物の画像から登録人物特徴量を抽出してデータベース１４０に保存する構成と比較して、検索装置１５０は、所持物の影響を受けて同一人物の検索に失敗することがより一層低減される。
【0037】
続いて、判定部１５６の構成例について説明する。
【0038】
【0039】
人物再特定部１７２は、人物特徴量抽出部１５５によって抽出されたクエリ人物特徴量とデータベース１４０から取得された登録人物特徴量とを入力とし、クエリ人物特徴量を有するクエリ人物画像の人物と登録人物特徴量を有する登録人物画像の人物とが同一人物である程度を示すスコアを算出する。人物再特定部１７２は、例えば、一対の人物特徴量が同一人物に係る人物特徴量であるか否かを推定するための機械学習を行った学習済みの学習モデルにクエリ人物特徴量と登録人物特徴量とを入力することで、同一人物に係る人物特徴量であるか否かの推定確率を当該学習モデルから取得するように構成されている。学習モデルは、例えば、様々な同一人物に係る人物特徴量ペアおよび様々な相違人物に係る人物特徴量ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。
【0040】
学習部１７４は、人物再特定部１７２の上記学習モデルを機械学習させるための手段である。学習部１７４は、画像蓄積部１８０、画像取得部１８１、人物・所持物画像抽出部１８２、所持物画像抽出部１８３、人物画像算出部１８４、人物特徴量抽出部１８５、人物再特定学習制御部１８６、およびＩＤ取得部１８７を備えている。
【0041】
画像蓄積部１８０は、学習用の複数の画像を蓄積している。画像蓄積部１８０には、人物ＩＤに関連付けて、その人物ＩＤによって一意に識別される人物の多種多様な画像が蓄積されている。同一人物の複数の画像は、人物の向き、顔の向き、服装の種類、バックパックなどの所持物の有無や種類などが互いに相違している。
【0042】
画像取得部１８１、人物・所持物画像抽出部１８２、所持物画像抽出部１８３、および人物画像算出部１８４は、検索装置１５０における画像取得部１５１、人物・所持物画像抽出部１５２、所持物画像抽出部１５３、および人物画像算出部１５４と同様の機能を有する。人物特徴量抽出部１８５は、人物画像算出部１８４によって算出された人物画像、すなわち、人物・所持物画像中の所持物画像の部分に対して有意な特徴量が抽出されないような加工を施した人物画像から、予め定められた人物特徴量を抽出する。また、人物特徴量抽出部１８５は、人物・所持物画像抽出部１８２によって抽出された人物・所持物画像から予め定められた人物特徴量を抽出する。ＩＤ取得部１８７は、同じ人物ＩＤの人物の画像に対しては、同じ人物ＩＤを人物再特定学習制御部１８６へ出力する。人物再特定学習制御部１８６は、人物特徴量抽出部１８５によって抽出された人物特徴量とＩＤ取得部１８７によって出力される人物ＩＤとを使用して、人物再特定部１７２の機械学習を制御する。即ち、人物再特定学習制御部１８６は、様々な同一人物に係る人物特徴量ペアおよび様々な相違人物に係る人物特徴量ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、人物再特定部１７２の学習モデルを事前に生成する。
【0043】
判定制御部１７０は、人物特徴量抽出部１５５によって抽出されたクエリ人物特徴量を人物再特定部１７２の一方の入力に供給し、データベース１４０から取得した登録人物特徴量を人物再特定部１７２の他方の入力に供給し、人物再特定部１７２から出力される推定結果を取得する動作を、登録人物特徴量を適宜に入れ替えて繰り返すことで、登録人物特徴量毎の推定確率をスコアとして取得する。また、判定制御部１７０は、例えば、取得した複数のスコアを降順にソートし、上位ｎ個のスコアに対応するｎ個の検索結果を表示制御部１７３に伝達する。表示制御部１７３は、これらｎ個の検索結果を表示装置１３０に表示する制御を行う。
【0044】
このように判定部１５６は、クエリ人物特徴量とデータベース１４０中の登録人物特徴量とを入力とし、クエリ人物特徴量を有するクエリ人物画像と登録人物特徴量を有する登録人物画像とが同一人物である程度を示すスコアを算出する人物再特定部１７２を備えている。そして、人物再特定部１７２は、人物・所持物画像中の所持物画像の部分に対して、有意な特徴量が抽出されないような加工を施した人物画像から抽出した人物特徴量を使用して、機械学習された学習モデルを有する。これによって、判定部１５６は、所持物の影響を受けて同一人物の判定に失敗することがより一層低減される。
【0045】
［第２の実施の形態］
次に、本発明の第２の実施形態に係る人物検索システム２００について図面を参照して説明する。
次に、本発明の第２の実施形態に係る人物検索システム２００について図面を参照して説明する。
【0046】
図１に示した第１の実施形態に係る人物検索システム１００では、所持物の有無や相違に関係せずに同一人物の検索を行った。これに対して、本実施形態に係る人物検索システム２００では、上記に加えてさらに、同じ所持物を所持している状態の同一人物を検索する検索処理と、同じ所持物を所持していない状態の同一人物を検索する検索処理とを実現する。何れの検索処理を行うかは、検索要求毎にユーザが検索条件として指定するようにしてもよいし、事前に固定的に設定されていてもよい。以下、所持物の有無や相違に係らずに同一人物の画像を検索する検索処理を第１の検索処理、同じ所持物を所持している状態の同一人物を検索する検索処理を第２の検索処理、同じ所持物を所持していない状態の同一人物を検索する検索処理を第３の検索処理と称する。
【0047】
図９は、本発明の第２の実施形態に係る人物検索システム２００のブロック図であり、図１と同一符号は同一部分を示す。人物検索システム２００は、図１の人物検索システム１００と比較して、データベース２４０、検索装置２５０、および登録装置２６０の箇所が相違し、それ以外の箇所は同じである。
【0048】
図１０は、データベース２４０に保存されている情報の構成例を示す。データベース２４０は、図２のデータベース１４０と比較して、個々の人物情報１４４が、さらに登録所持物特徴量２４４５を有する点で相違し、それ以外は同じである。
【0049】
検索装置２５０は、図１の検索装置１５０と比較して、所持物特徴量抽出部２５７および判定部２５６の箇所が相違し、それ以外の箇所は同じである。
【0050】
所持物特徴量抽出部２５７は、所持物画像抽出部１５３によって抽出されたクエリ所持物画像から所持物の特徴量を抽出する。抽出する特徴量の種類は、事前に定められている。所持物の特徴量は、物体の特徴量として使われる特徴量であれば任意である。例えば、所持物の特徴量は、所持物の輪郭の形状や方向、色ヒストグラムなどであってよいが、それ以外であってもよい。所持物特徴量抽出部２５７によって抽出された所持物特徴量は、クエリ所持物特徴量とも称する。
【0051】
判定部２５６は、先ず、判定部１５６と同様の処理により、クエリ人物画像の人物と同一人物である確率が高い登録人物画像の人物の検索結果を１以上選択（作成）する。判定部２５６が選択する個々の検索結果には、例えば、登録人物・所持物画像１４４１、登録所持物画像１４４２、登録人物画像１４４３、登録人物特徴量１４４４、登録所持物特徴量２４４５、カメラＩＤ１４１、撮像時刻１４２、およびフレーム画像１４３が含まれる。次に、判定部２５６は、上記選択した検索結果を検索結果集合に格納する。
【0052】
次に、判定部２５６は、検索処理が、第１の検索処理、第２の検索処理、第３の検索処理の何れであるかを判定する。判定部２５６は、第１の検索処理であれば、検索結果集合に格納された１以上の検索結果を表示装置１３０に表示し、または／および、図示しない外部装置に出力する。そして、検索処理を終了する。
【0053】
また、判定部２５６は、第２の検索処理であれば、クエリ所持物画像がＮＵＬＬか否かを調べ、ＮＵＬＬであれば、クエリ所持物画像が検出されなかった旨のエラーメッセージを表示装置１３０に表示し、または／および、図示しない外部装置に出力する。そして、検索処理を終了する。一方、クエリ所持物画像がＮＵＬＬでなければ、判定部２５６は、以下の処理を行う。
【0054】
先ず、判定部２５６は、検索結果集合内の１つの検索結果に注目する。次に、判定部２５６は、注目中の検索結果に含まれる登録所持物画像１４４２がＮＵＬＬか否かを調べ、ＮＵＬＬであるときは当該検索結果を検索結果集合から消去する。また、登録所持物画像１４４２がＮＵＬＬでなければ、クエリ所持物特徴量と注目中の検索結果に含まれる登録所持物特徴量２４４５とを比較して、クエリ所持物画像の所持物と登録所持物画像１４４２の所持物とが同一であるか否かを判定する。そして、判定部２５６は、双方の所持物が同一でないと判定された注目中検索結果は検索結果集合から消去し、双方の所持物が同一であると判定された注目中検索結果は、検索結果集合にそのまま格納しておく。次に、判定部２５６は、検索結果集合内の他の１つの検索結果に注目を移し、上述した処理と同様の処理を繰り返す。次に、判定部２５６は、検索結果集合内の全ての検索結果に注目し終えると、検索結果集合に格納されている検索結果を表示装置１３０に表示し、または／および、図示しない外部装置に出力する。そして、検索処理を終了する。
【0055】
また、判定部２５６は、第３の検索処理であれば、クエリ所持物画像がＮＵＬＬか否かを調べ、ＮＵＬＬであれば、クエリ所持物画像が検出されなかった旨のエラーメッセージを表示装置１３０に表示し、または／および、図示しない外部装置に出力する。そして、検索処理を終了する。一方、クエリ所持物画像がＮＵＬＬでなければ、判定部２５６は、以下の処理を行う。
【0056】
先ず、判定部２５６は、検索結果集合内の１つの検索結果に注目する。次に、判定部２５６は、注目中の検索結果に含まれる登録所持物画像１４４２がＮＵＬＬか否かを調べ、ＮＵＬＬであるときは、同じ所持物を所持していないため、当該検索結果を検索結果集合にそのまま格納しておく。また、登録所持物画像１４４２がＮＵＬＬでなければ、クエリ所持物特徴量と注目中の検索結果に含まれる登録所持物特徴量２４４５とを比較して、クエリ所持物画像の所持物と登録所持物画像１４４２の所持物とが同一であるか否かを判定する。そして、判定部２５６は、双方の所持物が同一であると判定された注目中検索結果は検索結果集合から消去し、双方の所持物が同一でないと判定された注目中検索結果は、検索結果集合にそのまま格納しておく。次に、判定部２５６は、検索結果集合内の他の１つの検索結果に注目を移し、上述した処理と同様の処理を繰り返す。次に、判定部２５６は、検索結果集合内の全ての検索結果に注目し終えると、検索結果集合に格納されている検索結果を表示装置１３０に表示し、または／および、図示しない外部装置に出力する。そして、検索処理を終了する。
【0057】
登録装置２６０は、図１の登録装置１６０と比較して、所持物特徴量抽出部２６７および記憶制御部２６６の箇所が相違し、それ以外の箇所は同じである。
【0058】
所持物特徴量抽出部２６７は、所持物特徴量抽出部２５７と同様に、所持物画像抽出部１６３によって抽出された登録所持物画像から所持物の特徴量を抽出する。
【0059】
記憶制御部２６６は、画像取得部１６１によって取得されたフレーム画像１４３、そのフレーム画像から人物・所持物画像抽出部１６２によって検出された人物毎の人物情報１４４、そのフレーム画像を撮像したカメラＩＤ１４１、そのフレーム画像１４３の撮像時刻１４２から構成されるエントリをデータベース２４０に記憶させる。上記エントリの人物情報１４４には、人物・所持物画像抽出部１６２によって抽出された登録人物・所持物画像１４４１、所持物画像抽出部１６３によって抽出された登録所持物画像１４４２、人物画像算出部１６４によって算出された登録人物画像１４４３、人物特徴量抽出部１６５によって抽出された登録人物特徴量１４４４、所持物特徴量抽出部２６７によって抽出された登録所持物特徴量２４４５が含まれている。
【0060】
上述したような検索装置２５０および登録装置２６０のそれぞれは、検索装置１５０おおび登録装置１６０と同様に、例えば、図１９に示すようなコンピュータ１０００と記録媒体２０００とから構成される情報処理装置により実現することができる。
【0061】
次に、人物検索システム２００の動作を説明する。人物検索システム２００の動作は、データベース更新動作と検索動作とに大別される。データベース更新動作は、登録装置２６０によって行われる。検索動作は、検索装置２５０によって行われる。
【0062】
最初に、データベース更新動作を、その処理の一例を示す図１１のフローチャートを参照して説明する。登録装置２６０は、図１１に示す処理を開始すると、先ず、登録装置１６０と同様なステップＳ１～Ｓ５の処理を行う。次に、登録装置２６０の所持物特徴量抽出部２６７は、所持物画像抽出部１６３によって抽出された登録所持物画像から登録所持物特徴量２４４５を抽出する（ステップＳ２１）。次に、記憶制御部２６６は、画像取得部１６１によって取得されたフレーム画像１４３、そのフレーム画像から検出された人物毎の人物情報１４４、そのフレーム画像を撮像したカメラＩＤ１４１、そのフレーム画像１４３の撮像時刻１４２から構成されるエントリをデータベース２４０に記憶させる。記憶制御部２６６は、上記エントリの人物情報１４４には、人物・所持物画像抽出部１６２によって抽出された登録人物・所持物画像１４４１、所持物画像抽出部１６３によって抽出された登録所持物画像１４４２、人物画像算出部１６４によって算出された登録人物画像１４４３、人物特徴量抽出部１６５によって抽出された登録人物特徴量１４４４、所持物特徴量抽出部２６７によって抽出された登録所持物特徴量２４４５を含める。
【0063】
【0064】
次に、検索装置２５０の所持物特徴量抽出部２５７は、所持物画像抽出部１５３によって抽出されたクエリ所持物画像から所持物の特徴量をクエリ所持物特徴量として抽出する（ステップＳ３１）。次に、検索装置２５０の判定部２５６は、第１の検索処理、第２の検索処理、第３の検索処理の何れかの検索処理を行う（ステップＳ３２）。判定部２５６は、第１の検索処理では、ステップＳ１７で選択された検索結果を、所持物の有無や相違に係らずクエリ人物画像の人物と同一人物である確率が高い登録人物画像の人物の検索結果として、例えば表示装置１３０に表示する。また、判定部２５６は、第２の検索処理では、ステップＳ１７で選択された検索結果のうち、クエリ所持物画像の所持物と同じ所持物を所持している状態の同一人物の検索結果だけを抽出して、例えば表示装置１３０に表示する。また、判定部２５６は、第３の検索処理では、ステップＳ１７で選択された検索結果のうち、クエリ所持物画像の所持物と同じ所持物を所持していない状態の同一人物の検索結果だけを抽出して、例えば表示装置１３０に表示する。
【0065】
続いて、判定部２５６の構成例について説明する。
【0066】
図１３は、判定部２５６の一例を示すブロック図である。図１３を参照すると、判定部２５６は、判定制御部２７０、人物再特定部１７２、表示制御部１７３、学習部２７４、および所持物再特定部２７５から構成されている。判定制御部２７０、学習部２７４、および所持物再特定部２７５の箇所が、図８の判定部１５６と相違する。
【0067】
所持物再特定部２７５は、所持物特徴量抽出部２５７によって抽出されたクエリ所持物特徴量とデータベース２４０から取得された登録所持物特徴量２４４５とを入力とし、クエリ所持物特徴量を有するクエリ所持物画像の所持物と登録所持物特徴量２４４５を有する登録所持物画像１４４２の所持物とが同一の所持物である程度を示すスコアを算出する。所持物再特定部２７５は、例えば、一対の所持物特徴量が同一所持物に係る所持物特徴量であるか否かを推定するための機械学習を行った学習済みの学習モデルにクエリ所持物特徴量と登録所持物特徴量２４４５とを入力することで、同一所持物に係る所持物特徴量であるか否かの推定確率を当該学習モデルから取得するように構成されている。学習モデルは、例えば、様々な同一所持物に係る所持物特徴量ペアおよび様々な相違所持物に係る所持物特徴量ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。
【0068】
学習部２７４は、人物再特定部１７２および所持物再特定部２７５の学習モデルを機械学習させるための手段である。学習部２７４は、画像蓄積部２８０、画像取得部１８１、人物・所持物画像抽出部１８２、所持物画像抽出部１８３、人物画像算出部１８４、人物特徴量抽出部１８５、人物再特定学習制御部１８６、ＩＤ取得部２８７、所持物特徴量抽出部２８８、および所持物再特定学習制御部２８９を備えている。このうち、画像蓄積部２８０、ＩＤ取得部２８７、所持物特徴量抽出部２８８、および所持物再特定学習制御部２８９の箇所が、図８の学習部１７４と相違し、それ以外は同じである。
【0069】
画像蓄積部２８０は、学習用の複数の画像を蓄積している。画像蓄積部２８０には、画像蓄積部１８０と同様に、人物ＩＤに関連付けて、その人物ＩＤによって一意に識別される人物の多種多様な画像が蓄積されている。また、画像蓄積部２８０には、所持物ＩＤに関連付けて、その所持部ＩＤによって一意に識別される所持物の多種多様な画像（所持物の画像を含んだ人物の画像）が蓄積されている。同一所持物の複数の画像は、所持物の向き、外装の種類や色などが互いに相違している。
【0070】
所持物特徴量抽出部２８８は、所持物特徴量抽出部２５７と同様に、所持物画像抽出部１８３によって抽出された所持物画像から所持物の特徴量を抽出する。ＩＤ取得部２８７は、同じ人物ＩＤの人物の画像に対しては、同じ人物ＩＤを人物再特定学習制御部１８６へ出力する。また、ＩＤ取得部２８７は、同じ所持物ＩＤの所持物の画像に対しては、同じ所持物ＩＤを所持物再特定学習制御部２８９へ出力する。所持物再特定学習制御部２８９は、所持物特徴量抽出部２８８によって抽出された所持物特徴量とＩＤ取得部２８７によって出力される所持物ＩＤとを使用して、所持物再特定部２７５の機械学習を制御する。即ち、所持物再特定学習制御部２８９は、様々な同一所持物に係る所持物特徴量ペアおよび様々な相違所持物に係る所持物特徴量ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、所持物再特定部２７５の学習モデルを事前に生成する。
【0071】
判定制御部２７０は、先ず、判定制御部１７０と同様に人物再特定部１７２を使用した人物再特定の処理により、クエリ人物画像の人物と同一人物である確率が高い登録人物画像１４４３の人物の検索結果を１以上選択し、検索結果集合に格納する。次に、判定制御部２７０は、第１の検索処理、第２の検索処理、第３の検索処理の何れかの検索処理を行う。判定部２５６は、第１の検索処理では、検索結果集合に格納されている検索結果を、所持物の有無や相違に係らずクエリ人物画像の人物と同一人物である確率が高い登録人物画像の人物の検索結果として、表示制御部１７３を通じて表示装置１３０に表示する。また、判定部２５６は、第２の検索処理では、検索結果集合に格納されている検索結果のうち、クエリ所持物画像の所持物と同じ所持物を所持している状態の同一人物の検索結果だけを抽出して、表示制御部１７３を通じて表示装置１３０に表示する。また、判定部２５６は、第３の検索処理では、検索結果集合に格納されている検索結果のうち、クエリ所持物画像の所持物と同じ所持物を所持していない状態の同一人物の検索結果だけを抽出して、表示制御部１７３を通じて表示装置１３０に表示する。
【0072】
判定制御部２７０は、第２および第３の検索処理において、クエリ所持物画像の所持物と同じ所持物を所持しているか否かの判定は、所持物再特定部２７５を使用して行う。すなわち、判定制御部２７０は、所持物特徴量抽出部２５７によって抽出されたクエリ所持物特徴量を所持物再特定部２７５の一方の入力に供給し、検索結果中の登録所持物特徴量２４４５を所持物再特定部２７５の他方の入力に供給し、所持物再特定部２７５から出力される推定結果のスコアを所定の閾値と比較する。そして、判定制御部２７０は、スコアが閾値を超えていれば、双方の所持物は同一であると判定し、スコアが閾値以下であれば、双方の所持物は同一でなく相違すると判定する。
【0073】
［第３の実施の形態］
次に、本発明の第３の実施形態に係る人物検索システム３００について図面を参照して説明する。
次に、本発明の第３の実施形態に係る人物検索システム３００について図面を参照して説明する。
【0074】
図１に示した第１の実施形態に係る人物検索システム１００では、クエリ人物特徴量を使用して、所持物の有無や相違に関係せずに同一人物の検索を行った。これに対して、本実施形態に係る人物検索システム３００では、上記に加えてさらに、クエリ人物特徴量とクエリ所持物特徴量とを統合したクエリ人物・所持物特徴量を使用して、同一人物を検索する。何れの検索処理を行うかは、検索要求毎にユーザが検索条件として指定するようにしてもよいし、事前に固定的に設定されていてもよい。以下、クエリ人物特徴量を使用する検索処理を第１の検索処理、クエリ人物・所持物特徴量を使用する検索処理を第４の検索処理と称する。
【0075】
図１４は、本発明の第３の実施形態に係る人物検索システム３００のブロック図であり、図１と同一符号は同一部分を示す。人物検索システム３００は、図１の人物検索システム１００と比較して、データベース３４０、検索装置３５０、および登録装置３６０の箇所が相違し、それ以外の箇所は同じである。
【0076】
図１５は、データベース３４０に保存されている情報の構成例を示す。データベース３４０は、図２のデータベース１４０と比較して、個々の人物情報１４４が、さらに登録人物・所持物特徴量３４４５を有する点で相違し、それ以外は同じである。
【0077】
検索装置３５０は、図１の検索装置１５０と比較して、所持物特徴量抽出部３５７、統合部３５８および判定部３５６の箇所が相違し、それ以外の箇所は同じである。
【0078】
所持物特徴量抽出部３５７は、所持物画像抽出部１５３によって抽出されたクエリ所持物画像から所持物の特徴量を抽出する。抽出する特徴量の種類は、物体の特徴量であればよく、事前に定められている。所持物特徴量抽出部３５７によって抽出された所持物特徴量は、クエリ所持物特徴量とも称する。
【0079】
統合部３５８は、人物特徴量抽出部１５５によって抽出されたクエリ人物特徴量と所持物特徴量抽出部３５７によって抽出されたクエリ所持物特徴量を連結することにより、クエリ人物特徴量とクエリ所持物特徴量とを有する人物・所持物特徴量を算出する。所持物の画像を含む人物の画像である人物・所持物画像から特徴量を抽出する場合、所持物の画像に偏って特徴量が抽出され、或いは、その反対に人物の画像に偏って特徴量が抽出されることがある。所持物の画像に偏って特徴量が抽出されると、その分、人物特徴量が少なくなり、人物の再同定に失敗する確率が高まる。これに対して、人物・所持物画像から人物画像と所持物画像とを検出し、それぞれから抽出した人物特徴量と所持物特徴量とを統合した人物・所持物特徴量は、人物と所持物の何れか一方に特徴量の量が偏ることを防止することができる。統合部３５８によって算出される人物・所持物特徴量は、クエリ人物・所持物特徴量とも称する。
【0080】
判定部３５６は、先ず、判定部１５６と同様の処理により、クエリ人物画像の人物と同一人物である確率が高い登録人物画像の人物の検索結果を１以上選択する。判定部３５６が選択する個々の検索結果には、例えば、登録人物・所持物画像１４４１、登録所持物画像１４４２、登録人物画像１４４３、登録人物特徴量１４４４、登録人物・所持物特徴量３４４５、カメラＩＤ１４１、撮像時刻１４２、およびフレーム画像１４３が含まれる。
【0081】
次に、判定部３５６は、検索処理が、第１の検索処理、第４の検索処理の何れであるかを判定する。判定部３５６は、第１の検索処理であれば、上記選択した１以上の検索結果を表示装置１３０に表示し、または／および、図示しない外部装置に出力する。そして、検索処理を終了する。
【0082】
また、判定部３５６は、第４の検索処理であれば、以下の処理を行う。
【0083】
先ず、判定部３５６は、データベース３４０に保存されている人物の登録人物・所持物特徴量３４４６毎に、クエリ人物・所持物特徴量と登録人物・所持物特徴量３４４６とを比較して、クエリ人物・所持物画像の人物が登録人物・所持物画像１４４１の人物と同一人物である程度を表すスコアを算出する。比較の対象とする登録人物・所持物特徴量３４４６は、データベース３４０に保存されている全ての登録人物・所持物特徴量３４４６としてよい。或いは、比較の対象とする登録人物・所持物特徴量３４４６は、オペレータの指示で選択された特定のカメラＩＤを有する１または２以上のカメラ１１０のフレーム画像から抽出された人物の登録人物・所持物特徴量３４４６としてよい。或いは、比較の対象とする登録人物・所持物特徴量３４４６は、オペレータから指定された撮像時刻の時間帯に含まれるフレーム画像から抽出された人物の登録人物・所持物特徴量３４４６としてよい。
【0084】
また、判定部３５６は、算出されたスコアに基づいて、検索結果を選択する。例えば、判定部３５６は、登録人物・所持物特徴量３４４６をスコアの高い順にソートし、スコアの上位ｎ個の登録人物・所持物特徴量３４４６に対応するｎ個の検索結果を選択する。ここで、ｎは１以上の正の整数であり、固定値または可変値としてよい。或いは、判定部３５６は、予め定められたスコア閾値を超えるスコアを有する１または複数の登録人物・所持物特徴量３４４６に対応する１または複数の検索結果を選択する。判定部３５６は、個々の検索結果には、例えば、第１の検索結果と同様の情報を含める。但し、検索結果に含まれる情報は上記以外の情報であってもよい。また、判定部３５６は、選択した１または複数の検索結果を表示装置１３０に表示し、または／および、図示しない外部装置に出力する。
【0085】
登録装置３６０は、図１の登録装置１６０と比較して、所持物特徴量抽出部３６７、統合部３６８および記憶制御部３６６の箇所が相違し、それ以外の箇所は同じである。
【0086】
所持物特徴量抽出部３６７は、所持物特徴量抽出部３５７と同様に、所持物画像抽出部１６３によって抽出された登録所持物画像から所持物の特徴量を抽出する。また、統合部３６８は、統合部３５８と同様に、人物特徴量抽出部１６５によって抽出された登録人物特徴量と所持物特徴量抽出部３６７によって抽出された登録所持物特徴量とを統合して登録人物・所持物特徴量３４４５を算出する。
【0087】
記憶制御部３６６は、画像取得部１６１によって取得されたフレーム画像１４３、そのフレーム画像から人物・所持物画像抽出部１６２によって検出された人物毎の人物情報１４４、そのフレーム画像を撮像したカメラＩＤ１４１、そのフレーム画像１４３の撮像時刻１４２から構成されるエントリをデータベース３４０に記憶させる。上記エントリの人物情報１４４には、人物・所持物画像抽出部１６２によって抽出された登録人物・所持物画像１４４１、所持物画像抽出部１６３によって抽出された登録所持物画像１４４２、人物画像算出部１６４によって算出された登録人物画像１４４３、人物特徴量抽出部１６５によって抽出された登録人物特徴量１４４４、統合部３６８で算出された登録人物・所持物特徴量３４４５が含まれている。
【0088】
上述したような検索装置３５０および登録装置３６０のそれぞれは、検索装置１５０おおび登録装置１６０と同様に、例えば、図１９に示すようなコンピュータ１０００と記録媒体２０００とから構成される情報処理装置により実現することができる。
【0089】
次に、人物検索システム３００の動作を説明する。人物検索システム３００の動作は、データベース更新動作と検索動作とに大別される。データベース更新動作は、登録装置３６０によって行われる。検索動作は、検索装置３５０によって行われる。
【0090】
最初に、データベース更新動作を、その処理の一例を示す図１６のフローチャートを参照して説明する。登録装置３６０は、図１６に示す処理を開始すると、先ず、登録装置１６０と同様なステップＳ１～Ｓ５の処理を行う。次に、登録装置３６０の所持物特徴量抽出部３６７は、所持物画像抽出部１６３によって抽出された登録所持物画像から所持物の特徴量を登録所持物特徴量として抽出する（ステップＳ４１）。次に、統合部３６８は、人物特徴量抽出部１６５によって抽出された登録人物特徴量と所持物特徴量抽出部３６７によって抽出された所持物特徴量とを統合した登録人物・所持物特徴量３４４５を算出する（ステップＳ４２）。次に、記憶制御部３６６は、画像取得部１６１によって取得されたフレーム画像１４３、そのフレーム画像から検出された人物毎の人物情報１４４、そのフレーム画像を撮像したカメラＩＤ１４１、そのフレーム画像１４３の撮像時刻１４２から構成されるエントリをデータベース３４０に記憶させる（ステップＳ４３）。記憶制御部３６６は、上記エントリの人物情報１４４には、人物・所持物画像抽出部１６２によって抽出された登録人物・所持物画像１４４１、所持物画像抽出部１６３によって抽出された登録所持物画像１４４２、人物画像算出部１６４によって算出された登録人物画像１４４３、人物特徴量抽出部１６５によって抽出された登録人物特徴量１４４４、統合部３６８によって算出された登録人物・所持物特徴量３４４５を含める。
【0091】
【0092】
次に、検索装置３５０の所持物特徴量抽出部３５７は、所持物画像抽出部１５３によって抽出されたクエリ所持物画像から所持物の特徴量をクエリ所持物特徴量として抽出する（ステップＳ５１）。統合部３５８は、人物特徴量抽出部１５５によって抽出された人物特徴量と所持物特徴量抽出部３５７によって抽出された所持物特徴量とを統合したクエリ人物・所持物特徴量を算出する（ステップＳ５２）。次に、検索装置３５０の判定部３５６は、第１の検索処理、第４の検索処理の何れかの検索処理を行う（ステップＳ５３）。判定部３５６は、第１の検索処理では、ステップＳ１７で選択された検索結果を、所持物の有無や相違に係らずクエリ人物画像の人物と同一人物である確率が高い登録人物画像の人物の検索結果として、表示装置１３０に表示する。また、判定部３５６は、第４の検索処理では、クエリ人物・所持物特徴量と登録人物・所持物特徴量との比較に基づいた検索結果を生成し、表示装置１３０に表示する。
【0093】
続いて、判定部３５６の構成例について説明する。
【0094】
図１８は、判定部３５６の一例を示すブロック図である。図１８を参照すると、判定部３５６は、判定制御部３７０、人物再特定部１７２、表示制御部１７３、学習部３７４、および人物・所持物再特定部３７５から構成されている。判定制御部３７０、学習部３７４、および人物・所持物再特定部３７５の箇所が、図８の判定部１５６と相違する。
【0095】
人物・所持物再特定部３７５は、統合部３５８によって算出されたクエリ人物・所持物特徴量とデータベース３４０から取得された登録人物・所持物特徴量３４４５とを入力とし、クエリ人物・所持物特徴量を有するクエリ人物・所持物画像の人物と登録人物・所持物特徴量３４４５を有する登録人物・所持物画像１４４１の人物とが同一の人物である程度を示すスコアを算出する。人物・所持物再特定部３７５は、例えば、一対の人物・所持物特徴量が同一人物に係る人物・所持物特徴量であるか否かを推定するための機械学習を行った学習済みの学習モデルにクエリ人物・所持物特徴量と登録人物・所持物特徴量とを入力することで、同一人物に係る人物・所持物特徴量であるか否かの推定確率を当該学習モデルから取得するように構成されている。学習モデルは、例えば、様々な同一人物に係る人物・所持物特徴量ペアおよび様々な相違人物に係る人物・所持物特徴量ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。
【0096】
学習部３７４は、人物再特定部１７２および人物・所持物再特定部３７５の学習モデルを機械学習させるための手段である。学習部３７４は、画像蓄積部１８０、画像取得部１８１、人物・所持物画像抽出部１８２、所持物画像抽出部１８３、人物画像算出部１８４、人物特徴量抽出部１８５、人物再特定学習制御部１８６、ＩＤ取得部３８７、所持物特徴量抽出部３８８、統合部３８９、および人物・所持物再特定学習制御部３９０を備えている。このうち、ＩＤ取得部３８７、所持物特徴量抽出部３８８、統合部３８９、および人物・所持物再特定学習制御部３９０の箇所が、図８の学習部１７４と相違し、それ以外は同じである。
【0097】
所持物特徴量抽出部３８８は、所持物特徴量抽出部３５７と同様に、所持物画像抽出部１８３によって抽出された所持物画像から所持物の特徴量を抽出する。統合部３８９は、人物特徴量抽出部１８５によって抽出された人物特徴量と所持物特徴量抽出部３８８によって抽出された所持物特徴量とを統合した人物・所持物特徴量を算出する。ＩＤ取得部３８７は、同じ人物ＩＤの人物の画像に対しては、同じ人物ＩＤを人物再特定学習制御部１８６および人物・所持物再特定学習制御部３９０へ出力する。人物・所持物再特定学習制御部３９０は、統合部３８９によって算出された人物・所持物特徴量とＩＤ取得部２８７によって出力される人物ＩＤとを使用して、人物・所持物再特定部３７５の機械学習を制御する。即ち、人物・所持物再特定学習制御部３９０は、様々な同一人物に係る人物・所持物特徴量ペアおよび様々な相違人物に係る人物・所持物特徴量ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、人物・所持物再特定部３７５の学習モデルを事前に生成する。
【0098】
判定制御部３７０は、先ず、判定制御部１７０と同様に人物再特定部１７２を使用した人物再特定の処理により、クエリ人物画像の人物と同一人物である確率が高い登録人物画像の人物の検索結果を１以上選択し、検索結果集合に格納する。次に、判定制御部３７０は、第１の検索処理、第４の検索処理の何れかの検索処理を行う。判定部３５６は、第１の検索処理では、検索結果集合に格納されている検索結果を、所持物の有無や相違に係らずクエリ人物画像の人物と同一人物である確率が高い登録人物画像の人物の検索結果として、表示制御部１７３を通じて表示装置１３０に表示する。また、判定部３５６は、第４の検索処理では、クエリ人物・所持物特徴量と登録人物・所持物特徴量３４４５との比較に基づいた検索結果を生成し、表示装置１３０に表示する。
【0099】
判定制御部３７０は、第４の検索処理におけるクエリ人物・所持物特徴量と登録人物・所持物特徴量３４４５とによる同一人物か否かの判定は、人物・所持物再特定部３７５を使用して行う。すなわち、判定制御部３７０は、統合部３５８によって算出されたクエリ人物・所持物特徴量を人物・所持物再特定部３７５の一方の入力に供給し、データベース３４０から取り出した登録人物・所持物特徴量３４４５を人物・所持物再特定部３７５の他方の入力に供給する。そして、判定制御部３７０は、人物・所持物再特定部３７５から出力されるスコアに基づいて、第４の検索処理の結果を選択し、表示装置１３０に表示する。
【0100】
［第４の実施の形態］
次に、本発明の第４の実施形態について、図２０を参照して説明する。図２０は、本実施形態に係る人物検索システム４００のブロック図である。なお、本実施形態では、本発明の概要を説明する。
次に、本発明の第４の実施形態について、図２０を参照して説明する。図２０は、本実施形態に係る人物検索システム４００のブロック図である。なお、本実施形態では、本発明の概要を説明する。
【0101】
図２０を参照すると、人物検索システム４００は、クエリ人物・所持物画像抽出部４０１と、クエリ所持物画像抽出部４０２と、クエリ人物画像算出部４０３と、クエリ人物特徴量抽出部４０４と、判定部４０５とを備えている。
【0102】
クエリ人物・所持物画像抽出部４０１は、入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出するように構成されている。クエリ人物・所持物画像抽出部４０１は、例えば図１の人物・所持物画像抽出部１５２と同様に構成することができるが、それに限定されない。
【0103】
クエリ所持物画像抽出部４０２は、上記クエリ人物・所持物画像から所持物の画像を抽出するように構成されている。クエリ所持物画像抽出部４０２は、例えば図１の所持物画像抽出部１５３と同様に構成することができるが、それに限定されない。
【0104】
クエリ人物画像算出部４０３は、上記クエリ人物・所持物画像中の上記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後のクエリ人物・所持物画像であるクエリ人物画像を算出するように構成されている。クエリ人物画像算出部４０３は、例えば図１の人物画像算出部１５４と同様に構成することができるが、それに限定されない。
【0105】
クエリ人物特徴量抽出部４０４は、上記クエリ人物画像からクエリ人物特徴量を抽出するように構成されている。クエリ人物特徴量抽出部４０４は、例えば図１の人物特徴量抽出部１５５と同様に構成することができるが、それに限定されない。
【0106】
判定部４０５は、上記クエリ人物特徴量と図示しないデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、検索対象の人物が登録人物と同一人物であるか否かを判定するように構成されている。判定部４０５は、例えば図１の判定部１５６と同様に構成することができるが、それに限定されない。
【0107】
このように構成された人物検索システム４００は、以下のように動作する。先ず、クエリ人物・所持物画像抽出部４０１は、入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出する。次に、クエリ所持物画像抽出部４０２は、上記クエリ人物・所持物画像から所持物の画像を抽出する。次に、クエリ人物画像算出部４０３は、上記クエリ人物・所持物画像中の上記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後のクエリ人物・所持物画像であるクエリ人物画像を算出する。次に、クエリ人物特徴量抽出部４０４は、上記クエリ人物画像からクエリ人物特徴量を抽出する。次に、判定部４０５は、上記クエリ人物特徴量と図示しないデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、検索対象の人物が登録人物と同一人物であるか否かを判定する。
【0108】
以上のように構成され動作する人物検索システム４００によれば、所持物の影響を受けて同一人物の検索に失敗するのを防止することができる。その理由は、人物検索システム４００は、所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像中の所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後のクエリ人物・所持物画像からクエリ人物特徴量を抽出し、この抽出したクエリ人物特徴量と登録人物に係る登録人物特徴量とを比較して、検索対象の人物が登録人物と同一人物であるか否かを判定するためである。
【0109】
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、第２の実施形態と第３の実施形態とを組み合わせ、第１乃至第４の検索処理のうち検索条件や事前の設定によって選択された何れか１つの検索処理を実行するように構成された実施形態も本発明に含まれる。また、固定的に、第１の検索処理だけを実行するように構成された実施形態、第２の検索処理だけを実行するように構成された実施形態、第３の検索処理だけを実行するように構成された実施形態、第４の検索処理だけを実行するように構成された実施形態も本発明に含まれる。
【産業上の利用可能性】
【0110】
本発明は、監視カメラなどの映像から同一人物の画像を検索する場合などに利用できる。
【0111】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出するクエリ人物・所持物画像抽出部と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出するクエリ所持物画像抽出部と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出するクエリ人物画像算出部と、
前記クエリ人物画像からクエリ人物特徴量を抽出するクエリ人物特徴量抽出部と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する判定部と、
を備える人物検索システム。
［付記２］
前記所持物の画像からクエリ所持物特徴量を抽出するクエリ所持物特徴量抽出部を、さらに備え、
前記判定部は、前記検索対象の人物と同一人物であると判定された前記登録人物に関連して前記データベースに予め登録された登録所持物特徴量と前記クエリ所持物特徴量とを比較して、前記登録人物が前記検索対象の人物と同一の所持物を所有しているか否かを判定するように構成されている、
付記１に記載の人物検索システム。
［付記３］
前記所持物の画像からクエリ所持物特徴量を抽出するクエリ所持物特徴量抽出部と、
前記クエリ人物特徴量と前記クエリ所持物特徴量とを統合したクエリ人物・所持物特徴量を算出する統合部とを、さらに備え、
前記判定部は、さらに、前記クエリ人物・所持物特徴量とデータベースに予め登録された登録人物に係る登録人物・所持物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定するように構成されている、
付記１または２に記載の人物検索システム。
［付記４］
前記判定部は、
前記クエリ人物特徴量と前記登録人物特徴量とに基づいて前記判定を行う人物再特定部と、
前記人物再特定部を機械学習させる学習部と、を備え、
前記学習部は、
学習用の画像から所持物の画像を含んだ人物の画像である学習人物・所持物画像を抽出する学習人物・所持物画像抽出部と、
前記学習人物・所持物画像から前記所持物の画像を抽出する学習所持物画像抽出部と、
前記学習人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記学習人物・所持物画像である学習人物画像を算出する学習人物画像算出部と、
前記学習人物画像から前記機械学習に使用する学習人物特徴量を抽出する学習人物特徴量抽出部と、を備える、
付記１乃至３の何れかに記載の人物検索システム。
［付記５］
前記加工は、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を含む、
付記１乃至４の何れかに記載の人物検索システム。
［付記６］
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出し、
前記クエリ人物・所持物画像から前記所持物の画像を抽出し、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出し、
前記クエリ人物画像からクエリ人物特徴量を抽出し、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する、
人物検索方法。
［付記７］
さらに、
前記所持物の画像からクエリ所持物特徴量を抽出し、
前記判定では、さらに、前記検索対象の人物と同一人物であると判定された前記登録人物に関連して前記データベースに予め登録された登録所持物特徴量と前記クエリ所持物特徴量とを比較して、前記登録人物が前記検索対象の人物と同一の所持物を所有しているか否かを判定する、
付記６に記載の人物検索方法。
［付記８］
さらに、
前記所持物の画像からクエリ所持物特徴量を抽出し、
前記クエリ人物特徴量と前記クエリ所持物特徴量とを統合したクエリ人物・所持物特徴量を算出し、
前記判定では、さらに、前記クエリ人物・所持物特徴量とデータベースに予め登録された登録人物に係る登録人物・所持物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する、
付記６または７に記載の人物検索方法。
［付記９］
前記判定では、人物再特定部を使用して前記判定を行う前に、前記人物再特定部を機械学習させ、
前記機械学習では、
学習用の画像から所持物の画像を含んだ人物の画像である学習人物・所持物画像を抽出し、
前記学習人物・所持物画像から前記所持物の画像を抽出し、
前記学習人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記学習人物・所持物画像である学習人物画像を算出し、
前記学習人物画像から前記機械学習に使用する学習人物特徴量を抽出する、
付記６乃至８の何れかに記載の人物検索方法。
［付記１０］
前記加工は、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を含む、
付記６乃至９の何れかに記載の人物検索方法。
［付記１１］
コンピュータに、
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出する処理と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出する処理と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出する処理と、
前記クエリ人物画像からクエリ人物特徴量を抽出する処理と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
［付記１］
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出するクエリ人物・所持物画像抽出部と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出するクエリ所持物画像抽出部と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出するクエリ人物画像算出部と、
前記クエリ人物画像からクエリ人物特徴量を抽出するクエリ人物特徴量抽出部と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する判定部と、
を備える人物検索システム。
［付記２］
前記所持物の画像からクエリ所持物特徴量を抽出するクエリ所持物特徴量抽出部を、さらに備え、
前記判定部は、前記検索対象の人物と同一人物であると判定された前記登録人物に関連して前記データベースに予め登録された登録所持物特徴量と前記クエリ所持物特徴量とを比較して、前記登録人物が前記検索対象の人物と同一の所持物を所有しているか否かを判定するように構成されている、
付記１に記載の人物検索システム。
［付記３］
前記所持物の画像からクエリ所持物特徴量を抽出するクエリ所持物特徴量抽出部と、
前記クエリ人物特徴量と前記クエリ所持物特徴量とを統合したクエリ人物・所持物特徴量を算出する統合部とを、さらに備え、
前記判定部は、さらに、前記クエリ人物・所持物特徴量とデータベースに予め登録された登録人物に係る登録人物・所持物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定するように構成されている、
付記１または２に記載の人物検索システム。
［付記４］
前記判定部は、
前記クエリ人物特徴量と前記登録人物特徴量とに基づいて前記判定を行う人物再特定部と、
前記人物再特定部を機械学習させる学習部と、を備え、
前記学習部は、
学習用の画像から所持物の画像を含んだ人物の画像である学習人物・所持物画像を抽出する学習人物・所持物画像抽出部と、
前記学習人物・所持物画像から前記所持物の画像を抽出する学習所持物画像抽出部と、
前記学習人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記学習人物・所持物画像である学習人物画像を算出する学習人物画像算出部と、
前記学習人物画像から前記機械学習に使用する学習人物特徴量を抽出する学習人物特徴量抽出部と、を備える、
付記１乃至３の何れかに記載の人物検索システム。
［付記５］
前記加工は、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を含む、
付記１乃至４の何れかに記載の人物検索システム。
［付記６］
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出し、
前記クエリ人物・所持物画像から前記所持物の画像を抽出し、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出し、
前記クエリ人物画像からクエリ人物特徴量を抽出し、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する、
人物検索方法。
［付記７］
さらに、
前記所持物の画像からクエリ所持物特徴量を抽出し、
前記判定では、さらに、前記検索対象の人物と同一人物であると判定された前記登録人物に関連して前記データベースに予め登録された登録所持物特徴量と前記クエリ所持物特徴量とを比較して、前記登録人物が前記検索対象の人物と同一の所持物を所有しているか否かを判定する、
付記６に記載の人物検索方法。
［付記８］
さらに、
前記所持物の画像からクエリ所持物特徴量を抽出し、
前記クエリ人物特徴量と前記クエリ所持物特徴量とを統合したクエリ人物・所持物特徴量を算出し、
前記判定では、さらに、前記クエリ人物・所持物特徴量とデータベースに予め登録された登録人物に係る登録人物・所持物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する、
付記６または７に記載の人物検索方法。
［付記９］
前記判定では、人物再特定部を使用して前記判定を行う前に、前記人物再特定部を機械学習させ、
前記機械学習では、
学習用の画像から所持物の画像を含んだ人物の画像である学習人物・所持物画像を抽出し、
前記学習人物・所持物画像から前記所持物の画像を抽出し、
前記学習人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記学習人物・所持物画像である学習人物画像を算出し、
前記学習人物画像から前記機械学習に使用する学習人物特徴量を抽出する、
付記６乃至８の何れかに記載の人物検索方法。
［付記１０］
前記加工は、前記所持物の画像部分の画素値を値０に置換する処理、前記所持物の画像部分の画素値の重みを最小値に設定する処理、前記所持物の画像部分の画素値をランダムな値に置換する処理、および、前記所持物の画像部分をノイズ画像に置換する処理のうちの少なくとも１つの処理を含む、
付記６乃至９の何れかに記載の人物検索方法。
［付記１１］
コンピュータに、
入力画像から所持物の画像を含んだ検索対象の人物の画像であるクエリ人物・所持物画像を抽出する処理と、
前記クエリ人物・所持物画像から前記所持物の画像を抽出する処理と、
前記クエリ人物・所持物画像中の前記所持物の画像部分に対して有意な特徴量が抽出されないような加工を施した後の前記クエリ人物・所持物画像であるクエリ人物画像を算出する処理と、
前記クエリ人物画像からクエリ人物特徴量を抽出する処理と、
前記クエリ人物特徴量とデータベースに予め登録された登録人物に係る登録人物特徴量とを比較して、前記検索対象の人物が前記登録人物と同一人物であるか否かを判定する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【0112】
１１０ カメラ
１２０ 画像サーバ
１３０ 表示装置
１４０ データベース
１５０ 検索装置
１６０ 登録装置
１２０ 画像サーバ
１３０ 表示装置
１４０ データベース
１５０ 検索装置
１６０ 登録装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】