特開 2022-175957 人物認証装置、人物認証方法、人物認証プログラム、及び人物認証システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022175957

(43)【公開日】2022-11-25

(54)【発明の名称】人物認証装置、人物認証方法、人物認証プログラム、及び人物認証システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221117BHJP

   G06T 7/00 20170101ALI20221117BHJP

   G06T 7/90 20170101ALI20221117BHJP

   G06T 1/00 20060101ALI20221117BHJP

【ＦＩ】

H04N5/232 290

G06T7/00 660Z

G06T7/90 Z

G06T1/00 400H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021082780

(22)【出願日】2021-05-14

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】近野 恵

(72)【発明者】

【氏名】紺野 剛史

【テーマコード（参考）】

5B047

5C122

5L096

【Ｆターム（参考）】

5B047AA23

5B047AB04

5B047BB06

5B047BC11

5B047BC12

5B047CB04

5C122DA11

5C122DA19

5C122EA01

5C122FA18

5C122FH11

5C122FH14

5C122GG03

5C122HA65

5C122HB01

5C122HB09

5L096AA02

5L096AA06

5L096BA02

5L096CA05

5L096FA79

5L096GA30

5L096GA40

5L096GA41

(57)【要約】

【課題】夜間に撮影された映像における、人物の認証の失敗を抑制する。
【解決手段】画像データを撮影した位置に対応する光源の種別を取得する取得部と、第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集する収集部と、 前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する認証部と、を有する。
【選択図】図８

【特許請求の範囲】

【請求項1】

画像データを撮影した位置に対応する光源の種別を取得する取得部と、
第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集する収集部と、
前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する認証部と、
を有する人物認証装置。

【請求項2】

前記対応関係は、前記第１画像データの前記第１色が、前記第２画像データにおいて前記第２色に変化する確率を含む
請求項１記載の人物認証装置。

【請求項3】

前記収集部は、前記所持品の色を使用しない人物認証で前記対象人物を特定し、前記対応関係を収集する
請求項１記載の人物認証装置。

【請求項4】

前記収集部は、前記所持品の色を使用しない人物認証で所定以上の確率で前記対象人物であると認証された人物の所持品を、前記対象人物の所持品とみなし、前記対応関係を収集する
請求項１記載の人物認証装置。

【請求項5】

前記認証部は、さらに、前記比較人物に対して前記人物認証を行い、前記人物認証における前記比較人物が前記対象人物とである確率を示す人物確率と、前記色彩確率とに基づき、前記比較人物が前記対象人物である確率を算出する
請求項３記載の人物認証装置。

【請求項6】

前記対応関係は、前記第１画像データの前記第１色が、前記第２画像データにおいて何色に変化するのかを示す変化色情報を含む
請求項１記載の人物認証装置。

【請求項7】

撮影位置と光源の種別との対応示す光源情報を有し、
前記取得部は、前記光源情報から前記光源の種別を取得する
請求項１記載の人物認証装置。

【請求項8】

画像データを撮影した位置に対応する光源の種別を取得し、
第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集し、
前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する
人物認証方法。

【請求項9】

画像データを撮影した位置に対応する光源の種別を取得する処理と、
第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集する処理と、
前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する処理と、
をコンピュータに実行させる人物認証プログラム。

【請求項10】

画像を撮影する複数の撮影装置と、
前記撮影装置が撮影した画像データを取得し、前記画像データを撮影した位置に対応する光源の種別を取得し、第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集し、前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する人物認証装置と、
を有する人物認証システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物認証装置、人物認証方法、人物認証プログラム、及び人物認証システムに関する。

【背景技術】

【0002】

近年、防犯などの用途において、防犯カメラなどの映像から、特定の人物を認証する人物認証技術の需要が高まっている。人物認証技術を用いたシステムには、例えば、道路周辺などに設置したカメラで撮影した映像を解析し、対象となる人物を検出し、連続した映像上で対象人物を追跡する人物照合システムがある。例えば、警察は、ある犯罪の容疑者を対象人物とし、複数箇所に設置された防犯カメラ映像から、同一人物を対応付け、対象人物を追跡する。対象人物の認証は、例えば、顔の特徴から対象人物を特定する顔認証などが用いられる。

【0003】

映像から人物を特定する技術は、以下に開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2005-332071号公報

【特許文献2】特開2010-147560号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、例えば、犯罪の多い夜間に撮影された映像では、防犯灯などの周囲の光の関係で、同一人物であっても、撮影した場所によって、映り方が変化する。この場合、同一人物の検出に失敗する場合がある。

【0006】

そこで、一開示は、夜間に撮影された映像における、人物の認証の失敗を抑制する人物認証装置、人物認証方法、人物認証プログラム、及び人物認証システムを提供する。

【課題を解決するための手段】

【0007】

画像データを撮影した位置に対応する光源の種別を取得する取得部と、第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集する収集部と、前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する認証部と、を有する。

【発明の効果】

【0008】

一開示は、夜間に撮影された映像における、人物の認証の失敗を抑制することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、人物認証システム１０の構成例を示す図である。

【図2】図２は、画像処理装置１００の構成例を表す図である。

【図3】図３は、人物追跡処理Ｓ１００の処理フローチャートの例を示す図である。

【図4】図４は、色彩情報収集処理Ｓ２００の処理フローチャートの例を示す図である。

【図5】図５は、対象人物の移動の軌跡の例を示す図である。

【図6】図６は、各地点における対象人物の画像の例を示す図である。

【図7】図７は、防犯灯マップの例を示す図である。

【図8】図８は、画像毎対象人物認証処理Ｓ３００の処理フローチャートの例を示す図である。

【図9】図９は、色彩データの例を示す図である。

【図10】図１０は、第２の実施の形態における画像毎対象人物認証処理Ｓ４００の処理フローチャートの例を示す図である。

【図11】図１１は、正解色を記憶する色彩データの例を示す図である。

【図12】図１２は、複数の色に対応する色彩データの例を示す図である。

【発明を実施するための形態】

【0010】

［第１の実施の形態］
第１の実施の形態について説明する。

【0011】

＜人物認証システム１０の構成例＞
図１は、人物認証システム１０の構成例を示す図である。人物認証システム１０は、画像処理装置（人物認証装置）１００、カメラ２００－１～３、及びネットワーク３００を有する。人物認証システム１０は、カメラ２００－１～３で撮影した映像の画像データを解析し、特定の人物を探索するシステムである。

【0012】

カメラ２００－１～３（以降、カメラ２００と呼ぶ場合がある）は、人物などを撮影する撮影装置である。カメラ２００は、例えば、道路や住宅などに設置される、例えば、監視カメラである。カメラ２００は、ネットワーク３００を介して画像処理装置１００と接続し、撮影した映像の画像データを画像処理装置１００に送信する。カメラ２００は、例えば、映像として動画を撮影し、所定サイズ又は所定時間の動画データを、継続して画像処理装置１００に送信する。また、カメラ２００は、常時又は定期的に、動画や静止画を撮影する。

【0013】

対象人物４００－１～３（以降、対象人物４００と呼ぶ場合がある）は、探索する対象となる人物である。対象人物４００は、移動方向Ｄ１の方向に、時間経過に伴い移動する。そして、対象人物４００は、移動先において、カメラ２００に撮影される。

【0014】

画像処理装置１００は、カメラ２００から取得した画像データを解析し、画像データに映る対象人物４００を検出する、例えば、コンピュータやサーバマシンである。

【0015】

ネットワーク３００は、例えば、インターネットである。また、ネットワークは、ローカルネットワークや、無線で構成されたネットワークであってもよい。

【0016】

人物認証システム１０において、移動する対象人物４００を、カメラ２００が撮影する。画像処理装置１００は、対象人物４００を画像データから探索する。

【0017】

画像処理装置１００は、映像データから人物を検出し、検出した人物が対象人物であるか否かを認証する。画像処理装置１００は、検出した人物を、対象人物の外観（服装の色を除く）と比較し、認証（第１認証）を行う。そして、画像処理装置１００は、第１認証に加え、対象人物の服装（所持品）の色を用いた認証（第２認証）を行う。画像処理装置１００は、第２認証において、画像の撮影位置の防犯灯（光源、灯）による色の変化を考慮する。画像処理装置１００は、防犯灯による色の変化を、例えば、対象人物の追跡の事前あるいは初期期間に取得した画像データから収集する。画像処理装置１００は、第２認証を行うことで、人物の認証精度を向上させる。

【0018】

＜画像処理装置１００の構成例＞
図２は、画像処理装置１００の構成例を表す図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１１０、ストレージ１２０、メモリ１３０、通信回路１４０、及びアクセラレータ１５０を有する。

【0019】

ストレージ１２０は、プログラムやデータを記憶する、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの補助記憶装置である。ストレージ１２０は、人物検出プログラム１２１、人物追跡プログラム１２２、及び防犯灯マップ１２３を記憶する。

【0020】

防犯灯マップ１２３は、例えば、画像の撮影位置と、撮影位置周辺を照らす防犯灯（光源）の種別との対応関係を記憶するマップや位置情報リストなどの光源情報である。

【0021】

メモリ１３０は、ストレージ１２０に記憶されているプログラムをロードする領域である。また、メモリ１３０は、プログラムがデータを記憶する領域としても使用されてもよい。

【0022】

ＣＰＵ１１０は、ストレージ１２０に記憶されているプログラムを、メモリ１３０にロードし、ロードしたプログラムを実行し、各部を構築し、各処理を実現するプロセッサである。

【0023】

通信回路１４０は、ネットワーク３００を介して、カメラ２００と通信を行う回路である。通信回路１４０は、例えば、ＮＩＣ（Network Interface Card）である。また、通信回路１４０は、無線及び有線のいずれでネットワーク３００と接続されてもよい。

【0024】

アクセラレータ１５０は、例えば、ＣＰＵ１１０の命令に従い特定の処理を行う、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）である。アクセラレータ１５０は、ハードウェアアクセラレータであり、例えば、画像処理や演算処理などを行う。

【0025】

ＣＰＵ１１０は、人物検出プログラム１２１を実行することで、人物検出処理を行う。人物検出処理は、画像データから人物を検出する処理である。画像処理装置１００は、取得した画像データを解析（画像処理）し、画像に映る人物を検出する。

【0026】

ＣＰＵ１１０は、人物追跡プログラム１２２を実行することで、取得部、収集部、及び認証部を構築し、人物追跡処理を行う。人物追跡処理は、対象人物を画像データから人物を検出する処理である。画像処理装置１００は、取得した画像データを解析（画像処理）し、画像に映る対象人物を検出する。人物追跡処理は、例えば、色彩情報収集処理、画像毎対象人物認証処理を有する。

【0027】

ＣＰＵ１１０は、人物追跡プログラム１２２が有する色彩情報収集モジュール１２２１を実行することで、色彩情報収集処理を行う。色彩情報収集処理は、色彩データを収集する処理である。色彩データは、防犯灯（光源）の種別と、対象人物の服（所持品）の色との対応関係を記憶するデータである。色彩データは、例えば、ある防犯灯の下での色が、別の種別の防犯灯の下では何色に映るか（何色に変化するか）を、記憶するデータである。

【0028】

ＣＰＵ１１０は、人物追跡プログラム１２２が有する画像毎対象人物認証モジュール１２２２を実行することで、画像毎対象人物認証処理を行う。画像毎対象人物認証処理は、色彩データを使用しない（対象人物の服の色を使用しない）認証と、色彩データに基づく第２認証とに基づき、画像に映る人物が対象人物である確率を算出する処理である。また、画像毎対象人物認証処理は、画像に映る人物が対象人物であるか否かを判定する処理であってもよい。

【0029】

＜人物追跡処理について＞
人物追跡処理について説明する。人物追跡処理は、例えば、犯人や行方不明者などの対象人物を、カメラ２００で撮影した映像で追跡する処理である。

【0030】

図３は、人物追跡処理Ｓ１００の処理フローチャートの例を示す図である。画像処理装置１００は、人物追跡処理Ｓ１００において、対象人物を特定する（Ｓ１００－１）。対象人物は、追跡する対象となる人物である。

【0031】

画像処理装置１００は、色彩情報収集処理を行う（Ｓ２００）。色彩情報収集処理Ｓ２００は、対象人物の服などの所持品の色を収集し、防犯灯種別と対応づけてデータベース化する処理である。色は、対象人物の身に着けている所持品の色に関する情報であり、例えば、上着、ズボン、スカートなどの服の色を含む。また、色は、例えば、帽子、靴、手袋などの色を含む。色彩情報収集処理Ｓ２００については、後述する。

【0032】

画像処理装置１００は、色彩情報収集処理Ｓ２００が完了すると、次の画像を取得し（Ｓ１００－２）、画像毎対象人物認証処理を行う（Ｓ３００）。画像毎対象人物認証処理Ｓ３００は、色彩情報や他の外観情報に基づき、画像に映る人物が対象人物であるか否かを判定する（あるいは、対象人物である度合いや確率を算出する）処理である。画像毎対象人物認証処理Ｓ３００については、後述する。

【0033】

画像処理装置１００は、画像毎対象人物認証処理Ｓ３００の完了後、追跡終了条件を満たすか否かを判定し（Ｓ１００－３）、追跡終了条件を満たす場合（Ｓ１００－３のＹｅｓ）、処理を終了する。一方、画像処理装置１００は、追跡終了条件を満たさない場合（Ｓ１００－３のＮｏ）、再度画像を取得し（Ｓ１００－２）、画像毎対象人物認証処理Ｓ３００を実行する。

【0034】

追跡終了条件は、対象人物の追跡を終了する条件である。追跡終了条件は、例えば、対象人物を検出できない（見失う）など、画像毎対象人物認証処理Ｓ３００の認証結果に基づく条件であってもよい。また、追跡終了条件は、追跡時間や次の画像の有無などの、物理的条件であってもよい。さらに、追跡終了条件は、対象人物を追跡する必要性の消失や、対象人物が撮影できない建物内に入ったことなど、追跡の必要性や可能性に関する条件であってもよい。

【0035】

＜色彩情報収集処理＞
図４は、色彩情報収集処理Ｓ２００の処理フローチャートの例を示す図である。画像処理装置１００は、画像を取得する（Ｓ２００－１）。画像処理装置１００は、画像から対象人物を検索する（Ｓ２００－２）。なお、処理Ｓ２００－２における検索では、服装の色など、色彩による人物の特定を行わない。画像処理装置１００は、処理Ｓ２００－２において、例えば、対象人物が有するカバンや帽子などの特徴的な所持品を検出し、同じ所持品を持つ人を紐づけることで、対象人物の検索を行う。以降、色彩情報収集処理Ｓ２００において収集されるデータを、色彩データと呼ぶ場合がある。また、以降、色彩データとして収集する対象は、対象人物の服（特に上着）の色を例として説明するが、ズボン、靴、帽子、カバン、皮膚など、対象人物が身に着けているものの色や対象人物の一部の色であってもよい。

【0036】

画像処理装置１００は、対象人物を検出しない場合（Ｓ２００－３のＮｏ）、次の画像を取得する（Ｓ２００－１）。一方、画像処理装置１００は、対象人物を検出すると（Ｓ２００－２のＹｅｓ）、画像の撮影位置に対応する防犯灯の種別を抽出する（Ｓ２００－４）。画像処理装置１００は、例えば、防犯灯マップ１２３から防犯灯の種別を特定し、抽出する。

【0037】

画像処理装置１００は、対象人物の服の色を特定する（Ｓ２００－５）。色は、例えば、「赤」、「黄色」、「ＲＥＤ」など、色の名称で特定されてもよいし、ＲＧＢカラーモデル、ＹＵＶ方式、ＹＣｂＣｒ方式、及びＹＰｂＰｒ方式など、数値で特定されてもよい。

【0038】

画像処理装置１００は、特定した色に関する情報を、色彩データとして集計する（Ｓ２００－６）。

【0039】

画像処理装置１００は、終了条件を満たす場合（Ｓ２００－７のＹｅｓ）、処理を終了する。一方、画像処理装置１００は、終了条件を満たさない場合（Ｓ２００－７のＮｏ）、次の画像を取得する（Ｓ２００－１）。終了条件は、色彩情報収集処理Ｓ２００を終了する条件であって、例えば、収集した色彩データの量（数）、色彩情報収集処理Ｓ２００を実行する時間、処理を行った画像の枚数、又は時刻などに応じた条件である。

【0040】

以下、画像や防犯灯マップを用いて、色彩情報収集処理Ｓ２００の例について説明する。

【0041】

図５は、対象人物の移動の軌跡の例を示す図である。対象人物は、地点Ｐ１から、地点Ｐ２を経由し、地点Ｐ３へと、歩いて移動する。そして、対象人物は、地点Ｐ１、地点Ｐ２、地点Ｐ３において、例えば、防犯カメラなどで撮影される。

【0042】

図６は、各地点における対象人物の画像の例を示す図である。画像Ｇ１は、地点Ｐ１で撮影された対象人物の画像である。画像Ｇ２は、地点Ｐ２で撮影された対象人物の画像である。画像Ｇ３は、地点Ｐ３で撮影された対象人物の画像である。

【0043】

画像処理装置１００は、色彩情報収集処理Ｓ２００において、画像Ｇ１を取得し（図４のＳ２００－１）、対象人物を特定する（図４のＳ２００－２、Ｓ２００－３のＹｅｓ）。画像処理装置１００は、画像Ｇ１の撮影位置に対応する防犯灯の種別を、防犯灯マップから抽出する（Ｓ２００－４）。

【0044】

図７は、防犯灯マップの例を示す図である。図７は、エリアＡ１が防犯灯Ａに照らされているエリアであって、エリアＡ２が防犯灯Ｂに照らされているエリアであることを示す。画像処理装置１００は、防犯灯マップより、画像Ｇ１を撮影した地点Ｐ１が、防犯灯Ａに照らされていることを抽出する（図４のＳ２００－４）。

【0045】

画像処理装置１００は、色彩情報収集処理Ｓ２００において、画像Ｇ１の対象人物の服の色を抽出する（図４のＳ２００－５）。画像処理装置１００は、図６の画像Ｇ１より、対象人物の服の色を「赤」と抽出する（図４のＳ２００－５）。

【0046】

画像処理装置１００は、対象人物の服の色「赤」を、防犯灯Ａと対応づけて、色彩データとして集計する（図４のＳ２００－６）。色彩データは、例えば、防犯灯の種別ごとに作成される。色彩データは、例えば、ある防犯灯の下の色と、他の防犯灯の下での色の関係を示すものである。画像処理装置１００は、色彩データとして、例えば、防犯灯Ａの下では「赤」である服の色が、防犯灯Ｂの下では「橙」に映ること（あるいは映る確率）、などを記憶する。

【0047】

画像処理装置１００は、次の画像Ｇ２を取得し（図４のＳ２００－１）、対象人物を特定する（図４のＳ２００－２、Ｓ２００－３のＹｅｓ）。画像処理装置１００は、画像Ｇ２の撮影位置に対応する防犯灯の種別を、防犯灯マップから抽出する（Ｓ２００－４）。

【0048】

画像処理装置１００は、防犯灯マップより、画像Ｇ２を撮影した地点Ｐ２が、防犯灯Ｂに照らされていることを抽出する（図４のＳ２００－４）。

【0049】

画像処理装置１００は、図６の画像Ｇ２より、対象人物の服の色を「橙」と抽出する（図４のＳ２００－５）。

【0050】

画像処理装置１００は、対象人物の服の色「橙」を、防犯灯Ｂと対応づけて、色彩データとして集計する（図４のＳ２００－６）。

【0051】

さらに、画像処理装置１００は、次の画像Ｇ３を取得し（図４のＳ２００－１）、対象人物を特定する（図４のＳ２００－２、Ｓ２００－３のＹｅｓ）。画像処理装置１００は、画像Ｇ２の撮影位置に対応する防犯灯の種別を、防犯灯マップから抽出する（Ｓ２００－４）。

【0052】

画像処理装置１００は、防犯灯マップより、画像Ｇ３を撮影した地点Ｐ３が、防犯灯Ｂに照らされていることを抽出する（図４のＳ２００－４）。

【0053】

画像処理装置１００は、図６の画像Ｇ３より、対象人物の服の色を「橙」と抽出する（図４のＳ２００－５）。

【0054】

画像処理装置１００は、対象人物の服の色「橙」を、防犯灯Ｂと対応づけて、色彩データとして集計する（図４のＳ２００－６）。

【0055】

上述したように、画像処理装置１００は、終了条件を満たすまで、画像を取得し、対象人物の服の色と防犯灯の種別とを対応づけ、色彩データとして記憶する。

【0056】

なお、色彩情報収集処理Ｓ２００は、例えば、終了条件を設定せずに、人物追跡処理Ｓ１００の実行において処理される全ての画像に対して実行されてもよい。例えば、画像処理装置１００は、人物追跡処理Ｓ１００において、服の色による情報を用いないで対象人物を特定（検出）できる場合、当該特定した画像における対象人物の服の色を、色彩データに集計してもよい。これにより、色彩データのデータ量が増加し、人物追跡処理Ｓ１００の実行時間が増加するに伴い、色彩データによる対象人物の認証の精度が向上する。

【0057】

＜画像毎対象人物認証処理＞
図８は、画像毎対象人物認証処理Ｓ３００の処理フローチャートの例を示す図である。画像処理装置１００は、画像の撮影位置の防犯灯の種別を抽出する（Ｓ３００－１）。

【0058】

画像処理装置１００は、未判定の人物が画像内に存在する場合（Ｓ３００－２のＹｅｓ）、画像から人物を抽出する（Ｓ３００－３）。画像処理装置１００は、例えば、画像における人物を全て検出し、検出した人物から任意の（又は画像が鮮明な順に）１人を選択することで、処理Ｓ３００－３を実行する。

【0059】

画像処理装置１００は、抽出人物が対象人物である第１確率を算出する（Ｓ３００－４）。画像処理装置１００は、処理Ｓ３００－４において、服装の色による判定を行わない。第１確率（人物確率）は、例えば、第１認証（人物認証）による確率であって、抽出人物の顔や身長などの身体的な特徴に基づく確率である。また、第１確率は、例えば、抽出人物の身に着けているもの（帽子など）や、持ち物（カバンなど）などに基づく確率である。第１確率は、抽出人物の服の色に関する情報を使用せずに算出される確率である。

【0060】

画像処理装置１００は、抽出人物の服装の色の基づき、抽出人物が対象人物である第２確率（色彩確率）を算出する。第２確率は、例えば、第２認証による確率であって、抽出人物の服の色と色彩データに基づき算出される（抽出される）確率である。

【0061】

画像処理装置１００は、第１確率と第２確率より、抽出人物が対象人物であるか否かを判定する（Ｓ３００－６）。画像処理装置１００は、処理Ｓ３００－６において、抽出人物が対象人物である確率（総合確率）を算出してもよい。画像処理装置１００は、例えば、統合確率が閾値以上又は閾値より大きい場合、抽出人物が対象人物であるとみなす（判定する）。

【0062】

画像処理装置１００は、抽出人物が対象人物であると判定した場合（Ｓ３００－７のＹｅｓ）、抽出人物を対象人物と特定し（Ｓ３００－８）、処理を終了する。

【0063】

画像処理装置１００は、抽出人物が対象人物でないと判定した場合（Ｓ３００－７のＮｏ）、未判定の人物が画像内に存在する場合（Ｓ３００－２のＹｅｓ）、次の人物を抽出する（Ｓ３００－３）。

【0064】

画像処理装置１００は、未判定の人物が画像内に存在しない場合（Ｓ３００－２のＮｏ）、対象人物は画像に映っていないと判定し（Ｓ３００－９）、処理を終了する。

【0065】

なお、画像処理装置１００は、例えば、処理Ｓ３００－６で統合確率を算出する場合、抽出人物ごとに対象人物であるか否かの判定（処理Ｓ３００－７）を実行しなくてもよい。この場合、画像処理装置１００は、判定した抽出人物のうち、最も統合確率が高い抽出人物を、対象人物と特定する。また、画像処理装置１００は、判定した抽出人物のうち、統合確率が閾値より高い抽出人物を、対象人物の候補として選定してもよい。

【0066】

図９は、色彩データの例を示す図である。図９の色彩データは、防犯灯Ａの下での色が、防犯灯Ｂの下では何色に映るか（何色に変化するか）の確率をリスト化したデータである。例えば、図９によると、防犯灯Ａの下で「赤」の色の服は、防犯灯Ｂの下では「橙」に映る（変化する）確率が７５％で、最も高確率であることがわかる。図９における確率は、色彩情報収集処理Ｓ２００において、防犯灯Ａの下では「赤」であった色が、複数の防犯灯Ｂの下で撮影された画像において映る色の出現度合いにより算出される値である。図９は、例えば、防犯灯Ｂの下で撮影された画像が１００枚であった場合、７５枚が橙であったことを示す。

【0067】

画像処理装置１００は、画像毎対象人物認証処理Ｓ３００において、図９の色彩データを用いて、第２確率を算出する（図８のＳ３００－５）。画像処理装置１００は、対象人物の服の色が、防犯灯Ａの下では赤であり、防犯灯Ｂの画像データ内の抽出人物の服の色が橙である場合、第２確率を７５％と算出する。そして、画像処理装置１００は、第１確率と第２確率を用いて、抽出人物が対象人物である確率（統合確率）を算出し、認証を行う（図８のＳ３００－６、Ｓ３００－７）。

【0068】

第１の実施の形態において、画像処理装置１００は、対象人物の服の色が何色に映るかを、防犯灯の種別ごとに収集する。そして、画像処理装置１００は、服の色の変化の確率（防犯灯の種別の変化に応じた色の確率）に基づき、対象人物である確率（第２確率）を算出し、当該人物が対象人物であるか否か判定、あるいは確率を算出する。これにより、画像処理装置１００は、防犯灯の種別による服の色の変化を考慮した対象人物の検出を行うことができ、対象人物の誤認識を抑制できる。

【0069】

［第２の実施の形態］
第２の実施の形態について説明する。第２の実施の形態では、画像処理装置１００は、画像毎対象人物認証処理Ｓ３００において、服装の色が対象人物と一致する（あるいは一致する確率が所定値より高い）人物を画像より抽出し、選択人物が対象人物である確率を算出する。

【0070】

第２の実施の形態では、先行して服の色で認証を行う人物を抽出するため、明確に服の色が異なる他人を認証の対象から除くことができ、処理量の増大化を抑制することができる。

【0071】

＜画像毎対象人物認証処理＞
図１０は、第２の実施の形態における画像毎対象人物認証処理Ｓ４００の処理フローチャートの例を示す図である。画像処理装置１００は、画像の撮影位置の防犯灯の種別を抽出する（Ｓ４００－１）。

【0072】

画像処理装置１００は、服装の色が一致する人物を、画像から抽出する（Ｓ４００－２）。服装の色が一致するとは、例えば、防犯灯の下における変化の色が一致することを示す。例えば、画像処理装置１００は、図９の色彩データの場合、防犯灯Ｂの下で撮影された画像から、最も高確率な橙の服の人物を抽出する。あるいは、画像処理装置１００は、確率が所定値（例えば１０％）以上の、橙と黒の服の人物を抽出してもよい。画像処理装置１００は、確率が高い色の人物を抽出する。

【0073】

画像処理装置１００は、未判定の人物が画像内に存在する場合（Ｓ４００－３のＹｅｓ）、画像から人物を選択する（Ｓ４００－４）。

【0074】

画像処理装置１００は、選択人物が対象人物である確率を算出する（Ｓ４００－４）。画像処理装置１００は、例えば、第１確率を算出する。

【0075】

画像処理装置１００は、算出した確率より、選択人物が対象人物であるか否かを判定する（Ｓ４００－６）。画像処理装置１００は、例えば、確率が閾値以上又は閾値より大きい場合、選択人物が対象人物であるとみなす（判定する）。

【0076】

画像処理装置１００は、選択人物が対象人物であると判定した場合（Ｓ４００－７のＹｅｓ）、選択人物を対象人物と特定し（Ｓ４００－８）、処理を終了する。

【0077】

画像処理装置１００は、選択人物が対象人物でないと判定した場合（Ｓ４００－７のＮｏ）、未判定の人物が画像内に存在する場合（Ｓ４００－２のＹｅｓ）、次の抽出人物を選択する（Ｓ４００－３）。

【0078】

画像処理装置１００は、未判定の人物が画像内に存在しない場合（Ｓ４００－３のＮｏ）、対象人物は画像に映っていないと判定し（Ｓ４００－８）、処理を終了する。

【0079】

［その他の実施の形態］
色彩データは、変化する確率以外に、最も変化する確率が高い色（正解色）を記憶してもよい。図１１は、正解色を記憶する色彩データの例を示す図である。図１１によると、例えば、防犯灯Ａの下では「橙」である色が、防犯灯Ｂの下では「赤」、防犯灯Ｃ及びＤの下では「黒」に映ることを示す。

【0080】

また、色彩データは、複数の色の変化の確率の組み合わせであってもよい。図１２は、複数の色に対応する色彩データの例を示す図である。図１２では、対象人物が複数存在する場合や、対象人物の服の色が、同じ防犯灯Ａの下でも、異なる複数の色に映る場合の、防犯灯Ｂでの変化の確率の例を示す図である。色彩データをこのように記憶することで、複数の対象人物、例えば橙の服の人物と青の服の人物を、防犯灯Ｂの画像から検出することができる。また、図１２のように、複数の色を確率で記憶する場合、画像処理装置１００は、対象人物の追跡において、正解色（例えば、ある防犯灯の下における対象人物の服の色で、最も出現確率の高い色）を決定し、当該正解色を基準として人物を検索することで、対象人物を追跡してもよい。

【0081】

以下、まとめると付記のようになる。

【0082】

（付記１）
画像データを撮影した位置に対応する光源の種別を取得する取得部と、
第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集する収集部と、
前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する認証部と、
を有する人物認証装置。

【0083】

（付記２）
前記対応関係は、前記第１画像データの前記第１色が、前記第２画像データにおいて前記第２色に変化する確率を含む
付記１記載の人物認証装置。

【0084】

（付記３）
前記収集部は、前記所持品の色を使用しない人物認証で前記対象人物を特定し、前記対応関係を収集する
付記１記載の人物認証装置。

【0085】

（付記４）
前記収集部は、前記所持品の色を使用しない人物認証で所定以上の確率で前記対象人物であると認証された人物の所持品を、前記対象人物の所持品とみなし、前記対応関係を収集する
付記１記載の人物認証装置。

【0086】

（付記５）
前記認証部は、さらに、前記比較人物に対して前記人物認証を行い、前記人物認証における前記比較人物が前記対象人物とである人物確率と、前記色彩確率とに基づき、前記比較人物が前記対象人物である確率を算出する
付記３記載の人物認証装置。

【0087】

（付記６）
前記対応関係は、前記第１画像データの前記第１色が、前記第２画像データにおいて何色に変化するのかを示す変化色情報を含む
付記１記載の人物認証装置。

【0088】

（付記７）
前記画像データを、撮影装置から取得するデータ取得部を有する
付記１記載の人物認証装置。

【0089】

（付記８）
撮影位置と光源の種別との対応示す光源情報を有し、
前記取得部は、前記光源情報から前記光源の種別を取得する
付記１記載の人物認証装置。

【0090】

（付記９）
前記所持品は、人物の服装を含む
付記１記載の人物認証装置。

【0091】

（付記１０）
画像データを撮影した位置に対応する光源の種別を取得し、
第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集し、
前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する
人物認証方法。

【0092】

（付記１１）
画像データを撮影した位置に対応する光源の種別を取得する処理と、
第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集する処理と、
前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する処理と、
をコンピュータに実行させる人物認証プログラム。

【0093】

（付記１２）
画像を撮影する複数の撮影装置と、
前記撮影装置が撮影した画像データを取得し、前記画像データを撮影した位置に対応する光源の種別を取得し、第１種光源の下で撮影された第１画像データにおける対象人物の所持品の色と、第２種光源の下で撮影された第２画像データの前記対象人物の所持品の色との、対応関係を収集し、前記第１画像データの前記対象人物の所持品が第１色であるとき、前記第２画像データで所持品が第２色である比較人物が前記対象人物である確率を示す色彩確率を、前記対応関係に基づき算出する人物認証装置と、
を有する人物認証システム。

【符号の説明】

【0094】

１０ ：人物認証システム
１００ ：画像処理装置
１１０ ：ＣＰＵ
１２０ ：ストレージ
１２１ ：人物検出プログラム
１２２ ：人物追跡プログラム
１２２１ ：色彩情報収集モジュール
１２２２ ：画像毎対象人物認証モジュール
１２３ ：防犯灯マップ
１３０ ：メモリ
１４０ ：通信回路
１５０ ：アクセラレータ
２００ ：カメラ
３００ ：ネットワーク
４００ ：対象人物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】