知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171150
(43)【公開日】2024-12-11
(54)【発明の名称】画像処理装置およびその制御方法
(51)【国際特許分類】
G06V 10/62 20220101AFI20241204BHJP
G06T 7/00 20170101ALI20241204BHJP
G06V 40/16 20220101ALI20241204BHJP
【ＦＩ】
G06V10/62
G06T7/00 350B
G06V40/16 A
G06T7/00 510F
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023088069
(22)【出願日】2023-05-29
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】絹川 翔悟
【テーマコード（参考）】
5B043
5L096
【Ｆターム（参考）】
5B043AA09
5B043BA04
5B043DA05
5B043EA05
5B043GA04
5L096DA02
5L096FA35
5L096GA30
5L096GA51
5L096JA11
5L096JA22
5L096KA04
5L096KA15
(57)【要約】
【課題】照合処理における属性別の精度の変化を検知する。
【解決手段】画像処理装置は、照合対象人物の画像特徴量を取得する第１の取得手段と、それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、画像特徴量と複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、類似度に基づいて照合対象人物が複数の人物の何れに対応するかを判定する判定手段と、類似度と判定結果とを関連付けた履歴に基づいて、属性ごとの判定精度を導出する導出手段と、第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、を備える。
【選択図】図３
【解決手段】画像処理装置は、照合対象人物の画像特徴量を取得する第１の取得手段と、それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、画像特徴量と複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、類似度に基づいて照合対象人物が複数の人物の何れに対応するかを判定する判定手段と、類似度と判定結果とを関連付けた履歴に基づいて、属性ごとの判定精度を導出する導出手段と、第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
照合対象人物の画像特徴量を取得する第１の取得手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記算出手段により算出された類似度と前記判定手段による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出手段と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出手段により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出手段により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記算出手段により算出された類似度と前記判定手段による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出手段と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出手段により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出手段により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記第１の撮影環境はテスト環境であり、前記第２の撮影環境は実運用環境である
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記第１の撮影環境は第１の期間における実運用環境であり、前記第２の撮影環境は前記第１の期間とは異なる第２の期間における実運用環境である
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記検知手段により前記所定の閾値以上の差がある属性が検知された場合に該属性または該属性を含む属性カテゴリに関する情報を通知する通知手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記判定手段は、前記画像特徴量に対して前記算出手段により算出された最大の類似度が第１の閾値以上、かつ、前記画像特徴量に対して前記算出手段により算出された前記最大の類似度と２番目に大きい類似度との差分が第２の閾値以上である場合に、前記照合対象人物は前記最大の類似度に対応する登録画像特徴量の人物であると判定する
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記複数の人物の各々には予め識別情報が設定されており、
前記照合対象人物から識別情報を受け付ける受付手段をさらに含み、
前記判定手段は、前記最大の類似度が前記第１の閾値未満、または、前記差分が前記第２の閾値未満である場合に、前記受付手段が前記照合対象人物から受け付けた識別情報に基づいて前記照合対象人物が前記複数の人物の何れに対応するかを判定する
ことを特徴とする請求項５に記載の画像処理装置。
前記照合対象人物から識別情報を受け付ける受付手段をさらに含み、
前記判定手段は、前記最大の類似度が前記第１の閾値未満、または、前記差分が前記第２の閾値未満である場合に、前記受付手段が前記照合対象人物から受け付けた識別情報に基づいて前記照合対象人物が前記複数の人物の何れに対応するかを判定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記所定の閾値は、前記第１の判定精度に対する比率または前記第１の判定精度に対する差分として設定される
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項8】
前記第２の取得手段は、前記複数の登録画像特徴量を予め用意されたデータベースから取得する
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項9】
照合対象人物の画像特徴量を取得する第１の取得手段と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記推定手段により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムと、前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムと、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記推定手段により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムと、前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムと、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
【請求項10】
前記判定手段は、前記画像特徴量に対して前記算出手段により算出された最大の類似度が第１の閾値以上である場合に、前記照合対象人物は前記最大の類似度に対応する登録画像特徴量の人物であると判定する
ことを特徴とする請求項９に記載の画像処理装置。
ことを特徴とする請求項９に記載の画像処理装置。
【請求項11】
前記複数の人物の各々には予め識別情報が設定されており、
前記照合対象人物から識別情報を受け付ける受付手段をさらに含み、
前記判定手段は、前記最大の類似度が前記第１の閾値未満である場合に、前記受付手段が前記照合対象人物から受け付けた識別情報に基づいて前記照合対象人物が前記複数の人物の何れに対応するかを判定する
ことを特徴とする請求項１０に記載の画像処理装置。
前記照合対象人物から識別情報を受け付ける受付手段をさらに含み、
前記判定手段は、前記最大の類似度が前記第１の閾値未満である場合に、前記受付手段が前記照合対象人物から受け付けた識別情報に基づいて前記照合対象人物が前記複数の人物の何れに対応するかを判定する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項12】
照合対象人物の画像特徴量を取得する第１の取得手段と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
第１の撮影環境下で撮像された画像に基づいて前記推定手段により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムの各ビンの値を、前記第１の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムの各ビンの値で除算して得られる、第１の比率分布を生成する第１の生成手段と、
第２の撮影環境下で撮像された画像に基づいて前記推定手段により推定された複数の属性の履歴に基づいて生成される第３の属性ヒストグラムの各ビンの値を、前記第２の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第４の属性ヒストグラムの各ビンの値で除算して得られる、第２の比率分布を生成する第２の生成手段と、
前記第１の比率分布と前記第２の比率分布とを属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
第１の撮影環境下で撮像された画像に基づいて前記推定手段により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムの各ビンの値を、前記第１の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムの各ビンの値で除算して得られる、第１の比率分布を生成する第１の生成手段と、
第２の撮影環境下で撮像された画像に基づいて前記推定手段により推定された複数の属性の履歴に基づいて生成される第３の属性ヒストグラムの各ビンの値を、前記第２の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第４の属性ヒストグラムの各ビンの値で除算して得られる、第２の比率分布を生成する第２の生成手段と、
前記第１の比率分布と前記第２の比率分布とを属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
【請求項13】
前記推定手段が推定に用いる推定器を学習する学習手段をさらに備え、
前記学習手段は、前記第１の属性ヒストグラムと前記第２の属性ヒストグラムとの間の差が少なくなるように前記推定器を学習し、
前記検知手段は、前記第１の比率分布の各ビンの比率のうち１との差が所定の閾値以上ある属性を検知する
ことを特徴とする請求項１２に記載の画像処理装置。
前記学習手段は、前記第１の属性ヒストグラムと前記第２の属性ヒストグラムとの間の差が少なくなるように前記推定器を学習し、
前記検知手段は、前記第１の比率分布の各ビンの比率のうち１との差が所定の閾値以上ある属性を検知する
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項14】
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
前記算出工程により算出された類似度と前記判定工程による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出工程と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出工程により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出工程により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
照合対象人物の画像特徴量を取得する第１の取得工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
前記算出工程により算出された類似度と前記判定工程による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出工程と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出工程により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出工程により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
【請求項15】
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
前記推定工程により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムと、前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムと、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
照合対象人物の画像特徴量を取得する第１の取得工程と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
前記推定工程により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムと、前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムと、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
【請求項16】
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
第１の撮影環境下で撮像された画像に基づいて前記推定工程により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムの各ビンの値を、前記第１の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムの各ビンの値で除算して得られる、第１の比率分布を生成する第１の生成工程と、
第２の撮影環境下で撮像された画像に基づいて前記推定工程により推定された複数の属性の履歴に基づいて生成される第３の属性ヒストグラムの各ビンの値を、前記第２の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第４の属性ヒストグラムの各ビンの値で除算して得られる、第２の比率分布を生成する第２の生成工程と、
前記第１の比率分布と前記第２の比率分布とを属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
照合対象人物の画像特徴量を取得する第１の取得工程と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
第１の撮影環境下で撮像された画像に基づいて前記推定工程により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムの各ビンの値を、前記第１の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムの各ビンの値で除算して得られる、第１の比率分布を生成する第１の生成工程と、
第２の撮影環境下で撮像された画像に基づいて前記推定工程により推定された複数の属性の履歴に基づいて生成される第３の属性ヒストグラムの各ビンの値を、前記第２の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第４の属性ヒストグラムの各ビンの値で除算して得られる、第２の比率分布を生成する第２の生成工程と、
前記第１の比率分布と前記第２の比率分布とを属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
【請求項17】
請求項１４乃至１６の何れか１項に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の照合処理に関するものである。
【背景技術】
【0002】
入力された顔画像と予め登録された複数の顔画像との比較を行い何れと一致するかを判定する顔照合と呼ばれる技術がある。一般に、顔照合の識別部は機械学習の手法を用いて訓練される。ただし機械学習の手法では、実環境本番での精度が開発時に想定した精度より劣ってしまうことがある。原因の一つとして、想定している入力データの統計的性質が、実際の運用時のデータと一致していない、もしくは当初は一致していたが何らかの理由でずれた（データドリフトと呼ばれる）ことがあげられる。特許文献１は顔照合において照合人物と登録人物の類似度の経時的変化に基づき、登録情報を更新すべきか否かを判定する手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－７４４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、属性（人種、性別など）別の顔照合精度の不均衡が問題になっている。特定の属性の照合精度が悪いと、一部の利用者に不利益を生じさせ人種問題などに発展する可能性もある。このようなリスクを低減するため、開発時に想定した属性別精度がシステム設置時にも維持できているかの確認が重要である。上述の特許文献１は、個人ごとの類似度の経時的変化を監視しており、システム設置環境での属性別精度の悪化を検知することはできない。
【0005】
本発明は、このような問題に鑑みてなされたものであり、照合処理における属性別の精度変化を検知可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【0006】
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
照合対象人物の画像特徴量を取得する第１の取得手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記算出手段により算出された類似度と前記判定手段による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出手段と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出手段により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出手段により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備える。
照合対象人物の画像特徴量を取得する第１の取得手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記算出手段により算出された類似度と前記判定手段による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出手段と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出手段により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出手段により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、照合処理における属性別の精度変化を検知可能とする技術を提供することができる。
【図面の簡単な説明】
【0008】
【図1】照合システムの全体構成を示す図である。
【図2】情報処理装置のハードウェア構成を示す図である。
【図3】情報処理装置の機能構成を示す図である。
【図4】登録処理のフローチャートである。
【図5】登録処理で保存される人物情報の例を示す図である。
【図6】照合処理のフローチャートである。
【図7】属性別類似度情報の例を示す図である。
【図8】状況計測処理のフローチャートである。
【図9】変形例に係る属性別類似度情報の例を示す図である。
【図10】情報処理装置の機能構成を示す図である（第２実施形態）。
【図11】照合処理のフローチャートである（第２実施形態）。
【図12】属性ヒストグラムの収集を説明する図である。
【図13】状況計測処理のフローチャートである（第２実施形態）。
【図14】照合処理のフローチャートである（第３実施形態）。
【図15】状況計測処理のフローチャートである（第３実施形態）。
【図16】情報処理装置の機能構成を示す図である（第４実施形態）。
【図17】学習処理のフローチャートである。
【図18】状況計測処理のフローチャートである（第４実施形態）。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、撮像画像に含まれる人物の顔を照合する照合システムにおける情報処理装置を例に挙げて以下に説明する。特に、顔照合時に照合対象人物に対応する属性を、事前登録した登録データベースから取得し、属性別に類似度を集計し、属性別の精度悪化を検知する形態について説明する。
本発明に係る画像処理装置の第１実施形態として、撮像画像に含まれる人物の顔を照合する照合システムにおける情報処理装置を例に挙げて以下に説明する。特に、顔照合時に照合対象人物に対応する属性を、事前登録した登録データベースから取得し、属性別に類似度を集計し、属性別の精度悪化を検知する形態について説明する。
【0011】
＜属性カテゴリおよび属性＞
「人種」や「性別」などを属性カテゴリと呼び、各属性カテゴリの中の分類（値）を属性と呼ぶ。例えば、属性カテゴリが「人種」であれば、属性は「白人」や「黒人」などの値を取ることになる。
「人種」や「性別」などを属性カテゴリと呼び、各属性カテゴリの中の分類（値）を属性と呼ぶ。例えば、属性カテゴリが「人種」であれば、属性は「白人」や「黒人」などの値を取ることになる。
【0012】
以下の説明では、属性カテゴリおよび各属性カテゴリに属する属性は以下に挙げるような事前に定義したものであるとする。属性カテゴリ＝［属性１、属性２、、、、属性Ｎ］の形式で記載すると以下のようになる。
【0013】
性別＝［男性、女性］
人種＝［白人、黒人、アジア人］
（ただし、人種は、より詳細に地域ごとに細分化した区分としてもよい。）
年齢＝［１０代未満、１０代、２０代、３０代、４０代、５０代、６０代以上］
（ただし、年齢は、老人・子供・青年などより大まかな分類であってもよい。）
顔向き＝［正面顔、横顔］
顔の表情＝［笑顔、怒った表情、無表情］
髭の種類＝［あごひげ、口ひげ］
髪型＝［長髪、短髪］
髪の色＝［黒色、茶色、金色］
ぼけ＝［ぼけ強、ぼけ弱］
ノイズ＝［ノイズ強、ノイズ弱］
なお、上記の属性カテゴリならびに各属性カテゴリにおける属性は例であって、別な属性カテゴリや別の属性であってもかまわない。
人種＝［白人、黒人、アジア人］
（ただし、人種は、より詳細に地域ごとに細分化した区分としてもよい。）
年齢＝［１０代未満、１０代、２０代、３０代、４０代、５０代、６０代以上］
（ただし、年齢は、老人・子供・青年などより大まかな分類であってもよい。）
顔向き＝［正面顔、横顔］
顔の表情＝［笑顔、怒った表情、無表情］
髭の種類＝［あごひげ、口ひげ］
髪型＝［長髪、短髪］
髪の色＝［黒色、茶色、金色］
ぼけ＝［ぼけ強、ぼけ弱］
ノイズ＝［ノイズ強、ノイズ弱］
なお、上記の属性カテゴリならびに各属性カテゴリにおける属性は例であって、別な属性カテゴリや別の属性であってもかまわない。
【0014】
以下の説明では、属性カテゴリが「人種」「性別」「年齢」の場合について、属性別の精度悪化を検知する例を示す。ただし、他の属性カテゴリの場合も同様の処理により精度悪化を検知することが出来る。
【0015】
＜システム構成および装置構成＞
図１は、第１実施形態における照合システムの全体構成を示す図である。照合システムは、ネットワーク４００によって相互接続された、情報処理装置１００、撮像装置２００、入力装置３００を含んで構成されている。情報処理装置１００、撮像装置２００、入力装置３００は、分離した複数の装置として構成してもよいし、単一の装置（筐体）として構成してもよい。
図１は、第１実施形態における照合システムの全体構成を示す図である。照合システムは、ネットワーク４００によって相互接続された、情報処理装置１００、撮像装置２００、入力装置３００を含んで構成されている。情報処理装置１００、撮像装置２００、入力装置３００は、分離した複数の装置として構成してもよいし、単一の装置（筐体）として構成してもよい。
【0016】
情報処理装置１００は、後述する顔照合と属性別の精度悪化状況の計測（単に状況計測とも呼ぶ）の処理を実行する装置である。情報処理装置１００は、例えば、後述する処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータなどの情報処理装置である。
【0017】
撮像装置２００は、画像を撮像する装置である。撮像装置２００は、撮像した画像に基づく画像データを、ネットワーク４００を介して、情報処理装置１００へ送信する。なお、照合システムにおいて、撮像装置２００は、１つでもよいし、複数であってもよい。
【0018】
入力装置３００は、識別（ＩＤ）カード照合に用いるＩＤカード照合情報や１対１照合に用いる登録人物を特定するための個人特定情報（識別情報）の入力を受け付ける受付装置である。例えば、照合される人物（照合人物）の操作を受け付け上述の情報の入力を受け付けるカードリーダや光学スキャナである。入力装置３００は、入力された上述の情報を、ネットワーク４００を介して、情報処理装置１００へ送信する。
【0019】
ネットワーク４００は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、およびケーブル等を含む。なお、ネットワーク４００は、例えば、有線ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ、またはインターネット等のワイドエリアネットワーク（ＷＡＮ）等である。
【0020】
図２は、情報処理装置１００のハードウェア構成を示す図である。ＣＰＵ Ｈ１０１は、ＲＯＭ Ｈ１０２に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。ＲＡＭ Ｈ１０３は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、ＣＰＵ Ｈ１０１が実行可能な状態にする。記憶部Ｈ１０４は、登録情報（属性、特徴量、ＩＤカード照合情報など）や、属性別精度悪化検知のための類似度情報などを格納する。記憶部Ｈ１０４の媒体としては、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、各種光学メディアなどを用いることができる。また、通信部Ｈ１０５を介して、撮影装置２００やその他の装置と通信することができる。入力部Ｈ１０６は、キーボードなどの入力装置である。登録人物を登録するときに、登録人物の属性など情報を入力する際に使用される。
【0021】
図３は、情報処理装置１００の機能構成を示す図である。情報処理装置１００は、登録部１０１、画像取得部１０２、顔検出部１０３、特徴量取得部１０４、類似度算出部１０５、顔照合部１０６、属性取得部１０７、状況計測部１０８、通知部１０９を含む。
【0022】
登録部１０１は、登録人物に関連付けて、顔特徴量、属性、ＩＤカード照合情報を記憶部Ｈ１０４の登録データベース５００に登録する。この実施形態では属性として登録人物の人種、性別、年齢の正解値を登録する。上記のように登録人物に関連付けて登録する情報を、以降では登録情報と称する。また、登録された顔特徴量を登録画像特徴量と称する。
【0023】
画像取得部１０２は、ネットワーク４００を介して撮像装置２００から撮像画像を取得する。ユーザーが用意した画像を取得するよう構成してもよい。顔検出部１０３は、画像取得部１０２で取得した画像から人物の顔を検出する。顔の検出方法は公知の任意の手法を用いることが出来る。
【0024】
特徴量取得部１０４は、顔検出部１０３で検出された顔領域画像から、個人を識別するための顔照合に必要な特徴量（画像特徴量）を取得する。画像から顔照合に必要な特徴量を取得する処理として公知の任意の手法を用いることが出来る。
【0025】
類似度算出部１０５は、特徴量間の類似度を算出する。類似度は、例えば特徴量間のユークリッド距離に－１を掛けた数値やコサイン類似度などの公知の手法を用いればよい。ただし、以下の説明では、類似度は０から１の値範囲に正規化されているものとする。類似度は、値が大きい（１に近い）ほど類似していることを示し、値が小さい（０に近い）ほど類似していないことを示す。
【0026】
顔照合部１０６は、類似度算出部１０５が算出した類似度に基づいて、照合人物が登録人物中に存在するかを判定する。顔照合部１０６は、類似度がある特定閾値以上であれば、特徴量が類似しているとして同一人物と判定する。属性取得部１０７は、顔照合部１０６で特定された登録人物の属性を、記憶部Ｈ１０４の登録データベース５００から取得する。本実施形態では上述のように人種・年齢・性別に関する属性を取得する。
【0027】
状況計測部１０８は、属性別の精度悪化状況を計測する。詳細な処理は後述する。通知部１０９は、精度悪化を検知したことを設置者などに通知する。
【0028】
【0029】
図４は、登録処理のフローチャートである。Ｓ１０１では、画像取得部１０２は、撮像装置２００もしくはユーザーから、登録人物が撮像された画像を取得する。Ｓ１０２では、顔検出部１０３は、Ｓ１０１で取得した画像に対し顔検出を行う。Ｓ１０３では、特徴量取得部１０４は、Ｓ１０２で検出した顔領域画像から、顔照合のための顔特徴量を抽出する。
【0030】
Ｓ１０４では、登録部１０１は、Ｓ１０３で抽出した特徴量、登録人物の属性、ＩＤカード照合情報を、記憶部Ｈ１０４の登録データベース５００に登録する。登録人物の属性とＩＤカード照合情報は、入力部Ｈ１０６から管理者などにより入力され設定される。上述したように、本実施形態では人種・年齢・性別に関する属性を登録する。
【0031】
図５は、登録処理で保存される人物情報の例を示す図である。具体的には、登録データベース５００に登録される登録情報（レコード）の例を示している。なお、年齢については、時間経過とともに変わってくるので、適宜調整されているものとする。
【0032】
図６は、照合処理のフローチャートである。具体的には、設置環境で行われる顔照合処理を示している。ここでは、顔照合とＩＤカード照合を併用する照合システムであるとして説明する。具体的には、照合システムは、まず顔照合を行い、顔照合が失敗した場合に、別途ＩＤカードをユーザーにかざしてもらいＩＤカードで本人照合する。
【0033】
また、本処理では、後述の属性別の精度悪化状況の計測処理のために、属性別類似度情報を収集する。属性別類似度情報は、「登録データベース５００に登録された属性」と「設置環境で収集した類似度」と「類似度が本人類似度か否かを示すフラグ」が紐づけられた情報である。属性別類似度情報の収集では、例えば「人種」に関して白人、黒人、アジア人別に類似度を収集することになる。
【0034】
Ｓ２０１では、画像取得部１０２は、撮像装置２００から照合対象人物が写った照合用の画像（照合画像）を取得する。Ｓ２０２では、顔検出部１０３は、Ｓ２０１で取得した画像から照合人物の顔領域を検出する。Ｓ２０３では、特徴量取得部１０４は、Ｓ２０２で検出した照合人物の顔領域から照合特徴量を取得する。
【0035】
Ｓ２０４では、類似度算出部１０５は、Ｓ２０３で取得した照合特徴量と記憶部Ｈ１０４に保存されている登録データベース５００の各登録特徴量との類似度を算出する。Ｓ２０５では、顔照合部１０６は、Ｓ２０４で算出した各類似度における最大の類似度がτ１（第１の閾値）以上であるかを判定する。τ１以上であれば、Ｓ２０６に進み、τ１未満であればＳ２０８に進む。
【0036】
Ｓ２０６では、顔照合部１０６は、Ｓ２０４で算出した類似度のうち、最大類似度と２番目に大きい類似度の差がτ２（第２の閾値）以上かを判定する。最大類似度と２番目に大きい類似度の差がτ２以上であれば、照合結果の信頼性が高いと判断し、Ｓ２０７に進む。一方、τ２未満であれば、照合結果の信頼性が低いと判断し、Ｓ２０８に進む。
【0037】
Ｓ２０７では、顔照合部１０６は、最大類似度の登録人物を照合人物であると判定し、鍵の開錠など照合成功時の動作を行う。
【0038】
Ｓ２０８では、通知部１０９は、ＩＤカード照合が必要である旨を（例えば照合対象者に）提示し、ＩＤカード照合情報を入力装置３００を経由して受付ける。そして、通知部１０９は、登録データベース５００に登録されている登録情報の中に、受け取ったＩＤカード照合情報と一致する登録情報があるか否かを確認する（ＩＤカード照合）。Ｓ２０９では、通知部１０９は、Ｓ２０８で行ったＩＤカード照合の結果、該当する登録人物が記憶部Ｈ１０４に存在したかを判定する。存在した場合、Ｓ２１０に進む。一方、存在しなかった場合（すなわち顔照合とＩＤカード照合の両方に失敗）、鍵を開錠しないなど照合失敗時の動作が実行され、処理を終了する。Ｓ２１０では、通知部１０９は、Ｓ２０９で一致した登録人物が照合人物であると判定し、鍵の開錠など照合成功時の動作を行う。
【0039】
Ｓ２１１では、属性取得部１０７は、Ｓ２０７やＳ２１０で本人と判定された登録人物（すなわち判定結果）の属性を取得する。ここでは、属性取得部１０７は、記憶部Ｈ１０４の登録データベース５００から該当の登録人物の人種・年齢・性別に関する属性を読みだす。
【0040】
Ｓ２１２では、「Ｓ２１１で取得した属性」と「Ｓ２０４で算出した類似度」と「類似度が本人類似度か否かを示すフラグ」とを紐づけし、属性別類似度情報として登録部１０１に保存する。
【0041】
図７は、属性別類似度情報の例を示す図である。属性別類似度情報は、照合人物の属性（人種）６０１、類似度６０２、本人類似度であるか否かを示すフラグ６０３を含む。なお、年齢・性別に関する属性についても同様の属性別類似度情報が生成され得る。
【0042】
上述の説明においては、顔照合（Ｓ２０５）を１：Ｎ照合で行う例について述べたが、１：１照合を行うよう構成してもよい。１：Ｎ照合では、顔照合に失敗した場合ＩＤカード照合を行わなければ属性が取得できなかった。一方で１：１照合であれば、すでに対象の登録人物が特定されているため、ＩＤカード照合を行わなくても属性が取得できる利点がある。
【0043】
図８は、状況計測処理のフローチャートである。具体的には、Ｓ２１２で収集した属性別類似度情報（すなわち判定結果の履歴）を用いて、属性別精度悪化状況を計測する処理のフローチャートである。この処理は、撮像装置２００を実運用環境へ設置した後（すなわち、実運用環境の撮影環境下で）一定期間ごとに行われる。また設置前後の属性別精度を比較するために、製品出荷前のテスト環境においても行うことにする。なお、設置後に、悪化状況の確認のため任意のタイミングで実行してもよい。
【0044】
Ｓ３０１では、状況計測部１０８は、Ｓ２１２で収集した属性別類似度情報が所定数以上集まったかを判定する。一定数集まった場合、Ｓ３０２に進む。まだ一定数集まっていない場合は、悪化状況を判断せず処理を終了する。
【0045】
Ｓ３０２では、状況計測部１０８は、Ｓ２１２で収集した属性別類似度情報から、属性カテゴリごとに属性別の精度悪化倍率を計算する。本実施形態では、属性カテゴリとして人種・性別・年齢ごとに、属性別の判定精度を導出する。ここでは数式（１）で算出される他人受け入れ率の悪化倍率Ｒ１（ｉ）を計算する。
【0046】
Ｒ１（ｉ）＝ＦＡＲｉ／ＦＡＲａｌｌ ・・・（１）
ｉは、属性カテゴリのｉ番目の属性であることを示す。例えば、属性カテゴリが「人種」で、属性カテゴリ内の属性が［白人、黒人、アジア人］という順番であった場合、ｉ＝２の時の属性は「黒人」となる。
ｉは、属性カテゴリのｉ番目の属性であることを示す。例えば、属性カテゴリが「人種」で、属性カテゴリ内の属性が［白人、黒人、アジア人］という順番であった場合、ｉ＝２の時の属性は「黒人」となる。
【0047】
ＦＡＲｉは、閾値τ１の時のある属性ｉの他人受け入れ率である。ＦＡＲａｌｌは、閾値τ１の時の全体の他人受け入れ率である。ＦＡＲｉは数式（２）で計算する。
【0048】
ＦＡＲｉ＝Ｎｉ，ｏｔｈｅｒ，ｓｃｏｒｅ＞＝τ１／Ｎｉ，ｏｔｈｅｒ ・・・（２）
Ｎｉ，ｏｔｈｅｒは、ある属性ｉの他人類似度の数である。他人類似度とは、図７の６０３にあるような本人類似度であるか否かのフラグがＦａｌｓｅである類似度を指す。Ｎｉ，ｏｔｈｅｒ，ｓｃｏｒｅ＞＝τ１は、ある属性ｉの他人類似度の数のうち、類似度が閾値τ１以上である数である。ＦＡＲａｌｌは数式（３）で計算する。
Ｎｉ，ｏｔｈｅｒは、ある属性ｉの他人類似度の数である。他人類似度とは、図７の６０３にあるような本人類似度であるか否かのフラグがＦａｌｓｅである類似度を指す。Ｎｉ，ｏｔｈｅｒ，ｓｃｏｒｅ＞＝τ１は、ある属性ｉの他人類似度の数のうち、類似度が閾値τ１以上である数である。ＦＡＲａｌｌは数式（３）で計算する。
【0049】
ＦＡＲａｌｌ＝Ｎｏｔｈｅｒ，ｓｃｏｒｅ＞＝τ１／Ｎｏｔｈｅｒ ・・・（３）
Ｎｏｔｈｅｒは、他人類似度の数である。Ｎｏｔｈｅｒ，ｓｃｏｒｅ＞＝τ１は、他人類似度の数のうち、類似度が閾値τ１以上である数である。あるいは数式（４）で算出される属性別の本人拒否率の悪化倍率Ｒ２（ｉ）などを用いることも考えられる。
Ｎｏｔｈｅｒは、他人類似度の数である。Ｎｏｔｈｅｒ，ｓｃｏｒｅ＞＝τ１は、他人類似度の数のうち、類似度が閾値τ１以上である数である。あるいは数式（４）で算出される属性別の本人拒否率の悪化倍率Ｒ２（ｉ）などを用いることも考えられる。
【0050】
Ｒ２（ｉ）＝ＦＲＲｉ／ＦＲＲａｌｌ ・・・（４）
ｉは、属性カテゴリのｉ番目の属性であることを示す。ＦＲＲｉは数式（５）で計算する。
ｉは、属性カテゴリのｉ番目の属性であることを示す。ＦＲＲｉは数式（５）で計算する。
【0051】
ＦＲＲｉ＝Ｎｉ，ｓａｍｅ，ｓｃｏｒｅ＜τ１／Ｎｉ，ｓａｍｅ ・・・（５）
Ｎｉ，ｓａｍｅは、ある属性ｉの本人類似度の数である。本人類似度とは、図７の本人類似度フラグ６０３がＴｒｕｅである類似度を指す。Ｎｉ，ｓａｍｅ，ｓｃｏｒｅ＜τ１は、ある属性ｉの本人類似度のうち、類似度が閾値τ１未満である数である。ＦＲＲａｌｌは数式（６）で計算する。
Ｎｉ，ｓａｍｅは、ある属性ｉの本人類似度の数である。本人類似度とは、図７の本人類似度フラグ６０３がＴｒｕｅである類似度を指す。Ｎｉ，ｓａｍｅ，ｓｃｏｒｅ＜τ１は、ある属性ｉの本人類似度のうち、類似度が閾値τ１未満である数である。ＦＲＲａｌｌは数式（６）で計算する。
【0052】
ＦＲＲａｌｌ＝Ｎｓａｍｅ，ｓｃｏｒｅ＜τ１／Ｎｓａｍｅ ・・・（６）
Ｎｓａｍｅは、本人類似度の数である。Ｎｓａｍｅ，ｓｃｏｒｅ＜τ１は、本人類似度のうち、類似度が閾値τ１未満である数である。
Ｎｓａｍｅは、本人類似度の数である。Ｎｓａｍｅ，ｓｃｏｒｅ＜τ１は、本人類似度のうち、類似度が閾値τ１未満である数である。
【0053】
Ｓ３０３では、状況計測部１０８は、Ｓ３０２で算出した属性ごとの精度悪化倍率が、τ３（第３の閾値）以上になった属性の精度が悪化していると判定する。もしくは、前回（製品出荷前または前回測定時）より精度悪化倍率がある閾値幅以上高くなったことで悪化を判定してもよい。
【0054】
製品出荷前と比較した場合、設置環境が当初想定していた設置環境からどれくらい乖離しているかがわかる。また、前回測定時と比較した場合、設置環境での経時的な属性別精度悪化の傾向がわかる。悪化したと判定された場合、Ｓ３０４に進む。そうでない場合は、処理を終了する。
【0055】
なお、他人受け入れ率悪化倍率や本人拒否率悪化倍率は、ある属性が全属性に対して相対的に悪化したかどうかを示す指標値である。精度の絶対値の悪化を検知したいような場合は、各属性の他人受け入れ率（あるいは本人拒否率）が所定値を超えたか否かを判定するような形態でもよい。また、悪化倍率と上述の絶対値的指標の両方を併用するような形態でもよい。
【0056】
Ｓ３０４では、通知部１０９は、Ｓ３０３で悪化している属性が検知された旨と、属性ごとの精度悪化倍率を設置者などに通知する。Ｓ３０５では、状況計測部１０８は、次の属性別類似度情報の収集期間での属性別の精度悪化倍率の算出のために、属性別精度悪化情報の内容を初期化する。
【0057】
以上説明したとおり第１実施形態によれば、顔照合時に算出する類似度の経時変化を利用して精度悪化状況を検知することができる。特に、人種・性別・年齢といった属性カテゴリごとに属性別の精度悪化状況を検知することがでる。そのため、例えば、「設置環境では黒人や女性の顔照合精度が他の属性に比べ想定より悪化している」などの状況を把握することが可能となる。
【0058】
また、同様の比較処理を（属性別ではなく）属性カテゴリ別に最大値を取るなどすれば、属性カテゴリ別にどの属性カテゴリが悪化したかも検出することが可能である。これにより、例えば「人種属性ではなく年齢属性がより悪化した」などの状況を把握することが可能となる。さらに、「女性かつアジア人かつ４０代」といった複数の属性カテゴリを掛け合わせた属性セット別に精度悪化を検知するようにしてもよい。
【0059】
（変形例）
第１実施形態では、属性カテゴリとして人種・性別・年齢のように個人に属する特有の属性の場合を述べた。ただし、環境や利用条件によって変化する「マスクの有無」や「ノイズの程度」等の他の属性を利用することも可能である。
第１実施形態では、属性カテゴリとして人種・性別・年齢のように個人に属する特有の属性の場合を述べた。ただし、環境や利用条件によって変化する「マスクの有無」や「ノイズの程度」等の他の属性を利用することも可能である。
【0060】
本変形例で精度悪化を検知する属性は、照合画像から得られる属性のため、本変形例の登録処理のＳ１０４では、属性以外の特徴量とＩＤカード照合情報を登録データベース５００に保存する。そのほかは第１実施形態と同じため説明を省略する。照合処理では、上述の通り、属性として、照合画像から「マスクの有無」と「ノイズの程度」の属性を取得する。それ以外の処理は第１実施形態と同じため説明を省略する。
【0061】
マスクの有無は、照合画像からマスクを検出することによりマスクの有無を判定する。マスク検出の方法は公知の方法を用いる。ノイズの程度は、照合画像からノイズ量を計算し、そのノイズ量を所定の値範囲により分類することにより取得する。ノイズ量の算出には公知の方法を用いる。
【0062】
図９は、変形例に係る属性別類似度情報の例を示す図である。属性別類似度情報は、照合人物のマスク有無６０１、照合画像のノイズ程度６０２、類似度６０３、本人類似度フラグ６０４を含む。
【0063】
このように、「マスクの有無」や「ノイズの程度」のような利用環境・利用条件等によって変化する属性の場合であっても、それら属性別の精度悪化状況を検知することが可能である。
【0064】
（第２実施形態）
第２実施形態では、顔照合処理と並行して照合人物の属性推定も行い、それら属性別人数分布の差異から属性別精度悪化状況を検知する方法について説明する。すなわち、第１実施形態では照合対象人物の属性を事前登録した情報から取得していたが、第２実施形態では照合対象人物の属性を属性推定を介して取得する点が異なる。
第２実施形態では、顔照合処理と並行して照合人物の属性推定も行い、それら属性別人数分布の差異から属性別精度悪化状況を検知する方法について説明する。すなわち、第１実施形態では照合対象人物の属性を事前登録した情報から取得していたが、第２実施形態では照合対象人物の属性を属性推定を介して取得する点が異なる。
【0065】
【0066】
＜装置構成＞
図１０は、第２実施形態に係る情報処理装置の機能構成を示す図である。第１実施形態と同じ符号を有する部分は第１実施形態と同様であるため、説明を省略する。
図１０は、第２実施形態に係る情報処理装置の機能構成を示す図である。第１実施形態と同じ符号を有する部分は第１実施形態と同様であるため、説明を省略する。
【0067】
属性推定部１１０は、人物の顔領域画像からその人物の属性を推定する。属性推定方法は公知の方法を用いる。
【0068】
＜装置の動作＞
登録部１０１で行う登録処理は第１実施形態と同じため、説明を省略する。
登録部１０１で行う登録処理は第１実施形態と同じため、説明を省略する。
【0069】
図１１は、第２実施形態における照合処理のフローチャートである。本フローチャートでは、顔照合処理とともに、属性別精度悪化状況の検知に用いる顔照合の属性ヒストグラムと属性推定の属性ヒストグラムを生成する。属性ヒストグラムは１つの属性カテゴリ（人種や性別など）についてのみ存在するのではなく、複数の属性カテゴリ別にそれぞれ属性ヒストグラムが存在してもよい。
【0070】
Ｓ５０１では、画像取得部１０２は、撮像装置２００から照合対象人物が写った画像を取得する。Ｓ５０２では、顔検出部１０３は、Ｓ５０１で取得した画像から照合人物の顔領域を検出する。Ｓ５０３では、属性推定部１１０は、Ｓ５０２で取得した照合人物の顔領域画像から悪化状況を検出したい複数の属性を推定する。Ｓ５０４では、属性推定部１１０は、属性推定の属性ヒストグラムのビンのうちＳ５０３で推定された属性に該当するビンに１を加算する。属性推定の属性ヒストグラムとは、図１２に示すように属性カテゴリ別（人種、性別、年齢など）のヒストグラムである。
【0071】
図１２は、属性ヒストグラムの収集を説明する図である。第２実施形態では、属性推定の属性ヒストグラムＨ１と顔照合の属性ヒストグラムＨ２の２種のヒストグラムを、属性カテゴリ別（人種、性別、年齢）に生成する。
【0072】
Ｓ５０５では、特徴量取得部１０４は、Ｓ５０２で検出した照合人物の顔領域から照合特徴量を取得する。Ｓ５０６では、類似度算出部１０５は、Ｓ５０５で取得した照合特徴量と登録情報の各登録特徴量との類似度を算出する。
【0073】
Ｓ５０７では、顔照合部１０６は、Ｓ５０６で算出した各類似度における最大の類似度がτ１以上であるかを判定する。τ１以上であればＳ５０８に進み、τ１未満であれば処理を終了する。
【0074】
Ｓ５０８では、顔照合部１０６は、照合人物は最大類似度の登録人物であると判定し、鍵の開錠など顔照合成功時の動作を実行する。Ｓ５０９では、属性取得部１０７は、Ｓ５０８で判定した登録人物の属性を登録部１０１から取得する。Ｓ５１０では、属性取得部１１０は、顔照合の属性ヒストグラムのビンのうちＳ５０９で取得された属性に該当するビンに１を加算する。
【0075】
図１３は、第２実施形態における状況計測処理のフローチャートである。具体的には、図１１で収集した顔照合の属性ヒストグラムと属性推定の属性ヒストグラムから属性別の精度悪化状況を計測する。この処理は、例えば、Ｓ５０４で収集した属性推定の属性ヒストグラムや、Ｓ５１０で収集した顔照合の属性ヒストグラムの全ビンを足した数が所定の数以上になったときに実行される。
【0076】
Ｓ６０１では、状況計測部１０８は、数式（７）に示すように、属性推定の属性ヒストグラムと顔照合の属性ヒストグラムの差分を求める。
【0077】
Ｈｄｉｆｆ（ｉ）＝Ｈａｔｔ（ｉ）－Ｈｆａｃｅ（ｉ） ・・・（７）
Ｈａｔｔは属性推定の属性ヒストグラム、Ｈｆａｃｅは顔照合の属性ヒストグラム、Ｈｄｉｆｆは差分である。
Ｈａｔｔは属性推定の属性ヒストグラム、Ｈｆａｃｅは顔照合の属性ヒストグラム、Ｈｄｉｆｆは差分である。
【0078】
ｉは、属性カテゴリのｉ番目の属性であることを示す。例えば、属性カテゴリが「人種」で、属性カテゴリ内の属性が［白人、黒人、アジア人］という順番であった場合、ｉ＝２の時の属性は「黒人」となる。
【0079】
Ｓ６０２では、状況計測部１０８は、Ｓ６０１で取得した差分のうち、ビンの絶対値がτ４（第４の閾値）以上となった属性を取得し、その属性の精度が悪化していることを設置者などに通知する。
【0080】
顔照合で該当する登録人物を見つけられなかった場合（未照合）、顔照合の属性ヒストグラムの該当ビンには加算されない。一方で、属性推定の属性ヒストグラムの該当ビンには加算される。そのため、ある属性で未照合が多く起こると、両ヒストグラムの度数が乖離することになる。したがって、差分を大きくなった属性を検出することにより、属性別の精度悪化状況を検知することができる。
【0081】
また、属性が照合人物と異なる登録人物が本人だと照合される場合（誤照合）、顔照合の属性ヒストグラムの該当ビンには加算されず、誤照合された登録人物の属性のビンに加算される。一方で、属性推定の属性ヒストグラムの該当ビンには加算される。そのため、ある属性で誤照合が多く起こると、照合人物の属性のビンと誤照合された登録人物の属性のビンで度数が乖離することになる。したがって、差分の絶対値が閾値以上の属性を抽出することで、属性別の精度悪化状況を検知することができる。
【0082】
また、属性間の精度の不均衡を検知したいケースも考えられる。例えば、特定の照明条件では、特定の属性だけ著しく精度が低下するケースがある。そのため、著しく精度が低下する属性だけを検知したい場合が考えられる。その場合、Ｓ６０１で取得した差分Ｈｄｉｆｆを数式（８）のように各ビンを全ビンの総和で除算し規格化した差分（Ｈｎｏｒｍ）を作成する。ビンの絶対値が一定以上である属性があれば、属性間の精度の不均衡を検知したとしてもよい。
【0083】
Ｈｎｏｒｍ（ｉ）＝Ｈｄｉｆｆ（ｉ）／Σｉ（Ｈｄｉｆｆ（ｉ）） ・・・（８）
ｉは、属性カテゴリのｉ番目の属性であることを示す。
ｉは、属性カテゴリのｉ番目の属性であることを示す。
【0084】
Ｓ６０３では、状況計測部１０８は、属性推定の属性ヒストグラムと顔照合の属性ヒストグラムの内容を初期化する。
【0085】
以上説明したとおり第２実施形態によれば、顔照合により照合成功した属性別人数と属性推定により推定された属性別人数の差異から、属性別精度悪化状況を検知することができる。
【0086】
上述の説明では、人種や性別などの属性カテゴリの中で精度が悪化した属性を検知する例を主に述べたが、複数の属性カテゴリの中で精度が悪化した属性を検知するようにしてもよい。例えば、黒人と女性の精度が悪化していることを検知するよう構成してもよい。また、「女性かつアジア人かつ４０代」といった複数の属性カテゴリを掛け合わせた属性セット別に精度悪化を検知するようにしてもよい。
【0087】
（第３実施形態）
第３実施形態では、異なる２つの期間で照合画像の分布が乖離していることを検知することで、属性別精度悪化を検知する形態について説明する。
第３実施形態では、異なる２つの期間で照合画像の分布が乖離していることを検知することで、属性別精度悪化を検知する形態について説明する。
【0088】
顔照合処理の精度悪化の原因の一つに、照合画像における撮影環境や人物の写りかたの分布が当初想定した分布から乖離していることがあげられる。そこで、第３実施形態では、悪化状況を把握したい複数の属性カテゴリに関して、異なる２つの期間で顔照合結果の属性ヒストグラムと属性推定の属性ヒストグラムの比率をそれぞれ比較する。これにより、照合画像の分布が２つの期間で乖離しているか否かを検知する。
【0089】
なお、照合システムの構成（図１）および情報処理装置１００のハードウェア構成（図２）は第１実施形態と同じため、説明を省略する。また、情報処理装置１００の機能構成（図１０）は第２実施形態と同じため、説明を省略する。
【0090】
＜装置の動作＞
登録部１０１で行う登録処理は第１実施形態と同じため、説明を省略する。
登録部１０１で行う登録処理は第１実施形態と同じため、説明を省略する。
【0091】
図１４は、第３実施形態における照合処理のフローチャートである。本フローチャートの処理によって顔照合の属性ヒストグラムと属性推定の属性ヒストグラムを収集する。
【0092】
Ｓ７０１では、画像取得部１０２は、撮像装置２００から照合対象人物が写った画像を取得する。Ｓ７０２では、顔検出部１０３は、Ｓ７０１で取得した画像から照合人物の顔領域を検出する。Ｓ７０３では、属性推定部１１０は、Ｓ７０２で検出した照合人物の顔領域を入力として属性推定を行う。属性推定の結果として複数の属性カテゴリの属性を出力してもよい。その場合、例えば、「黒人、女性、３０代」のような属性が出力される。
【0093】
Ｓ７０４では、属性推定部１１０は、属性カテゴリ別に存在する属性推定の属性ヒストグラムＨ１のビンのうち、Ｓ７０３で推定した属性のビンに１を加算する。Ｓ７０３で推定した属性が複数の場合は、推定した各属性のビンに１を加算する。
【0094】
Ｓ７０５では、特徴量取得部１０４は、Ｓ７０２で取得した照合人物の顔領域画像から照合特徴量を取得する。Ｓ７０６では、類似度算出部１０５は、Ｓ７０５で取得した照合特徴量と登録情報の各登録特徴量との類似度を算出する。Ｓ７０７では、顔照合部１０６は、Ｓ７０６で算出した類似度の最大類似度がτ１以上であるかを判定する。τ１以上であればＳ７０８に進み、τ１未満であればＳ７０９に進む。Ｓ７０８では、顔照合部１０６は、最大類似度となった登録人物を照合人物だと判定し、鍵の開錠など照合成功時の動作を行う。
【0095】
Ｓ７０９では、通知部１０９は、ＩＤカード照合が必要である旨を（例えば照合対象者に）提示し、ＩＤカード照合情報を入力装置３００を経由して受け取る。そして、通知部１０９は、登録データベース５００に登録されている登録情報の中に、受け取ったＩＤカード照合情報と一致する登録情報があるか否かを確認する（ＩＤカード照合）。
【0096】
Ｓ７１０では、通知部１０９は、Ｓ７０９で行ったＩＤカード照合の結果、該当する登録人物が記憶部Ｈ１０４に存在したかを判定する。存在した場合、Ｓ７１１に進む。一方、存在しなかった場合（すなわち顔照合とＩＤカード照合の両方に失敗）、鍵を開錠しないなど照合失敗時の動作が実行され、処理を終了する。Ｓ７１１では、通知部１０９は、Ｓ７１０で一致した登録人物が照合人物であると判定し、鍵の開錠など照合成功時の動作を行う。
【0097】
Ｓ７１２では、属性取得部１０７は、顔照合の属性ヒストグラムＨ２のビンのうち、Ｓ７０８やＳ７１１で本人だと判定された登録人物の属性に該当するビンに１を加算する。Ｓ７０３で推定した属性が複数の場合は、推定した各属性のビンに１を加算する。
【0098】
上記の属性推定の属性ヒストグラムＨ１と顔照合の属性ヒストグラムＨ２を生成する処理を、異なる２つの期間（期間１、期間２とする）でそれぞれ生成する。
【0099】
図１５は、第３実施形態における状況計測処理のフローチャートである。ここでは、異なる２つの期間で収集した属性推定の属性ヒストグラムＨ１と顔照合の属性ヒストグラムＨ２から、属性別の精度悪化状況を計測する。
【0100】
Ｓ８０１では、状況計測部１０８は、期間１で収集した属性推定の属性ヒストグラムＨ１の各ビンを、期間１で収集した顔照合の属性ヒストグラムＨ２の各ビンで除算し、期間１の比率分布Ｈ３を作成する。Ｓ８０２では、期状況計測部１０８は、間２で収集した属性推定の属性ヒストグラムＨ１の各ビンを、期間２で収集した顔照合の属性ヒストグラムＨ２の各ビンで除算し、期間２の比率分布Ｈ４を作成する。
【0101】
Ｓ８０３では、状況計測部１０８は、期間１の比率分布Ｈ３の各ビンを期間２の比率分布Ｈ４の各ビンで除算し、比率分布Ｈ５を作成する。Ｓ８０４では、比率分布Ｈ５のビンのうち、１との差の絶対値がτ５（第５の閾値）以上となったビンの属性を抽出する。
【0102】
期間１と期間２で撮影される照合人物の画像の分布（映り方や撮影環境など）が顔照合精度に影響を与える程度に異なってくると、属性推定結果の属性分布と顔照合により特定される登録人物の属性分布の傾向が異なってくると考えられる。そのような変化があった属性は、Ｓ８０３で作成した期間１と期間２の比率分布Ｈ５の該当ビンの値が１±τ５の範囲外になると考えられる。そのため、比率分布Ｈ５のビンのうち、１との差の絶対値が閾値（τ５）以上となったビンの属性を抽出することで、精度悪化の可能性のある属性を抽出する。
【0103】
Ｓ８０５では、通知部１０９は、Ｓ８０４で抽出された属性がある場合、当該属性の精度が悪化していることを設置者などに通知する。
【0104】
以上説明したとおり第３実施形態によれば、顔照合による属性ヒストグラムと属性推定による属性ヒストグラムの変化傾向の違いに基づいて、属性別の精度悪化状況を検知することができる。
【0105】
上述の説明では、人種や性別などの属性カテゴリの中で精度が悪化した属性を検知する例を主に述べたが、複数の属性カテゴリの中で精度が悪化した属性を検知するようにしてもよい。例えば、黒人と女性の精度が悪化していることを検知するよう構成してもよい。また、「女性かつアジア人かつ４０代」といった複数の属性カテゴリを掛け合わせた属性セット別に精度悪化を検知するようにしてもよい。
【0106】
（第４実施形態）
第４実施形態では、２つの異なる属性集計方法の結果が一致するかを確認し、一致する場合には正常動作していると判断し、乖離していれば異常が起きていると判断する形態について説明する。２つの異なる属性集計方法として、「（顔照合もしくはＩＤカード照合により）本人と判定された登録人物に紐づいた属性の収集」と「属性推定により推定された属性の収集」を用いる。この方法により、入力画像の分布（撮影環境や人物の写りかた）が当初想定した分布から乖離しているような、精度悪化が起こっている可能性が高い事象を検知できる。
第４実施形態では、２つの異なる属性集計方法の結果が一致するかを確認し、一致する場合には正常動作していると判断し、乖離していれば異常が起きていると判断する形態について説明する。２つの異なる属性集計方法として、「（顔照合もしくはＩＤカード照合により）本人と判定された登録人物に紐づいた属性の収集」と「属性推定により推定された属性の収集」を用いる。この方法により、入力画像の分布（撮影環境や人物の写りかた）が当初想定した分布から乖離しているような、精度悪化が起こっている可能性が高い事象を検知できる。
【0107】
本実施形態では、まず工場出荷前に、同じ画像を顔照合処理と属性推定処理に入力したときに、属性推定結果が顔照合処理により特定される登録人物の属性と同じになるように、属性推定器を学習する。こうすることで、顔照合処理による属性ヒストグラムと属性推定による属性ヒストグラムがほぼ同じとなり、設置後での両ヒストグラムの乖離程度から、入力画像の分布が当初想定した分布から乖離しているかを検知できる。
【0108】
＜装置構成＞
図１６は、第４実施形態に係る情報処理装置の機能構成を示す図である。第１及び第２実施形態と同じ符号を有する部分は第１及び第２実施形態と同様であるため、説明を省略する。
図１６は、第４実施形態に係る情報処理装置の機能構成を示す図である。第１及び第２実施形態と同じ符号を有する部分は第１及び第２実施形態と同様であるため、説明を省略する。
【0109】
学習部１１１は、属性推定部１１０で用いる属性推定器の学習を行う。学習処理方法は後述する。
【0110】
＜装置の動作＞
図１７は、学習処理のフローチャートである。上述したように、学習部１１１は、属性推定部１１０で用いる属性推定器の学習を行う。
図１７は、学習処理のフローチャートである。上述したように、学習部１１１は、属性推定部１１０で用いる属性推定器の学習を行う。
【0111】
Ｓ９０１では、画像取得部１０２は、属性推定器の学習用に用意した登録画像セットを取得する。そして、特徴量取得部１０４は、それぞれの登録画像の登録特徴量を抽出する。登録画像セットの各画像には属性が紐づいているとする。Ｓ９０２では、画像取得部１０２は、属性推定器の学習用に用意した照合画像セットから、１枚の照合画像を取得する。照合画像セットの各画像には属性が紐づいているとする。Ｓ９０３では、特徴量取得部１０４は、Ｓ９０２で取得した照合画像から照合特徴量を抽出する。
【0112】
Ｓ９０４では、類似度算出部１０５は、Ｓ９０１で取得した登録特徴量とＳ９０４で取得した照合特徴量の類似度をそれぞれ算出する。Ｓ９０５では、顔照合部１０６は、Ｓ９０４で算出した類似度のうち最大類似度がτ１以上かを判定する。τ１以上であればＳ９０７に進み、そうでなければＳ９０６に進む。
【0113】
Ｓ９０６では、属性取得部１０７は、照合画像に紐づいた属性を照合画像の正解属性とする。Ｓ９０７では、属性取得部１０７は、Ｓ９０４で算出した類似度のうち、最大類似度であった登録画像に紐づいた属性を照合画像の正解属性とする。
【0114】
Ｓ９０８では、属性推定部１１０は、属性推定器に照合画像を入力し、属性推定器の推定結果を得る。Ｓ９０９では、学習部１１１は、Ｓ９０８で取得した推定結果とＳ９０６またはＳ９０７で取得した正解属性から照合損失を計算する。損失算出には、例えば多クラス分類に用いられるクロスエントロピー損失を用いる。Ｓ９１０では、学習部１１１は、Ｓ９０９で計算した損失を減らすように属性推定部１１０の属性推定器のパラメータを調整する。
【0115】
Ｓ９１１では、学習部１１１は、Ｓ９０２～Ｓ９１０の学習処理を、学習が収束するか所定の回数実行完了するまで繰り返す。学習処理が終了したら、Ｓ９１２に進む。Ｓ９１２では、学習部１１１は、属性推定部１１０の属性推定器のパラメータを記憶部Ｈ１０４に保存する。
【0116】
登録部１０１で行う登録処理は第１実施形態と同じため、説明を省略する。また、顔照合部１０６で行う照合処理は第３実施形態と同じため、説明を省略する。
【0117】
図１８は、第４実施形態における状況計測処理のフローチャートである。第３実施形態では図１４のヒストグラムを収集する処理を異なる２期間で行ったが、第４実施形態では実環境に設置後に１期間だけ行って所定の性能が出ているか確認する。
【0118】
Ｓ１００１では、状況計測部１０８は、数式（９）に示すように、属性推定の属性ヒストグラムＨ１の各ビンを顔照合の属性ヒストグラムＨ２の各ビンで除算し、比率分布Ｈ３を作成する。
【0119】
Ｈ３（ｉ）＝Ｈ１（ｉ）／Ｈ２（ｉ） ・・・（９）
ｉは、属性カテゴリのｉ番目の属性であることを示す。
ｉは、属性カテゴリのｉ番目の属性であることを示す。
【0120】
Ｓ１００２では、状況計測部１０８は、比率分布Ｈ３のうち、１との差の絶対値がτ５以上となったビンの属性を抽出する。Ｓ１００３では、通知部１０９は、Ｓ１００２で抽出された属性がある場合、当該属性の精度が悪化していることを設置者などに通知する。
【0121】
以上説明したとおり第４実施形態によれば、顔照合と属性推定という２つの異なる属性集計方法の結果の比較から、入力画像の分布が想定から乖離しているかを判定する。当該判定に基づいて、属性別の精度悪化が起こっている可能性の高い事象を検知する。
【0122】
上述の説明では、人種や性別などの属性カテゴリの中で精度が悪化した属性を検知する例を主に述べたが、複数の属性カテゴリの中で精度が悪化した属性を検知するようにしてもよい。例えば、黒人と女性の精度が悪化していることを検知するよう構成してもよい。また、「女性かつアジア人かつ４０代」といった複数の属性カテゴリを掛け合わせた属性セット別に精度悪化を検知するようにしてもよい。
【0123】
本明細書の開示は、以下の画像処理装置、制御方法およびプログラムを含む。
（項目１）
照合対象人物の画像特徴量を取得する第１の取得手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記算出手段により算出された類似度と前記判定手段による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出手段と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出手段により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出手段により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
（項目２）
前記第１の撮影環境はテスト環境であり、前記第２の撮影環境は実運用環境である
ことを特徴とする項目１に記載の画像処理装置。
（項目３）
前記第１の撮影環境は第１の期間における実運用環境であり、前記第２の撮影環境は前記第１の期間とは異なる第２の期間における実運用環境である
ことを特徴とする項目１に記載の画像処理装置。
（項目４）
前記検知手段により前記所定の閾値以上の差がある属性が検知された場合に該属性または該属性を含む属性カテゴリに関する情報を通知する通知手段をさらに備える
ことを特徴とする項目１乃至３の何れか１項目に記載の画像処理装置。
（項目５）
前記判定手段は、前記画像特徴量に対して前記算出手段により算出された最大の類似度が第１の閾値以上、かつ、前記画像特徴量に対して前記算出手段により算出された前記最大の類似度と２番目に大きい類似度との差分が第２の閾値以上である場合に、前記照合対象人物は前記最大の類似度に対応する登録画像特徴量の人物であると判定する
ことを特徴とする項目１乃至４の何れか１項目に記載の画像処理装置。
（項目６）
前記複数の人物の各々には予め識別情報が設定されており、
前記照合対象人物から識別情報を受け付ける受付手段をさらに含み、
前記判定手段は、前記最大の類似度が前記第１の閾値未満、または、前記差分が前記第２の閾値未満である場合に、前記受付手段が前記照合対象人物から受け付けた識別情報に基づいて前記照合対象人物が前記複数の人物の何れに対応するかを判定する
ことを特徴とする項目５に記載の画像処理装置。
（項目７）
前記所定の閾値は、前記第１の判定精度に対する比率または前記第１の判定精度に対する差分として設定される
ことを特徴とする項目１乃至６の何れか１項目に記載の画像処理装置。
（項目８）
前記第２の取得手段は、前記複数の登録画像特徴量を予め用意されたデータベースから取得する
ことを特徴とする項目１乃至７の何れか１項目に記載の画像処理装置。
（項目９）
照合対象人物の画像特徴量を取得する第１の取得手段と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記推定手段により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムと、前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムと、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
（項目１０）
前記判定手段は、前記画像特徴量に対して前記算出手段により算出された最大の類似度が第１の閾値以上である場合に、前記照合対象人物は前記最大の類似度に対応する登録画像特徴量の人物であると判定する
ことを特徴とする項目９に記載の画像処理装置。
（項目１１）
前記複数の人物の各々には予め識別情報が設定されており、
前記照合対象人物から識別情報を受け付ける受付手段をさらに含み、
前記判定手段は、前記最大の類似度が前記第１の閾値未満である場合に、前記受付手段が前記照合対象人物から受け付けた識別情報に基づいて前記照合対象人物が前記複数の人物の何れに対応するかを判定する
ことを特徴とする項目１０に記載の画像処理装置。
（項目１２）
照合対象人物の画像特徴量を取得する第１の取得手段と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
第１の撮影環境下で撮像された画像に基づいて前記推定手段により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムの各ビンの値を、前記第１の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムの各ビンの値で除算して得られる、第１の比率分布を生成する第１の生成手段と、
第２の撮影環境下で撮像された画像に基づいて前記推定手段により推定された複数の属性の履歴に基づいて生成される第３の属性ヒストグラムの各ビンの値を、前記第２の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第４の属性ヒストグラムの各ビンの値で除算して得られる、第２の比率分布を生成する第２の生成手段と、
前記第１の比率分布と前記第２の比率分布とを属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
（項目１３）
前記推定手段が推定に用いる推定器を学習する学習手段をさらに備え、
前記学習手段は、前記第１の属性ヒストグラムと前記第２の属性ヒストグラムとの間の差が少なくなるように前記推定器を学習し、
前記検知手段は、前記第１の比率分布の各ビンの比率のうち１との差が所定の閾値以上ある属性を検知する
ことを特徴とする項目１２に記載の画像処理装置。
（項目１４）
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
前記算出工程により算出された類似度と前記判定工程による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出工程と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出工程により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出工程により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
（項目１５）
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
前記推定工程により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムと、前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムと、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
（項目１６）
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
第１の撮影環境下で撮像された画像に基づいて前記推定工程により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムの各ビンの値を、前記第１の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムの各ビンの値で除算して得られる、第１の比率分布を生成する第１の生成工程と、
第２の撮影環境下で撮像された画像に基づいて前記推定工程により推定された複数の属性の履歴に基づいて生成される第３の属性ヒストグラムの各ビンの値を、前記第２の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第４の属性ヒストグラムの各ビンの値で除算して得られる、第２の比率分布を生成する第２の生成工程と、
前記第１の比率分布と前記第２の比率分布とを属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
（項目１７）
項目１４乃至１６の何れか１項目に記載の制御方法をコンピュータに実行させるためのプログラム。
（項目１）
照合対象人物の画像特徴量を取得する第１の取得手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記算出手段により算出された類似度と前記判定手段による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出手段と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出手段により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出手段により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
（項目２）
前記第１の撮影環境はテスト環境であり、前記第２の撮影環境は実運用環境である
ことを特徴とする項目１に記載の画像処理装置。
（項目３）
前記第１の撮影環境は第１の期間における実運用環境であり、前記第２の撮影環境は前記第１の期間とは異なる第２の期間における実運用環境である
ことを特徴とする項目１に記載の画像処理装置。
（項目４）
前記検知手段により前記所定の閾値以上の差がある属性が検知された場合に該属性または該属性を含む属性カテゴリに関する情報を通知する通知手段をさらに備える
ことを特徴とする項目１乃至３の何れか１項目に記載の画像処理装置。
（項目５）
前記判定手段は、前記画像特徴量に対して前記算出手段により算出された最大の類似度が第１の閾値以上、かつ、前記画像特徴量に対して前記算出手段により算出された前記最大の類似度と２番目に大きい類似度との差分が第２の閾値以上である場合に、前記照合対象人物は前記最大の類似度に対応する登録画像特徴量の人物であると判定する
ことを特徴とする項目１乃至４の何れか１項目に記載の画像処理装置。
（項目６）
前記複数の人物の各々には予め識別情報が設定されており、
前記照合対象人物から識別情報を受け付ける受付手段をさらに含み、
前記判定手段は、前記最大の類似度が前記第１の閾値未満、または、前記差分が前記第２の閾値未満である場合に、前記受付手段が前記照合対象人物から受け付けた識別情報に基づいて前記照合対象人物が前記複数の人物の何れに対応するかを判定する
ことを特徴とする項目５に記載の画像処理装置。
（項目７）
前記所定の閾値は、前記第１の判定精度に対する比率または前記第１の判定精度に対する差分として設定される
ことを特徴とする項目１乃至６の何れか１項目に記載の画像処理装置。
（項目８）
前記第２の取得手段は、前記複数の登録画像特徴量を予め用意されたデータベースから取得する
ことを特徴とする項目１乃至７の何れか１項目に記載の画像処理装置。
（項目９）
照合対象人物の画像特徴量を取得する第１の取得手段と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
前記推定手段により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムと、前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムと、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
（項目１０）
前記判定手段は、前記画像特徴量に対して前記算出手段により算出された最大の類似度が第１の閾値以上である場合に、前記照合対象人物は前記最大の類似度に対応する登録画像特徴量の人物であると判定する
ことを特徴とする項目９に記載の画像処理装置。
（項目１１）
前記複数の人物の各々には予め識別情報が設定されており、
前記照合対象人物から識別情報を受け付ける受付手段をさらに含み、
前記判定手段は、前記最大の類似度が前記第１の閾値未満である場合に、前記受付手段が前記照合対象人物から受け付けた識別情報に基づいて前記照合対象人物が前記複数の人物の何れに対応するかを判定する
ことを特徴とする項目１０に記載の画像処理装置。
（項目１２）
照合対象人物の画像特徴量を取得する第１の取得手段と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定手段と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得手段と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出手段と、
前記算出手段により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定手段と、
第１の撮影環境下で撮像された画像に基づいて前記推定手段により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムの各ビンの値を、前記第１の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムの各ビンの値で除算して得られる、第１の比率分布を生成する第１の生成手段と、
第２の撮影環境下で撮像された画像に基づいて前記推定手段により推定された複数の属性の履歴に基づいて生成される第３の属性ヒストグラムの各ビンの値を、前記第２の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定手段により判定された人物に対応する複数の属性の履歴に基づいて生成される第４の属性ヒストグラムの各ビンの値で除算して得られる、第２の比率分布を生成する第２の生成手段と、
前記第１の比率分布と前記第２の比率分布とを属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知手段と、
を備えることを特徴とする画像処理装置。
（項目１３）
前記推定手段が推定に用いる推定器を学習する学習手段をさらに備え、
前記学習手段は、前記第１の属性ヒストグラムと前記第２の属性ヒストグラムとの間の差が少なくなるように前記推定器を学習し、
前記検知手段は、前記第１の比率分布の各ビンの比率のうち１との差が所定の閾値以上ある属性を検知する
ことを特徴とする項目１２に記載の画像処理装置。
（項目１４）
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
前記算出工程により算出された類似度と前記判定工程による判定結果とを関連付けた履歴に基づいて、前記複数の属性に含まれる属性ごとの判定精度を導出する導出工程と、
第１の撮影環境下で撮像された画像に基づく第１の画像特徴量に基づいて前記導出工程により導出された第１の判定精度と、第２の撮影環境下で撮像された画像に基づく第２の画像特徴量に基づいて前記導出工程により導出された第２の判定精度と、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
（項目１５）
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
前記推定工程により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムと、前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムと、を属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
（項目１６）
画像処理装置の制御方法であって、
照合対象人物の画像特徴量を取得する第１の取得工程と、
前記照合対象人物の画像に基づき該照合対象人物の複数の属性を推定する推定工程と、
それぞれが複数の属性の正解値と関連付けられた複数の人物に対応する複数の登録画像特徴量を取得する第２の取得工程と、
前記画像特徴量と前記複数の登録画像特徴量それぞれとの間の類似度を算出する算出工程と、
前記算出工程により算出された類似度に基づいて、前記照合対象人物が前記複数の人物の何れに対応するかを判定する判定工程と、
第１の撮影環境下で撮像された画像に基づいて前記推定工程により推定された複数の属性の履歴に基づいて生成される第１の属性ヒストグラムの各ビンの値を、前記第１の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第２の属性ヒストグラムの各ビンの値で除算して得られる、第１の比率分布を生成する第１の生成工程と、
第２の撮影環境下で撮像された画像に基づいて前記推定工程により推定された複数の属性の履歴に基づいて生成される第３の属性ヒストグラムの各ビンの値を、前記第２の撮影環境下で撮像された画像の画像特徴量に基づいて前記判定工程により判定された人物に対応する複数の属性の履歴に基づいて生成される第４の属性ヒストグラムの各ビンの値で除算して得られる、第２の比率分布を生成する第２の生成工程と、
前記第１の比率分布と前記第２の比率分布とを属性ごとに比較し、所定の閾値以上の差がある属性を検知する検知工程と、
を含むことを特徴とする制御方法。
（項目１７）
項目１４乃至１６の何れか１項目に記載の制御方法をコンピュータに実行させるためのプログラム。
【0124】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0125】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0126】
１０１ 登録部； １０２ 画像取得部； １０３ 顔検出部； １０４ 特徴量取得部； １０５ 類似度算出部； １０６ 顔照合部； １０７ 属性取得部； １０８ 状況計測部； １０９ 通知部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】