特許 7534913 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-06

(45)【発行日】2024-08-15

(54)【発明の名称】情報処理装置、システム、情報処理装置の制御方法、及び、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240807BHJP

   G06V 40/16 20220101ALI20240807BHJP

【ＦＩ】

G06T7/00 510F

G06V40/16 A

【請求項の数】 14

(21)【出願番号】P 2020169382

(22)【出願日】2020-10-06

(65)【公開番号】P2022061396

(43)【公開日】2022-04-18

【審査請求日】2023-09-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】山下 裕

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１３－１９６００８（ＪＰ，Ａ）

【文献】特開２０１３－１５２６４３（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７９２４０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／１６

(57)【特許請求の範囲】

【請求項1】

情報処理装置であって、
撮像画像の露出を補正して第１の補正画像を生成する露出補正手段と、
前記第１の補正画像に基づき、前記撮像画像における被写体の顔の位置を特定する顔検出手段と、
前記顔の位置に基づき前記撮像画像から顔画像を抽出する抽出手段と、
前記顔画像と、人物の顔の登録画像とを比較して人物判定を行う判定手段と、
前記人物判定において前記登録画像の人物が前記顔画像の人物と一致すると判定された場合に、前記人物判定の結果を通知する通知手段と
を備え、
前記通知手段は、前記人物判定の結果に、前記登録画像と、前記顔画像の人物の前記撮像画像であって、露出補正により視認性を向上させた照合画像とを含めることを特徴とする情報処理装置。

【請求項2】

前記照合画像は、前記第１の補正画像であることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記抽出手段は、前記撮像画像の露出を前記登録画像の露出と対応するように露出補正した第２の補正画像から前記顔画像を抽出することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記照合画像は、前記第２の補正画像であることを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記照合画像は、前記第１の補正画像及び前記第２の補正画像とは異なり、かつ、前記撮像画像の露出を補正して視認性を向上させた第３の補正画像であることを特徴とする請求項３に記載の情報処理装置。

【請求項6】

前記判定手段は、同一人物の複数の登録画像のうちから、前記撮像画像の露出に対応する露出の登録画像を選択して、前記人物判定を行うことを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記抽出手段は、前記撮像画像の露出を、選択される前記登録画像の露出と対応するように露出補正した第４の補正画像から前記顔画像を抽出することを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記複数の登録画像は、露出の異なる複数の画像であることを特徴とする請求項６または７に記載の情報処理装置。

【請求項9】

前記複数の登録画像は、第１の露出の第１の登録画像と、前記第１の露出よりも低い第２の露出の第２の登録画像とを含み、
前記判定手段により前記第２の登録画像が選択された場合に、前記通知手段は、前記人物判定の結果に含める前記登録画像を前記第１の登録画像とすることを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記通知手段が前記人物判定の結果と共に前記撮像画像を通知する場合に、
前記人物判定の結果には、前記人物判定に用いられた前記登録画像と、前記撮像画像から前記顔の位置に基づき抽出された前記顔画像とが更に含まれることを特徴とする請求項６から９のいずれか１項に記載の情報処理装置。

【請求項11】

前記人物判定の結果を表示する表示手段を更に備えることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

請求項１から１０のいずれか１項に記載の情報処理装置と、
前記撮像画像を生成して前記情報処理装置に出力する撮像装置と、
前記人物判定の結果を表示する表示装置と
を備えることを特徴とするシステム。

【請求項13】

情報処理装置の制御方法であって、
露出補正手段が、撮像画像の露出を補正して第１の補正画像を生成する露出補正工程と、
顔検出手段が、前記第１の補正画像に基づき、前記撮像画像における被写体の顔の位置を特定する顔検出工程と、
抽出手段が、前記顔の位置に基づき前記撮像画像から顔画像を抽出する抽出工程と、
判定手段が、前記顔画像と、人物の顔の登録画像とを比較して人物判定を行う判定工程と、
通知手段が、前記人物判定において前記登録画像の人物が前記顔画像の人物と一致すると判定された場合に、前記人物判定の結果を通知する通知工程と
を含み、
前記通知工程では、前記人物判定の結果に、前記登録画像と、前記顔画像の人物の前記撮像画像であって、露出補正により視認性を向上させた照合画像とが含まれることを特徴とする情報処理装置の制御方法。

【請求項14】

コンピュータを請求項１から１１のいずれか１項に記載の情報処理装置の各手段として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、情報処理装置、システム、情報処理装置の制御方法、及び、プログラムに関する。

【背景技術】

【0002】

カメラ映像から人物の領域を検出し、人物領域から顔などの特徴量を取得し、登録画像の特徴量との比較により映像中の人物が同一であるかどうかを照合し、同一人物と判定する顔認証の技術が知られている。このような技術を監視カメラで応用し、出入口で対象者を監視する技術が知られている。

【0003】

しかしながら、従来のカメラにおいて、撮影環境が低照度環境や逆光環境の場合は、カメラ映像から顔を検出することできない場合が生じる。そこで、特許文献１では、低照度環境、逆光環境であることを判断し、人物の顔の検出精度を上げるための処理を実行する技術が提案されている。

【0004】

さらに、特許文献２では、複数の露出画像データを使用して合成しＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を作成する技術から、複数の露出画像データを得て、顔検出の処理と顔認証の処理を実行する画像の露出を変更しそれぞれの認証精度を上げて処理する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－４１５０４号公報

【文献】特開２０１５－１２５６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、先行技術では、顔認証時における認証結果を人が確認する場合において、視認性を考慮した顔露出の通知や表示に関しての言及はされていない。そのため、例えば、低照度環境の場合では、認証した結果画像の通知が暗い顔画像として通知されるため、人による確認が正しく行えない懸念がある。

【0007】

そこで、本発明は、顔認証精度を保持しつつ、顔認証結果を人が確認する場合の視認性の向上を実現可能にする。

【課題を解決するための手段】

【0008】

上記課題を解決する発明は、情報処理装置であって、
撮像画像の露出を補正して第１の補正画像を生成する露出補正手段と、
前記第１の補正画像に基づき、前記撮像画像における被写体の顔の位置を特定する顔検出手段と、
前記顔の位置に基づき前記撮像画像から顔画像を抽出する抽出手段と、
前記顔画像と、人物の顔の登録画像とを比較して人物判定を行う判定手段と、
前記人物判定において前記登録画像の人物が前記顔画像の人物と一致すると判定された場合に、前記人物判定の結果を通知する通知手段と
を備え、
前記通知手段は、前記人物判定の結果に、前記登録画像と、前記顔画像の人物の前記撮像画像であって、露出補正により視認性を向上させた照合画像とを含めることを特徴とする。

【発明の効果】

【0009】

本発明によれば、顔認証精度を保持しつつ、顔認証結果を人が確認する場合の視認性の向上を実現することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に対応するシステム構成の一例を示す図、及び、情報処理装置１００のハードウェア構成の一例を示す図。

【図2】実施形態に対応する情報処理装置１００の機能構成の一例を示す図。

【図3】実施形態に対応する顔検出方法を説明するための図。

【図4】実施形態に対応する判定結果の一例を示す図、及び、判定結果の通知例を示す図。

【図5】実施形態に対応する処理の流れの一例を示すフローチャート。

【図6】実施形態に対応する登録画像の例を示す図、及び、判定結果の他の通知例を示す図。

【図7】実施形態に対応する判定結果の更に他の通知例を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（実施形態１）
図１（Ａ）は、本実施形態におけるシステム構成の一例を示す図である。本実施形態におけるシステム１０は、情報処理装置１００、撮像装置１１０、およびディスプレイ１３０を含むように構成されている。システム１０において、情報処理装置１００と撮像装置１１０とは、ネットワーク１２０を介して相互接続されている。ネットワーク１２０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。ネットワーク１２０は、インターネットや有線ＬＡＮ（ＬＯＣＡＬ ＡＲＥＡ ＮＥＴＷＯＲＫ）、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ ＬＡＮ）、ＷＡＮ（ＷＩＤＥ ＡＲＥＡ ＮＥＴＷＯＲＫ）等により実現されてもよい。

【0013】

情報処理装置１００は、撮像装置１１０が撮像した画像に対し、後述する顔認証処理を実行する装置であり、画像処理装置、画像解析装置、認証処理装置等と呼ぶこともできる。情報処理装置１００は、顔画像に基づいて年齢や性別を推定する属性推定を行う処理や、感情を推定する処理など、顔画像を利用した処理を実行することができる。情報処理装置１００は、例えば、本実施形態に対応する認識処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

【0014】

撮像装置１１０は、画像を撮像する装置であり、ネットワークカメラと呼ぶこともできる。撮像装置１１０は、監視対象区域に配置され、当該区域を通過する、或いは、当該区域に滞在する人物を撮像して、撮像画像をネットワーク１２０を介して情報処理装置１００に出力（送信或いは提供）することができる。撮像画像には、静止画像及び動画像が含まれる。その際、撮像装置１１０は、撮像画像の画像データと、撮像装置１１０を識別する識別情報（ＩＤ）と、撮像画像の撮像時刻とを関連付けて情報処理装置１００へ送信することができる。これにより情報処理装置１００側では、どの撮像装置１１０においていつ撮像された画像であるかが判別できる。図１では、１台の撮像装置１１０のみを記載しているが、ネットワーク１２０には複数台の撮像装置１１０が接続可能であり、それらの撮像装置にはそれぞれＩＤが付与されており、ＩＤにより個々の撮像装置１１０を特定することができる。

【0015】

ディスプレイ１３０は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等により構成されている。また、ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。ディスプレイ１３０は表示装置として機能し、撮像装置１１０が撮像した画像や、後述する画像認識処理に係る設定画面等を表示する。ディスプレイ１３０は情報処理装置１００と共通の単一筐体内に設けられてもよい。

【0016】

次に図１（Ｂ）を参照して、情報処理装置１００のハードウェア構成の一例を説明する。情報処理装置１００はＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３を有する。ＲＯＭ１０３には情報処理装置１００の基本的な制御プログラムが記憶されている。この制御プログラムは、装置の起動時にＲＡＭ１０２に読み込まれ、ＣＰＵ１０１によって実行される。二次記憶装置１０４は、実際にはハードディスクあるいはメモリディスクなどである。二次記憶装置１０４には、高レベルな制御プログラム（たとえばオペレーションシステム）、ブラウザ、処理データに関する情報を管理するためのデータベースなどが記憶される。これらのソフトウェアは、適時ＲＡＭ１０２に読み込まれ、ＣＰＵ１０１によって実行される。ネットワークインタフェース（Ｉ/Ｆ）１０５は、ネットワーク１２０と接続するためのインタフェースである。入力部１０６は、ユーザからの指示操作を受け付けることが可能であって、キーボード、マウス、ボタン、タッチパネルなどから構成される。

【0017】

次に、図２に示す情報装置１００の機能ブロック図を参照しながら、本実施形態における情報処理装置１００の顔認証処理の一例を説明する。図２に示す各機能は、本実施形態の場合、情報処理装置１００のＲＯＭ３３０に格納されたコンピュータプログラムをＣＰＵ３１０が実行することにより実現することができる。

【0018】

通信部２０１は、Ｉ／Ｆ１０５によって実現でき、ネットワーク１２０を介して撮像装置１１０と通信を行う。通信部２０１は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して撮像指示を行うコマンドなどである。

【0019】

記憶部２１０は、ＲＡＭ１０２や二次記憶装置１０４等によって実現でき、情報処理装置１００による画像認識処理に関わる情報やデータを記憶する。操作部２２０は、入力部１０６を介してユーザが行った操作に関する情報を受け付ける。設定部２０２は、情報処理装置１００による情報処理に関する設定を行う。例えば、設定部２０２は、操作部２２０が受け付けたユーザによる操作に基づき、ユーザによる操作によって指定された検出する顔の大きさや露出目標値などの設定を行う。

【0020】

表示部２０３は、撮像装置１１０が撮像した画像や、画像認識処理に関する設定を行う設定画面、画像認識処理の結果を示す情報などをディスプレイ１３０に表示させる。人体検出部２０４は、画像における人物を検出する検出処理を実行する。本実施形態における検出部２０４は、人体の照合パターン（辞書）を使用して、パターンマッチング等を行うことにより画像に含まれる人物を検出する。検出結果には、画像のどの位置に顔画像があるかを示す顔位置情報が含まれる。なお人物を検出する処理は、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）でも実現できる。適宜、利用できるものを用いて本実施形態に適用することができる。同様に顔検出部２０５は、画像における人物の顔を検出する検出処理を実行する。顔の検出結果には、顔位置の他にも目、鼻、口などの器官結果を含んでも良い。

【0021】

露出量補正部２３０は、人体検出や顔検出前に露出補正を行う。露出補正を行う条件は、逆光の検知、中心位置の露出が適正露出より低い場合や高い場合、検出した人体や顔が適正露出より低い場合や高い場合など、検出精度が高くなるような条件に基づいて決定する。なお、露出補正を行う場合において、ダイナミックレンジが不足するような場合は、露出補正前の元画像は保持し、必要に応じて元画像から各検出時に露出補正を実行するのが望ましい。露出補正部２３０は、記憶部２１０に記憶されている露出目標値２１１に基づいて露出補正量を決定し、露出補正後の補正画像の露出が目標値に対応するように補正を行う。目標値に対応するとは、目標値と一致している場合、及び、目標値と一致はしていないものの目標値の近傍にある場合の両方を含む。露出目標値２１１は各検出用に設定値を保持してもよい。例えば、顔検出用の露出目標値と、人物判定用の露出目標値とが異なっていてもよい。

【0022】

ここで、顔検出時の露出補正の例を図３に示す。図３において画像３０１は、低照度環境における撮像装置１１０が撮像した画像の一例を示す。画像３０２は、顔検出前に画像３０１に対して、露出補正を行った顔検出用画像の一例である。このようにして露出補正を行うことで、顔検出の精度を向上させることが期待できる。顔検出部２０５は、画像３０２のような顔検出用画像において、撮像画像における人物の顔の位置（顔領域）を特定し、顔画像を検出することができる。画像３０３は、画像３０２に対して顔検出した結果の一例を示す。点線で囲んだ領域は、顔検出した結果で得られる顔領域３０４を示す。

【0023】

特徴量抽出部２０６は、顔検出部２０５により検出された人物の顔の位置を用いて、元の画像３０１から人物の顔を含む画像（顔画像）を照合用の顔画像（顔照合画像）として生成し、顔照合画像から人物の特徴量を算出する。具体的には、特徴量抽出部２０６は、元の画像３０１から画像３０３における顔領域３０４の位置に基づいて、画像３０１における顔領域３０５を特定する。このとき、顔領域３０５の撮像画像３０１における位置は、顔領域３０４の画像３０２における位置と同じである。この顔領域３０５より、照合用の顔画像として生成した画像が顔照合画像３０６であり、特徴量抽出部２０６は、顔照合画像３０６から特徴量を算出する。また、特徴量抽出部２０６は、顔認証精度を向上させるために露出補正が必要と判定する場合は、顔照合画像を露出補正して顔認証用画像を生成し、顔認証用画像から特徴量を抽出してもよい。

【0024】

人物判定部２０７は、特徴量抽出部２０６が顔照合画像或いは顔認証用画像から抽出した特徴量と、記憶部２１０が記憶する登録画像特徴量２３１とを照合し、登録されている人物と同一人物かどうかの人物判定を行う。登録画像特徴量２３１は、複数の登録人物について特徴量を保持することができる。それぞれの特徴量は、各登録人物の顔の登録画像から抽出した特徴量である。各登録画像は、実質的に露出の等しい画像（各登録画像から得られた平均輝度値がほぼ等しい、或いは、平均輝度値が所定の範囲内に属する）とする。人物判定部２０７は、各登録人物について得られた特徴量と顔照合画像から得られた特徴量とを比較して、特徴量の類似度が最も高い登録人物を撮像画像の人物として同定する。具体的に、人物判定部２０７は、特徴量の類似度を示す照合スコアを算出し、算出された照合スコアが、所定の閾値以上の場合に、当該人物と登録画像の人物とが同一人物と判定する。照合スコアが閾値以上の登録人物が複数いる場合には、照合スコアが最も高い登録人物を同一人物と判定する。閾値は記憶部２１０に記憶され、撮影環境や登録画像、および使用目的などに応じて適切に設定される。

【0025】

判定結果生成部２０８は、人物判定部２０７の判定で同一人物と判定された登録人物が見つかった場合に、判定結果のデータを生成する。判定結果データの一例を示すテーブルを図４（Ａ）に示す。テーブル４００において、登録画像は、人物判定部２０７が人物判定に使用した登録画像特徴量を抽出する元となった画像、或いは、当該登録画像特徴量と関連付けられた画像である。

【0026】

顔検出用画像は、顔検出部２０５による顔検出に用いられた画像（例えば図３に示す露出補正後の顔検出用画像３０２、或いは、当該画像３０２から生成した顔画像（例えば、顔領域３０４の画像））である。顔照合画像は、人物判定部２０７が人物判定に使用した画像（例えば、顔照合画像３０６、或いは、顔照合画像３０６に露出補正を行った顔認証用画像）である。さらに、登録名は登録画像と関連付けられている登録者の名前を示し、照合スコアは人物判定部２０７が算出した類似度を示す値であり、認証日時は、認証処理が行われた日時、或いは、画像の撮像日時を示す。

【0027】

判定結果データには、その他にも、登録時に記憶したデータを含めることができる。例えば、グループ分類や性別、年齢や人物の特徴などがある。また、撮影位置を示した情報が付加されてもよい。撮像位置の情報は、撮像装置１１０に付与されたＩＤの情報であってもよいし、当該ＩＤの情報から特定される位置情報であってもよい。

【0028】

通知部２０９は、人物判定部２０７にて撮像画像の人物が登録人物と同一人物と判定された場合に判定結果を通知する。当該通知は、例えばディスプレイ１３０上に表示されてもよいし、その他に、ネットワーク１２０を介して他の装置、例えば、ＰＣやスマートフォンなどの端末装置や表示装置に通知することができる。図４（Ｂ）は判定結果の表示の一例を示す。

【0029】

図４（Ｂ）では、人物判定された対象の人物の情報として、登録画像及び名前が表示される。これらの情報はテーブル４００に登録された登録画像、登録名として登録された情報（Reg.jpg及びTaro）から引用することができる。また、照合スコア及び認証日時も同じくテーブル４００に登録された情報から引用することができる。照合された人物の画像（照合画像）は、顔検出用画像を用いることができる。これにより視認性を向上させることができる。或いは、顔照合画像の露出が登録画像の露出と対応するように露出補正が行われ顔認証用画像が生成される場合には、当該顔認証用画像を用いてもよい。また、それ以外にも、撮像画像における顔の視認性を向上させるように露出補正された表示用の画像を別途生成し、表示させてもよい。

【0030】

次に図５のフローチャートを参照して、本実施形態に対応する情報処理装置１００において実行される処理の流れを説明する。図５は、情報処理装置１００による顔認証の結果を表示する処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、ＣＰＵ１０１が、ＲＯＭ１０３や二次記憶装置１０４に記憶された対応するプログラムを実行することにより実現される。以下では特に、登録画像としては適正露出の顔画像が登録されている一方で、視認性の悪い照合画像が入力された場合の顔認証結果の表示処理を説明する。ここで視認性の悪い照合画像とは、例えば、低照度環境の顔画像や逆光の顔画像であり、顔が適正に露出されていない画像のことをいう。

【0031】

まず、Ｓ５０１にて、通信部２０１は撮像装置１１０により撮影された撮影画像（映像）をフレーム画像の単位として、ネットワーク１２０を介して受信する。さらに、受信したフレーム画像上で人体検出部２０４が人体検出を行い、人体が検出された画像を取得する。

【0032】

次に、Ｓ５０２にて、Ｓ５０１で取得された人体が検出された画像から、顔検出用の画像を取得する。その際、Ｓ５０１で取得した画像に対して顔検出精度を向上させるための露出補正が必要と判断された場合は露出補正を実行する。ここで、露出補正が必要と判断される例を示す。例えば、人体検出部２０４は取得画像において人体の平均輝度値を算出して参照輝度値と比較し、平均輝度値が参照輝度値より小さい場合、顔がある部分（人体の上部）が参照輝度値と同等の明るさとなるように露出を補正する。このような処理を行うことで、顔や顔の中の目、鼻、口が鮮鋭化され、顔検出の精度が向上する。これにより、例えば図３の撮像画像３０１から画像３０２に示すような補正画像としての顔検出用画像を取得できる。

【0033】

次に、Ｓ５０３にて、顔検出部２０５は顔検出用画像を用いて顔検出処理を実行し、顔検出結果に基づいて顔照合画像を取得する。具体的には、図３に示す顔検出用画像３０２に対して顔検出処理を実行して顔領域３０４を特定する。更に、画像３０２における顔領域３０４の位置に基づいて、撮像画像３０１における顔領域３０５を特定して、撮像画像３０１から顔照合画像３０６を抽出する。

【0034】

Ｓ５０３において画像から顔が検出された場合、処理はＳ５０４に遷移する。一方、画像から顔が検出されなかった場合、取得したフレーム画像に対する処理は終了し、次のフレーム画像処理を開始し、Ｓ５０１にて、通信部２０１は、次の画像を取得する。

【0035】

次に、Ｓ５０４にて、特徴量抽出部２０６は、Ｓ５０３において取得した顔照合画像から顔認証用画像を取得する。ここではまず、顔照合画像について、顔認証精度を向上させるために露出補正が必要かどうかを判定する。当該判定は、顔照合画像の露出が、登録画像の露出と同等であるかを判定することにより行う。当該判定は、顔照合画像の平均輝度値を算出して、登録画像の平均輝度値と比較することにより行うことができる。両者の差分が閾値未満であれば露出補正は不要と判定し、差分が閾値以上の場合には露出補正が必要と判定する。認証精度を向上させるためには、登録画像と同等の露出の画像に補正することが望ましく、本実施形態では登録画像の露出に関する情報（例えば、平均輝度値等）が露出目標値２１１として予め記憶部２１０に記憶されており、登録画像の露出に近づけるように露出補正を行うものとする。このようにして、顔照合画像から露出補正により得られた画像を顔認証用画像という。露出補正が行われなかった場合、顔照合画像がそのまま顔認証用画像として用いられる。但し、露出補正を行うことで使用するダイナミックレンジをデジタル的に拡張する場合、離散的なデータとなり、認証精度の低下の可能性がある場合がある。このような場合は、露出補正はしないで次の処理Ｓ５０５に進んでもよい。

【0036】

次に、Ｓ５０５にて、特徴量抽出部２０６は、Ｓ５０４において得られた顔認証用画像から顔特徴量を取得する。次に、Ｓ５０６にて、人物判定部２０７が人物判定処理を行う。具体的には、特徴量抽出部２０６より抽出された顔認証用画像の特徴量と、記憶部２１０が記憶する登録画像特徴量２３１とを比較し、当該人物と登録画像に対応する人物との類似度を示す照合スコアを算出する。照合スコアが閾値を超えた登録人物がいた場合には、顔画像の人物と当該登録画像の人物とが同一人物であると判定する。なお、照合スコアが高いほど、類似度が高いことを示し、閾値を超えた人物が複数いる場合には、類似度が最も高い人物を選択する。登録人物の中に同一人物が見つかった場合、処理をＳ５０７に進める。一方、同一人物が見つからなかった場合は、取得したフレーム画像に対する処理は終了し、次のフレーム画像処理を開始し、Ｓ５０１にて、通信部２０１は、次の画像を取得する。

【0037】

次に、Ｓ５０７にて、判定結果生成部２０８は、判定結果を生成する処理を実行する。当該判定結果は、図４（Ｂ）に示したような画面を表示するための表示情報として生成される。Ｓ５０７においては、照合された人物の画像をＳ５０２において取得された顔検出用画像、或いは、Ｓ５０４において取得された顔認証用画像とすることができる。次に、Ｓ５０８にて、通知部２０９は、前述した通知処理を実行し、Ｓ５０７において生成した判定結果を示す表示情報をディスプレイ１３０や外部の端末に通知する。これに応じてディスプレイ１３０や外部の端末は、図４（Ｂ）に対応する表示画面を表示することができる。

【0038】

以上に説明したように、被写体の顔に対して適正な露出で実行され、低照度環境や逆光環境などの照明変化のシーンにおいても顔認証精度を向上しつつ、顔認証結果を確認する場合の視認性を向上させることができる。

【0039】

（実施形態２）
上述の実施形態１では、登録者１人に対して１枚の登録画像が登録されている場合を説明したが、本実施形態では、1人に対して複数の露出が異なる登録画像が登録されている場合を説明する。

【0040】

図６は、本実施形態に対応する登録画像群の一例を示す。図６は、ある特定人物に関する登録画像群６００の一例であり、当該登録画像群６００には、露出が異なる登録画像６０１、６０２、６０３が登録されているとする。登録画像６０１は明るめの画像、登録画像６０２は適正露出の画像、登録画像６０３は低照度における登録画像を示す。登録画像６０３は暗く、人による被写体の視認が困難な画像とする。

【0041】

また、本実施形態では、複数の登録人物のそれぞれについて、複数枚の登録画像を登録することができる。その際、登録画像６０１の露出を第１の露出、登録画像６０２の露出を第２の露出、登録画像６０３の露出を第３の露出とすると、各登録人物の登録画像は、第１の露出から第３の露出のいずれかの露出の画像とする。このように登録画像間において露出を共通化しておくことで、登録人物ごとに露出補正を行わなくてもよい。露出の判定については、上述と同様に平均輝度値を用いることができる。

【0042】

本実施形態に対応する情報処理装置１００が実行する処理について説明する。図５のフローチャートに従う処理において、Ｓ５０１～Ｓ５０３、Ｓ５０５、およびＳ５０８の各ステップにおいて実行される処理は、実施形態１で説明したものと同様であるので、本実施形態での説明は省略する。本実施形態では、Ｓ５０４、Ｓ５０６及びＳ５０７における処理内容が、実施形態１の処理内容とは異なっているので以下で説明する。

【0043】

まず、Ｓ５０４における人物判定処理においては、登録画像の露出と同等の露出となるように顔照合画像の露出補正を行わなくてもよい。或いは、登録画像のうちで最も露出条件の近いものに合わせるように露出補正を行ってもよい。次に、Ｓ５０６における人物判定処理においては、人物判定部２０７は、複数の登録画像のうち、Ｓ５０４で取得された顔認証用画像（或いは、顔照合画像）の露出に類似する露出の登録画像を選択して、人物判定処理を行う。ここで、露出の類似度は平均輝度値の比較により判定することができる。Ｓ５０４において、いずれかの登録画像の露出に合わせるように露出補正が行われていた場合には当該登録画像を選択する。登録画像の選択以外の処理は実施形態１と同様であるので、ここでの説明は省略する。これにより、低照度において撮像され露出が低くなっている撮像画像については、比較対象となる登録画像の露出も同様に低いものが選ばれる。

【0044】

次に、Ｓ５０７においては、判定結果の生成を行うが、登録画像が低照度環境下で撮像された画像であった場合に、人物判定処理に用いた登録画像をそのまま用いると図６（Ｂ）に示すように判定結果の視認性が低くなる。そこで、複数の登録画像のうちから適正な露出の画像を選択して判定結果に含めるようにする。換言すると、複数の登録画像のうちで選択された登録画像よりも露出の高い登録画像を選択する。これにより、図６（Ｃ）に示すように実際に判定に使用された登録画像とは異なるものの、視認性が改善された登録画像を用いて判定結果が提供されるので、視認性を向上させることができる。

【0045】

このように本実施形態によれば、撮像画像の撮像環境に応じた露出の登録画像を選択して認証処理を行うことができるので認証精度を向上させることができる。また、判定結果を通知する際には、視認性が改善された登録画像を用いるので、判定結果の視認性も高めることができる。

【0046】

（実施形態３）
次に、実施形態３では、認証時の録画データ（例えば、動画像）を再生し、確認する場合について説明する。例えば、低照度環境において撮像された画像について認証を行った場合、判定結果に含まれる登録画像や照合画像と、録画データに映っている被写体の画像との露出が一致せず、同一人物であるかを即座に判断できないことも考えられる。

【0047】

そこで、録画データを再生する場合、上述の判定結果の情報に加えて、図７に示すように人物判定部２０７による人物判定に用いられた登録画像７０１と、撮像画像から生成された顔照合画像７０２も判定結果に含めて表示する。これにより、露出補正されていない録画データを再生する場合においても特定人物の視認性が向上する。

【0048】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【0049】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0050】

１００ 情報処理装置、１１０ 撮像装置、１２０ ネットワーク、１３０ ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】