特許 6941966 人物認証装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6941966

(24)【登録日】2021年9月9日

(45)【発行日】2021年9月29日

(54)【発明の名称】人物認証装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210916BHJP

【ＦＩ】

   G06T7/00 510F

   G06T7/00 350B

【請求項の数】3

【全頁数】14

(21)【出願番号】特願2017-83059(P2017-83059)

(22)【出願日】2017年4月19日

(65)【公開番号】特開2018-181157(P2018-181157A)

(43)【公開日】2018年11月15日

【審査請求日】2020年1月23日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜特許業務法人

(72)【発明者】

【氏名】段 清柱

(72)【発明者】

【氏名】渡邉 裕樹

(72)【発明者】

【氏名】廣池 敦

(72)【発明者】

【氏名】今田 努

(72)【発明者】

【氏名】村田 孔孝

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１１−２４２８７３（ＪＰ，Ａ）

【文献】 特開２００５−１２８６２８（ＪＰ，Ａ）

【文献】 特開２００９−００２１５０（ＪＰ，Ａ）

【文献】 特開２００８−１９８１９３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０００４９３５（ＵＳ，Ａ１）

【文献】 特開２０００−１３７８１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

人物の顔画像から人物の認証を行う人物認証装置において、
人物を含む映像を入力する映像入力部と、
前記入力した映像から人物の移動軌跡を追跡する人追跡部と、
前記追跡した人物を対象に顔画像を抽出する顔抽出部と、
前記抽出した顔画像から顔特徴量を算出する顔特徴量算出部と、
登録済みの人物の顔認証モデルを用いて、前記算出した顔特徴量から前記追跡した人物を認証する顔認証部と、
前記顔認証部にて認証済みの人物の顔画像から追加学習用顔画像を選定して保存する追加学習顔保存部と、
前記選定した追加学習用顔画像を用いて、前記顔認証モデルの追加学習を実施する追加学習実施部と、を備え、
前記追加学習顔保存部は、前記顔認証部にて認証済みの人物の認証信頼度が上限と下限の２つの閾値Ｔ_１１，Ｔ_１２の間にある顔画像を前記追加学習用顔画像として選定し、
前記顔認証部が人物を認証する際に認証成功と判定するための認証信頼度の閾値を認証成功閾値Ｔ_０としたとき、
前記追加学習顔保存部が前記追加学習用顔画像として選定する際に用いる前記認証信頼度の上限Ｔ_１１は前記認証成功閾値Ｔ_０よりも大きく、前記認証信頼度の下限Ｔ_１２は前記認証成功閾値Ｔ_０よりも小さいことを特徴とする人物認証装置。

【請求項2】

請求項１に記載の人物認証装置において、
前記追加学習顔保存部は、前記顔認証モデルとして追加済の顔画像とどれだけ異なるかを示す差異度が所定の閾値Ｔ_３より大きい顔画像を前記追加学習用顔画像として選定することを特徴とする人物認証装置。

【請求項3】

請求項１に記載の人物認証装置において、
前記追加学習顔保存部は、さらに、顔画像内に本来備えるべき顔のパーツをどれだけ含んでいるかを示す顔画像完全度が所定の閾値Ｔ_２より大きい顔画像を前記追加学習用顔画像として選定することを特徴とする人物認証装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、追加学習機能を備えた人物認証装置に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１には、追加学習機能を有する人物検索装置が開示され、「検索対象の人物が異なる属性を保持していた（例えば異なる服装をしていた）ことがあった場合に、その属性を検索対象として追加する手段を備える」ことが記載されている。さらに、「検索の際に、検索対象として指定された人物が存在しえない時間や場所等の映像を特定する手段を有することにより、指定された人物が存在しえない時間や場所等の映像を検索対象から外す」ことが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−０１６９６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載される技術は、検索対象として指定する属性を追加することで、人物検索の際に、属性の変化に追随した検索が可能になる。しかしながら、追加するデータの質については十分に配慮されておらず、追加学習の副作用を招く恐れがある。すなわち、追加学習を実施する場合、追加するデータ（顔画像）の質により、学習の偏りを起こす可能性がある。例えば、認証時の類似度が非常に高い顔画像を追加すると、顔認証モデルは追加した画像に偏ることがある。また顔パーツの一部が欠落している顔画像を大量に追加すると、認証判定の閾値が小さくなり、誤検知を起こす可能性がある。このように、追加学習によって認証精度を向上させ、運用時の耐性（ロバスト性）の向上を図るためには、追加学習するデータを好適に選定する必要がある。

【0005】

本発明の目的は、追加学習時のデータを好適に選定し、学習の偏りをなくして認証精度を向上させる人物認証装置を提供することである。

【課題を解決するための手段】

【0006】

本発明に係る人物認証装置は、その一例を挙げるならば、登録済みの人物の顔認証モデルを用いて、追跡対象である人物を認証する顔認証部と、前記顔認証部にて認証済みの人物の顔画像から追加学習用顔画像を選定して保存する追加学習顔保存部と、前記選定した追加学習用顔画像を用いて、前記顔認証モデルの追加学習を実施する追加学習実施部と、を備え、前記追加学習顔保存部は、前記顔認証部にて認証済みの人物の認証信頼度が上限と下限の２つの閾値の間にある顔画像を前記追加学習用顔画像として選定することを特徴とする。

【0007】

あるいは前記追加学習顔保存部は、前記顔認証モデルとして追加済の顔画像とどれだけ異なるかを示す差異度が所定の閾値より大きい顔画像を前記追加学習用顔画像として選定することを特徴とする。

【発明の効果】

【0008】

本発明によれば、人物認証装置において、追加学習による副作用を防ぎながら運用時の耐性を向上させる効果がある。

【図面の簡単な説明】

【0009】

【図1】人物認証システムの全体の構成例を示す図（実施例１）。

【図2】人物認証装置５のハードウェア構成を示す図。

【図3】人物認証装置５の機能システム構成を示す図。

【図4】初期学習用顔画像３７のデータ構造を示す図。

【図5】追加学習用顔画像３８のデータ構造を示す図。

【図6】顔認証及び追加学習画像蓄積のシーケンスを示す図。

【図7】追加学習実施のシーケンスを示す図。

【図8】人追跡の処理フロー（ステップＳ２）を示す図。

【図9】追跡結果保存部３３のデータ構造を示す図。

【図10】図９に示した追跡結果をマップ上に表した図。

【図11】顔画像保存部３４に保存される顔画像のデータ構造を示す図。

【図12】認証結果保存部３５に保存される認証結果のデータ構造を示す図。

【図13】追加学習設定情報３９のデータ構造を示す図。

【図14】追加学習顔画像選定処理（ステップＳ７）のフローを示す図。

【図15】追加学習顔画像有効性判定フロー（ステップＳ２０６）の詳細を示す図。

【図16】図７の追加学習における学習結果の確認画面を示す図。

【図17】人物認証システムの他の構成例を示す図（実施例２）。

【図18】追加学習設定情報３９と顔認証成功閾値の関係を示す図（実施例３）。

【発明を実施するための形態】

【0010】

以下、本発明に係る人物認証装置の実施形態について、図面を参照して説明する。

【実施例1】

【0011】

図１は、本発明の人物認証装置を含む人物認証システムの全体の構成例を示す図である。人物認証システム１は、人物７を含む映像を取得する監視カメラなどの映像入力装置２と、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、ＶＰＮ（Virtual Private Network）等を含むネットワーク６と、人物を認証する人物認証装置５と、映像を格納する映像録画装置３と、人物認証装置５を管理する人物認証管理装置４と、を備えて構成される。人物認証装置５は、ネットワーク６を介して映像入力装置２から映像を受信し、写っている人物７の顔画像を登録済み人物の顔画像と比較し、人物７を特定する。受信した映像は映像録画装置３に格納する。人物認証管理装置４は、人物認証装置５の設定や人物認証装置５の認証結果の表示を行う。次に、人物認証装置５の内部構成を説明する。

【0012】

図２は、人物認証装置５のハードウェア構成を示す図である。人物認証装置５は、メモリ１０、外部記憶装置１１、ＣＰＵ（Central Processing Unit)１８、出力装置１９、通信装置２０と、これらをつなぐバス１７を含んで構成される。

【0013】

外部記憶装置１１は、デジタル情報を記憶可能ないわゆるハードディスク（Hard Disk Drive）やＳＳＤ（Solid State Drive）、あるいはフラッシュメモリなどの不揮発性記憶装置である。外部記憶装置１１には、顔認証プログラム１２、顔認証モデルＤＢ（データベース）１３、初期学習用顔ＤＢ１４、追加学習用顔ＤＢ１５、追加学習設定ＤＢ１６などのデータを格納する。

【0014】

顔認証プログラム１２は、以下に述べる顔認証処理を実行するためのプログラムである。顔認証モデルＤＢ１３は、各人物を他の人物と識別するためのパラメータで構成される。例えば、ＳＶＭ（Support Vector Machine）識別器を用いて顔認証を実施する場合、本人と他人を区別するサポートベクター（Support Vector）を格納している。初期学習用顔ＤＢ１４は、顔認証モデルＤＢ１３を構築する時に利用する顔画像を格納する。追加学習用顔ＤＢ１５は、顔認証モデルの追加学習のために運用中に蓄積した顔画像を格納する。追加学習設定ＤＢ１６は、運用時に、追加学習用顔ＤＢ１５に蓄積すべき顔画像の選定条件を定めた設定パラメータを格納している。

【0015】

ＣＰＵ１８は、各種演算を実行するユニットであり、外部記憶装置１１からメモリ１０にロードした所定のプログラムを実行することにより、各種処理を実行する。すなわち、外部記憶装置１１内の顔認証プログラム１２、顔認証モデルＤＢ１３、初期学習用顔ＤＢ１４、追加学習用顔ＤＢ１５、追加学習設定ＤＢ１６は、ＣＰＵ１８によりメモリ１０に展開される。メモリ１０は、ＣＰＵ１８により実行されるプログラムや、プログラムの実行に必要なデータを格納する。

【0016】

出力装置１９は、グラフィックボード・ビデオカードなどの画面生成装置であり、映像入力装置２からの映像や人物認証装置５の認証結果を表示可能な画面に変換する。通信装置２０は、ネットワーク６を介して映像入力装置２からの映像を受信し、人物認証管理装置４との間で認証結果、追加学習結果や制御指令を送受信する。

【0017】

図３は、人物認証装置５の機能システム構成を示す図である。人物認証装置５は、映像入力部２１、人追跡部２２、顔抽出部２３、顔特徴量算出部２４、顔認証部２５、追加学習顔保存部２６、追加学習実施部２７、外部連携部２８、入力受付部２９、出力部３０、および外部記憶装置１１からロードしたデータ保存する一時データ保存部３１とデータ保存部３２からなる。各部の機能を説明する。

【0018】

映像入力部２１は、ネットワーク６を介して受信した符号化された映像データの復号化を行い、フレーム単位の画像に変換する。
人追跡部２２は、映像入力部２１に入力した映像に対して、ブロックマッチング法や勾配法などによりオプティカルフロー（物体の動きベクトル）を計算し、映像の中に人物領域を算出し、人物ごとに、最新の存在場所を算出しながら追跡を行う。

【0019】

顔抽出部２３は、人追跡部２２が追跡中の人物の領域に対して、例えば、顔のパーツの相対位置や大きさ、目や鼻の形を特徴として、顔の領域を抽出する。
顔特徴量算出部２４は、本人の顔を他人の顔と区別するための属性、例えば、目、鼻、口などの各パーツのサイズや相対位置などのように、人物ごとに異なる属性を顔特徴量として算出する。

【0020】

顔認証部２５は、当該顔の顔特徴量を対象に、顔認証モデルＤＢ１３を用いて登録済み人物の顔特徴量との類似度を確率値として算出し、当該顔が属する人物を特定する。

【0021】

追加学習顔保存部２６は、人物認証装置５の動作中に、認証済みの人物に対してその一部の顔画像を追加学習用画像として選定し、追加学習用顔ＤＢ１５に保存する。
追加学習実施部２７は、初期学習用顔ＤＢ１４と追加学習用顔ＤＢ１５に蓄積された顔データを用いて、顔認証モデルの追加学習を実施する。顔認証モデルの追加学習の結果は顔認証モデルＤＢ１３に格納される。

【0022】

外部連携部２８は、顔認証部２５の認証結果を外部システム、例えば入退管理システムに送信する。また、外部システムからのトリガーにより顔認証処理を実施する。
入力受付部２９は、キーボードやマウスなどのデバイスであり、ユーザの操作を認識して操作命令に変換する。
出力部３０は、顔認証部２５の認証結果や追加学習実施部２７の学習結果などを、運用者が確認可能な形式に変換して、出力装置１９にて表示する。

【0023】

一時データ保存部３１は、追跡結果保存部３３、顔画像保存部３４、認証結果保存部３５からなる。追跡結果保存部３３は、追跡対象ごとに人の場所、画面上の領域などの情報を格納する。顔画像保存部３４は、追跡対象のフレームごとの顔画像を格納する。認証結果保存部３５は、追跡対象のフレームごとの認証結果を格納する。

【0024】

データ保存部３２は、顔認証モデル３６、初期学習用顔画像３７、追加学習用顔画像３８、追加学習設定情報３９からなる。顔認証モデル３６は、顔認証モデルＤＢ１３をメモリ上に展開したものである。初期学習用顔画像３７は、初期学習用顔ＤＢ１４をメモリ上に展開したものである。追加学習用顔画像３８は、追加学習用顔ＤＢ１５をメモリ上に展開したものである。追加学習設定情報３９は、追加学習設定ＤＢ１６をメモリ上に展開したものである。

【0025】

図４は、初期学習用顔画像３７のデータ構造を示す図である。また図５は、追加学習用顔画像３８のデータ構造を示す図である。いずれも、各人物を識別する人物ＩＤに対応してその顔画像データが格納されている。初期学習用顔画像３７と追加学習用顔画像３８の画像データを用いて、人物ＩＤごとの顔認証モデル３６が構築される。

【0026】

以下、人物認証装置５における人物認証処理の動作を、顔認証処理、追加学習画像蓄積処理、追加学習処理に分けて説明する。

【0027】

図６は、顔認証及び追加学習画像蓄積のシーケンスを示す図である。
映像入力装置２から映像が入力すると、映像入力部２１は映像の復号化と前処理を行う（ステップＳ１）。前処理の内容は、例えば、ホワイトバランス調整や明るさ調整などである。フレームごとの画像は人追跡部２２に送られる。人追跡部２２は、画像中の人物（追跡対象）の追跡を行い、追跡結果を追跡結果保存部３３に格納する（ステップＳ２）。ステップＳ２の詳細は図８〜１０にて後述する。

【0028】

人物の追跡結果は顔抽出部２３に送られ、認証処理が未実施の人物（追跡対象）が存在する場合、以下を行う。顔抽出部２３は、追跡中の人物ごとに顔領域の抽出を行い、顔画像を顔画像保存部３４に格納する（ステップＳ３）。顔領域抽出方法には、Ｈａａｒ特徴量に基づくカスケード識別器を用いた顔検出方法などがある。ステップＳ３の詳細は図１１にて後述する。

【0029】

抽出した顔画像は顔特徴量算出部２４に送られる。顔特徴量算出部２４は、顔画像から顔特徴量を算出する（ステップＳ４）。顔認証部２５は、算出された顔特徴量から顔認証処理を行う。すなわち、顔認証モデル３６を用いて顔特徴量が属する登録済み人物のＩＤを識別し、認証結果を認証結果保存部３５に格納する（ステップＳ５）。ステップＳ５の詳細は図１２にて後述する。

【0030】

顔認証処理（ステップＳ５）が成功した場合、識別した人物ＩＤは外部連携部２８を介し外部システムへ通知される（ステップＳ６）。これにより、例えば入退管理システムにおいて自動的にドアを開放する動作が行われる。

【0031】

当該フレームの顔認証処理を完了後、追加学習顔保存部２６は、追加学習のために追加学習用顔画像の選定処理を行う（ステップＳ７）。ステップＳ７の詳細は図１３〜１５にて後述する。追加学習用顔画像が存在する場合、追加すべき顔画像３８を追加学習用顔ＤＢ１５に格納する（ステップＳ８）。

【0032】

図７は、追加学習実施のシーケンスを示す図である。
入力受付部２９は運用者から再学習指示を受けると、追加学習実施部２７に追加学習要求を送る。追加学習実施部２７は、初期学習用顔ＤＢ１４と追加学習用顔ＤＢ１５から顔画像を読み出す（ステップＳ９）。顔特徴量算出部２４は、読み出された顔画像に対して顔特徴量の算出を行い（ステップＳ１０）、追加学習実施部２７へ返す。追加学習実施部２７は、ＳＶＭ識別器を学習することで複数の個体を識別可能とする顔認証モデル３６を追加学習する（ステップＳ１１）。

【0033】

追加学習結果は出力部３０に送られ、学習結果の画面を生成して、運用者に提示する（ステップＳ１２）。運用者は追加学習結果を受入れる場合、追加学習を反映するボタンを押すことで顔認証モデル３６を更新する（ステップＳ１３）。ステップＳ１２、Ｓ１３の詳細は図１６にて後述する。

【0034】

以下、図６と図７における主要なステップについて詳細に説明する。
図８は、人追跡部２２による人追跡の処理フロー（ステップＳ２）を示す図である。
入力画像に対して、画像の中にエッジ部などの追跡しやすい特徴点を抽出する（ステップＳ１０１）。抽出した特徴点を用いて、前のフレームの特徴点とのマッチングをとることで各特徴点の動きの軌道を算出する（ステップＳ１０２）。追跡中の人物の情報を用いて、特徴点の軌道情報を更新する（ステップＳ１０３）。なお、初期状態では追跡中の人物は存在しないため、このステップＳ１０３では何も行わない。全ての特徴点の情報及び追跡中の人物の情報を用いて、人領域を更新する（ステップＳ１０４）。人領域の情報を用いて、追跡中の人物の追跡結果を更新する（ステップＳ１０５）。

【0035】

現在、未追跡の人領域があるか否かを判定する（ステップＳ１０６）。未追跡の人領域が存在する場合、追跡対象を追跡結果に追加する（ステップＳ１０７）。ステップＳ１０７が完了後、または未追跡の人領域が存在しない場合、人領域以外の特徴点を削除する（ステップＳ１０８）。追跡結果を顔抽出部２３に出力するとともに、追跡結果保存部３３に保存する（ステップＳ１０９）。

【0036】

図９は、追跡結果保存部３３のデータ構造を示す図である。追跡結果保存部３３は、フレームＩＤ、追跡対象ＩＤ、および追跡対象領域からなる。フレームＩＤは、画像のフレーム番号である。追跡対象ＩＤは、各フレームＩＤの画像に存在する追跡対象の識別番号である。追跡対象が複数のフレーム画像に渡って存在する場合、１つの追跡対象ＩＤが複数のフレームＩＤに含まれることになる。追跡対象領域は、当該追跡対象が当該フレーム内で存在する領域（位置座標）を示す。

【0037】

図１０は、図９に示した追跡結果をマップ上に表した図である。マップ４０は映像入力装置２の撮像範囲に対応する。マップ４０内には追跡対象は２つあり、それぞれの追跡対象ＩＤは「１」と「２」である。追跡対象ＩＤ＝「１」はフレーム間で移動しており、４１ａは追跡対象の軌跡、４１ｂは追跡対象の現在位置を示す。

【0038】

図１１は、顔抽出部２３による顔領域抽出処理（ステップＳ３）の結果、顔画像保存部３４に保存される顔画像のデータ構造を示す図である。顔画像保存部３４は、フレームＩＤ、追跡対象ＩＤ、および顔画像データからなる。フレームＩＤと追跡対象ＩＤは、顔画像が抽出される人物の追跡結果保存部３３のデータに対応している。また、顔画像データは顔画像のバイナリデータとして保存される。

【0039】

図１２は、顔認証部２５による顔認証処理（ステップＳ５）の結果、認証結果保存部３５に保存される認証結果のデータ構造を示す図である。認証結果保存部３５は、フレームＩＤ、追跡対象ＩＤ、認証結果詳細、および人物ＩＤからなる。フレームＩＤと追跡対象ＩＤは、顔画像保存部３４のデータと関連付ける。認証結果詳細は、当該顔が属する個体（人物ＩＤ）及びその確率（類似度または信頼度とも呼ぶ）を示す。認証結果詳細の中に、ある個体に属する確率が所定の値（認証成功閾値）を超える場合、認証成功とみなし、その個体の人物ＩＤに更新する。認証が失敗した場合は、人物ＩＤを「−１」で表す。

【0040】

追跡中の人物は異なるフレームに渡って同一の追跡対象ＩＤで管理されているので、あるフレームで認証が成功すれば他のフレームで認証が失敗したとしても、追跡対象ＩＤが一致するすべてのフレームにおける追跡対象の人物ＩＤを特定することができる。例えば、追跡対象ＩＤ＝「２」についてはフレームＩＤ＝１２の段階では認証が失敗しているが、フレームＩＤ＝１５で認証が成功（人物ＩＤ＝００１）しているので、フレームＩＤ＝１２に遡って追跡対象ＩＤ＝「２」の人物ＩＤを特定することができる。

【0041】

次に、追加学習顔保存部２６による追加学習顔画像選定処理（ステップＳ７）について詳細に説明する。
図１３は、追加学習顔画像選定処理にて用いる追加学習設定情報３９のデータ構造を示す図である。追加学習設定情報３９は、顔画像選定の条件であるパラメータ名とパラメータ値からなる。パラメータとしては、本人信頼度上限Ｔ_１１、本人信頼度下限Ｔ_１２、顔完全度下限Ｔ_２、追加済本人顔差異度下限Ｔ_３、実施待ちフレーム数Ｆなどを含んでいる。

【0042】

本人信頼度上限Ｔ_１１は、追加学習の顔データとして選定するための登録済み人物に属する信頼度（＝類似度）の上限値である。ここに信頼度とは、顔認証処理の結果得られる登録済み人物に属する確率値で表す。信頼度の上限値は、１未満の値（例えば０．９６）とすることで、追加する画像が登録済みの画像に偏ることを防止する効果がある。
本人信頼度下限Ｔ_１２は、追加学習の顔データとして選定するための登録済み人物に属する信頼度の下限値である。

【0043】

顔完全度下限Ｔ_２は、追加学習の顔データとして選定するための顔画像完全度の下限値である。顔画像完全度とは、顔画像内に本来あるべき口、目、鼻などのパーツがどれだけ含まれているかを示す割合である。この値が高いほど、顔画像として有効である。この値が低い場合、一部の顔が隠れているか、もしくは、そもそも顔画像ではない可能性がある。下限値を設けることで、追加学習に伴う認証精度の低下を防止する効果がある。

【0044】

追加済本人顔差異度下限Ｔ_３は、追加する予定の顔画像が、追加済（登録済）の本人顔画像とどれだけ異なるか、差異度の下限値を示す。この下限値は０より大きい値（例えば０．０５）とすることで、既に追加学習済みの画像と類似している顔画像の再追加を避けることができ、その結果、学習の偏りを防ぐ効果がある。

【0045】

実施待ちフレーム数Ｆは、追跡対象が視野から消えた後、追加学習用顔画像の選定を実施するまでの待ちフレーム数である。

【0046】

図１４は、追加学習顔画像選定処理（ステップＳ７）のフローを示す図である。
追加学習顔保存部２６は、顔認証結果保存部３５と顔画像保存部３４から、一件の認証結果と関連する顔画像データを読み込む（ステップＳ２０１）。すなわち、顔認証結果保存部３５に保存される追跡対象ＩＤ、認証結果詳細、人物ＩＤと、これに関連する顔画像保存部３４の顔画像データを準備する。

【0047】

当該追跡対象ＩＤの「消えるフレーム数」が、追加学習設定情報３９の実施待ちフレーム数Ｆと一致するか否かを判定する（ステップＳ２０２）。ここに「消えるフレーム数」とは、当該追跡対象ＩＤがフレーム画像から消えて再度出現するまでのフレーム数のことである。消えるフレーム数が実施待ちフレーム数Ｆと一致する場合、選定処理を継続する。一致しない場合、この認証結果の処理を中断し、ステップＳ２０１に戻り、次の認証結果について処理する。

【0048】

当該追跡対象ＩＤに対する認証結果をチェックし、当該追跡対象ＩＤに対し認証成功したフレームが存在するか否か、すなわち、顔認証結果保存部３５の人物ＩＤが「−１」以外のフレームが存在するか否かを判定する（ステップＳ２０３）。認証成功したフレームが存在する場合、選定処理を継続する。認証成功したフレームが存在しない場合、この認証結果の処理を中断し、ステップＳ２０１に戻り次の認証結果について処理する。

【0049】

次に、当該顔画像について、顔画像完全度の算出（ステップＳ２０４）と、本人顔差異度の算出（ステップＳ２０５）を行う。顔画像完全度とは、顔画像内に本来備えるべき口、目、鼻などの顔のパーツをどれだけ含んでいるかを示す値である。本人顔差異度とは、当該顔画像が、追加済の本人顔画像とどれだけ異なるかを示す値である。なお、追加済の本人顔画像として利用するデータは、初期学習用顔画像３７と追加学習用顔画像３８の両方、もしくはその一方でもよい。算出した顔画像完全度と本人顔差異度を用いて、当該顔画像が追加学習用画像として有効であるか否かの判定処理を行う（ステップＳ２０６）。ステップＳ２０６の詳細は図１５を用いて説明する。

【0050】

ステップＳ２０６の有効性の判定結果に応じて処理を分岐する（ステップＳ２０７）。有効と判定した場合は、当該顔画像を追加学習の対象として選定する（ステップＳ２０８）。有効でないと判定した場合は、この認証結果の処理を中断し、ステップＳ２０１に戻り次の認証結果について処理する。全ての認証結果の処理を完了したか否かを判定し（ステップＳ２０９）、完了していれば終了する。完了していなければ、ステップＳ２０１に戻り次の認証結果について処理する。

【0051】

図１５は、図１４における追加学習顔画像有効性判定フロー（ステップＳ２０６）の詳細を示す図である。ここの判定では、図１３の追加学習設定情報３９に設定されている本人信頼度上限Ｔ_１１、本人信頼度下限Ｔ_１２、顔完全度下限Ｔ_２、追加済本人顔差異度下限Ｔ_３を使用する。

【0052】

まず、当該顔画像の本人信頼度（認証時の確率）を判定する（ステップ２１１）。本人信頼度が本人信頼度下限Ｔ_１２よりも大きく、かつ本人信頼度上限Ｔ_１１よりも小さい場合、選定処理を継続する。そうでない場合、無効とする（ステップＳ２１５）。次に、顔画像完全度を判定する（ステップＳ２１２）。顔画像完全度が顔完全度下限Ｔ_２より大きい場合、選定処理を継続する。そうでない場合、無効とする（ステップＳ２１５）。さらに、本人顔差異度の判定を行う（ステップＳ２１３）。本人顔差異度が追加済本人顔差異度下限Ｔ_３より大きい場合、当該顔画像の追加学習顔画像としての判定結果を有効とする（ステップＳ２１４）。そうでない場合、無効とする（ステップＳ２１５）。

【0053】

以上の処理で、顔認証結果を用いて、追加学習の対象になる顔画像を適切に選定することが可能になる。その際の選定条件は、
（１）本人信頼度の閾値として下限Ｔ_１２だけでなく上限Ｔ_１１を設ける、
（２）顔画像完全度の閾値として下限Ｔ_２を設ける、
（３）本人顔差異度の閾値として下限Ｔ_３を設ける、
ようにしたので、追加学習時の偏りを防ぐとともに認証判定時の誤検知を防止する効果がある。

【0054】

なお、上記の選定条件（１）〜（３）は全て満足する必要はなく、（１）または（３）のいずれかを満足すれば追加学習時の偏りを防ぐことができる。よって、図１５の有効性判定フローは、使用環境に応じて適宜選定条件を組み直して運用すればよい。

【0055】

図１６は、図７の追加学習における学習結果の確認画面（ステップＳ１２，Ｓ１３）を示す図である。確認画面５０では、追加学習結果５１として、初期学習用顔ＤＢ及び追加学習顔ＤＢのテストデータを対象に認証テストを行い、追加学習前と追加学習後の認証失敗（本人拒否率と他人受入率）の確率を掲示する。本人拒否率とは、本人の顔画像を本人であると認証できなかった確率で、他人受入率とは、他人の顔画像を本人と誤って認証した確率である。追加学習により本人拒否率は低減している。なお、学習により他人受入率は増加しているが、元々０％に近い値なので問題になることはない。運用者は追加学習結果５１を確認し、追加学習を反映するボタン５２を押すことで追加学習を受け入れることができる。また、取り消しボタン５３を押すことで、追加学習を止めることができる。

【0056】

上記の説明では、運用者の指示により追加学習を実施するものとしたが、定期的にもしくは顔認証のたびに追加学習を実施することでもよい。

【0057】

実施例１によれば、人物認証システムが運用時、顔認証の信頼度が低い顔画像を追加学習の対象に加えることで、顔の経年変化や照明の変化に対する耐性を向上することができる。また、信頼度が十分に高い顔画像や既に大量に学習した顔画像を追加学習の対象外にすることで、学習の偏りを防ぐ効果がある。また、顔完全性のチェックにより、顔画像完全度が低い顔画像を追加学習の対象外にすることで、認証精度の悪化を防ぐ効果がある。

【実施例2】

【0058】

図１７は、本発明の人物認証装置を含む人物認証システムの他の構成例を示す図である。人物認証システム１ａでは、人物認証装置５と人物認証管理装置４の間をＷＡＮ（Wide Area Network）、ＶＰＮ（Virtual Private Network）等を含むネットワーク６ａを介して接続した構成としている。これにより、人物認証装置５から遠隔地にある人物認証管理装置４にて認証結果を表示し、人物認証装置５の設定を行うことができる。

【0059】

一方、映像入力装置２と人物認証装置５は、実施例１と同様に、ネットワーク６を介して接続し、映像入力装置２から映像を受信し、現在写っている人物の顔を特定することができる。本実施例の構成によれば、遠隔地から人物認証装置をメンテナンスすることが可能になる。

【実施例3】

【0060】

実施例３では、追加学習設定情報３９における信頼度の上限と下限の好適な設定について述べる。
図１８は、追加学習設定情報３９と顔認証成功閾値の関係を示す図である。横軸は画像フレーム数、縦軸は各フレームにおける信頼度（認証結果の確率）を示し、ある追跡対象（人物）に対する信頼度は曲線６０のように変化している。顔認証処理において、当該追跡対象に対し認証成功と判定するための信頼度の閾値（顔認証成功閾値）をＴ_０とすると、信頼度が閾値Ｔ_０を越えている期間Ｐ_０が認証成功の期間となる。

【0061】

これに対し追加学習に用いる顔画像の条件は、図１３の追加学習設定情報３９で示したように、認証時の本人信頼度に上限Ｔ_１１と下限Ｔ_１２を設けている。特に本実施例では、本人信頼度上限Ｔ_１１は顔認証成功閾値Ｔ_０より大きく、かつ本人信頼度下限Ｔ_１２は顔認証成功閾値Ｔ_０より小さく設定する。その結果、図１５の有効性の判定処理では、追加学習の顔画像として有効とされる期間は、信頼度が上限Ｔ_１１と下限Ｔ_１２に挟まれたＰ_１とＰ_２の期間となる。これらの期間Ｐ_１、Ｐ_２には、認証成功した顔画像だけでなく、Ｐ_３で示す認証に失敗した画像も含まれている。

【0062】

ただし、Ｐ_３の領域の画像は、信頼度が僅かの差で認証失敗した画像であり、むしろ追加学習用としては有益なものである。例えば、初期学習時には正面の顔画像のみ存在する状態だったのに対し、運用時の追加学習により、顔の向きが変化した場合の顔画像を認証モデルに追加することで、認証の耐性を向上させる効果がある。

【0063】

以上、本発明の実施例を説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0064】

例えば、上記実施例においては、映像入力装置２の台数は複数台にあってもよい。また、人物認証装置５と人物認証管理装置４はそれぞれ複数台あって、複数の装置間で連携しながら複数の映像入力装置２に対応させてもよい。また、上記した映像入力装置２、人物認証装置５、映像録画装置３、人物認証管理装置４のうち少なくとも２つが同じ装置内に構成されていてもよい。

【0065】

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

【符号の説明】

【0066】

１：人物認証システム、
２：映像入力装置、
４：人物認証管理装置、
５：人物認証装置、
２１：映像入力部、
２２：人追跡部、
２３：顔抽出部、
２４：顔特徴量算出部、
２５：顔認証部、
２６：追加学習顔保存部、
２７：追加学習実施部、
３６：顔認証モデル、
３８：追加学習用顔画像、
３９：追加学習設定情報。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】