特許 6028453 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6028453

(24)【登録日】2016年10月28日

(45)【発行日】2016年11月16日

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20060101AFI20161107BHJP

   G06F 21/32 20130101ALI20161107BHJP

【ＦＩ】

   G06T7/00 510B

   G06F21/32

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2012-184948(P2012-184948)

(22)【出願日】2012年8月24日

(65)【公開番号】特開2014-44475(P2014-44475A)

(43)【公開日】2014年3月13日

【審査請求日】2015年5月12日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100105142

【弁理士】

【氏名又は名称】下田 憲次

(72)【発明者】

【氏名】鈴木 源太

(72)【発明者】

【氏名】松田 高弘

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０００−２５９２７８（ＪＰ，Ａ）

【文献】 国際公開第２００８／０９９８１６（ＷＯ，Ａ１）

【文献】 特開２０１０−２３１３２０（ＪＰ，Ａ）

【文献】 特開２００８−２１７３５５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０１３５１６５（ＵＳ，Ａ１）

【文献】 特開２００７−０５８６４９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／０２６０９８８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

Ｇ０６Ｆ ２１／３２

(57)【特許請求の範囲】

【請求項1】

撮像された画像を取得する取得部と、
前記画像に含まれる第１ユーザの第１特徴量と、第２特徴量、および前記画像または前記画像の撮像場所において撮像された画像に含まれる第２ユーザの第１特徴量を抽出する抽出部と、
前記第２ユーザにおける前記第１特徴量に対して前記第１ユーザの前記第１特徴量が類似する確率を示す第１認証判別値を少なくとも所定時間に１回算出する算出部と、
前記第１認証判別値に基づいて前記第１特徴量あるいは前記第１特徴量と前記第２特徴量を用いて前記第１ユーザを認証する認証部
を備えることを特徴とする画像処理装置。

【請求項2】

前記第１特徴量は色ヒストグラムであり、前記第２特徴量は特徴ベクトルであることを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記認証部は、
前記第１認証判別値が所定の第１閾値未満の場合は、前記第１特徴量と予め保持している基準第１特徴量との類似度を示す第１類似度に基づいて前記第１ユーザを認証し、
前記第１認証判別値が前記第１閾値以上の場合は、前記第１類似度ならびに、前記第２特徴量と予め保持している基準第２特徴量との類似度を示す第２類似度に基づいて前記第１ユーザを認証することを特徴とする請求項１または請求項２記載の画像処理装置。

【請求項4】

前記認証部は、前記第１認証判別値が前記第１閾値未満の場合は
前記第１類似度が、前記第１類似度に基づいて前記第１ユーザを認証する時に用いる第２閾値以上の場合に、前記第１ユーザを認証する請求項３記載の画像処理装置。

【請求項5】

前記認証部は、前記第１認証判別値が前記第１閾値以上の場合は、
前記第２類似度に基づいて前記第１ユーザを認証する時に用いる第３閾値を算出する第２認証判別値を、前記第１閾値と前記第１認証判別値に基づいて規定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記認証部は、前記第１認証判別値が前記第１閾値以上の場合は、
前記第１類似度が前記第２閾値以上、かつ前記第２類似度が前記第３閾値以上の場合に、前記第１ユーザを認証する請求項５記載の画像処理装置。

【請求項7】

前記第１認証判別値と、前記第２認証判別値を乗算した値は、前記第１閾値以下になることを特徴とする請求項５に記載の画像処理装置。

【請求項8】

撮像された画像を取得し、
前記画像に含まれる第１ユーザの第１特徴量と、第２特徴量、および前記画像または前記画像の撮像場所において撮像された画像に含まれる第２ユーザの第１特徴量を抽出し、
前記第２ユーザにおける前記第１特徴量に対して前記第１ユーザの前記第１特徴量が類似する確率を示す第１認証判別値を少なくとも所定時間に１回算出し、
前記第１認証判別値に基づいて前記第１特徴量あるいは前記第１特徴量と前記第２特徴量を用いて前記第１ユーザを認証する
ことを特徴とする画像処処理方法。

【請求項9】

コンピュータに、
撮像された画像を取得し、
前記画像に含まれる第１ユーザの第１特徴量と、第２特徴量、および前記画像または前記画像の撮像場所において撮像された画像に含まれる第２ユーザの第１特徴量を抽出し、
前記第２ユーザにおける前記第１特徴量に対して前記第１ユーザの前記第１特徴量が類似する確率を示す第１認証判別値を算出し、
前記第１認証判別値に基づいて前記第１特徴量あるいは前記第１特徴量と前記第２特徴量を用いて前記第１ユーザを認証する
ことを実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、ユーザの継続認証に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

【背景技術】

【0002】

近年、情報機器の急速な普及に伴い、情報機器内に多種多様な情報が保持されるようになっている。このため、情報機器内に保持されている情報の漏洩等を抑制するセキュリティ技術の確立は極めて重要な課題になってきており、様々な認証技術（例えばパスワード認証や生体認証、カード認証等）が提案されている。しかし、既存の認証技術の多くは、ログイン時にのみ認証処理を実施するものであり、例えば、正規のユーザが情報機器の設置位置から離席している間に第三者が情報機器を不正に使用した場合、不正使用を検知できないという共通の課題がある。

【0003】

上記の課題を解決するため、ログイン後もユーザに対して継続的に認証処理を行う継続認証技術が提案されている。代表的な継続認証として、特徴ベクトルを用いた顔認証による継続認証が存在する。顔認証は画像中のユーザに対応する顔領域の特徴ベクトル郡となる特徴点群を登録しておき、登録した特徴点群との認証時に抽出する特徴点群との対応関係に基づいて、画像中のユーザを検知することで継続認証が実現される。

【0004】

また、ユーザを撮影した画像の色ヒストグラムを用いる色ヒストグラム認証も提案されている。色ヒストグラム認証は、顔認証等を用いる他の方式と比較して、ユーザの姿勢変化に対して頑健な継続認証が可能という特長を有している。色ヒストグラム認証では、例えば、画像中のユーザに対応する領域（例えば体領域）の色ヒストグラムを登録しておき、登録した色ヒストグラムとの色ヒストグラムの類似度に基づいて、画像中のユーザの体領域を検知し、その移動を追跡することで継続認証が実現される。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】F. Monrose and A. D. Rubin, “Keystroke dynamics as biometrics for authentication,” Future Generation Comput. Syst., vol. 16, pp. 351-359, 2000.

【非特許文献2】A. Altinok and M. Turk, “Temporal integration for continuous multimodal biometrics,” in Proc. Workshop on Multimodal User Authentication, 2003, pp. 131-137.

【非特許文献3】T. Sim, S. Zhang, R. Janakiraman, and S. Kumar, “Continuous verification using multimodal biometrics,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, no. 4, pp. 687-700, Apr. 2007.

【非特許文献4】K. Niinuma, U. Park, A. K. Jain, "Soft Biometric Traits For Continuous User Authentication", IEEE Transactions on Information Forensics and Security (TIFS), Vol. 5, No. 4, pp. 771-780, 2, 2010.

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述の特徴ベクトルを用いる顔認証による継続認証においては、画像を撮像する撮像部に対してユーザが正面を向いていないと正確に継続認証を行うことが困難である。つまり、特徴ベクトルを用いる顔認証による継続認証は、姿勢の変化に対するロバスト性が低く、ＦＲＲ（Ｆａｌｓｅ Ｒｅｊｅｃｔｉｏｎ Ｒａｔｅ；本人拒否率）が高い為、可用性が低い課題を有している。

【0007】

一方、色ヒストグラムを用いる継続認証においては、顔認証とは異なり統計量を取り扱う性質上、ユーザの顔や体の向きの姿勢の変化に対するロバスト性が高い利点を有している。しかしながら、本発明者らの検証により以下の課題を有していることが新たに見出された。色ヒストグラムを用いた継続認証においては、継続認証中に、同一または類似の衣服の色を着用する別のユーザが画像に入ってくると、本来登録されたユーザの色ヒストグラムと別のユーザの色ヒストグラムが類似しているため、別のユーザを本人として誤って認証を続けてしまう問題が発生する。通常、認証システムを設計する際には、ＦＡＲ（Ｆａｌｓｅ Ａｃｃｅｐｔａｎｃｅ Ｒａｔｅ；他人受入れ率）を一定以下（例えば１％）と設定する必要がある。ところが、同じ衣服を着たユーザが多い環境（例えば、オフィスや工場等）においては、上述のような問題が発生しやすくＦＡＲが高くなり、堅牢性が低くなる場合がある。

【0008】

上述の事情を考慮して、顔認証と色ヒストグラムを組み合わせた継続認証の適用を新たに本発明者らが検証した。しかしながら、同じ衣服のユーザが多く居る状況を想定すると、顔認証の認証判定の閾値は、従来の手法と同等の閾値に設定する必要がある。この為、顔認証の姿勢の変化に対するロバスト性は、色ヒストグラムを組み合わせても変わらずに低く、可用性が低いままであることが新たに判明された。よって、現状の継続認証技術おいては、可用性と堅牢性の双方を具備した継続認証を実施できる画像処理装置は提唱されていない状況である。

【0009】

本発明は、可用性と堅牢性を具備した継続認証が可能となる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明が開示する画像処理装置は、撮像された画像を取得する取得部と、画像に含まれる第１ユーザの第１特徴量と、第２特徴量を抽出する抽出部を備える。更に、当該画像処理装置は、第２ユーザにおける第１特徴量に対して第１ユーザの第１特徴量が類似する確率を示す第１認証判別値を算出する算出部を備える。更に、当該画像処理装置は、第１認証判別値に基づいて第１特徴量あるいは第１特徴量と第２特徴量を用いて第１ユーザを認証する認証部を備える。

【0011】

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

【発明の効果】

【0012】

本明細書に開示される画像処理装置では、可用性と堅牢性を具備した継続認証が可能となる。

【図面の簡単な説明】

【0013】

【図1】一つの実施形態による画像処理装置１が含まれる継続認証装置１０の機能ブロック図である。

【図2】継続認証装置１０による認証処理のフローチャートである。

【図3】画像処理装置１による初期登録処理のフローチャートである。

【図4】（ａ）は、色ヒストグラム抽出における顔領域と体領域の概念図である。（ｂ）は色ヒストグラムのデータ構造の一例を示すテーブルである。（ｃ）は色ヒストグラムの概念図である。

【図5】（ａ）は、特徴ベクトル抽出における顔領域の概念図である。（ｂ）は、特徴点を用いた特徴ベクトル情報のデータ構造の一例を示すテーブルである。

【図6】算出部７が算出する第１認証判別値の算出処理のフローチャートである。

【図7】（ａ）は、特徴ベクトルを用いた顔認証閾値（Ｔｈ２）と、顔認証による他人受入れ率（ＦＡＲｆ）の対応テーブルである。（ｂ）は、特徴ベクトルを用いた顔認証閾値（Ｔｈ２）と、顔認証による他人受入れ率（ＦＡＲｆ）の関係図である。

【図8】（ａ）は、特徴ベクトルを用いた顔認証閾値（Ｔｈ２）と、顔認証による本人拒否率（ＦＲＲｆ）の対応テーブルである。（ｂ）は、特徴ベクトルを用いた顔認証閾値（Ｔｈ２）と、顔認証による本人拒否率（ＦＲＲｆ）の関係図である。

【図9】画像処理装置１による継続認証処理のフローチャートを示す。

【図10】一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。

【発明を実施するための形態】

【0014】

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

【0015】

図１は、一つの実施形態による画像処理装置１が含まれる継続認証装置１０の機能ブロック図である。継続認証装置１０は、画像処理装置１、ログイン認証部２、撮像部３、記憶部４を有する。更に、画像処理装置１は、取得部５、抽出部６、算出部７、認証部８を有する。

【0016】

継続認証装置１０は、例えば、ＰＣや携帯端末等の情報機器を使用するユーザの認証を行う装置である。なお、継続認証装置１０は、ユーザによって使用されるＰＣや携帯端末等の情報機器に内蔵または接続することもできる。また、情報機器そのものを継続認証装置１０として機能させることもできる。更に、情報機器と通信回線を介して接続されたコンピュータを継続認証装置１０として機能させることでも実現できる。本実施例においては、一つの継続認証装置１０をクライアント認証型の継続認証を例として説明するが、通信回線を利用したサーバ認証型の継続認証にも適用可能である。例えば、サーバ認証型の継続認証を行う場合は、クライアント側から後述するログイン認証処理に必要な情報や、ユーザの画像を受け取る。そして、画像処理装置１が有する各機能の処理をサーバ側で実施し、認証結果をクライアント側へ通知すれば良い。

【0017】

ログイン認証部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、ログイン認証部２は、継続認証装置１０で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。ログイン認証部２は、ユーザの認証方式として、公知の各種の認証方式（例えば、パスワード認証や生体認証、カード認証等）の何れを適用することで、ユーザのログイン認証処理を実施することが可能になる。

【0018】

撮像部３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像部３は、例えば、ログイン認証部２によるログイン認証処理を経て情報機器を使用しており、正規の使用権限を有する第１ユーザや、ログイン認証処理を経ていない正規の使用権限を有さない第２ユーザのユーザ領域となる顔領域または体領域を含む画像を一定時間毎に撮像する。なお、第２ユーザは第１ユーザ以外の一人でも良いし複数人の何れでも良い。

【0019】

記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。記憶部４には、例えば、画像処理装置１が算出する色ヒストグラムや特徴ベクトル等の各種データ等が必要に応じて記憶される。なお、記憶部４は、必ずしも継続認証装置１０に含まれる必要はない。例えば当該各種データは、画像処理装置１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶しても良い。また、継続認証装置１０または、画像処理装置１に設けられる図示しない通信ユニットを用いて通信回線を介することによって、記憶部４を継続認証装置１０以外の外部装置に設けることも可能である。

【0020】

取得部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部５は、撮影部３が撮影を行うことで得られた画像を一定時間毎に取得する。なお、取得部５は、撮像部３以外からも画像を受信することが可能である。例えば、取得部５は、当該画像を図示しない通信ユニット用いて、通信回線を介することで外部装置から受け取っても良い。この場合、撮像部３は継続認証装置１０の中に存在する必要は必ずしもなく、存在していてもよいし、していなくてもよい。

【0021】

抽出部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、抽出部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。抽出部６は、取得部５から画像を受け取り、画像に含まれる第１ユーザまたは第２ユーザのユーザ領域の一部である第１領域から、第１特徴量となる色ヒストグラムを抽出する。なお、当該第１領域は、ユーザの顔領域あるいは顔領域と体領域の双方の領域を示す。更に、抽出部６は、画像に含まれるユーザ領域の一部である第２領域から、第２特徴量となる特徴ベクトルを抽出する。なお、第２領域は、ユーザの顔領域を示す。また、第１領域と第２領域におけるユーザの顔領域は必ずしも一致させる必要は無く、独立した領域として設定しても良い。なお、抽出部６による第１特徴量となる色ヒストグラムと、第２特徴量となる特徴ベクトルの抽出方法については後述する。また、説明の便宜上、第１領域から抽出する第１特徴量を色ヒストグラムと称し、第２領域から抽出する第２特徴量を特徴ベクトルと以後称することにする。

【0022】

算出部７は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部７は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部７は、抽出部６から第１ユーザまたは第２ユーザの色ヒストグラムと特徴ベクトルを受け取る。

【0023】

なお、算出部７は、第２ユーザの色ヒストグラムを必ずしも抽出部６から受け取る必要はなく、画像処理装置１以外の他の画像処理装置から受け取って良い。例えば、あるオフィスにおいて、複数のユーザ（第２ユーザ）が、画像処理装置１を含むそれぞれ個別の継続認証装置１０を利用している場合、通信回線を介して第２ユーザの色ヒストグラムを受けることが可能である。また、例えば、単数の継続認証装置１０を、複数のユーザで共有して使用する場合、ログイン認証処理が完了後、算出部７は、第１ユーザの色ヒストグラムを抽出する。そして、第１ユーザのログアウト処理の実行を契機に、当該第１ユーザの色ヒストグラムを、第２ユーザの色ヒストグラムとして、抽出部６の図示しないキャッシュまたはメモリまたは、記憶部４に保存しても良い。また、例えば、第１ユーザが継続認証装置１０を使用している時に、周囲に存在している第２ユーザを撮像部３が撮像した場合は、算出部７は、抽出部６が抽出した第２ユーザの色ヒストグラムを受け取っても良い。

【0024】

算出部７は、第１ユーザの色ヒストグラムと、第２ユーザの色ヒストグラムを用いて、第２ユーザの色ヒストグラムに対して、第１ユーザの色ヒストグラムが類似する確率を示す第１認証判別値を算出する。なお、第１認証判別値の技術的意味と、算出部７による第１認証判別値の算出処理の詳細フローについては後述する。

【0025】

認証部８は、例えば、ワイヤードロジックによるハードウェア回路である。また、認証部８は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。認証部８は、算出部７が算出する第１認証判別値を受け取り、当該第１認証判別値に基づいて、色ヒストグラムあるいは、色ヒストグラムと特徴ベクトルの双方を用いることで第１ユーザを継続認証する。なお、認証部８による継続認証フローの詳細については後述する。

【0026】

図２は、継続認証装置１０による認証処理のフローチャートである。図２に示す認証処理は、ユーザによって継続認証装置１０または、継続認証装置１０に接続（または内蔵）される情報機器の使用が開始される際に実行される。先ず、ログイン認証部２は、ログイン認証処理を行う（ステップＳ２０１）。このログイン認証処理における認証方式は、公知の各種の認証方式（例えばパスワード認証や生体認証、カード認証等）の何れを用いることが可能である。次に、ログイン認証部２は、ログイン認証処理によってユーザが正規の利用者で第１ユーザであることを確認できたか否か判定する（ステップＳ２０２）。

【0027】

ログイン認証部２によりログイン認証の判定が否定された場合（ステップＳ２０２−Ｎｏ）は、継続認証装置１０は認証処理を終了する。これにより、正規の利用者である第１ユーザ以外の第２ユーザが継続認証装置１０または、継続認証装置１０が接続される情報機器を使用することを阻止することが出来る。一方、ログイン認証部２によりログイン認証の判定が肯定された場合（ステップＳ２０２−Ｙｅｓ）は、ログイン認証部２は画像処理装置１を起動し、画像処理装置１は、継続認証処理を行う（ステップＳ２０３）。なお、ステップＳ２０３における継続認証処理の詳細フローについては後述する。

【0028】

画像処理装置１により継続認証の判定が否定された場合（ステップＳ２０４−Ｎｏ）は、継続認証装置１０または、継続認証装置１０に接続される情報機器のロック処理を行う（ステップＳ２０６）。ロック処理は、例えば、一時的にログアウト処理することで、ログイン認証部２によるログイン認証処理が再度実行出来る状態にする処理である。また、情報機器を完全に操作不能にさせた上で、管理者等にアラームを通知する処理でも良い。一方、画像処理装置１により継続認証の判定が肯定された場合（ステップＳ２０４−Ｙｅｓ）は、画像処理装置１は一定時間待機し（ステップＳ２０５）、継続認証処理（ステップＳ２０３）を繰り返し実行する。なお、ステップＳ２０５における一定時間は、継続認証装置１０に求められる堅牢性等を考慮して任意に設定することが出来る。例えば、一定時間は３０秒または６０秒の何れかに設定すれば良い。

【0029】

以上の処理により、ログイン認証によって正規の利用者である第１ユーザであることが確認されたユーザは、画像処理装置１によって継続認証処理が行われている間、継続認証装置１０または、継続認証装置１０接続される情報機器を使用することが可能となる。

【0030】

次に、図２に示す認証処理のステップＳ２０３で画像処理装置１によって実行される継続認証処理の詳細フローを説明する。図３は、画像処理装置１による初期登録処理のフローチャートである。図２に示す継続認証処理のステップＳ２０３では、先ず始めに図３に示す初期登録処理が実行される。

【0031】

先ず、取得部５は、撮像部３によって撮像された画像を取得する（ステップＳ３０１）。次に抽出部６は、取得部５から画像を受け取り、画像に含まれる第１ユーザの顔を検出する（ステップＳ３０２）。なお、顔の検出は、例えば、「P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” in Proc. IEEE Computer Vision and Pattern Recognition, pp. I-511 - I-518, 2001.」に開示されるＨａａｒ ｃｌａｓｓｉｆｉｅｒ等の任意の公知手法を用いることが可能である。抽出部６は、第１ユーザの顔を適格に抽出できたか否か判定する（ステップＳ３０３）。

【0032】

撮像部３による撮影時に第１ユーザの顔が撮像部３の正面を向いていなかった等の場合により、第１ユーザの顔抽出の適格性が否定された場合（ステップＳ３０３−Ｎｏ）は、撮像部３により再度撮像が実行された後、取得部５による画像の取得が実行される（ステップＳ３０１）。なお、ステップＳ３０３において、一定回数に渡り第１ユーザの顔抽出の適格性が否定された場合は、初期登録処理を完了させた上で、図２のステップＳ２０６のロック処理を行っても良い。一方、図３において、顔抽出の適格性が肯定された場合（ステップＳ３０３−Ｙｅｓ）は、抽出部６は、第１ユーザの顔に対応する一定形状（例えば、円形状、楕円形状、または矩形状）を顔領域として設定する（ステップＳ３０４）。更に、抽出部６は、設定した顔領域の下方に、第１ユーザの体の一部に対応する一定形状（例えば矩形状、楕円形状または半円形状)を体領域として設定する（ステップＳ３０４）。なお、体領域は、例えば、顔領域に対して２倍の横幅、等倍の縦幅に設定することが出来る。

【0033】

図４（ａ）は、色ヒストグラム抽出における顔領域と体領域の概念図である。図４（ａ）に示す例では、形状を円形とする顔領域と、形状を矩形とする体領域が設定されている。なお、図４（ａ）に示す通り、顔領域には頭部を含ませることで、ユーザの髪の色も特徴量として含まれる為、色ヒストグラムを用いる類似度の判定精度を向上させることが可能になる。また、抽出部４は、色ヒストグラム抽出における第１領域として顔領域と体領域のいずれかを設定しても良い。なお、ユーザの服装のユニーク性を考慮して、色ヒストグラム抽出における第１領域として、顔領域と体領域の双方を設定しても良い。図５（ａ）は、特徴ベクトル抽出における顔領域の概念図である。図５（ａ）に示す例では、特徴ベクトル抽出におけるユーザ検知領域は、形状を円形とする顔領域が設定される。

【0034】

図３において、抽出部６は、ステップＳ３０４で設定した第１ユーザの顔領域または体領域の色ヒストグラムを抽出する（ステップＳ３０５）。抽出部６は、例えば、画像の画素のＲＧＢレベルが各２５６階調の場合、画像中の顔領域または体領域の対象画素について、ＲＧＢ色空間の各成分を１６分割し、１６×１６×１６＝４０９６階調化する。ここで、Ｒの画素値をＶｒ（０〜２５５）として、Ｒを１６分割したビンＶｒ’は、次式で表現することが出来る。
（数１）
Ｖｒ’ ＝ Ｖｒ×１６÷２５６

なお、Ｇの画素値をＶｇ（０〜２５５）としてＧを１６分割したビンＶｇ’ならびに、Ｂの画素値をＶｂ（０〜２５５）としてＧを１６分割したビンＶｂ’は、上述のＶｒ’と同様の手法で算出することが出来る為、詳細な説明は省略する。抽出部６は、算出したビンＶｒ’、ビンＶｇ’、ビンＶｂ’を用いることで、次式にて表現される４０９６階調化した画素レベルＶ’を算出する。
（数２）
Ｖ’ = Ｖｒ’×１６×１６＋Ｖｇ’×１６＋Ｖｂ’

【0035】

抽出部６は、４０９６階調化した各階調について、顔領域または体領域の画素の和を求めた配列を色ヒストグラムとする。図４（ｂ）は、色ヒストグラムのデータ構造の一例を示すテーブルである。図４（ｂ）は、例として体領域の色ヒストグラムのデータの構造を示しているが、顔領域の色ヒストグラムのデータ構造も同様のデータ構造で表現することが出来る為、詳細な説明は省略する。図４（ｂ）に示す通り、抽出部６は必要に応じて体領域の形状や、当該形状の位置情報等の付帯情報を領域形状・位置情報としてテーブルに格納しても良い。図４（ｂ）においては、形状が矩形であり、体領域の中心が、例えば画像の左上端を原点とする座標（２００、２００）に位置しており、幅が２００画素分、高さが１５０画素分のサイズであることを表している。また、図４（ｂ）に示す色ヒストグラム（Ｒ、Ｇ、Ｂ）は、上述のビンＶｒ’、ビンＶｇ’、ビンＶｂ’の各々の数値範囲内に入る色の割合によって色ヒストグラムを表している。例えば、図４（ａ）に示す色ヒストグラム（１５、１５、１５）は、（Ｒ、Ｇ、Ｂ）＝（０、０、０）〜（１５、１５、１５）の数値範囲の色の画素数の全体に占める割合が０．０１＝１％であることを表している。なお、抽出部６は、色ヒストグラムの抽出において、ＲＧＢ色空間以外の他の色空間（例えばＨＳＶ色空間）を用いることも可能である。

【0036】

図４（ｃ）は、色ヒストグラムの概念図である。図４（ｃ）に示される通り、抽出部６は、比較対象となる色ヒストグラムの領域サイズ（領域に含まれる画素数）が異なると、異なる色ヒストグラム同士の類似度の算出処理が煩雑になることを考慮し、任意の標準の領域サイズで画素数を正規化した正規化ヒストグラムを生成しても良い。

【0037】

図３において、抽出部６は、ステップＳ３０５で抽出した色ヒストグラムを基準色ヒストグラムとして、認識部８の図示しないキャッシュまたはメモリ、または記憶部４に記憶する（ステップＳ３０６）。なお、基準色ヒストグラムを基準第１特徴量と称しても良い。

【0038】

抽出部６は、第１ユーザの顔領域から、例えば、「L. Sirovich and M. Kirby, "Low-dimensional procedure for the characterization of human faces". Journal of the Optical Society of America A 4 (3): 519-524, 1987」に開示される、事前に用意された固有顔データに対するユーザの顔データの主成分分析を行う固有顔（Ｅｉｇｅｎ）方式を用いて特徴ベクトルを抽出する（ステップＳ３０７）。抽出部６は、当該特徴ベクトルを基準特徴ベクトルとして、認識部８の図示しないキャッシュまたはメモリ、または記憶部４に記憶する（ステップＳ３０８）ことで、初期登録処理が終了する。なお、基準特徴ベクトルを基準第２特徴量と称しても良い。

【0039】

また、抽出部６は、図３のステップＳ３０７において、上述の固有顔方式以外にも、Ｈａｒｒｉｓ ｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒ等を利用して特徴点を抽出し、当該特徴点から特徴ベクトルを抽出することも可能である。この場合、ステップＳ３０７において、顔領域から抽出する特徴点は、記述子（ｄｅｓｃｒｉｐｔｏｒ）と呼ばれる特徴点ごとの特徴ベクトルが計算される特徴点であれば良い。例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴点や、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴点等の公知の特徴点を使用することが可能である。なお、ＳＩＦＴ特徴点の抽出方法については、例えば、米国特許第６、７１１、２９３号に開示されている方法を用いることが出来る。ＳＵＲＦの抽出方法については、例えば、「H. Bay, et.al. "SURF : Speeded Up Robust Features”, Computer Vision AND Image Understanding, Vol. 110, No.3, pp.346-359, 2008」に開示されている方法を用いることが出来る。

【0040】

図５（ａ）においては、顔領域で抽出された特徴点の位置の例を示している。当該特徴点の位置は、画像の基準位置（例えば画像の左上端）を原点とした場合における基準位置からの距離（ｘ、ｙ）で定義される。方向は、基準位置に対する特徴点の方向で定義される。また、特徴ベクトルは、色や形状などの複数の特徴量（例えば１２８次元）の集合で定義される。図５（ｂ）は、特徴点を用いた特徴ベクトル情報のデータ構造の一例を示すテーブルである。図５（ｂ）に示す通り、抽出部６は必要に応じて顔領域の形状や、当該形状の位置情報等の付帯情報を領域形状・位置情報としてテーブルに格納しても良い。図５（ｂ）に示す例では、形状が円形であり、顔領域の中心が、画像の左上端を原点とする座標（２００、１００）に位置しており、幅が１００画素分、高さが１５０画素分のサイズであることを表している。また、図５（ｂ）に示す特徴ベクトルは、抽出部６が抽出した特徴ベクトルのＩＤと、当該特徴ベクトルの画像中の位置・方向等の情報を有する。なお、方向は、基準位置に対する特徴点の方向で定義される。特徴ベクトルは、色や形状などの複数の特徴量（例えば１２８次元）の集合で定義される。なお、特徴ベクトルは、上述の方法以外にも様々な公知の特徴量を用いることが出来る。なお、本実施例は、ユーザの顔領域から特徴ベクトルを抽出しているが、他の任意の領域から特徴ベクトルを抽出しても良い。

【0041】

次に、図３に示す初期登録処理が完了した後の、図２に示す認証処理のステップＳ２０３で画像処理装置１によって実行される継続認証処理で用いる第１認証判別値の算出フローを説明する。図６は、算出部７が算出する第１認証判別値の算出処理のフローチャートである。算出部７は、図３のステップＳ３０６で記憶した基準色ヒストグラム（Ｄｓｔａ）を、例えば認証部８から受け取る（ステップＳ６０１）。算出部７は、ログイン認証部２によるログイン認証処理を経て、情報機器を使用している正規の使用権限を有する第１ユーザ以外（ログイン認証処理を経ていない正規の使用権限を有さない第２ユーザ）の色ヒストグラム（Ｄｉ）の取得数（ｉ）を０にセットする。また、算出部７は、第２ユーザの色ヒストグラム（Ｄｉ）が基準色ヒストグラム（Ｄｓｔａ）と類似する類似総数（Ｓｓｕｍ）を０にセットする（ステップＳ６０２）。

【0042】

算出部７は、第２ユーザの色ヒストグラム（Ｄｉ）を受け取る（ステップＳ６０３）。ステップＳ６０３において、例えば、上述の通り、あるオフィスにおいて、複数のユーザ（第２ユーザ）が、画像処理装置１を含むそれぞれ個別の継続認証装置１０を利用している場合、算出部７は、通信回線を介して第２ユーザの色ヒストグラム（Ｄｉ）を受けることが可能である。更に、算出部７は、ネットワークドメインやＩＰアドレス等を利用することで、オフィスに存在する複数の継続認証装置１０や、第２ユーザを特定することが可能となる。

【0043】

また、ステップＳ６０３において、算出部７は、単数の継続認証装置１０を、複数のユーザで共有して使用する場合、第１ユーザのログアウト処理の実行を契機に、当該第１ユーザの色ヒストグラムを、第２ユーザの色ヒストグラム（Ｄｉ）として抽出部６から受け取ることが出来る。なお、この場合、色ヒストグラム（Ｄｉ）に対して、ユーザを一意に特定するＩＤ、収集日時を付帯情報として付与されていても良い。色ヒストグラムは、ユーザが着用する衣服によって異なる為、収集日時を付帯情報とすることで、ある特定期間内の色ヒストグラムを利用することが可能となり、堅牢性を向上させることが出来る。

【0044】

また、ステップＳ６０３において、第１ユーザが継続認証装置１０を使用している時に、周囲に存在している第２ユーザを含む画像を撮像部３が撮像した場合は、算出部７は、抽出部６が抽出した第２ユーザの色ヒストグラム（Ｄｉ）を受け取っても良い。なお、第２ユーザの色ヒストグラム（Ｄｉ）は、例えば図３のステップＳ３０１ないしＳ３０５と同様の処理で算出することが出来る。

【0045】

算出部７は、基準色ヒストグラム（Ｄｓｔａ）と、第２ユーザの色ヒストグラム（Ｄｉ）の類似度を算出し、当該類似度が所定の閾値となる色ヒストグラム認証閾値（Ｔｈ１）以上か否かを判定する（ステップＳ６０４）。ここで、基準色ヒストグラム（Ｄｓｔａ）と、第２ユーザの色ヒストグラム（Ｄｉ）の類似度判定処理について説明する。色ヒストグラムの類似度の算出には、様々な公知の手法を用いることが可能であるが、例えば、Ｂｈａｔｔａｃｈａｒｙｙａ距離を用いることが出来る。Ｂｈａｔｔａｃｈａｒｙｙａ距離を用いた類似度計算については、例えば、「Kailath T. The Divergence AND Bhattacharyya Distance Measures in Signal Selection". IEEE Transactions on Communication Technology 15 (1) pp.52-60, 1967」に開示されている計算方法を用いることが出来る。また、図４（ｃ）に示す様に、正規化色ヒストグラムを生成している場合は、基準色ヒストグラム（Ｄｓｔａ）の正規化色ヒストグラムをｐｕ、第２ユーザの色ヒストグラム（Ｄｉ）の正規化色ヒストグラムをｐｕとすると、類似度ρは、次式を用いて算出することが出来る。
（数３）

なお、算出部７は、顔領域と体領域の色ヒストグラムの類似度を組み合わせて判定する場合は、顔領域の色ヒストグラムの類似度をＳｆａｃｅ、体領域の色ヒストグラムの類似度をＳｂｏｄｙした場合、総合類似度Ｓｔｏｔａｌは、例えば次式で算出することが出来る。
（数４）
Ｓｔｏｔａｌ＝ｔ×Ｓｆａｃｅ＋（１−ｔ）×Ｓｂｏｄｙ

但し、ｔは顔領域の色ヒストグラムの類似度Ｓｆａｃｅに対する重み係数であり、０≦ｔ≦１である。

【0046】

算出部７は、算出した色ヒストグラムの類似度が所定の閾値となる色ヒストグラム認証閾値（Ｔｈ１）以上であれば、基準色ヒストグラム（Ｄｓｔａ）と、第２ユーザの色ヒストグラム（Ｄｉ）が類似していると判定し（ステップＳ６０４−Ｙｅｓ）、類似総数（Ｓｓｕｍ）に対して１をインクリメントさせる（ステップＳ６０５）。また、算出部７は、算出した色ヒストグラムの類似度が色ヒストグラム認証閾値（Ｔｈ１）未満であれば非類似と判定し（ステップＳ６０４−Ｎｏ）、ステップＳ６０６へ処理を進める。

【0047】

算出部７は、色ヒストグラム（Ｄｉ）の取得数（ｉ）に対して１をインクリメントさせる（ステップＳ６０６）。算出部７は、色ヒストグラム（Ｄｉ）の取得数（ｉ）が色ヒストグラム（Ｄｉ）の取得数（ｉ）に対する規定取得数（Ｎ）以上か否かを判断する（ステップＳ６０７）。ここで、規定取得数（Ｎ）は、任意定めることが出来る定数である。例えば、あるオフィスにおいて、複数のユーザ（第２ユーザ）が、画像処理装置１を含むそれぞれ個別の継続認証装置１０を利用している場合は、第２ユーザ数を規定取得数（Ｎ）とすることが出来る。また、例えば、一定時間色ヒストグラム（Ｄｉ）の取得数（ｉ）がインクリメントされない場合において、取得数（ｉ）を規定取得数（Ｎ）と規定しても良い。なお、規定取得数（Ｎ）は、例えば１００とすれば良い。

【0048】

色ヒストグラム（Ｄｉ）の取得数（ｉ）が規定取得数（Ｎ）より小さい場合（ステップＳ６０７−Ｎｏ）は、算出部７は、ステップＳ６０２ないしステップＳ６０７の処理を繰り返し実行する。色ヒストグラム（Ｄｉ）の取得数（ｉ）が規定取得数（Ｎ）より大きい場合（ステップＳ６０７−Ｙｅｓ）は、算出部７は、第２ユーザの色ヒストグラムに対して、第１ユーザの色ヒストグラムが類似する確率を示す第１認証判別値（ＦＡＲｃ）を算出する（ステップＳ６０８）。

【0049】

第１認証判別値（ＦＡＲｃ）は、類似総数（Ｓｓｕｍ）と、規定取得数（Ｎ）を用いて次式で算出することが出来る。
（数５）
ＦＡＲｃ（％） = Ｓｓｕｍ/Ｎ×１００

ここで、第１認証判別値（ＦＡＲｃ）は、色ヒストグラム認証における他人受入れ率と同義である。換言すると、第１認証判別値（ＦＡＲｃ）は、色ヒストグラムを抽出した複数の第２ユーザに対して、どの程度第１ユーザと類似する色ヒストグラムを有するユーザが存在するかという確率を示している。なお、第１認証判別値（ＦＡＲｃ）は、第１ユーザと類似する色ヒストグラムを有する第２ユーザが多いほど値が大きくなる。また、第１ユーザと類似する色ヒストグラムを有する第２ユーザが存在しない場合は、値が０となる。また、第１認証判別値（ＦＡＲｃ）を算出するタイミングは継続認証装置１０に要求される堅牢性に応じて任意に設定することが出来る。例えば、算出部７は少なくとも１２時間または２４時間に１回は、第１認証判別値（ＦＡＲｃ）を算出する。これによって、ユーザが着用する衣類の変化による色ヒストグラムの変動にも対応することが可能となる。

【0050】

算出部７は、ステップＳ６０８で算出した第１認証判別値（ＦＡＲｃ）を、例えば、認証部８の図示しないキャッシュまたはメモリ、または記憶部４に記憶することで、第１認証判別値（ＦＡＲｃ）算出処理が終了する。

【0051】

ここで、本実施例における特徴ベクトルと色ヒストグラム認証を組み合わせた複合認証の技術的意義について説明する。先ず、継続認証装置１０に要求される認証要求他人受入れ率（ＦＡＲｔ）が１％であり、第１認証判別値（ＦＡＲｃ）が１％未満であれば、第１ユーザの色ヒストグラムは、継続認証装置１０の利用環境下において十分にユニークであること意味している。つまり、色ヒストグラム認証のみで、第１ユーザを認証することが出来る。一方、第１認証判別値（ＦＡＲｃ）が１％以上場合は、第１ユーザの色ヒストグラムは、継続認証装置１０の利用環境下において十分にユニークではないこと意味している。つまり、色ヒストグラム認証のみで、第１ユーザを認証することは適当ではなく、特徴ベクトルを用いた顔認証を併用する必要がある。

【0052】

なお、特徴ベクトルを用いた顔認証方法は例えば、以下の様に実行される。認証部８は、継続認証時に第１ユーザの顔領域から抽出した認証特徴ベクトルを含む認証特徴点群と、基準特徴ベクトルを含む基準特徴点群との照合を行う。例えば、認証部８は、基準特徴点群から、任意の一つの特徴点を選択する。

【0053】

認証部８は、選択した一つの特徴点と、認証特徴ベクトルと基準特徴点の対応付けを探索する。探索方法としては、一般的な対応点探索によるマッチング処理を用いれば良い。認証部８は、認証特徴点群と基準特徴点群を全て照合した後で、対応付けた特徴点の個数と、所定の閾値となる顔認証閾値（Ｔｈ２）に基づいて第１ユーザを認証する。

【0054】

また、特徴点を抽出した際の第１ユーザの実際の顔位置によっては、抽出した特徴点の中に背景領域に対応する特徴点が一部含まれていることも考えられる。これを考慮すると、抽出した個々の特徴点に個別に信頼度を付与して顔領域を判定するようにしてもよい。信頼度は、例えば、特徴点群の重心からの距離に基づき、この距離が小さくなるに従って信頼度が高くなるように付与することができる。顔領域を判定する際には、信頼度の高い特徴点のみを使用するか、或いは、信頼度に応じて個々の特徴点を重み付けすることで、顔領域の判定精度を向上させることができる。また、認証部８は、固有顔データを用いる場合は、基準特徴ベクトルと認証時に抽出する認証特徴ベクトルを類似度と、所定の閾値となる顔認証閾値（Ｔｈ２）に基づいて第１ユーザを認証することが出来る。

【0055】

図７（ａ）は、特徴ベクトルを用いた顔認証閾値（Ｔｈ２）と、顔認証による他人受入れ率（ＦＡＲｆ）の対応テーブルである。図７（ｂ）は、特徴ベクトルを用いた顔認証閾値（Ｔｈ２）と、顔認証による他人受入れ率（ＦＡＲｆ）の関係図である。図８（ａ）は、特徴ベクトルを用いた顔認証閾値（Ｔｈ２）と、顔認証による本人拒否率（ＦＲＲｆ）の対応テーブルである。図７（ｂ）は、特徴ベクトルを用いた顔認証閾値（Ｔｈ２）と、顔認証による本人拒否率（ＦＲＲｆ）の関係図である。図７（ｂ）と図８（ｂ）に示される通り、顔認証による他人受入れ率（ＦＡＲｆ）は、顔認証による本人拒否率（ＦＲＲｆ）は、一方が上がると他方が下がる「トレードオフの関係」にある。例えば、図７（ａ）と図８（ａ）のテーブルをそれぞれ参照すると、顔認証閾値（Ｔｈ２）が９０の場合、他人受入れ率（ＦＡＲｆ）は０．９％であり、本人拒否率（ＦＲＲｆ）は１５％である。また、顔認証閾値（Ｔｈ２）が７０の場合、他人受入れ率（ＦＡＲｆ）は１０％であり、本人拒否率（ＦＲＲｆ）は４％であり、トレードオフの関係となる。

【0056】

一方、色ヒストグラム認証他人受入れ率（ＦＡＲｃ）は、上述の第１認証判別値（ＦＡＲｃ）と同義であり、ＦＡＲｃが取り得る値の範囲は、上述の（数５）から理解出来る通り、０〜１００％である。色ヒストグラム認証における本人拒否率（ＦＲＲｃ）は、着用する衣類の変化や照明の変化等の外乱の影響を受けない限り、本人を拒否する確率は極めて低く、例えば０．１％以下である。つまり、色ヒストグラムは、特徴ベクトルを用いた顔認証とは異なり、他人受入れ率（ＦＡＲｃ）と本人拒否率（ＦＲＲｃ）は「独立した関係」となっている。

【0057】

ここで、特徴ベクトルを用いた顔認証のみを用いる認証方式の本人拒否率について説明する。継続認証装置１０に要求される他人受入れ率（ＦＡＲｔ＝１％）を達成する場合の本人拒否率（ＦＲＲｆ）は、図７（ａ）と図８（ａ）に示される通り、顔認証閾値（Ｔｈ２）を、９０に設定する必要がある。この場合の本人拒否率（ＦＲＲｆ）は１５％となる。

【0058】

次に、本実施例における色ヒストグラム認証と特徴ベクトル認証を組み合わせた認証方式の本人拒否率について説明する。複数の認証方式を組み合わせてＡＮＤ条件で認証を行う複合認証の場合、複合認証における他人受入れ率（ＦＡＲ）は、各認証方式の他人受入れ率（ＦＡＲ）の積で表現される。また、本人拒否率（ＦＲＲ）は、各認証方式は本人拒否率（ＦＲＲ）の和で表現される。ここで、継続認証装置１０に要求される他人受入れ率（ＦＡＲｔ）が１％として与えられていると想定する。この場合、継続認証装置に要求される他人受入れ率（ＦＡＲｔ）は、上述の色ヒストグラム認証他人受入れ率（第１認証判別値（ＦＡＲｃ））と顔認証他人受入れ率（ＦＡＲｆ）を用いて次式で表現することが出来る。なお、顔認証他人受入れ率（ＦＡＲｆ）を、第２認証判別値と称しても良い。
（数６）
ＦＡＲｔ＝ＦＡＲｃ+ＦＡＲｆ

【0059】

例えば、色ヒストグラム認証他人受入れ率（第１認証判別値（ＦＡＲｃ））が２０％（５人中に１人が、色ヒストグラムが類似している状態）である場合、上述の（数６）から、
（数７）
ＦＡＲｆ＝ＦＡＲｔ／ＦＡＲｃ

の関係となり、要件とされる顔認証他人受入れ率（ＦＡＲｆ）は５％となる。ＦＡＲｆ＝５％を実現させる顔認証閾値（Ｔｈ２）は、図７（ａ）に示される通り８０に設定される。つまり、本実施例においては、顔認証閾値が第１認証判別値等に応じて動的に変動している。ここで、Ｔｈ２＝８０の場合、顔認証本人拒否率（ＦＲＲｆ）は、図８（ａ）に示される通り、８％である。継続認証装置１０に要求される他人受入れ率（ＦＡＲｔ＝１％）を達成する場合の本人拒否率（ＦＲＲ）は、顔認証本人拒否率（ＦＲＲｆ）の８％と、色ヒストグラム本人拒否率（ＦＲＲｃ）０．１％の和の８．１％となり、堅牢性を保持しつつ大幅に可用性が向上している。

【0060】

この様に、本実施例における認証方式においては、第２ユーザの色ヒストグラムから第１ユーザの色ヒストグラムが類似する確率となる第１認証判別値を算出し、色ヒストグラム認証と、当該第１認証判別値に応じて認証閾値を変動させた特徴ベクトル認証を組み合せることで継続認証における堅牢性と可用性を向上させることが可能となる。

【0061】

図９は、画像処理装置１による継続認証処理のフローチャートを示す。当該フローは図２のステップＳ２０２の詳細フローを示す。なお、図９に示す処理フローを開始する時点で図３、図６に示す各フローで、基準色ヒストグラム（Ｄｓｔｄ）、基準特徴ベクトル（Ｖｓｔｄ）、第１認証判別値（ＦＡＲｃ）が抽出または算出されているものとする。

【0062】

取得部５は、撮像部３によって撮像された画像を取得する（ステップＳ９０１）。次に抽出部６は、取得部５から画像を受け取り、画像に含まれる第１ユーザのユーザ領域となる顔領域と体領域を設定する（ステップＳ９０３）。なお、顔領域と体領域の設定は、図３のステップＳ３０２ないしＳ３０４に示す方法で同様に検出することが出来る。図９において、抽出部６は、第１ユーザのユーザ領域を適格に設定できたか否か判定する（ステップＳ９０３）。

【0063】

撮像部３による撮影時に第１ユーザの顔が撮像部３の正面を向いていなかった等の場合により、第１ユーザのユーザ領域設定の適格性が否定された場合（ステップＳ９０３−Ｎｏ）は、撮像部３により再度撮像が実行された後、取得部５による画像の取得が実行される（ステップＳ９０１）。なお、ステップＳ９０３において、一定回数に渡り第１ユーザのユーザ領域設定の適格性が否定された場合は、図２のステップＳ２０６のロック処理を行っても良い。一方、図９において、ユーザ領域の設定の適格性が肯定された場合（ステップＳ９０３−Ｙｅｓ）、抽出部６は、当該ユーザ領域から認証用ヒストグラム（Ｄａｕｔ）を抽出する（ステップＳ９０４）。なお、認証用ヒストグラム（Ｄａｕｔ）は、図３のステップＳ３０５に示す方法で同様に抽出することが出来る。

【0064】

図９において、算出部７は、基準色ヒストグラム（Ｄｓｔｄ）と、認証用ヒストグラム（Ｄａｕｔ）の類似度を示す第１類似度を算出する（ステップＳ９０５）。なお、第１類似度の算出には、図６のステップＳ６０４に示す方法で同様に算出することが出来る。

【0065】

第１類似度が所定の色ヒストグラム閾値（Ｔｈ１）未満の場合（ステップＳ９０６−Ｎｏ）は、認証部８は、継続認証失敗と判定し（ステップＳ９１３）、画像処理装置１は継続認証処理を終了する。なお、色ヒストグラム閾値（Ｔｈ１）を第２閾値と称しても良い。

【0066】

第１類似度が所定の色ヒストグラム閾値（Ｔｈ１）以上の場合（ステップＳ９０６−Ｙｅｓ）は、認証部８は、継続認証装置１０に要求される他人受入れ率を示す第１閾値（ＦＡＲｔ）が、第１認証判別値（ＦＡＲｃ）以上か否かを判定する（ステップＳ９０７）。第１閾値（ＦＡＲｔ）が、第１認証判別値未満の場合（ステップＳ９０７−Ｙｅｓ）は、認証部８は、継続認証成功と判定し（ステップＳ９１２）、画像処理装置１は継続認証処理を終了する。

【0067】

第１閾値（ＦＡＲｔ）が、第１認証判別値（ＦＡＲｔ）未満の場合（ステップＳ９０７−Ｎｏ）は、抽出部８は、認証用特徴ベクトル（Ｖａｕｔ）をユーザ領域の一部である顔領域から抽出する（ステップＳ９０８）。なお、認証用特徴ベクトル（Ｖａｕｔ）は、図３のステップＳ３０７と同様の方法で抽出することが出来る。

【0068】

図９において、算出部７は、基準特徴ベクトル（Ｖｓｔｄ）と、認証用特徴ベクトル（Ｖａｕｔ）の類似度を示す第２類似度を算出する（ステップＳ９０９）。なお、特徴ベクトルの類似度の算出方法は、上述の公知の手法を用いることが出来る。

【0069】

認証部８は、顔認証閾値（Ｔｈ２）を、第１認証判別値（ＦＡＲｃ）と第１閾値（ＦＡＲｔ）基づき規定する（ステップＳ９０９）。認証部８は、例えば、顔認証閾値（Ｔｈ２）を、上述の（数７）と図７（ａ）に示すテーブルを用いて規定することが出来る。また、顔認証閾値（Ｔｈ２）を第３閾値と称しても良い。

【0070】

認証部８は、ステップＳ９０９で算出した第２類似度が顔認証閾値（Ｔｈ２）以上か否かを判定する（ステップＳ９１１）。第２類似度が顔認証閾値（Ｔｈ２）以上の場合（ステップＳ９１１−Ｙｅｓ）の場合、認証部８は、継続認証成功と判定し（ステップＳ９１２）、画像処理装置１は継続認証処理を終了する。第２類似度が顔認証閾値（Ｔｈ２）未満の場合（ステップＳ９１１−Ｎｏ）の場合、認証部８は、継続認証失敗と判定し（ステップＳ９１３）、画像処理装置１は継続認証処理を終了する。

【0071】

図１０は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図１０に示すように、画像処理装置１は、制御部１１、主記憶部１２、補助記憶部１３、ドライブ装置１４、ネットワークＩ／Ｆ部１７、入力部１８、表示部１９を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

【0072】

制御部１１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１１は、主記憶部１２や補助記憶部１３に記憶されたプログラムを実行する演算装置であり、入力部１８や記憶装置からデータを受け取り、演算、加工した上で、表示部１９や記憶装置などに出力する。

【0073】

主記憶部１２は、ＲＯＭやＲＡＭなどであり、制御部１１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

【0074】

補助記憶部１３は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

【0075】

ドライブ装置１４は、記録媒体１５、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部１３にインストールする。

【0076】

また、記録媒体１５に、所定のプログラムを格納し、この記録媒体１５に格納されたプログラムはドライブ装置１４を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。

【0077】

ネットワークＩ／Ｆ部１７は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。

【0078】

入力部１８は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１９の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部１８は、ユーザが制御部１１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

【0079】

表示部１９は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成され、制御部１１から入力される表示データに応じた表示が行われる。

【0080】

なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することができる。

【0081】

また、このプログラムを記録媒体１５に記録し、このプログラムが記録された記録媒体１５をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

【0082】

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

【0083】

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像された画像を取得する取得部と、
前記画像に含まれる第１ユーザの第１特徴量と、第２特徴量を抽出する抽出部と、
第２ユーザにおける第１特徴量に対して前記第１ユーザの前記第１特徴量が類似する確率を示す第１認証判別値を算出する算出部と、
前記第１認証判別値に基づいて前記第１特徴量あるいは前記第１特徴量と前記第２特徴量を用いて前記第１ユーザを認証する認証部
を備えることを特徴とする画像処理装置。
（付記２）
前記第１特徴量は色ヒストグラムであり、前記第２特徴量は特徴ベクトルであることを特徴とする付記１記載の画像処理装置。
（付記３）
前記画像には、前記第２ユーザが含まれており、前記算出部は、
前記抽出部が抽出した前記第２ユーザにおける第１特徴量を取得するか、
他の画像処理装置から前記第２ユーザにおける第１特徴量を取得することを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記認証部は、
前記第１認証判別値が所定の第１閾値未満の場合は、前記第１特徴量と予め保持している基準第１特徴量との類似度を示す第１類似度に基づいて前記第１ユーザを認証し、
前記第１認証判別値が前記第１閾値以上の場合は、前記第１類似度ならびに、前記第２特徴量と予め保持している基準第２特徴量との類似度を示す第２類似度に基づいて前記第１ユーザを認証することを特徴とする付記１ないし付記３いずれか一つに記載の画像処理装置。
（付記５）
前記第１閾値は、前記認証部が許容する他人受入れ率に基づいて規定されることを特徴とする付記４記載の画像処理装置。
（付記６）
前記認証部は、前記第１認証判別値が前記第１閾値未満の場合は
前記第１類似度が、前記第１類似度に基づいて前記第１ユーザを認証する時に用いる第２閾値以上の場合に、前記第１ユーザを認証する付記４記載の画像処理装置。
（付記７）
前記認証部は、前記第１認証判別値が前記第１閾値以上の場合は、
前記第２類似度に基づいて前記第１ユーザを認証する時に用いる第３閾値を算出する第２認証判別値を、前記第１閾値と前記第１認証判別値に基づいて規定することを特徴とする付記４ないし付記６のいずれか一つに記載の画像処理装置。
（付記８）
前記認証部は、前記第１認証判別値が前記第１閾値以上の場合は、
前記第１類似度が前記第２閾値以上、かつ前記第２類似度が前記第３閾値以上の場合に、前記第１ユーザを認証する付記７記載の画像処理装置。
（付記９）
前記第１認証判別値と、前記第２認証判別値を乗算した値は、前記第１閾値以下になることを特徴とする付記７に記載の画像処理装置。
（付記１０）
前記抽出部は、前記第１特徴量を顔領域または体領域から抽出し、前記第２特徴量を前記顔領域から抽出することを特徴とする付記１記載の画像処理装置。
（付記１１）
撮像された画像を取得し、
前記画像に含まれる第１ユーザの第１特徴量と、第２特徴量を抽出し、
第２ユーザにおける第１特徴量に対して前記第１ユーザの前記第１特徴量が類似する確率を示す第１認証判別値を算出し、
前記第１認証判別値に基づいて前記第１特徴量あるいは前記第１特徴量と前記第２特徴量を用いて前記第１ユーザを認証する
ことを特徴とする画像処理方法。
（付記１２）
前記第１特徴量は色ヒストグラムであり、前記第２特徴量は特徴ベクトルであることを特徴とする付記１１記載の画像処理方法。
（付記１３）
前記画像には、前記第２ユーザが含まれており、前記算出部は、
前記抽出することが抽出した前記第２ユーザにおける第１特徴量を取得するか、
他の画像処理装置から前記第２ユーザにおける第１特徴量を取得することを特徴とする付記１１または付記１２記載の画像処理方法。
（付記１４）
前記認証することは、
前記第１認証判別値が所定の第１閾値未満の場合は、前記第１特徴量と予め保持している基準第１特徴量との類似度を示す第１類似度に基づいて前記第１ユーザを認証し、
前記第１認証判別値が前記第１閾値以上の場合は、前記第１類似度ならびに、前記第２特徴量と予め保持している基準第２特徴量との類似度を示す第２類似度に基づいて前記第１ユーザを認証することを特徴とする付記１１ないし付記１３いずれか一つに記載の画像処理方法。
（付記１５）
前記第１閾値は、前記認証部が許容する他人受入れ率に基づいて規定されることを特徴とする付記１４記載の画像処理方法。
（付記１６）
前記認証することは、前記第１認証判別値が前記第１閾値未満の場合は
前記第１類似度が、前記第１類似度に基づいて前記第１ユーザを認証する時に用いる第２閾値以上の場合に、前記第１ユーザを認証する付記１４記載の画像処理方法。
（付記１７）
前記認証することは、前記第１認証判別値が前記第１閾値以上の場合は、
前記第２類似度に基づいて前記第１ユーザを認証する時に用いる第３閾値を算出する第２認証判別値を、前記第１閾値と前記第１認証判別値に基づいて規定することを特徴とする付記１４ないし付記１６のいずれか一つに記載の画像処理方法。
（付記１８）
前記認証することは、前記第１認証判別値が前記第１閾値以上の場合は、
前記第１類似度が前記第２閾値以上、かつ前記第２類似度が前記第３閾値以上の場合に、前記第１ユーザを認証する付記１７記載の画像処理方法。
（付記１９）
前記第１認証判別値と、前記第２認証判別値を乗算した値は、前記第１閾値以下になることを特徴とする付記１７に記載の画像処理方法。
（付記２０）
コンピュータに、
撮像された画像を取得し、
前記画像に含まれる第１ユーザの第１特徴量と、第２特徴量を抽出し、
第２ユーザにおける第１特徴量に対して前記第１ユーザの前記第１特徴量が類似する確率を示す第１認証判別値を算出し、
前記第１認証判別値に基づいて前記第１特徴量あるいは前記第１特徴量と前記第２特徴量を用いて前記第１ユーザを認証する
ことを実行させることを特徴とする画像処理プログラム。

【符号の説明】

【0084】

１ 画像処理装置
２ ログイン認証部
３ 撮像部
４ 記憶部
５ 取得部
６ 抽出部
７ 算出部
８ 認証部
１０ 継続認証装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】