(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0016】
初めに、
図1を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
【0017】
上述の通り、顔認証を行う場合、照明環境に依存して、認証精度が低下する場合がある。そのため、照明環境に依存して、誤認証となることを低減することに貢献する顔認証装置が、望まれる。
【0018】
そこで、一例として、
図1に示す顔認証装置100を提供する。顔認証装置100は、撮影パラメータを入力する撮影パラメータ入力部101と、撮影パラメータに基づいて、照明情報を推定する照明情報推定部102と、照明情報に基づいて、認証精度パラメータを制御する認証精度制御部103と、を備える。
【0019】
顔認証装置100は、撮影パラメータを入力する(ステップS1001)。撮影パラメータとは、撮影装置(カメラ)が被写体を撮影した際に、撮影条件として設定されたパラメータを意味する。特に、撮影パラメータは、ゲイン、露光時間、絞り値等、被写体の明るさに関係するパラメータを含むことが好ましい。そして、顔認証装置100は、撮影パラメータに基づいて、照明情報を推定する(ステップS1002)。照明情報とは、被写体周辺の明るさ(照明環境)を表す情報を意味する。そして、顔認証装置100は、照明情報に基づいて、認証精度パラメータを制御する(ステップS1003)。そのため、顔認証装置100は、顔認証を行う場合、照明環境に依存して、認証精度が低下することを抑制できる。従って、顔認証装置100は、照明環境に依存して、誤認証となることを低減することに貢献する。
【0020】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。
【0021】
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
【0022】
図2は、本実施形態に係る顔認証装置1の内部構成の一例を示すブロック図である。顔認証装置1は、画像取得部11と、顔認証部12と、撮影パラメータ入力部13と、照明情報推定部14と、認証精度制御部15と、認証精度管理データベース16と、顔画像データベース17と、を含んで構成される。そして、顔認証装置1は、撮影装置20と接続する。
図2には、簡単のため、本実施形態に係る顔認証装置1に関係するモジュールを主に記載する。
【0023】
まず、撮影装置20の詳細について説明する。
【0024】
撮影装置20は、被写体を撮影する。具体的には、撮影装置20は、予め設定された撮影パラメータに基づいて、被写体を撮影する。
【0025】
図3は、撮影装置20の内部構成の一例を示すブロック図である。撮影装置20は、撮影レンズ21と、撮像素子22と、撮影パラメータ記憶部23と、撮影制御部24と、を含んで構成される。
図3には、簡単のため、本実施形態に係る撮影装置20に関係するモジュールを主に記載する。
【0026】
撮影レンズ21は、ズームレンズやフォーカスレンズを含む複数の光学系で構成される。
図3では、簡単のため、撮影レンズ21を一枚のレンズで示している。
【0027】
撮像素子22は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等によって構成される。撮影レンズ21で集光した光信号は、撮像素子22の受光面で結像する。そして、撮像素子22は、受光した光信号を電気信号(アナログ信号)に変換する。
【0028】
撮影パラメータ記憶部23は、撮影パラメータを記憶する。具体的には、撮影パラメータ記憶部23は、ゲイン、露光時間、絞り値等の撮影パラメータを記憶する。
【0029】
撮影制御部24は、撮影装置20の全体を制御するとともに、
図3に示す各部を制御する。具体的には、撮影制御部24は、撮影パラメータに基づいて、撮影処理を制御する。なお、撮影制御部24は、撮影装置20に搭載されたコンピュータに、そのハードウェアを用いて、撮影装置20の処理を実行させるコンピュータプログラムにより実現することもできる。
【0030】
次に、顔認証装置1の詳細について説明する。
【0031】
顔画像データベース17は、1又は2以上の人物の顔画像を記憶する。さらに、顔画像データベース17は、各人物に対して、複数の方向の顔画像を記憶してもよい。なお、以下の説明では、以下の説明では、顔画像データベース17に登録された画像を、テンプレート画像と呼ぶ。また、顔画像データベース17は、予め、テンプレート画像から特徴点を抽出し、記憶してもよい。
【0032】
画像取得部11は、撮影装置20が撮影した画像を取得する。なお、以下の説明では、撮影装置20が撮影した画像を、認証対象画像と呼ぶ。認証対象画像は、顔領域を含むことが好ましい。
【0033】
顔認証部12は、認証対象画像と、テンプレート画像と、を照合し、認証する。具体的には、顔認証部12は、認証対象画像、及びテンプレート画像から特徴点を抽出する。例えば、顔認証部12は、眼、口、鼻等の端点を、特徴点として抽出することが好ましい。そして、顔認証部12は、認証対象画像から抽出した特徴点と、テンプレート画像から抽出した特徴点を照合する。なお、顔の特徴点、及び顔の認証方法は各種あるが、その詳細は問わない。
【0034】
撮影パラメータ入力部13は、撮影パラメータを入力する。具体的には、撮影パラメータ入力部13は、撮影パラメータ記憶部23を参照し、撮影パラメータを取得する。つまり、撮影パラメータ入力部13は、撮影装置20が被写体を撮影した際のゲイン、露光時間、絞り値等の撮影パラメータを取得する。
【0035】
照明情報推定部14は、撮影パラメータに基づいて、照明情報を推定する。例えば、照明情報推定部14は、撮影パラメータに基づいて、照度(単位:lx ルクス)を推定してもよい。
【0036】
例えば、照明情報推定部14は、以下の式(1)に基づいて、照度を推定してもよい。なお、これは、照度の推定方法を、式(1)に限定する趣旨ではない。
【0037】
【数1】
E:照度
F:絞り値
M:撮影倍率
T:露光時間
ISO:感度
γ:定数
なお、γは、撮像素子に応じて異なる。例えば、γ=200〜235が好ましい。
【0038】
認証精度制御部15は、照明情報に基づいて、認証精度パラメータを制御する。つまり、認証精度制御部15は、照明情報と、認証精度パラメータと、の対応関係に基づいて、認証精度を制御する。ここで、認証精度制御パラメータは、認証精度に影響を及ぼすパラメータを意味する。なお、以下の説明では、他人を誤って認証する割合を、FAR(他人受け入れ率:False Acceptance Rate)と表す。また、本人を拒否する割合を、FRR(本人拒否率:False Rejection Rate)と表す。認証精度が向上するほど、FAR、及びFRRが低下することが好ましい。
【0039】
以下に、認証精度制御パラメータを例示する。ただし、以下の説明は、認証精度制御パラメータを、以下の例示に限定する趣旨ではない。
【0040】
例えば、認証精度制御パラメータは、顔認証に使用する特徴点数であってもよい。つまり、認証精度制御部15は、照明情報に基づいて、顔認証に使用する特徴点数を制御してもよい。ここで、特徴点数が増加するほど、認証精度が向上する可能性が高い。そのため、認証精度制御部15は、特徴点数を変更することによって、認証精度を制御できる。
【0041】
また、認証精度制御パラメータは、特徴点の重みであってもよい。つまり、認証精度制御部15は、照明情報に基づいて、特徴点の重みを制御してもよい。その場合、認証精度制御部15は、テンプレート画像と、認証対象画像と、の特徴点の類似度に基づいて、特徴点の重みを変更することが好ましい。類似度が低い特徴点が多いほど、誤認証する可能性が高くなる。そのため、認証精度制御部15は、特徴点の重みを変更することによって、認証精度を制御できる。
【0042】
また、認証精度制御パラメータは、評価値の閾値であってもよい。つまり、顔認証部12において、評価値が所定の閾値を超えるか否かを、判断基準とする場合、認証精度制御部15は、照明情報に基づいて、評価値の閾値を制御してもよい。評価値は、各特徴点の類似度に基づいて、算出される値が好ましい。その場合、評価値の閾値が高くなるほど、誤認証する可能性は低下する。そのため、認証精度制御部15は、評価値の閾値を変更することによって、認証精度を制御できる。
【0043】
例えば、顔認証部12は、各特徴点について、認証対象画像と、テンプレート画像と、の類似度を算出する。そして、顔認証部12は、算出した類似度の累積値等を、評価値としてもよい。評価値の算出方法は、各種あるが、詳細は問わない。
【0044】
また、顔画像データベース17が、各人物に対して、複数の方向の顔画像を記憶してもよい。その場合、認証精度制御部15は、照明情報に基づいて、テンプレート画像の顔の方向のパターン数を制御してもよい。テンプレート画像の顔の方向を変更することによって、他人との違いが明確になる場合がある。そのため、認証精度制御部15は、テンプレート画像の顔の方向のパターン数を変更することによって、認証精度を制御できる。
【0045】
認証精度管理データベース16は、照明情報と、認証精度パラメータと、を対応付けて記憶する。例えば、認証精度管理データベース16は、所定の範囲の照度毎に、所定の認証精度パラメータを対応付けて記憶してもよい。つまり、認証精度管理データベース16は、照明情報と、認証精度(FAR、FRR等を含む)と、を対応付けたテーブルを記憶してもよい。または、認証精度管理データベース16は、照明情報と、認証精度と、を対応付けた関数を記憶してもよい。
【0046】
あるいは、認証精度管理データベース16は、照明情報と、認証精度制御パラメータと、の対応関係を記憶してもよい。例えば、認証精度管理データベース16は、照明情報と、特徴点数と、の対応関係を記憶してもよい。または、認証精度管理データベース16は、照明情報と、特徴点の重みと、の対応関係を記憶してもよい。あるいは、認証精度管理データベース16は、照明情報と、評価値の閾値と、の対応関係を記憶してもよい。または、認証精度管理データベース16は、照明情報と、FARと、の対応関係を記憶してもよい。なお、その場合、認証精度管理データベース16は、特徴点の数、評価値の閾値等に、FARを対応付けて記憶することが好ましい。
【0047】
図4は、照度と、FARと、の対応関係を示すテーブルの一例を示す図である。例えば、消灯した屋内で顔を認証する場合、顔認証部12は、特徴点を抽出することが困難である可能性が高い。つまり、消灯した屋内で顔を認証する場合、顔認証部12は、正しく認証できない可能性が高い。
【0048】
そこで、
図4に示すように、認証精度制御部15は、消灯した屋内で顔を認証する場合、点灯した屋内で顔を認証する場合より、認証精度を低くすることが好ましい。具体的には、認証精度制御部15は、消灯した屋内で顔を認証する場合、FARを高くするように、認証精度制御パラメータを制御することが好ましい。つまり、認証精度制御部15は、消灯した屋内で顔を認証する場合、認証精度を低くする(FARを高くする)ように、認証精度制御パラメータを制御することが好ましい。
【0049】
一方、曇天の屋外で顔を認証する場合、顔認証部12は、容易に特徴点を抽出できる可能性が高い。しかし、曇天の屋外で顔を認証する場合、顔認証部12は、他人を誤って認証する可能性も高い。つまり、曇天の屋外で顔を認証する場合、FARが高くなる傾向があると考えられる。
【0050】
そこで、
図4に示すように、認証精度制御部15は、曇天の屋外で顔を認証する場合、逆光、及び順光の屋外で顔を認証する場合より、FARを低くすることが好ましい。具体的には、認証精度制御部15は、曇天の屋外で顔を認証する場合、FARを低くするように、認証精度制御パラメータを制御することが好ましい。
【0051】
図5は、照度と、FARと、の対応関係を示す関数の一例を示す図である。
図5に示すように、認証精度管理データベース16は、照度に応じて、FARが連続的に変化するように、照度と、FARと、の対応関係を記憶してもよい。
【0052】
次に、本実施形態に係る顔認証装置1の動作について説明する。
【0053】
図6は、認証精度の制御処理の一例を示すフローチャートである。
【0054】
ステップS1において、撮影パラメータ入力部13は、撮影パラメータを入力する。具体的には、撮影パラメータ入力部13は、撮影装置20から撮影パラメータを取得することが好ましい。
【0055】
ステップS2において、照明情報推定部14は、撮影パラメータに基づいて、照明情報を推定する。
【0056】
ステップS3において、認証精度制御部15は、照明情報に基づいて、認証精度を決定する。具体的には、認証精度制御部15は、認証精度管理データベース16を参照し、照明情報に基づいて、認証精度パラメータを決定する。
【0057】
ステップS4において、顔画像取得部11は、撮影装置20から認証対象画像を取得する。そして、認証対象画像に顔領域が含まれるか否かを、顔認証部12は判断する(ステップS5)。例えば、顔認証部12は、認証対象画像から、目の特徴点(例えば、目の端点等)を検出する。そして、顔認証部12は、目の特徴点が検出された場合、認証対象画像に顔領域が含まれていると判断してもよい。
【0058】
認証対象画像に顔領域が含まれている場合(ステップS5のYes分岐)には、顔認証部12は、認証対象画像から顔領域を抽出する(ステップS6)。例えば、顔認証部12は、目の位置に基づいて、顔領域を抽出してもよい。一方、認証対象領域に顔領域が含まれていない場合(ステップS5のNo分岐)には、認証精度の制御処理を終了する。
【0059】
ステップS7において、顔認証部12は、認証精度に基づいて、顔を認証する。具体的には、顔認証部12は、認証精度に基づいて、認証精度パラメータを設定する。そして、顔認証部12は、設定された認証精度パラメータを用いて、顔を認証してもよい。
【0060】
なお、認証精度制御部15は、撮影パラメータに基づいて、認証精度パラメータを制御しても良い。つまり、認証精度制御部15は、撮影パラメータと、認証精度パラメータと、の対応関係に基づいて、認証精度を制御してもよい。そして、認証精度管理データベース16は、撮影パラメータと、認証精度制御パラメータと、の対応関係を記憶してもよい。
【0061】
例えば、認証精度制御部15は、撮影パラメータに基づいて、顔認証に使用する特徴点数を制御してもよい。または、認証精度制御部15は、撮影パラメータに基づいて、特徴点の重みを制御してもよい。あるいは、認証精度制御部15は、撮影パラメータに基づいて、評価値の閾値を制御してもよい。または、認証精度制御部15は、撮影パラメータに基づいて、テンプレート画像の顔の方向のパターン数を制御してもよい。
【0062】
[変形例1]
第1の実施形態に係る顔認証装置1の変形例1として、顔認証装置と異なる装置(以下、サーバ装置と呼ぶ)が、顔認証部12と、及び顔画像データベース17と、を備えてもよい。なぜなら、顔認証部12において、認証処理の負荷は、テンプレート画像の数に応じて変化する。そのため、顔認証装置1の性能より高性能なサーバ装置が、顔認証部12と、顔画像データベース17と、を備えてもよい。なお、その場合、顔認証装置1と、サーバ装置と、がネットワークを介して接続されていてもよい。
【0063】
[変形例2]
第1の実施形態に係る顔認証装置1の変形例2として、撮影装置20は照度センサを備えていてもよい。その場合、撮影パラメータ入力部13は、照度センサの出力値を、撮影パラメータとして入力する。そして、照明情報推定部14は、照度センサの出力値に基づいて、照明情報を推定してもよい。
【0064】
本実施形態に係る顔認証装置1の第1の効果は、誤認証を低減することである。例えば、消灯した屋内等の環境で顔認証した場合、誤認証となる可能性が高い。しかし、本実施形態に係る顔認証装置1は、誤認証を低減するように、照明情報に基づいて、認証精度を制御する。そのため、本実施形態に係る顔認証装置1は、照明環境に依存して、誤認証となることを低減することに貢献する。
【0065】
本実施形態に係る顔認証装置1の第2の効果は、顔認証において、ユーザの負担を低減することである。特許文献1で開示された技術では、顔認証に失敗した場合、再度、撮影をする必要がある。しかし、本実施形態で係る顔認証装置1は、顔認証に失敗する可能性を低減させるために、認証精度を制御する。従って、本実施形態に係る顔認証装置1は、何回も、顔を撮影する必要がない。そのため、本実施形態に係る顔認証装置1は、ユーザの負担を低減することに貢献する。
【0066】
[第2の実施形態]
続いて、第2の実施形態について、図面を用いて、詳細に説明する。
【0067】
本実施形態は、顔認証装置を備える情報機器の形態である。なお、本実施形態における説明では、上述の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、上述の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。
【0068】
図7は、本実施形態に係る情報機器2の全体構成の一例を示す平面図である。情報機器2は、撮影装置20と、表示部30と、操作部40と、を含んで構成される。なお、
図7は、本実施形態に係る情報機器2を、
図7で図示する形態に限定する趣旨ではない。例えば、スマートフォン、携帯電話、ゲーム機、タブレットPC(Personal Computer)、ノートPC、PDA(Personal Data Assistants;携帯情報端末)、デジタルカメラ等の情報機器であってもよい。
【0069】
撮影装置20は、表示部30と同一方向を向くように配置され、表示部30と相対するユーザの顔を撮影できる。撮影装置20は、情報機器2のインカメラとしての機能を持つものでも良い。
【0070】
ユーザは、表示部30により情報機器2が表示する情報(文字や写真等)を視認する。表示部30には、液晶パネル、有機EL(Electro Luminescence)パネル等を使用することができる。
【0071】
操作部40は、情報機器2に対するユーザの操作を受け付ける。
図6では、操作部40としてハードウエアキーを図示しているが、タッチパネル等の操作手段を採用してもよい。
【0072】
図8は、本実施形態に係る情報機器2の内部構成の一例を示すブロック図である。情報機器2は、画像取得部11と、顔認証部12と、撮影パラメータ入力部13と、照明情報推定部14と、認証精度制御部15と、認証精度管理データベース16と、顔画像データベース17と、撮影装置20と、表示部30と、操作部40と、情報機器制御部50と、を含んで構成される。つまり、情報機器2は、顔認証装置1を含んで構成される。なお、
図8には、簡単のため、本実施形態に係る情報機器2に関係するモジュールを主に記載する。
【0073】
情報機器制御部50は、情報機器2の全体を制御するとともに、
図7に示す各部を制御する。情報機器制御部50は、情報機器2に搭載されたコンピュータに、そのハードウェアを用いて、情報機器2の処理を実行させるコンピュータプログラムにより実現することもできる。
【0074】
例えば、情報機器制御部50は、顔認証部12の認証結果を表示部30に表示してもよい。また、情報機器制御部50は、操作部40に対する操作に基づいて、顔認証部12が顔認証を開始するか否かを判断してもよい。あるいは、情報機器制御部50は、顔認証部12の認証結果に基づいて、操作部40に対するユーザの操作を有効とするか否かを判断してもよい。
【0075】
上述の通り、本実施形態に係る情報機器2は、顔認証装置1の機能を含んで構成される。そして、本実施形態に係る情報機器2は、顔の認証結果に基づいて、実行する処理を制御する。つまり、本実施形態に係る情報機器2は、高いセキュリティ機能を備える。従って、本実施形態に係る情報機器2は、誤認証を低減することに貢献し、高いセキュリティ機能を提供することに貢献する。
【0076】
[第3の実施形態]
続いて、第3の実施形態について、詳細に説明する。
【0077】
本実施形態は、顔認証対応アプリケーションを実行する情報機器の形態である。なお、本実施形態における説明では、上述の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、上述の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。
【0078】
本実施形態に係る情報機器2において、情報機器制御部50は、アプリケーションを制御する。そして、情報機器制御部50は、顔認証結果に基づいて、顔認証対応アプリケーションを制御する。
【0079】
例えば、顔認証対応アプリケーションは、顔を認証した場合に画面ロックを解除するアプリケーションを実行してもよい。ここで、画面ロックとは、操作部40に対するユーザの操作を無効とする状態を意味する。なお、顔認証対応アプリケーションは各種考えられるが、その詳細は問わない。
【0080】
[変形例1]
本実施形態に係る情報機器2の変形例1として、アプリケーションに応じて、認証精度を変更してもよい。例えば、情報機器2は、顔認証対応アプリケーションとして、目覚ましアプリケーションと、電子マネー管理アプリケーションと、を搭載しているとする。その場合、認証精度制御部15は、目覚ましアプリケーションより、電子マネー管理アプリケーションに対して、認証精度を高くしてもよい。
【0081】
以上のように、本実施形態に係る情報機器2は、顔認証対応アプリケーションを搭載する。そして、本実施形態に係る情報機器2は、顔が認証された場合に、ユーザにアプリケーションの使用を許可する。そのため、本実施形態に係る情報機器2は、より一層、高いセキュリティ機能を提供することに貢献する。
【0082】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【0083】
(付記1)上記第1の視点に係る顔認証装置の通りである。
【0084】
(付記2)前記認証精度制御部は、前記照明情報に基づいて、認証結果を決定するための閾値を制御する付記1に記載の顔認証装置。
【0085】
(付記3)前記認証精度制御部は、前記照明情報に基づいて、照合する特徴点を制御する付記1又は2に記載の顔認証装置。
【0086】
(付記4)前記認証精度制御部は、前記照明情報に基づいて、前記特徴点の重みを制御する付記3に記載の顔認証装置。
【0087】
(付記5)前記照明情報と、前記認証精度パラメータと、を対応付けて記憶する認証精度管理データベースを備える付記1乃至4に記載の顔認証装置。
【0088】
(付記6)前記認証精度制御部は、前記照明情報に代えて、前記撮影パラメータに基づいて、前記認証精度パラメータを制御する付記1乃至5のいずれか一に記載の顔認証装置。
【0089】
(付記7)付記1乃至6のいずれか一に記載の顔認証装置を備える情報機器。
【0090】
(付記8)顔認証対応アプリケーションを実行する付記7に記載の情報機器。
【0091】
(付記9)上記第2の視点に係る認証方法の通りである。
【0092】
(付記10)前記認証精度制御工程において、前記照明情報に基づいて、認証結果を決定するための閾値を制御する付記9に記載の認証方法。
【0093】
(付記11)前記認証精度制御工程において、前記照明情報に基づいて、照合する特徴点を制御する付記9又は10に記載の認証方法。
【0094】
(付記12)前記認証精度制御工程において、前記照明情報に基づいて、前記特徴点の重みを制御する付記11に記載の認証方法。
【0095】
(付記13)前記認証精度制御工程において、前記照明情報に代えて、前記撮影パラメータに基づいて、前記認証精度パラメータを制御する付記9乃至12のいずれか一に記載の認証方法。
【0096】
(付記14)上記第3の視点に係るプログラムの通りである。
【0097】
(付記15)前記認証精度制御処理において、前記照明情報に基づいて、認証結果を決定するための閾値を制御する付記14に記載のプログラム。
【0098】
(付記16)前記認証精度制御処理において、前記照明情報に基づいて、照合する特徴点を制御する付記14又は15に記載のプログラム。
【0099】
(付記17)前記認証精度制御処理において、前記照明情報に基づいて、前記特徴点の重みを制御する付記16に記載のプログラム。
【0100】
(付記18)前記認証精度制御処理において、前記照明情報に代えて、前記撮影パラメータに基づいて、前記認証精度パラメータを制御する付記14乃至17のいずれか一に記載のプログラム。
【0101】
なお、引用した上記の特許文献の開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。