特開 2024-85684 生体判定装置、生体判定方法、及び認証システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024085684

(43)【公開日】2024-06-27

(54)【発明の名称】生体判定装置、生体判定方法、及び認証システム

(51)【国際特許分類】

   G06V 40/40 20220101AFI20240620BHJP

【ＦＩ】

G06V40/40

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022200346

(22)【出願日】2022-12-15

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】堀本 岳志

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA10

5B043BA04

5B043HA09

(57)【要約】

【課題】撮像画像が生体画像か否かを判定し、セキュリティを向上できるようにする。
【解決手段】顔認証をする対象の被写体を含むようにして当該被写体に対して、前記被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、顔認証をする対象の被写体を含むようにして当該被写体に対して、前記第１距離とは異なる第２距離で合焦するようにして撮像した第２画像とを取得する取得部と、前記取得された第１画像及び第２画像の合焦状態に基づいて、前記被写体が生体であると判定する判定部とを有する。
【選択図】 図７

【特許請求の範囲】

【請求項1】

顔認証をする対象の被写体を含むようにして当該被写体に対して、前記被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、顔認証をする対象の被写体を含むようにして前記第１距離とは異なる第２距離で合焦するようにして撮像した第２画像とを取得する取得部と、
前記取得された第１画像及び第２画像の合焦状態に基づいて、前記被写体が生体であると判定する判定部と
を有する生体判定装置。

【請求項2】

前記第２画像を顔認証するための正解画像との比較には用いることなく、前記第１画像を前記正解画像と比較することで顔認証を行う顔認証部
を有する請求項１に記載の生体判定装置。

【請求項3】

前記判定部は、前記第１画像において、前記被写体部分のピントが合焦状態であり、前記被写体部分以外の部分が合焦状態ではない場合に、前記被写体が生体であると判定する請求項１又は２に記載の生体判定装置。

【請求項4】

前記判定部は、前記第２画像において、前記被写体部分のピントが合焦状態ではなく、前記被写体部分以外の部分が合焦状態である場合に、前記被写体が生体であると判定する請求項１又は２に記載の生体判定装置。

【請求項5】

前記第２距離は、背景となる物体までの距離である請求項１又は２に記載の生体判定装置。

【請求項6】

前記背景となる物体が合焦状態を評価し難い物体の場合、目印となる物体を背景に入れることを促すメッセージを表示画面に表示する請求項５に記載の生体判定装置。

【請求項7】

前記第１画像及び前記第２画像は、動画撮影モードで撮像された動画データから２枚のフレーム画像を切り出すことで取得する請求項１又は２に記載の生体判定装置。

【請求項8】

前記第１距離は、前記被写体となる顔画像の特定の部位までの距離であり、前記第２距離は、前記被写体となる顔画像の他の部位までの距離である請求項１又は２に記載の生体判定装置。

【請求項9】

前記第１距離は、前記被写体となる顔画像の特定の部位までの距離であり、前記第２距離は、前記被写体が装着している人工物までの距離である請求項１又は２に記載の生体判定装置。

【請求項10】

顔認証をする対象の被写体を含むようにして当該被写体に対して、前記被写体となる顔画像までの第１距離で合焦するように撮像して第１画像を取得する工程と、
顔認証をする対象の被写体を含むようにして前記第１距離とは異なる第２距離で合焦するようにして撮像して第２画像を取得する工程と、
前記取得された第１画像及び第２画像の合焦状態に基づいて、前記被写体が生体であると判定する工程と
を含む生体判定方法。

【請求項11】

顔認証をする対象の被写体を含むようにして当該被写体に対して、前記被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、顔認証をする対象の被写体を含むようにして前記第１距離とは異なる第２距離で合焦するようにして撮像した第２画像とを取得する取得部と、前記取得された第１画像及び第２画像の合焦状態に基づいて、前記被写体が生体であると判定する判定部とを有する認証サーバと、
認証時に前記第１画像と前記第２画像を撮影して前記認証サーバに送信する携帯端末と、
を備える認証システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体判定装置、生体判定方法、及び認証システムに関する。

【背景技術】

【0002】

金融機関での口座開設時等、運転免許証やパスポート等の本人確認書類を参照して、本人確認を行う機会が多くなっている（例えば特許文献１）。また、ネットワーク技術の普及とともに、口座開設や各種の書類申請をオンラインで行えるようになってきている。例えば、金融機関のオンライン口座開設時では、本人確認書類の顔写真の画像と、端末装置等でユーザが撮影した自身の画像とを認証サーバに送信し、認証サーバで本人確認書類の顔写真の画像と、端末装置等によって撮影されたユーザの画像とを比較することで、本人確認を行っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１２４９６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述のように、本人確認書類の顔写真画像と端末装置によって撮影されたユーザの画像とを比較して本人確認を行う場合、ユーザ本人が自身の顔を撮影して認証サーバに送信する代わりに、写真撮影された画像を認証サーバに送信して、成りすましによる不正認証が行われる危険性がある。このため、送られてきた画像が生体のユーザ自身を撮像したものであるかを判定する必要がある。

【0005】

撮像画像が生体画像か否かは、例えば、被認証者に指示を与え、この指示に応じた動作を行ってもらうことができるか否かにより、生体か否かを判定することが考えられる。例えば、被認証者に、「左を向いてください」、「右を向いてください」というような指示を与え、端末装置から、この指示に応じた動作が行われた画像を得ることができない場合、生体ではないと判定する。しかしながら、被認証者に指示を与えるのでは、利用者にとって利便性が低下するとともに、指示に応じた動作を行わなければならないという負担がある。

【0006】

また、ＡＩ（Artificial Intelligence）を用いた画像解析により、生体を撮像した画像か否かを判定することが考えられる。しかしながら、ＡＩによる画像解析では、機器に処理能力が要求されるとともに、教師データとして与えられたデータの質によっては判定精度への影響が大きいため、簡便で確実な方法とはいい難い。

【0007】

上述の課題を鑑み、本発明は、撮像画像が生体を撮影した画像か否かを判定することができ、セキュリティを向上できる生体判定装置、生体判定方法、及び認証システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様にかかる生体判定装置は、顔認証をする対象の被写体を含むようにして当該被写体に対して、前記被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、顔認証をする対象の被写体を含むようにして前記第１距離とは異なる第２距離で合焦するようにして撮像した第２画像とを取得する取得部と、前記取得された第１画像及び第２画像の合焦状態に基づいて、前記被写体が生体であると判定する判定部とを有する。

【0009】

本発明の一態様にかかる生体判定方法は、顔認証をする対象の被写体を含むようにして当該被写体に対して、前記被写体となる顔画像までの第１距離で合焦するように撮像して第１画像を取得する工程と、顔認証をする対象の被写体を含むようにして前記第１距離とは異なる第２距離で合焦するようにして撮像して第２画像を取得する工程と、前記取得された第１画像及び第２画像の合焦状態に基づいて、前記被写体が生体であると判定する工程とを含む。

【0010】

本発明の一態様にかかる認証方法は、顔認証をする対象の被写体を含むようにして当該被写体に対して、前記被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、顔認証をする対象の被写体を含むようにして前記第１距離とは異なる第２距離で合焦するようにして撮像した第２画像とを取得する取得部と、前記取得された第１画像及び第２画像の合焦状態に基づいて、前記被写体が生体であると判定する判定部とを有する認証サーバと、認証時に前記第１画像と前記第２画像を撮影して前記認証サーバに送信する携帯端末と、を備える。

【発明の効果】

【0011】

本発明によれば、被写体の撮像画像が生体画像か否かを判定することができる。これにより、顔認証において確実に本人確認を行うことができ、セキュリティを向上させることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態の原理構成の説明図である。

【図2】本発明の実施形態の原理構成の説明図である。

【図3】合焦及び被写体深度の関係を示す図である。

【図4】被写体の位置と合焦状態の説明図である。

【図5】本発明の第１の実施形態にかかる認証システムの概要の説明図である。

【図6】本発明の第１の実施形態にかかる認証システムにおける端末装置の概要を示すブロック図である。

【図7】本発明の第１の実施形態にかかる認証システムにおける認証サーバの概要を示すブロック図である。

【図8】本発明の実施形態にかかる認証システムの動作を示すシーケンス図である。

【図9】本発明の実施形態にかかる認証システムにおける生体判定処理の詳細を示すフローチャートである。

【図10】本発明の第２の実施形態にかかる端末装置の構成を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について図面を参照しながら説明する。本実施形態は、撮像画像が生体を撮影しているか否かを判定するものである。
＜原理構成＞
まず、図１及び図２を参照して、本実施形態の原理構成について説明する。
図１は、生体の人物を被写体ＳＢＪ１として撮影した場合を示し、図２は、写真をプリントした人物像を被写体ＳＢＪ２として撮影した場合を示している。ここでは、図１のように、生体の人物を被写体として撮影した画像と、図２のように、写真として印刷された人物像を被写体として撮影した場合の画像とを比較すると、撮影環境が異なる。

【0014】

図１に示すように、生体の人物の被写体ＳＢＪ１は三次元の物体であるのに対して、図２に示すように、写真として印刷された人物像の被写体ＳＢＪ２は平面の二次元の物体である。このことから、図１に示すように、生体の人物の被写体ＳＢＪ１を撮影した場合、人物の背景は、人物を基準として奥行き方向に距離があるため、カメラＣＡＭ１から被写体ＳＢＪ１までの距離Ｌ１ａと、カメラＣＡＭ１から背景ＢＧ１までの距離Ｌ１ｂとの間には、差異がある。これに対して、図２に示すように、写真として印刷された人物像の被写体ＳＢＪ２を撮影した場合には、カメラＣＡＭ２から被写体ＳＢＪ２までの距離Ｌ２ａと、カメラＣＡＭ２から背景ＢＧ２までの距離Ｌ２ｂは略等しくなる。

【0015】

また、カメラには、ＡＦ（Auto Focus）機能が装備されている。カメラのＡＦ機能では、画面上の位置や物体を指定して、合焦状態の評価を行うことができる。このことから、被写体の少なくとも一部の位置で合焦させた画像を取得するとともに、当該少なくとも一部とは異なる位置であって奥行き方向における距離が異なる位置で合焦させた画像を取得し、この画像の合焦状態を判定することで、生体の人物を撮影した被写体の撮像画像か、写真として印刷された人物像を被写体として撮影した撮像画像かを判定することができる。このことについて、以下に説明する。

【0016】

図３は、合焦及び被写体深度の関係を示す図である。カメラでの合焦及び被写界深度については、一般に、以下の公式が用いられる。

【0017】

【数1】

【0018】

ここで、焦点距離、レンズのＦ値は、カメラ及びレンズの物理的特性であり、物体距離はカメラから被写体までの距離である。被写界深度は、ピントが合って見える範囲の被写体深度である。許容錯乱円は、ピントが合っていると見なされる最大の円である。物体面の前方の前方被写界深度から後方の後方被写界深度の間にあるものが、ピントが合焦している状態になっている。

【0019】

端末装置に標準的に搭載されているカメラを使って、ユーザの自画像をセルフ撮影した場合を想定して、合焦範囲を考察する。端末装置のインカメラに標準的に搭載されているカメラとしては、例えば以下のものが想定される。

【0020】

焦点距離：２４ｍｍ
画素数：１０Ｍピクセル
Ｆ値：２．０
撮像素子サイズ：１／２．３～１／３インチ
画素ピッチ：１．３μｍ～１．７μｍ

【0021】

ユーザが自画像を撮影する場合、ユーザ自身がカメラ（例えばスマートフォン）を手に持ち、自分の顔を撮影する場合には、カメラから被写体（ユーザ自身）までの距離は、概ね０．３ｍ程度である。よって、被写体までの距離を０．３ｍとして、前方被写界深度と後方被写界深度を計算すると、以下のようになる。

【0022】

前方被写界深度：約０．０００４ｍ～０．０００５ｍ
後方被写界深度：約０．０００４ｍ～０．０００５ｍ

【0023】

また、ユーザがカメラから０．３ｍ離れて自画像を撮影したとすると、その背景は、カメラから０．５ｍ以上後方にあると想定される。そこで、被写体までの距離を０．５ｍとして、前方被写界深度と後方被写界深度を計算すると、以下のようになる。

【0024】

前方被写界深度：約０．００１３ｍ～０．００１５ｍ
後方被写界深度：約０．００１１ｍ～０．００１５ｍ

【0025】

以上の結果から、カメラから０．３ｍの距離にある被写体に合焦させた場合、合焦状態になる範囲は０．３ｍ±０．０００５ｍとなる。また、カメラから０．５ｍにある背景の物体に合焦させた場合、合焦になる範囲は０．５ｍ±０．００１５ｍとなる。このことから、カメラから０．３ｍの位置に被写体が存在し、カメラから０．５ｍの位置に背景の物体が存在した場合、被写体に合焦させると、被写体の画像はピントが合焦した状態となるが、背景部分は（０．３ｍ±０．０００５ｍ）の範囲にないので、ピントが合っていない状態となる。また、背景部分に合焦させると、背景部分はピントが合焦した状態となるが、被写体部分は（０．５ｍ±０．００１５ｍ）の範囲にないので、ピントが合っていない状態となる。

【0026】

図１に示したように、被写体ＳＢＪ１が生体の人物であれば、３次元物体であるので、被写体ＳＢＪ１に合焦させると、被写体ＳＢＪ１の部分はピントが合焦した状態となるが、背景ＢＧ１の部分はピントが合っていない状態となる。また、背景ＢＧ１に合焦させると、背景ＢＧ１の部分はピントが合焦した状態となるが、被写体ＳＢＪ１の部分はピントが合っていない状態となる。

【0027】

これに対して、図２に示したように、被写体ＳＢＪ２が写真に印刷された人物像であれば、二次元物体であるので、被写体ＳＢＪ２に合焦させると、被写体ＳＢＪ２の部分でピントが合焦し、背景ＢＧ２の部分でもピントは合焦した状態となる。また、背景ＢＧ２に合焦させると、背景ＢＧ２の部分でピントが合焦した状態となり、被写体ＳＢＪ２の部分でもピントが合焦した状態となる。

【0028】

また、ＡＦ制御としては、位相差方式、コントラスト方式、撮像面位相差方式等が知られている。位相差方式は、レンズからの光を分割するセパレータと、セパレータで２つに分割された光をそれぞれ検出する２つのセンサを設け、セパレータで分割された光を２つのセンサに投影し、それぞれのセンサの出力波形の位相差から合焦状態を検出するものである。コントラスト方式は、画像のコントラスト値を検出し、コントラスト値が最大となる位置にレンズを移動させて合焦させるものである。撮像面位相差方式は、マイクロレンズ等の位相差検出素子が組み込まれた画素の情報を使用して位相差検出を行い、この位相差から合焦状態を検出するものである。端末装置のカメラ機能では、主に、コントラスト方式と撮像面位相差方式が用いられている。コントラスト方式や撮像面位相差方式等のＡＦ制御では、各画素の信号から、画面上の位置や物体を指定して、合焦状態の評価を行うことができる。

【0029】

図４は、被写体の位置と合焦状態の説明図である。図４に示すように、被写体の位置（０．３ｍ）で合焦するようにして撮像したとき、この被写体が生体であるなら、被写体の部分の画像はピントが合い、背景の部分の画像はピントが合わなくなる。これに対して、この被写体が生体ではなく、写真のプリント画像のような二次元画像であるなら、被写体の部分の画像はピントが合い、背景の部分の画像もピントが合う。

【0030】

また、背景の位置（０．５ｍ）で合焦するように撮像したとき、この被写体が生体であるなら、被写体の部分の画像はピントが合わなくなり、背景の部分の画像はピントが合う。これに対して、被写体が写真のプリント画像のような二次元画像であるなら、被写体の部分の画像も、背景の部分の画像も、ピントが合わなくなる。

【0031】

したがって、被写体の対象部分までの距離に相当する第１距離で合焦するようにして撮像した第１画像と、当該撮像した撮像範囲のうち対象部分とは異なる位置までの距離に相当する第２距離で合焦するようにして撮像した第２画像を取得し、この取得された第１画像及び第２画像の合焦状態を判定すれば、被写体が生体であるか否かを判定できる。
被写体の対象部分が、顔全体である場合、当該対象部分とは異なる位置は、背景であってもよい。また、被写体の対象部分が、例えば鼻などの顔の一部である場合、当該対象部分とは異なる位置は、耳、目、首、肩等の被写体のうち、奥行き方向における距離が異なると想定される部位であってもよいし、背景であってもよい。

【0032】

なお、例えば画像のコントラストを検出してＡＦ制御を行った場合には、画像のコントラストを評価値として合焦状態を評価している。また、撮像面位相差方式では２つの画素の情報の位相差を評価値として合焦状態を評価している。したがって、被写体として背景がピントが合っていない二次元画像を撮影した場合も、通常の二次元画像と同様に、撮像画像の合焦状態は評価できる。このため、図４に示すように、背景が合焦している二次元画像を撮影した場合も、背景がぼやけている二次元画像を撮影した場合も、合焦状態の判定結果は同じになる。

【0033】

＜第１実施形態＞
次に、本発明の第１の実施形態について説明する。図５は、本発明の第１の実施形態にかかる認証システム１の概要の説明図である。

【0034】

図５に示すように、本発明の第１の実施形態にかかる認証システム１は、端末装置１０と、認証サーバ２０とから構成される。端末装置１０と認証サーバ２０とは、インターネット等のネットワーク３０を介して接続可能とされている。

【0035】

図５において、端末装置１０は、ユーザＵが保有している端末である。端末装置１０は、カメラ機能を有している。端末装置１０は、例えば、スマートフォン、タブレット等であってもよい。
認証サーバ２０は、ユーザＵの顔画像からユーザ認証を行うサーバである。認証サーバ２０は、属性データベース２１と、顔写真データベース２２とに接続される。認証サーバ２０は、属性データベース２１と、顔写真データベース２２とを含むように構成されてもよい。

【0036】

新規登録時には、ユーザＵは、運転免許書等の本人確認書類（以下、ＩＤカード１１と称する）を用意する。なお、ＩＤカード１１は、顔写真１２が付されたものが用いられる。そして、ユーザＵは、端末装置１０のカメラ機能を使って、ＩＤカード１１を撮影する。このＩＤカード１１の撮像画像は、ネットワーク３０を介して、認証サーバ２０に送信される。

【0037】

また、新規登録時には、ユーザＵは、端末装置１０のカメラ機能を使って自分自身の顔部分１３をセルフ撮影する。このユーザＵの顔部分１３の撮像画像は、ネットワーク３０を介して、認証サーバ２０に送信される。

【0038】

認証サーバ２０は、端末装置１０からＩＤカード１１の撮像画像を受信すると、このＩＤカード１１の撮像画像の中から、顔写真１２の部分の画像を切り出す。

【0039】

また、認証サーバ２０は、端末装置１０からユーザＵの顔部分１３の撮像画像を受信すると、ユーザＵの本人の生体の画像か否かの生体判定を行う。生体判定は、前述したように、被写体となるユーザＵの顔部分１３までの第１距離で合焦する撮像画像を第１画像として取得し、背景部分１４までの第２距離で合焦する撮像画像を第２画像として取得し、取得された第１画像及び第２画像の合焦状態に基づいて、生体か否かの判定を行う。そして、認証サーバ２０は、ユーザＵのユーザＩＤに対応づけて、氏名、ニックネーム等の属性情報を属性データベース２１に保存する。また、認証サーバ２０は、ユーザＵのユーザＩＤに対応づけて、ＩＤカード１１の顔写真１２の部分の画像と、ユーザＵの顔部分１３の部分の撮像画像とを顔写真データベース２２に保存する。

【0040】

認証時には、ユーザＵは、端末装置１０のカメラ機能を使って自分自身の顔部分１３をセルフ撮影する。このユーザＵの顔部分１３の撮像画像は、ネットワーク３０を介して、認証サーバ２０に送信される。

【0041】

認証サーバ２０は、端末装置１０からユーザＵの顔部分１３の撮像画像を受信すると、ユーザＵの本人の生体の画像か否かの生体判定を行う。生体判定は、前述したように、被写体となるユーザＵの顔部分１３までの第１距離で合焦する撮像画像を第１画像として取得し、背景部分１４までの第２距離で合焦する撮像画像を第２画像として取得し、取得された第１画像及び第２画像の合焦状態に基づいて、生体か否かの判定を行う。そして、認証サーバ２０は、端末装置１０からユーザＵの顔部分１３の撮像画像の顔認証を行い、顔写真データベース２２からユーザＵの顔画像を検索し、ユーザＵのユーザＩＤを取得する。そして、認証サーバ２０は、ユーザＩＤを基に、属性データベース２１からユーザの属性情報を読み出す。

【0042】

図６は、認証システム１における端末装置１０の概要を示すブロック図である。図６に示すように、端末装置１０は、２つのカメラ部１１０ａ及び１１０ｂと、制御部１２０と、表示部１３０と、操作部１４０と、通信部１５０とを備えている。

【0043】

カメラ部１１０ａは、インカメラと呼ばれるカメラである。カメラ部１１０ａは、端末装置１０の表示画面が設けられた面（前面）に配置されており、例えば、カメラ部１１０ａによって撮像された画像を表示画面において確認しながらシャッターを切ることで、自分自身をセルフ撮影する場合に用いることができる。カメラ部１１０ａは、レンズ１１１ａと、撮像素子１１２ａと、レンズアクチュエータ１１３ａと、ＡＦ制御部１１４ａとから構成される。

【0044】

カメラ部１１０ｂは、アウトカメラと呼ばれるカメラである。カメラ部１１０ｂは、端末装置１０の表示画面が設けられた面とは反対側の面（背面）に配置されており、例えば、風景等の撮影に用いることができる。カメラ部１１０ｂは、レンズ１１１ｂと、撮像素子１１２ｂと、レンズアクチュエータ１１３ｂと、ＡＦ制御部１１４ｂとから構成される。

【0045】

レンズ１１１ａは、被写体像光を撮像素子１１２ａの撮像面に結像させる。レンズ１１１ｂは、被写体像光を撮像素子１１２ｂの撮像面に結像させる。
撮像素子１１２ａ及び１１２bは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサ等の個体撮像素子から構成され、その撮像面に結像された像光を光電変換する。レンズアクチュエータ１１３ａは、焦点制御を行う際に、レンズ１１１ａを移動させる。レンズアクチュエータ１１３ｂは、焦点制御を行う際に、レンズ１１１bを移動させる。

【0046】

ＡＦ制御部１１４ａは、合焦状態となるように、レンズ１１１ａを移動させる処理を行う。ＡＦ制御部１１４ｂは、合焦状態となるように、レンズ１１１ｂを移動させる処理を行う。
なお、ＡＦ制御部１１４ａ及び１１４ｂは、制御部１２０の機能として実現しても良い。ＡＦ制御部１１４ａ及び１１４ｂは、画面上の位置や物体を指定して合焦状態の評価を行い、合焦制御を行うことができる。ＡＦ制御の方式としては、位相差方式、コントラスト方式、撮像面位相差方式等が知られている。また、撮像面位相差方式とコントラスト方式とを組み合わせて、高速に焦点制御を行えるようにしたものがある。本実施形態では、どのようなＡＦ制御方式を用いても良い。

【0047】

制御部１２０はＣＰＵ（Central Processing Unit）等からなり、端末装置１０の全体の動作を制御する。表示部１３０は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）からなり、種々の情報を表示する。操作部１４０は、表示部１３０上に積層配置されたタッチパネルからなり、ユーザ入力を受け付ける。通信部１５０は、ＬＴＥ(Long Term Evolution)等のモバイルネットワークや、ＩＥＥＥ８０２．１１等の無線ＬＡＮ（Local Area Network）により、ネットワーク３０を介して、認証サーバ２０と通信を行う。

【0048】

図７は、認証システム１における認証サーバ２０の概要を示すブロック図である。図７に示すように、認証サーバ２０は、通信部２１０と、生体判定部２２０と、顔認証部２３０と、登録部２４０と、通知部２５０とを備えている。通信部２１０、生体判定部２２０、顔認証部２３０、登録部２４０、及び通知部２５０は、認証サーバ２０に搭載されたＣＰＵのような１つ以上のハードウェアプロセッサがプログラムを実行することにより実現される。

【0049】

通信部２１０は、ネットワーク３０を介して、端末装置１０との間で通信を行う。生体判定部２２０は、端末装置１０から送られてきた顔画像の生体判定を行う。顔認証部２３０は、端末装置１０から送られてきた顔画像を基に、顔認証を行う。

【0050】

なお、顔認証部２３０は、背景部分１４までの第２距離で合焦させた第２画像は顔認証には用いず、被写体となるユーザＵの顔部分１３までの第１距離で合焦させた第１画像を、顔写真データベース２２に登録されている正解画像と比較することで顔認証を行う。

【0051】

登録部２４０は、ユーザＵのユーザＩＤに対応づけて、属性情報を属性データベース２１に登録する。また、登録部２４０は、ユーザＵのユーザＩＤに対応づけて、ＩＤカード１１の顔写真１２の部分の画像と、ユーザＵの顔部分１３の撮像画像とを顔写真データベース２２に登録する。通知部２５０は、注意事項や認証結果等を端末装置１０に通知する。

【0052】

生体判定部２２０は、取得部２２１と判定部２２２とを備えている。端末装置１０は、被写体となるユーザＵの顔部分１３までの第１距離で合焦させた第１画像と、背景部分１４までの第２距離で合焦させた第２画像との少なくとも２枚の画像を送信する。
取得部２２１は、端末装置１０から送られてきた２枚の撮像画像を取得する。取得部２２１は、例えば、顔認証をする対象の被写体を含むようにして当該被写体に対して、被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、顔認証をする対象の被写体を含むようにして第１距離とは異なる第２距離で合焦するようにして撮像した第２画像とを取得する。
第２距離で合焦するように撮像する場合、第１画像を撮影する場合に合焦させる対象の部位とは異なる顔における部位であってもよいし、顔以外の物体(背景、被写体が着用している服等）であってもよい。
判定部２２２は、取得された第１画像及び第２画像の合焦状態に基づいて、被写体となるユーザＵの顔部分１３が生体を撮影したものであるか否かを判定する。

【0053】

より具体的には、判定部２２２は、図４の合焦状態の結果から、以下のような場合には、生体であると判定を行う。
（１）被写体となるユーザＵの顔部分１３までの第１距離で合焦させた第１画像において、被写体となるユーザＵの顔部分１３のピントが合焦状態であり、背景部分１４のピントが合焦状態ではない。
（２）背景部分１４までの第２距離で合焦させた第２画像において、背景部分１４のピントが合焦状態であり、被写体となるユーザＵの顔部分１３のピントは合焦状態ではない。

【0054】

また、判定部２２２は、第１画像の被写体となるユーザＵの顔部分１３及び背景部分１４の合焦状態と、第２画像の被写体となるユーザＵの顔部分１３及び背景部分１４の合焦状態とを組み合わせて、生体判定を行うようにしても良い。

【0055】

図８は、本発明の実施形態にかかる認証システム１の動作を示すシーケンス図である。

【0056】

（ステップＳ１）新規登録時には、ユーザＵは、端末装置１０を操作して、認証サーバ２０に登録開始を要求する。認証サーバ２０は、登録開始要求を受けると、登録準備を行う。

【0057】

（ステップＳ２）ユーザＵは、端末装置１０のカメラ機能を使って、ＩＤカード１１を撮影する。端末装置１０は、このＩＤカード１１の撮像画像を認証サーバ２０に送信する。認証サーバ２０は、端末装置１０からＩＤカード１１の撮像画像を受信すると、このＩＤカード１１の撮像画像の中から、顔写真の部分の画像を切り出す。

【0058】

（ステップＳ３）ユーザＵは、端末装置１０に、氏名、ニックネーム等の属性情報を入力する。端末装置１０は、この属性情報を認証サーバ２０に送信する。認証サーバ２０は、端末装置１０から属性情報を受信する。

【0059】

（ステップＳ４）認証サーバ２０は、セルフ画像を撮影する際の注意事項を端末装置１０に送り、端末装置１０に提示する。注意事項は、被写体となるユーザＵの顔部分１３と背景部分１４とに合焦させる２枚の画像を撮影することである。

【0060】

（ステップＳ５ａ、Ｓ５ｂ）ユーザＵは、端末装置１０のカメラ機能を使って自分自身の顔部分１３をセルフ撮影する。このとき、被写体となるユーザＵの顔部分１３に合焦させて撮像する第１画像の撮影（ステップＳ５ａ）と、背景部分１４に合焦させて撮像する第２画像の撮影（ステップＳ５ｂ）を行う。端末装置１０は、この第１画像及び第２画像を認証サーバ２０に送る。また、このとき、端末装置１０は、各部の合焦状態の評価値を認証サーバ２０に送る。

【0061】

（ステップＳ６）認証サーバ２０は、端末装置１０から受け取った第１画像及び第２画像の合焦状態から、ユーザＵの本人の生体の画像か否かの生体判定を行う。

【0062】

（ステップＳ７）認証サーバ２０は、ユーザＵのユーザＩＤに対応づけて、氏名、ニックネーム等の属性情報を属性データベース２１に保存する。

【0063】

（ステップＳ８）認証サーバ２０は、ユーザＵのユーザＩＤに対応づけて、ＩＤカード１１の顔写真１２の部分の画像と、ユーザＵの顔部分１３の撮像画像とを顔写真データベース２２に保存する。

【0064】

（ステップＳ９）認証サーバ２０は、登録完了を端末装置１０に送信して、登録処理を終了する。

【0065】

（ステップＳ１０）認証時には、ユーザＵは、端末装置１０を操作して、認証サーバ２０に認証開始を要求する。認証サーバ２０は、認証開始要求を受けると、認証準備を行う。

【0066】

（ステップＳ１１）認証サーバ２０は、セルフ画像を撮影する際の注意事項を端末装置１０に送り、端末装置１０に提示する。注意事項は、被写体となるユーザＵの顔部分１３と背景部分１４とに合焦させる２枚の画像を撮影することである。

【0067】

（ステップＳ１２ａ、Ｓ１２ｂ）ユーザＵは、端末装置１０のカメラ機能を使って自分自身の顔部分１３をセルフ撮影する。このとき、被写体となるユーザＵの顔部分１３に合焦させて撮影する第１画像の撮影（ステップＳ１２ａ）と、背景部分１４に合焦させて撮影する第２画像の撮影（ステップＳ１２ｂ）を行う。端末装置１０は、この第１画像及び第２画像を認証サーバ２０に送る。

【0068】

（ステップＳ１３）認証サーバ２０は、端末装置１０から受け取った第１画像及び第２画像の合焦状態から、ユーザＵの本人の生体の画像か否かの生体判定を行う。

【0069】

（ステップＳ１４）認証サーバ２０は、端末装置１０からユーザＵの顔部分１３の撮像画像と顔写真データベース２２に登録されている顔画像とを照合させて、顔写真データベース２２からユーザＵの顔画像を検索し、顔認証を行う。なお、顔認証では、被写体となるユーザＵの顔部分１３までの第１距離で合焦させた第１画像が用いられる。認証サーバ２０は、顔認証が成功すれば、ユーザＵのユーザＩＤを取得する。

【0070】

（ステップＳ１５）そして、認証サーバ２０は、ユーザＩＤを基に、属性データベースからユーザの属性情報を読み出す。

【0071】

（ステップＳ１６ａ）ステップＳ１４で、顔認証が成功しない場合、或いはステップＳ１３で生体ではないと判定された場合には、認証サーバ２０は端末装置１０に、認証が成立しないことを通知する。認証が成立しない場合には、端末装置１０で、ユーザＵの再撮影を行い、追加認証を行うことになる。

【0072】

（ステップＳ１６ｂ）ステップＳ１４で、顔認証が成功しており、ステップＳ１３で生体であると判定された場合には、認証サーバ２０は端末装置１０に、認証が成立したことを通知する。

【0073】

図９は、上述の認証システム１の動作シーケンス図において、ステップＳ６及びステップＳ１３での生体判定処理の詳細を示すフローチャートである。

【0074】

（ステップＳ１０１）認証サーバ２０の通知部２５０は、セルフ画像を撮影する際の注意事項を端末装置１０に表示する。

【0075】

（ステップＳ１０２）認証サーバ２０の取得部２２１は、被写体となるユーザＵの顔部分１３に合焦させて撮像した第１画像を取得する。

【0076】

（ステップＳ１０３）認証サーバ２０の取得部２２１は、端末装置１０から、背景部分１４に合焦させて撮像した第２画像を取得する。

【0077】

（ステップＳ１０４）顔認証部２３０は、被写体となるユーザＵの顔部分１３に合焦させて撮像した第１画像を使って、顔認証を行う。

【0078】

（ステップＳ１０５）認証サーバ２０の判定部２２２は、背景部分１４に合焦させて撮像した第２画像において、背景部分１４のピントが合焦状態であるか否かを判定する。そして、判定部２２２は、第２画像の背景部分１４のピントが合焦状態なら（ステップＳ１０５：:Ｙｅｓ）、処理をステップＳ１０６に進め、第２画像の背景部分１４のピントが合焦状態でなければ（ステップＳ１０５：Ｎｏ）、処理をステップＳ１０８に進める。

【0079】

（ステップＳ１０６）認証サーバ２０の判定部２２２は、背景部分１４に合焦させて撮像した第２画像において、被写体となるユーザＵの顔部分１３のピントが合焦状態であるか否かを判定する。そして、判定部２２２は、第２画像の背景部分１４のピントが合焦状態でなければ（ステップＳ１０６：Ｎｏ）、処理をステップＳ１０７に進め。第２画像の被写体となるユーザＵの顔部分１３のピントが合焦状態なら（ステップＳ１０６：:Ｙｅｓ）、処理をステップＳ１０８に進める。

【0080】

（ステップＳ１０７）認証サーバ２０の判定部２２２は、背景部分１４に合焦させて撮像した第２画像において、ステップＳ１０５で背景部分１４のピントは合焦状態であると判定され、ステップＳ１０６で第２画像の被写体となるユーザＵの顔部分１３のピントは合焦状態ではないと判定されたことから、被写体となるユーザＵの顔部分１３は生体を撮影した画像であると判定する。

【0081】

（ステップＳ１０８）被写体となるユーザＵの顔部分１３が生体を撮影した画像であれば、背景部分１４に合焦させて撮像した第２画像では、背景部分１４のピントは合焦状態で、被写体となるユーザＵの顔部分１３のピントは合焦状態ではなくなることから、認証サーバ２０の判定部２２２は、被写体となるユーザＵの顔部分１３は生体を撮像した画像ではないと判定する。

【0082】

なお、この例では、ステップＳ１０５からステップＳ１０８で、背景部分１４に合焦させて撮像した第２画像を用いて、被写体の生体判定を行っているが、被写体部分に合焦させて撮像した第１画像を用いて、被写体の生体判定を行っても良い。この場合、被写体に合焦させて撮像した第１画像において、被写体となるユーザＵの顔部分１３のピントは合焦状態で、背景部分１４のピントは合焦状態ではないと判定された場合には、被写体となるユーザＵの顔部分１３の画像は、生体を撮影した画像であると判定できる。

【0083】

＜第２実施形態＞
図１０は、本発明の第２の実施形態にかかる端末装置１０ａの構成を示すブロック図である。図１０において、前述の第１の実施形態にかかる認証システム１における端末装置１０と同一部分には、同一符号を付して、その説明を省略する。

【0084】

前述の第１の実施形態では、認証サーバ２０に生体判定部２２０が設けられている。これに対して、この実施形態では、端末装置１０ａに、生体判定部１２２０が設けられている。生体判定部１２２０は、取得部１２２１と、判定部１２２２とを備える。

【0085】

取得部１２２１は、カメラ部１１０ａ又は１１０ｂで撮像された第１及び第２の２枚の撮像画像を取得する。第１画像は、顔認証をする対象のユーザＵの顔部分１３を含むようにした被写体に対して、ＡＦ制御部１１４ａ又は１１４ｂにより、被写体となるユーザの顔画像までの第１距離で合焦するように制御して撮像した画像である。第２画像は、顔認証をする対象のユーザＵの顔部分１３を含むようにした被写体に対して、ＡＦ制御部１１４ａ又は１１４ｂにより、背景となる物体までの第２距離で合焦するように制御して撮像した画像である。判定部２２２は、取得された第１画像及び第２画像の合焦状態に基づいて、被写体が生体であるか否かを判定する。

【0086】

この実施形態では、端末装置１０ａに生体判定部１２２０を設けることで、例えば顔認証のセキュリティを向上させることができる。すなわち、端末装置１０ａでは、他人が使用できないように、指紋や顔画像によるロックが設定できる。顔画像によるロックでは、ユーザになりすまし、ユーザの顔画像がプリントされた写真を使って、ロックが解除される危険性がある。本実施形態では、被写体が生体かどうか検証することができるので、ユーザの顔画像がプリントされた写真を使ってロック解除される危険性が除去できる。

【0087】

＜変形例＞
上述の例では、顔認証をする対象のユーザの顔部分を含むようにした被写体に対して、被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、背景となる物体までの第２距離で合焦するようにして撮像した第２画像を取得し、取得された第１画像及び第２画像に基づいて、被写体が生体であるか否かを判定している。第１画像及び第２画像の撮像は、インカメラであるカメラ部１１０ａを使用して行っても良いし、アウトカメラであるカメラ部１１０ｂを使用して行っても良い。

【0088】

また、第１画像及び第２画像は、カメラのシャッターを連続的に作動させて、２枚の静止画の画像を取得するようにしても良いし、カメラの動作撮影モードで動画撮影を行い、撮像された動画データから、２枚のフレーム画像を切り出して取得するようにしても良い。動画撮影の場合、ＡＦ機能により画面上でのフォーカス制御の対象となる位置が動くので、このフォーカス制御の対象となる位置の情報を利用して、被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、背景となる物体までの第２距離で合焦するようにして撮像した第２画像を取得しても良い。

【0089】

また、上述の例では、被写体となる顔画像までの第１距離で合焦するようにして撮像した第１画像と、背景となる物体までの第２距離で合焦するようにして撮像した第２画像とを取得しているが、被写界深度が小さい（例えば１ｍｍ以下）場合には、被写体となる顔部分の特定の部位までの距離を第１距離とし、被写体となる顔部分の他の部位までの距離を第２距離としても良い。すなわち、例えば顔の鼻等の顔の部分までを第１距離として合焦させて撮像を行って第１画像を取得し、目や耳等の他の部位までの部分までを第２距離として合焦させて撮像を行って第２画像を取得しても良い。

【0090】

また、被写体となる顔部分の特定の部位までの距離を第１距離とし、被写体が装着している人工物までの距離を第２距離としても良い。すなわち、被写体の例えば顔の鼻の部分までを第１距離として合焦させて撮像を行って第１画像を取得し、被写体が身につけている眼鏡、アクセサリ等の人工物までを第２距離として合焦させて撮像を行って第２画像を取得しても良い。

【0091】

また、ＡＦ制御では、背景となる物体が白一色のような場合、背景部分の合焦状態を評価することが難しくなる。そこで、端末装置は、背景となる物体が合焦状態を評価し難い物体であると判定した場合、表示画面に「背景に目印となる物体を含むように撮影してください」等のメッセージを表示画面に表示するようにしてもよい。

【0092】

上述した実施形態における認証システム１の全部又は一部をコンピュータで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良く、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであっても良い。

【0093】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0094】

１０，１０ａ…端末装置、２０…認証サーバ、２１…属性データベース、２２…顔写真データベース２２、１１０ａ，１１０ｂ…カメラ部、１１４ａ，１１４ｂ…ＡＦ制御部、２２０，１２２０…生体判定部、２２１，１２２１…取得部、２２２，１２２２…判定部、２３０…顔認証部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】