特開 2024-7213 生体判定装置、生体判定方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024007213

(43)【公開日】2024-01-18

(54)【発明の名称】生体判定装置、生体判定方法、プログラム

(51)【国際特許分類】

   G06V 40/40 20220101AFI20240111BHJP

   G06V 40/16 20220101ALI20240111BHJP

   G06V 40/18 20220101ALI20240111BHJP

   G06F 21/30 20130101ALI20240111BHJP

【ＦＩ】

G06V40/40

G06V40/16 A

G06V40/16 B

G06V40/16 C

G06V40/18

G06F21/30

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022108533

(22)【出願日】2022-07-05

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】池田 優希

【テーマコード（参考）】

5B043

5L096

【Ｆターム（参考）】

5B043AA09

5B043AA10

5B043BA04

5B043CA09

5B043DA05

5B043FA02

5B043GA01

5B043HA05

5L096BA08

5L096BA18

5L096CA04

5L096CA14

5L096DA02

5L096HA02

5L096HA13

(57)【要約】

【課題】本人確認時における生体判定処理の効率の向上を図る。
【解決手段】人の視線又は顔の表情を誘導する誘導画像を表示する表示部と、誘導画像が表示された表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得する撮像画像取得部と、取得された撮像画像から人の視線又は顔の表情を検出する検出部と、検出された人の視線又は顔の表情が誘導画像の意図に沿っているか否かを判定し、判定の結果が意図に沿っているである場合に被写体が生体であると判定し、判定の結果が意図に沿っていないである場合に被写体が生体でないと判定する生体判定部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

人の視線又は顔の表情を誘導する誘導画像を表示する表示部と、
前記誘導画像が表示された前記表示部の表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得する撮像画像取得部と、
取得された前記撮像画像から人の視線又は顔の表情を検出する検出部と、
検出された人の視線又は顔の表情が前記誘導画像の意図に沿っているか否かを判定し、前記判定の結果が前記意図に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記意図に沿っていないである場合に前記被写体が生体でないと判定する生体判定部と、
を備える生体判定装置。

【請求項2】

前記表示部は、前記表示画面上の開始位置から終了位置まで人の視線を誘導する視線誘導画像を表示し、
前記撮像画像取得部は、前記視線誘導画像が表示された前記表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得し、
前記検出部は、取得された前記撮像画像から前記被写体が見ている前記表示画面上の視線位置を検出し、
前記生体判定部は、検出された前記視線位置が前記開始位置から前記終了位置に至る前記表示画面上の経路に沿っているか否かを判定し、前記判定の結果が前記経路に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記経路に沿っていないである場合に前記被写体が生体でないと判定する、
請求項１に記載の生体判定装置。

【請求項3】

前記表示部は、人の顔の表情を特定の表情に誘導する表情誘導画像を表示し、
前記撮像画像取得部は、前記表情誘導画像が表示された前記表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得し、
前記検出部は、取得された前記撮像画像から前記被写体の顔の表情を検出し、
前記生体判定部は、検出された顔の表情が前記表情誘導画像の意図に沿っているか否かを判定し、前記判定の結果が前記意図に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記意図に沿っていないである場合に前記被写体が生体でないと判定する、
請求項１に記載の生体判定装置。

【請求項4】

撮像画像の被写体が生体であるか否かを判定する第１生体判定処理と第２生体判定処理とのうちからいずれかの生体判定処理を選択する生体判定処理選択部を備え、
前記第１生体判定処理が選択された場合、
前記表示部は、前記表示画面上の開始位置から終了位置まで人の視線を誘導する視線誘導画像を表示し、
前記撮像画像取得部は、前記視線誘導画像が表示された前記表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得し、
前記検出部は、取得された前記撮像画像から前記被写体が見ている前記表示画面上の視線位置を検出し、
前記生体判定部は、検出された前記視線位置が前記開始位置から前記終了位置に至る前記表示画面上の経路に沿っているか否かを判定し、前記判定の結果が前記経路に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記経路に沿っていないである場合に前記被写体が生体でないと判定する、
一方、前記第２生体判定処理が選択された場合、
前記表示部は、人の顔の表情を特定の表情に誘導する表情誘導画像を表示し、
前記撮像画像取得部は、前記表情誘導画像が表示された前記表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得し、
前記検出部は、取得された前記撮像画像から前記被写体の顔の表情を検出し、
前記生体判定部は、検出された顔の表情が前記表情誘導画像の意図に沿っているか否かを判定し、前記判定の結果が前記意図に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記意図に沿っていないである場合に前記被写体が生体でないと判定する、
請求項１に記載の生体判定装置。

【請求項5】

前記視線誘導画像は、前記開始位置から前記終了位置に至る経路上に前記開始位置から前記終了位置へと順次表示される、
請求項２又は４のいずれか１項に記載の生体判定装置。

【請求項6】

前記視線誘導画像は、前記開始位置から前記終了位置に至る動線である、
請求項２又は４のいずれか１項に記載の生体判定装置。

【請求項7】

表示部が、人の視線又は顔の表情を誘導する誘導画像を表示し、
撮像画像取得部が、前記誘導画像が表示された前記表示部の表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得し、
検出部が、取得された前記撮像画像から人の視線又は顔の表情を検出し、
生体判定部が、検出された人の視線又は顔の表情が前記誘導画像の意図に沿っているか否かを判定し、前記判定の結果が前記意図に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記意図に沿っていないである場合に前記被写体が生体でないと判定する、
生体判定方法。

【請求項8】

人の視線又は顔の表情を誘導する誘導画像を表示し、
前記誘導画像が表示された表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得し、
取得された前記撮像画像から人の視線又は顔の表情を検出し、
検出された人の視線又は顔の表情が前記誘導画像の意図に沿っているか否かを判定し、前記判定の結果が前記意図に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記意図に沿っていないである場合に前記被写体が生体でないと判定する、
ことをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体判定装置、生体判定方法、プログラムに関する。

【背景技術】

【0002】

従来、オンラインでの本人確認に顔認証を使用する顔認証処理システムは、予めシステムに登録された例えば運転免許証等の顔写真付きの書類から切り出された顔画像と、本人確認時にユーザの端末から受信した顔画像とを照合することにより本人確認を行っている。この顔認証処理システムでは、ユーザの端末から受信した顔画像としてなりすまし等の不正に取得された顔画像が使用される問題がある。この問題を解決するために、本人確認時にユーザの端末から受信する顔画像に写っている被写体が生体であるか否かを判定する生体判定技術が例えば特許文献１，２に記載されている。

【0003】

特許文献１に記載された生体判定技術は、本人確認時の顔画像撮影の際に、特定の動作を指示する指示文（例えば「顔を振ってください。」）と同じく特定の動作をアニメーション動作で指示する顔アイコンとをユーザに提示し、撮影される動画中のユーザの特定の動作が適切であるか否かを判定している。

【0004】

特許文献２に記載された生体判定技術は、顔の向きや目の向きや目の開閉状態や口の開閉状態や眼鏡の着脱状態などを使用する複数の生体判定処理の中から２以上の生体判定処理をランダムに組み合わせることにより、生体判定を行っている。その生体判定処理では、例えば目の向きを左右のいずれか一方向に向けるように指示する行動情報をユーザの携帯端末のディスプレイに表示し、撮影された画像から目の向きを検出し、検出された目の向きが指示通りであるか否かを判定している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０２０／０９５３５０号

【特許文献2】特許第６９５６９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上述した従来の生体判定技術では、ユーザに対して特定の動作を文字で指示するので、ユーザにとってその指示が分かりにくく失敗したり時間がかかったりする場合があった。また、目の向きを左右のいずれか一方向に向けるように指示する行動情報をユーザの携帯端末のディスプレイに表示する場合、目の向きを左に向ける顔画像と目の向きを右に向ける顔画像とを予め準備しておくことにより、なりすますことができる可能性があった。

【0007】

本発明は、このような事情を考慮してなされたものであり、その目的は、本人確認時における生体判定処理の効率の向上を図ることができる生体判定装置、生体判定方法、プログラムを提供することにある。

【課題を解決するための手段】

【0008】

本発明の一態様に係る生体判定装置は、人の視線又は顔の表情を誘導する誘導画像を表示する表示部と、前記誘導画像が表示された前記表示部の表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得する撮像画像取得部と、取得された前記撮像画像から人の視線又は顔の表情を検出する検出部と、検出された人の視線又は顔の表情が前記誘導画像の意図に沿っているか否かを判定し、前記判定の結果が前記意図に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記意図に沿っていないである場合に前記被写体が生体でないと判定する生体判定部と、を備える。

【0009】

本発明の一態様に係る生体判定方法は、表示部が、人の視線又は顔の表情を誘導する誘導画像を表示し、撮像画像取得部が、前記誘導画像が表示された前記表示部の表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得し、検出部が、取得された前記撮像画像から人の視線又は顔の表情を検出し、生体判定部が、検出された人の視線又は顔の表情が前記誘導画像の意図に沿っているか否かを判定し、前記判定の結果が前記意図に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記意図に沿っていないである場合に前記被写体が生体でないと判定する。

【0010】

本発明の一態様に係るプログラムは、人の視線又は顔の表情を誘導する誘導画像を表示し、前記誘導画像が表示された表示画面を見る人の顔を含む被写体が撮像された撮像画像を取得し、取得された前記撮像画像から人の視線又は顔の表情を検出し、検出された人の視線又は顔の表情が前記誘導画像の意図に沿っているか否かを判定し、前記判定の結果が前記意図に沿っているである場合に前記被写体が生体であると判定し、前記判定の結果が前記意図に沿っていないである場合に前記被写体が生体でないと判定する、ことをコンピュータに実行させるプログラムである。

【発明の効果】

【0011】

本発明によれば、本人確認時における生体判定処理の効率の向上を図ることができるという効果が得られる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係るユーザ認証システムの概要を示すブロック図である。

【図2】本発明の実施形態に係るユーザ認証システムにおける携帯端末の概要の機能ブロック図である。

【図3】本発明の実施形態に係る携帯端末におけるカメラ部及び表示部の表示画面の位置関係の例を示す外観図である。

【図4】本発明の実施形態に係る第１生体判定処理を説明するための説明図である。

【図5】本発明の実施形態に係る第２生体判定処理を説明するための説明図である。

【図6】本発明の実施形態に係るヘルプ画面の構成例を示す図である。

【図7】本発明の実施形態に係るユーザ認証システムの動作手順の一例を示すシーケンス図である。

【発明を実施するための形態】

【0013】

以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係るユーザ認証システム１の概要を示すブロック図である。図１において、携帯端末１０はユーザＵが保有する端末である。携帯端末１０としては、スマートフォンやタブレット端末のうち少なくともいずれか１つを用いることができる。携帯端末１０はネットワーク５０を介して顔認証処理システム３０との間で通信を行う。

【0014】

顔認証処理システム３０は、オンラインでの本人確認に顔認証を使用する。顔認証処理システム３０は、ユーザＵの本人登録時に登録されたユーザＵの写真付き本人確認書類から切り出された顔画像データ（登録顔画像データ）を保持している。写真付き本人確認書類としては、運転免許証、マイナンバーカード、旅券、社員証、学生証等の書類であってもよい。顔認証処理システム３０は、ユーザＵの本人確認時に、ユーザＵの登録顔画像データと、当該本人確認時にユーザＵの携帯端末１０から受信した顔認証用画像データとを照合することにより、ユーザＵの本人確認を行う。

【0015】

本実施形態に係るユーザ認証システム１は、ユーザＵの本人確認時において、ユーザＵの携帯端末１０から受信する顔認証用画像データとしてなりすまし等の不正に取得された顔認証用画像データが使用されていないかを確認するために、生体判定方法を実行する。

【0016】

図２は、本実施形態に係るユーザ認証システム１における携帯端末１０の概要の機能ブロック図である。図２に示すように、携帯端末１０は、カメラ部１１０と、表示部１２０と、操作部１３０と、制御部１４０と、記憶部１５０と、通信部１６０とを備える。本実施形態の一例として、図２に示す携帯端末１０が生体判定装置として機能する。

【0017】

カメラ部１１０は、レンズ系と、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を含み、被写体であるユーザＵを撮像する。

【0018】

表示部１２０は、例えば液晶ディスプレイや有機ＥＬ（Electro Luminescence）等のうちいずれかの表示素子を含み、カメラ部１１０の撮像画像や各種の情報を表示する。

【0019】

操作部１３０は、表示部１２０上に積層して配置されたタッチスクリーンを含み、ユーザＵによってタッチされた接触状態やタッチスクリーン上の位置を検知して、各種情報の入力を受け付ける。また、操作部１３０は、物理的なキーやボタンであってもよい。

【0020】

制御部１４０は、ＣＰＵ（Central Processing Unit）であり、記憶部１５０に格納されているプログラムを呼び出して実行することによって、各種の機能を実行する。

【0021】

制御部１４０は、その機能として、生体判定処理選択部１４０１と、表示制御部１４０２と、撮像画像取得部１４０３と、検出部１４０４と、生体判定部１４０５とを含む。これらの制御部１４０の機能は、ＣＰＵが記憶部１５０に格納されたアプリケーションプログラム１５０１を実行することにより実現される。

【0022】

生体判定処理選択部１４０１は、ユーザＵの本人確認時において、カメラ部１１０が撮像した撮像画像に写っている被写体が生体であるか否かを判定する第１生体判定処理と第２生体判定処理とのうちからいずれかの生体判定処理を選択する。第１生体判定処理は、人の視線を利用する生体判定処理である。第２生体判定処理は、顔の表情を利用する生体判定処理である。

【0023】

表示制御部１４０２は、表示部１２０を制御する。表示制御部１４０２は、第１生体判定処理が選択された場合、表示部１２０の表示画面上に視線誘導画像を表示する。視線誘導画像は、表示画面上の開始位置から終了位置まで人の視線を誘導する画像である。表示制御部１４０２は、第２生体判定処理が選択された場合、表示部１２０の表示画面上に表情誘導画像を表示する。表情誘導画像は、人の顔の表情を特定の表情に誘導する画像である。

【0024】

撮像画像取得部１４０３は、第１生体判定処理が選択された場合、視線誘導画像が表示された表示画面を見る人の顔を含む被写体がカメラ部１１０により撮像された撮像画像を取得する。撮像画像取得部１４０３は、第２生体判定処理が選択された場合、表情誘導画像が表示された表示画面を見る人の顔を含む被写体がカメラ部１１０により撮像された撮像画像を取得する。

【0025】

図３は、本実施形態に係る携帯端末１０におけるカメラ部１１０及び表示部１２０の表示画面１２０１の位置関係の例を示す外観図である。図３に示されるように、カメラ部１１０の撮像方向は、表示画面１２０１を見る人の方向である。これにより、カメラ部１１０は、表示画面１２０１を見る人の顔を含む被写体を撮像することができる。したがって、ユーザＵは、表示画面１２０１を見ながら、カメラ部１１０により自撮りの顔画像を撮影することができる。

【0026】

検出部１４０４は、第１生体判定処理が選択された場合、撮像画像取得部１４０３により取得された撮像画像から、被写体が見ている表示画面１２０１上の視線位置を検出する。検出部１４０４は、第２生体判定処理が選択された場合、撮像画像取得部１４０３により取得された撮像画像から、被写体の顔の表情を検出する。

【0027】

生体判定部１４０５は、第１生体判定処理が選択された場合、検出部１４０４により検出された視線位置が表示画面１２０１上の開始位置から終了位置に至る表示画面１２０１上の経路に沿っているか否かを判定する。生体判定部１４０５は、当該判定の結果が経路に沿っているである場合に被写体が生体であると判定し、一方、当該判定の結果が経路に沿っていないである場合に被写体が生体でないと判定する。

【0028】

生体判定部１４０５は、第２生体判定処理が選択された場合、検出部１４０４により検出された顔の表情が表情誘導画像の意図に沿っているか否かを判定する。生体判定部１４０５は、当該判定の結果が表情誘導画像の意図に沿っているである場合に被写体が生体であると判定し、一方、当該判定の結果が表情誘導画像の意図に沿っていないである場合に被写体が生体でないと判定する。

【0029】

記憶部１５０は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、またはこれらの記憶媒体の任意の組み合わせによって構成される。記憶部１５０には、制御部１４０（ＣＰＵ）で実行されるアプリケーションプログラム１５０１や各種のデータが記憶される。

【0030】

通信部１６０は、ＬＴＥ（Long Term Evolution）等のモバイル通信網や、ＩＥＥＥ１３９４の無線ＬＡＮ（Local Area Network）により、ネットワーク５０を介して、顔認証処理システム３０と各種データの通信を行う。

【0031】

次に本実施形態に係る第１生体判定処理および第２生体判定処理を説明する。第１生体判定処理および第２生体判定処理は、ユーザＵの本人確認時に実行される処理である。

【0032】

［第１生体判定処理］
第１生体判定処理は、人の視線を利用する生体判定処理である。図４は、本実施形態に係る第１生体判定処理を説明するための説明図である。表示制御部１４０２は、生体判定処理選択部１４０１により第１生体判定処理が選択された場合、表示部１２０の表示画面１２０１上に視線誘導画像Ｇ１を表示する。図４において、表示画面１２０１上には、視線誘導画像Ｇ１が表示される。図４の例では、視線誘導画像Ｇ１は星形の画像であるが、ハート形等の他の形であってもよい。また、視線誘導画像Ｇ１は、表示中において、点滅したり、色が変わったり、アニメーション動作したりしてもよい。

【0033】

視線誘導画像Ｇ１は、表示画面１２０１上の開始位置ＳＰから終了位置ＥＰまで人の視線を誘導する画像である。図４の例では、表示制御部１４０２は、視線誘導画像Ｇ１を、表示画面１２０１上の開始位置ＳＰから終了位置ＥＰに至る経路Ｒ１上に、開始位置ＳＰから終了位置ＥＰへと順次表示する。

【0034】

表示制御部１４０２は、経路Ｒ１を、表示画面１２０１上の表示領域において無作為に決定してもよい。例えば、表示制御部１４０２は、表示画面１２０１上の表示領域内から任意の開始位置ＳＰ及び終了位置ＥＰを選択し、選択した開始位置ＳＰから終了位置ＥＰに至る任意の経路Ｒ１を選択してもよい。

【0035】

また、複数の異なる経路Ｒ１を示す経路データを予め記憶部１５０に格納しておき、表示制御部１４０２は、当該経路データから、使用する経路Ｒ１を無作為に選択してもよい。

【0036】

視線誘導画像Ｇ１は、経路Ｒ１上において、連続的に表示されてもよい。具体的には、表示制御部１４０２は、表示画面１２０１の経路Ｒ１上において、開始位置ＳＰから終了位置ＥＰまで、視線誘導画像Ｇ１を表示させ続けながら移動させる。

【0037】

視線誘導画像Ｇ１は、経路Ｒ１上において、間欠的に表示されてもよい。具体的には、表示制御部１４０２は、表示画面１２０１の経路Ｒ１上において、開始位置ＳＰから終了位置ＥＰまで、視線誘導画像Ｇ１を間欠的に表示させながら移動させる。視線誘導画像Ｇ１を表示させる時間間隔および距離間隔は、一定であってもよく、又は異なってもよい。

【0038】

なお、視線誘導画像は、表示画面１２０１上において開始位置ＳＰから終了位置ＥＰに至る動線であってもよい。具体的には、図４に示される経路Ｒ１が実際の線（動線）として表示画面１２０１上に表示されてもよい。動線は、開始位置ＳＰから終了位置ＥＰまでの線が一括表示されてもよく、又は開始位置ＳＰから終了位置ＥＰまで線が伸びながら表示されてもよい。

【0039】

撮像画像取得部１４０３は、第１生体判定処理が選択された場合、視線誘導画像Ｇ１が表示された表示画面１２０１を見る人の顔を含む被写体がカメラ部１１０により撮像された撮像画像を取得する。図３に示されるように、カメラ部１１０は、表示画面１２０１を見る人の顔を含む被写体を撮像する。したがって、撮像画像取得部１４０３は、第１生体判定処理が選択された場合、カメラ部１１０により撮像された撮像画像を取得することによって、視線誘導画像Ｇ１が表示された表示画面１２０１を見る人の顔を含む被写体がカメラ部１１０により撮像された撮像画像を取得することができる。

【0040】

検出部１４０４は、第１生体判定処理が選択された場合、撮像画像取得部１４０３により取得された撮像画像に対して視線検出処理を行い、被写体が見ている表示画面１２０１上の視線位置を検出する。

【0041】

生体判定部１４０５は、第１生体判定処理が選択された場合、検出部１４０４により検出された視線位置が表示画面１２０１上の経路Ｒ１に沿っているか否かを判定する。この判定の合格条件の一例は、開始位置ＳＰを含む一定範囲から終了位置ＥＰを含む一定範囲まで視線位置が移動することである。さらには、経路Ｒ１から一定の距離以内に視線位置が存在しながら移動することである。また、視線誘導画像Ｇ１が表示されてからの一定の視線検出期間を設け、視線検出期間に検出された視線位置のみを判定対象にしてもよい。

【0042】

生体判定部１４０５は、当該判定の結果が経路Ｒ１に沿っているである場合に被写体が生体であると判定し、一方、当該判定の結果が経路Ｒ１に沿っていないである場合に被写体が生体でないと判定する。

【0043】

［第２生体判定処理］
第２生体判定処理は、顔の表情を利用する生体判定処理である。図５は、本実施形態に係る第２生体判定処理を説明するための説明図である。表示制御部１４０２は、生体判定処理選択部１４０１により第２生体判定処理が選択された場合、表示部１２０の表示画面１２０１上に表情誘導画像Ｇ２を表示する。図５において、表示画面１２０１上には、表情誘導画像Ｇ２が表示される。表情誘導画像Ｇ２は、人の顔の表情を特定の表情に誘導する画像である。表情誘導画像Ｇ２は、人の顔のイラストであってもよく、人の顔の絵文字であってもよく、又はアニメーション動作してもよい。

【0044】

表示制御部１４０２は、表示画面１２０１上の所定位置に表情誘導画像Ｇ２を表示する。複数の異なる表情の表情誘導画像Ｇ２を予め記憶部１５０に格納しておき、表示制御部１４０２は、当該複数の表情誘導画像Ｇ２から、使用する表情誘導画像Ｇ２を無作為に選択する。

【0045】

撮像画像取得部１４０３は、第２生体判定処理が選択された場合、表情誘導画像Ｇ２が表示された表示画面１２０１を見る人の顔を含む被写体がカメラ部１１０により撮像された撮像画像を取得する。図３に示されるように、カメラ部１１０は、表示画面１２０１を見る人の顔を含む被写体を撮像する。したがって、撮像画像取得部１４０３は、第２生体判定処理が選択された場合、カメラ部１１０により撮像された撮像画像を取得することによって、表情誘導画像Ｇ２が表示された表示画面１２０１を見る人の顔を含む被写体がカメラ部１１０により撮像された撮像画像を取得することができる。

【0046】

検出部１４０４は、第２生体判定処理が選択された場合、撮像画像取得部１４０３により取得された撮像画像に対して画像認識処理を行い、被写体の顔の表情を検出する。

【0047】

生体判定部１４０５は、第２生体判定処理が選択された場合、検出部１４０４により検出された顔の表情が表情誘導画像Ｇ２の意図に沿っているか否かを判定する。この判定の合格条件の一例は、検出部１４０４により検出された顔の表情と、表情誘導画像Ｇ２が誘導する特定の表情との間の乖離を示す所定のスコアを算出し、当該スコアが一定の閾値以下である（乖離が一定以下である）ことである。また、生体判定部１４０５は、所定の機械学習アルゴリズムを使用して顔の表情が機械学習された機械学習モデルを用いて、検出部１４０４により検出された顔の表情と、表情誘導画像Ｇ２が誘導する特定の表情との間の乖離を示すスコアを算出してもよい。また、表情誘導画像Ｇ２が表示されてからの一定の表情検出期間を設け、表情検出期間に検出された顔の表情のみを判定対象にしてもよい。

【0048】

生体判定部１４０５は、当該判定の結果が表情誘導画像Ｇ２の意図に沿っているである場合に被写体が生体であると判定し、一方、当該判定の結果が表情誘導画像Ｇ２の意図に沿っていないである場合に被写体が生体でないと判定する。

【0049】

以上が本実施形態に係る第１生体判定処理および第２生体判定処理の説明である。

【0050】

図４及び図５において、表示画面１２０１には自撮り画像表示領域１２０２が設けられている。表示制御部１４０２は、ユーザＵの本人確認時において、カメラ部１１０により撮像された撮像画像Ｐ１，Ｐ２を自撮り画像表示領域１２０２に表示する。これにより、ユーザＵの本人確認時において、視線誘導画像Ｇ１又は表情誘導画像Ｇ２が表示画面１２０１上に表示されても、ユーザＵの自撮り画像が自撮り画像表示領域１２０２に表示されているので、ユーザＵに対して、まだ本人確認が継続していると認識させることができ、ユーザＵの視線を表示画面１２０１さらには視線誘導画像Ｇ１又は表情誘導画像Ｇ２に向けさせる効果が得られる。

【0051】

図４及び図５において、表示画面１２０１にはヘルプボタン１２０３が設けられている。ユーザＵが表示画面１２０１上のヘルプボタン１２０３を指定すると、表示制御部１４０２は、表示画面１２０１上に、図６に例示されるヘルプ画面１２１０を表示する。図６は、本実施形態に係るヘルプ画面１２１０の構成例を示す図である。図６においてヘルプ画面１２１０には、視線誘導画像Ｇ１に関する説明「☆を目で追ってください。」と表情誘導画像Ｇ２に関する説明「イラスト（絵文字）と同じ表情をしてください。」とが表示される。ヘルプ画面１２１０のデータは、予め記憶部１５０に格納される。

【0052】

本実施形態では、図４に示されるように、視線誘導画像Ｇ１に関する説明「☆を目で追ってください。」を、視線誘導画像Ｇ１の表示時には同時に表示しない。同様に、図５に示されるように、表情誘導画像Ｇ２に関する説明「イラスト（絵文字）と同じ表情をしてください。」を、表情誘導画像Ｇ２の表示時には同時に表示しない。これは、ユーザＵに対して、視線誘導画像Ｇ１又は表情誘導画像Ｇ２の表示時には、表示された視線誘導画像Ｇ１又は表情誘導画像Ｇ２に集中させるためである。

【0053】

次に図７を参照して本実施形態に係るユーザ認証システム１の動作の手順を説明する。図７は、本実施形態に係るユーザ認証システム１の動作手順の一例を示すシーケンス図である。

【0054】

顔認証処理システム３０は、予め、ユーザＵの本人登録時に登録されたユーザＵの写真付き本人確認書類から切り出された顔画像データ（登録顔画像データ）を保持している。顔認証処理システム３０は、ユーザＵの本人確認時に、ユーザＵの登録顔画像データと、当該本人確認時にユーザＵの携帯端末１０から受信した顔認証用画像データとを照合することにより、ユーザＵの本人確認を行う。図７のユーザ認証システム１の動作は、ユーザＵの本人確認時に開始される。

【0055】

（ステップＳ１０１） 携帯端末１０は、ユーザＵの操作に応じて、ユーザＵの顔認証用画像データを取得する。

【0056】

（ステップＳ１０２） 携帯端末１０は、取得したユーザＵの顔認証用画像データを顔認証処理システム３０へ送信する。

【0057】

（ステップＳ１０３） 顔認証処理システム３０は、携帯端末１０から受信したユーザＵの顔認証用画像データと、ユーザＵの登録顔画像データとを照合することにより、ユーザＵの顔認証を行う。

【0058】

（ステップＳ１０４） 顔認証処理システム３０は、ユーザＵの顔認証の結果を示す顔認証結果データを携帯端末１０へ送信する。

【0059】

（ステップＳ１０５） 携帯端末１０において、生体判定処理選択部１４０１は、第１生体判定処理と第２生体判定処理とのうちからいずれかの生体判定処理を選択する。ここでは、説明の便宜上、第１生体判定処理が選択された場合を説明するが、第２生体判定処理が選択された場合も同様である。

【0060】

（ステップＳ１０６） 携帯端末１０において、表示制御部１４０２は、第１生体判定処理が選択された場合、表示部１２０の表示画面１２０１上に視線誘導画像Ｇ１を表示する。

【0061】

（ステップＳ１０７） 携帯端末１０において、撮像画像取得部１４０３は、第１生体判定処理が選択された場合、視線誘導画像が表示された表示画面を見る人の顔を含む被写体がカメラ部１１０により撮像された撮像画像（生体判定用撮像画像）を取得する。

【0062】

（ステップＳ１０８） 携帯端末１０において、検出部１４０４は、第１生体判定処理が選択された場合、撮像画像取得部１４０３により取得された生体判定用撮像画像から、被写体が見ている表示画面１２０１上の視線位置を検出する。

【0063】

（ステップＳ１０９） 携帯端末１０において、生体判定部１４０５は、第１生体判定処理が選択された場合、検出部１４０４により検出された視線位置が表示画面１２０１上の開始位置ＳＰから終了位置ＥＰに至る表示画面１２０１上の経路Ｒ１に沿っているか否かを判定する。生体判定部１４０５は、当該判定の結果が経路Ｒ１に沿っているである場合に被写体が生体であると判定し、一方、当該判定の結果が経路Ｒ１に沿っていないである場合に被写体が生体でないと判定する。

【0064】

（ステップＳ１１０） 携帯端末１０は、顔認証処理システム３０から受信した顔認証結果データと、生体判定部１４０５による生体判定結果を示す生体判定結果データとを出力する。例えば、携帯端末１０は、顔認証結果データと生体判定結果データとを表示画面１２０１上に表示する。例えば、携帯端末１０は、顔認証結果データと生体判定結果データとを所定のサーバへ送信する。

【0065】

上述した実施形態によれば、本人確認時において、視線誘導画像又は表情誘導画像によって人の視線又は顔の表情を人の意識あり又は無意識に関わらず、スムーズに誘導しながらユーザの顔を撮像し、撮像された生体判定用撮像画像に写っている被写体の視線又は顔の表情が視線誘導画像又は表情誘導画像の意図に沿っているか否かを判定することにより、被写体が生体であるか否かを判定することができる。このため、生体判定用撮像画像の撮影時にユーザに対して特定の動作を文字で指示する必要がないので、ユーザにとってその指示が分かりにくく失敗したり時間がかかったりするという問題を解決することができる。

【0066】

また、上述した実施形態によれば、本人確認時の生体判定用撮像画像の際に、視線誘導画像又は表情誘導画像によって人の視線又は顔の表情を誘導することによって、予め顔画像を準備しておくことが難しくなるので、なりすましを抑止する効果が得られる。

【0067】

上述したように実施形態によれば、本人確認時における生体判定処理の効率の向上を図ることができるという効果が得られる。

【0068】

なお、上述した実施形態では、第１生体判定処理と第２生体判定処理とのうちからいずれかの生体判定処理が選択されて実行されるように構成したが、これに限定されない。例えば、第１生体判定処理又は第２生体判定処理とのうちいずれか一方のみを備えるようにしてもよい。又は、第１生体判定処理と第２生体判定処理とを組み合わせて実行するようにしてもよい。
また、上述した実施形態では、ユーザ認証システム１の動作手順の一例として図７に示される動作手順を挙げて説明したが、これに限定されない。例えば、図７の例では、顔認証に係る手順（ステップＳ１０１からステップＳ１０４まで）を実行してから生体判定に係る手順（ステップＳ１０５からステップＳ１０９まで）を実行したが、先に生体判定に係る手順（ステップＳ１０５からステップＳ１０９まで）を実行してから顔認証に係る手順（ステップＳ１０１からステップＳ１０４まで）を実行してもよい。

【0069】

また、上述した実施形態では、スマートフォンやタブレット端末等の携帯端末１０に適用したが、これに限定されない。例えば、ＰＣ（Personal Computer）に適用してもよい。また、図２に示される制御部１４０の機能のうち一部又は全部が、ネットワーク５０に接続されるサーバに備えられてもよい。また、当該サーバはクラウドコンピューティングにより実現されてもよい。

【0070】

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0071】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0072】

１…ユーザ認証システム、１０…携帯端末、３０…顔認証処理システム、１１０…カメラ部、１２０…表示部、１３０…操作部、１４０…制御部、１５０…記憶部、１６０…通信部、１２０１…表示画面、１４０１…生体判定処理選択部、１４０２…表示制御部、１４０３…撮像画像取得部、１４０４…検出部、１４０５…生体判定部、Ｇ１…視線誘導画像、Ｇ２…表情誘導画像、５０…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】