特開 2022-168759 本人認証システム、本人認証装置及び本人認証方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022168759

(43)【公開日】2022-11-08

(54)【発明の名称】本人認証システム、本人認証装置及び本人認証方法

(51)【国際特許分類】

   G06F 21/32 20130101AFI20221031BHJP

   G06T 7/00 20170101ALI20221031BHJP

【ＦＩ】

G06F21/32

G06T7/00 510F

G06T7/00 510B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021074466

(22)【出願日】2021-04-26

(71)【出願人】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】岡田 知之

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA09

5B043AA10

5B043BA01

5B043BA04

5B043DA05

5B043DA09

5B043EA05

5B043FA07

5B043GA02

5B043GA13

5B043HA01

5B043HA06

(57)【要約】

【課題】本人認証を行う場合のなりすましを効率良く防止することを課題とする。
【解決手段】本人認証システムは、一連の本人認証処理を行う途中のユーザが意識していない状態（バックグラウンド）で、ユーザの顔と背景を含む画像（第２顔画像）を撮像する。そして、ユーザの第１顔画像、ユーザの第２顔画像及びユーザと本人確認書類が同時に映った複合画像から、所定の特徴を抽出し、本人認証の手順の開始から終了までの期間において、所定の特徴の変化の有無でなりすましが行われているか否かを判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置とを通信可能に接続した本人認証システムであって、
前記本人認証装置は、
前記認証対象者に係る登録情報を記憶する記憶手段と、
前記端末装置からの登録依頼に含まれる前記認証対象者の第１の画像と、前記登録依頼に含まれる前記認証対象者が所持する本人確認書類の本人確認画像とに基づいて、前記認証対象者の本人認証処理を行う認証処理手段と、
前記端末装置からの登録依頼に含まれる前記認証対象者の第１の画像と、登録処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知手段と、
前記検知手段により前記所定の特徴の変化が検知されず、かつ、前記認証処理手段により前記認証対象者が本人であると認証された場合に、前記認証対象者の本人確認書類画像を前記登録情報として前記記憶手段に格納する格納手段と
を備えたことを特徴とする本人認証システム。

【請求項2】

前記端末装置は、
前記撮像部により撮像された前記認証対象者の第１の画像及び前記撮像部により撮像された前記認証対象者の本人確認画像を含む登録依頼を行う登録依頼手段と、
前記本人認証装置による認証処理中に、前記撮像部により撮像された前記認証対象者の第２の画像を通知する通知手段と
を備えたことを特徴とする請求項１に記載の本人認証システム。

【請求項3】

少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置とを通信可能に接続した本人認証システムであって、
前記本人認証装置は、
前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理手段と、
前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知手段と、
前記検知手段により前記所定の特徴の変化が検知されず、かつ、前記認証処理手段により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知手段と
を備えたことを特徴とする本人認証システム。

【請求項4】

前記端末装置は、
前記撮像部により撮像された前記認証対象者の第１の画像を含む認証依頼を行う認証依頼手段と、
前記本人認証装置による認証処理中に、前記撮像部により撮像された前記認証対象者の第２の画像を通知する通知手段と、
前記本人認証装置から通知された認証結果を報知する報知手段と
を備えたことを特徴とする請求項３に記載の本人認証システム。

【請求項5】

前記本人認証装置は、
前記認証対象者の所持する本人確認書類の本人確認画像を記憶する記憶手段をさらに備え、
前記認証処理手段は、
前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記記憶手段に記憶された前記認証対象者の本人確認画像とに基づいて、前記認証対象者の本人認証処理を行う
ことを特徴とする請求項３又は４に記載の本人認証システム。

【請求項6】

前記端末装置は、
前記撮像部により前記認証対象者の第２の画像を撮像するときに、撮像を行う旨の報知を行わないことを特徴とする請求項１乃至５のいずれか一つに記載の本人認証システム。

【請求項7】

前記端末装置は、前記撮像部を有する面に表示部を有し、
前記表示部は、前記撮像部により撮像された第２の画像を表示しない
ことを特徴とする請求項２又は４に記載の本人認証システム。

【請求項8】

前記所定の特徴は、
前記認証対象者の髪の色、前記認証対象者の髪型、前記認証対象者の被服の色、前記認証対象者の髭の状態、前記認証対象者の化粧の状態、又は、前記認証対象者の背景の色であることを特徴とする請求項１乃至７のいずれか一つに記載の本人認証システム。

【請求項9】

少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と通信可能に接続され、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置であって、
前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理手段と、
前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知手段と、
前記検知手段により前記所定の特徴の変化が検知されず、かつ、前記認証処理手段により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知手段と
を備えたことを特徴とする本人認証装置。

【請求項10】

少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と通信可能に接続され、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置であって、
前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理手段と、
前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知手段と、
前記検知手段により前記所定の特徴の変化が検知されず、かつ、前記認証処理手段により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知手段と
を備えたことを特徴とする本人認証装置。

【請求項11】

少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置とを通信可能に接続した本人認証システムにおける本人認証方法であって、
前記本人認証装置が、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理工程と、
前記本人認証装置が、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知工程と、
前記本人認証装置が、前記検知工程により前記所定の特徴の変化が検知されず、かつ、前記認証処理工程により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知工程と
を含むことを特徴とする本人認証方法。

【請求項12】

少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置とを通信可能に接続した本人認証システムにおける本人認証方法であって、
前記本人認証装置が、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理工程と、
前記本人認証装置が、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知工程と、
前記本人認証装置が、前記検知工程により前記所定の特徴の変化が検知されず、かつ、前記認証処理工程により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知工程と
を含むことを特徴とする本人認証方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、本人認証を行う場合のなりすましを効率良く防止することができる本人認証システム、本人認証装置及び本人認証方法に関する。

【背景技術】

【0002】

従来、ユーザの顔画像を用いてユーザの本人認証を行う技術が知られている。例えば、特許文献１には、ユーザが所持する撮像部を備えた認証器と、認証器に対して通信可能に接続された本人認証サーバとを備えた本人認証システムであって、認証器は、ユーザの本人確認の際に撮像部を介して取得した本人確認書類の画像である本人確認画像に含まれる顔写真画像と、本人確認書類を所持した所持者の顔の画像である顔画像とのうち少なくとも一方である照合画像を照合画像記憶部に記憶させ、サービス利用時に、撮像部を介してサービス利用者の顔画像を取得し、照合画像記憶部に記憶された照合画像と照合し、照合結果を本人認証サーバに送信し、本人認証サーバは、照合結果に基づいてサービスの利用を許可する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０８７４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の特許文献１によれば、ユーザによる行為のみで本人登録がなされるために、不正行為が行われやすいという問題がある。特に、撮像部によって撮像された顔画像を用いて照合することとすると、顔の写真又は顔画像の印刷物を用いて他人になりすます不正が行われた場合に、かかる不正行為を見つけるのが難しい。

【0005】

本発明は、上記従来技術の問題点（課題）を解決するためになされたものであって、本人認証を行う場合のなりすましを効率良く防止することができる本人認証システム、本人認証装置及び本人認証方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するため、本発明は、少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置とを通信可能に接続した本人認証システムであって、前記本人認証装置は、前記認証対象者に係る登録情報を記憶する記憶手段と、前記端末装置からの登録依頼に含まれる前記認証対象者の第１の画像と、前記登録依頼に含まれる前記認証対象者が所持する本人確認書類の本人確認画像とに基づいて、前記認証対象者の本人認証処理を行う認証処理手段と、前記端末装置からの登録依頼に含まれる前記認証対象者の第１の画像と、登録処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知手段と、前記検知手段により前記所定の特徴の変化が検知されず、かつ、前記認証処理手段により前記認証対象者が本人であると認証された場合に、前記認証対象者の身分証明書画像を前記登録情報として前記記憶手段に格納する格納手段とを備えたことを特徴とする。

【0007】

また、本発明は、上記の発明において、前記端末装置は、前記撮像部により撮像された前記認証対象者の第１の画像及び前記撮像部により撮像された前記認証対象者の本人確認画像を含む登録依頼を行う登録依頼手段と、前記本人認証装置による認証処理中に、前記撮像部により撮像された前記認証対象者の第２の画像を通知する通知手段とを備えたことを特徴とする。

【0008】

また、本発明は、少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置とを通信可能に接続した本人認証システムであって、前記本人認証装置は、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理手段と、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知手段と、前記検知手段により前記所定の特徴の変化が検知されず、かつ、前記認証処理手段により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知手段とを備えたことを特徴とする。

【0009】

また、本発明は、上記の発明において、前記端末装置は、前記撮像部により撮像された前記認証対象者の第１の画像を含む認証依頼を行う認証依頼手段と、前記本人認証装置による認証処理中に、前記撮像部により撮像された前記認証対象者の第２の画像を通知する通知手段と、前記本人認証装置から通知された認証結果を報知する報知手段とを備えたことを特徴とする。

【0010】

また、本発明は、上記の発明において、前記本人認証装置は、前記認証対象者の所持する本人確認書類の本人確認画像を記憶する記憶手段をさらに備え、前記認証処理手段は、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記記憶手段に記憶された前記認証対象者の本人確認画像とに基づいて、前記認証対象者の本人認証処理を行うことを特徴とする。

【0011】

また、本発明は、上記の発明において、前記端末装置は、前記撮像部により前記認証対象者の第２の画像を撮像するときに、撮像を行う旨の報知を行わないことを特徴とする。

【0012】

また、本発明は、上記の発明において、前記端末装置は、前記撮像部を有する面に表示部を有し、前記表示部は、前記撮像部により撮像された第２の画像を表示しないことを特徴とする。

【0013】

また、本発明は、上記の発明において、前記所定の特徴は、前記認証対象者の髪の色、前記認証対象者の髪型、前記認証対象者の被服の色、前記認証対象者の髭の状態、前記認証対象者の化粧の状態、又は、前記認証対象者の背景の色であることを特徴とする。

【0014】

また、本発明は、少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と通信可能に接続され、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置であって、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理手段と、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知手段と、前記検知手段により前記所定の特徴の変化が検知されず、かつ、前記認証処理手段により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知手段とを備えたことを特徴とする。

【0015】

また、本発明は、少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と通信可能に接続され、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置であって、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理手段と、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知手段と、前記検知手段により前記所定の特徴の変化が検知されず、かつ、前記認証処理手段により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知手段とを備えたことを特徴とする。

【0016】

また、本発明は、少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置とを通信可能に接続した本人認証システムにおける本人認証方法であって、前記本人認証装置が、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理工程と、前記本人認証装置が、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知工程と、前記本人認証装置が、前記検知工程により前記所定の特徴の変化が検知されず、かつ、前記認証処理工程により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知工程とを含むことを特徴とする。

【0017】

また、本発明は、少なくとも本人認証の認証対象者を撮像する撮像部を有する端末装置と、前記端末装置から受信した前記認証対象者の画像に基づいて本人認証を行う本人認証装置とを通信可能に接続した本人認証システムにおける本人認証方法であって、前記本人認証装置が、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、前記認証対象者の所定の登録情報とに基づいて、前記認証対象者の本人認証処理を行う認証処理工程と、前記本人認証装置が、前記端末装置からの認証依頼に含まれる前記認証対象者の第１の画像と、認証処理途中に前記端末装置から通知される前記認証対象者の第２の画像との間に所定の特徴の変化が存在するか否かを検知する検知工程と、前記本人認証装置が、前記検知工程により前記所定の特徴の変化が検知されず、かつ、前記認証処理工程により前記認証対象者が本人であると認証された場合に、前記端末装置に対して前記認証対象者が本人である旨を通知する通知工程とを含むことを特徴とする。

【発明の効果】

【0018】

本発明によれば、本人認証を行う場合のなりすましを効率良く防止することが可能となる。

【図面の簡単な説明】

【0019】

【図1】図１は、本実施形態に係る本人認証システムの概要を示す図である。

【図2】図２は、本実施形態に係る本人認証システムのシステム構成を示す図である。

【図3】図３は、図２に示した本人認証装置の構成を示す機能ブロック図である。

【図4】図４は、図２に示した端末装置の構成を示す機能ブロック図である。

【図5】図５は、図２に示した本人認証システムの処理手順を示すシーケンス図（その１）である。

【図6】図６は、図２に示した本人認証システムの処理手順を示すシーケンス図（その２）である。

【図7】図７は、図２に示した本人認証システムの処理手順を示すシーケンス図（その３）である。

【図8】図８は、図２に示した端末装置の本人確認書類撮像時の画面イメージの一例を示す図である。

【図9】図９は、図２に示した端末装置の第１顔画像の撮像時の画面イメージの一例を示す図である。

【図10】図１０は、図２に示した端末装置のユーザの顔及び本人確認書類が同時に映った画像撮像時の画面イメージの一例を示す図である。

【発明を実施するための形態】

【0020】

以下に、本発明に係る本人認証システム、本人認証装置及び本人認証方法の実施形態を図面に基づいて詳細に説明する。

【0021】

＜本人認証システムの概要＞
まず、本実施形態に係る本人認証システムの概要について説明する。図１は、本実施形態に係る本人認証システムの概要を説明するための説明図である。図１に示す本人認証システムは、認証対象者（以下、単に「ユーザ」と言う）の本人認証を行うシステムである。ここでは、本人認証装置に対してユーザの顔画像を登録する場合を示している。

【0022】

従来、本人認証装置に対してユーザの顔画像を登録する場合には、ユーザの顔部分を撮像した顔画像と、ユーザが所持する免許証などの本人確認書類に貼付された顔写真の画像とを比較する。その結果、ユーザが本人であると判定されたならば、本人確認書類の顔写真の画像（又はユーザの顔部分を撮像した顔画像）が本人認証装置に登録される。この際、ユーザには該ユーザを一意に識別する識別情報が対応付けられる。

【0023】

しかしながら、本人確認書類に貼付された顔写真を他人の顔写真に付け替え、撮像装置の前面に他人の顔写真の印刷物がおかれると、他人の顔写真の画像が本人認証装置に登録されてしまい、他人のなりすましを防ぐことができなくなる。

【0024】

このため、本実施形態に係る本人認証システムでは、一連の本人認証処理を行っている途中のユーザが意識していないバックグラウンドの状態で、ユーザの顔部分を撮像した顔画像（以下、「第２顔画像」と言う）を撮像する。

【0025】

そして、ユーザの顔画像（以下、「第１顔画像」と言う）と、上記第２顔画像からそれぞれ所定の特徴を抽出し、本人認証の登録を開始してから認証結果を出力する前までの期間内に特徴の変化が生じているか否かを判定する。ここで言う「所定の特徴」とは、髪型、髭の有無、被服の色又は背景の色等を指す。第１顔画像及び第２顔画像に含まれる顔の特徴量を特徴とすることもできる。

【0026】

かかる特徴の変化が生じているならば、第１顔画像を撮像した時点のユーザと、第２顔画像を撮像した時点のユーザとが入れ替わっている可能性が考えられるため、第三者によるなりすましが発生している可能性があると判定する。また、第２の画像を撮像した後、さらに第２の画像を撮像し、２つの第２の画像間の特徴の変化が生じている場合にも、なりすましが発生している可能性があると判定する。

【0027】

また、本実施形態では、ユーザの顔及び本人確認書類を含む画像（以下、「複合画像」と言う）を撮像することとしているため、上記の第２の画像と複合画像との間の特徴の変化が生じている場合にも、なりすましが発生している可能性があると判定する。

【0028】

具体的には、図１（ａ）に示すように、本人認証システムに対する本人確認書類の登録操作を受け付けたならば、端末装置は、本人確認書類を撮像する（Ｓ１）。かかる本人確認書類は、公的機関により発行された運転免許証、パスポート又はマイナンバーカード等の書類であり、ユーザの顔写真が貼付されている。その後、端末装置は、ユーザの第１顔画像を撮像し、第１顔画像に含まれる特徴を抽出する（Ｓ２）。

【0029】

端末装置は、第１顔画像を撮像したならば、その後所定時間後（ユーザが服の着替え又は部屋の移動を行えない時間、例えば１０秒後）に第２顔画像を撮像し、第２顔画像から特徴を抽出する（Ｓ３）。この第２顔画像は、すでに説明した通り、ユーザが意識していないバックグラウンドの状態で撮像される画像である。このため、端末装置は、ユーザに対して第２顔画像を撮像することを報知しない。事前に、状況により撮像する場合があると通知しておけばよい。その後、端末装置は、ユーザの顔及び本人確認書類を含む複合画像を撮像する旨のガイダンスを行い、ユーザが準備を終えたならば複合画像を撮像し、複合画像から特徴を抽出する（Ｓ４）。

【0030】

図１（ｂ）は、第１顔画像の特徴の一例を示す図表である。ここでは、髪型は「短髪」、髭は「なし」、被服の色は「緑」、画像の背景色は「青」である特徴を示している。図１（ｃ）は、第２顔画像の特徴の一例を示す図表である。ここでは、髪型は「短髪」、髭は「なし」、被服の色は「緑」、画像の背景色は「青」である特徴を示している。

【0031】

このように、図１（ｂ）に示す第１顔画像の特徴と、図１（ｃ）に示す第２顔画像の特徴には変化がない。このため、第１顔画像の人物と第２顔画像の人物は同一人物であり、なりすましが生じていないと判定する。

【0032】

一方、図１（ｄ）は、複合画像の特徴の一例を示す図表である。ここでは、髪型は「短髪」、髭は「なし」、被服の色は「ピンク」、画像の背景色は「青」である特徴を示している。この場合には、図１（ｃ）に示す第２顔画像の特徴と、図１（ｄ）に示す複合画像の特徴に変化（被服の色の変化）がある。このため、第２顔画像の人物と複合画像の人物は同一人物ではなく、なりすましが生じている可能性があると判定する。

【0033】

＜本人認証システムのシステム構成＞
次に、本実施形態に係る本人認証システムのシステム構成について説明する。図２は、図１に示した本人認証システムのシステム構成を示す図である。図２に示すように、この本人認証システムは、本人認証装置１０、端末装置２０及び基地局Ｒを備え、本人認証装置１０は、ネットワークＮに接続され、端末装置２０は、例えば、無線通信の基地局Ｒを介してネットワークＮに接続される。

【0034】

本人認証装置１０は、ユーザの本人認証処理と、本人確認書類の登録時におけるなりすましの判定処理等を行う装置である。具体的には、第１顔画像、第２顔画像及び複合画像を用いたなりすましの判定処理、なりすましが発生していないことを条件とする本人確認書類の画像の登録処理等を行う。

【0035】

端末装置２０は、端末装置２０のカメラ２２を用いて、本人確認書類の画像を取得する処理と、第１顔画像を撮像する処理と、第２顔画像を撮像する処理と、複合画像を撮像する処理と、本人認証装置１０で判定された認証結果を表示部に表示制御する処理等を行う。

【0036】

＜本人認証装置１０の構成＞
次に、図２に示した本人認証装置１０の構成について説明する。図３は、図２に示した本人認証装置１０の構成を示す機能ブロック図である。図３に示すように、本人認証装置１０は、表示部１１と、操作部１２と、通信Ｉ／Ｆ部１３と、記憶部１４と、制御部１５とを有する。

【0037】

表示部１１は、液晶パネル又はディスプレイ装置などの表示デバイスであり、操作部１２は、キーボードやマウスなどの入力デバイスである。通信Ｉ／Ｆ部１３は、端末装置２０などの他の装置と通信を行うためのインターフェース部である。

【0038】

記憶部１４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、本人確認書類画像データ１４ａ、第１顔画像データ１４ｂ、第２顔画像データ１４ｃ、複合画像データ１４ｄ、特徴抽出データ１４ｅ及び認証済画像データ１４ｆを記憶する。

【0039】

制御部１５は、本人認証装置１０の全体を制御する制御部であり、本人確認書類画像処理部１５ａ、第１顔画像処理部１５ｂ、第２顔画像処理部１５ｃ、複合画像処理部１５ｄ、認証処理部１５ｅ及びなりすまし判定部１５ｆを有する。実際には、これらプログラムをＣＰＵにロードして実行することにより、本人確認書類画像処理部１５ａ、第１顔画像処理部１５ｂ、第２顔画像処理部１５ｃ、複合画像処理部１５ｄ、認証処理部１５ｅ及びなりすまし判定部１５ｆにそれぞれ対応するプロセスを実行させることになる。

【0040】

本人確認書類画像処理部１５ａは、端末装置２０で取得され、登録依頼された本人確認書類の画像を受信し、本人確認書類画像データ１４ａとして記憶部１４に記憶する。ここで、本人確認書類とは、運転免許証、パスポート及びマイナンバーカード等の公的機関が発行した証明証のいずれかである。

【0041】

第１顔画像処理部１５ｂは、端末装置２０で撮像され、登録依頼された第１顔画像を受信し、第１顔画像データ１４ｂとして記憶部１４に記憶する。また、取得された第１顔画像データ１４ｂから所定の特徴を抽出し、特徴抽出データ１４ｅとして記憶部１４に記憶する。なお、画像から特徴を抽出する場合には、例えば、深層学習により得られる学習済モデルに画像を入力し、画像の特徴を抽出することができる。

【0042】

かかる深層学習を用いる場合には、所定の特徴が含まれる画像とその結果を教師データとした教師有り学習を行って学習済モデルを生成しておく必要がある。また、深層学習以外の機械学習を用いることもできる。また、所定の特徴は、ユーザの髪の色、ユーザの髪型、ユーザの被服の色、ユーザの髭の状態、ユーザの化粧の状態、又は、ユーザの背景の色等である。

【0043】

第２顔画像処理部１５ｃは、端末装置２０でユーザが意識しないところで撮像された第２顔画像を受信し、第２顔画像データ１４ｃとして記憶部１４に記憶する。また、取得された第２顔画像データ１４ｃから所定の特徴を抽出し、特徴抽出データ１４ｅとして記憶部１４に記憶する。なお、画像から特徴を抽出する方法は、第１顔画像処理部１５ｂと同様である。

【0044】

複合画像処理部１５ｄは、端末装置２０で撮像された複合画像データ２４ｄを受信し、複合画像データ１４ｄとして記憶部１４に記憶する。また、取得された複合画像データ１４ｄから所定の特徴を抽出し、特徴抽出データ１４ｅとして記憶部１４に記憶する。なお、画像から特徴を抽出する方法は、第１顔画像処理部１５ｂと同様である。

【0045】

認証処理部１５ｅ（特許請求の範囲の認証処理手段に相当）は、本人確認書類画像データ１４ａに記憶された本人確認書類の顔部分画像と、端末装置２０から受信した第１顔画像データ１４ｂに基づいて、ユーザの本人認証処理を行う。かかる認証処理には、例えば、深層学習により得られる学習済モデルに２つの画像を入力し、画像の類似度を検出することができる。

【0046】

かかる深層学習を用いる場合には、顔の特徴が含まれる画像とその結果を教師データとした教師有り学習を行って学習済モデルを生成しておく必要がある。また、深層学習以外の機械学習を用いることもできる。

【0047】

なりすまし判定部１５ｆ（特許請求の範囲の検知手段に相当）は、認証を行っている人物が一連の認証手順でなりすましが行われているか否かを判定する。具体的には、第１顔画像、第２顔画像及び複合画像から抽出された特徴抽出データ１４ｅにおいて、所定の特徴、例えば、ユーザの髪の色、ユーザの髪型、ユーザの被服の色、ユーザの髭の状態、ユーザの化粧の状態、又は、ユーザの背景の色に変化がない場合は、なりすましは行われていないと判定し、変化がある場合は、なりすましが行われていると判定する。また、なりすまし判定部１５ｆは、なりすましが行われていないと判定した場合は、本人確認書類画像、第１顔画像を認証済画像データ１４ｆとして記憶部１４に記憶する。

【0048】

＜端末装置２０の構成＞
次に、図２に示した端末装置２０の構成について説明する。図４は、図２に示した端末装置２０の構成を示す機能ブロック図である。この端末装置２０は、ウェブブラウザを搭載したスマートフォンなどの端末である。

【0049】

図４に示すように、端末装置２０は、操作表示部２１、カメラ２２、通信Ｉ／Ｆ部２３、記憶部２４及び制御部２５を有する。ここでは、本実施形態の特徴に関する機能を図示することとし、一般的なスマートフォンが有する他の各種機能についての説明を省略する。

【0050】

操作表示部２１は、タッチパネル式液晶ディスプレイ等の入出力デバイスである。カメラ２２は、スマートフォンに搭載の撮像デバイスである。通信Ｉ／Ｆ部２３は、移動通信規格である第３世代移動通信方式、第４世代移動通信方式又は第５世代移動通信方式等による無線通信、無線ＬＡＮ（Local Area Network）等による近距離無線通信などを行うインターフェース部である。

【0051】

記憶部２４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、本人確認書類画像データ２４ａ、第１顔画像データ２４ｂ、第２顔画像データ２４ｃ、複合画像データ２４ｄ及び認証結果データ２４ｅを記憶する。

【0052】

制御部２５は、端末装置２０の全体を制御する制御部であり、本人確認書類画像取得部２５ａ、第１顔画像取得部２５ｂ、第２顔画像取得部２５ｃ、複合画像取得部２５ｄ及び認証結果処理部２５ｅを有する。実際には、これらプログラムをＣＰＵにロードして実行することにより、本人確認書類画像取得部２５ａ、第１顔画像取得部２５ｂ、第２顔画像取得部２５ｃ、複合画像取得部２５ｄ及び認証結果処理部２５ｅにそれぞれ対応するプロセスを実行させることになる。

【0053】

本人確認書類画像取得部２５ａは、本人確認書類の画像を取得する。具体的には、本人確認書類画像取得部２５ａは、操作表示部２１に撮像のためのガイド線を生成する。そして、ユーザがガイド線に沿って本人確認書類を置き、撮像ボタンを押したならば、カメラ２２からの画像を取得し、本人確認書類画像データ２４ａとして記憶部２４に記憶する。また、本人確認書類画像取得部２５ａは、該本人確認書類画像データ２４ａ及び画像の登録依頼を本人認証装置１０に送信する。なお、本人確認書類画像取得部２５ａは、例えば、運転免許証、パスポート及びマイナンバーカード等のどの本人確認書類を選択するのかを、選択画面を操作表示部２１に表示させ、ユーザに選択させてもよい。

【0054】

第１顔画像取得部２５ｂは、本人の第１顔画像を取得する。具体的には、第１顔画像取得部２５ｂは、本人の第１顔画像の撮像のため、操作表示部２１に撮像のためのガイド線を生成し、顔を該ガイド線に合わせるように促す。ユーザが本人の顔をガイド線に合わせ、撮像ボタンを押したならば、カメラ２２からの画像を取得し、第１顔画像データ２４ｂとして記憶部２４に記憶する。そして、第１顔画像取得部２５ｂは、該第１顔画像データ２４ｂ及び画像の登録依頼を本人認証装置１０に送信する。

【0055】

第２顔画像取得部２５ｃは、ユーザが意識しない状態（バックグラウンド）で第２顔画像を取得する。具体的には、第２顔画像取得部２５ｃは、ユーザが第１顔画像の撮像をするために、本人の顔をガイド線に合わせている状態で、ユーザが撮像ボタンを押さなくとも、例えば、顔がガイド線に入ったら自動的に顔及び背景の撮像を行い、カメラ２２からの画像を取得し、第２顔画像データ２４ｃとして記憶部２４に記憶し、該第２顔画像データ２４ｃを本人認証装置１０に送信する。また、第２顔画像取得部２５ｃは、カメラ２２から画像を取得した場合に、取得した画像を操作表示部２１に表示しないように制御する。

【0056】

複合画像取得部２５ｄは、ユーザの複合画像を取得する。具体的には、複合画像取得部２５ｄは、ユーザの複合画像を撮像するための、撮像ガイド線を操作表示部２１に生成し、ユーザの顔及び本人確認書類をガイド線に合わせるように促す。ユーザが顔と本人確認書類をガイド線に合わせ、撮像ボタンを押したならば、カメラ２２からの画像を取得し、複合画像データ２４ｄとして記憶部２４に記憶し、該複合画像データ２４ｄを本人認証装置１０に送信する。

【0057】

認証結果処理部２５ｅは、本人認証装置１０で判定した認証結果を受信し、認証結果データ２４ｅとして記憶部２４に記憶する。そして、認証結果処理部２５ｅは、該データを操作表示部２１に表示する。なお、認証結果の表示は、認証結果が本人であるとの判定の場合は、例えば「認証成功」を表示し、認証結果が本人ではないとの判定の場合は、「認証失敗」を表示する。なお、認証結果が本人ではないとの判定の場合は、何も表示しなくともよい。

【0058】

＜本人認証システムの処理手順＞
次に、図２に示した本人認証システムの処理手順について説明する。図５、図６及び図７は、本人認証システムの処理手順を示すシーケンス図である。

【0059】

図５、図６及び図７に示すように、端末装置２０は、本人確認書類の画像取得のため、操作表示部２１に撮像のためのガイド線を生成し、表示する（ステップＳ１０１）。そして、端末装置２０は、ユーザが本人確認書類をガイド線に合わせて置き、撮像ボタンを押したならば、本人確認書類の画像を、カメラ２２から取得し、該画像を本人確認書類画像データ２４ａとして記憶部２４に記憶する（ステップＳ１０２）。

【0060】

次に、端末装置２０は、取得した本人確認書類画像データ２４ａと登録依頼を本人認証装置１０に送信する（ステップＳ１０３）。本人認証装置１０は、端末装置２０から送信された本人確認書類画像データ２４ａを受信し、本人確認書類画像データ１４ａとして記憶部１４に記憶する（ステップＳ１０４）。

【0061】

端末装置２０は、ユーザの第１顔画像の取得のため、操作表示部２１に撮像のためのガイド線を生成し、表示する（ステップＳ１０５）。そして、端末装置２０は、ユーザがガイド線にユーザの顔を合わせ、撮像ボタンを押したならば、第１顔画像をカメラ２２から取得し、該第１顔画像を第１顔画像データ２４ｂとして記憶部２４に記憶する（ステップＳ１０６）。端末装置２０は、取得した第１顔画像データ２４ｂと登録依頼を本人認証装置１０に送信する（ステップＳ１０７）。

【0062】

本人認証装置１０は、端末装置２０から第１顔画像データ２４ｂを受信したならば、該第１顔画像を第１顔画像データ１４ｂとして記憶部１４に記憶する（ステップＳ１０８）。そして、本人認証装置１０は、該第１顔画像データ１４ｂから所定の特徴を抽出し、特徴抽出データ１４ｅとして記憶部１４に記憶する（ステップＳ１０９）。かかる特徴は、第１顔画像データ１４ｂを深層学習により得られる学習済モデルに入力し、抽出する。また、所定の特徴は、ユーザの髪の色、ユーザの髪型、ユーザの被服の色、ユーザの髭の状態、ユーザの化粧の状態、又は、ユーザの背景の色である。

【0063】

次に、端末装置２０は、ユーザの顔をガイド線に合わせている状態で、ユーザが撮像ボタンを押さなくとも、ユーザの意思に関係なく第２顔画像をカメラ２２から取得し、該第２顔画像を第２顔画像データ２４ｃとして記憶部２４に記憶する（ステップＳ１１０）。その後、端末装置２０は、第２顔画像データ２４ｃを本人認証装置１０に送信する（ステップＳ１１１）。

【0064】

第１顔画像の撮像回数が、例えば３回に満たない場合（ステップＳ１１２；Ｎｏ）、ステップＳ１０５に戻る。また、第１顔画像の撮像回数が３回になった場合（ステップＳ１１２；Ｙｅｓ）、次のステップＳ１１６に移行する。

【0065】

本人認証装置１０は、端末装置２０から第２顔画像データ２４ｃを受信したならば、該第２顔画像データ２４ｃを第２顔画像データ１４ｃとして記憶部１４に記憶する（ステップＳ１１３）。そして、本人認証装置１０は、取得された第２顔画像データ１４ｃから所定の特徴を抽出し、特徴抽出データ１４ｅとして記憶部１４に記憶する（ステップＳ１１４）。なお、所定の特徴は、深層学習により得られる学習済モデルに第２顔画像データ１４ｃ入力し、抽出する。

【0066】

端末装置２０での第１顔画像の受信回数が例えば３回に満たない場合（ステップＳ１１５；Ｎｏ）、ステップＳ１０８に戻る。また、第１顔画像の受信回数が３回になった場合（ステップＳ１１５；Ｙｅｓ）、次のステップＳ１１９に移行する。

【0067】

次に、端末装置２０は、複合画像の取得のため、操作表示部２１に撮像のためのガイド線を生成し、表示する（ステップＳ１１６）。そして、端末装置２０は、ユーザがガイド線にユーザ本人と本人確認書類を合わせ、撮像ボタンを押したならば、カメラ２２から画像を取得し、複合画像データ２４ｄとして記憶部２４に記憶する（ステップＳ１１７）。端末装置２０は、取得した複合画像データ２４ｄを本人認証装置１０に送信する（ステップＳ１１８）。

【0068】

本人認証装置１０は、端末装置２０から複合画像データ２４ｄを受信したならば、複合画像データ１４ｄとして記憶部１４に記憶する（ステップＳ１１９）。そして、本人認証装置１０は、複合画像データ１４ｄから所定の特徴を抽出し、特徴抽出データ１４ｅとして記憶部１４に記憶する（ステップＳ１２０）。

【0069】

次に、本人認証装置１０は、本人確認書類画像データ１４ａに記憶した本人確認書類の画像に含まれる顔部分画像と端末装置２０から取得した第１顔画像の比較をすることにより認証処理する（ステップＳ１２１）。本人認証装置１０は、認証処理の結果、本人と認証されなかったならば（ステップＳ１２２：Ｎｏ）、認証結果として「本人ではない」と判定する（ステップＳ１２８）。

【0070】

また、本人認証装置１０は、根拠処理の結果、本人と認識されたならば（ステップＳ１２２：Ｙｅｓ）、第１顔画像データ１４ｂ、第２顔画像データ１４ｃ及び複合画像データ１４ｄから所定の特徴を抽出し記憶された特徴抽出データ１４ｅの比較を行う（ステップＳ１２３）。具体的には、第１顔画像データ１４ｂ、第２顔画像データ１４ｃ及び複合画像データ１４ｄから抽出された、ユーザの髪の色、ユーザの髪型、ユーザの被服の色、ユーザの髭の状態、ユーザの化粧の状態、又は、ユーザの背景の色の特徴に変化があるか否かを比較する。

【0071】

本人認証装置１０は、特徴抽出データ１４ｅの特徴に変化がない場合は（ステップＳ１２４；Ｙｅｓ）、認証結果としてなりすましはなく「本人である」と判定する（ステップＳ１２５）。そして、本人認証装置１０は、各画像を認証済画像データ１４ｆとして記憶部１４に記憶し（ステップＳ１２６）、認証結果を端末装置２０に送信し（ステップＳ１２７）、処理を終了する。

【0072】

また、本人認証装置１０は、特徴抽出データ１４ｅの特徴に変化がある場合は（ステップＳ１２４；Ｎｏ）、認証結果としてなりすましがあり、「本人ではない」と判定する（ステップＳ１２８）。そして、本人認証装置１０は、認証結果を端末装置２０に送信し（ステップＳ１２９）、処理を終了する。

【0073】

端末装置２０は、本人認証装置１０から認証結果を受信したならば、認証結果データ２４ｅとして記憶部２４に記憶する（ステップＳ１３０）。そして、端末装置２０は、認証結果データ２４ｅを操作表示部２１に表示し（ステップＳ１３１）、処理を終了する。なお、認証結果の表示は、認証結果が、なりすましはなく「本人である」との判定の場合は、例えば認証成功を表示し、認証結果が、なりすましがあり「本人ではない」との判定の場合は、認証失敗を表示する。なお、認証結果が、なりすましがあり「本人ではない」との判定の場合は、何も表示しなくともよい。

【0074】

次に、端末装置２０の本人確認書類撮像時の画面イメージの一例について説明する。図８は、図２に示した端末装置２０の本人確認書類撮像時の画面イメージの一例を示す図である。図８に示すように、本人確認書類の撮像時は、操作表示部２１に撮像のためのガイド線を表示した状態を示している。

【0075】

次に、端末装置２０の第１顔画像の撮像時の画面イメージの一例について説明する。図９は、図２に示した端末装置２０の第１顔画像の撮像時の画面イメージの一例を示す図である。図９に示すように、第１顔画像の撮像時は、顔をどのような状態で撮像するかのガイド線を操作表示部２１に示している。図９では、顔を少し右に傾けた状態での撮像を要求している状態を示している。

【0076】

次に、端末装置２０のユーザの顔及び本人確認書類が同時に映った画像撮像時の画面イメージの一例を説明する。図１０は、図２に示した端末装置２０のユーザの顔及び本人確認書類が同時に映った画像撮像時の画面イメージの一例を示す図である。図１０に示すように、ユーザ本人の顔の位置と、本人確認書類の位置をガイド線で操作表示部２１に表示している状態を示している。

【0077】

上述してきたように、本実施形態では、少なくとも本人認証のユーザを撮像するカメラ２２を有する端末装置２０と、該端末装置２０から受信したユーザの画像に基づいて本人認証を行う本人認証装置１０とを通信可能に接続した本人認証システムであって、本人認証装置１０は、ユーザに関わる各画像（本人確認書類画像データ１４ａ、第１顔画像データ１４ｂ、第２顔画像データ１４ｃ及び複合画像データ１４ｄ）を記憶する記憶部１４と、端末装置２０からの登録依頼に含まれるユーザの第１顔画像データ２４ｂと、登録依頼に含まれるユーザが所持する本人確認書類の顔部分画像とに基づいて、ユーザの本人認証処理を行う認証処理部１５ｅと、端末装置２０からの登録依頼に含まれる第１顔画像データ２４ｂと、登録処理途中に端末装置２０から送信されるユーザの第２顔画像データ２４ｃとの間に所定の特徴の変化が存在するか否か検知するなりすまし判定部１５ｆと、なりすまし判定部１５ｆで所定の特徴の変化が検出されず、かつ、認証処理部１５ｅによりユーザが本人であると認証された場合に、ユーザの本人確認書類画像を認証済画像データ１４ｆとして記憶するように構成したので、本人認証を行う場合のなりすましを効率良く防止することができる。

【0078】

なお、上記実施形態では、ユーザの本人確認書類画像は、本人認証の過程で、端末装置２０で撮像し、本人認証装置１０に送信するように構成されているが、少なくとも本人認証のユーザを撮像するカメラ２２を有する端末装置２０と、端末装置２０から受信したユーザの画像に基づいて本人認証を行う本人認証装置１０とを通信可能に接続した本人認証システムであって、本人認証装置１０は、端末装置２０からの送信されるユーザの第１顔画像と、ユーザの本人確認書類画像データ１４ａの顔部分画像とに基づいて、ユーザの本人認証処理を行う認証処理部１５ｅと、端末装置２０からの受信したユーザの第１顔画像と、認証処理途中に端末装置２０から送信されるユーザの第２顔画像との間に所定の特徴の変化が存在するか否かを検知するなりすまし判定部１５ｆと、なりすまし判定部１５ｆにより所定の特徴の変化が検知されず、かつ、認証処理手段により本人であると認証された場合に、端末装置２０にユーザが本人である旨を通知するように構成してもよい。

【0079】

上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0080】

本発明に係る本人認証システム、本人認証装置及び本人認証方法は、本人認証を行う場合のなりすましを効率良く防止する場合に適している。

【符号の説明】

【0081】

Ｎ ネットワーク
Ｒ 基地局
１０ 本人認証装置
１１ 表示部
１２ 操作部
１３ 通信Ｉ／Ｆ部
１４ 記憶部
１４ａ 本人確認書類画像データ
１４ｂ 第１顔画像データ
１４ｃ 第２顔画像データ
１４ｄ 複合画像データ
１４ｅ 特徴抽出データ
１４ｆ 認証済画像データ
１５ 制御部
１５ａ 本人確認書類画像処理部
１５ｂ 第１顔画像処理部
１５ｃ 第２顔画像処理部
１５ｄ 複合画像処理部
１５ｅ 認証処理部
１５ｆ なりすまし判定部
２０ 端末装置
２１ 操作表示部
２２ カメラ
２３ 通信Ｉ／Ｆ部
２４ 記憶部
２４ａ 本人確認書類画像データ
２４ｂ 第１顔画像データ
２４ｃ 第２顔画像データ
２４ｄ 複合画像データ
２４ｅ 認証結果データ
２５ 制御部
２５ａ 本人確認書類画像取得部
２５ｂ 第１顔画像取得部
２５ｃ 第２顔画像取得部
２５ｄ 複合画像取得部
２５ｅ 認証結果処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】