(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141864
(43)【公開日】2024-10-10
(54)【発明の名称】生体情報取得装置および生体情報取得方法
(51)【国際特許分類】
G06V 40/13 20220101AFI20241003BHJP
G03B 15/00 20210101ALI20241003BHJP
G02B 7/08 20210101ALI20241003BHJP
【FI】
G06V40/13
G03B15/00 Q
G02B7/08 A
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023053714
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】山田 太一
(72)【発明者】
【氏名】中村 秀幸
【テーマコード(参考)】
2H044
【Fターム(参考)】
2H044DA01
2H044DC01
(57)【要約】
【課題】非接触状態において、指紋認証に適した指紋データの取得を支援する。
【解決手段】生体情報取得装置は、第1のフォーカス制御または第2のフォーカス制御のそれぞれで非接触状態の被写体の指先を撮像するカメラと、第1のフォーカス制御で撮像された第1の撮像画像を取得する取得部と、第1の撮像画像の全域に対する被写体の指先の大きさを計測する計測部と、指先の大きさに基づいて、第2のフォーカス制御におけるカメラのフォーカスの刻み幅を決定し、カメラに第2のフォーカス制御により撮像されるフォーカス区間をフォーカスの刻み幅で撮像させる決定部と、第2のフォーカス制御で撮像されたM(M:2以上の整数)枚の第2の撮像画像のうちいずれか1枚の第2の撮像画像を取得する制御部と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
第1のフォーカス制御または第2のフォーカス制御のそれぞれで非接触状態の被写体の指先を撮像するカメラと、
前記第1のフォーカス制御で撮像された第1の撮像画像を取得する取得部と、
前記第1の撮像画像の全域に対する前記被写体の指先の大きさを計測する計測部と、
前記指先の大きさに基づいて、前記第2のフォーカス制御における前記カメラのフォーカスの刻み幅を決定し、前記カメラに前記第2のフォーカス制御により撮像されるフォーカス区間を前記フォーカスの刻み幅で撮像させる決定部と、
前記第2のフォーカス制御で撮像されたM(M:2以上の整数)枚の第2の撮像画像のうちいずれか1枚の第2の撮像画像を取得する制御部と、を備える、
生体情報取得装置。
【請求項2】
前記取得部は、
前記第1の撮像画像が撮像された第1のフォーカス距離情報をさらに取得し、
前記決定部は、
前記第1のフォーカス距離情報と、前記指先の大きさとに基づいて、前記フォーカスの刻み幅を決定する、
請求項1に記載の生体情報取得装置。
【請求項3】
前記計測部は、
前記第1の撮像画像に写る前記指先がいずれの指であるかを特定し、
前記決定部は、
特定された指の情報と、前記指先の大きさとに基づいて、前記フォーカスの刻み幅を決定する、
請求項1に記載の生体情報取得装置。
【請求項4】
前記第1のフォーカス制御は、オートフォーカス制御であって、
前記第2のフォーカス制御は、マニュアルフォーカス制御である、
請求項1に記載の生体情報取得装置。
【請求項5】
前記取得部は、
前記第1の撮像画像が撮像された第1のフォーカス距離情報を取得し、
前記決定部は、
前記第1のフォーカス距離情報に基づいて、前記第2のフォーカス制御で撮像されるフォーカス区間を決定する、
請求項1に記載の生体情報取得装置。
【請求項6】
前記決定部は、
前記第1のフォーカス距離情報が前記被写体の生体情報を取得可能な所定のフォーカス範囲内であるか否かを判定し、
前記第1のフォーカス距離情報が前記所定のフォーカス範囲内であると判定した場合、前記第1のフォーカス距離情報に基づいて、前記フォーカス区間を決定する、
請求項5に記載の生体情報取得装置。
【請求項7】
前記決定部は、
前記第1のフォーカス距離情報が前記所定のフォーカス範囲内でないと判定した場合、前記被写体に前記カメラに対する前記指先の位置の変更を要求する旨の通知を生成して出力し、前記第1の撮像画像に映る前記指先の位置に前記カメラのフォーカス座標を設定させ、前記第1の撮像画像を再撮像させる制御指令を生成し、前記カメラに前記制御指令に基づく前記第1のフォーカス制御を実行させる、
請求項6に記載の生体情報取得装置。
【請求項8】
前記決定部は、
前記第1のフォーカス距離情報が、前記フォーカス区間に含まれ、かつ、前記M枚の第2の撮像画像を撮像可能な最小フォーカス距離以上であるか否かを判定し、
前記第1のフォーカス距離情報が前記最小フォーカス距離以上であると判定した場合、前記第1のフォーカス距離情報に基づいて、前記フォーカス区間を決定する、
請求項6に記載の生体情報取得装置。
【請求項9】
前記決定部は、
前記第1のフォーカス距離情報が、前記フォーカス区間に含まれ、かつ、前記最小フォーカス距離以上でないと判定した場合、前記被写体に前記カメラに対する前記指先の位置の変更を要求する旨の通知を生成して出力し、前記第1の撮像画像に映る前記指先の位置に前記カメラのフォーカス座標を設定させ、前記第1の撮像画像を再撮像させる制御指令を生成し、前記カメラに前記制御指令に基づく前記第1のフォーカス制御を実行させる、
請求項8に記載の生体情報取得装置。
【請求項10】
前記決定部は、
前記第1の撮像画像から前記指先の外郭を検出したと判定した場合、前記第1のフォーカス距離情報に基づいて、前記フォーカス区間を決定する、
請求項5に記載の生体情報取得装置。
【請求項11】
前記決定部は、
前記第1の撮像画像から前記指先の外郭を検出していないと判定した場合、前記カメラのイメージセンサの中央位置に前記カメラのフォーカス座標を設定させ、前記第1の撮像画像を再撮像させる制御指令を生成し、前記カメラに前記制御指令に基づく前記第1のフォーカス制御を実行させる、
請求項10に記載の生体情報取得装置。
【請求項12】
前記第2の撮像画像に映る指先の指紋にフォーカスが合っている度合いを示すスコアを算出する算出部、をさらに備え、
前記制御部は、
前記M枚の第2の撮像画像のそれぞれのうち算出された評価値が最も大きい第2の撮像画像を取得する、
請求項1に記載の生体情報取得装置。
【請求項13】
前記制御部は、
前記M枚の第2の撮像画像のそれぞれのうち算出された前記評価値が最も大きく、かつ、前記評価値が閾値以上である第2の撮像画像を取得する、
請求項12に記載の生体情報取得装置。
【請求項14】
前記制御部は、
前記第2のフォーカス制御により撮像された前記第2の撮像画像のうち異なるM個の第2のフォーカス距離のそれぞれで撮像された前記M枚の前記第2の撮像画像を一時記憶し、一時記憶された前記M枚の前記第2の撮像画像のうちいずれか1枚の前記第2の撮像画像を取得して記録する、
請求項1に記載の生体情報取得装置。
【請求項15】
被写体の指先が撮像された撮像画像を取得可能な生体情報取得装置が行う生体情報取得方法であって、
カメラによる第1のフォーカス制御で非接触状態の被写体の手指を撮像し、
前記第1のフォーカス制御で撮像された第1の撮像画像を取得し、
前記第1の撮像画像の全域に対する前記被写体の指先の大きさを計測し、
前記指先の大きさに基づいて、前記第1のフォーカス制御と異なる第2のフォーカス制御で撮像される前記カメラのフォーカスの刻み幅を決定し、
前記カメラの前記第2のフォーカス制御により撮像されるフォーカス区間を前記フォーカスの刻み幅で撮像し、
前記第2のフォーカス制御で撮像されたM(M:2以上の整数)枚の第2の撮像画像のうちいずれか1枚の第2の撮像画像を取得する、
生体情報取得方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体情報取得装置および生体情報取得方法に関する。
【背景技術】
【0002】
特許文献1には、モバイルデバイスを用いて、対象者の複数の指のそれぞれの特徴を抽出し、抽出された特徴を含むバイオメトリック識別子を生成してメモリに記憶する指紋認識を実施するための方法が開示されている。指紋認識を実施するための方法は、カメラ、記憶媒体、記憶媒体に記憶された命令、および命令の実行するモバイルデバイスによって、対象者の複数の指の画像をキャプチャし、指先検出アルゴリズムにより画像に描かれている複数の指を検出して、複数の指のそれぞれの指先セグメントを識別し、識別されたそれぞれの指先セグメントから複数の指の特徴を抽出し、抽出された特徴を含むバイオメトリック識別子を生成してメモリに記憶する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の構成では、ディスプレイ上に、ユーザに指の配置を指示するマーキングあるいはガイドを表示して、撮像されるユーザの指の配置を誘導する。しかし、例えば、性別,年齢等、ユーザごとに指の大きさ,厚さが異なるため、従来文献1の方法でキャプチャされた複数の指の画像は、指紋にフォーカスが合っていない可能性があった。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、非接触状態において、指紋認証に適した指紋データをより効率的に取得できる生体情報取得装置および生体情報取得方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、第1のフォーカス制御または第2のフォーカス制御のそれぞれで非接触状態の被写体の指先を撮像するカメラと、前記第1のフォーカス制御で撮像された第1の撮像画像を取得する取得部と、前記第1の撮像画像の全域に対する前記被写体の指先の大きさを計測する計測部と、前記指先の大きさに基づいて、前記第2のフォーカス制御における前記カメラのフォーカスの刻み幅を決定し、前記カメラに前記第2のフォーカス制御により撮像されるフォーカス区間を前記フォーカスの刻み幅で撮像させる決定部と、前記第2のフォーカス制御で撮像されたM(M:2以上の整数)枚の第2の撮像画像のうちいずれか1枚の第2の撮像画像を取得する制御部と、を備える、生体情報取得装置を提供する。
【0007】
また、本開示は、被写体の指先が撮像された撮像画像を取得可能な生体情報取得装置が行う生体情報取得方法であって、カメラによる第1のフォーカス制御で非接触状態の被写体の手指を撮像し、前記第1のフォーカス制御で撮像された第1の撮像画像を取得し、前記第1の撮像画像の全域に対する前記被写体の指先の大きさを計測し、前記指先の大きさに基づいて、前記第1のフォーカス制御と異なる第2のフォーカス制御で撮像される前記カメラのフォーカスの刻み幅を決定し、前記カメラの前記第2のフォーカス制御により撮像されるフォーカス区間を前記フォーカスの刻み幅で撮像し、前記第2のフォーカス制御で撮像されたM(M:2以上の整数)枚の第2の撮像画像のうちいずれか1枚の第2の撮像画像を取得する、生体情報取得方法を提供する。
【発明の効果】
【0008】
本開示によれば、非接触状態において、指紋認証に適した指紋データをより効率的に取得できる。
【図面の簡単な説明】
【0009】
【
図1】実施の形態1に係る端末装置の内部構成例を示すブロック図
【
図2】実施の形態1に係る端末装置の動作手順例を示すシーケンス図
【
図3】実施の形態1に係る端末装置の動作手順例を示すシーケンス図
【
図6】第1のアラート画面例および第2のアラート画面例を説明する図
【
図7】第3のアラート画面例および指示画面例を説明する図
【
図8】実施の形態2に係る生体情報取得システムの一例を示す図
【
図9】実施の形態2に係る生体情報取得システムの内部構成例を示すブロック図
【
図10】実施の形態2に係る生体情報取得システムの動作手順例を示すシーケンス図
【発明を実施するための形態】
【0010】
(本開示に至る経緯)
従来、指紋登録をユーザが所有する端末装置で行う指紋登録方法がある。しかし、ユーザ自身で指紋を撮像する場合、ユーザは、端末装置に指先を近づけすぎて撮像すると指紋にフォーカスが合わず、指先を遠ざけて撮像すると端末装置に表示される指先が小さくなり、指紋にフォーカスが合っているか否かの視認が困難となる。また、一般的に、ユーザが所持するスマートフォン,タブレット端末等の汎用的な端末装置は、広角カメラを備えるため、指先の指紋にフォーカスを合わせた撮像が困難だった。
【0011】
そこで、従来、撮像された撮像画像に映る指先を拡大した拡大画像を端末装置の画面に表示することで、指先の指紋にフォーカスが合っているか否かを確認可能な指紋画像の取得方法が考えられる。しかし、ユーザは、拡大画像を見ながら指先の位置を調整する場合、画面に表示された拡大画像の拡大倍率がわからないため、端末装置に対する手の位置を直観的に把握しにくく、必要以上に手を移動させてしまうことで、手指がカメラの画角から外れやすくなり、指紋にフォーカスが合うように指先の位置を調整することが困難だった。
【0012】
このため、かざされた指先をそれぞれ異なるフォーカス距離で複数撮像し、撮像された複数の撮像画像のうち指紋認証に適した画像を取得することが望ましい。しかし、指の厚さはユーザごとあるいは指ごとに異なるため、指先の指紋にフォーカスが合うように指先の位置を調整することが困難だった。
【0013】
よって、以下に示す各実施の形態においては、非接触状態において、指紋認証に適した指紋データの取得を支援する生体情報取得装置および生体情報取得方法の例を説明する。
【0014】
以下、適宜図面を参照しながら、本開示に係る生体情報取得装置および生体情報取得方法の構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0015】
(実施の形態1)
図1を参照して、実施の形態1に係る端末装置P1の内部構成例について説明する。
図1は、実施の形態1に係る端末装置P1の内部構成例を示すブロック図である。
【0016】
生体情報取得装置の一例としての実施の形態1に係る端末装置P1は、任意あるいは指定されたいずれか1本の指(例えば、中指,人差し指等)の指紋を撮像し、撮像された撮像画像から指紋認証に利用可能な指紋画像を取得する。端末装置P1は、通信部10と、プロセッサ11と、メモリ12と、カメラ13と、モニタ14と、指紋データベースDB1とを含む。
【0017】
通信部10は、データの送受信を行うための通信インターフェース回路を用いて構成される。通信部10は、外部装置(例えば、モニタ(不図示)等),外部記憶媒体(例えば、microSD(登録商標),Universal Serial Bus(以下、「USB」と称する,登録商標)等)との間でそれぞれ有線通信可能に接続されてもよいし、無線通信可能に接続されてもよい。なお、ここでいう無線通信は、例えばWi-Fi(登録商標)等の無線Local Area Network(以下、「LAN」と称する)を介した通信である。
【0018】
取得部、決定部、制御部、および算出部の一例としてのプロセッサ11は、例えばCentral Processing Unit(以下、「CPU」と称する)またはField Programmable Gate Array(以下、「FPGA」と称する)を用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的には、プロセッサ11は、メモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、指紋の撮像および指紋データの取得に関する各種機能を実現する。
【0019】
プロセッサ11は、ユーザ操作により指紋を取得可能なアプリケーションが起動されると、カメラ13に撮像を開始させる制御指示を生成して出力する。プロセッサ11は、カメラ13から出力された撮像画像を取得し、ユーザの手全体あるいは少なくとも1本の指を撮像した撮像画像(第1の撮像画像の一例)と、この撮像画像が撮像された時のカメラ13のフォーカス距離(オートフォーカス距離またはマニュアルフォーカス距離であって、第1のフォーカス距離の一例)とを取得する。
【0020】
プロセッサ11は、取得された撮像画像からいずれか1本の指先を検出する。プロセッサ11は、撮像画像から指先を検出したと判定した場合、検出された指がいずれの指(例えば、中指,人差し指,薬指等)であるかの特定と、カメラ13の画角に対する指先の大きさ(面積)の測定とを実行する。プロセッサ11は、特定された指先の情報と、計測された指先の大きさと、取得されたフォーカス距離とに基づいて、この指先の指紋の撮像を開始するフォーカス距離(以降、「撮像開始フォーカス距離」と表記)と、この指先の指紋撮像を終了するフォーカス距離(以降、「撮像終了フォーカス距離」と表記)とを決定する。なお、検出された指がいずれの指であるかの特定処理は、必須でなく、省略されてもよい。
【0021】
また、プロセッサ11は、計測された指先の大きさと、取得されたフォーカス距離とに基づいて、カメラ13によるフォーカス区間のフォーカス刻み幅を決定する。
【0022】
プロセッサ11は、マニュアル制御により撮像開始フォーカス距離から撮像終了フォーカス距離までのフォーカス区間を、決定されたフォーカス刻み幅で撮像させるマニュアル撮像指令を生成して、カメラ13に出力する。
【0023】
また、プロセッサ11は、取得されたフォーカス距離と、フォーカス刻み幅の情報に基づいて、撮像開始フォーカス距離から撮像終了フォーカス距離までのフォーカス区間でカメラ13により撮像される第1~第N(N:2以上の整数)のフォーカス距離を算出する。なお、ここで算出される第1~第Nのフォーカス距離は、フォーカス区間に含まれ、それぞれ異なるフォーカス距離を示す。
【0024】
プロセッサ11は、カメラ13による撮像開始フォーカス距離から撮像終了フォーカス距離までの撮像が開始されると、カメラ13により撮像された1枚の撮像画像と、この撮像画像が撮像されたマニュアルフォーカス距離の情報とを取得する。プロセッサ11は、カメラ13から取得された撮像画像に対応するフォーカス距離(第2のフォーカス距離の一例)が、第1~第Nのフォーカス距離のいずれかと一致すると判定した場合、この撮像画像を取得して、メモリ12に一時記憶させる。一方、プロセッサ11は、カメラ13により出力された撮像画像に対応するフォーカス距離が第1~第Nのフォーカス距離のいずれにも一致しない、または、対応するフォーカス距離と同一のフォーカス距離の撮像画像が一時記憶済みであると判定した場合、この撮像画像の一時記憶を省略し、破棄(削除)する。
【0025】
プロセッサ11は、第1~第Nのフォーカス距離に対応するフォーカス距離のうちそれぞれ異なるM(M:2以上の整数,M≦N)個のフォーカス距離で撮像されたM枚の撮像画像を取得および一時記憶した後、これらM枚の撮像画像のそれぞれに映る指紋にフォーカスが合っている度合いを示すスコアを算出する。プロセッサ11は、算出されたスコアのうち最大のスコアを有する撮像画像を抽出する。プロセッサ11は、抽出された撮像画像のスコアが閾値以上であるか否かを判定する。
【0026】
なお、上述した閾値は、撮像画像に映る指紋にフォーカスが合っていることを示す閾値である。
【0027】
プロセッサ11は、撮像画像のスコアが閾値以上であると判定した場合、この撮像画像から指先が映る領域を切り出した指紋画像、または、指紋画像に映る指紋から抽出されたユーザの個人性を示す特徴量を、ユーザの指紋データとして取得する。プロセッサ11は、取得された指紋データと、指紋データに対応するユーザ情報と、を対応付けて指紋データベースDB1に格納(登録)する。また、プロセッサ11は、取得された指紋データと、指紋データベースDB1に格納(登録)された指紋データとの照合に基づいて、指紋認証を実行する。
【0028】
なお、特徴量は、公知の技術(例えば、マニューシャ法,周波数特徴解析法など)を用いて抽出されてよい。例えば、マニューシャ法は、指紋の隆線のうち指紋の線の切れ目を示す端点、あるいは分岐点(分かれ目)を検出することで、指紋の特徴量を抽出する方法である。また、周波数特徴解析法は、指紋の凹凸を周波数として変換された周波数の波形から指紋の特徴量を抽出する方法である。
【0029】
メモリ12は、例えばプロセッサ11の各処理を実行する際に用いられるワークメモリとしてのRandom Access Memory(以下、「RAM」と称する)と、プロセッサ11の動作を規定したプログラムおよびデータを格納するRead Only Memory(以下、「ROM」と称する)とを有する。RAMには、プロセッサ11により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ11の動作を規定するプログラムが書き込まれている。メモリ12は、プロセッサ11から出力されたM枚の撮像画像のそれぞれを一時記憶する。
【0030】
メモリ12は、カメラ13の画角の大きさと、カメラ13の画角の大きさに対する指先の大きさ(面積)とに基づいて、決定されたフォーカス区間におけるカメラ13のフォーカス刻み幅を決定するためのテーブル,学習済みの学習モデル等を記録する。なお、これらのテーブル,学習モデルは、カメラ13の画角の大きさと、カメラ13の画角の大きさに対する指先の大きさ(面積)と、指先の種類(例えば、中指,人差し指等)とに基づいて、カメラ13のフォーカス刻み幅を決定するものであってもよい。
【0031】
カメラ13は、少なくともレンズ(不図示)とイメージセンサ(不図示)とを有して構成される。イメージセンサは、例えばCharged-Coupled Device(以下、「CCD」と称する)またはComplementary Metal Oxide Semiconductor(以下、「CMOS」と称する)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
【0032】
カメラ13は、プロセッサ11によって入力された撮像開始の制御指示に基づいて、オートフォーカス制御またはマニュアルフォーカス制御による撮像を実行する。カメラ13は、撮像された撮像画像と、撮像画像が撮像されたフォーカス距離の情報とを対応付けてプロセッサ11に出力する。
【0033】
モニタ14は、例えばLiquid Crystal Display(以下、「LCD」と称する)もしくは有機Electroluminescence(以下、「EL」と称する)を用いて構成される。モニタ14は、カメラ13によって撮像された撮像画像、あるいはプロセッサ11によって生成された各種画面(例えば、
図6に示す第1のアラート画面Sc1,第2のアラート画面Sc2、
図7に示す第3のアラート画面Sc3,指示画面Sc4等)を出力して、表示する。
【0034】
モニタ14は、端末装置P1に備えられ、タッチパネルによって構成されたタッチインターフェースであってよい。このような場合、モニタ14は、操作部15としての機能を備え、ユーザの入力操作を受け付け、ユーザによる入力操作の結果をプロセッサ11に出力する。
【0035】
操作部15は、アプリケーションの起動操作、指紋データの取得(登録),再取得操作、ユーザのユーザ情報の入力操作等の入力操作を受け付け可能であり、入力操作の結果をプロセッサ11に出力する。操作部15は、上述したモニタ14のタッチパネルとして実現されてよい。また、操作部15は、マイク(不図示)を備え、ユーザの音声に基づく音声入力操作を受け付けてもよい。
【0036】
指紋データベースDB1は、所謂ストレージであって、例えばフラッシュメモリ、Hard Disk Drive(以下、「HDD」と称する)あるいはSolid State Drive(以下、「SSD」と称する)等の記憶媒体を用いて構成される。指紋データベースDB1は、プロセッサ11から出力された指紋データとユーザ情報(例えば、ユーザの氏名,年齢,性別,個人情報等)とをユーザごとに格納(登録)して管理する。なお、指紋データベースDB1は、端末装置P1と別体で構成されてよく、このような場合、通信部10を介してデータ通信可能に接続される。
【0037】
次に、
図2および
図3のそれぞれを参照して、実施の形態1に係る端末装置P1の動作手順について説明する。
図2は、実施の形態1に係る端末装置P1の動作手順例を示すシーケンス図である。
図3は、実施の形態1に係る端末装置P1の動作手順例を示すシーケンス図である。なお、
図2および
図3のそれぞれの説明においては、説明を分かり易くするために、指紋認証に適した撮像画像を撮像可能なフォーカス距離の範囲である所定範囲が15cm~17cmである例について説明するが、これに限定されないことは言うまでもない。
【0038】
ここで、端末装置P1は、指紋データの登録を実行する場合、ステップSt11~ステップSt36の処理を実行する。また、端末装置P1は、指紋データを用いた指紋認証を実行する場合、ステップSt11~ステップSt38の処理を実行する。
【0039】
プロセッサ11は、操作部15により受け付けられたユーザによる撮像開始操作に基づいて、ユーザの指紋の登録あるいは認証を実行可能なアプリケーションを起動する(St11)。プロセッサ11は、カメラ13に撮像を開始させる制御指示を生成して出力する(St12)。
【0040】
カメラ13は、プロセッサ11から送信された制御指令に基づいて、現在のカメラ13のオートフォーカス設定(例えば、オートフォーカス距離,フォーカス位置等の設定)をリセットする(St13)。カメラ13は、プロセッサ11から送信された制御指令に基づくオートフォーカス制御を実行し、ユーザの指先を撮像する(St14)。カメラ13は、撮像された撮像画像と、撮像画像が撮像されたフォーカス距離の情報とを対応付けてプロセッサ11に出力する(St15)。
【0041】
プロセッサ11は、カメラ13から出力された撮像画像を画像解析し、少なくとも第1関節を含む指先を検出する検出処理を実行する。プロセッサ11は、撮像画像から指先を検出したか否かを判定する(St16)。なお、ここで実行される指先の検出処理は、例えば、画像解析によって撮像画像に映る指先の輪郭(形状)を検出する処理である。
【0042】
プロセッサ11は、ステップSt16の処理において、撮像画像から指先を検出したと判定した場合(St16,YES)、検出された指先がいずれの指(例えば、中指,人差し指,薬指等)であるかの特定と、カメラ13の画角に対する指先の大きさ(面積)の測定とを実行する(St17)。なお、検出された指先がいずれの指であるかの特定処理は必須でなく、省略されてもよい。
【0043】
一方、プロセッサ11は、ステップSt16の処理において、撮像画像から指先を検出していないと判定した場合(St16,NO)、ユーザに、カメラ13の画角内に手をかざす旨を要求する第1のアラート画面Sc1を生成してモニタ14に出力し、表示させる(St18)。また、プロセッサ11は、モニタ14の中央位置に対応する位置にカメラ13のフォーカス座標を設定させる再撮像指令(制御指令)を生成して、カメラ13に出力する(St19)。
【0044】
カメラ13は、ステップSt19の処理の後、プロセッサ11から送信された制御指令に基づいて、現在のカメラ13のオートフォーカス設定をリセットする(St13)。カメラ13は、再撮像指令(制御指令)に基づいて、オートフォーカスによってフォーカスする座標をモニタ14の中央(中心位置)に対応する位置に設定した後、オートフォーカス制御を実行して指先を再撮像する(St14)。
【0045】
プロセッサ11は、撮像画像が撮像されたフォーカス距離が所定範囲(例えば、15cm~17cm等)内であるか否かを判定する(St20)。
【0046】
なお、ここでいう所定範囲は、指紋認証に適した指紋データ(撮像画像または特徴量)の取得可能なフォーカス距離の範囲である。所定範囲は、例えば、端末装置P1が備えるカメラ13のスペック(例えば、画素数,解像度等)または撮像パラメータ、取得された指紋データを用いて指紋認証を実行する指紋認証エンジンにより要求される指紋データのスペック(例えば、指紋画像の画素数,解像度等)等に基づいて決定される任意のフォーカス距離の範囲であり、事前に設定される。また、所定範囲は、後述するステップSt32の処理において、N枚の撮像画像を撮像可能な範囲であればよい。
【0047】
また、撮像画像の撮像枚数Nは、後述する撮像開始フォーカス距離と撮像終了フォーカス距離との間の距離(つまり、フォーカス区間)と、フォーカス刻み幅とに基づいて決定される2枚以上の任意の枚数である。
【0048】
プロセッサ11は、ステップSt20の処理において、撮像画像が撮像されたフォーカス距離が所定範囲内であると判定した場合(St20,YES)、撮像画像が撮像されたフォーカス距離が最小フォーカス距離以上であるか否かをさらに判定する(St21)。
【0049】
なお、ここでいう最小フォーカス距離は、所定範囲内であって、かつ、後述するステップSt32の処理において、それぞれ異なるフォーカス距離である第1~第Nのフォーカス距離で、N枚の撮像画像を撮像するために必要な最小フォーカス距離を示す。
【0050】
例えば、指紋データの取得のための所定範囲=15cm~17cm,カメラ13のフォーカス刻み幅=2mmであって、第1~第2の撮像画像のそれぞれを撮像する場合、必要な最小フォーカス距離は、所定範囲の最小値である15cmから2mmだけ遠い15.2cmである。これにより、カメラ13は、2つのフォーカス距離15.0mm,15.2mmのそれぞれで指先を撮像することができる。なお、最小フォーカス距離は、取得される撮像画像の枚数Mと、カメラ13のフォーカス刻み幅とに基づいて決定されてもよい。
【0051】
一方、プロセッサ11は、ステップSt20の処理において、撮像画像が撮像されたフォーカス距離が所定範囲(例えば、15cm~17cm)内でないと判定した場合(St20,NO)、撮像画像が撮像されたフォーカス距離が、所定範囲における最小距離(=15cm)未満であるか否かをさらに判定する(St22)。
【0052】
プロセッサ11は、ステップSt22の処理において、撮像画像が撮像されたフォーカス距離が、所定範囲における最小距離(=15cm)未満であると判定した場合(St22,YES)、ユーザに、カメラ13から手を遠ざける旨を要求する第2のアラート画面Sc2を生成してモニタ14に出力し、表示させる(St23)。
【0053】
一方、プロセッサ11は、ステップSt22の処理において、撮像画像が撮像されたフォーカス距離が、所定範囲における最小距離(=15cm)未満でないと判定した場合(St22,NO)、ユーザにカメラ13に手を接近させる旨を要求する第3のアラート画面Sc3を生成してモニタ14に出力し、表示させる(St24)。なお、ステップSt22の処理において、所定範囲における最小距離(=15cm)未満でないと判定した場合、フォーカス距離は、所定範囲における最大距離(=17cm)より大きいことを示す。
【0054】
プロセッサ11は、撮像画像から検出された指先位置、つまり、カメラ13の画角(イメージセンサ)に対する指先位置にカメラ13のフォーカス座標を設定させる再撮像指令(制御指令)を生成して、カメラ13に出力する(St25)。
【0055】
カメラ13は、ステップSt25の処理の後、プロセッサ11から送信された制御指令に基づいて、現在のカメラ13のオートフォーカス設定をリセットする(St13)。カメラ13は、再撮像指令(制御指令)に基づいて、オートフォーカスによってフォーカスする座標を、撮像画像から検出された指先位置に対応する位置に設定した後、オートフォーカス制御を実行して指先を再撮像する(St14)。
【0056】
プロセッサ11は、ステップSt21の処理において撮像画像が撮像されたフォーカス距離が最小フォーカス距離以上であると判定した場合(St21,YES)、ユーザに、カメラ13に対する現在の指先位置の維持を要求する指示画面Sc4を生成してモニタ14に出力し、表示させる(St26)。
【0057】
プロセッサ11は、撮像画像が撮像されたフォーカス距離に基づいて、第1~第Nの撮像画像のそれぞれを撮像するための撮像開始フォーカス距離と、撮像終了フォーカス距離とをそれぞれ決定し、カメラ13の画角に対する指先の大きさ(面積)に基づいて、フォーカス区間におけるカメラ13のフォーカス刻み幅を決定する。具体的に、プロセッサ11は、撮像画像が撮像されたフォーカス距離を撮像開始フォーカス距離に決定し、所定範囲における最小距離(=15cm)を撮像終了フォーカス距離に決定する。
【0058】
また、例えば、端末装置P1は、ユーザの指先の大きさがカメラ13の画角に対して40%以上である場合、ユーザの指先の厚みが大きいと判定して、フォーカスの刻み幅を2mmに設定し、ユーザの指先の大きさがカメラ13の画角に対して40%未満である場合、ユーザの指先の厚みが小さいと判定して、フォーカスの刻み幅を1mmに設定する。
【0059】
プロセッサ11は、決定された撮像開始フォーカス距離と、撮像終了フォーカス距離とを含み、撮像開始フォーカス距離から撮像終了フォーカス距離までのフォーカス区間において、フォーカス刻み幅でユーザの指先を撮像させるマニュアル撮像指令を生成する(St27)。
【0060】
なお、撮像開始フォーカス距離は、撮像画像が撮像されたフォーカス距離からフォーカス刻み幅(例えば、1mm,2mm等)だけカメラ13から遠ざかった距離を撮像開始フォーカス距離に決定してもよい。例えば、プロセッサ11は、撮像画像が撮像されたフォーカス距離が16mmであって、フォーカス刻み幅が2mmである場合、撮像開始フォーカス距離を16.2mmに決定してよい。これにより、プロセッサ11は、撮像画像が撮像されたフォーカス距離が、指先の厚み方向において、指先の輪郭から指の腹(指紋の略中心位置)までの任意の位置である場合、撮像開始フォーカス距離がカメラ13に接近し、指の腹側に設定されることをより効果的に抑制し、指紋データに適した画像をより効率的に取得可能にする。
【0061】
また、撮像終了フォーカス距離は、撮像枚数Nが固定値である場合、フォーカス刻み幅に基づいて、N枚の撮像画像のそれぞれの撮像に必要な最小フォーカス距離を算出し、撮像開始フォーカス距離から最小フォーカス距離分だけ撮像した場合のフォーカス距離を撮像終了フォーカス距離に設定してよい。これにより、プロセッサ11は、後述するステップSt30の処理において、撮像される撮像開始フォーカス距離から撮像終了フォーカス距離までを1つの周期とするカメラ13の撮像周期をより短縮することができる。したがって、プロセッサ11は、指紋データに適した画像の取得時間までに要する時間をより短縮できる。
【0062】
プロセッサ11は、撮像画像が撮像されたフォーカス距離に基づく撮像開始フォーカス距離および撮像終了フォーカス距離と、指先の大きさに基づくフォーカス刻み幅とに基づいて、フォーカス区間での撮像枚数Nを決定する。プロセッサ11は、決定された撮像枚数Nに基づいて、撮像開始フォーカス距離から撮像終了フォーカス距離までのフォーカス区間の間に撮像されるN枚の撮像画像のそれぞれの第1~第Nのフォーカス距離を算出する(St28)。
【0063】
プロセッサ11は、生成されたマニュアル撮像指令をカメラ13に出力する(St29)。
【0064】
カメラ13は、プロセッサ11から出力されたマニュアル撮像指令に基づいて、撮像モードをマニュアル撮像に切り替える。カメラ13は、マニュアル撮像指令に基づいて、フォーカス刻み幅でのフォーカス区間の撮像を、周期的に繰り返し実行する(St30)。カメラ13は、プロセッサ11から出力された撮像画像の出力指令(制御指令)に基づいて、出力指令を取得したタイミングで撮像された1枚の撮像画像と、この撮像画像が撮像されたフォーカス距離の情報とを対応づけて、プロセッサ11に出力する(St31)。
【0065】
プロセッサ11は、カメラ13により撮像された1枚の撮像画像に対して、第1~第Nのフォーカス距離で撮像された撮像画像であるか否か、第1~第Nのフォーカス距離で撮像された撮像画像であって、かつ、メモリ12に一時記憶済みの撮像画像であるか否かを判定する判定(以下、「一時記憶判定処理」と表記)を実行するタイミングで、1枚の撮像画像の出力を要求する制御指令(出力指令)を生成して、カメラ13に出力する。プロセッサ11は、カメラ13から出力された1枚の撮像画像を取得する。プロセッサ11は、取得された1枚の撮像画像に対して、一時記憶判定処理を実行する(St32)。
【0066】
プロセッサ11は、第1~第Nのフォーカス距離のいずれかのフォーカス距離と一致し、かつ、このフォーカス距離で撮像された撮像画像がメモリ12に記憶済みでないと判定した場合、取得された撮像画像をメモリ12に出力して一時記憶させる(St32)。また、プロセッサ11は、取得された撮像画像に対応付けられたフォーカス距離が、第1~第Nのフォーカス距離のいずれのフォーカス距離とも一致しない、または、このフォーカス距離で撮像された撮像画像がメモリ12に記憶済みであると判定した場合、取得された撮像画像の一時記憶を省略する。
【0067】
プロセッサ11は、取得された1枚の撮像画像の一時記憶判定処理が終了したタイミングで、1枚の撮像画像の出力を要求する制御指令(出力指令)を再度生成して、カメラ13に出力する。プロセッサ11は、カメラ13から出力された1枚の撮像画像に対する一時記憶判定処理を再度実行する。
【0068】
端末装置P1は、カメラ13による撮像開始フォーカス距離から撮像終了フォーカス距離までの撮像処理(ステップSt30の処理)、および、撮像された撮像画像の出力処理(ステップSt31の処理)と、プロセッサ11による各撮像画像の一時記憶判定処理(ステップSt32の処理)とを、第1~第Nのフォーカス距離のそれぞれで撮像された撮像画像のうちM枚の撮像画像を一時記憶するまでの間、並行して繰り返し実行する。
【0069】
プロセッサ11は、M枚の撮像画像の一時記憶が終了した後、M枚の撮像画像のそれぞれに映る指紋にフォーカスが合っている度合いを示すスコアをそれぞれ算出する(St33)。プロセッサ11は、算出されたスコアのうち最大のスコアを有する撮像画像を抽出する(St34)。プロセッサ11は、抽出された撮像画像のスコアが閾値以上であるか否かを判定する(St35)。
【0070】
プロセッサ11は、ステップSt35の処理において、抽出された撮像画像のスコアが閾値以上であると判定した場合(St35,YES)、この撮像画像から指先が映る領域を切り出した指紋画像、または、指紋画像に映る指紋から抽出されたユーザの個人性を示す特徴量を、ユーザの指紋データとして取得する(St36)。ここで、プロセッサ11は、ユーザの指紋データの登録処理を実行する場合、取得されたユーザの指紋データと、ユーザ情報とを対応付けて、指紋データベースDB1に格納(登録)して、
図2および
図3に示す動作手順を終了する。
【0071】
一方、プロセッサ11は、ステップSt35の処理において、抽出された撮像画像のスコアが閾値以上でないと判定した場合(St35,NO)、カメラ13の撮像モードをマニュアル撮像からオートフォーカス撮像に切り替えさせるとともに、ユーザの指先の再撮像を要求する再撮像指令(制御指令)を生成して、カメラ13に出力する。
【0072】
指紋認証を実行する場合、プロセッサ11は、取得された指紋データと、指紋データベースDB1に格納(登録)された少なくとも1つの指紋データとを照合して、ユーザの指紋認証を実行する(St37)。プロセッサ11は、ユーザの指紋認証結果を生成して、指紋認証結果をモニタ14に出力する。また、プロセッサ11は、ユーザの指紋認証結果と、指紋認証に用いられた指紋データのスコアと、指紋認証に用いられた指紋データに対応するフォーカス刻み幅の情報と、に基づいて、フォーカス刻み幅を決定するための学習モデルあるいはテーブル等の情報を更新(再学習)する(St38)。なお、プロセッサ11は、ステップSt37の処理において、ユーザの指紋認証が失敗した場合、ステップSt38の処理を省略してよい。
【0073】
カメラ13は、プロセッサ11から送信された制御指令に基づいて、撮像モードをマニュアル撮像からオートフォーカス撮像に切り替えるとともに、現在のカメラ13のオートフォーカス設定をリセットする(St13)。カメラ13は、再撮像指令(制御指令)に基づいて、オートフォーカス制御を実行して指先を再撮像する(St14)。
【0074】
以上により、実施の形態1に係る端末装置P1は、指紋認証により適した撮像画像をより効率的に取得できる。
【0075】
また、端末装置P1は、端末装置P1が備えるカメラ13のスペック(例えば、画素数,解像度等)または撮像パラメータ、指紋認証エンジンにより要求される指紋データのスペック(例えば、画素数,解像度等)等に基づいて設定された各種設定(例えば、所定範囲等)に基づいて、指紋認証により適した撮像画像を取得できる。
【0076】
次に、
図4および
図5のそれぞれを参照して、M枚の撮像画像の取得例について具体例を用いて説明する。
図4は、1回目の撮像画像の取得例を説明する図である。
図5は、2回目の撮像画像の取得例を説明する図である。
【0077】
カメラ13は、プロセッサ11から出力されたマニュアル撮像指令に基づいて、撮像開始フォーカス距離から撮像終了フォーカス距離までのフォーカス区間を1つの周期として、フォーカス区間の間をフォーカス刻み幅で撮像する撮像処理を繰り返し実行する。
【0078】
なお、
図4に示す1回目の撮像画像の取得処理は、一例として、3つの異なるフォーカス距離(第1~第3のフォーカス距離)のそれぞれで撮像された3枚の撮像画像(第1の撮像画像Img11,第2の撮像画像Img15,第3の撮像画像Img19のそれぞれ)を取得する例について説明する(M=N=3)。また、
図5に示す2回目の撮像画像の取得処理は、一例として、4つの異なるフォーカス距離(第1~第4のフォーカス距離)のそれぞれで撮像された4枚の撮像画像(第1の撮像画像Img21,第2の撮像画像Img26,第3の撮像画像Img31,第4の撮像画像Img36のそれぞれ)を取得する例について説明する(M=N=4)。
【0079】
カメラ13は、1周期目の撮像処理(時間帯Pd11)において、時間T11に第1のフォーカス距離で第1の撮像画像Img11を撮像し、時間T12に第2のフォーカス距離で第2の撮像画像Img12を撮像し、時間T13に第3のフォーカス距離で第3の撮像画像Img13を撮像する。
【0080】
プロセッサ11は、時間T11においてカメラ13により撮像された第1の撮像画像Img11を取得し、第1の撮像画像Img11に対する一時記憶判定処理(ステップSt32の処理)を実行し、第1の撮像画像Img11をメモリ12に記憶する。なお、プロセッサ11は、第1の撮像画像Img11の一時記憶判定処理中に、カメラ13により撮像された第2の撮像画像Img12および第3の撮像画像Img13のそれぞれの取得を省略する。
【0081】
カメラ13は、2周期目の撮像処理(時間帯Pd12)において、時間T14に第1のフォーカス距離で第1の撮像画像Img14を撮像し、時間T15に第2のフォーカス距離で第2の撮像画像Img15を撮像し、時間T16に第3のフォーカス距離で第3の撮像画像Img16を撮像する。
【0082】
プロセッサ11は、第1の撮像画像Img11をメモリ12に記憶した後、時間T15においてカメラ13により撮像された第2の撮像画像Img15を取得し、第2の撮像画像Img15に対する一時記憶判定処理(ステップSt32の処理)を実行し、第2の撮像画像Img15をメモリ12に記憶する。なお、プロセッサ11は、第2の撮像画像Img15の一時記憶判定処理中に、カメラ13により撮像された第1の撮像画像Img14および第3の撮像画像Img16のそれぞれの取得を省略する。
【0083】
カメラ13は、3周期目の撮像処理(時間帯Pd13)において、時間T17に第1のフォーカス距離で第1の撮像画像Img17を撮像し、時間T18に第2のフォーカス距離で第2の撮像画像Img18を撮像し、時間T19に第3のフォーカス距離で第3の撮像画像Img19を撮像する。
【0084】
プロセッサ11は、第2の撮像画像Img15をメモリ12に記憶した後、時間T19においてカメラ13により撮像された第3の撮像画像Img19を取得し、第3の撮像画像Img19に対する一時記憶判定処理(ステップSt32の処理)を実行し、第3の撮像画像Img19をメモリ12に記憶する。
【0085】
プロセッサ11は、メモリ12に記録された第1の撮像画像Img11、第2の撮像画像Img15、および、第3の撮像画像Img19のそれぞれのスコアを算出する。プロセッサ11は、算出されたスコアのうち最大のスコアを有する撮像画像し、抽出された撮像画像のスコアが閾値以上であるか否かを判定する。
【0086】
なお、ここで、
図4に示す例において取得された第1~第3の撮像画像のそれぞれは、スコアが閾値以上でないと判定される。プロセッサ11は、撮像モードをマニュアル撮像からオートフォーカス撮像に切り替えさせるとともに、ユーザの指先の再撮像を要求する再撮像指令(制御指令)を生成して、カメラ13に出力する。
【0087】
端末装置P1は、カメラ13がプロセッサ11から送信された制御指令に基づく撮像画像の撮像を開始することで、
図5に示す2回目の撮像画像の取得処理を開始する。
【0088】
図5に示す例におけるカメラ13は、1周期目の撮像処理(時間帯Pd21)において、時間T21に第1のフォーカス距離で第1の撮像画像Img21を撮像し、時間T22に第2のフォーカス距離で第2の撮像画像Img22を撮像し、時間T23に第3のフォーカス距離で第3の撮像画像Img23を撮像し、時間T24に第4のフォーカス距離で第4の撮像画像Img24を撮像する。
【0089】
カメラ13は、2周期目の撮像処理(時間帯Pd22)において、時間T25に第1のフォーカス距離で第1の撮像画像Img25を撮像し、時間T26に第2のフォーカス距離で第2の撮像画像Img26を撮像し、時間T27に第3のフォーカス距離で第3の撮像画像Img27を撮像し、時間T28に第4のフォーカス距離で第4の撮像画像Img28を撮像する。
【0090】
カメラ13は、3周期目の撮像処理(時間帯Pd23)において、時間T29に第1のフォーカス距離で第1の撮像画像Img29を撮像し、時間T30に第2のフォーカス距離で第2の撮像画像Img30を撮像し、時間T31に第3のフォーカス距離で第3の撮像画像Img31を撮像し、時間T32に第4のフォーカス距離で第4の撮像画像Img32を撮像する。
【0091】
カメラ13は、4周期目の撮像処理(時間帯Pd24)において、時間T33に第1のフォーカス距離で第1の撮像画像Img33を撮像し、時間T34に第2のフォーカス距離で第2の撮像画像Img34を撮像し、時間T35に第3のフォーカス距離で第3の撮像画像Img35を撮像し、時間T36に第4のフォーカス距離で第4の撮像画像Img36を撮像する。
【0092】
プロセッサ11は、撮像画像の一時記憶判定処理が可能なタイミングで、カメラ13により撮像された撮像画像を取得する。まず、プロセッサ11は、時間T21においてカメラ13により撮像された第1の撮像画像Img21を取得し、第1の撮像画像Img21に対する一時記憶判定処理(ステップSt32の処理)を実行し、第1の撮像画像Img21をメモリ12に記憶する。なお、プロセッサ11は、第1の撮像画像Img21の一時記憶判定処理中に、カメラ13により撮像された第2の撮像画像Img22、第3の撮像画像Img23、第4の撮像画像Img24、第1の撮像画像Img25のそれぞれの取得を省略する。
【0093】
プロセッサ11は、第1の撮像画像Img21をメモリ12に記憶した後、時間T26においてカメラ13により撮像された第2の撮像画像Img26を取得し、第2の撮像画像Img26に対する一時記憶判定処理(ステップSt32の処理)を実行し、第2の撮像画像Img26をメモリ12に記憶する。なお、プロセッサ11は、第2の撮像画像Img26の一時記憶判定処理中に、カメラ13により撮像された第3の撮像画像Img27、第4の撮像画像Img28、第1の撮像画像Img29、および、第2の撮像画像Img30のそれぞれの取得を省略する。
【0094】
プロセッサ11は、第2の撮像画像Img26をメモリ12に記憶した後、時間T31においてカメラ13により撮像された第3の撮像画像Img31を取得し、第3の撮像画像Img31に対する一時記憶判定処理(ステップSt32の処理)を実行し、第3の撮像画像Img31をメモリ12に記憶する。なお、プロセッサ11は、第3の撮像画像Img31の一時記憶判定処理中に、カメラ13により撮像された第4の撮像画像Img32、第1の撮像画像Img33、第2の撮像画像Img34、および、第3の撮像画像Img35のそれぞれの取得を省略する。
【0095】
プロセッサ11は、第3の撮像画像Img31をメモリ12に記憶した後、時間T36においてカメラ13により撮像された第4の撮像画像Img36を取得し、第4の撮像画像Img36に対する一時記憶判定処理(ステップSt32の処理)を実行し、第4の撮像画像Img36をメモリ12に記憶する。なお、プロセッサ11は、第4の撮像画像Img36の一時記憶判定処理中に、カメラ13により撮像された撮像画像(不図示)の取得を省略する。
【0096】
プロセッサ11は、メモリ12に記録された第1の撮像画像Img21、第2の撮像画像Img26、第3の撮像画像Img31、および、第4の撮像画像Img36のそれぞれのスコアを算出する。プロセッサ11は、算出されたスコアのうち最大のスコアを有する撮像画像し、抽出された撮像画像のスコアが閾値以上であるか否かを判定する。
【0097】
なお、ここで、
図5に示す例において取得された第1~第4の撮像画像のそれぞれのうちスコアが最大であるいずれか1枚の撮像画像は、スコアが閾値以上であると判定される。プロセッサ11は、スコアが閾値以上である撮像画像から指先が映る領域を切り出した指紋画像、または、指紋画像に映る指紋から抽出されたユーザの個人性を示す特徴量を、ユーザの指紋データとして取得する。プロセッサ11は、取得された指紋データを、指紋データに対応するユーザのユーザ情報と対応付けて指紋データベースDB1に格納(登録)する。
【0098】
また、上述した例では説明を簡単にするために、一例として、すべての撮像画像に対する一時記憶判定処理の時間が同じである例について説明したが、これに限定されないことは言うまでもない。
【0099】
また、上述した例では説明を簡単にするために、第1~第Nのフォーカス距離に対応するすべての撮像画像を取得する例について説明したが(つまり、N=M)、取得され、一時記憶される撮像画像の枚数は第1~第Nのフォーカス距離に対応する撮像画像のうちいずれかM枚であってよい(つまり、N≠M)。
【0100】
次に、
図6および
図7のそれぞれを参照して、指紋が撮像された撮像画像の取得過程において端末装置P1のモニタ14に出力(表示)される各種画面について説明する。
図6は、第1のアラート画面Sc1例および第2のアラート画面Sc2例を説明する図である。
図7は、第3のアラート画面Sc3例および指示画面Sc4例を説明する図である。
【0101】
なお、第1のアラート画面Sc1、第2のアラート画面Sc2、第3のアラート画面Sc3、および指示画面Sc4に示す各メッセージは一例であって、これに限定されないことは言うまでもない。
【0102】
第1のアラート画面Sc1は、撮像画像から少なくとも1本の指先を検出していないと判定した場合に、端末装置P1のステップSt18の処理において生成される。第1のアラート画面Sc1は、撮像された撮像画像Img1と、カメラ13の画角内に手をかざすことを要求する旨のメッセージMsg1「手を近づけてください」と、を含む。
【0103】
第2のアラート画面Sc2は、撮像画像が撮像されたフォーカス距離が、所定範囲における最小距離未満であると判定した場合に、端末装置P1のステップSt23の処理において生成される。第2のアラート画面Sc2は、撮像された撮像画像Img2と、ユーザにカメラ13から手を遠ざける旨を要求するメッセージMsg2「手を離してください」と、を含む。
【0104】
第3のアラート画面Sc3は、撮像画像が撮像されたフォーカス距離が、所定範囲における最小距離未満でないと判定した場合に、端末装置P1のステップSt24の処理において生成される。第3のアラート画面Sc3は、撮像された撮像画像Img3と、ユーザに手をかざす旨を要求するメッセージMsg3「手をかざしてください」と、を含む。
【0105】
指示画面Sc4は、撮像画像が撮像されたフォーカス距離が、最小フォーカス距離以上であると判定した場合に、端末装置P1のステップSt26の処理において生成される。指示画面Sc4は、撮像された撮像画像Img4と、カメラ13に対する現在の指先位置の維持する旨を要求するメッセージMsg4「手をそのままにしてください」と、を含む。
【0106】
(実施の形態2)
実施の形態1に係る端末装置P1は、端末装置P1単体で指紋データの登録または認証を実行する例を示した。実施の形態2に係る生体情報取得システム100は、端末装置P1Aにより指紋データを取得するための撮像画像の撮像を実行し、サーバS1により指紋データの登録または認証を実行する例について説明する。
【0107】
なお、実施の形態2における端末装置P1Aは、実施の形態1における端末装置P1と同様の構成を有する。そこで、以下の実施の形態2に係る生体情報取得システム100の説明では、実施の形態1における端末装置P1と同様の構成には、同一の符号を付与して、説明を省略する。
【0108】
図8および
図9のそれぞれを参照して、実施の形態2の生体情報取得システム100の構造および内部構造について説明する。
図8は、実施の形態2に係る生体情報取得システム100の一例を示す図である。
図9は、実施の形態2に係る生体情報取得システム100の内部構成例を示すブロック図である。
【0109】
実施の形態2に係る生体情報取得システム100は、端末装置P1Aと、サーバS1と、を含んで構成される。実施の形態2に係る生体情報取得システム100は、端末装置P1Aにより実施の形態1における端末装置P1と同様の処理で撮像画像の取得処理を実行し、サーバS1により指紋データの登録または認証を実行する。なお、端末装置P1Aの台数は複数であってもよい。
【0110】
生体情報取得装置の一例としての端末装置P1Aは、
図2および
図3のそれぞれに示す動作手順において、ステップSt11~ステップSt36、およびステップSt38の処理を実行する。端末装置P1Aは、通信部10Aと、プロセッサ11Aと、メモリ12Aと、カメラ13と、モニタ14Aとを含む。
【0111】
通信部10Aは、サーバS1との間で、有線通信または無線通信によりデータの送受信を行うための通信インターフェース回路を用いて構成される。通信部10Aは、プロセッサ11Aから出力されたM枚の撮像画像のそれぞれと、ユーザ情報とをサーバS1に送信する。通信部10Aは、サーバS1から送信された指紋登録または認証結果の情報を取得して、プロセッサ11Aに出力する。
【0112】
取得部、決定部、制御部、および算出部の一例としてのプロセッサ11Aは、例えばCPUまたはFPGAを用いて構成されて、メモリ12Aと協働して、各種の処理および制御を行う。具体的には、プロセッサ11Aは、メモリ12Aに保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、指紋の撮像に関する各種機能を実現する。
【0113】
メモリ12Aは、例えばプロセッサ11Aの各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ11Aの動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ11Aにより生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ11Aの動作を規定するプログラムが書き込まれている。メモリ12Aは、プロセッサ11Aから出力されたM枚の撮像画像のそれぞれと、ユーザのユーザ情報とを記憶する。
【0114】
メモリ12Aは、カメラ13の画角の大きさと、カメラ13の画角の大きさに対する指先の大きさ(面積)とに基づいて、決定されたフォーカス区間におけるカメラ13のフォーカス刻み幅を決定するためのテーブル,学習済みの学習モデル等を記録する。なお、これらのテーブル,学習モデルは、カメラ13の画角の大きさと、カメラ13の画角の大きさに対する指先の大きさ(面積)と、指先の種類(例えば、中指,人差し指等)とに基づいて、カメラ13のフォーカス刻み幅を決定するものであってもよい。
【0115】
モニタ14Aは、例えばLCDもしくは有機ELを用いて構成される。モニタ14Aは、カメラ13によって撮像された撮像画像、あるいはプロセッサ11Aによって生成された各種画面(例えば、
図6に示す第1のアラート画面Sc1,第2のアラート画面Sc2、
図7に示す第3のアラート画面Sc3,指示画面Sc4、認証結果を通知する画面(不図示)等)を出力して、表示する。
【0116】
サーバS1は、
図2および
図3のそれぞれに示す動作手順において、ステップSt37の処理を実行する。サーバS1は、通信部20と、プロセッサ21と、メモリ22と、指紋データベースDB2と、を含む。
【0117】
通信部20は、端末装置P1Aとの間で、有線通信または無線通信によりデータの送受信を行うための通信インターフェース回路を用いて構成される。通信部20は、端末装置P1Aから送信された指紋データをプロセッサ21に出力する。通信部20は、プロセッサ21から出力された指紋データの登録または指紋認証結果を端末装置P1Aに送信する。
【0118】
プロセッサ21は、例えばCPUまたはFPGAを用いて構成されて、メモリ22と協働して、各種の処理および制御を行う。具体的には、プロセッサ21は、メモリ22に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、指紋の登録に関する各種機能を実現する。
【0119】
メモリ22は、例えばプロセッサ21の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ21の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ21により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ21の動作を規定するプログラムが書き込まれている。
【0120】
また、メモリ22は、任意のカメラの画角の大きさと、画角の大きさに対する指先の大きさ(面積)とに基づいて、決定されたフォーカス区間における任意のカメラのフォーカス刻み幅を決定するためのテーブル,学習済みの学習モデル等を記録してもよい。なお、これらのテーブル,学習モデルは、任意のカメラの画角の大きさと、カメラの画角の大きさに対する指先の大きさ(面積)と、指先の種類(例えば、中指,人差し指等)とに基づいて、任意のカメラのフォーカス刻み幅を決定するものであってもよい。
【0121】
指紋データベースDB2は、所謂ストレージであって、例えばフラッシュメモリ、HDDあるいはSSD等の記憶媒体を用いて構成される。指紋データベースDB2は、端末装置P1Aから送信された指紋データとユーザ情報とをユーザごとに格納(登録)して管理する。なお、指紋データベースDB2は、サーバS1と外部接続され、別体で構成された外部ストレージ等によって構成されてもよい。
【0122】
次に、
図10を参照して、実施の形態2に係る生体情報取得システム100の動作手順例について説明する。
図10は、実施の形態2に係る生体情報取得システム100の動作手順例を示すシーケンス図である。
【0123】
なお、
図10に示すシーケンスにおける端末装置P1Aの処理において、ステップSt11~ステップSt36の処理は、
図2に示すステップSt11~ステップSt36の処理と同様であるため、説明を省略する。
【0124】
端末装置P1Aは、抽出された撮像画像のスコアが閾値以上であるか否かを判定する(St35)。
【0125】
端末装置P1Aは、ステップSt35の処理において、抽出された撮像画像のスコアが閾値以上であると判定した場合(St35,YES)、この撮像画像から指先が映る領域を切り出した指紋画像、または、指紋画像に映る指紋から抽出されたユーザの個人性を示す特徴量を、ユーザの指紋データとして取得する(St36)。端末装置P1Aは、取得された指紋データをサーバS1に送信する(St36A)。なお、端末装置P1Aは、指紋データの登録を実行する場合、指紋データと、ユーザのユーザ情報とを対応付けて、サーバS1に送信する。
【0126】
一方、端末装置P1Aは、ステップSt35の処理において、抽出された撮像画像のスコアが閾値以上でないと判定した場合(St35,NO)、ステップSt13の処理に戻り、カメラ13の撮像モードをマニュアル撮像からオートフォーカス撮像に切り替えさせるとともに、ユーザの指先の再撮像を要求する再撮像指令(制御指令)を生成して、カメラ13に出力する。
【0127】
指紋データの登録を実行する場合、サーバS1は、端末装置P1Aから送信された指紋データと、ユーザ情報とを指紋データベースDB2に格納(登録)して、ユーザの指紋登録を実行する(St37A)。サーバS1は、ユーザの指紋登録結果を生成して、端末装置P1Aに送信する(St37B)。
【0128】
また、指紋認証を実行する場合、サーバS1は、端末装置P1Aから送信された指紋データと、指紋データベースDB2に格納(登録)された少なくとも1つ指紋データとを照合して、ユーザの指紋認証を実行する(St37A)。サーバS1は、ユーザの指紋認証結果を生成して、端末装置P1Aに送信する(St37B)。
【0129】
指紋認証を実行する場合、端末装置P1Aは、サーバS1から送信されたユーザの指紋登録/認証結果と、指紋認証に用いられた指紋データのスコアと、指紋認証に用いられた指紋データに対応するフォーカス刻み幅の情報と、に基づいて、フォーカス刻み幅を決定するための学習モデルあるいはテーブル等の情報を更新(再学習)する(St38)。なお、端末装置P1Aは、ユーザの指紋認証結果に基づいて、ユーザの指紋認証が失敗したと判定した場合、ステップSt38の処理を省略してよい。また、ステップSt38の処理は、指紋データの登録処理において、省略されてよい。
【0130】
また、サーバS1は、ステップSt36Aの処理において、ユーザの指紋データと合わせて、端末装置P1Aから指紋データのスコアと、指紋認証に用いられた指紋データに対応するフォーカス刻み幅の情報とを取得してもよい。このような場合、サーバS1は、ユーザの指紋認証結果と、指紋データのスコアと、指紋データに対応するフォーカス刻み幅の情報と、に基づいて、フォーカス刻み幅を決定するための学習モデルあるいはテーブル等の情報を更新(再学習)してよい(St39)。
【0131】
なお、サーバS1は、ユーザの指紋認証が失敗した場合、あるいは指紋データの登録処理を実行した場合、ステップSt39の処理を省略してよい。これにより、サーバS1は、端末装置P1Aが複数である場合には、学習モデルあるいはテーブルをより効率的に更新(再学習)し、更新(再学習)後の学習モデルあるいはテーブルを複数の端末装置P1Aに配布(送信)することで、すべての端末装置P1Aが記録する学習モデルあるいはテーブルを一斉に更新させることができる。
【0132】
以上により、実施の形態1および実施の形態2における端末装置P1,P1A(生体情報取得装置の一例)は、第1のフォーカス制御または第2のフォーカス制御のそれぞれで非接触状態のユーザ(被写体の一例)の指先を撮像するカメラ13と、第1のフォーカス制御で撮像された第1の撮像画像を取得するプロセッサ11,11A(取得部の一例)と、第1の撮像画像の全域(つまり、カメラ13の画角)に対する被写体の指先の大きさを計測するプロセッサ11,11A(計測部の一例)と、指先の大きさに基づいて、第2のフォーカス制御におけるカメラ13のフォーカスの刻み幅を決定し、カメラ13に第2のフォーカス制御により撮像されるフォーカス区間をフォーカスの刻み幅で撮像させるプロセッサ11,11A(決定部の一例)と、第2のフォーカス制御で撮像されたM(M:2以上の整数)枚の第2の撮像画像のうちいずれか1枚の第2の撮像画像を取得するプロセッサ11,11A(制御部の一例)と、を備える。
【0133】
これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、撮像された指先の大きさに基づいて、指紋認証に適した撮像画像(指紋データ)を撮像するためのカメラ13のフォーカスの刻み幅を決定できる。例えば、端末装置P1,P1Aは、ユーザの指先の大きさがカメラ13の画角に対して40%以上である場合、ユーザの指先の厚みが大きいと判定して、フォーカスの刻み幅を2mmに設定し、ユーザの指先の大きさがカメラ13の画角に対して40%未満である場合、ユーザの指先の厚みが小さいと判定して、フォーカスの刻み幅を1mmに設定する。また、端末装置P1,P1Aは、特に指先の大きさに基づいて変更することで、指紋認証に適した撮像画像(指紋データ)の撮像を効率化できる。
【0134】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1の撮像画像が撮像された第1のフォーカス距離情報をさらに取得する。プロセッサ11,11Aは、第1のフォーカス距離情報と、指先の大きさとに基づいて、フォーカスの刻み幅を決定する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、カメラ13の画角に対する指先の大きさを算出できるため、指紋認証に適した撮像画像(指紋データ)を撮像するためのカメラ13のフォーカスの刻み幅を決定できる。
【0135】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1の撮像画像に写る指先がいずれの指であるかを特定する。プロセッサ11,11Aは、特定された指の情報と、指先の大きさとに基づいて、フォーカスの刻み幅を決定する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、より高精度に指先の厚さを推定でき、指紋認証に適した撮像画像(指紋データ)を撮像するためのカメラ13のフォーカスの刻み幅を決定できる。
【0136】
また、実施の形態1および実施の形態2における端末装置P1,P1Aにおける第1のフォーカス制御は、オートフォーカス制御である。第2のフォーカス制御は、マニュアルフォーカス制御である。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、オートフォーカス制御により取得されたユーザの指先までのフォーカス距離に基づいて決定されたフォーカス区間を、マニュアル制御により指先の大きさに対応する刻み幅で撮像することで、指紋認証に適した撮像画像(指紋データ)をより効率的に取得できる。
【0137】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1の撮像画像が撮像された第1のフォーカス距離情報を取得する。プロセッサ11,11Aは、第1のフォーカス距離情報に基づいて、第2のフォーカス制御で撮像されるフォーカス区間を決定する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、フォーカス距離が示すユーザの指先の距離に基づいて、指紋認証に適した撮像画像(指紋データ)を撮像可能なフォーカス区間をより効率的に決定できる。
【0138】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1のフォーカス距離情報が被写体の生体情報を取得可能な所定範囲内(所定のフォーカス範囲内の一例)であるか否かを判定し、第1のフォーカス距離情報が所定のフォーカス範囲内であると判定した場合、第1のフォーカス距離情報に基づいて、フォーカス区間を決定する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、指紋認証に適した撮像画像(指紋データ)をより効率的に取得できる。
【0139】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1のフォーカス距離情報が所定範囲内でないと判定した場合、被写体にカメラ13に対する指先の位置の変更を要求する旨の通知を生成して出力し、第1の撮像画像に映る指先の位置にカメラ13のフォーカス座標を設定させ、第1の撮像画像を再撮像させる制御指令を生成し、カメラ13に制御指令に基づく第1のフォーカス制御を実行させる。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、撮像済みの第1の撮像画像に映るユーザの指先の位置(フォーカス座標)にフォーカスさせることで、再撮像された撮像画像に映るユーザの指先へのフォーカス処理を支援し、指先にフォーカスが合った撮像画像をより効率的に取得できる。
【0140】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1のフォーカス距離情報が、フォーカス区間に含まれ、かつ、M枚の第2の撮像画像を撮像可能な最小フォーカス距離以上であるか否かを判定し、第1のフォーカス距離情報が最小フォーカス距離以上であると判定した場合、第1のフォーカス距離情報に基づいて、フォーカス区間を決定する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、フォーカス区間がM枚の撮像画像を撮像可能な区間であるか否かを判定できる。
【0141】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1のフォーカス距離情報が、フォーカス区間に含まれ、かつ、最小フォーカス距離以上でないと判定した場合、被写体にカメラに対する指先の位置の変更を要求する旨の通知を生成して出力し、第1の撮像画像に映る指先の位置にカメラ13のフォーカス座標を設定させ、第1の撮像画像を再撮像させる制御指令を生成し、カメラ13に制御指令に基づく第1のフォーカス制御を実行させる。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、撮像済みの第1の撮像画像に映るユーザの指先の位置(フォーカス座標)にフォーカスさせることで、再撮像された撮像画像に映るユーザの指先へのフォーカス処理を支援し、指先にフォーカスが合った撮像画像をより効率的に取得できる。
【0142】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1の撮像画像から指先の外郭を検出したと判定した場合、第1のフォーカス距離情報に基づいて、フォーカス区間を決定する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、ユーザの指先の外郭が検出されたフォーカス距離に基づいて、指紋認証に適した撮像画像であって、ユーザの指紋にフォーカスがあった撮像画像をより効率的に取得するためのフォーカス区間を決定できる。
【0143】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第1の撮像画像から指先の外郭を検出していないと判定した場合、カメラのイメージセンサ(不図示)の中央位置にカメラのフォーカス座標を設定させ、第1の撮像画像を再撮像させる制御指令を生成し、カメラに制御指令に基づく第1のフォーカス制御を実行させる。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、再撮像時のフォーカス座標を、カメラ13のイメージセンサ(不図示)の中央位置にフォーカスさせることで、フォーカス座標が定まらないことによる指先の外郭を検出不可である撮像画像の取得をより効果的に抑制できる。
【0144】
また、実施の形態1および実施の形態2における端末装置P1,P1Aは、第2の撮像画像に映る指先の指紋にフォーカスが合っている度合いを示すスコアを算出するプロセッサ11,11A(算出部の一例)、をさらに備える。プロセッサ11,11Aは、M枚の第2の撮像画像のそれぞれのうち算出された評価値が最も大きい第2の撮像画像を取得する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、取得されたM枚の撮像画像のうち指紋認証により適した撮像画像(指紋データ)を取得できる。
【0145】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、M枚の第2の撮像画像のそれぞれのうち算出された評価値が最も大きく、かつ、評価値が閾値以上である第2の撮像画像を取得する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、取得されたM枚の撮像画像のうち指紋認証に利用可能な撮像画像であって、かつ、より適した撮像画像(指紋データ)を取得できる。
【0146】
また、実施の形態1および実施の形態2における端末装置P1,P1Aのプロセッサ11,11Aは、第2のフォーカス制御により撮像された第2の撮像画像のうち異なるM個の第2のフォーカス距離のそれぞれで撮像されたM枚の第2の撮像画像を一時記憶し、一時記憶されたM枚の前記第2の撮像画像のうちいずれか1枚の第2の撮像画像を取得して記録する。これにより、実施の形態1および実施の形態2における端末装置P1,P1Aは、ユーザの指先の大きさに基づいて、指紋認証に適した撮像画像(指紋データ)を撮像するためのカメラ13のフォーカス刻み幅(つまり、第1~第Nのフォーカス距離)を決定できる。また、端末装置P1,P1Aは、決定された第1~第Nのフォーカス距離で撮像された撮像画像のうちM枚の撮像画像を用いることで、指紋認証に適した撮像画像(指紋データ)をより効率的に取得できる。
【0147】
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0148】
本開示は、非接触状態において、指紋認証に適した指紋データをより効率的に取得できる生体情報取得装置および生体情報取得方法の提示として有用である。
【符号の説明】
【0149】
10,10A,20 通信部
11,11A,21 プロセッサ
12,12A,22 メモリ
13 カメラ
14,14A モニタ
15 操作部
100 生体情報取得システム
DB1,DB2 指紋データベース
P1,P1A 端末装置
S1 サーバ