知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171197
(43)【公開日】2024-12-11
(54)【発明の名称】生体画像取得支援装置および生体画像取得支援方法
(51)【国際特許分類】
G06V 40/60 20220101AFI20241204BHJP
G06T 7/00 20170101ALI20241204BHJP
G06V 40/12 20220101ALI20241204BHJP
A61B 5/1172 20160101ALI20241204BHJP
A61B 5/107 20060101ALN20241204BHJP
【ＦＩ】
G06V40/60
G06T7/00 510B
G06V40/12
A61B5/1172
A61B5/107 300
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023088149
(22)【出願日】2023-05-29
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】小松 里紗
(72)【発明者】
【氏名】中村 秀幸
【テーマコード（参考）】
4C038
5B043
【Ｆターム（参考）】
4C038FF01
4C038FG01
4C038VA07
4C038VB12
4C038VB13
4C038VC05
5B043AA09
5B043BA02
5B043BA03
5B043HA09
(57)【要約】
【課題】非接触状態において、生体認証により適した生体データの取得を支援する。
【解決手段】生体画像取得支援装置は、被写体の生体部位が撮像された撮像画像を取得する取得部と、取得された撮像画像に基づいて、基準角度に対する生体部位の傾きを算出する算出部と、生体部位の傾きが基準角度に対して所定範囲内であるか否かを判定し、生体部位の傾きが所定範囲内である撮像画像を取得する制御部と、を備え、制御部は、生体部位の傾きが所定範囲内でないと判定した場合、生体部位の傾きに関する情報と撮像画像とを含む姿勢誘導画面を生成して、モニタに出力する。
【選択図】図４
【解決手段】生体画像取得支援装置は、被写体の生体部位が撮像された撮像画像を取得する取得部と、取得された撮像画像に基づいて、基準角度に対する生体部位の傾きを算出する算出部と、生体部位の傾きが基準角度に対して所定範囲内であるか否かを判定し、生体部位の傾きが所定範囲内である撮像画像を取得する制御部と、を備え、制御部は、生体部位の傾きが所定範囲内でないと判定した場合、生体部位の傾きに関する情報と撮像画像とを含む姿勢誘導画面を生成して、モニタに出力する。
【選択図】図４
【特許請求の範囲】
【請求項1】
被写体の生体部位が撮像された撮像画像を取得する取得部と、
取得された前記撮像画像に基づいて、基準角度に対する前記生体部位の傾きを算出する算出部と、
前記生体部位の傾きが前記基準角度に対して所定範囲内でないと判定した場合、前記生体部位の傾きに関する情報と前記撮像画像とを含む姿勢誘導画面を生成して、モニタに出力する制御部と、を備える、
生体画像取得支援装置。
取得された前記撮像画像に基づいて、基準角度に対する前記生体部位の傾きを算出する算出部と、
前記生体部位の傾きが前記基準角度に対して所定範囲内でないと判定した場合、前記生体部位の傾きに関する情報と前記撮像画像とを含む姿勢誘導画面を生成して、モニタに出力する制御部と、を備える、
生体画像取得支援装置。
【請求項2】
前記生体部位の傾きに関する情報は、前記生体部位の傾き方向を示す情報を含む、
請求項１に記載の生体画像取得支援装置。
請求項１に記載の生体画像取得支援装置。
【請求項3】
前記生体部位の傾きに関する情報は、前記生体部位の傾き方向および傾きの大きさを示す情報を含む、
請求項２に記載の生体画像取得支援装置。
請求項２に記載の生体画像取得支援装置。
【請求項4】
前記生体部位の傾きに関する情報は、前記被写体に前記生体部位を傾けさせる方向を示す情報を含む、
請求項１に記載の生体画像取得支援装置。
請求項１に記載の生体画像取得支援装置。
【請求項5】
前記生体部位の傾きに関する情報は、前記被写体に前記生体部位を傾けさせる方向および大きさを示す情報を含む、
請求項４に記載の生体画像取得支援装置。
請求項４に記載の生体画像取得支援装置。
【請求項6】
前記算出部は、前記撮像画像が撮像されたカメラのイメージセンサの受光面に対する前記生体部位の傾きを算出する、
請求項１に記載の生体画像取得支援装置。
請求項１に記載の生体画像取得支援装置。
【請求項7】
前記取得部は、前記被写体の他の撮像画像に写る生体部位の傾きに関する情報を取得し、
前記算出部は、前記他の撮像画像に写る前記生体部位の傾きを基準角度に設定し、前記基準角度に対する前記生体部位の傾きを算出する、
請求項１に記載の生体画像取得支援装置。
前記算出部は、前記他の撮像画像に写る前記生体部位の傾きを基準角度に設定し、前記基準角度に対する前記生体部位の傾きを算出する、
請求項１に記載の生体画像取得支援装置。
【請求項8】
前記所定範囲は、前記基準角度に対して－５°以上、＋５°以下である、
請求項１に記載の生体画像取得支援装置。
請求項１に記載の生体画像取得支援装置。
【請求項9】
取得された前記撮像画像から前記被写体の生体部位の複数の関節点を検出可能な検出部と、をさらに備え、
前記算出部は、検出された複数の関節点の位置に基づいて、前記基準角度に対する前記生体部位の傾きを算出する、
請求項１に記載の生体画像取得支援装置。
前記算出部は、検出された複数の関節点の位置に基づいて、前記基準角度に対する前記生体部位の傾きを算出する、
請求項１に記載の生体画像取得支援装置。
【請求項10】
前記生体部位の傾きは、第１方向と、前記第１方向と略直交する第２方向とに基づいて、算出され、
前記算出部は、前記複数の関節点のうち前記第１方向に沿ういずれか２点の関節点の位置と、前記複数の関節点のうち前記第２方向に沿ういずれか２点の関節点の位置とに基づいて、前記生体部位の傾きを算出する、
請求項９に記載の生体画像取得支援装置。
前記算出部は、前記複数の関節点のうち前記第１方向に沿ういずれか２点の関節点の位置と、前記複数の関節点のうち前記第２方向に沿ういずれか２点の関節点の位置とに基づいて、前記生体部位の傾きを算出する、
請求項９に記載の生体画像取得支援装置。
【請求項11】
前記算出部は、前記生体部位がいずれか１本の指である場合、前記１本の指のいずれか２点以上の関節点の位置と、いずれか２本の指の指先の関節点の位置とに基づいて、前記生体部位の傾きを算出する、
請求項９に記載の生体画像取得支援装置。
請求項９に記載の生体画像取得支援装置。
【請求項12】
前記算出部は、前記生体部位がいずれか１本の指である場合、前記１本の指のいずれか２点以上の関節点の位置と、いずれか２本の指の第２関節の位置とに基づいて、前記生体部位の傾きを算出する、
請求項９に記載の生体画像取得支援装置。
請求項９に記載の生体画像取得支援装置。
【請求項13】
前記算出部は、前記生体部位が掌である場合、手首の関節点の位置と、人差し指、中指または薬指のいずれかの関節点の位置と、小指の付け根の関節点の位置と、人差し指の付け根または親指のいずれかの関節点の位置とに基づいて、前記生体部位の傾きを算出する、
請求項９に記載の生体画像取得支援装置。
請求項９に記載の生体画像取得支援装置。
【請求項14】
前記算出部は、前記生体部位のうち指の複数の関節点のうち隣り合う２点の関節点間の距離を前記指ごとに算出し、
前記制御部は、算出された前記２点の関節点間の距離に基づいて、前記指が曲がっているか否かを判定し、前記指が曲がっていると判定した場合、前記指を開くように指示する指示情報と、前記生体部位の傾きに関する情報と、前記撮像画像とを含む前記姿勢誘導画面を生成して、前記モニタに出力する、
請求項１に記載の生体画像取得支援装置。
前記制御部は、算出された前記２点の関節点間の距離に基づいて、前記指が曲がっているか否かを判定し、前記指が曲がっていると判定した場合、前記指を開くように指示する指示情報と、前記生体部位の傾きに関する情報と、前記撮像画像とを含む前記姿勢誘導画面を生成して、前記モニタに出力する、
請求項１に記載の生体画像取得支援装置。
【請求項15】
前記制御部は、前記生体部位の傾きが前記基準角度に対して前記所定範囲内であると判定した場合、前記生体部位の傾きが前記所定範囲内である旨を通知する通知画面を生成して、前記モニタに出力する、
請求項１に記載の生体画像取得支援装置。
請求項１に記載の生体画像取得支援装置。
【請求項16】
前記制御部は、前記生体部位の傾きが前記所定範囲内である撮像画像を取得し、記憶媒体に出力して格納する、
請求項１に記載の生体画像取得支援装置。
請求項１に記載の生体画像取得支援装置。
【請求項17】
コンピュータが行う生体画像取得支援方法であって、
被写体の生体部位が撮像された撮像画像を取得し、
取得された前記撮像画像に基づいて、基準角度に対する前記生体部位の傾きを算出し、
前記生体部位の傾きが前記基準角度に対して所定範囲内でないと判定した場合、前記生体部位の傾きに関する情報と前記撮像画像とを含む姿勢誘導画面を生成して、モニタに出力する、
生体画像取得支援方法。
被写体の生体部位が撮像された撮像画像を取得し、
取得された前記撮像画像に基づいて、基準角度に対する前記生体部位の傾きを算出し、
前記生体部位の傾きが前記基準角度に対して所定範囲内でないと判定した場合、前記生体部位の傾きに関する情報と前記撮像画像とを含む姿勢誘導画面を生成して、モニタに出力する、
生体画像取得支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体画像取得支援装置および生体画像取得支援方法に関する。
【背景技術】
【0002】
特許文献１には、モバイルデバイスを用いて、対象者の複数の指のそれぞれの特徴を抽出し、抽出された特徴を含むバイオメトリック識別子を生成してメモリに記憶する指紋認識を実施するための方法が開示されている。指紋認識を実施するための方法は、カメラ、記憶媒体、記憶媒体に記憶された命令、および命令の実行するモバイルデバイスによって、対象者の複数の指の画像をキャプチャし、指先検出アルゴリズムにより画像に描かれている複数の指を検出して、複数の指のそれぞれの指先セグメントを識別し、識別されたそれぞれの指先セグメントから複数の指の特徴を抽出し、抽出された特徴を含むバイオメトリック識別子を生成してメモリに記憶する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２０－５０１２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の構成では、ディスプレイ上に、ユーザに指の配置を指示するマーキングあるいはガイドを表示して、撮像されるユーザの指の配置を誘導する。しかし、例えば、性別，年齢等、ユーザのごとに指の大きさが異なるため、従来文献１の方法でキャプチャされた複数の指の画像は、指紋にピントが合っていない可能性があった。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、非接触状態において、生体認証により適した生体データの取得を支援する生体画像取得支援装置および生体画像取得支援方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、被写体の生体部位が撮像された撮像画像を取得する取得部と、取得された前記撮像画像に基づいて、基準角度に対する前記生体部位の傾きを算出する算出部と、前記生体部位の傾きが前記基準角度に対して所定範囲内でないと判定した場合、前記生体部位の傾きに関する情報と前記撮像画像とを含む姿勢誘導画面を生成して、モニタに出力する制御部と、を備える、生体画像取得支援装置を提供する。
【0007】
また、本開示は、コンピュータが行う生体画像取得支援方法であって、被写体の生体部位が撮像された撮像画像を取得し、取得された前記撮像画像に基づいて、基準角度に対する前記生体部位の傾きを算出し、前記生体部位の傾きが前記基準角度に対して所定範囲内でないと判定した場合、前記生体部位の傾きに関する情報と前記撮像画像とを含む姿勢誘導画面を生成して、モニタに出力する、生体画像取得支援方法を提供する。
【発明の効果】
【0008】
本開示によれば、非接触状態において、生体認証により適した生体データの取得を支援できる。
【図面の簡単な説明】
【0009】
【図1】実施の形態１に係る端末装置の内部構成例を示すブロック図
【図2】実施の形態１に係る端末装置の動作手順例を示すフローチャート
【図3】実施の形態１に係る端末装置の動作手順例を説明する図
【図4】第１の表示例における第１フィードバック表示画面例を説明する図
【図5】第１の表示例における第２フィードバック表示画面例を説明する図
【図6】第２の表示例における第１フィードバック表示画面例および第２フィードバック表示画面例を説明する図
【図7】第３の表示例における第１フィードバック表示画面例および第２フィードバック表示画面例を説明する図
【図8】第４の表示例における第１フィードバック表示画面例および第２フィードバック表示画面例を説明する図
【図9】第５，第６の表示例における第１フィードバック表示画面例および第２フィードバック表示画面例を説明する図
【図10】第７，第８の表示例における第１フィードバック表示画面例および第２フィードバック表示画面例を説明する図
【図11】実施の形態１の変形例に係る生体認証システムの内部構成例を示すブロック図
【図12】実施の形態１の変形例に係る生体認証システムの動作手順例を示すシーケンス図
【発明を実施するための形態】
【0010】
（本開示に至る経緯）
従来、指紋登録をユーザが所有する端末装置で行う指紋登録方法がある。しかし、ユーザ自身で指紋を撮像する場合、端末装置に対する手のかざし方、つまり、端末装置に対してかざされた手の姿勢は、撮像タイミングごとに変化する。よって、認証時に撮像された撮像画像に写る指紋の写り方、は、登録時の指紋の写り方と異なり、指紋を用いた生体認証精度が低下する可能性があった。
従来、指紋登録をユーザが所有する端末装置で行う指紋登録方法がある。しかし、ユーザ自身で指紋を撮像する場合、端末装置に対する手のかざし方、つまり、端末装置に対してかざされた手の姿勢は、撮像タイミングごとに変化する。よって、認証時に撮像された撮像画像に写る指紋の写り方、は、登録時の指紋の写り方と異なり、指紋を用いた生体認証精度が低下する可能性があった。
【0011】
そこで、従来、撮像された撮像画像に写る指先を拡大した拡大画像を端末装置の画面に表示することで、指先の指紋にピントが合っているか否かを確認可能な指紋画像の取得方法が考えられる。しかし、ユーザは、端末装置の画面に表示された拡大画像に基づいて、現在の手のかざし方が生体認証に適したかざし方であるか否かを判断したり、拡大画像を見ながら手のかざし方を調整したりすることは困難だった。
【0012】
よって、以下に示す各実施の形態においては、非接触状態において、生体認証により適した生体データの取得を支援できる生体画像取得支援装置および生体画像取得支援方法の例を説明する。
【0013】
以下、適宜図面を参照しながら、本開示に係る生体画像取得支援装置および生体画像取得支援方法の構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0014】
【0015】
生体画像取得支援装置の一例としての端末装置Ｐ１は、ユーザの手全体あるいは生体認証に用いられる部位（以降、「生体部位」と表記）を撮像し、撮像された撮像画像に写るユーザの生体部位の関節点を検出する。端末装置Ｐ１は、検出されたユーザの生体部位の関節点に基づいて、撮像画像に写るユーザの生体部位の姿勢（つまり、カメラ１３のイメージセンサ（不図示）の受光面に対するユーザの生体部位の傾き）として、生体部位のピッチ角およびロール角をそれぞれ算出する。端末装置Ｐ１は、算出された生体部位のピッチ角およびロール角のそれぞれに基づいて、生体認証に適した生体データを取得可能な姿勢（傾き）に調整するための第２フィードバック表示画面（図５～図１０参照）を生成して出力する。
【0016】
なお、以降の説明では、指紋を用いた生体認証に用いられる生体データを取得する例について説明するが、これに限定されない。例えば、生体認証は、静脈あるいは掌紋等を用いた認証であってもよい。端末装置Ｐ１は、静脈を用いた生体認証の場合には生体部位として指先以外の少なくとも１つの関節を含む領域を撮像し、掌紋を用いた生体認証の場合には生体部位として掌を撮像し、生体部位の姿勢（傾き）を検出する。
【0017】
端末装置Ｐ１は、通信部１０と、プロセッサ１１と、メモリ１２と、カメラ１３と、モニタ１４とを含む。なお、図１に示す端末装置Ｐ１は、指紋データベースＤＢ１と別体で構成される例を示すが、これに限定されない。例えば、端末装置Ｐ１は、指紋データベースＤＢ１と一体的に構成されてもよい。
【0018】
取得部の一例としての通信部１０は、データの送受信を行うための通信インターフェース回路を用いて構成される。通信部１０は、指紋データベースＤＢ１との間で無線通信または有線通信可能に接続され、データの送受信を実行する。
【0019】
算出部、制御部、および検出部の一例としてのプロセッサ１１は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（以降、「ＣＰＵ」と称する）、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（以降、「ＧＰＵ」と称する）またはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（以降、「ＦＰＧＡ」と称する）を用いて構成されて、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１は、メモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、生体認証に適した生体データを取得するために実行される各種機能（例えば、生体部位の傾きを検出する機能、ユーザに生体部位の傾きを調整させるための支援機能等）を実現する。
【0020】
プロセッサ１１は、生体認証に適していると判定された撮像画像（以降、「生体画像」と表記）または生体データと、ユーザ情報（例えば、ユーザの氏名、性別あるいは生年月日等）とを対応付けて、指紋データベースＤＢ１に格納（登録）する。
【0021】
なお、ここでいう生体データは、生体画像から抽出された生体部位のパターン（例えば、指紋パターン、静脈パターンあるいは掌紋パターン等）、あるいは、生体画像から抽出されたユーザの個人性を示す特徴量等である。
【0022】
メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（以降、「ＲＡＭ」と称する）と、プロセッサ１１の動作を規定したプログラムおよびデータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（以降、「ＲＯＭ」と称する）とを有する。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。
【0023】
カメラ１３は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（以降、「ＣＣＤ」と称する）またはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（以降、「ＣＭＯＳ」と称する）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
【0024】
モニタ１４は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（以降、「ＬＣＤ」と称する）もしくは有機Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ（以降、「ＥＬ」と称する）を用いて構成される。モニタ１４は、カメラ１３によって撮像された撮像画像、あるいはプロセッサ１１によって生成された各種画面（図４～図１０のそれぞれに示す第１～第８の表示例における第１フィードバック表示画面あるいは第２フィードバック表示画面等）を出力して、表示する。
【0025】
指紋データベースＤＢ１は、所謂ストレージであって、例えばフラッシュメモリ、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（以降、「ＨＤＤ」と称する）あるいはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（以降、「ＳＳＤ」と称する）等の記憶媒体を用いて構成される。指紋データベースＤＢ１は、プロセッサ１１により生成された生体画像と、ユーザ情報とを対応付けて格納（登録）する。なお、指紋データベースＤＢ１は、生体画像から抽出された生体データと、ユーザ情報とを対応付けて格納（登録）してもよい。さらに、指紋データベースＤＢ１は、複数の生体画像のそれぞれを格納（登録）する場合、複数の生体画像のそれぞれと、生体画像のそれぞれに対応する生体部位の情報（例えば、中指および人差し指の指に関する情報）と、ユーザ情報とを対応付けて格納（登録）してもよい。
【0026】
次に、図２を参照して、端末装置Ｐ１の動作手順例について説明する。図２は、実施の形態１に係る端末装置Ｐ１の動作手順例を示すフローチャートである。なお、図２に示す端末装置Ｐ１の動作手順例において、ステップＳｔ１６およびステップＳｔ１９のそれぞれは、必須でなく省略されてよい。
【0027】
プロセッサ１１は、カメラ１３によって撮像され、ユーザの手全体あるいは生体部位が撮像された撮像画像Ｉｍｇ（図３参照）を取得する（Ｓｔ１１）。
【0028】
プロセッサ１１は、取得された撮像画像Ｉｍｇに基づいて、各関節点ＪＮＴ（図３参照）の３次元座標をそれぞれ検出する（Ｓｔ１２）。プロセッサ１１は、算出された各関節点ＪＮＴのそれぞれに基づいて、ユーザの手指の骨格ＳＬ（図３参照）を推定する。なお、ここで検出される関節点は、少なくとも生体部位に対応する生体部位のみであってもよいし、手全体であってもよい。各生体認証（指紋認証、静脈認証あるいは掌紋認証等）で検出対象となる骨格部位については、後述する。
【0029】
プロセッサ１１は、算出された各関節点ＪＮＴの３次元座標に基づいて、撮像画像Ｉｍｇに写るユーザの手指（生体部位）のピッチ角θｐおよびロール角θｒ（図３参照）をそれぞれ算出する（Ｓｔ１３）。プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒに基づいて、ピッチ角θｐと基準角度（例えば、０（ゼロ）°等）との間の角度差と、ロール角θｒと基準角度との間の角度差とをそれぞれ算出する（Ｓｔ１４）。
【0030】
プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれと、基準角度との間の角度差が、ともに所定範囲（例えば、－５°～＋５°等）内であるか否かを判定する（Ｓｔ１５）。つまり、プロセッサ１１は、基準角度であるカメラ１３のイメージセンサ（不図示）の受光面に対して、ピッチ角θｐおよびロール角θｒとして算出される生体部位の傾きが所定範囲内であるか否かを判定する。なお、ピッチ角θｐは、ピッチ軸ＰＬｐ（第１方向の一例，図３参照）を中心とする角度である。ロール角θｒは、ロール軸ＰＬｒ（第２方向の一例，図３参照）を中心とする角度である。ピッチ軸ＰＬｐおよびロール軸ＰＬｒのそれぞれは、撮像画像Ｉｍｇに写るユーザの生体部位（手指）に対する基準角度、つまり、カメラ１３のイメージセンサ（不図示）の受光面と並行な水平面を規定可能な２軸である。
【0031】
なお、ここでいう所定範囲は、生体認証に用いられる生体データとして利用可能な生体部位の傾きを示すピッチ角θｐおよびロール角θｒのそれぞれの角度差の範囲である。所定範囲は、生体認証に用いられる生体部位ごとにそれぞれ異なる範囲（値）が設定されてよい。
【0032】
プロセッサ１１は、ステップＳｔ１５の処理において、ピッチ角θｐおよびロール角θｒのそれぞれと基準角度との間の角度差が、ともに所定範囲内であると判定した場合（Ｓｔ１５，ＹＥＳ）、各指に対応する関節点のうち隣り合う２つの関節点間の距離を算出する。例えば、プロセッサ１１は、中指の場合には関節点「９」～関節点「１２」のそれぞれのうち例えば、関節点「１２」と関節点「１１」との間の距離、関節点「１１」と関節点「１０」との間の距離、関節点「１０」と関節点「９」との間の距離をそれぞれ算出する。プロセッサ１１は、算出された２つの関節点間の距離がすべて所定値（所定距離）以上であるか否かをさらに判定する（Ｓｔ１６）。なお、プロセッサ１１は、ステップＳｔ１６の処理において、距離の比率がすべて所定値以上であるか否かを判定してもよい。
【0033】
なお、ここでいう所定値は、指が曲がっているか否かを判定するための値であって、関節点間の最小距離、または、各関節点間の距離に対する比率を示す。所定値は、例えば中指あるいは人差し指等の指ごと、かつ、例えば第１関節あるいは第２関節等の関節ごとに同一または異なる値が設定される。
【0034】
具体的に、所定値は、例えば中指の指先の関節点「１２」と関節点「１１」と間の最小距離、中指の関節点「１１」と関節点「１０」との間の最小距離、人差し指の指先の関節点「８」と関節点「７」と間の最小距離、人差し指の関節点「１６」と関節点「１５」との間の最小距離等のように、指ごとに設定され、隣り合う２つの関節点間の最小距離であってもよい。また、所定値は、例えば中指の第１関節（関節点「１２」と関節点「１１」との間の距離）と、中指の第２関節（関節点「１１」と関節点「１０」との間の距離）との長さの比率等のように、指ごとに設定され、隣り合う２つの関節点間の距離（つまり、関節の長さ）の比率であってもよい。
【0035】
一方、プロセッサ１１は、ステップＳｔ１５の処理において、ピッチ角θｐおよびロール角θｒのそれぞれと基準角度との間の角度差が、ともに所定範囲内でないと判定した場合（Ｓｔ１５，ＮＯ）、算出されたピッチ角θｐおよびロール角θｒのそれぞれが示す生体部位の傾きに基づいて、現在の生体部位の傾きを可視化し、ユーザによる生体部位の傾きの調整を支援する第２フィードバック表示画面Ｓｃ１２，Ｓｃ１３，Ｓｃ１４，Ｓｃ１５，Ｓｃ２１，Ｓｃ３１，Ｓｃ４１，Ｓｃ４２，Ｓｃ５１，Ｓｃ６１，Ｓｃ７１，Ｓｃ８１（姿勢誘導画面の一例，図５～図１０参照）を生成する。プロセッサ１１は、生成された第２フィードバック表示画面Ｓｃ１２，Ｓｃ１３，Ｓｃ１４，Ｓｃ１５，Ｓｃ２１，Ｓｃ３１，Ｓｃ４１，Ｓｃ４２，Ｓｃ５１，Ｓｃ６１，Ｓｃ７１，Ｓｃ８１をモニタ１４に出力して表示させる（Ｓｔ１７）。
【0036】
また、プロセッサ１１は、ステップＳｔ１６の処理において、算出された２つの関節点間の距離がすべて所定値以上であると判定した場合（Ｓｔ１６，ＹＥＳ）、ユーザの指が曲がっていない（つまり、握りこまれた状態でない）と判定し、ユーザに現在の生体部位の傾きが生体認証に適した傾きである旨を通知する第１フィードバック表示画面Ｓｃ１１，Ｓｃ２２，Ｓｃ３２，Ｓｃ４３，Ｓｃ５２，Ｓｃ６２，Ｓｃ７２，Ｓｃ８２（通知画面の一例，図４，図６～図１０参照）を生成する。プロセッサ１１は、生成された第１フィードバック表示画面Ｓｃ１１，Ｓｃ２２，Ｓｃ３２，Ｓｃ４３，Ｓｃ５２，Ｓｃ６２，Ｓｃ７２をモニタ１４に出力して表示させる（Ｓｔ１８）。なお、プロセッサ１１は、第１フィードバック表示画面の代わりとして、ユーザに現在の生体部位の傾きが生体認証に適した傾きである旨を通知する音声信号を生成し、スピーカ（不図示）から出力してもよい。
【0037】
プロセッサ１１は、ユーザの生体部位の傾きを示すピッチ角θｐおよびロール角θｒのそれぞれが所定範囲内である状態が３秒以上継続したか否かを判定する（Ｓｔ２０）。
【0038】
一方、プロセッサ１１は、ステップＳｔ１６の処理において、算出された２つの関節点間の距離がすべて所定値以上でないと判定した場合（Ｓｔ１６，ＮＯ）、ユーザの指が曲がっている（つまり、握りこまれている状態である）と判定し、ユーザに手指を広げるように指示する制御指令あるいはメッセージ（例えば、「手，指を広げてください」等）を含む第２フィードバック表示画面を生成して、モニタ１４に出力する（Ｓｔ１９）。
【0039】
プロセッサ１１は、ステップＳｔ２０の処理において、ピッチ角θｐおよびロール角θｒのそれぞれと基準角度との間の角度差が所定範囲内である状態が３秒以上継続したと判定した場合（Ｓｔ２０，ＹＥＳ）、カメラ１３により撮像された撮像画像Ｉｍｇを、生体認証に用いられるユーザの生体画像として取得する（Ｓｔ２１）。
【0040】
なお、継続時間「３秒」は、一例であって、これに限定されない。プロセッサ１１は、ユーザに現在の生体部位の傾きが生体認証に適した傾きである旨を通知する間、ピッチ角θｐおよびロール角θｒのそれぞれが所定範囲内である、つまり、生体部位の傾きが維持されたままであるか否かを判定可能な時間であればよい。
【0041】
一方、プロセッサ１１は、ステップＳｔ２０の処理において、ピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内である状態が３秒以上継続しないと判定した場合（Ｓｔ２０，ＮＯ）、ステップＳｔ１１の処理に戻る。
【0042】
以上により、実施の形態１に係る端末装置Ｐ１は、ステップＳｔ１５の処理により、撮像画像に写るユーザの生体部位の傾き（角度差）が、生体認証に適した生体画像を取得可能であるか否かを判定できる。端末装置Ｐ１は、生体部位の傾き（角度差）が所定範囲以上であって、生体認証に適した生体画像を取得可能でないと判定した場合、算出された生体部位の傾きに関する情報と、生体部位が撮像された撮像画像Ｉｍｇとを対応付けた第２フィードバック表示画面を生成することで、ユーザに生体部位の傾きを通知できるとともに、生体認証に適した生体画像を取得するための支援を実行できる。したがって、端末装置Ｐ１は、撮像画像に写る生体部位の写り方のばらつきを抑制し、生体認証により適した生体画像の取得をより効果的に支援できる。
【0043】
また、実施の形態１に係る端末装置Ｐ１は、ステップＳｔ１６の処理により、各指が握り込まれて曲がっているか否かを判定できる。これにより、端末装置Ｐ１は、指の曲がりを解消させることができ、指紋あるいは静脈を用いる生体認証により適した生体画像の取得をより効果的に支援できる。
【0044】
次に、図３を参照して、ピッチ角θｐおよびロール角θｒの算出方法について説明する。図３は、実施の形態１に係る端末装置Ｐ１の動作手順例を説明する図である。なお、図３では、図を見やすくするためにすべての関節点への符号の付与を省略している。
【0045】
プロセッサ１１は、ユーザの手Ｈ全体が撮像された撮像画像Ｉｍｇからユーザの手Ｈの複数の関節点ＪＮＴ（２１箇所の関節点「０」～関節点「２０」のそれぞれ）の３次元座標を算出する。
【0046】
プロセッサ１１は、算出された各関節点ＪＮＴの３次元座標に基づいて、ピッチ角θｐおよびロール角θｒのそれぞれを算出する。なお、図３に示すピッチ軸ＰＬｐは、ピッチ角θｐ＝０（ゼロ）°であって、ピッチ角の基準角度を示す。ロール軸ＰＬｒは、ロール角θｒ＝０（ゼロ）°であって、ロール角の基準角度を示す。
【0047】
例えば、プロセッサ１１は、生体部位の一例として指紋認証に適した指先の撮像画像を撮像する場合、中指の付け根の関節点「９」～中指の指先の関節点「１２」のそれぞれの３次元座標に基づいて、ユーザの手Ｈのピッチ角θｐを算出する。また、例えば、指紋認証に適した撮像画像を撮像する場合、人差し指の指先の関節点「８」、および、薬指の指先の関節点「１６」のそれぞれの３次元座標に基づいて、ユーザの手Ｈのロール角θｒを算出する。
【0048】
ここで、ピッチ角θｐおよびロール角θｒの他の算出例について説明する。なお、以下で説明する各生体部位に対応するピッチ角θｐおよびロール角θｒのそれぞれの算出方法は一例であって、これに限定されない。
【0049】
生体部位の一例として指紋認証に適した指の撮像画像を撮像する場合、例えば、プロセッサ１１は、指紋の取得対象である指の指先の関節点の３次元座標と、この指の指先以外のいずれか１つの関節点の３次元座標とに基づいて、指紋の取得対象である指のピッチ角θｐを算出する。具体的に、プロセッサ１１は、例えば指紋の取得対象である指が中指である場合、中指の指先の関節点「１２」の３次元座標と、中指の指先以外の関節点「９」～関節点「１１」のうちいずれか１つの関節点の３次元座標とに基づいて、指紋の取得対象である指のピッチ角θｐを算出する。
【0050】
また、例えば、プロセッサ１１は、人差し指の指先の関節点「８」の３次元座標と、薬指の関節点「１６」または小指の指先の関節点「２０」の３次元座標とに基づいて、指紋の取得対象である指のロール角θｒを算出する。
【0051】
また、生体部位の一例として静脈認証に適した指の撮像画像を撮像する場合、例えば、プロセッサ１１は、静脈の取得対象である指の先端付近の関節点の３次元座標と、この指の付け根付近の関節点の３次元座標とに基づいて、静脈の取得対象である指のピッチ角θｐを算出する。具体的に、プロセッサ１１は、例えば静脈の取得対象である指が中指である場合、中指の先端付近の関節点「１１」または関節点「１２」の３次元座標と、中指の付け根付近の関節点「９」または関節点「１０」の３次元座標とに基づいて、静脈の取得対象である中指のピッチ角θｐを算出する。
【0052】
また、例えば、プロセッサ１１は、人差し指の指先の第２の関節点「６」の３次元座標と、薬指の第２関節の関節点「１４」の３次元座標とに基づいて、静脈の取得対象である指のロール角θｒを算出する。
【0053】
また、生体部位の一例として掌紋認証に適した掌の撮像画像を撮像する場合、例えば、プロセッサ１１は、手首の関節点「０」の３次元座標と、中指の関節点「９」～関節点「１２」のうちいずれか１つの関節点の３次元座標とに基づいて、掌紋の取得対象である指のピッチ角θｐを算出する。なお、プロセッサ１１は、手首の関節点「０」の３次元座標と、薬指の関節点「１３」～関節点「１６」のうちいずれか１つの関節点の３次元座標とに基づいて、ピッチ角θｐを算出してもよいし、人差し指の関節点「５」～関節点「８」のうちいずれか２つの関節点の３次元座標に基づいて、ピッチ角θｐを算出してもよい。
【0054】
また、プロセッサ１１は、小指の付け根の関節点「１７」の３次元座標と、人差し指の付け根の関節点「５」の３次元座標とに基づいて、ロール角θｒを算出する。なお、プロセッサ１１は、小指の付け根の関節点「１７」の３次元座標と、親指の関節点「１」～関節点「４」のうちいずれか１つの関節点の３次元座標とに基づいて、ロール角θｒを算出してもよい。
【0055】
以上のように、端末装置Ｐ１は、生体認証で使用される生体部位に対応する関節点の３次元座標に基づいて、ユーザの生体部位の傾きを示すピッチ角θｐおよびロール角θｒのそれぞれを算出できる。これにより、端末装置Ｐ１は、生体部位の写り方のばらつきをより効果的に抑制し、生体認証により適した生体画像を取得できる。したがって、端末装置Ｐ１は、より高精度な生体認証を実現可能にする。
【0056】
＜第１の表示例＞
次に、図４および図５のそれぞれを参照して、第１の表示例について説明する。図４は、第１の表示例における第１フィードバック表示画面Ｓｃ１１例を説明する図である。図５は、第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５例を説明する図である。
次に、図４および図５のそれぞれを参照して、第１の表示例について説明する。図４は、第１の表示例における第１フィードバック表示画面Ｓｃ１１例を説明する図である。図５は、第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５例を説明する図である。
【0057】
図４および図５のそれぞれに示す第１フィードバック表示画面例１および第２フィードバック表示画面例１は、円形水準器ＣＬの描写によりユーザに現在の手指の傾きを可視化する例を示す。第１フィードバック表示画面Ｓｃ１１および第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５のそれぞれは、基準角度を示す水準器ＨＬ上に、水準器ＨＬよりも小さく、ユーザの現在の手指の傾きを示す気泡ＡＢを重畳した円形水準器ＣＬを生成することで、ユーザに現在の手指の傾きを可視化する。
【0058】
なお、図４および図５のそれぞれでは、所定範囲＝－５°～＋５°である例について説明する。また、図５に示す第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５のそれぞれは、水準器ＨＬと気泡ＡＢとの位置関係を見やすくするために、ピッチ基準線、ロール基準線、ピッチ軸およびロール軸のそれぞれへの符号の付与を省略している。なお、本開示では、ピッチ角θｐおよびロール角θｒは、図３に示すそれぞれの矢印先端の方向を＋（正符号）、矢印先端の方向と逆方向を－（負符号）として定義する。
【0059】
プロセッサ１１は、検出された関節点ＪＮＴと、ピッチ角θｐおよびロール角θｒのそれぞれに基づく円形水準器ＣＬとが重畳された撮像画像Ｉｍｇ１１と、ユーザに現在の手指の傾きの維持を要求する旨のメッセージＭｓｇ１「手を止めてください」とを含む第１フィードバック表示画面Ｓｃ１１を生成する。
【0060】
具体的に、プロセッサ１１は、ピッチ軸ＰＬｐに対応するピッチ基準線ＬＮ１１Ａと、ロール軸ＰＬｒに対応するロール基準線ＬＮ１２Ａとの交点を中心点とする水準器ＨＬを生成する。また、プロセッサ１１は、ピッチ軸ＰＬｐに対応するピッチ軸ＬＮ１１Ｂと、ロール軸ＰＬｒに対応するロール軸ＬＮ１２Ｂとの交点を中心点とし、ユーザの手指の傾きを示す気泡ＡＢを生成する。
【0061】
プロセッサ１１は、基準角度に対するピッチ角θｐおよびロール角θｒのそれぞれに基づいて、水準器ＨＬ上に重畳される気泡ＡＢの重畳位置を算出する。プロセッサ１１は、算出された重畳位置に基づいて、水準器ＨＬ上に気泡ＡＢを重畳し、円形水準器ＣＬを生成する。プロセッサ１１は、検出された関節点ＪＮＴ（各関節点）と、ピッチ角θｐおよびロール角θｒのそれぞれに基づく円形水準器ＣＬとを撮像画像Ｉｍｇ１上に重畳する。
【0062】
なお、図４に示すメッセージＭｓｇ１は、ユーザに現在の手指の傾きの維持を要求する旨のメッセージ例を示すが、ユーザに現在の手指の傾きが生体認証に適した傾きであることを通知するメッセージであってもよい。また、メッセージＭｓｇ１は、第１フィードバック表示画面Ｓｃ１１に含まれない代わりに音声出力されてもよい。
【0063】
これにより、第１の表示例における端末装置Ｐ１は、ユーザにユーザの手指の傾きが生体認証に適した傾きであって、調整不要である旨を通知できる。また、ユーザは、第１フィードバック表示画面Ｓｃ１１に含まれるメッセージＭｓｇ１、または、水準器ＨＬのピッチ基準線ＬＮ１１Ａおよびロール基準線ＬＮ１２Ａと、気泡ＡＢのピッチ軸ＬＮ１１Ｂおよびロール軸ＬＮ１２Ｂとが略一致していることにより、現在の手指の傾きを維持すべきであることを直感的に把握できる。
【0064】
プロセッサ１１は、撮像された撮像画像Ｉｍｇ１２，Ｉｍｇ１３，Ｉｍｇ１４，Ｉｍｇ１５に、検出された関節点ＪＮＴ（各関節点）と、ピッチ角θｐおよびロール角θｒのそれぞれに基づく円形水準器ＣＬとを重畳し、第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５のそれぞれを生成する。
【0065】
図５に示す第２フィードバック表示画面Ｓｃ１２は、算出されたピッチ角θｐが＋５°より大きく、ロール角θｒが－５°未満である場合の水準器ＨＬおよび気泡ＡＢのそれぞれ位置を示す。第２フィードバック表示画面Ｓｃ１３は、算出されたピッチ角θｐおよびロール角θｒがともに＋５°より大きい場合の水準器ＨＬおよび気泡ＡＢのそれぞれ位置を示す。第２フィードバック表示画面Ｓｃ１４は、算出されたピッチ角θｐおよびロール角θｒがともに－５°未満である場合の水準器ＨＬおよび気泡ＡＢのそれぞれ位置を示す。第２フィードバック表示画面Ｓｃ１５は、算出されたピッチ角θｐが－５°未満であって、ロール角θｒが＋５°より大きい場合の水準器ＨＬおよび気泡ＡＢのそれぞれ位置を示す。
【0066】
また、図５では図示を省略しているが、ユーザの手指の傾きが所定範囲内でないと判定した場合、プロセッサ１１は、ユーザに手指の傾きの調整を要求する旨のメッセージ「気泡が円の中心にくるよう手を傾けてください」を含む第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５を生成してよい。
【0067】
これにより、第１の表示例における端末装置Ｐ１は、円形水準器ＣＬをユーザの手指の上に重畳した第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５を生成して出力することで、ユーザの手指の傾きの調整を支援できる。ユーザは、第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５に基づいて、水準器ＨＬの中心点に対する気泡ＡＢの中心点の位置、水準器ＨＬのピッチ基準線あるいはロール基準線に対する気泡ＡＢのピッチ軸あるいはロール軸の位置がそれぞれ一致するように手指の傾きを直感的に調整できる。
【0068】
なお、第１フィードバック表示画面Ｓｃ１１および第２フィードバック表示画面Ｓｃ１２～Ｓｃ１５において、骨格ＳＬおよび関節点ＪＮＴ（各関節点）の重畳処理は、必須でなく、省略されてもよい。
【0069】
【0070】
また、図６では図示を省略しているが、プロセッサ１１は、ユーザの手指の傾きが所定範囲内であるか否かの判定結果に基づいて、ユーザに手指の傾きの調整を要求する旨のメッセージを含む第２フィードバック表示画面Ｓｃ２１を生成したり、ユーザに現在の手指の傾きの維持を要求する旨のメッセージを含む第１フィードバック表示画面Ｓｃ２２を生成したりしてよい。
【0071】
第２の表示例は、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点を中心点とする球ＨＳ２１，ＨＳ２２を、ユーザの手指が撮像された撮像画像Ｉｍｇ２１，Ｉｍｇ２２上に重畳する。第２の表示例における第２フィードバック表示画面Ｓｃ２１は、基準角度とピッチ角θｐおよびロール角θｒのそれぞれとの角度差に基づいて、球ＨＳ２１のそれぞれを回転し、回転後の球ＨＳ２１を撮像画像Ｉｍｇ２１上に重畳することで、ユーザの手指の傾きを可視化する。
【0072】
プロセッサ１１は、撮像画像Ｉｍｇ２１，Ｉｍｇ２２からユーザの手指の関節点ＪＮＴを検出し、検出された関節点ＪＮＴに基づいて、生体部位に対応するピッチ角θｐおよびロール角θｒのそれぞれを算出する。
【0073】
プロセッサ１１は、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点を中心点とする球ＨＳ２１，ＨＳ２２を生成し、ピッチ軸ＰＬｐを球ＨＳ２１，ＨＳ２２の表面に投影した曲線であって、ピッチ軸ＰＬｐと球との２点の交点を通る曲線ＬＮ２１Ａ，ＬＮ２２Ａと、球面に沿う曲線であって、ロール軸ＰＬｒと球との２点の交点を通る曲線ＬＮ２１Ｂ，ＬＮ２２Ｂとを生成する。プロセッサ１１は、基準角度と、算出されたピッチ角θｐおよびロール角θｒのそれぞれとの間の角度差を算出し、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であるか否かを判定する。
【0074】
プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内でないと判定した場合、算出された角度差に基づいて、球ＨＳ２１を回転させる。プロセッサ１１は、回転後の球ＨＳ２１と、回転後の球ＨＳ２１に対応する曲線ＬＮ２１Ａ，ＬＮ２１Ｂのそれぞれと、骨格ＳＬおよび関節点ＪＮＴのそれぞれとを撮像画像Ｉｍｇ２１に重畳し、第２フィードバック表示画面Ｓｃ２１を生成する。プロセッサ１１は、生成された第２フィードバック表示画面Ｓｃ２１をモニタ１４に出力して、表示させる。
【0075】
これにより、端末装置Ｐ１は、２本の曲線ＬＮ２１Ａ，ＬＮ２１Ｂのそれぞれにより、基準角度に対するピッチ角θｐおよびロール角θｒのそれぞれの角度差、つまり、ユーザの手指の傾きの調整方向を可視化した第２フィードバック表示画面Ｓｃ２１により、生体認証に適した生体画像の取得を支援できる。また、ユーザは、第２フィードバック表示画面Ｓｃ２１の２本の曲線ＬＮ２１Ａ，ＬＮ２１Ｂのそれぞれによりユーザの手指の傾きを直観的に把握できるとともに、どの方向に手指を傾ければよいかを直観的に把握できる。
【0076】
一方、プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であると判定した場合、球ＨＳ２２の回転を省略する。プロセッサ１１は、球ＨＳ２２と、ピッチ軸ＰＬｐに沿う曲線ＬＮ２２Ａと、ロール軸ＰＬｒに沿う曲線ＬＮ２２Ｂのそれぞれと、骨格ＳＬおよび関節点ＪＮＴのそれぞれとを撮像画像Ｉｍｇ２２に重畳し、第１フィードバック表示画面Ｓｃ２２を生成する。プロセッサ１１は、生成された第１フィードバック表示画面Ｓｃ２２をモニタ１４に出力して、表示させる。
【0077】
なお、第１フィードバック表示画面Ｓｃ２２は、所謂正面視における球ＨＳ２２を示す。よって、第１フィードバック表示画面Ｓｃ２２に表示された曲線ＬＮ２２Ａ，ＬＮ２２Ｂのそれぞれは、球ＨＳ２２の中心点で略十字に直交する直線のように表示される。
【0078】
これにより、端末装置Ｐ１は、２本の曲線ＬＮ２２Ａ，ＬＮ２２Ｂのそれぞれが略直交して表示することで、現在のユーザの手指の傾きが生体認証に適していることをユーザに通知できる。また、ユーザは、第１フィードバック表示画面Ｓｃ２２の２本の曲線ＬＮ２２Ａ，ＬＮ２２Ｂのそれぞれにより、現在のユーザの手指の傾きを維持すればよいことを直観的に把握できる。したがって、端末装置Ｐ１は、生体認証により適した生体画像の取得を支援できる。
【0079】
なお、第２の表示例における第１フィードバック表示画面Ｓｃ２２は、ユーザの現在の手指の傾きが生体認証に適した傾きであって、調整不要である旨を通知するメッセージを含んでいてもよい。また、プロセッサ１１は、第１フィードバック表示画面Ｓｃ２２で表示される球ＨＳ２２の線種、線の太さあるいは線の色と、第２フィードバック表示画面Ｓｃ２１で表示される球ＨＳ２１の線種、線の太さあるいは線の色とを変更してもよい。
【0080】
【0081】
また、図７では図示を省略しているが、プロセッサ１１は、ユーザの手指の傾きが所定範囲内であるか否かの判定結果に基づいて、ユーザに手指の傾きの調整を要求する旨のメッセージを含む第２フィードバック表示画面Ｓｃ３１を生成したり、ユーザに現在の手指の傾きの維持を要求する旨のメッセージを含む第１フィードバック表示画面Ｓｃ３２を生成したりしてよい。
【0082】
第３の表示例は、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点を中心点とする球ＨＳ３１，ＨＳ３２を、ユーザの手指が撮像された撮像画像Ｉｍｇ３１，Ｉｍｇ３２上に重畳する。第３の表示例における第２フィードバック表示画面Ｓｃ３１は、基準角度とピッチ角θｐおよびロール角θｒのそれぞれとの角度差に基づいて、球ＨＳ３１のそれぞれを回転し、回転後の球ＨＳ３１と、ピッチ角θｐおよびロール角θｒのそれぞれとの角度差に対応するベクトルＶＴ３１Ａ，ＶＴ３１Ｂのそれぞれとを撮像画像Ｉｍｇ３１上に重畳することで、ユーザの手指の傾きの調整方向を可視化する。
【0083】
プロセッサ１１は、撮像画像Ｉｍｇ３１，Ｉｍｇ３２からユーザの手指の関節点ＪＮＴを検出し、検出された関節点ＪＮＴに基づいて、生体部位に対応するピッチ角θｐおよびロール角θｒのそれぞれを算出する。
【0084】
プロセッサ１１は、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点を中心点とする球ＨＳ３１，ＨＳ３２と、球ＨＳ３１，ＨＳ３２に重畳されるピッチ軸ＬＮ３１Ａ，ＬＮ３２Ａおよびロール軸ＬＮ３１Ｂ，ＬＮ３２Ｂのそれぞれを生成する。プロセッサ１１は、基準角度と、算出されたピッチ角θｐおよびロール角θｒのそれぞれとの間の角度差を算出し、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であるか否かを判定する。
【0085】
プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内でないと判定した場合、算出されたピッチ角θｐの角度差に基づいて、ベクトルＶＴ３１Ａを生成する。具体的に、プロセッサ１１は、算出されたピッチ角θｐの角度差の符号（正数または負数）に基づいて、ユーザが手指の傾きを調整すべき（つまり、手指を傾けるべき）方向にベクトルＶＴ３１Ａの向きを決定し、算出された角度差の大きさに基づいて、ベクトルＶＴ３１Ａの長さを決定する。
【0086】
また、プロセッサ１１は、算出されたロール角θｒの角度差に基づいて、ベクトルＶＴ３１Ｂを生成する。具体的に、プロセッサ１１は、算出されたロール角θｒの角度差の符号に基づいて、ユーザが手指の傾きを調整すべき（つまり、手指を傾けるべき）方向にベクトルＶＴ３１Ｂの向きを決定し、算出された角度差の大きさに基づいて、ベクトルＶＴ３１Ｂの長さを決定する。
【0087】
プロセッサ１１は、球ＨＳ３１と、ピッチ軸ＬＮ３１Ａおよびロール軸ＬＮ３１Ｂのそれぞれと、ベクトルＶＴ３１Ａ，ＶＴ３１Ｂと、骨格ＳＬおよび関節点ＪＮＴのそれぞれとを撮像画像Ｉｍｇ３１に重畳し、第２フィードバック表示画面Ｓｃ２１を生成する。プロセッサ１１は、生成された第２フィードバック表示画面Ｓｃ２１をモニタ１４に出力して、表示させる。
【0088】
これにより、端末装置Ｐ１は、２本のベクトルＶＴ３１Ａ，ＶＴ３１Ｂのそれぞれにより、基準角度に対するピッチ角θｐおよびロール角θｒのそれぞれの角度差、つまり、ユーザの手指の傾きを、ピッチ軸ＰＬｐに沿う方向（すなわち、水平方向）およびロール軸ＰＬｒに沿う方向（垂直方向）で可視化した第２フィードバック表示画面Ｓｃ３１により、生体認証に適した生体画像の取得を支援できる。また、ユーザは、第２フィードバック表示画面Ｓｃ３１に表示されたベクトルＶＴ３１Ａ，ＶＴ３１Ｂの向きおよび長さによりユーザの手指の傾きを直観的に把握できるとともに、どの方向に手指を傾ければよいかを直観的に把握できる。
【0089】
一方、プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であると判定した場合、ベクトルの生成を省略する。プロセッサ１１は、球ＨＳ３２と、ピッチ軸ＬＮ３２Ａおよびロール軸ＬＮ３２Ｂのそれぞれと、骨格ＳＬおよび関節点ＪＮＴのそれぞれとを撮像画像Ｉｍｇ３２に重畳し、第１フィードバック表示画面Ｓｃ３２を生成する。プロセッサ１１は、生成された第１フィードバック表示画面Ｓｃ３２をモニタ１４に出力して、表示させる。
【0090】
これにより、端末装置Ｐ１は、ベクトルの生成および表示を省略することで、現在のユーザの手指の傾きが生体認証に適していることをユーザに通知できる。また、ユーザは、第１フィードバック表示画面Ｓｃ３２の球ＨＳ３２に重畳されたピッチ軸ＬＮ３２Ａおよびロール軸ＬＮ３２Ｂのそれぞれにより、現在のユーザの手指の傾きを維持すればよいことを直観的に把握できる。したがって、端末装置Ｐ１は、生体認証により適した生体画像の取得を支援できる。
【0091】
なお、第３の表示例における第１フィードバック表示画面Ｓｃ３２は、ユーザの現在の手指の傾きが生体認証に適した傾きであって、調整不要である旨を通知するメッセージを含んでいてもよい。また、プロセッサ１１は、第１フィードバック表示画面Ｓｃ３２で表示される球ＨＳ３２の線種、線の太さあるいは線の色と、第２フィードバック表示画面Ｓｃ３１で表示される球ＨＳ３１の線種、線の太さあるいは線の色とを変更してもよい。
【0092】
＜第４の表示例＞
次に、図８を参照して、第４の表示例について説明する。図８は、第４の表示例における第１フィードバック表示画面Ｓｃ４３例および第２フィードバック表示画面Ｓｃ４１，Ｓｃ４２例を説明する図である。
次に、図８を参照して、第４の表示例について説明する。図８は、第４の表示例における第１フィードバック表示画面Ｓｃ４３例および第２フィードバック表示画面Ｓｃ４１，Ｓｃ４２例を説明する図である。
【0093】
また、図６では図示を省略しているが、プロセッサ１１は、ユーザの手指の傾きが所定範囲内であるか否かの判定結果に基づいて、ユーザに手指の傾きの調整を要求する旨のメッセージを含む第２フィードバック表示画面Ｓｃ４１，Ｓｃ４２を生成したり、ユーザに現在の手指の傾きの維持を要求する旨のメッセージを含む第１フィードバック表示画面Ｓｃ４３を生成したりしてよい。
【0094】
第４の表示例は、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点を中心点とする球ＨＳ４１，ＨＳ４２，ＨＳ４３を、ユーザの手指が撮像された撮像画像Ｉｍｇ４１，Ｉｍｇ４２，Ｉｍｇ４３上に重畳する。第４の表示例における第２フィードバック表示画面Ｓｃ４１，Ｓｃ４２のそれぞれは、基準角度とピッチ角θｐおよびロール角θｒのそれぞれとの角度差に対応するベクトルのそれぞれとを撮像画像Ｉｍｇ４１，Ｉｍｇ４２上に重畳することで、ユーザの手指の傾きの調整方向を可視化する。
【0095】
プロセッサ１１は、撮像画像Ｉｍｇ４１～Ｉｍｇ４３からユーザの手指の関節点ＪＮＴを検出し、検出された関節点ＪＮＴに基づいて、生体部位に対応するピッチ角θｐおよびロール角θｒのそれぞれを算出する。
【0096】
プロセッサ１１は、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点を中心点とする球を生成し、ピッチ軸ＰＬｐを球ＨＳ４１～ＨＳ４３の表面に投影した曲線であるピッチ軸ＬＮ４１Ａ，ＬＮ４２Ａ，ＬＮ４３Ａと、ロール軸ＰＬｒを球ＨＳ４１～ＨＳ４３の表面に投影した曲線であるロール軸ＬＮ４１Ｂ，ＬＮ４２Ｂ，ＬＮ４３Ｂとを生成する。プロセッサ１１は、基準角度と、算出されたピッチ角θｐおよびロール角θｒのそれぞれとの間の角度差を算出し、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であるか否かを判定する。
【0097】
プロセッサ１１は、算出されたピッチ角θｐとピッチ軸ＰＬｐ（すなわち、基準角度）との角度差をさらに算出し、算出された角度差の符号（正数または負数）および大きさのそれぞれに基づいて、ピッチ角θｐの角度差を示すベクトルを生成する。
【0098】
ここで、プロセッサ１１は、第２フィードバック表示画面Ｓｃ４１に示す例において、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差と、ピッチ角θｐおよびロール角θｒのそれぞれの符号とに基づいて、ユーザが手指を傾けるべき方向に沿ってベクトルＶＴ４１の向きを決定し、算出された角度差の大きさに基づいて、ベクトルＶＴ４１の長さを決定する。ここで、ベクトルＶＴ４１は、ピッチ角θｐの角度差および符号に基づくベクトルと、ロール角θｒの角度差および符号に基づくベクトルとの合成により生成されたベクトルに等しい。
【0099】
プロセッサ１１は、骨格ＳＬおよび関節点ＪＮＴと、球ＨＳ４１と、ピッチ軸ＬＮ４１Ａおよびロール軸ＬＮ４１Ｂのそれぞれと、ベクトルＶＴ４１とを撮像画像Ｉｍｇ４１に重畳して、第２フィードバック表示画面Ｓｃ４１を生成し、モニタ１４に出力して表示させる。なお、ここで、プロセッサ１１は、ユーザの掌側（すなわち、紙面手前側）であって、球ＨＳ４１の天頂位置にベクトルＶＴ４１の始点位置を重畳する。
【0100】
これにより、端末装置Ｐ１は、ベクトルＶＴ４１によりユーザの手指の傾きの調整方向を可視化した第２フィードバック表示画面Ｓｃ４１により、生体認証に適した生体画像の取得を支援できる。また、ユーザは、第２フィードバック表示画面Ｓｃ４１に表示されたベクトルＶＴ４１の向きおよび長さによりユーザの手指の傾きを直観的に把握できるとともに、どの方向に手指を傾ければよいかを直観的に把握できる。
【0101】
また、プロセッサ１１は、第２フィードバック表示画面Ｓｃ４２に示す例において、算出されたピッチ角θｐの角度差および符号に基づいて、ユーザが手指を傾けるべき方向（すなわち、ピッチ角θｐの符号が示す方向と逆方向）に沿ってベクトルＶＴ４２Ａの向きを決定し、算出されたピッチ角θｐの角度差の大きさに基づいて、ベクトルＶＴ４２Ａの長さを決定する。
【0102】
プロセッサ１１は、算出されたロール角θｒの角度差および符号に基づいて、ユーザが手指を傾けるべき方向（すなわち、ロール角θｒの符号が示す方向と逆方向）に沿ってベクトルＶＴ４２Ｂの向きを決定し、算出されたロール角θｒの角度差の大きさに基づいて、ベクトルＶＴ４２Ｂの長さを決定する。
【0103】
プロセッサ１１は、骨格ＳＬおよび関節点ＪＮＴと、球ＨＳ４２と、ピッチ軸ＬＮ４２Ａおよびロール軸ＬＮ４２Ｂのそれぞれと、ベクトルＶＴ４２Ａ，ＶＴ４２Ｂのそれぞれとを撮像画像Ｉｍｇ４２に重畳して、第２フィードバック表示画面Ｓｃ４２を生成し、モニタ１４に出力して表示させる。なお、ここで、プロセッサ１１は、ユーザの掌側（紙面手前側）であって、球ＨＳ４２の天頂位置にベクトルＶＴ４２Ａ，ＶＴ４２Ｂのそれぞれの始点位置を重畳する。
【0104】
これにより、端末装置Ｐ１は、ベクトルＶＴ４２Ａ，ＶＴ４２Ｂのそれぞれによりユーザの手指の傾きの調整方向を可視化した第２フィードバック表示画面Ｓｃ４２により、生体認証に適した生体画像の取得を支援できる。また、ユーザは、第２フィードバック表示画面Ｓｃ４２に表示されたベクトルＶＴ４２Ａ，ベクトルＶＴ４２Ｂのそれぞれの向きおよび長さによりユーザの手指の傾きを直観的に把握できるとともに、どの方向に手指を傾ければよいかを直観的に把握できる。
【0105】
一方、プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であると判定した場合、ベクトルの生成を省略する。プロセッサ１１は、骨格ＳＬおよび関節点ＪＮＴと、球ＨＳ４３と、ピッチ軸ＬＮ４３Ａおよびロール軸ＬＮ４３Ｂのそれぞれとを撮像画像Ｉｍｇ４３に重畳して、第１フィードバック表示画面Ｓｃ４３を生成し、モニタ１４に出力して表示させる。
【0106】
これにより、端末装置Ｐ１は、ベクトルの生成および表示を省略することで、現在のユーザの手指の傾きが生体認証に適していることをユーザに通知できる。また、ユーザは、第１フィードバック表示画面Ｓｃ４３の球ＨＳ４３に重畳されたピッチ軸ＬＮ４３Ａおよびロール軸ＬＮ４３Ｂのそれぞれにより、現在のユーザの手指の傾きを維持すればよいことを直観的に把握できる。したがって、端末装置Ｐ１は、生体認証により適した生体画像の取得を支援できる。
【0107】
なお、第４の表示例における第１フィードバック表示画面Ｓｃ４３は、ユーザの現在の手指の傾きが生体認証に適した傾きであって、調整不要である旨を通知するメッセージを含んでいてもよい。また、プロセッサ１１は、第１フィードバック表示画面Ｓｃ４３で表示される球ＨＳ４３の線種、線の太さあるいは線の色と、第２フィードバック表示画面Ｓｃ４１，Ｓｃ４２で表示される球ＨＳ４１，ＨＳ４２の線種、線の太さあるいは線の色とを変更してもよい。
【0108】
次に、図９を参照して、第５の表示例および第６の表示例について説明する。図９は、第５，第６の表示例における第１フィードバック表示画面Ｓｃ５２，Ｓｃ６２例および第２フィードバック表示画面Ｓｃ５１，Ｓｃ６１例を説明する図である。
【0109】
また、図９では図示を省略しているが、プロセッサ１１は、ユーザの手指の傾きが所定範囲内でない場合、ユーザに手指の傾きの調整を要求する旨のメッセージを含む第２フィードバック表示画面Ｓｃ５１，Ｓｃ６１を生成してよい。
【0110】
＜第５の表示例＞
第５の表示例は、ユーザの手指が撮像された撮像画像Ｉｍｇ５１，Ｉｍｇ５２に写るユーザの生体部位上に正方形ＬＮ５１，ＬＮ５２を重畳する。第５の表示例における第２フィードバック表示画面Ｓｃ５１は、基準角度とピッチ角θｐおよびロール角θｒのそれぞれとの角度差に基づいて、正方形ＬＮ５１を変形して撮像画像Ｉｍｇ５１上に重畳することで、ユーザの手指の傾きの調整方向を可視化する。
第５の表示例は、ユーザの手指が撮像された撮像画像Ｉｍｇ５１，Ｉｍｇ５２に写るユーザの生体部位上に正方形ＬＮ５１，ＬＮ５２を重畳する。第５の表示例における第２フィードバック表示画面Ｓｃ５１は、基準角度とピッチ角θｐおよびロール角θｒのそれぞれとの角度差に基づいて、正方形ＬＮ５１を変形して撮像画像Ｉｍｇ５１上に重畳することで、ユーザの手指の傾きの調整方向を可視化する。
【0111】
プロセッサ１１は、撮像画像Ｉｍｇ５１，Ｉｍｇ５２からユーザの手指の関節点ＪＮＴを検出し、検出された関節点ＪＮＴに基づいて、生体部位に対応するピッチ角θｐおよびロール角θｒのそれぞれを算出する。
【0112】
プロセッサ１１は、基準角度と、算出されたピッチ角θｐおよびロール角θｒのそれぞれとの間の角度差を算出し、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であるか否かを判定する。
【0113】
プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内でないと判定した場合、算出されたピッチ角θｐおよびロール角θｒの角度差に基づいて、正方形の形状を変形させる。
【0114】
具体的に、プロセッサ１１は、撮像画像Ｉｍｇ５１に写るユーザの生体部位（図９に示す例では、掌）の少なくとも一部を含む領域を検出する。プロセッサ１１は、検出された領域でピッチ軸ＰＬｐとロール軸ＰＬｒとにより定義される水平面上に重畳される正方形を生成する。プロセッサ１１は、算出されたピッチ角θｐとロール角θｒとにより定義される水平面を形成する。プロセッサ１１は、ピッチ軸ＰＬｐとロール軸ＰＬｒとにより定義される水平面上に重畳された正方形（不図示）を、ピッチ角θｐとロール角θｒとにより定義される水平面上に重畳するための変換式（変換行列）を算出する。プロセッサ１１は、算出された変換式（変換行列）に基づいて、ピッチ軸ＰＬｐとロール軸ＰＬｒとにより定義される水平面上に重畳された正方形（不図示）を、ピッチ角θｐとロール角θｒとにより定義される水平面上に重畳可能な正方形ＬＮ５１に変形する。
【0115】
プロセッサ１１は、撮像画像Ｉｍｇ５１に写るユーザの生体部位（図９に示す例では、掌）の少なくとも一部を含む領域であって、ピッチ角θｐとロール角θｒとにより定義される水平面に変形後の正方形ＬＮ５１を、撮像画像Ｉｍｇ５１に重畳して、第２フィードバック表示画面Ｓｃ５１を生成する。プロセッサ１１は、生成された第２フィードバック表示画面Ｓｃ５１をモニタ１４に出力して、表示させる。
【0116】
これにより、端末装置Ｐ１は、撮像画像Ｉｍｇ５１に写るユーザの生体部位に重畳された正方形ＬＮ５１の形状でユーザの手指の傾きを可視化した第２フィードバック表示画面Ｓｃ５１を生成できる。端末装置Ｐ１は、第２フィードバック表示画面Ｓｃ５１の生成によって、生体認証に適した生体画像の取得を支援できる。また、ユーザは、第２フィードバック表示画面Ｓｃ５１に表示された正方形ＬＮ５１の形状によりユーザの手指の傾きを直観的に把握できるとともに、変形された正方形ＬＮ５１を元の正方形に戻すために、どの方向に手指を傾ければよいかを直観的に把握できる。
【0117】
一方、プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であると判定した場合、正方形ＬＮ５２の形状変形処理を省略する。
【0118】
プロセッサ１１は、撮像画像Ｉｍｇ５２に写るユーザの生体部位（図９に示す例では、掌）の少なくとも一部を含む領域であって、ピッチ軸ＰＬｐとロール軸ＰＬｒとにより定義される水平面に変形後の正方形ＬＮ５２を撮像画像Ｉｍｇ５２に重畳する。プロセッサ１１は、正方形ＬＮ５２が重畳された撮像画像Ｉｍｇ５２と、ユーザの現在の手指の傾きが生体認証に適した傾きである旨を通知するメッセージＭｓｇ２「ＯＫ！」とを含む第１フィードバック表示画面Ｓｃ５２を生成する。プロセッサ１１は、生成された第１フィードバック表示画面Ｓｃ５２をモニタ１４に出力して、表示させる。
【0119】
これにより、端末装置Ｐ１は、撮像画像Ｉｍｇ５２に写るユーザの生体部位に重畳された正方形ＬＮ５２の形状あるいはメッセージＭｓｇ２により、現在のユーザの手指の傾きが生体認証に適していることをユーザに通知できる。また、ユーザは、正方形ＬＮ５２の形状あるいはメッセージＭｓｇ２により、現在のユーザの手指の傾きを維持すればよいことを直観的に把握できる。したがって、端末装置Ｐ１は、生体認証により適した生体画像の取得を支援できる。
【0120】
なお、第５の表示例において、プロセッサ１１は、第１フィードバック表示画面Ｓｃ５２で表示される正方形ＬＮ５２の線種、線の太さあるいは線の色と、第２フィードバック表示画面Ｓｃ５１で表示される変形後の正方形ＬＮ５１の線種、線の太さあるいは線の色とを変更してもよい。
【0121】
＜第６の表示例＞
第６の表示例は、ユーザの手指が撮像された撮像画像Ｉｍｇ６１，Ｉｍｇ６２に写るユーザの生体部位上に、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）によって生成された球ＢＬを重畳表示することで、ユーザの手指の傾きを可視化する。
第６の表示例は、ユーザの手指が撮像された撮像画像Ｉｍｇ６１，Ｉｍｇ６２に写るユーザの生体部位上に、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）によって生成された球ＢＬを重畳表示することで、ユーザの手指の傾きを可視化する。
【0122】
プロセッサ１１は、撮像画像Ｉｍｇ６１，Ｉｍｇ６２からユーザの手指の関節点ＪＮＴを検出し、検出された関節点ＪＮＴに基づいて、生体部位に対応するピッチ角θｐおよびロール角θｒのそれぞれを算出する。
【0123】
プロセッサ１１は、基準角度と、算出されたピッチ角θｐおよびロール角θｒのそれぞれとの間の角度差を算出し、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であるか否かを判定する。
【0124】
プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内でないと判定した場合、算出されたピッチ角θｐおよびロール角θｒの角度差に基づいて、ピッチ軸ＰＬｐおよびロール軸ＰＬｒのそれぞれを傾ける。また、プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒの角度差に基づいて、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点位置から球ＢＬを転がした時の球ＢＬの位置（座標）を算出する。プロセッサ１１は、傾け処理後のピッチ軸ＬＮ６１Ａおよびロール軸ＬＮ６１Ｂのそれぞれと、ユーザの掌上に仮想的に転がされた球ＢＬとを撮像画像Ｉｍｇ６１に重畳して、第２フィードバック表示画面Ｓｃ６１を生成する。プロセッサ１１は、生成された第２フィードバック表示画面Ｓｃ６１をモニタ１４に出力して、表示させる。
【0125】
なお、ここで、プロセッサ１１は、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点位置と球ＢＬの位置との距離と、ピッチ軸ＰＬｐとロール軸ＰＬｒとの交点位置に対する球ＢＬが位置する方向とに基づいて、撮像画像Ｉｍｇ６１に重畳される球ＢＬの大きさを変更してよい。これにより、プロセッサ１１は、球ＢＬの大きさによって遠近感を表現できる。
【0126】
これにより、端末装置Ｐ１は、球ＢＬの転がる方向、球ＢＬの位置あるいは大きさ等に基づいて、ユーザの手指の傾きを可視化した第２フィードバック表示画面Ｓｃ６１を生成できる。端末装置Ｐ１は、第２フィードバック表示画面Ｓｃ６１の生成によって、生体認証に適した生体画像の取得を支援できる。また、ユーザは、第２フィードバック表示画面Ｓｃ６１に表示されたユーザの手指の傾きを直観的に把握できるとともに、球ＢＬの位置がピッチ軸ＰＬｐとロール軸ＰＬｒとの交点位置となるように、どの方向に手指を傾ければよいかを直観的に把握できる。
【0127】
一方、プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であると判定した場合、撮像画像Ｉｍｇ６２において、ピッチ軸ＰＬｐおよびロール軸ＰＬｒのそれぞれの交点位置（基準位置）に球ＢＬを重畳する。プロセッサ１１は、球ＢＬが重畳された撮像画像Ｉｍｇ６２と、ユーザの現在の手指の傾きが生体認証に適した傾きである旨を通知するメッセージＭｓｇ３「ＯＫ！」とを含む第１フィードバック表示画面Ｓｃ６２を生成する。プロセッサ１１は、生成された第１フィードバック表示画面Ｓｃ６２をモニタ１４に出力して、表示させる。
【0128】
これにより、端末装置Ｐ１は、撮像画像Ｉｍｇ６２に写る球ＢＬの位置、あるいはメッセージＭｓｇ３により、現在のユーザの手指の傾きが生体認証に適していることをユーザに通知できる。また、ユーザは、球ＢＬの位置あるいはメッセージＭｓｇ３により、現在のユーザの手指の傾きを維持すればよいことを直観的に把握できる。したがって、端末装置Ｐ１は、生体認証により適した生体画像の取得を支援できる。
【0129】
なお、第６の表示例において、プロセッサ１１は、第１フィードバック表示画面Ｓｃ６２で表示される球ＢＬの色と、第２フィードバック表示画面Ｓｃ６１で表示される球ＢＬの色とを変更してもよい。
【0130】
次に、図１０を参照して、第７の表示例および第８の表示例について説明する。図１０は、第７，第８の表示例における第１フィードバック表示画面Ｓｃ７２，Ｓｃ８２例および第２フィードバック表示画面Ｓｃ７１，Ｓｃ８１例を説明する図である。
【0131】
また、図１０では図示を省略しているが、プロセッサ１１は、ユーザの手指の傾きが所定範囲内でない場合、ユーザに手指の傾きの調整を要求する旨のメッセージを含む第２フィードバック表示画面Ｓｃ７１，Ｓｃ８１を生成してよい。
【0132】
＜第７の表示例＞
第７の表示例は、ユーザの手指が撮像された撮像画像Ｉｍｇ７１，Ｉｍｇ７２にリングＲＧを重畳する。第７の表示例における第２フィードバック表示画面Ｓｃ７１は、リングＲＧ上に、基準角度とピッチ角θｐおよびロール角θｒのそれぞれとの角度差に基づくリングバーＲＧ７１Ａを重畳することで、ユーザの手指の傾きの調整方向を可視化する。
第７の表示例は、ユーザの手指が撮像された撮像画像Ｉｍｇ７１，Ｉｍｇ７２にリングＲＧを重畳する。第７の表示例における第２フィードバック表示画面Ｓｃ７１は、リングＲＧ上に、基準角度とピッチ角θｐおよびロール角θｒのそれぞれとの角度差に基づくリングバーＲＧ７１Ａを重畳することで、ユーザの手指の傾きの調整方向を可視化する。
【0133】
プロセッサ１１は、撮像画像Ｉｍｇ７１，Ｉｍｇ７２からユーザの手指の関節点ＪＮＴを検出し、検出された関節点ＪＮＴに基づいて、生体部位に対応するピッチ角θｐおよびロール角θｒのそれぞれを算出する。
【0134】
プロセッサ１１は、基準角度と、算出されたピッチ角θｐおよびロール角θｒのそれぞれとの間の角度差を算出し、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であるか否かを判定する。
【0135】
プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内でないと判定した場合、撮像画像Ｉｍｇ７１上に重畳されるリングＲＧを生成し、ピッチ角θｐおよびロール角θｒの角度差に基づいて、リングバーＲＧ７１Ａを生成して、リングＲＧ上に重畳する。
【0136】
具体的に、プロセッサ１１は、リングＲＧ上であって、ピッチ角θｐおよびロール角θｒのそれぞれの角度差に基づく方向（角度）に、リングバーＲＧ７１Ａを重畳する。また、プロセッサ１１は、重畳されるリングバーＲＧ７１Ａにおける円周方向の円周長さを、ピッチ角θｐおよびロール角θｒの角度差のそれぞれの大きさに基づいて決定する。
【0137】
プロセッサ１１は、リングバーＲＧ７１Ａが重畳されたリングＲＧを撮像画像Ｉｍｇ７１に重畳して、第２フィードバック表示画面Ｓｃ７１を生成する。プロセッサ１１は、生成された第２フィードバック表示画面Ｓｃ７１をモニタ１４に出力して、表示させる。
【0138】
これにより、端末装置Ｐ１は、リングバーＲＧ７１Ａでユーザの手指の傾きを可視化した第２フィードバック表示画面Ｓｃ７１の生成によって、生体認証に適した生体画像の取得を支援できる。また、ユーザは、第２フィードバック表示画面Ｓｃ７１に表示されたリングバーＲＧ７１Ａの位置および円周長さによりユーザの手指の傾きを直観的に把握できるとともに、リングバーＲＧ７１Ａを消すために、どの方向に手指を傾ければよいかを直観的に把握できる。
【0139】
一方、プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であると判定した場合、撮像画像Ｉｍｇ７２上に重畳されるリングＲＧを生成して、撮像画像Ｉｍｇ７２上に重畳する。プロセッサ１１は、リングＲＧが重畳された撮像画像Ｉｍｇ７２と、ユーザの現在の手指の傾きが生体認証に適した傾きである旨を通知するメッセージＭｓｇ４「ＯＫ！」とを含む第１フィードバック表示画面Ｓｃ７２を生成する。プロセッサ１１は、生成された第１フィードバック表示画面Ｓｃ７２をモニタ１４に出力して、表示させる。
【0140】
これにより、端末装置Ｐ１は、撮像画像Ｉｍｇ７２に写るリングＲＧあるいはメッセージＭｓｇ４により、現在のユーザの手指の傾きが生体認証に適していることをユーザに通知できる。また、ユーザは、リングＲＧあるいはメッセージＭｓｇ４により、第１フィードバック表示画面Ｓｃ７２に重畳された現在のユーザの手指の傾きを維持すればよいことを直観的に把握できる。したがって、端末装置Ｐ１は、生体認証により適した生体画像の取得を支援できる。
【0141】
なお、第７の表示例において、プロセッサ１１は、第１フィードバック表示画面Ｓｃ７２で表示されるリングＲＧの線種、線の太さあるいは線の色と、第２フィードバック表示画面Ｓｃ７１で表示されるリングＲＧの線種、線の太さあるいは線の色とを変更してもよい。
【0142】
＜第８の表示例＞
第８の表示例は、ユーザの手指が撮像された撮像画像Ｉｍｇ８１，Ｉｍｇ８２の隣り合う２辺のそれぞれに沿ってピッチスライダＳＬ８１Ａ，ＳＬ８２Ａと、ロールスライダＳＬ８１Ｂ，ＳＬ８２Ｂとを表示する。第８の表示例における第２フィードバック表示画面Ｓｃ８１は、ピッチスライダＳＬ８１ＡおよびロールスライダＳＬ８１Ｂのそれぞれに、基準角度とピッチ角θｐとの角度差に基づくピッチポインタＰＴ８１Ａ，ＰＴ８２Ａと、基準角度とロール角θｒとの角度差に基づくロールポインタＰＴ８１Ｂ，ＰＴ８２Ｂとを重畳することで、ユーザの手指の傾きの調整方向を可視化する。
第８の表示例は、ユーザの手指が撮像された撮像画像Ｉｍｇ８１，Ｉｍｇ８２の隣り合う２辺のそれぞれに沿ってピッチスライダＳＬ８１Ａ，ＳＬ８２Ａと、ロールスライダＳＬ８１Ｂ，ＳＬ８２Ｂとを表示する。第８の表示例における第２フィードバック表示画面Ｓｃ８１は、ピッチスライダＳＬ８１ＡおよびロールスライダＳＬ８１Ｂのそれぞれに、基準角度とピッチ角θｐとの角度差に基づくピッチポインタＰＴ８１Ａ，ＰＴ８２Ａと、基準角度とロール角θｒとの角度差に基づくロールポインタＰＴ８１Ｂ，ＰＴ８２Ｂとを重畳することで、ユーザの手指の傾きの調整方向を可視化する。
【0143】
プロセッサ１１は、撮像画像Ｉｍｇ８１，Ｉｍｇ８２からユーザの手指の関節点ＪＮＴを検出し、検出された関節点ＪＮＴに基づいて、生体部位に対応するピッチ角θｐおよびロール角θｒのそれぞれを算出する。
【0144】
プロセッサ１１は、基準角度と、算出されたピッチ角θｐおよびロール角θｒのそれぞれとの間の角度差を算出し、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であるか否かを判定する。
【0145】
プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内でないと判定した場合、算出された角度差に基づいて、ピッチスライダＳＬ８１Ａと、ロールスライダＳＬ８１Ｂとを生成する。
【0146】
具体的に、プロセッサ１１は、生体認証に適した傾きであって、所定範囲内を示すピッチエリアＲＧ８１Ａと、算出されたピッチ角θｐの角度差に基づいて、現在のピッチ角θｐを示すピッチポインタＰＴ８１Ａとを含むピッチスライダＳＬ８１Ａを生成する。プロセッサ１１は、生体認証に適した傾きであって、所定範囲内を示すロールエリアＲＧ８１Ｂと、算出されたロール角θｒの角度差に基づいて、現在のロール角θｒを示すロールポインタＰＴ８１Ｂとを含むロールスライダＳＬ８１Ｂを生成する。
【0147】
プロセッサ１１は、生成されたピッチスライダＳＬ８１Ａと、ロールスライダＳＬ８１Ｂと、撮像画像Ｉｍｇ８１とを含む第２フィードバック表示画面Ｓｃ８１を生成する。プロセッサ１１は、生成された第２フィードバック表示画面Ｓｃ８１をモニタ１４に出力して、表示させる。
【0148】
これにより、端末装置Ｐ１は、ピッチエリアＲＧ８１Ａに対するピッチポインタＰＴ８１Ａの位置と、ロールエリアＲＧ８１Ｂに対するロールポインタＰＴ８１Ｂの位置とに基づいて、ユーザの手指の傾きを可視化した第２フィードバック表示画面Ｓｃ８１を生成できる。端末装置Ｐ１は、第２フィードバック表示画面Ｓｃ８１の生成によって、生体認証に適した生体画像の取得を支援できる。また、ユーザは、第２フィードバック表示画面Ｓｃ８１に表示されたピッチエリアＲＧ８１Ａに対するピッチポインタＰＴ８１Ａの位置と、ロールエリアＲＧ８１Ｂに対するロールポインタＰＴ８１Ｂの位置とによって、ユーザの手指の傾きを直観的に把握できるとともに、ピッチポインタＰＴ８１ＡがピッチエリアＲＧ８１Ａに、ロールポインタＰＴ８１ＢがロールエリアＲＧ８１Ｂにそれぞれ含まれるように、どの方向に手指を傾ければよいかを直観的に把握できる。
【0149】
プロセッサ１１は、算出されたピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内であると判定した場合、算出された角度差に基づいて、ピッチスライダＳＬ８２Ａと、ロールスライダＳＬ８２Ｂとを生成する。
【0150】
具体的に、プロセッサ１１は、生体認証に適した傾きであって、所定範囲内を示すピッチエリアＲＧ８２Ａと、算出されたピッチ角θｐの角度差に基づいて、現在のピッチ角θｐを示すピッチポインタＰＴ８２Ａとを含むピッチスライダＳＬ８２Ａを生成する。プロセッサ１１は、生体認証に適した傾きであって、所定範囲内を示すロールエリアＲＧ８２Ｂと、算出されたロール角θｒの角度差に基づいて、現在のロール角θｒを示すロールポインタＰＴ８２Ｂとを含むロールスライダＳＬ８２Ｂを生成する。
【0151】
プロセッサ１１は、ユーザの現在の手指の傾きが生体認証に適した傾きである旨を通知するメッセージＭｓｇ５「ＯＫ！」を生成する。プロセッサ１１は、生成されたメッセージＭｓｇ５と、ピッチスライダＳＬ８２Ａと、ロールスライダＳＬ８２Ｂと、撮像画像Ｉｍｇ８２とを含む第１フィードバック表示画面Ｓｃ８２を生成する。プロセッサ１１は、生成された第１フィードバック表示画面Ｓｃ８２をモニタ１４に出力して、表示させる。
【0152】
これにより、端末装置Ｐ１は、ピッチエリアＲＧ８２Ａに対するピッチポインタＰＴ８２Ａの位置と、ロールエリアＲＧ８２Ｂに対するロールポインタＰＴ８２Ｂの位置とに基づいて、あるいは、メッセージＭｓｇ５に基づいて、ユーザの手指の傾きが生体認証に適した傾きである旨を可視化した第１フィードバック表示画面Ｓｃ８２を生成できる。端末装置Ｐ１は、第１フィードバック表示画面Ｓｃ８２の生成によって、生体認証に適した生体画像の取得を支援できる。また、ユーザは、ピッチポインタＰＴ８２ＡおよびロールポインタＰＴ８２Ｂ、あるいはメッセージＭｓｇ５により、第１フィードバック表示画面Ｓｃ８２に重畳された現在のユーザの手指の傾きを維持すればよいことを直観的に把握できる。したがって、端末装置Ｐ１は、生体認証により適した生体画像の取得を支援できる。
【0153】
なお、第８の表示例において、プロセッサ１１は、第１フィードバック表示画面Ｓｃ８２で表示されるピッチポインタＰＴ８２ＡおよびロールポインタＰＴ８２Ｂの色と、第２フィードバック表示画面Ｓｃ８１で表示されるピッチポインタＰＴ８２ＡおよびロールポインタＰＴ８２Ｂの色とを変更してもよい。
【0154】
（実施の形態１の変形例）
実施の形態１に係る端末装置Ｐ１は、生体認証に適した生体部位の傾きの判定において、ピッチ角θｐ＝０（ゼロ）°およびロール角θｒ＝０（ゼロ）°のそれぞれを基準角度に設定し、この基準角度に基づいて、生体認証に適した傾きであると判定された撮像画像を生体画像として取得する例を示した。実施の形態１の変形例に係る生体認証システム１００は、事前に登録された生体画像または生体データが取得された時の生体部位の傾きを基準角度に設定し、この基準角度に基づいて、生体認証に適した傾きであると判定された撮像画像を生体画像として取得する例について説明する。
実施の形態１に係る端末装置Ｐ１は、生体認証に適した生体部位の傾きの判定において、ピッチ角θｐ＝０（ゼロ）°およびロール角θｒ＝０（ゼロ）°のそれぞれを基準角度に設定し、この基準角度に基づいて、生体認証に適した傾きであると判定された撮像画像を生体画像として取得する例を示した。実施の形態１の変形例に係る生体認証システム１００は、事前に登録された生体画像または生体データが取得された時の生体部位の傾きを基準角度に設定し、この基準角度に基づいて、生体認証に適した傾きであると判定された撮像画像を生体画像として取得する例について説明する。
【0155】
なお、実施の形態１の変形例における端末装置Ｐ１Ａは、実施の形態１における端末装置Ｐ１と同様の構成を有する。そこで、以下の実施の形態１の変形例に係る生体認証システム１００の説明では、実施の形態１における端末装置Ｐ１と同様の構成には、同一の符号を付与して、説明を省略する。
【0156】
【0157】
なお、以下で説明する生体認証システム１００は、一例としてユーザの顔画像に基づく顔認証と、ユーザの生体部位（例えば、指紋、静脈あるいは掌紋等）が撮像された生体画像とに基づくマルチモーダル生体認証により、ユーザ認証を実行する例を示すが、これに限定されない。生体認証システム１００は、例えば、多要素認証等のように、２つ以上のユーザ認証処理を実行すればよい。
【0158】
実施の形態１の変形例に係る生体認証システム１００は、１回目の任意の認証で事前にユーザ個人を特定した後に、特定されたユーザの生体画像または生体データに対応付けられた登録時の生体部位の傾き情報に基づいて、２回目の生体認証に用いられる生体画像を取得する。
【0159】
生体画像取得支援装置の一例としての端末装置Ｐ１Ａは、１回目のユーザ認証に用いられるユーザの顔画像を撮像して、サーバＳ１に送信する。また、端末装置Ｐ１Ａは、サーバＳ１から送信された顔認証結果に基づいて、２回目のユーザ認証に用いられるユーザの生体部位の撮像時の基準角度を決定し、ユーザの生体部位の撮像（取得）を実行する。なお、端末装置Ｐ１Ａは、顔画像からユーザの特徴量を抽出し、抽出されたユーザの特徴量をサーバＳ１に送信してもよいし、同様に、生体画像からユーザの特徴量を抽出し、抽出されたユーザの特徴量をサーバＳ１に送信してもよい。
【0160】
端末装置Ｐ１Ａは、通信部１０Ａと、プロセッサ１１Ａと、メモリ１２Ａと、カメラ１３Ａと、モニタ１４Ａとを含む。なお、端末装置Ｐ１Ａは、多要素認証を利用する場合、多要素認証を実現可能にする任意の構成を有してもよい。
【0161】
取得部の一例としての通信部１０Ａは、サーバＳ１との間で、有線通信または無線通信によりデータの送受信を行うための通信インターフェース回路を用いて構成される。通信部１０Ａは、プロセッサ１１Ａから出力された顔画像あるいは生体画像をサーバＳ１に送信する。通信部１０Ａは、サーバＳ１から送信された顔認証結果の情報を取得して、プロセッサ１１Ａに出力する。なお、ここでいう無線通信は、例えばＷｉ－Ｆｉ（登録商標）等の無線Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）を介した通信である。
【0162】
算出部、制御部、および検出部の一例としてのプロセッサ１１Ａは、例えばＣＰＵまたはＦＰＧＡを用いて構成されて、メモリ１２Ａと協働して、各種の処理および制御を行う。具体的には、プロセッサ１１Ａは、メモリ１２Ａに保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、生体部位の撮像に関する各種機能を実現する。
【0163】
メモリ１２Ａは、例えばプロセッサ１１Ａの各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ１１Ａの動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ１１Ａにより生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１Ａの動作を規定するプログラムが書き込まれている。
【0164】
カメラ１３Ａは、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣＣＤまたはＣＭＯＳの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
【0165】
モニタ１４Ａは、例えばＬＣＤもしくは有機ＥＬを用いて構成される。モニタ１４Ａは、カメラ１３Ａによって撮像された撮像画像、プロセッサ１１Ａによって生成された各種画面（図４～図１０のそれぞれに示す第１～第８の表示例における第１フィードバック表示画面，第２フィードバック表示画面等）、あるいは、サーバＳ１から送信された顔認証結果，生体認証結果等を含む画面を出力して、表示する。
【0166】
サーバＳ１は、端末装置Ｐ１Ａから送信された顔画像に基づく、１回目のユーザ認証を実行する。サーバＳ１は、ユーザ認証の結果、特定されたユーザの生体部位の傾き情報を含む顔認証結果を生成して、端末装置Ｐ１Ａに送信する。サーバＳ１は、端末装置Ｐ１Ａから送信された生体画像に基づいて、２回目のユーザ認証を実行する。サーバＳ１は、通信部２０と、プロセッサ２１と、メモリ２２と、生体データベースＤＢ１Ａと、顔画像データベースＤＢ２とを含む。なお、生体データベースＤＢ１Ａおよび顔画像データベースＤＢ２のそれぞれは、サーバＳ１と一体的に構成されてもよい。
【0167】
通信部２０は、端末装置Ｐ１Ａとの間で、有線通信または無線通信によりデータの送受信を行うための通信インターフェース回路を用いて構成される。通信部２０は、プロセッサ２１から出力された顔画像を用いた顔認証結果あるいは生体画像を用いた生体認証結果のそれぞれを端末装置Ｐ１Ａに送信する。通信部２０は、端末装置Ｐ１Ａから送信された顔画像あるいは生体画像を取得して、プロセッサ２１に出力する。
【0168】
プロセッサ２１は、例えばＣＰＵまたはＦＰＧＡを用いて構成されて、メモリ２２と協働して、各種の処理および制御を行う。具体的には、プロセッサ２１は、メモリ２２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、生体部位の撮像に関する各種機能を実現する。
【0169】
メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。
【0170】
生体データベースＤＢ１Ａは、所謂ストレージであって、例えばフラッシュメモリ、ＨＤＤあるいはＳＳＤ等の記憶媒体を用いて構成される。生体データベースＤＢ１Ａは、事前に登録された少なくとも１人の生体画像と、生体画像に写る生体部位の傾きに関する情報と、ユーザ情報とを対応付けて格納（登録）する。なお、生体データベースＤＢ１Ａは、生体画像から抽出された生体データと、ユーザ情報とを対応付けて格納（登録）してもよい。さらに、生体データベースＤＢ１Ａは、複数の生体画像のそれぞれを格納（登録）する場合、複数の生体画像のそれぞれと、生体画像のそれぞれに対応する生体部位の情報と、ユーザ情報とを対応付けて格納（登録）してもよい。
【0171】
顔画像データベースＤＢ２は、所謂ストレージであって、例えばフラッシュメモリ、ＨＤＤあるいはＳＳＤ等の記憶媒体を用いて構成される。顔画像データベースＤＢ２は、事前に登録された少なくとも１人の顔画像あるいは顔画像から抽出された特徴量と、ユーザ情報とを対応付けて格納（登録）する。
【0172】
【0173】
なお、図１２に示すシーケンス図において、破線で表示されたステップＳｔ３２～ステップＳｔ３３、ステップＳｔ３９～ステップＳｔ４０のそれぞれの処理は、必須でなく種雄略されてよい。
【0174】
端末装置Ｐ１Ａのプロセッサ１１Ａは、顔画像および生体部位の撮像を実現可能なアプリケーションを起動させるユーザ操作を受け付ける（Ｓｔ３１）。プロセッサ１１Ａは、ユーザ操作に基づいて、ユーザに顔画像の撮像操作を要求する操作指示画面（不図示）を生成し、モニタ１４Ａに出力する（Ｓｔ３３）。ここで、操作指示画面は、例えば、「カメラに顔を向けてください」等のメッセージを含む（Ｓｔ３２）。ユーザは、カメラ１３Ａに自身の顔を向ける（Ｓｔ３４）。
【0175】
プロセッサ１１Ａは、カメラ１３Ａにユーザの顔を撮像させる制御指令を出力する。プロセッサ１１Ａは、カメラ１３Ａから出力された顔画像を取得する（Ｓｔ３５）。プロセッサ１１Ａは、取得された顔画像を通信部１０Ａに出力し、サーバＳ１に送信させる（Ｓｔ３６）。なお、プロセッサ１１Ａは、顔画像から取得されたユーザの生体データをサーバＳ１に送信させてもよい。
【0176】
サーバＳ１のプロセッサ２１は、端末装置Ｐ１Ａから送信された顔画像を取得し、取得された顔画像と、顔画像データベースＤＢ２に登録された少なくとも１人の顔画像とを照合し、顔認証を実行する（Ｓｔ３７）。
【0177】
プロセッサ２１は、顔認証により認証（特定）されたユーザのユーザ情報に基づいて、生体データベースＤＢ１Ａからこのユーザ情報が対応付けられた生体部位の傾きに関する情報（例えば、登録された生体画像に対応する基準角度の情報、ピッチ角θｐ、ロール角θｒ等）を取得する。プロセッサ２１は、生体部位の傾きに関する情報と、顔認証結果とを対応付けて通信部２０に出力して、端末装置Ｐ１Ａに送信させる（Ｓｔ３８）。
【0178】
プロセッサ１１Ａは、サーバＳ１から送信された顔認証結果をモニタ１４Ａに出力する。また、プロセッサ１１Ａは、取得された顔認証結果がユーザ認証に成功した旨の結果である場合、ユーザに生体部位の撮像操作を要求する操作指示画面（不図示）を生成し、モニタ１４Ａに出力する（Ｓｔ４０）。ここで、操作指示画面は、例えば、「カメラに手を向けてください」等のメッセージを含む（Ｓｔ３９）。ユーザは、カメラ１３Ａに自身の手（生体部位）をかざす（Ｓｔ４１）。
【0179】
プロセッサ１１Ａは、カメラ１３Ａにユーザの生体部位を撮像させる制御指令を出力する。プロセッサ１１Ａは、カメラ１３Ａから出力されたユーザの手全体あるいは生体部位が撮像された撮像画像Ｉｍｇ（図３参照）を取得する（Ｓｔ４２）。
【0180】
プロセッサ１１Ａは、取得された撮像画像Ｉｍｇに基づいて、ユーザの手指の各関節点ＪＮＴ（図３参照）の３次元座標をそれぞれ検出する。プロセッサ１１Ａは、検出された各関節点ＪＮＴの３次元座標に基づいて、撮像画像に写るユーザの手指（生体部位）のピッチ角θｐおよびロール角θｒ（図３参照）をそれぞれ算出する。なお、ここで３次元座標が算出される関節は、少なくとも生体部位に対応する関節のみであってよい。
【0181】
プロセッサ１１Ａは、サーバＳ１から送信された生体部位の傾きに関する情報に基づいて、基準角度を設定する。プロセッサ１１Ａは、算出されたピッチ角θｐおよびロール角θｒのそれぞれと、設定された基準角度との間の角度差をそれぞれ算出する（Ｓｔ４３）。
【0182】
プロセッサ１１Ａは、算出されたピッチ角θｐおよびロール角θｒのそれぞれと、基準角度との間の角度差が、ともに所定範囲（例えば、－５°～＋５°等）内であるか否かを判定する（Ｓｔ４４）。なお、ここでいう所定範囲は、生体認証に用いられる生体データとして適した生体部位の傾きを示すピッチ角θｐおよびロール角θｒの範囲である。所定範囲は、生体認証に用いられる生体部位ごとにそれぞれ異なる範囲（値）が設定されてよい。
【0183】
プロセッサ１１Ａは、ステップＳｔ４４の処理において、ピッチ角θｐおよびロール角θｒのそれぞれと、基準角度との間の角度差が、ともに所定範囲（例えば、－５°～＋５°等）内であると判定した場合（Ｓｔ４４，ＹＥＳ）、ユーザに現在の生体部位の傾きが生体認証に適した傾きである旨を通知する第１フィードバック表示画面Ｓｃ１１，Ｓｃ２２，Ｓｃ３２，Ｓｃ４３，Ｓｃ５２，Ｓｃ６２，Ｓｃ７２，Ｓｃ８２（図４，図６～図１０参照）を生成する。プロセッサ１１Ａは、生成された第１フィードバック表示画面Ｓｃ１１，Ｓｃ２２，Ｓｃ３２，Ｓｃ４３，Ｓｃ５２，Ｓｃ６２，Ｓｃ７２，Ｓｃ８２をモニタ１４Ａに出力して表示させる（Ｓｔ４５）。なお、プロセッサ１１Ａは、第１フィードバック表示画面の代わりとして、ユーザに現在の生体部位の傾きが生体認証に適した傾きである旨を通知する音声信号を生成し、スピーカ（不図示）から出力してもよい。
【0184】
一方、プロセッサ１１Ａは、ステップＳｔ４４の処理において、ピッチ角θｐおよびロール角θｒのそれぞれと、基準角度との間の角度差が、ともに所定範囲（例えば、－５°～＋５°等）内でないと判定した場合（Ｓｔ４４，ＮＯ）、ピッチ角θｐおよびロール角θｒのそれぞれに対応する角度差に基づいて、現在の生体部位の傾きの調整を支援する第２フィードバック表示画面Ｓｃ１２，Ｓｃ１３，Ｓｃ１４，Ｓｃ１５，Ｓｃ２１，Ｓｃ３１，Ｓｃ４１，Ｓｃ４２，Ｓｃ５１，Ｓｃ６１，Ｓｃ７１，Ｓｃ８１（図５～図１０参照）を生成する。プロセッサ１１Ａは、生成された第２フィードバック表示画面Ｓｃ１２，Ｓｃ１３，Ｓｃ１４，Ｓｃ１５，Ｓｃ２１，Ｓｃ３１，Ｓｃ４１，Ｓｃ４２，Ｓｃ５１，Ｓｃ６１，Ｓｃ７１，Ｓｃ８１をモニタ１４Ａに出力して表示させる（Ｓｔ４６）。
【0185】
プロセッサ１１Ａは、カメラ１３Ａから出力された撮像画像に基づいて、ユーザの生体部位の傾きであるピッチ角θｐおよびロール角θｒのそれぞれが所定範囲内である状態が３秒以上継続したか否かを判定する（Ｓｔ４７）。
【0186】
なお、継続時間「３秒」は、一例であって、これに限定されない。プロセッサ１１Ａは、ユーザに現在の生体部位の傾きが生体認証に適した傾きである旨を通知する間、ピッチ角θｐおよびロール角θｒのそれぞれが所定範囲内である、つまり、生体部位の傾きが維持されたままであるか否かを判定可能な時間であればよい。また、プロセッサ１１Ａは、ステップＳｔ４７の処理において、ピッチ角θｐおよびロール角θｒのそれぞれが所定範囲内であるか否かの判定処理を、任意の間隔（例えば、１秒ごと等）で実行してよい。
【0187】
プロセッサ１１Ａは、ステップＳｔ４７の処理において、ピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内である状態が３秒以上継続したと判定した場合（Ｓｔ４７，ＹＥＳ）、カメラ１３Ａにより撮像された撮像画像のうちいずれか生体認証に用いられる生体画像を取得する（Ｓｔ４８）。
【0188】
なお、生体画像として取得される撮像画像は、ステップＳｔ４２～ステップＳｔ４７の処理において撮像された撮像画像であってもよいし、ステップＳｔ４７の処理の後に撮像された撮像画像であってもよい。また、生体画像として取得される撮像画像は、撮像された撮像画像のうちピッチ角θｐと基準角度との間の角度差、および、ロール角θｒと基準角度との間の角度差のそれぞれが最も小さい撮像画像、撮像画像に写る指紋等の生体部位に最もピントが合っている撮像画像等であってよい。
【0189】
一方、プロセッサ１１Ａは、ステップＳｔ４７の処理において、ピッチ角θｐおよびロール角θｒのそれぞれの角度差が所定範囲内である状態が３秒以上継続しないと判定した場合（Ｓｔ４７，ＮＯ）、ステップＳｔ４１の処理に戻る。
【0190】
プロセッサ１１Ａは、取得された生体画像を通信部１０Ａに出力し、サーバＳ１に送信させる（Ｓｔ４９）。なお、プロセッサ１１Ａは、生体画像の代わりに生体画像から抽出された生体データを送信してもよい。
【0191】
プロセッサ２１は、端末装置Ｐ１Ａから送信された生体画像を用いて、生体認証（ユーザ認証）を実行する（Ｓｔ５０）。プロセッサ２１は、取得された生体画像と、生体データベースＤＢ１Ａに登録された少なくとも１人の生体画像とを照合して生体認証を実行し、生体認証結果を生成し、端末装置Ｐ１Ａに送信する。なお、プロセッサ２１は、端末装置Ｐ１Ａから送信された生体データと、生体データベースＤＢ１Ａに登録された生体データとを用いて、生体認証を実行してもよい。
【0192】
以上により、実施の形態１の変形例に係る生体認証システム１００は、ピッチ角＝０（ゼロ）°、ロール角＝０（ゼロ）°を基準角度に設定していない状態、つまり、カメラ１３のイメージセンサ（不図示）の受光面と略平行な状態で取得されていない生体画像が事前に登録されている場合であっても、生体画像の取得に用いられる基準角度を登録済みの生体画像に対応する基準角度に設定することで、登録済みの生体画像との生体認証に適した生体画像の取得を支援できる。これにより、生体認証システム１００は、生体認証精度の低下をより効果的に抑制できる。
【0193】
以上により、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａ（生体画像取得支援装置，コンピュータの一例）は、ユーザ（被写体の一例）の生体部位（例えば、指先、指あるいは掌等）が撮像された撮像画像Ｉｍｇを取得する通信部１０，１０Ａ（取得部の一例）と、取得された撮像画像Ｉｍｇに基づいて、基準角度に対する生体部位の傾きを算出するプロセッサ１１，１１Ａ（算出部の一例）と、生体部位の傾きが基準角度に対して所定範囲内でないと判定した場合、生体部位の傾きに関する情報と撮像画像Ｉｍｇとを含む第２フィードバック表示画面（姿勢誘導画面の一例）を生成して、モニタ１４，１４Ａに出力するプロセッサ１１，１１Ａ（制御部の一例）と、を備える。
【0194】
これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体認証に用いられる生体部位を撮像した生体画像の取得において生体認証に適した生体画像を取得するための基準角度に対する生体部位の傾き（角度差）が、生体認証に利用可能な所定範囲内でないと判定した場合、算出された生体部位の傾きに関する情報と、生体部位が撮像された撮像画像Ｉｍｇとを対応付けた第２フィードバック表示画面を生成することで、ユーザに生体部位の傾きを通知できるとともに、生体認証に適した生体画像を取得するための支援を実行できる。
【0195】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおける生体部位の傾きに関する情報は、生体部位の傾き方向を示す情報を含む。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体部位が傾いている方向をユーザに可視化して通知し、生体認証に適した生体画像を取得するための支援を実行できる。
【0196】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおける生体部位の傾きに関する情報は、生体部位の傾き方向および傾きの大きさの情報を含む。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体部位が傾いている方向と、傾いている角度の大きさとをユーザに可視化して通知し、生体認証に適した生体画像を取得するための支援を実行できる。
【0197】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおける生体部位の傾きに関する情報は、ユーザに生体部位を傾けさせる方向を示す情報を含む。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体部位を傾けるべき方向をユーザに可視化して通知し、生体認証に適した生体画像を取得するための支援を実行できる。
【0198】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおける生体部位の傾きに関する情報は、ユーザに生体部位を傾けさせる方向および大きさを示す情報を含む。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体部位を傾けるべき方向と、傾けるべき角度の大きさとをユーザに可視化して通知し、生体認証に適した生体画像を取得するための支援を実行できる。
【0199】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおけるプロセッサ１１，１１Ａは、撮像画像Ｉｍｇが撮像されたカメラ１３のイメージセンサの受光面に対する生体部位の傾きを算出する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体認証に用いられる生体部位とイメージセンサの受光面との角度差が所定範囲内である生体画像を取得可能に支援できる。
【0200】
また、実施の形態１の変形例に係る端末装置Ｐ１Ａにおける通信部１０Ａは、ユーザの他の撮像画像（例えば、顔画像データベースＤＢ２に登録されたユーザの撮像画像）に写る生体部位の傾きに関する情報を取得する。プロセッサ１１，１１Ａは、他の撮像画像に写る生体部位の傾きを基準角度に設定し、基準角度に対する生体部位の傾きを算出する。これにより、実施の形態１の変形例に係る端末装置Ｐ１Ａは、生体部位が傾いた状態で撮像され、既に登録済みの生体画像がある場合には、この登録済みの生体画像に写る生体部位の傾きを基準角度に設定することで、登録済みの生体画像に写る生体部位との生体認証精度を向上可能な生体画像の取得を支援できる。
【0201】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおける所定範囲は、基準角度に対して－５°以上、＋５°以下である。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、イメージセンサの受光面と生体部位とが略平行な状態で撮像され、生体認証により適した生体画像の取得を支援できる。
【0202】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおける取得された撮像画像Ｉｍｇからユーザの生体部位の複数の関節点ＪＮＴを検出可能なプロセッサ１１，１１Ａ（検出部の一例）と、をさらに備える。プロセッサ１１，１１Ａは、検出された複数の関節点ＪＮＴの位置に基づいて、基準角度に対する生体部位の傾きを算出する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体部位の傾きをより高精度に算出できる。
【0203】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおける生体部位の傾きは、ピッチ軸ＰＬｐ（第１方向の一例）と、ピッチ軸ＰＬｐと略直交するロール軸ＰＬｒ（第２方向の一例）とに基づいて、算出される。プロセッサ１１，１１Ａは、複数の関節点のうちピッチ軸ＰＬｐに沿ういずれか２点の関節点の位置と、複数の関節点のうちロール軸ＰＬｒに沿ういずれか２点の関節点の位置とに基づいて、生体部位の傾きを算出する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、撮像画像に写る生体部位の写り方としての生体部位の傾きを算出できる。
【0204】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおけるプロセッサ１１，１１Ａは、生体部位がいずれか１本の指（例えば、指紋）である場合、この１本の指のいずれか２点以上の関節点の位置と、いずれか２本の指の指先の関節点の位置とに基づいて、生体部位の傾きを算出する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体認証の対象であるいずれかの指の傾きが生体認証に適した生体画像を取得可能な傾きであるかを判定できる。
【0205】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおけるプロセッサ１１，１１Ａは、生体部位がいずれか１本の指（例えば、静脈）である場合、この１本の指のいずれか２点以上の関節点の位置と、いずれか２本の指の第２関節の位置とに基づいて、生体部位の傾きを算出する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体認証の対象であるいずれかの指の傾きが生体認証に適した生体画像を取得可能な傾きであるかを判定できる。
【0206】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおけるプロセッサ１１，１１Ａは、生体部位が掌（例えば、掌紋）である場合、手首の関節点の位置と、人差し指、中指または薬指のいずれかの関節点の位置と、小指の付け根の関節点の位置と、人差し指の付け根または親指のいずれかの関節点の位置とに基づいて、生体部位の傾きを算出する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体認証の対象である掌の傾きが生体認証に適した生体画像を取得可能な傾きであるかを判定できる。
【0207】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおけるプロセッサ１１，１１Ａは、生体部位のうち指の複数の関節点のうち隣り合う２点の関節点間の距離を指ごとに算出する。プロセッサ１１，１１Ａは、算出された２点の関節点間の距離に基づいて、指が曲がっているか否かを判定し、指が曲がっていると判定した場合、指を開くように指示する指示情報と、生体部位の傾きに関する情報と、撮像画像Ｉｍｇとを含む第２フィードバック表示画面を生成して、モニタ１４，１４Ａに出力する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体部位の傾きだけでなく、生体部位の指の曲がりを検出でき、生体認証により適した生体画像の取得を支援できる。
【0208】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおけるプロセッサ１１，１１Ａは、生体部位の傾きが基準角度に対して所定範囲内であると判定した場合、生体部位の傾きが所定範囲内である旨を通知する第１フィードバック表示画面（通知画面の一例）を生成して、モニタ１４，１４Ａに出力する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体部位の傾きが生体認証に適していることをユーザに通知できる。
【0209】
また、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａにおけるプロセッサ１１，１１Ａは、生体部位の傾きが所定範囲内である撮像画像Ｉｍｇを取得し、指紋データベースＤＢ１（記憶媒体の一例）に出力して格納する。これにより、実施の形態１および実施の形態１の変形例に係る端末装置Ｐ１，Ｐ１Ａは、生体認証に適した生体画像のみを取得し、生体認証に用いられる生体画像として登録することができる。
【0210】
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0211】
本開示は、非接触状態において、非接触状態において、生体認証により適した生体データの取得を支援する生体画像取得支援装置および生体画像取得支援方法の提示として有用である。
【符号の説明】
【0212】
１０，１０Ａ，２０ 通信部
１１，１１Ａ，２１ プロセッサ
１２，１２Ａ，２２ メモリ
１３，１３Ａ カメラ
１４，１４Ａ モニタ
１５ 操作部
１００ 生体認証システム
ＤＢ１ 指紋データベース
ＤＢ１Ａ 生体データベース
ＤＢ２ 顔画像データベース
Ｐ１，Ｐ１Ａ 端末装置
Ｓ１ サーバ
Ｓｃ１１，Ｓｃ２２，Ｓｃ３２，Ｓｃ４３，Ｓｃ５２，Ｓｃ６２，Ｓｃ７２，Ｓｃ８２ 第１フィードバック表示画面
Ｓｃ１２，Ｓｃ１３，Ｓｃ１４，Ｓｃ１５，Ｓｃ２１，Ｓｃ３１，Ｓｃ４１，Ｓｃ４２，Ｓｃ５１，Ｓｃ６１，Ｓｃ７１，Ｓｃ８１ 第２フィードバック表示画面
１１，１１Ａ，２１ プロセッサ
１２，１２Ａ，２２ メモリ
１３，１３Ａ カメラ
１４，１４Ａ モニタ
１５ 操作部
１００ 生体認証システム
ＤＢ１ 指紋データベース
ＤＢ１Ａ 生体データベース
ＤＢ２ 顔画像データベース
Ｐ１，Ｐ１Ａ 端末装置
Ｓ１ サーバ
Ｓｃ１１，Ｓｃ２２，Ｓｃ３２，Ｓｃ４３，Ｓｃ５２，Ｓｃ６２，Ｓｃ７２，Ｓｃ８２ 第１フィードバック表示画面
Ｓｃ１２，Ｓｃ１３，Ｓｃ１４，Ｓｃ１５，Ｓｃ２１，Ｓｃ３１，Ｓｃ４１，Ｓｃ４２，Ｓｃ５１，Ｓｃ６１，Ｓｃ７１，Ｓｃ８１ 第２フィードバック表示画面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】