特許 7230337 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-20

(45)【発行日】2023-03-01

(54)【発明の名称】生体画像処理装置、生体画像処理方法、および生体画像処理プログラム

(51)【国際特許分類】

   G06V 40/145 20220101AFI20230221BHJP

   G06T 7/00 20170101ALI20230221BHJP

   G06T 1/00 20060101ALI20230221BHJP

【ＦＩ】

G06V40/145

G06T7/00 510E

G06T1/00 400H

【請求項の数】 4

(21)【出願番号】P 2018071161

(22)【出願日】2018-04-02

(65)【公開番号】P2019185143

(43)【公開日】2019-10-24

【審査請求日】2021-01-13

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】▲浜▼ 壮一

(72)【発明者】

【氏名】安孫子 幸弘

(72)【発明者】

【氏名】前田 智司

(72)【発明者】

【氏名】仙波 聡史

(72)【発明者】

【氏名】名田 元

【審査官】宮島 潤

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１４７１５１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０００３６８３（ＵＳ，Ａ１）

【文献】特開２０１２－２３４４４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／００ － ４０／１６

Ｇ０６Ｖ ４０／１８ － ４０／１９

Ｇ０６Ｖ ４０／３０ － ４０／７０

Ｇ０６Ｔ １／００

Ａ６１Ｂ ５／０６ － ５／２２

(57)【特許請求の範囲】

【請求項1】

生体画像である手のひらの画像から抽出した特徴量が登録されているデータベースと、
タッチパネルと、
認証対象者が指でなぞる２本の平行なラインを前記タッチパネル上に表示し、それぞれのラインに、前記認証対象者の人差し指と親指とが接触した状態で、前記タッチパネル上をスライドする前記認証対象者の手のひらを、前記タッチパネルと同一平面から撮影して、前記認証対象者の生体画像を取得する撮影部と、
前記タッチパネルから検出される前記生体の移動量と前記取得した前記認証対象者の生体画像の局所特徴の移動量との比に基づいて、前記撮影部と前記生体との間の距離を算出する距離算出部と、
前記タッチパネルに平行な平面における前記生体の前記撮影部に対する回転角を、前記算出した前記距離、及び、予め求めておいた前記距離と前記回転角との対応関係に基づいて推定する回転角推定部と、
前記推定した回転角に基づいて、前記取得した前記認証対象者の生体画像の向きを補正し、前記補正した生体画像から抽出された特徴量と前記データベースに登録されている特徴量とを照合することによって前記認証対象者の認証を行う照合部と、
を備える生体画像処理装置。

【請求項2】

前記取得した前記認証対象者の生体画像から抽出された特徴量と前記推定した回転角とを対応付けて前記データベースに登録する登録部をさらに備えることを特徴とする請求項１記載の生体画像処理装置。

【請求項3】

生体画像である手のひらの画像から抽出した特徴量が登録されているデータベースと、撮影部と、タッチパネルとを有するコンピュータが
認証対象者が指でなぞる２本の平行なラインを前記タッチパネル上に表示し、それぞれのラインに、前記認証対象者の人差し指と親指とが接触した状態で、前記タッチパネル上をスライドする前記認証対象者の手のひらを、前記タッチパネルと同一平面から撮影して、前記認証対象者の生体画像を取得する前記撮影部により取得された前記認証対象者の生体画像を取得し、
前記タッチパネルから検出される前記生体の移動量と前記取得した前記認証対象者の生体画像の局所特徴の移動量との比に基づいて、前記撮影部と前記生体との間の距離を算出し、
前記タッチパネルに平行な平面における前記生体の前記撮影部に対する回転角を、前記算出した前記距離、及び、予め求めておいた前記距離と前記回転角との対応関係に基づいて推定し、
前記推定した回転角に基づいて、前記取得した前記認証対象者の生体画像の向きを補正し、
前記補正した生体画像から抽出された特徴量と前記データベースに登録されている特徴量とを照合することによって前記認証対象者の認証を行う、
ことを特徴とする生体画像処理方法。

【請求項4】

生体画像である手のひらの画像から抽出した特徴量が登録されているデータベースと、撮影部と、タッチパネルとを有するコンピュータに
認証対象者が指でなぞる２本の平行なラインを前記タッチパネル上に表示し、それぞれのラインに、前記認証対象者の人差し指と親指とが接触した状態で、前記タッチパネル上をスライドする前記認証対象者の手のひらを、前記タッチパネルと同一平面から撮影して、前記認証対象者の生体画像を取得する前記撮影部により取得された前記認証対象者の生体画像を取得し、
前記タッチパネルから検出される前記生体の移動量と前記取得した前記認証対象者の生体画像の局所特徴の移動量との比に基づいて、前記撮影部と前記生体との間の距離を算出し、
前記タッチパネルに平行な平面における前記生体の前記撮影部に対する回転角を、前記算出した前記距離、及び、予め求めておいた前記距離と前記回転角との対応関係に基づいて推定し、
前記推定した回転角に基づいて、前記取得した前記認証対象者の生体画像の向きを補正し、
前記補正した生体画像から抽出された特徴量と前記データベースに登録されている特徴量とを照合することによって前記認証対象者の認証を行う、
処理を実行させる生体画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体画像処理装置、生体画像処理方法、および生体画像処理プログラムに関する。

【背景技術】

【0002】

手のひら静脈等を用いた生体認証は、ビルや部屋等への入退室管理、パーソナルコンピュータ（ＰＣ）のアクセス管理、またはスマートフォン等の携帯端末のロック解除など幅広い分野で利用されている。

【0003】

携帯端末は携帯性が向上して屋外など様々な場面で利用する機会が増えており、セキュリティ機能にも利便性が強く求められている。移動しながら利用される場合、例えば、乗用車、バス、鉄道のように利用者の周囲が揺れているような不安定な利用場面で生体認証を行う場合は携帯端末を固定することが難しい。入力時の生体のぶれにともなって、入力される生体情報の品質が劣化することによって本人拒否が発生しやすくなり、操作時間および操作回数が増大し利便性が大きく損なわれる。

【0004】

例えば、手のひらの静脈パターンを読み取って本人確認をおこなう手のひら静脈認証は、高いセキュリティを確保でき静止した状態で利用しやすいことが特長である。しかし，手を端末にかざしてセンサと接触せずに利用するため、揺れがある不安定な環境では手とセンサがぶれやすく利用が難しい。

【0005】

一方、携帯端末の多くは、端末を手で保持して端末に備えられたタッチパネル等を操作する使い方である。そこで、タッチパネルを手で操作すると同時に手のひらの情報を読み取ることにより、端末と読み取る手の相対位置関係を固定し、揺れの影響を軽減する技術がある。

【0006】

また、携帯端末では大きさの制約上、撮影範囲の広い生体センサの搭載は難しく、また、使い勝手上、生体をセンサから離して広範囲を撮影するのも難しい。そこで、生体をセンサ上で移動させながら複数の画像を撮影する技術がある。

【0007】

図１に示すように、認証処理時において、携帯端末５１はタッチパネル５２に指のタッチ場所を示すガイド表示６１－ｉ（ｉ＝１，２）を表示する。図１では、携帯端末５１は、平行な２本のラインのガイド表示６１－ｉをタッチパネル５２に表示する。利用者は、親指と人差し指をガイド表示６１－ｉに接触させたまま矢印方向にガイド表示６１－ｉに沿って移動させて手７１を移動する。

【0008】

カメラ等の生体センサ５３は、ガイド表示６１－ｉに対するタッチを検出すると、点線で示される撮影範囲５４を撮影する。生体センサ５３は、指がガイド表示６１－ｉに沿って移動する間、定期的に撮影範囲５４を撮影して、複数の撮影画像を撮影する。これにより、手のひらの異なる位置の複数の画像が得られる。携帯端末５１は、撮影画像から抽出した特徴量と登録データとを照合して、認証の可否を判定する。

【0009】

このように利用者が指でなぞるラインをタッチパネル上に表示し、タッチパネル上をスライドする手のひらの画像を撮影することにより、効率よく生体情報が入力できる。

【0010】

部分認証を静脈認証に適用した場合に、高速で静脈認証を行うことができる技術がしられている（例えば、特許文献１参照）。操作部への入力の検出に応じて、操作部における創始値の指示を出力させ、前記入力の検出後に生体画像を撮像する技術が知られている（例えば、特許文献２参照）。簡易な構成で手のひら静脈認証を行うことが可能な情報処理装置が知られている（例えば、特許文献３参照）。また、特許文献４～７記載の技術が知られている。

【先行技術文献】

【特許文献】

【0011】

【文献】特開２０１６－１７３６６９号公報

【文献】特開２０１６－２１２６３６号公報

【文献】特開２０１７－９７５７４号公報

【文献】特開２００７－２３３９８１号公報

【文献】特開２０１０－２６８９８９号公報

【文献】特開２００４－１０２９９３号公報

【文献】特開２０１７－１３６１３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

ガイド表示６１－ｉに指を置くようにタッチパネル５２にタッチした場合、手７１の置き方によって手のひらの角度が異なってしまう場合がある。例えば、図２，３に示すように、携帯端末５１のタッチパネル５２に対して指先がタッチしている位置が同じでも、手７１の置き方によって手のひらの角度が異なる。図２の手の角度θ_１に比べて、図３の手の角度θ_２は小さい。

【0013】

すなわち、同じガイド表示を用いて生体画像を取得しても、登録データの登録時の手のひらの角度と、認証時の手のひらの角度が異なる場合がある。登録データの登録時の手のひらの角度と、認証時の手のひらの角度が異なると、認証精度が低下する。

【0014】

１つの側面において、本発明は、認証精度を向上させることを目的とする。

【課題を解決するための手段】

【0015】

実施の形態に係る生体画像処理装置は、生体画像である手のひらの画像から抽出した特徴量が登録されているデータベースと、タッチパネルと、撮影部と、距離算出部と、回転角推定部と、照合部と、を備える。

【0016】

前記撮影部は、認証対象者が指でなぞる２本の平行なラインを前記タッチパネル上に表示し、それぞれのラインに、前記認証対象者の人差し指と親指とが接触した状態で、前記タッチパネル上をスライドする前記認証対象者の手のひらを、前記タッチパネルと同一平面から撮影して、前記認証対象者の生体画像を取得する。
前記距離算出部は、前記タッチパネルから検出される前記生体の移動量と前記取得した前記認証対象者の生体画像の局所特徴の移動量との比に基づいて、前記撮影部と前記生体との間の距離を算出する。

【0017】

前記回転角推定部は、前記タッチパネルに平行な平面における前記生体の前記撮影部に対する回転角を、前記算出した前記距離、及び、予め求めておいた前記距離と前記回転角との対応関係に基づいて推定する。
前記照合部は、前記推定した回転角に基づいて、前記取得した前記認証対象者の生体画像の向きを補正し、前記補正した生体画像から抽出された特徴量と前記データベースに登録されている特徴量とを照合することによって前記認証対象者の認証を行う。

【発明の効果】

【0018】

実施の形態によれば、認証精度を向上させることができる。

【図面の簡単な説明】

【0019】

【図1】ガイド表示を用いた携帯端末の操作の例を示す図である。

【図2】ガイド表示を用いた携帯端末の操作の例を示す図である。

【図3】ガイド表示を用いた携帯端末の操作の例を示す図である。

【図4】実施の形態に係る端末装置の構成図である。

【図5】実施の形態に係るガイド表示を用いた端末装置の操作の例を示す図である。

【図6】手のひらの回転角を示す図である。

【図7】手のひらとセンサとの間の距離を示す図である。

【図8】手のひらの回転角と手のひらの距離との関係を示す図である。

【図9】手のひらの回転角と手のひらの距離との関係を示す図である。

【図10】実施の形態に係る登録処理のフローチャートである。

【図11】手のひらの回転角と手のひらの距離の関係を示す図である。

【図12】登録ＤＢの例である。

【図13】実施の形態に係る認証処理のフローチャートである。

【図14】ガイド表示の例である。

【図15】ガイド表示の例である。

【図16】情報処理装置（コンピュータ）の構成図である。

【発明を実施するための形態】

【0020】

以下、図面を参照しながら実施の形態を説明する。
照合を行う際には、ある程度の回転が発生することを考慮し、回転角を走査しながら照合処理を行うが、想定よりも角度変化が大きい場合には、本人拒否エラーが発生しやすくなる。大きな角度変化に対応するために、照合処理の際、十分な範囲の角度走査を行うことが望ましい。しかしながら、走査する角度範囲が広いほど処理時間が増大し、他人受入れのリスクも増大してしまう。このような問題に対し、従来技術（例えば、特許文献６参照）では手のひらの外形情報（輪郭）から回転角を求め、角度変化に対応している。しかし、タッチパネルにタッチしながら撮影するような非常に近距離で撮影する場合には、手のひらの一部分しか撮影されないため、輪郭情報による角度推定を行うことが困難であるという問題がある。

【0021】

図４は、実施の形態に係る端末装置の構成図である。
端末装置１０１は、生体センサ１１１、タッチパネル１２１、生体画像取得部１３１、タッチ位置取得部１４１、距離検出部１５１、回転角推定部１６１、表示制御部１７１、登録部１８１、照合部１９１、および記憶部２０１を有する。端末装置１０１は、例えば、タブレットやスマートフォン等の可搬型の情報処理装置（コンピュータ）である。端末装置１０１は、生体画像処理装置の一例である。

【0022】

生体センサ１１１は、利用者（登録者または認証対象者）の手のひら等の生体を撮影する。生体センサ１１１は、利用者がタッチパネル１２１を指で操作する際に、利用者の手のひらの少なくとも一部を撮影可能な位置に設けられている。生体センサ１１１は、撮影した生体の画像（生体画像）を生体画像取得部１３１に出力する。生体センサ１１１は、例えば、赤外線カメラである。生体センサ１１１は、撮影部の一例である。

【0023】

タッチパネル１２１は、情報を表示する機能およびタッチパネル１２１に対する指等の接触を検出する機能を有する。タッチパネル１２１は、携帯端末の操作に用いられる入力装置である。タッチパネル１２１は、表示デバイス１２２および入力デバイス１２３を有する。

【0024】

表示デバイス１２２は、文章、図、または指のタッチ場所を示すガイド表示などを表示する。

【0025】

入力デバイス１２３は、ユーザが触れているタッチパネル１２１（入力デバイス１２３）上の指の位置（座標）を検出し、検出した位置をタッチ位置取得部１４１に出力する。

【0026】

生体画像取得部１３１は、生体センサ１１１から生体画像を受信する。
タッチ位置取得部１４１は、入力デバイス１２３からユーザが触れているタッチパネル１２１（入力デバイス１２３）上の指の位置を受信する。

【0027】

距離検出部１５１は、手のひらの距離（詳細には、生体センサ１１１から手のひらまでの距離）を検出する。例えば、距離検出部１５１は、生体画像に基づいて、生体センサ１１１から手のひらまでの距離を算出する。距離検出部１５１は、距離算出部の一例である。

【0028】

回転角推定部１６１は、生体センサ１１１に対する手のひらの角度（回転角）を推定する。例えば、回転角推定部１６１は、生体センサ１１１から手のひらまでの距離に基づいて、生体センサ１１１に対する手のひらの角度（回転角）を算出する。回転角推定部１６１は、回転角算出部の一例である。

【0029】

表示制御部１７１は、文章、図、またはガイド表示などを表示デバイス１２２に表示する。

【0030】

登録部１８１は、生体画像から特徴量を抽出する。また、登録部１８１は、回転角推定部１６１により求めた回転角に基づいて生体画像を補正し、補正した生体画像から特徴量を抽出してもよい。特徴量は、例えば、手のひらの静脈の形状（模様）を示す静脈データ（静脈パターン）である。登録部１８１は、生体画像が撮影されたときのタッチパネル１２１上の指の位置、特徴量、および回転角推定部１６１により求めた回転角を対応付けて、記憶部２０１の登録データベース（ＤＢ）に登録する。登録部１８１は、補正部の一例である。

【0031】

照合部１９１は、回転角推定部１６１により求めた回転角に基づいて生体画像を補正（例えば、回転）し、補正した生体画像から特徴量を抽出する。照合部１９１は、認証対象者の生体画像から抽出した特徴量と登録ＤＢの特徴量とを照合する。照合部１９１は、照合が成功した場合、認証対象者を認証し、端末装置１０１のロック解除等の所定の処理を行う。照合部１９１は、補正部の一例である。

【0032】

記憶部２０１は、端末装置１０１で使用されるプログラムやデータ等を記憶する。記憶部２０１は、登録者の特徴量が登録された登録ＤＢを記憶する。

【0033】

図５は、実施の形態に係るガイド表示を用いた端末装置の操作の例を示す図である。また、図５は、端末装置１０１の平面図である。

【0034】

端末装置１０１は、略長方形の形状であり、略長方形のタッチパネル１２１の周辺の一辺に生体センサ１１１が設けられている。生体センサ１１１は、点線で示される撮影範囲１１２を撮影する。

【0035】

表示制御部１７１は、タッチパネル１２１の表示デバイス１２２に２本の平行なラインをガイド表示１２５－ｉとして表示する。図５において、薄いハッチングが施された部分
は、表示されたガイド表示１２５－ｉを示し、濃いハッチングが施された部分は、利用者が指先でタッチ済み、即ち、入力済みのタッチ場所を示す。また、白抜きの矢印は、利用者の指先の現在の入力位置と移動方向を示す。

【0036】

図５では、横方向に延びるガイド表示１２５－ｉが２本表示される。利用者は、親指および人差し指で２本のガイド表示１２５－ｉを左端から右方向に同時になぞり、生体センサ１１１はその間、撮影範囲１１２の手３０１のてのひらを定期的に撮影する。

【0037】

図５では、利用者は、親指および人差し指で２本のガイド表示１２５－ｉをガイド表示１２５－ｉの左端から中央付近までなぞっている。それにより、ガイド表示１２５－ｉの左端から中央付近までが濃いハッチングで示されている。

【0038】

尚、ガイド表示１２５－ｉは、一例であり、これに限られるものではない。
ここで、手のひらの角度（回転角）について説明する。

【0039】

図６は、手のひらの回転角を示す図である。
実施の形態において、手のひらの回転角θは、生体センサ１１１の基準線Ａと、利用者の手３０１の中指と手首の横幅の中心を通る直線Ｂと、が成す角度とする。上述のように、端末装置１０１は、略長方形の外形を有する。実施の形態において、生体センサ１１１の基準線Ａは、端末装置１０１の外形を示す４辺のうち、生体センサ１１１が設けられた一辺の輪郭を示す直線とする。

【0040】

ここで、手のひらの距離について説明する。
図７は、手のひらと生体センサとの間の距離を示す図である。

【0041】

図７は、端末装置１０１と利用者の手３０１が図５に示す状態のときの端末装置１０１の側面図である。端末装置１０１は、例えば、机に置かれており、利用者の手３０１の指３０２はタッチパネル１２１にタッチしており、生体センサ１１１の上方に手のひら３０３が位置している。

【0042】

実施の形態において、手のひらの距離ｈは、生体センサ１１１と手のひら３０３との間の距離である。

【0043】

次に、手のひらの回転角と手のひらの距離との関係について説明する。
図８、９は、手のひらの回転角と手のひらの距離との関係を示す図である。

【0044】

図８、９の上側は、端末装置１０１の操作時の平面図、図８、９の下側は、端末装置１０１の操作時の側面図である。

【0045】

図８，９は、手３０１の置き方によって手の回転角が異なる様子を示している。
図８は、手３０１を自然に開いて指３０２をガイド表示１２５－ｉに置いた場合である。利用者が人差し指と親指で縦に並んだガイド表示１２５－ｉにタッチしたとき、人差し指の方が親指より長いため、手の角度は斜めに傾く。図８において、手のひらの回転角はθ_１、手のひらの距離はｈ_１である。

【0046】

これに対し、図９は指３０２を立てるようにガイド表示１２５－ｉにタッチした場合を示す。指３０２をタッチパネル１２１に対して立ててタッチすると、指３０２の付け根が指先の真上に近くなるため、人差し指と親指の付け根が縦にそろう形になる。それにより生体センサ１１１の基準線Ａと手３０１の中指と手首の横幅の中心を通る直線Ｂとが、平行に近く（回転角θ₂が０度に近く）なる。このとき、また、指を立てているため、手のひらの距離ｈ_２は大きくなる。図８，９において、θ_１＞θ_２、ｈ_１＜ｈ_２である。

【0047】

すなわち、手のひらの回転角が大きくなると手のひらの距離は小さくなるという関係がある。言い換えれば、手のひらの回転角が小さくなると手のひらの距離は大きくなる
図１０は、実施の形態に係る登録処理のフローチャートである。

【0048】

ステップＳ５０１において、表示制御部１７１は、ガイド表示を開始する。詳細には、表示制御部１７１は、図５に示すように表示デバイス１２２にガイド表示１２５－ｉを表示する。登録者は、ガイド表示１２５－ｉを親指と人差し指をタッチする。また、図５に示すように生体センサ１１１の撮影範囲１１２に、手のひらの少なくとも一部が含まれている。

【0049】

ステップＳ５０２において、入力デバイス１２３がタッチパネル１２１上の指の位置（座標）を検出したら、制御はステップＳ５０３に進む。

【0050】

以下のステップＳ５０３～Ｓ５０５において、登録者は、図５に示すように、親指と人差し指をガイド表示１２５－ｉに接触させたまま矢印方向にガイド表示１２５－ｉに沿ってのガイド表示１２５－ｉの左端から右端に移動させる。

【0051】

ステップＳ５０３において、入力デバイス１２３は、登録者が触れているタッチパネル１２１上の指の位置（座標）を検出し、検出した位置をタッチ位置取得部１４１に出力する。タッチ位置取得部１４１は、入力デバイス１２３から登録者が触れているタッチパネル１２１上の指の位置を受信する。

【0052】

ステップＳ５０４において、生体センサ１１１は、手のひらを撮影し、撮影した画像（生体画像）を生体画像取得部１３１に出力する。生体画像取得部１３１は、生体センサ１１１から生体画像を受信する。また、生体画像取得部１３１は、生体画像とステップＳ５０３で検出した指の位置とを対応付ける。

【0053】

ステップＳ５０５において、表示制御部１７１は、登録者の指のスライドが完了したか判定する。登録者の指のスライドが完了した場合、制御はステップＳ５０６に進み、登録者の指のスライドが完了していない場合、制御はステップＳ５０３に戻る。例えば、表示制御部１７１は、登録者の親指および人差し指のタッチパネル１２１上の位置がガイド表示１２５－ｉの右端にある場合、スライドが完了したと判定する。

【0054】

ステップＳ５０２～Ｓ５０５に処理により、タッチパネル１２１上の複数のそれぞれ異なる指の位置に対応する複数の生体画像が撮影される。

【0055】

ステップＳ５０６において、距離検出部１５１は、複数の生体画像それぞれの撮影時の生体センサ１１１と手のひらとの間の距離を検出する。距離検出部１５１は、例えば、生体画像に基づいて、複数の生体画像それぞれの撮影時の生体センサ１１１と手のひらとの間の距離を算出する。詳細には、距離検出部１５１は、例えば、タッチパネル１２１上の指の移動量と生体画像の局所特徴の移動量に基づいて、生体センサ１１１と手のひらとの間の距離を算出する。生体センサ１１１と手のひらとの間の距離の算出方法の詳細は、例えば、特許文献７（特開２０１７－１３６１３６号公報）に記載されている。

【0056】

生体画像を用いて、距離を算出することで、距離センサ等の追加部品が不要となり、コストを削減できる。

【0057】

尚、端末装置１０１は、距離センサをさらに備え、複数の生体画像それぞれの撮影時の距離センサと手のひらとの間の距離を検出してもよい。例えば、端末装置１０１は、距離センサを生体センサ１１１と同じ位置に設け、距離センサと手のひらとの間の距離を生体センサ１１１と手のひらとの間の距離として用いる。距離センサを用いることで、距離を正確に検出できる。

【0058】

ステップＳ５０７において、回転角推定部１６１は、距離検出部１５１により検出された複数の生体画像それぞれの撮影時の手のひらの距離ｈに基づいて、複数の生体画像それぞれの撮影時の手のひらの回転角θを推定する。例えば、回転角推定部１６１は、下式（１）～（３）を用いて、回転角θを算出する。

【0059】

θ＝θ_ｍａｘ （ｈ＜ｈ_ｍｉｎの場合）・・・（１）
θ＝ａｈ＋ｂ 但し、係数ａは負の実数、定数ｂは正の実数（ｈ_ｍｉｎ≦ｈ≦ｈ_ｍａｘの場合）・・・（２）
θ＝０ （ｈ＞ｈ_ｍａｘの場合）・・・（３）
尚、θ_ｍａｘ、ｈ_ｍｉｎ、ｈ_ｍａｘ、係数ａ、定数ｂは、予め設定されている。

【0060】

図１１は、手のひらの回転角と手のひらの距離との関係を示す図である。上式（１）～（３）をグラフで表すと、図１１に示すようになる。図１１に示すように、センサと手のひらとの間の距離が大きくなると、回転角θは小さくなる。

【0061】

図１０に戻り説明を続ける。
ステップＳ５０８において、登録部１８１は、登録処理を行う。詳細には、登録部１８１は、複数の生体画像それぞれから特徴量を抽出する。特徴量は、例えば、手のひらの静脈の形状（模様）を示す静脈データ（静脈パターン）である。登録部１８１は、生体画像の撮影時のタッチパネル１２１上の指の位置、特徴量、および回転角推定部１６１により求めた生体画像の撮影時の回転角を対応付けて、記憶部２０１の登録ＤＢに登録する。登録処理における生体画像の撮影時の手のひらの回転角を登録することで、後述の認証処理において、登録処理時と認証処理時それぞれで撮影した生体画像の撮影時の手のひらの回転角の差（相対角度）を求めることができる。それにより、生体画像の適切な補正（回転）が可能となる。

【0062】

図１２は、登録ＤＢの例である。
図１２の登録ＤＢ２０２は、一人の登録者の登録ＤＢを示す。

【0063】

登録ＤＢ２０２には、位置Ｐ_ｊ（ｊ＝１～ｎ）、特徴量ｆ_ｊ、および回転角θ_ｊが対応付けられて記載されている。

【0064】

位置Ｐ_ｊは、生体画像の撮影時のタッチパネル１２１に接触している指の位置（座標）である。例えば、図５に示すようなガイド表示１２５－ｉが表示された場合、生体画像の撮影時のタッチパネル１２１に接触している親指および人差し指の少なくとも一方の位置が記載される。

【0065】

特徴量ｆ_ｊは、生体画像から抽出された特徴量である。
回転角θ_ｊは、生体画像の撮影時の手のひらの回転角である。

【0066】

尚、端末装置１０１は、複数の登録者それぞれに対応する登録ＤＢを記憶してもよい。端末装置１０１は、複数の登録ＤＢを記憶し、１：Ｎ認証を行ってもよい。

【0067】

また、ステップＳ５０８において、登録部１８１は、回転角推定部１６１により算出された複数の生体画像それぞれの撮影時の回転角θに基づいて、複数の生体画像それぞれを補正（回転）し、補正した複数の生体画像それぞれから特徴量を抽出してもよい。例えば、ある生体画像の撮影時の回転角がθである場合、登録部１８１は、生体画像を－θ回転して、回転した生体画像から特徴量を抽出してもよい。このとき、登録部１８１は、位置Ｐ_ｊおよび回転した生体画像から抽出された特徴量ｆ_ｊを登録ＤＢ２０２に登録し、回転角θ_ｊは登録しなくてよい。すなわち、予め登録時に回転角を０度に補正した生体画像から特徴量を抽出してもよい。

【0068】

図１３は、実施の形態に係る認証処理のフローチャートである。
ステップＳ６０１において、表示制御部１７１は、ガイド表示を開始する。詳細には、表示制御部１７１は、図５に示すように表示デバイス１２２にガイド表示１２５－ｉを表示する。認証対象者は、ガイド表示１２５－ｉを親指と人差し指をタッチする。また、図５に示すように生体センサ１１１の撮影範囲１１２に、手のひらの少なくとも一部が含まれている。

【0069】

ステップＳ６０２において、入力デバイス１２３がタッチパネル１２１上の指の位置（座標）を検出したら、制御はステップＳ６０３に進む。

【0070】

以下のステップＳ６０３～Ｓ６０５において、認証対象者は、図５に示すように、親指と人差し指をガイド表示１２５－ｉに接触させたまま矢印方向にガイド表示１２５－ｉに沿ってのガイド表示１２５－ｉの左端から右端に移動させる。

【0071】

ステップＳ６０３において、入力デバイス１２３は、認証対象者が触れているタッチパネル１２１上の指の位置（座標）を検出し、検出した位置をタッチ位置取得部１４１に出力する。タッチ位置取得部１４１は、入力デバイス１２３から認証対象者が触れているタッチパネル１２１上の指の位置を受信する。

【0072】

ステップＳ６０４において、生体センサ１１１は、手のひらを撮影し、撮影した画像（生体画像）を生体画像取得部１３１に出力する。生体画像取得部１３１は、生体センサ１１１から生体画像を受信する。また、生体画像取得部１３１は、生体画像とステップＳ６０３で検出した指の位置とを対応付ける。

【0073】

ステップＳ６０５において、表示制御部１７１は、認証対象者の指のスライドが完了したか判定する。認証対象者の指のスライドが完了した場合、制御はステップＳ６０６に進み、認証対象者の指のスライドが完了していない場合、制御はステップＳ６０３に戻る。例えば、表示制御部１７１は、認証対象者の親指および人差し指のタッチパネル１２１上の位置がガイド表示１２５－ｉの右端にある場合、スライドが完了したと判定する。

【0074】

ステップＳ６０２～Ｓ６０５に処理により、タッチパネル１２１上の複数のそれぞれ異なる指の位置に対応する複数の生体画像が撮影される。

【0075】

ステップＳ６０６において、距離検出部１５１は、複数の生体画像それぞれの撮影時の生体センサ１１１と手のひらとの間の距離を検出する。距離検出部１５１は、例えば、生体画像に基づいて、複数の生体画像それぞれの撮影時の生体センサ１１１と手のひらとの間の距離を算出する。詳細には、距離検出部１５１は、例えば、タッチパネル１２１上の指の移動量と生体画像の局所特徴の移動量に基づいて、生体センサ１１１と手のひらとの間の距離を算出する。生体センサ１１１と手のひらとの間の距離の算出方法の詳細は、例えば、特許文献７（特開２０１７－１３６１３６号公報）に記載されている。

【0076】

生体画像を用いて、距離を算出することで、距離センサ等の追加部品が不要となり、コストを削減できる。

【0077】

尚、端末装置１０１は、距離センサをさらに備え、複数の生体画像それぞれの撮影時の距離センサと手のひらとの間の距離を検出してもよい。例えば、端末装置１０１は、距離センサを生体センサ１１１と同じ位置に設け、距離センサと手のひらとの間の距離を生体センサ１１１と手のひらとの間の距離として用いる。距離センサを用いることで、距離を正確に検出できる。

【0078】

ステップＳ６０７において、回転角推定部１６１は、距離検出部１５１により検出された複数の生体画像それぞれの撮影時の手のひらの距離ｈに基づいて、複数の生体画像それぞれの撮影時の手のひらの回転角θを推定する。例えば、回転角推定部１６１は、下式（１）～（３）を用いて、回転角θを算出する。

【0079】

θ＝θ_ｍａｘ （ｈ＜ｈ_ｍｉｎの場合）・・・（１）
θ＝ａｈ＋ｂ 但し、係数ａは負の実数、定数ｂは正の実数（ｈ_ｍｉｎ≦ｈ≦ｈ_ｍａｘの場合）・・・（２）
θ＝０ （ｈ＞ｈ_ｍａｘの場合）・・・（３）
尚、θ_ｍａｘ、ｈ_ｍｉｎ、ｈ_ｍａｘ、係数ａ、定数ｂは、予め設定されている。

【0080】

ステップＳ６０８において、照合部１９１は、ステップＳ６０４で撮影した生体画像と登録ＤＢ２０２とを用いて照合処理を行う。

【0081】

ここで、照合部１９１が、複数の生体画像のうちの一枚の生体画像を照合対象として用いて照合処理を行う場合を説明する。

【0082】

照合対象の生体画像の撮影時のタッチパネル１２１上の指の位置がＰ_Ａ、生体画像の撮影時の回転角がθ_Ａであるとする。

【0083】

照合部１９１は、登録ＤＢ２０２から位置Ｐ_Ａと同じまたは最も近い位置Ｐ_Ｂを検出する。登録ＤＢ２０２の位置Ｐ_Ｂに対応する特徴量がｆ_Ｂ、回転角がθ_Ｂとする。照合部１９１は、回転角θ_Ａと回転角θ_Ｂの差（相対角度）θ_ｄを算出する。照合部１９１は、照合対象の生体画像を相対角度θ_ｄ回転する。照合部１９１は、回転した生体画像から特徴量ｆ_Ａを抽出する。

【0084】

照合部１９１は、特徴量ｆ_Ａを特徴量ｆ_Ｂとの類似度を算出し、算出した類似度に基づいて、認証の可否を判定する。照合部１９１は、照合が成功した場合、認証対象者を認証し、端末装置１０１のロック解除等の所定の処理を行う。

【0085】

尚、照合部１９１は、複数の生体画像すべてを用いて照合処理を行ってもよいし、複数の生体画像の一部を用いて照合処理を行ってもよい。すなわち、照合部１９１は、上記の一枚の生体画像を用いた照合処理を、複数の生体画像それぞれに対して行い、算出した複数の類似度に基づいて、認証の可否を判定してもよい。

【0086】

尚、登録処理時に回転角が０度に補正されており、回転角θ_Ｂが登録ＤＢに登録されていない場合、照合部１９１は、回転角θ_Ｂ＝０として、相対角度θ_ｄを算出する。

【0087】

また、手の大きさの個人差に対応するために、表示制御部１７１は、２本のガイド表示の間隔が異なる複数種類のガイド表示のいずれかを表示することもできる。この場合、２本のガイド表示の間の間隔が異なると、高さと回転角の関係も異なるため、ガイド表示毎に手のひらの距離と回転角の対応関係を予め求めておき、回転角の推定に用いる。

【0088】

図１４、１５は、ガイド表示の例である。
図１４において、ガイド表示１２５－１とガイド表示１２５－２の間隔はＷ１であり、図１５において、ガイド表示１２５－１とガイド表示１２５－２の間隔はＷ２である。間隔Ｗ１は、間隔Ｗ２より大きい。

【0089】

間隔がＷ１である第１のガイド表示に対応するθ_ｍａｘ、ｈ_ｍｉｎ、ｈ_ｍａｘ、係数ａ、定数ｂ、間隔がＷ２である第２のガイド表示に対応するθ_ｍａｘ、ｈ_ｍｉｎ、ｈ_ｍａｘ、係数ａ、定数ｂがそれぞれ端末装置１０１に予め設定されている。すなわち、各ガイド表示それぞれに対応する、回転角の算出の際に用いられる閾値、係数、および定数を端末装置１０１は、予め記憶してもよい。

【0090】

どのガイド表示を使用するかは、端末装置１０１に予め利用者が設定できる。例えば、ステップＳ６０１において、表示制御部１７１は、２本のガイド表示の間の間隔が異なる複数のガイド表示のうち、設定されたガイド表示を表示する。

【0091】

表示制御部１７１は設定されたガイド表示を回転角推定部１６１に通知し、ステップＳ５０７またはステップＳ６０７において、回転角推定部１６１は、通知されたガイド表示に対応するθ_ｍａｘ、ｈ_ｍｉｎ、ｈ_ｍａｘ、係数ａ、定数ｂを用いて、回転角を推定する。複数種類のガイド表示を表示できることで、手の大きさの個人差に対応することができる。尚、上述の２つのガイド表示は一例であり、端末装置１０１は、３種類以上のガイド表示を表示してもよい。

【0092】

実施の形態の端末装置によれば、照合対象の生体画像を登録時と認証時の手の回転角の差（相対角度）で回転することで、登録時の手の回転角と同じ回転角で撮影した場合に相当する生体画像が得られる。これにより生体画像を用いた生体認証において、認証精度が向上する。

【0093】

実施の形態の端末装置によれば、角度変化による本人拒否エラーを低減でき、また他人受入れのリスクを低減できる。

【0094】

図１６は、情報処理装置（コンピュータ）の構成図である。
実施の形態の端末装置１０１は、例えば、図１６に示すような情報処理装置（コンピュータ）１によって実現可能である。

【0095】

情報処理装置（コンピュータ）１は、ＣＰＵ（Central Processing Unit）２、メモリ３、記憶装置４、タッチパネル５、生体センサ６、および記録媒体駆動部７を備え、それらはバス９により互いに接続されている。

【0096】

ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置（プロセッサ）である。ＣＰＵ２は、生体画像取得部１３１、タッチ位置取得部１４１、距離検出部１５１、回転角推定部１６１、表示制御部１７１、登録部１８１、および照合部１９１として動作する。

【0097】

メモリ３は、プログラム実行の際に、記憶装置４（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するＲＡＭ（Random Access Memory）等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。

【0098】

記憶装置４は、例えば、磁気ディスク装置、不揮発性メモリ等である。情報処理装置１は、記憶装置４に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３に読み出して使用する。記憶装置４は、記憶部２０１に対応する。

【0099】

タッチパネル５は、情報を表示する機能およびタッチパネル１２１に対する指等の接触を検出する機能を有する。タッチパネル５は表示デバイス１１および入力デバイス１２を有する。タッチパネル５はタッチパネル１２１に対応する。

【0100】

表示デバイス１１は、文章、図、または指のタッチ場所を示すガイド表示などを表示する。表示デバイス１１は、表示デバイス１２２に対応する。

【0101】

入力デバイス１２は、ユーザが触れているタッチパネル５上の指の位置（座標）を検出し、検出した位置をＣＰＵ２に出力する。入力デバイス１２は、入力デバイス１２３に対応する。

【0102】

生体センサ６は、利用者（登録者または認証対象者）の手のひら等の生体を撮影する。生体センサ６は、例えば、赤外線カメラである。生体センサ６は、生体センサ１１１に対応する。

【0103】

記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ－ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３に読み出して使用する。

【0104】

なお、情報処理装置１が図１６のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置１が可搬記録媒体１０にアクセスしない場合は、記録媒体駆動部７を省略してもよい。また、情報処理装置１は、用途や条件に応じてさらに構成要素を含むことも可能である。例えば、情報処理装置１が通信機能を有する場合には、データの送受信を行う通信部をさらに含んでもよい。

【0105】

以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
タッチパネルと、
前記タッチパネルに接触する生体を撮影する撮影部と、
前記撮像部と前記生体との間の距離を算出する距離算出部と、
前記距離に基づいて、前記生体の前記撮影部に対する回転角を算出する回転角算出部と、
備える生体画像処理装置。
（付記２）
前記距離算出部は、前記生体画像を用いて前記距離を算出することを特徴とする付記１記載の生体画像処理装置。
（付記３）
前記回転角に基づいて、前記撮像部により撮影された生体画像を補正する補正部をさらに備える付記１または２記載の生体画像処理装置。
（付記４）
前記生体画像から抽出された特徴量と前記回転角とを対応付けてデータベースに登録する登録部をさらに備えることを特徴とする付記１または２記載の生体画像処理装置。
（付記５）
撮像部とタッチパネルとを有するコンピュータが
前記タッチパネルに接触する生体を撮影し、
前記撮像部と前記生体との間の距離を算出し、
前記距離に基づいて、前記生体の前記撮影部に対する回転角を算出する、
ことを特徴とする生体画像処理方法。
（付記６）
前記距離を算出する処理において、前記生体画像を用いて前記距離を算出することを特徴とする付記５記載の生体画像処理方法。
（付記７）
前記回転角に基づいて、前記撮像部により撮影された生体画像を補正する処理をさらに備える付記５または６記載の生体画像処理方法。
（付記８）
前記生体画像から抽出された特徴量と前記回転角とを対応付けてデータベースに登録する処理をさらに備えることを特徴とする付記５または６記載の生体画像処理方法。
（付記９）
撮像部とタッチパネルとを有するコンピュータに
前記タッチパネルに接触する生体を撮影し、
前記撮像部と前記生体との間の距離を算出し、
前記距離に基づいて、前記生体の前記撮影部に対する回転角を算出する、
処理を実行させる生体画像処理プログラム。
（付記１０）
前記距離を算出する処理において、前記生体画像を用いて前記距離を算出することを特徴とする付記９記載の生体画像処理プログラム。
（付記１１）
前記回転角に基づいて、前記撮像部により撮影された生体画像を補正する処理をさらに前記コンピュータに実行させる付記９または１０記載の生体画像処理プログラム。
（付記１２）
前記生体画像から抽出された特徴量と前記回転角とを対応付けてデータベースに登録する処理をさらに前記コンピュータに実行させることを特徴とする付記９または１０記載の生体画像処理プログラム。

【符号の説明】

【0106】

１０１ 端末装置
１１１ 生体センサ
１２１ タッチパネル
１２２ 表示デバイス
１２３ 入力デバイス
１３１ 生体画像取得部
１４１ タッチ位置取得部
１５１ 距離検出部
１６１ 回転角推定部
１７１ 表示制御部
１８１ 登録部
１９１ 照合部
２０１ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】