特許第5816682号(P5816682)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

ホーム > 特許ランキング > 株式会社日立製作所

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5816682
(24)【登録日】2015年10月2日
(45)【発行日】2015年11月18日
(54)【発明の名称】血管画像撮影装置及び生体認証装置
(51)【国際特許分類】
   G06T 1/00 20060101AFI20151029BHJP
   G06T 7/00 20060101ALI20151029BHJP
   A61B 5/117 20060101ALI20151029BHJP
【ＦＩ】
   G06T1/00 400H
   G06T7/00 510B
   A61B5/10 320C
   A61B5/10 320Z
【請求項の数】13
【全頁数】26
(21)【出願番号】特願2013-510740(P2013-510740)
(86)(22)【出願日】2011年4月22日
(86)【国際出願番号】JP2011002363
(87)【国際公開番号】WO2012143977
(87)【国際公開日】20121026
【審査請求日】2013年7月22日
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】100100310
【弁理士】
【氏名又は名称】井上 学
(74)【代理人】
【識別番号】100098660
【弁理士】
【氏名又は名称】戸田 裕二
(74)【代理人】
【識別番号】100091720
【弁理士】
【氏名又は名称】岩崎 重美
(72)【発明者】
【氏名】三浦 直人
(72)【発明者】
【氏名】清水 春美
(72)【発明者】
【氏名】長坂 晃朗
(72)【発明者】
【氏名】宮武 孝文
(72)【発明者】
【氏名】松田 友輔
【審査官】 松浦 功
(56)【参考文献】
【文献】 国際公開第２００９／１２２９３１（ＷＯ，Ａ１）
【文献】 特開２０１０−１８２３２８（ＪＰ，Ａ）
【文献】 特開２００４−０２０５３６（ＪＰ，Ａ）
【文献】 特開２００９−０１７４７７（ＪＰ，Ａ）
【文献】 特開２００２−１３１０３１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ １／００ − ７／６０
Ａ６１Ｂ ５／１１７
(57)【特許請求の範囲】
【請求項1】
指を所定の提示領域に提示される提示部と、
前記提示部を挟んで前記提示領域と反対側に配置された、指に光を照射する少なくとも一つの光源と、
前記光源と同じ側に配置された、指に照射された光を受光する撮像部と、
前記光源から前記提示領域に向かう光の進路上に、前記光源から出射される光の一部を制限することにより指の撮像部位に対して局所光を照射させる複数の穴と、前記撮像部のレンズを覆う開口部とが形成される導光部材と、
を備えることを特徴とする血管画像撮影装置。
【請求項2】
請求項１に記載の血管画像撮影装置において、
前記撮像部は、指の撮像部位に照射された複数の前記局所光を受光することで、指の撮像部位における血管を含む画像を撮影し、
当該画像から血管パターン像を抽出する画像処理部をさらに備えることを特徴とする血管画像撮影装置。
【請求項3】
請求項１に記載の血管画像撮影装置において、
指に照射される前記複数の局所光の照射位置を変化させ、該変化ごとの画像を夫々撮影するように制御する制御部を備え、
当該夫々撮影された画像を合成して一の血管パターン像を抽出する画像処理部を備えることを特徴とする血管画像撮影装置。
【請求項4】
請求項２または３に記載の血管画像撮影装置において、
前記画像処理部により得られた血管パターン像を、予め記憶した血管パターン像と比較する認証部を備えることを特徴とする血管画像撮影装置。
【請求項5】
指を所定の提示領域に提示させる提示部と、
前記提示部を挟んで前記提示領域と反対側に配置された、指に光を照射する少なくとも一つの光源と、
前記光源と同じ側に配置された、指に照射された光を受光する撮像部とを有し、
前記光源から出射される光を分割して複数の局所光を生じさせ、指の撮像部位に複数照射させる穴が形成され、且つ、前記撮像部のレンズを囲う開口部が形成される導光部材と、
前記撮像部位に照射される前記複数の局所光の照射位置を変化させる制御部と、
を備え、
前記撮像部は、指の撮像部位に照射された複数の局所光を受光することで、指の撮像部位における血管を含む画像を、前記複数の局所光の照射位置を変化させるごとに複数撮影し、
当該夫々撮影された画像を合成して一の血管パターン像を抽出する画像処理部を備え、
当該抽出した血管パターン像を、予め記憶された血管パターン像と比較照合する認証部とを備えることを特徴とする生体認証装置。
【請求項6】
請求項５に記載の生体認証装置において、
前記穴を通過した前記局所光が前記撮像部位に投影されたときに、互いに重複しない様に投影されるように、前記導光部材において前記穴が分布していることを特徴とする生体認証装置。
【請求項7】
請求項５に記載の生体認証装置において、
前記認証部は、前記比較照合の際、前記撮像部で撮影された画像における複数の局所光による投影像と、予め記憶された投影像とから、前記血管パターンの照合位置を補正することを特徴とする生体認証装置。
【請求項8】
請求項５に記載の生体認証装置において、
前記制御部は、前記撮像部で撮影された画像における複数の局所光による投影像の形状または隣り合う投影像の間隔を算出し、当該算出結果に基づいて指の提示位置に対して警告する様、出力装置を制御することを特徴とする生体認証装置。
【請求項9】
請求項５に記載の生体認証装置において、
前記光源が複数並置され、
前記制御部は、当該複数の光源の点灯、消灯を制御することにより、前記複数の局所光の照射位置を変化させることを特徴とする生体認証装置。
【請求項10】
請求項５に記載の生体認証装置において、
前記画像処理部は、夫々撮影された前記画像を合成して一の血管パターン像を抽出する際に、それぞれの前記画像の対応する画素を各々比較し、輝度値が最大となる画素を用いずに合成を行うことを特徴とする生体認証装置。
【請求項11】
請求項５に記載の生体認証装置において、
前記制御部は、前記撮像部で撮影された画像における複数の局所光による投影像位置を算出し、
当該投影像の位置の情報に基づき、指の立体構造情報を獲得することを特徴とする生体認証装置。
【請求項12】
請求項５に記載の生体認証装置において、
前記導光部材は液晶で構成されることを特徴とする認証装置。
【請求項13】
請求項１２に記載の生体認証装置において、
前記液晶は前記液晶の画素を前記光源より照射される光に対する開口状態と遮断状態とに制御し、前記開口状態の画素を通過した光を撮影することを特徴とする生体認証装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体を用いて生体の血管画像を撮影する血管画像撮影装置及び血管画像に基づいて認証を行う生体認証装置、認証システムに関する。
【背景技術】
【0002】
様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用するために優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。
【0003】
近年では、携帯電話機、ノート型ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）などの携帯端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどに加え、近年では決済などにも生体認証が利用されてきている。特に、近年では携帯電話をはじめとする携帯端末を用いたネット決済が広く行われるようになってきた。このような観点から、高い認証精度を維持しながらも装置を小型化することが要求されている。装置の小型化を実現するにあたり、装置構成は薄型かつ平面的であり、さらにはその占有面積が小さいことが望まれる。
【0004】
血管の形状に基づいて個人認証を行う認証装置の小型化に関する技術として、例えば特許文献１に記載された生体認証装置が知られている。特許文献１に記載された認証装置では、光源を開口部内の撮像装置から遠ざけ、撮像部位に照射されるべき光を制限して、指内部を回り込む透過、散乱光を撮影することで血管像の画質劣化を防止する技術が開示されている。
【0005】
また、特許文献２には、手のひらを撮像して、手のひら認証に使用する手のひら認証用撮像装置に関し、利用者の手のひらを撮像範囲に的確に誘導する技術について開示されている。当該文献においては、手のひらと対向する位置に配置された光源から光を照射して、手のひらからの反射光を撮像することで手のひらの血管像を撮影する技術が開示されている。
【0006】
また、非特許文献１には、空間的に高周波となる照明を被写体表面に照射しながら複数の映像を撮影してそれらを合成することで、被写体表面での反射光成分を除去し、反射型の光学系としながらも被写体内部の映像だけを高画質に獲得する撮影技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】ＷＯ２００６／１３４６６９号公報
【特許文献2】特開２００６−１１９８８号公報
【非特許文献】
【0008】
【非特許文献1】"Fast Separation of Direct and Global Components of a Scene using High Frequency Illumination", the Association for Computing Machinery, Inc., 2006.
【発明の概要】
【発明が解決しようとする課題】
【0009】
認証装置を平面的な形状にするためには、血管を可視化するために用いられる光源を撮像装置と同一側に配置する構造が必要となる。しかしながら、光源を撮像装置と同一側に配置すると、撮影する部分に光が直接照射されるため、生体内部に到達せず生体表面で反射する反射光成分が発生しやすくなる。血管像は生体内部で拡散した光を撮影することで得られるが、血管像を含まない反射光が拡散光と同時に撮影されるために血管像が不鮮明となり、認証精度を高めることができないという課題があった。
【0010】
従来技術では、生体を撮影する側に撮像装置を、そして生体の反対側に光源を配置し、光が生体を透過するように赤外光を照射していた。この方法では、前述の反射光が発生しにくく血管像が鮮明な影として観測され、高画質な血管像の撮影が可能である。しかし、撮像装置と光源とが生体を挟み込む形となるため立体的な装置構造が必要となり、装置の平面化が困難であった。
【0011】
特許文献１に開示される装置は、光源と撮像装置とを生体に対して同一側に配置し、平面的な構造を実現している。一般的に、生体を観測するための開口部に光源を近接して配置すると撮影する生体部分が直接照らされ、反射光成分が増加することから血管像のＳ／Ｎが低下する。そこで特許文献１では光源と開口部との間に遮光部材を挿入し、撮影する生体部分に光が直接当らないようにすることで画質の劣化を防止している。
その一方、光源を開口部内の撮像装置から遠ざけて当該開口部の外側に配置する必要があることから、装置の占有面積が増大し、さらなる小型化を図ることが困難であった。また撮像部位に直接光を照射せず、回り込む透過、散乱光に基づき撮像部位を撮像することから、撮影に必要な光量を十分に得ることが困難であった。
【0012】
特許文献２に開示される装置は、観測する生体部位に光源を照射することで生体の血管像を獲得している。しかしながら、撮影する部位に直接赤外光を照射することから、生体に浸透した光成分のうち血管部に吸収されて血管像のコントラストを成す光成分に比べて、生体の表面で反射して皮膚表面のしわなどの血管像を含まない光成分の方がより強く撮影されるため、血管像のＳ／Ｎが低下してしまう可能性がある。
また、撮影対象が掌であることから、指に比べて広い撮像範囲から認証に利用する血管パターンを獲得するため、一定のＳ／Ｎの低下はある程度許容できる。
しかしながら、指の一部を認証領域とする様な小型の認証装置を実現する場合には、Ｓ／Ｎが低下すると認証に必要な血管パターンを獲得することが困難となる可能性がある。
【0013】
また、当構成においては赤外発光素子はセンサから離れた位置に搭載されているため、撮影する生体部位よりもその部位の周囲に強く光が照射されることも想定できる。この場合、撮影する部位への直接照射光が低減し、それに伴うＳ／Ｎの低下が顕著に現れることがなくなる。しかしながら、撮影する部位と光が照射される部位との距離が広くなると、撮影する部位に与えられる光量が低下し、被写体が暗くなる可能性がある。
【0014】
非特許文献１に開示されている技術は、空間的に高周波となる照明を被写体の表面に照射し、さらにその照明パターンを変化させながら複数の撮影を行い、全ての画像の反射光を含まない部分を合成することにより、反射型の撮影においても反射光の影響を緩和することができる。しかしながら、照明に利用されている装置はＤＬＰプロジェクタなどの比較的大きな投影器であり、小型で携帯が容易な装置を実現することは困難である。
【課題を解決するための手段】
【0015】
本願において開示される発明の代表的な一例を示せば以下の通りである。例えば、指を所定の提示領域に提示される提示部と、前記提示部を挟んで前記提示領域と反対側に配置された、指に光を照射する少なくとも一つの光源と、前記光源と同じ側に配置された、指に照射された光を受光する撮像部と、前記光源から前記提示領域に向かう光の進路上に、前記光源から出射される光の一部を制限することにより、指の撮像部位に対して局所光を複数照射させる導光部材とを備ることを特徴とする血管画像撮影装置である。
【0016】
他の一例としては、指を所定の提示領域に提示される提示部と、前記提示部を挟んで前記提示領域と反対側に配置された、指に光を照射する少なくとも一つの光源と、前記光源と同じ側に配置された、指に照射された光を受光する撮像部とを有し、前記光源から出射される光を分割して複数の局所光を生じさせ、指の撮像部位に複数照射させる導光部材と、前記撮像部位に照射される前記複数の局所光の照射位置を変化させる制御部とを備え、前記撮像部は、指の撮像部位に照射された複数の局所光を受光することで、指の撮像部位における血管を含む画像を、前記複数の局所光の照射位置を変化させるごとに複数撮影し、当該夫々撮影された画像を合成して一の血管パターン像を抽出する画像処理部を備え、当該抽出した血管パターン像を、予め記憶された血管パターン像と比較照合する認証部とを備えることを特徴とする生体認証装置である。
【発明の効果】
【0017】
本発明によれば、平面的で占有面積の小さい構造でありながらも明度が高く高画質な血管像を撮影することができ、小型で高精度な装置を提供することができる。
【図面の簡単な説明】
【0018】
【図1】第１の実施の形態の生体認証システムの全体の構成を示す図である。
【図2A】第１の実施の形態の生体認証システムの装置構成を説明する図である。
【図2B】第１の実施の形態の生体認証システムの装置構成を説明する図である。
【図2C】第１の実施の形態の生体認証システムの装置構成を説明する図である。
【図3】第１の実施の形態の認証処理のフローチャートである。
【図4A】第１の実施の形態の光の照射方式を説明する図である。
【図4B】第１の実施の形態の光の照射方式を説明する図である。
【図5】第１の実施の形態の光源位置と光の投影位置の関係を説明する図である。
【図6】第１の実施の形態の生体認証システムの別の撮像装置の構成を説明する図である。
【図7】第１の実施の形態の生体認証システムの別の撮像装置の構成を説明する図である。
【図8】第１の実施の形態の生体認証システムの別の撮像装置の構成を説明する図である。
【図9A】第１の実施の形態の生体認証システムの別の撮像装置の液晶の表示パターンを説明する図である。
【図9B】第１の実施の形態の生体認証システムの液晶表示の切り替えを説明する図である。
【図10A】第１の実施の形態の生体認証システムの液晶を介して撮影された画像を説明する図である。
【図10B】第１の実施の形態の生体認証システムの液晶を介して撮影された別の画像を説明する図である。
【図11A】第２の実施の形態の生体認証システムの認証装置の構成を説明する図である。
【図11B】従来の生体認証システムの認証装置の構成を説明する図である。
【図12】第３の実施の形態の生体認証システムの指の距離測定の原理を説明する図である。
【図13】第３の実施の形態の生体認証システムの指の距離測定を行う処理フローを説明する図である。
【図14】第３の実施の形態の生体認証システムの指の距離測定を行う処理のキャリブレーション方法を説明する図である。
【図15】第３の実施の形態の生体認証システムの認証処理のフローを説明する図である。
【図16A】第３の実施の形態の生体認証システムの正規化前の指の状態を示す図である。
【図16B】第３の実施の形態の生体認証システムの正規化前の指の状態を示す図である。
【図16C】第３の実施の形態の生体認証システムの正規化後の指の状態を示す図である。
【図17】第４の実施の形態の携帯端末に組み込まれた生体認証装置の一実施例を示す図である。
【図18A】第４の実施の形態の携帯端末に組み込まれた生体認証装置の別の一実施例を示す図である。
【図18B】第４の実施の形態の携帯端末に組み込まれた生体認証装置が出力するガイダンスの一実施例を示す図である。
【図19A】第１の実施の形態の生体認証システムの光源とピンホールアレイと被写体に投影されるスポット光との位置関係の一実施例を示す図である。
【図19B】第１の実施の形態の生体認証システムのピンホールアレイの構造の一実施例を示す図である。
【発明を実施するための形態】
【0019】
以下、図面を用いて、本発明の実施の形態について説明する。
【実施例1】
【0020】
図１は、第１の実施の形態の指の血管を用いた生体認証システムの全体の構成を示す図である。
【0021】
第１の実施の形態の認証システムは、入力装置２、認証処理部１０、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８を含む。
【0022】
入力装置２は、その筐体に設置された光源３及び筐体内部に設置された撮像装置９を含む。なお、認証処理部１０の画像処理機能の部分、又は、この画像処理機能に画像入力部１８を含めて画像処理部という場合がある。いずれにしても、認証処理部１０は画像処理機能を備える。しかしながら、必ずしも認証処理部１０と画像処理部を一体として備えている必要は無く、認証処理部１０と画像処理部とを別体として設けても良いことは云うまでも無い。
また、認証システムの構成を一体として構成する必要も無く、血管撮影装置、血管画像抽出装置や認証処理を行う演算装置等を別途設けて認証システムを構築しても良い。
【0023】
光源３は、例えば、赤外線ＬＥＤ（Light Emitting Diode）などの発光素子であり、入力装置２の上に提示された指１に赤外光を照射する。撮像装置９は、入力装置２に提示された指１の画像を撮影する。ここで入力装置２の表面には指が提示される提示部を有する。この提示部は指提示領域(撮像領域)を構成し、認証対象である指は、この提示部に対して指を載置する構成としても良いし、指を入力装置とは非接触にかざす構成としても良い。
また、指を載置またはかざし易くするために、指を保持する保持部材を設けても良い。以下指を提示すると表現する場合には、提示部に対して指を載置する場合と、かざす場合とを含むものとする。
撮像装置９で撮像された画像は、画像入力部１８を介して画像処理部を有する認証処理部１０へ入力される。
【0024】
認証処理部１０は、中央処理部（ＣＰＵ：Central Processing Unit、以下演算装置、制御部ともいう）１１、メモリ１２及び種々のインターフェイス（ＩＦ）１３を含む。
【0025】
ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することによって各種処理を行う。メモリ１２は、ＣＰＵによって実行されるプログラムを記憶する。また、メモリ１２は、画像入力部１８から入力された画像を一時的に記憶する。
【0026】
インターフェイス１３は、認証処理部１０と外部の装置とを接続する。具体的には、インターフェイス１３は、入力装置２、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８などと接続する。
【0027】
記憶装置１４は、利用者の登録データを予め記憶している。登録データは、利用者を照合するための情報であり、例えば、血管パターンの画像等である。通常、血管パターンの画像は、主に指の掌側の皮下に分布する血管（指静脈）を暗い影のパターンとして撮像した画像である。以下では血管パターンの内、指の静脈パターンを用いるものとする。
【0028】
表示部１５は、例えば、液晶ディスプレイであり、認証処理部１０から受信した情報を表示する出力装置である。
【0029】
入力部１６は、例えば、キーボードであり、利用者から入力された情報を認証処理部１０に送信する。ここで入力部はテンキーやタッチパネル、電子ペンなど、利用者からの入力を受け付けるものであれば、キーボードに限られない。
スピーカ１７は、認証処理部１０から受信した情報を、音響信号（例えば、音声）で発信する出力装置である。ここではスピーカを例にするが、利用者に対して情報を発信する出力装置であればよく、前述の表示部にスピーカで発する内容を表示させても良い。
【0030】
図２Ａ、図２Ｂおよび図２Ｃは、第１の実施の形態の生体認証システムの入力装置の構造を説明する図である。
【0031】
図２Ａは入力装置２の断面図を示す。入力装置２の内部には、指の血管を撮影するための赤外線を放射する光源３とカメラ９が具備されている。光源３は装置上方に向けて設置されており、放射される光は装置上部に向けて拡散していく。光源３は指向性の高くない、たとえばＬＥＤであり、自身を中心とする点光源とみなすことができる。
また光源３は様々な位置から赤外線を照射することができるように複数配置されている。本実施例では４つの光源を配置した例に基づき以下説明するが、例えば１個〜２０個の何れかであっても良いし、それ以上で有っても良い。
各光源の点灯や消灯、そしてその照射強度は制御部１１によって個別に制御できる。また、光源３の上方には指提示部に向けて開口するピンホールアレイ２０１が具備されている。ピンホールアレイ２０１は光源３から照射される光を指提示部に向けて導光するための導光部材である。光源３から照射される光は、この導光部材を通過して提示部に提示される指の撮像部位に局所光を複数照射することになる。
さらに、入力装置２の筺体の内部と外部との境界には開口部２０２が存在し、カメラ９は開口部２０２を通して指１を撮影する。開口部２０２には、赤外光に対して透明な部材、たとえばアクリル板やガラス板などを備えても良い。
このように赤外光に対して透明な部材を配置することで、装置内部にほこりなどの異物が侵入することや、指１が誤って装置内に侵入することを防止することができる。
また指１は撮影の際に、開口部２０２の上部(筺体の上面)に形成される指提示部に提示されることになるが、前述したように図の通りに中空に提示させるように表示部１５などにより利用者をガイダンスすることもでき、また指１の位置決めを行うために、入力装置２に指置き台などの指の位置決めのための構造を持たせることもできる。
【0032】
図２Ｂはピンホールアレイ２０１の構成を説明する図である。ピンホールアレイ２０１は赤外線を透過かつ反射させない材質から成る板状の部材で形成されており、その板には小さなピンホール２１０が平面上に多数配列されている。ピンホール２１０は空洞あるいは赤外線に対して透明な部材が充填されている筒状の空間であり、赤外線はこれらを通過することができる。
またピンホールアレイ２０１の中心部分には、カメラ９のレンズ（もしくはレンズ鏡筒）に対する開口部である、カメラ用ホール２１１が開けられている。光源３から放射される赤外光はピンホール２１０を通過して指１へと到達する。
【0033】
このとき、指１には多数のピンホール２１０による光のドットパターンが投影される。なお、指１に照射された後に反射あるいは拡散して戻ってくる赤外光はカメラ用ホール２１１を通過してカメラ９により撮影されるため、映像はピンホール２１０の影響を受けることは無い。ここで、指の撮像部位に対して複数投影される光のドットパターンは、互いに重複しない様に、導光部材と指提示部との距離や光源の位置、等を予め調整しておくとよい。
また、図２Ｃは導光部材の異なる例を上面図として示すものである。
図２Ｃでは、ホール２１０がスリット状に形成されている以外は、図２Ｂと同様である。ここで、このようにスリット状に形成されることで、光源の照射方向等の制御が行いやすいという利点がある。
【0034】
図３は、第１の実施の形態の生体認証システムの処理手順を説明するフローチャートである。ここでは、光源が４つの例について示すが、必ずしも光源は４つで有る必要はなく、１〜２０個の何れか、もしくはそれ以上で有っても良い。
【0035】
はじめに、光源３−ａのみから赤外光を照射し、カメラ９によって指１を撮影する（Ｓ３０１）。この光は光源３−ａを中心として放射状に装置上方に広がる。そしてこの光はピンホールアレイ２０１を通過する。赤外線はピンホールアレイ２０１のピンホール２１０の部分を通過し、それ以外の部分では遮られる。ピンホールアレイを通過した赤外線は、開口部２０２を通過し、指１の表面に到達する。このとき、指１を照らす赤外線は光源３−ａと各ピンホール２１０とを直線で結んだ位置に投影される。すなわち、指１に投影される赤外線のパターンは点状となり、指撮像部位に対して複数、局所照射されることになる。
この様子を図４Ａに示す。すなわち指１の表面には、光の照射されている部分と照射されていない部分とが密に分布する。ここでは指１を照射している点状の光をスポット光４０１(もしくは局所光)と称する。
【0036】
指１の皮下には血管４０２が分布しているが、スポット光４０１が直接投影されている部分の血管は表面での反射光の影響によりほとんど観測できない。それ以外の部分については、赤外光がスポット光４０１から指内部に浸透して拡散し、生体内部を通ってスポット光４０１ではない場所から生体外部へ放射される。この光は体内の血管像を含んでいるため、結果としてスポット光の存在しない箇所において血管像が観測される。この映像がカメラ９によって撮影されることになる。
【0037】
ここで、この画像における血管像の鮮明度について説明する。スポット光４０１が照射されている部分は、指の表面で赤外線が全反射あるいは乱反射する反射光成分と、指の内部に浸透して内部で拡散する拡散光成分とに分けられる。指の内部に存在する血管の映像を撮影するためには、血管に到達し、血管の赤外吸光特性の影響を受けた光を撮影する必要がある。しかし、血管に到達する前に反射光として撮影される成分や、指の内部には浸透したものの、血管に到達する前に生体外部へ放出された拡散光の成分も存在する。
【0038】
基本的に、カメラ９によって撮影される光は、血管に到達した光と血管に到達していない光とが混合されたものである。このとき、撮影したい生体部位に直接赤外光を照射する反射光照射方式では、血管に到達しない光の光路長の方が血管に到達するものよりも短くなるため、血管に到達しない光の強度の方が相対的に強くなる。従って、血管に到達しない光の方が撮影される画質に強く影響を与える。その結果、映像には指表面のしわなどが強く現れるため、血管像が不鮮明になる。
【0039】
これに対し、図４Ａのように多数のスポット光が投影された場合において、光が直接照射されている部分に対しては上述の通り血管像が不鮮明になる。しかし、光が直接照射されていない部分に対しては、指表面で発生する鏡面反射成分や乱反射成分は基本的に発生しない、あるいはその発生はごく僅かである。従ってその領域には少なくとも指表面から直接反射される光成分はほとんど含まれず、生体内部に浸透して放射された光成分だけが観測される。よって、ピンホールアレイ２０１を介して多数のスポット光４０１を投影すると、指の表面上における光成分は、反射成分を含む部分と、生体内部で拡散した光のみを含む部分とが空間的に分布することになる。
【0040】
また、局所光４０１を複数照射することで、前述の特許文献１に記載の方法の様に、撮像部位から外れた領域に光を照射し、回り込む光を撮像する構成に比べ、指内部を通る(回り込む)距離が少なくなることが期待できる。
そのため、局所光４０１近傍の光が投影されない領域の内部に伝播する光路が短くなることから、光量の損失も少なく、鮮明な血管画像を撮影することが可能となる。
【0041】
続いて、点灯していた光源３−ａを消灯し、光源３−ｂを点灯し、カメラ９によって撮影する（Ｓ３０２）。光源３−ｂと光源３−ａはその位置が僅かに異なっている。従って、ピンホールアレイ２０１を通過する赤外光は、光源３−aによって照射される位置から僅かにずれる。これにより光源位置と各ピンホールとを結ぶ直線の位置がずれるため、指の表面に形成されるスポット光４０１の位置がずれる。この様子を図４Ｂに示す。新たなスポット光４０３は、照射する光源の位置が右に移動したことにより図４Ａのスポット光が僅かに左に移動している。すなわち、図４Ａではスポット光４０１が照射されていた場所は図４Ｂにおいてはスポット光が当たらないことになる。
【0042】
続いて、同様に光源３−ｃ、光源３−ｄを点灯して同様の映像を獲得する（Ｓ３０３、Ｓ３０４）。各映像を撮影する場合は、指の位置ずれがほとんど生じない程度のタイミングで高速に実施する。
【0043】
なお、本実施例においては４つの光源を指の長手方向に並べて配置しているが、さらに個数を増やしても、また指の幅方向に追加して配置しても良い。
また、複数光源を配置する例について説明したが、単一光源により血管画像を撮像する構成としても良い。この場合、部分的に血管パターンが欠損した画像に基づき認証を実行することになるが、後述する局所光の投影像を利用したり、他の認証手段(指紋、暗証番号、虹彩等)と組み合わせることで認証精度を担保することも可能である。具体例としては、局所光の投影像に写りこむ生体表面情報(例えば指紋)と局所光が照射されていない領域の血管パターン像とを認証に用いる。このとき、生体表面情報と血管パターン像とを別途認証、記憶するようにしても良いし、それらを合成して一枚の画像とし、認証や記憶するように構成することも可能である。
また、認証対象人数が少ない場合などの場面では、単独での使用も可能である。
この場合においても、演算部において、局所投影された生体表面情報を認証に用いることも可能であり、さらに当該生体表面情報を基に画像の位置合わせを行うことも可能である。局所光は認証対領域に点在することになるため、位置合わせを行いやすいという利点もある。
【0044】
ここで、光源の必要個数と配置は以下の条件を満たすように決められる。図５に示す通り、ピンホール２０１から照射されるスポット光４０１の大きさは、ピンホール２１０の径、光源からピンホールまでの距離、ピンホールから指１までの距離によって規定される。光源の配置が図５に示される状態の場合、この両光源を切り替えてもどちらも赤外線によって照射される部分５０１が存在する。
【0045】
この領域には直接反射光が含まれるため画質が劣化する。よって、このような領域が存在しないようにさらに多数の光源を配置し、様々な位置に照射されるようにする。また、このようなどちらも照射される部分５０１が存在しないようにするためには、ピンホール２０１の半径を小さくし、光源とピンホールとの位置を遠ざけることも有効である。
ただしこれによって光量が不足することが考えられるため、光量を増加させる、あるいは露光時間を長く取る、などによって受光量を増加させることが有効である。また、複数の光源は、お互いの照射光が指１の共通な領域を同時に照射しない条件であれば、同時に点灯して撮影しても良い。これにより撮影枚数が低減するため撮影の高速化が実現できる。
【0046】
続いて、獲得した全映像を合成する（Ｓ３０５）。合成は、画像中の各画素に着目し、複数の画像の注目画素の中から直接光が照射されていない輝度値を選択することで指表面による直接反射光成分を含まない画像を得る。
輝度値の選択方法の一実施例としては、通常では直接反射光成分を持つ画像が最も明るく照射されるため、複数の輝度値の中から最大値ではない値をその画素の輝度値と設定する。たとえば、第二位の輝度値を採用する、中央値を採用する、最も暗い輝度値を採用する、などがある。その中でも、直接反射光成分が照射された場合の輝度値を事前に調べておき、直接反射光成分かそうでないかを判定するための閾値を輝度値に対して設定し、閾値を下回る輝度値の中の最大値をその画素の輝度値とする方法が有効である。この方法では、直接反射光が存在しない画素から最も明るい画素が選ばれるため、光量不足による不鮮明な画像が得られにくいという利点が得られる。
【0047】
あらゆる光源照射の組み合わせにより複数の画像を獲得し、それらを合成した場合においても直接反射光のみ照射される部分が存在する場合、該当する部分の画素は白飛びした状態で観測される。白飛びした箇所は被写体の情報を持たないため欠損画素となり、血管パターンの抽出処理や認証処理などの後段の処理に悪影響を与えることがある。
これに対し、欠損画素が小さい場合は、その近傍画素の画素値を格納することで代用することができる。一般的に、空間的な距離が近い画素同士の画素値は類似する性質を持つ。従って、欠損画素をその近傍画素の画素値に置き換える操作によって、血管パターンなど被写体の形状を大きく変化させることなく欠損画素を除去できる。具体的には、白飛びによる欠損画素であると判定できる輝度値の閾値を事前に設定し、合成後の画像に対して１画素ずつ白飛びかどうかを判定していく。もし白飛び画素である場合、その画素の周囲８近傍の画素のうち白飛びではない画素から置き換えのための画素値を算出する。画素値の算出方法として、近傍画素値の中間値あるいは平均値を計算する方法がある。仮に近傍画素のすべてが白飛びである場合は、さらにその周囲の１６画素を用いて同様の処理を行う。この操作を全画素について行うと、白飛びとなっている欠損画素を画像全体から除去することができる。
【0048】
続いて、合成された画像から血管パターンのみを抽出する処理を行い（Ｓ３０６）、さらに事前に登録した血管パターンとの照合処理を行い（Ｓ３０７）、一致するか否かを判定する処理により（Ｓ３０８）、認証成功（Ｓ３０９）か否か（Ｓ３１０）を出力して終了する。
【0049】
この手法によると、撮影する生体部分の全体に対し、照射部と非照射部とが時系列的かつ空間的に切り替えられているため、撮影する生体部分の全体に十分な光が照射されることになる。従来技術では、撮影する生体部分の周囲にのみ光を照射することで直接反射光の発生を避け、生体内を拡散した散乱光のみを撮影することで、生体の映像のＳ／Ｎの低下を抑制する手法が存在するが、撮影する生体部分の領域が広くなる場合は照射された光が撮影する生体部分に到達しにくく、結果的に画像が暗くなりＳ／Ｎが低下することがあった。これに対し、本発明では一様に照射することでこの問題点を解消することが可能となる。
【0050】
ここで、照射するスポット光の大きさと間隔について言及する。スポット光の大きさは、あらゆる光源の組み合わせについて撮影した画像を合成しても白飛びが生じる、上述の欠損領域のサイズに関係する。全体的な欠損量が同一であっても、１つの欠損領域の大きさが大きいほど、欠損除去後の画像の被写体は変形が大きくなる。それは、欠損画素に上書きする画素値は空間的に遠い位置の画素を利用して求めなければならないからである。逆に、１つの欠損領域の大きさが小さければ、欠損画素に上書きされる画素値は欠損部分のごく近傍の画素から計算されることになるため、欠損除去後の画像は空間的に滑らかに補正される。従って、スポット光の大きさは限りなく小さくすることが望ましい。これに伴い、ピンホールの穴のサイズも小さい方が望ましい。ただし、穴の大きさを小さくし過ぎると光の回折が発生したり製造の難易度が上昇したりするため、使用する赤外光の波長や製造方法などによりサイズの下限値を設定する。
【0051】
また、ピンホール同士の間隔あるいはスポット光同士の間隔については、光源を切り替えた際に同じ部分に直接照射光が当たらないようにすることで上述の欠損画素を減らすことができる。仮にスポット光の大きさと隣り合うスポット光の距離とが完全に同一の場合、光源を切り替えた際に、すべてのスポット光が自身の大きさと完全に同じ距離だけ平行にシフトしない限り、同じ部分が照射される領域が発生してしまう。そこで、スポット光の大きさに対し、スポット光同士の間隔の方をより広くとることが望ましい。これにより、光源を切り替えた際のスポット光のシフト量が自身の大きさよりも大きく移動すれば、重複して直接照射光が当たる場所の発生を概ね防ぐことができる。
【0052】
図１９Ａおよび図１９Ｂに、光源とピンホールアレイとスポット光との位置関係と寸法の一例を示す。図１９Ａは、ピンホール２１０の大きさが０．２５ｍｍ、ピンホール間の距離が０．７５ｍｍ、両者の比率が１：３であり、また光源３とピンホールアレイ２０１との距離が１０ｍｍ、ピンホールアレイ２０１と指１との距離が２０ｍｍ、両者の比率が１：２であり、光源３−ａと光源３−ｂとの距離が２ｍｍであり、光源３の照射角度が左右４５度に広がる場合における、左半面の照射光の様子を示した一例である。
【0053】
光源３−ａを点灯した場合、図に示す通り実線で示されるスポット光４０１が指１に照射される。さらに、光源３−ｂを点灯した場合には点線で示されるスポット光が指１に照射される。この場合、指に照射されるスポット光の大きさと、スポット光の当たらない領域との比率が概ね１：３となる。この位置関係では、両光源から照射されるスポット光は重なることなく指１に照射されるため、欠損画素は存在しないことになる。このように、スポット光の大きさに対してスポット光の間の距離にマージンを持たせることで欠損画素の発生を抑制できる。
【0054】
なお、ピンホールアレイ２０１は自身の強度を保つために一定の厚みが必要となる。ピンホールアレイ２０１自身を構成する材質が全て赤外光を遮断する性質を持つ場合、この厚みに対してピンホールの穴のサイズが小さくなると、光の進路が僅かでも斜めに傾くと光が透過できなくなる。すなわち、光源の真上にあるピンホール以外からは光が通過できなくなる。そこで、図１９Ｂに示す通り、強度が維持できる厚みのアクリル板１９０１などの透明部材の表面に、赤外光を遮断するインクなどにより、ピンホール状に穴の開閉の模様１９０２をプリントすることで、少なくとも光を遮断する部材の厚みを限りなく薄く造形することができる。これにより斜めに進行する光も透過させることが可能となる。
【0055】
なお、スポット光４０１の投影位置を移動させる方法として、光源そのものを可動式として機械的に移動させても良く、またピンホールアレイ２０１を同様に移動させても良い。
さらにはピンホールアレイ２０１を液晶パネル等の赤外光の透過、遮断を電気的に制御できる部材としてピンホールの位置を変化させても良い。光源やピンホールアレイを機械的に移動する方法では連続的に滑らかにスポット光を移動させることができるため画像合成で鮮明な画像が得られる効果があり、また液晶パネルによる方法ではピンホールのサイズや位置を自由に制御できるため、鮮明な画像が合成できるように制御することが可能となる。
【0056】
また、スポット光を含んだ画像合成前の撮影画像を利用して認証を実施してもよい。スポット光の部分は直接反射光の影響で血管パターンは観測できないが、それ以外の部分には血管パターンが観測されている。その観測されている領域だけを利用することで血管パターンによる認証が可能となる。このようにスポット光を含んだ画像だけで認証を実施することができれば、多数の光源を制御しながら複数の画像を撮影し合成する処理が不要となり、高速処理が実現できると共に装置コストも低減できる。以下、その一実施例について示す。
【0057】
スポット光は明るい画素値を有するため、注目している画素にスポット光が照射されているか否かは輝度値の大きさによって判定できる。スポット光が照射されていないと判定できる画素においては血管パターンが観測できる。そこで、スポット光が照射されていない画素に対して選択的に血管パターンの抽出処理を実施する。しかしながら、スポット光のある部分が点在することから抽出される血管パターンは所々でパターン欠損が発生する。そこで、スポット光のある部分については、上述の欠損画素の除去と同様の手法により、その近傍画素のうちスポット光のない部分の画素値を格納することで、空間的な構造をできるだけ保ちながらスポット光部分を除去し、血管パターンを抽出する。これにより、空間的に欠損の無い血管パターンが得られる。なお、スポット光の大きさはできるだけ小さい方が空間的な構造がより保たれるため、上述の通り小さなスポット光の照射が望ましい。
【0058】
また後述の通り、スポット光が画像に含まれている場合、光源とピンホールとの位置関係、そして画像上の座標と撮影される三次元空間との対応、とが事前に把握できれば、スポット光の映る座標から被写体の立体構造を計算できる。つまり、スポット光を含む画像を利用することで、血管パターンによる認証に加えて生体の立体情報を利用した認証を組み合わせることが可能となり、認証精度を高めることができる。
またさらに、スポット光と血管パターンとの位置関係についても、血管パターンの情報と併せて記憶しておくことで、スポット光が投影される投影パターンにより位置ずれの補正を行い、補正後のパターン比較も可能となる。また、投影パターンの歪みから、三次元空間における位置補正を行うこともできる。
図６は、第一の実施の形態の変形例である。光源３が側面に向けて配置されており、またミラー６０１が斜めに配置されている。光源３を照射すると、ミラー６０１に反射した後にピンホールアレイ２０１を通過し、スポット光が指１に投影される。本方式では、光源３の指向性が強くて広い範囲を照射できないものであっても、ミラー６０１を介することで、装置を薄くしながらも光源３とピンホールアレイ２０１までの光学的距離を遠ざけることができ、広範囲にわたってスポット光を照射することができる。
【0059】
図７は、第一の実施の形態の変形例である。光源３と撮像素子７０１とが平面上に交互に配置されている。一つの撮像素子７０１は画像中の1画素あるいは空間的に近接した少数の画素に対応する。撮像素子７０１の上部には集光レンズ７０２が具備され、撮像素子７０１の直上付近の映像を受光することができる。このとき、近隣に存在する光源の光を直接撮影することがないように、集光レンズ７０２の側面は赤外光を遮断する効果を有する。
【0060】
また光源３も同様に、直上付近の被写体のみを照射する。光源３は隣り合う光源同士が点灯と消灯との組になるよう市松模様状に点灯して撮影し、さらに点灯と消灯とを入れ替えたときの映像を撮影することで、これまで説明した通り複数のパターンを持つスポット光の照射とそれらの合成とを実現する。
ただし、光源を点灯させたときスポット光が広がり過ぎる場合は、その光源の近傍に存在する受光素子が直接反射光を撮影する可能性がある。その場合は例えば光源の点灯させる間隔を一つおきではなく二つおきとし、点灯している光源に近接する撮像素子の画素値を破棄すれば、光の広がりによって発生する直接反射光の撮影を防止することができる。このとき、破棄された画素の影響により本来の画素数から低減するため、点灯する光源の位相をずらしながら画像を合成することで、全画素を有効に利用することができる。
【0061】
図８は、第一の実施の形態の変形例であり、開口部２０２が指１の長手方向に対して狭く制限されている、ライン型の指静脈認証装置の一実施例である。撮像素子７０１は指の幅方向に対して並べられており、長手方向には１画素のみが配置されている。光源３は側面に向けて配置されており、またミラー８０１が斜めに配置されている。
【0062】
光源３から放射される光はミラー８０１によって折り曲げられ、指１の方向へ進む。指の幅方向には光源３が並べられており、光源の照射口にはピンホールアレイ８０２が設置されている。ここでは、１つの光源に対して１つのピンホールが対応しており、１つの光源から照射される光の広がりを抑制し指向性を高める効果を有する。当然ながらピンホールの代わりに集光レンズを利用しても同等の効果が得られる。
【0063】
撮影の手順は上述の実施例と同様であり、各光源を周期的に、たとえば一つおきや二つおきに点灯させて１ライン分の画像を撮影し、点灯する空間的位相をずらしながら逐一撮影を行い、直接照射されない部分の画素を上述の方法により合成することで、直接反射光を含まない１ライン分の映像を獲得することができる。なお、ライン型の指静脈認証装置においては、指紋認証などで一般的に利用されているライン型の認証装置と同様に、指をスライドさせることで指全体に分布する血管パターンを獲得し、その全体的な血管を用いて認証を実施する。
【0064】
図９Ａおよび図９Ｂは、第一の実施の形態の変形例である。
【0065】
入力装置２の開口部２０２の上部に液晶パネル９０１が具備されている。液晶パネル９０１は面状に配置された多数の微小な液晶画素で構成されており、画素ごとに電圧の印加の有無を電子的に制御することができる。液晶の特性は一般的に広く知られている通り、電圧の印加によって光の透過と遮断とを画素ごとに制御することができる。
従って、上述の実施例にて説明した通り、画素ごとに光の透過と遮断とを市松模様状に提示することでピンホールアレイと同等の機能を実現することができる。この液晶の各画素について、例えば光が透過する液晶画素９０２のパターンを図９Ａの通りに提示すると、光源３から放射される赤外線は、例えば図４Ａに示すような小さな多数のスポット光となる。さらに、例えば図９Ｂに示すように液晶パネル９０１のパターンを変化させて光が透過する液晶画素９０２の位置をずらすと、例えば図４Ｂに示すように投影するスポット光の位置を図４Ａの状態からずらすことができる。
【0066】
当構成では、光源３から指１に投影する光だけではなく、指１から戻ってくる光に対しても液晶の透過と遮断の影響を受けるため、カメラ９によって指を撮影すると、ドットパターンの映像が映る。この様子を図１０Ａと図１０Ｂに示す。
【0067】
まず、図１０Ａは市松模様状に撮影光が遮断されている。光が透過する液晶画素９０２からは、光源の位置、被写体の位置などの関係に起因して、直接反射光であるスポット光４０１が投影されている部分とそうでない部分とが観測される。次に、上述の実施例のように照射する光源を切り替えた場合、光源の位置と被写体の位置関係に起因して、図１０Ｂに示すように、スポット光４０１が観測される位置が図１０Ａから変化する。上述の通り、スポット光４０１が照射されていない部分を合成することで、この市松模様の光が透過する液晶画素９０２に対しては、直接反射光を含まない映像を獲得できる。しかしながら、図５にて例示した通り、ただ２通りの光源照射だけではどちらも直接反射光が照射される場所が存在する可能性がある。この場合はさらに異なる位置の光源を照射することで、全体的に直接反射光が照射されなくなるまで繰り返す。画像上のある画素にスポット光４０１が存在するか否かは上述の判定方法が利用できる。つまり、スポット光４０１の典型的な輝度値を事前に評価しておき、その画素において撮影した全ての画像でその閾値を下回る輝度値が得られない場合、その画素には常にスポット光４０１が照射されていると判定する。
【0068】
しかし、装置に具備される全ての光源を照射しても、全ての画像においてスポット光４０１が照射される画素が存在する可能性も想定される。このとき、常にスポット光４０１が映る画素の画像上の座標は知ることができるため、現在の市松模様の光が透過する液晶画素９０２の位置と、全光源の位置とを結んだ線が集中する場所を判定することで常にスポット光４０１が映ってしまう被写体の概ねの位置が把握できる。それによりその直接反射光がどの液晶画素を通過した光であるのかを絞り込むことができる。よって、該当位置の近隣において光が透過する液晶画素を電子制御によって逐一塞ぎながら撮影を行うことで、ある時点で直接反射成分が観測されない状態の映像を獲得することができる。
【0069】
本構成では、カメラの映像は光を透過する液晶画素９０２を介して通過した光を撮影したものとなっている。この利点としては、開口の狭いピンホールを光が通過した映像を撮影することで、装置に対して鉛直下方に向けて進行する光成分だけが通過でき、斜めに通過する光成分を遮断できることがある。一般的な液晶パネルは自身の層の厚みの影響により、斜め方向に進行する光成分を遮断する性質があることが知られている。斜めに通過する光は指内部で拡散を受けた後に斜めに進行した光か、あるいは指表面で乱反射して到達した光である。本来、鉛直上部に存在する被写体の影響だけを受けた光のみを受光することが重要であり、斜め方向の光は映像のボケを生じさせる。本構成のように液晶で構成されたピンホールを介した撮影では斜め方向に進む光が入り込みにくくなり、映像のボケを抑制できる。
【0070】
上記までで、液晶の画素が透過となる部分のみの映像が獲得できた。続いて、液晶の透過と遮断の関係を１画素ずつ縦方向と横方向にずらす、あるいは極性を反転させる、などにより市松模様の位置をずらして同様の処理を実施し、最終的に上述と同様にすべての画像を合成することで、反射成分を含まない画像全体の血管像を獲得することができる。
【実施例2】
【0071】
図１２は照射したスポット光を利用して指の表面の立体構造を抽出する原理図である。
【0072】
照射している光源３とピンホール２１０の位置関係、そしてカメラ９の位置と画像の各画素に映る被写体の位置関係、を事前に調整しておくことで、指１に照射されたスポット光４０１の空間的な位置が分かる。
【0073】
図中のピンホール２０２−ａを通過して照射されているスポット光４０１−ａは、光源３とピンホール２０２−ａの延長線上に存在する。
一方、カメラ９を中心に放射方向に伸びる空間的な直線の上に存在する被写体は、カメラ９で撮影される画像上では常に同じ座標に観測されることから、スポット光４０１−ａが観測される座標を調べることで、カメラ９とスポット光４０１−ａとを結ぶ延長線が一意に決定される。
この２つの延長線の交点を求めることにより、スポット光４０１−ａが照射されている指１の部分のカメラ９からの距離Ｄａを得る。同様に、光源３とピンホール２０２−ｂの延長線と、カメラ９とスポット光４０１−ｂとの延長線との交点を求めることで、距離Ｄｂを得ることができる。このような三角測量の原理によってすべてのスポット光の三次元空間の位置が決定できる。
【0074】
なお、スポット光４０１はピンホール２０２が円形であればある面積を持つ円として投影されるため画像上で広がりを持つ。そのため、スポット光の座標を一点に決定するための基準が必要となる。基本的に光の照射強度はスポット光の中央が最も高く、中央から距離が離れると共に強度が低下するため、最も強度の高い一点をスポット光の位置と定義する。ただし、スポット光が強い場合は輝度値が飽和するため円形の領域すべてにおいて同一の輝度値となるため、この場合は飽和領域の重心位置をスポット光の位置と決定してもよい。
【0075】
また、スポット光の大きさを測定することでスポット光の位置の距離を測定することも可能である。これにより、カメラの位置のキャリブレーションが不要になるため、製造コストが低減できる。ただしスポット光４０１は上述の通り広がりを持つため、厳密にスポット光の大きさを測定することは難しく、上述の方法がより効果的である。
【0076】
また、指と装置との距離が異なることで、あるスポット光がどのピンホールから照射されたものか把握できなくなる場合がある。この問題を解決するために、本発明では規則的に配置された多数のピンホール２０２のうち、特定位置のピンホールを塞ぎ、赤外光を遮断するものとする。
【0077】
ここでは、各光源の直上に存在する１点を塞ぐものとする。図１２には塞がれたピンホール１２０２が描かれている。光源の真上を塞ぐ利点は、光源から最も近い位置で投影されたスポット光は鮮明に見えるため、塞がれた部分を検出しやすい点である。また、光源の真上の位置は開口部の内側に存在すること、さらに光源の真上のピンホールは真上に投影されることから、塞がれたピンホール１２０２により発生するスポット光が存在しない領域は指１と光源３との距離が変化しても比較的安定してカメラ９によって観測できる利点もある。その他のバリエーションとしては、ピンホールを塞ぐ方法ではなく、穴の形を様々に変えて、そのスポット光の形状を画像処理によって判定することによりどのスポット光がどのピンホールを透過したかを判定しても良い。
この場合は穴を塞ぐ方法よりも照射効率が高い。その反面、前述の穴を塞ぐ方法はスポット光の形状を判定する必要が無いため、複雑な判定処理が不要となり、誤った判定が発生しにくい。
【0078】
また、被写体が想定以上に遠くに存在する場合はスポット光の大きさが拡大するため、すべての光源を点灯させたときでもスポット光の重なりが見られる画素が存在する場合がある。この場合は、指の提示位置が不正であると判定し、利用者に指を近づけて置いてもらうようにスピーカや表示部を通じて利用者に警告するように制御することもできる。
【0079】
図１３は、スポット光が投影された画像から立体構造を抽出する処理手順である。
【0080】
はじめに、予め準備された、各光源と各ピンホールの位置関係を表すテーブルを読み込む（Ｓ１３０１）。テーブルとして持たせる情報として、たとえば3次元空間の直線の式：Ｘ＝ａｔ＋ｂ、Ｙ＝ｃｔ＋ｄ、Ｚ＝ｅｔ＋ｆ、において、固定パラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）を記録したものである。
なお、ｔは媒介変数である。これらのパラメータは光源とピンホールとを結ぶ直線が成す空間的な座標（Ｘ，Ｙ，Ｚ）を表す固定パラメータとなるため、光源の個数とピンホールの個数との積だけ存在する。次に、上記のテーブルと同様の考え方により作成された、カメラ位置と画像上の各画素との位置関係に関するテーブルを読み込む（Ｓ１３０２）。このテーブルの持つパラメータ数は画像の画素数の個数となる。これらのテーブルは記憶装置１４に格納され、処理プログラムが実行される場合には必要に応じてメモリ１１に展開され、処理プログラムによって参照される。
【0081】
次に、ピンホールとスポット光との関係性をキャリブレーションするために、光源３を照射したまま画像を撮影し、規則的に並んだスポット光４０１の間の距離を測定する（Ｓ１３０３、図１４）。そして、その中から隣のスポット光の間隔が広い場所を見つける。塞がれたピンホール１２０２の部分にはスポット光が照射されないことから、塞がれたピンホール１２０２の近隣のピンホールの間隔が最も広いと期待できる。なお、指１は指幅方向には立体的に曲がっているため表面の曲率が大きいが、長手方向には比較的平面的な形状となる。よって、指の長手方向に沿った方向のピンホールの間隔は概ね一定であると考えられる。よって、本実施例では、指の長手方向で隣となるピンホール距離の最大値１４０１を検出する（Ｓ１３０４）。
【0082】
次に、各スポット光とピンホールとの延長線と、各スポット光とカメラとの延長線の交点を調べる（Ｓ１３０５）。まず、光源３と透過したピンホールの位置との関係より、スポット光４０１がどの直線上に存在するかが分かる。これは先に示した通り、たとえば３次元空間の直線の式：Ｘ＝ａｔ＋ｂ、Ｙ＝ｃｔ＋ｄ、Ｚ＝ｅｔ＋ｆ、によって表せる。ただしｔは媒介変数を示し、a〜ｆの記号は光源３とピンホールとの位置によって決まる固定パラメータである。次に、当該スポット光が画像上のどの座標に存在するかを調べ、カメラと画像上の座標との関係を事前に作成したテーブルから読み取り、先程と同様にこのスポット光がどのような直線に乗るかを算出する。このような交点の計算を全スポット光に対して実施する。
【0083】
最後に、各スポット光ごとに、ピンホール位置からの垂線の距離を求める（Ｓ１３０６）。全てのスポット光について装置からの距離を獲得すると、この情報を登録データ、あるいは入力データとして利用できる。
【0084】
なお、スポット光はある程度の大きさを持って観測されるため、その重心位置や明るさの最大値が得られる位置をそのスポット光の代表位置として算出する。また、このとき測定誤差あるいは計算誤差により、２本の直線が完全に交差しない場合がある。この場合は両直線の最小距離となる点を交点とする。
【0085】
図１５は、指表面の距離情報を利用した認証処理フローの一実施例を示す。はじめに、事前に登録されている血管パターンと上記の方法で獲得した指の立体情報とを記憶装置１４よりメモリ１２に読み出す（Ｓ１５０１）。次に、ある利用者が指の入力を行う（Ｓ１５０２）。このときにも血管パターンと共に指の立体情報を獲得する（Ｓ１５０３）。そして、登録データと入力データの指の立体情報が最も近くなるように、入力された指の入力データの画像そのものを変形する。まず、指幅が概ね同じ大きさ、同じ位置になるように、入力画像を拡大縮小、回転、平行移動処理を施す（Ｓ１５０４）。これにより概ね両方の指が重なる。続いて、指の立体情報同士が最も類似するように、入力画像を空間的に平行移動、拡大縮小、回転させる（Ｓ１５０５）。そして、その位置において血管パターン同士を照合する（Ｓ１５０６）。同一指であれば装置との距離、画像平面方向の位置合わせが完了し、血管パターンの位置ずれが発生しない状態で照合できる。このとき、登録された血管パターンとの一致を判定し（Ｓ１５０７）、一致したと判断した場合は認証成功とし（Ｓ１５０８）、そうでない場合は認証失敗となる（Ｓ１５０９）。
【0086】
ここで、指の立体構造によって指の位置合わせを行う本手法の利点について述べる。従来手法では、血管パターンを利用してパターン同士の一致度が最大化するように位置合わせすることで位置ずれを補正していた。この手法では、異なるパターン同士の位置合わせにおいても一致度をできるだけ高める作用が生じる。本来、異なるパターン同士であれば一致度が低くなるという結果が期待されるべきであるが、血管パターンの一致度を高めるように位置合わせを行う方法を適用する限り、異なる指同士の一致度の上昇が課題となる。一方、本手法では血管パターンの代わりに指の立体構造を位置合わせに利用するため、従来方法に比べて異なる指同士の血管パターンの一致度が高まることがなく、同じ指と別の指の照合結果をより有効に分離でき、認証精度を向上させる効果がある。
【0087】
また、指が曲げられた状態で撮影された場合、指の関節を軸として変形が生じる。指の関節部分は指の幅方向に走行する立体的な窪みとして捉えられるため、該当する方向に走行する窪みを検出することで関節位置を獲得できる。登録と入力の関節位置が概ね一致しているにも関わらず、その他の部分の立体情報にずれが見られる場合には、関節位置を基準に指の曲げ方向に立体情報を変形しても良い。具体的には、関節位置と判定された部分から遠ざかるにつれて画像の拡大率を徐々に大きくする、あるいは徐々に小さくすることで、指の関節を基準とした曲げによる変形が再現できる。指の関節を基準とした曲げの変形を加えながら登録データと入力データとの指の立体形状が最も近い状態で血管パターンを照合すると、同一指であればより血管パターンの一致率が高まり、別指であればその一致率は高まることはない。このようにして照合の高精度化が実現できる。このとき、関節位置を境とした２つの指の節、たとえば中節と基節、が共に大きく反りかえることがないなど、実際の指の曲がり方を考慮した変形の制約を加えることで、無駄な変形の考慮が抑制されるため処理速度を向上させることができる。
【0088】
また、登録と入力の立体形状を一致させるために入力データを毎回登録データに合うように変形すると、登録データの数だけ変形を施す必要が生じるため膨大な処理時間が掛かる。そこで、登録の際に指表面の立体情報をある基準に従って正規化しておけば、登録データごとに入力データを毎回変形する必要がなくなるため効率的である。この一実施例を図１６Ａおよび図１６Ｂおよび図１６Ｃに示す。図１６Ａと図１６Ｂは共に指１の撮影状態が異なっており、立体的な回転角がずれている。これらに対し、たとえば指表面の法線方向が常に正面に向くように平面上に投影し、さらに指の輪郭が長方形になるように変形して正規化すると、正規化後のパターン１６０１は図１６Ｃのようになる。このとき、血管４０２−ａと血管４０２−ｂの形状は同一となるが、指の立体回転の影響で僅かに平行移動のずれが生じる。しかしながら、血管が一致するように平行移動を行いながら照合を行うことで、両パターンの一致度を正確に計算することが可能となる。以上のように、どのような指の曲げ状態であっても統一的な正規化が可能となり、入力される指ごとに変形補正を再実施する必要が無く高速化が実現できると共に、指の変形にロバストな照合が実現できる。なお、このときの正規化の方法として、半径が統一された円筒の表面に血管を投影してもよく、同様に楕円の円柱表面に血管を投影してもよく、平均的な指の立体形状を基準としてその表面に血管を投影しても良い。立体形状への正規化を行う利点として、元々の指が立体形状であることから、正規化の際の強制的な縮尺変化の割合が小さくでき、元の血管形状を維持した正規化が可能となる。
【0089】
また、指の立体形状が想定したものではない場合、たとえば指が大きく軸回転している、関節が大きく曲げられている、などを検知した場合は、表示部１５などを通じて利用者にフィードバックを行い、正しい指の置き方を誘導することができる。たとえば、撮影されている現在の指の状態を表示部１５に表示しながら、これをどのように直せば正しい置き方になるかを具体的に図示することができる。関節が曲がっていると判定した場合は具体的にどの関節をどれだけ伸ばすように置けば良いかを指示したり、指が回転している場合はどの向きにどの程度だけ回転を戻せば良いかを指示したりすることが可能となる。
【実施例3】
【0090】
図１７は、本発明の装置を携帯電話に搭載した一実施例を示す。携帯電話１７０１に前面に入力装置２が搭載されている。入力装置２は、例えば図８に示したライン型の認証装置である。利用者は指１を入力装置２の上に提示する。入力装置２は指の提示を判定し、たとえば図３に示される処理フローに従って認証処理を実施する。図８の例に倣って、利用者は指を手前側にスライドさせながら撮影を行うと、事前に登録したパターンとの一致が判定され、一致が確認されると携帯電話の各種機能が利用可能となる。例えば、携帯電話のボタン操作のロック解除、通話・メール送信機能の有効化、ネット決済・買い物の際の本人確認、などに利用することができる。
【0091】
図１８Ａおよび図１８Ｂは、本発明の装置を携帯電話に搭載した別の実施例を示す。携帯電話１７０１の前面に入力装置２が搭載されている。認証装置は、図９Ａに示したものであり、開口部２０２に液晶９０１が搭載されている。液晶９０１は上述の通り、指表面に複数の反射光のパターンを投影し、かつ複数の映像を撮影するための、光の開口制御に利用される。さらに本実施例においては、液晶９０１は利用者が指１の提示を行うためのガイダンス図１８０１とガイダンス文１８０２とを表示することも可能である。利用者はこれらのガイダンスに合わせて指１を置くと、上述の処理フローに従って照合処理が実施され、利用者の認証が行われる。
【0092】
このとき、液晶９０１の構造の中に抵抗膜方式や静電容量方式などをはじめとするタッチパネルを埋め込み、利用者の指の設置判定や位置判定、指の移動量の測定を実施してもよい。これにより、利用者がガイダンスに従って正しい位置に指を置いたかどうかを判定することができる。また本形態では、上述したスライド型の撮影方式を採用することも可能である。この場合、開口部２０２を狭めることになるが、そのために指のスライドに合わせて生体情報を時系列に登録したり、あるいは空間的に合成したりする必要がある。このときの指の移動の方向や速度などをガイダンス図１８０１により動画としてガイダンスしても良く、これにより利用者の利便性を向上することができる。さらには、タッチパネルにより指の移動量を測定することも可能となる。この場合、指の移動量に合わせてパターンを合成することが可能となり、タッチパネルが存在しない場合に比べて合成の精度を高めることができる。
【実施例4】
【0093】
図１１Ａは、本発明の第四の実施の形態における装置構造を示す。
【0094】
入力装置２の内側に光源３とカメラ９とが配置されており、また開口部２０２の表面には視野角制限フィルム１１０１が貼り付けられている。視野角制限フィルム１１０１は、フィルムに対して法線方向に進行する光はほとんど減衰することなく進行できるが、光の方向が接線方向から一定の角度を超えて傾くと透過率が低下してほとんど光が透過できず、また反射を起こすこともないという特性を有する。光源３はカメラ９の視野に入らない場所に設置されており、本実施例では視野の直近まで近づけられている。この配置では限りなく光源３を指１に近づけることができ、光の利用効率が高まる。
【0095】
図１１Ａに示す通り、装置左側の光源３から赤外線を照射すると、ＬＥＤなどの指向性が低い発光素子を利用する場合は広がりをもって進行する。このとき、開口部２０２の視野角制限フィルム１１０１によって、鉛直上方に向かう光や僅かに傾いた光は透過するため指１の左側面に到達する。一方、鉛直方向から一定の角度を超えて右側に傾いて進行する光は視野角制限フィルム１１０１によって遮断されるため、指１の腹側には到達しない。これにより、光源３から照射される光は、指１の左側面だけを照射することになる。上述の通り、撮影する部分に直接光を照射すると反射光の影響によって血管像が不鮮明になるが、本構成では少なくとも指の左側面にのみ照射され、中央部より右側の指表面には直接照射されることは無い。よって、指の中央あるいは右側の映像は、左側面に照射された光が指の内部を拡散し、透過した光を撮影したものとなる。これは透過光撮影の原理で得られた画像であり、少なくとも画像の右半面の血管像は鮮明となる。続いて、左側の光源３を消灯した上で右側の光源３を点灯すると、同様の原理により左半面については鮮明な血管像を撮影できる。この過程で撮影された２枚の映像のうち、鮮明な血管像が映される領域を合成することで、全体として鮮明な１枚の血管像を得ることができる。
【0096】
なお、指１の指幅は利用者によって異なるため、例えば図１１Ａに図示される４つの光源３の最も左に位置する光源だけを照射しても、指幅が狭い場合や、指１が図の右側にずれて提示された場合には指１の左側面に光が届かない可能性がある。そこで、最も左の光源３を消灯して左から２番目の光源を点灯し、両光源による２回の撮影のうち極端に暗くなっていない画像を採用する、あるいは血管のコントラストを画像処理によって測定し最もコントラストの高い画像を採用することで、指幅や指位置に最適な照明を投影することができる。当然ながら光源の数をさらに追加しても良く、その場合はよりきめ細かい照明の調整が可能となる。
【0097】
図１１Ｂは、本発明の効果を明示するために、従来技術を用いた構成における開口部の内側に光源を具備する装置構成を示す。従来では、不要な照射光を遮断するために遮光部材１１０２を光源３の装置中心側に隣接して設置している。この構成では、光源３から放射される赤外光が遮光部材１１０２を超えて進行する場合があり、不要な照射光が漏れ光として発生する。これを防止するための対策として、たとえば光源３の位置を遮光部材１１０２に沿って斜め下方に下げる、あるいは遮光部材１１０２を光源３よりもさらに前方に来るように長く引き伸ばす、などがある。しかしながら、前者の対策では光源位置が入力装置２の外側方向に広がるため装置が大きくなり、また後者の対策では遮光部材１１０２がカメラ９の視野の内側に入り込み、撮影の視野が狭まるといった問題が生じる。このような従来技術に対し、本発明ではこれらの問題を解決しながら鮮明な血管像を撮影することを可能とする。
【産業上の利用可能性】
【0098】
本発明は可搬型の生体認証装置に適用することができ、小型かつ高精度な認証を実現し、個人認証装置として有用である。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図17】
【図18A】
【図18B】
【図19A】
【図19B】
Copyright © 2010-2020 Science Impact Inc. All Rights Reserved.