IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立エルジーデータストレージの特許一覧

<>
  • 特開-生体判定装置及び生体判定方法 図1
  • 特開-生体判定装置及び生体判定方法 図2
  • 特開-生体判定装置及び生体判定方法 図3
  • 特開-生体判定装置及び生体判定方法 図4
  • 特開-生体判定装置及び生体判定方法 図5
  • 特開-生体判定装置及び生体判定方法 図6
  • 特開-生体判定装置及び生体判定方法 図7
  • 特開-生体判定装置及び生体判定方法 図8
  • 特開-生体判定装置及び生体判定方法 図9
  • 特開-生体判定装置及び生体判定方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024153324
(43)【公開日】2024-10-29
(54)【発明の名称】生体判定装置及び生体判定方法
(51)【国際特許分類】
   A61B 5/1171 20160101AFI20241022BHJP
   G06V 40/40 20220101ALI20241022BHJP
   A61B 5/16 20060101ALN20241022BHJP
【FI】
A61B5/1171 300
A61B5/1171 200
G06V40/40
A61B5/16 130
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023067141
(22)【出願日】2023-04-17
(71)【出願人】
【識別番号】501009849
【氏名又は名称】株式会社日立エルジーデータストレージ
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】中道 拓也
(72)【発明者】
【氏名】上野 高明
(72)【発明者】
【氏名】畑木 道生
(72)【発明者】
【氏名】春名 史雄
【テーマコード(参考)】
4C038
5B043
【Fターム(参考)】
4C038PP05
4C038PS07
4C038VA07
4C038VA15
4C038VB03
4C038VB04
4C038VC05
5B043AA10
5B043BA04
5B043CA03
5B043DA05
(57)【要約】
【課題】簡易な構成で目の画像から生体か否かを判定することができる生体判定装置及び生体判定方法を提供する。
【解決手段】生体判定装置は、認証を行う外部装置に生体判定機能を付加するための装置である。生体判定装置は、赤外光を発生する光源と、光源と異なる光軸で被写体を撮像するカメラと、前記光源と前記カメラとを制御するコントローラと、を備える。コントローラはカメラで撮像された画像から被写体の眼を検出し、被写体の眼の瞳孔に光が吸収されているか否かを判定し、被写体の眼の瞳孔に光が吸収されていると判定した場合に生体と判定する。
【選択図】図3
【特許請求の範囲】
【請求項1】
赤外光を発生する光源と、
前記光源と異なる光軸で被写体を撮像するカメラと、
前記光源と前記カメラとを制御するコントローラと、
を備える生体判定装置であって、
前記コントローラは、
前記カメラで撮像された画像から前記被写体の眼を検出し、
前記被写体の眼の瞳孔に光が吸収されているか否かを判定し、
前記被写体の眼の瞳孔に光が吸収されていると判定した場合に生体と判定する、
ように構成された、
生体判定装置。
【請求項2】
請求項1に記載の生体判定装置において、
前記コントローラは、
前記被写体の眼の角膜が光を反射しているか否かを判定し、
前記被写体の眼の瞳孔に光が吸収されていると判定し、且つ、前記被写体の眼の角膜が光を反射していると判定した場合に生体と判定する、
ように構成された、
生体判定装置。
【請求項3】
請求項1に記載の生体判定装置において、
前記コントローラは、
前記赤外光を第一の強さ及び前記第一の強さより弱い第二の強さの何れかで照射するように前記光源を制御可能に構成され、
前記コントローラは、
前記光源が前記第一の強さで前記赤外光を照射している状態で、前記カメラで撮像した第一の画像と、前記光源が前記第一の強さより弱い前記第二の強さで前記赤外光を照射している状態で、前記カメラで撮像した第二の画像とから、
前記第一の画像の前記被写体の眼の瞳孔が光を吸収しているか否かを判定し、
前記第一の画像の前記被写体の眼の角膜が光を反射しているか否かを判定し、
前記第二の画像の前記被写体の眼の瞳孔が光を吸収しているか否かを判定し、
前記第二の画像の前記被写体の眼の角膜が光を反射しているか否かを判定し、
前記第一の画像の前記被写体の眼の瞳孔が光を吸収していると判定し、且つ、前記第一の画像の前記被写体の眼の角膜が光を反射していると判定し、且つ、前記第二の画像の前記被写体の眼の瞳孔が光を吸収していないと判定し、且つ、前記第二の画像の前記被写体の眼の角膜が光を反射していないと判定した場合に生体と判定する、
ように構成された、
生体判定装置。
【請求項4】
請求項1に記載の生体判定装置において、
前記コントローラは、
前記赤外光を所定の強さで照射する第1状態及び前記赤外光を照射しない第2状態の何れかになるように前記光源を制御可能に構成され、
前記コントローラは、
前記光源が前記第1状態のときに前記カメラで撮像した第一の画像と、前記光源が前記第2状態のときに前記カメラで撮像した第二の画像とから、
前記第一の画像の前記被写体の眼の瞳孔が光を吸収しているか否かを判定し、
前記第一の画像の前記被写体の眼の角膜が光を反射しているか否かを判定し、
前記第二の画像の前記被写体の眼の瞳孔が光を吸収しているか否かを判定し、
前記第二の画像の前記被写体の眼の角膜が光を反射しているか否かを判定し、
前記第一の画像の前記被写体の眼の瞳孔が光を吸収していると判定し、且つ、前記第一の画像の前記被写体の眼の角膜が光を反射していると判定し、且つ、前記第二の画像の前記被写体の眼の瞳孔が光を吸収していないと判定し、且つ、前記第二の画像の前記被写体の眼の角膜が光を反射していないと判定した場合に生体と判定する、
ように構成された、
生体判定装置。
【請求項5】
請求項1に記載の生体判定装置において、
前記コントローラは、
前記カメラで異なる時間に撮像された複数の画像を使用して生体判定を行う、
ように構成された、
生体判定装置。
【請求項6】
請求項1に記載の生体判定装置において、
ディスプレイ及びスピーカの少なくとも一つを含む周辺機器を備え、
前記コントローラは、
前記カメラで撮像された画像から前記被写体の顔の大きさを検知し、
前記顔の大きさが一定以下である場合に前記周辺機器によって前記被写体に前記カメラに近づくように指示する、
ように構成された、
生体判定装置。
【請求項7】
請求項1に記載の生体判定装置において、
ディスプレイ及びスピーカの少なくとも一つを含む周辺機器を備え、
前記コントローラは、
前記カメラで撮像された画像から前記被写体の顔の向きを検知し、
前記顔の向きが前記カメラの光軸を基準として一定以上である場合に前記周辺機器によって前記被写体に前記カメラの正面を向くように指示する、
ように構成された、
生体判定装置。
【請求項8】
請求項1に記載の生体判定装置において、
前記コントローラは、
前記被写体の眼の瞳孔に光が吸収されていることを示す暗い画素が存在するかどうかによって瞳孔に光が吸収されているか否かを判定する、
ように構成された、
生体判定装置。
【請求項9】
請求項1に記載の生体判定装置において、
前記コントローラは、
前記被写体の眼のヒストグラムの形状によって瞳孔に光が吸収されているか否かを判定する、
ように構成された、
生体判定装置。
【請求項10】
請求項2に記載の生体判定装置において、
前記コントローラは、
前記被写体の眼の角膜が光を反射していることを示す明るい画素が存在するかどうかによって角膜が光を反射しているか否かを判定する、
ように構成された、
生体判定装置。
【請求項11】
請求項2に記載の生体判定装置において、
前記コントローラは、
前記被写体の眼のヒストグラムの形状によって角膜が光を反射しているか否かを判定する、
ように構成された、
生体判定装置。
【請求項12】
赤外光を発生する光源と、
前記光源と異なる光軸で被写体を撮像するカメラと、
前記光源と前記カメラとを制御するコントローラと、
を用いた生体判定方法であって、
前記コントローラによって、
前記カメラで撮像された画像から被写体の眼を検出し、
前記被写体の眼の瞳孔に光が吸収されているか否かを判定し、
前記被写体の眼の瞳孔に光が吸収されていると判定した場合に生体と判定する、
生体判定方法。
【請求項13】
請求項12に記載の生体判定方法であって、
前記コントローラによって、
前記被写体の眼の角膜が光を反射しているか否かを判定し、
前記被写体の眼の瞳孔に光が吸収されていると判定し、且つ、前記被写体の眼の角膜が光を反射していると判定した場合に生体と判定する、
生体判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は生体判定装置及び生体判定方法に関する。
【背景技術】
【0002】
顔認証装置においては、なりすましを防止するためにカメラに写っている被写体が生体であるかどうかを判定ことによってセキュリティを向上することができる。また、顔にマスクを装着している場合、顔の皮膚表面の特徴を使用して生体を判定することが難しくなる。
【0003】
そこで、眼球の特徴を利用して生体を判定する方法がある。たとえば、特許文献1に記載の方法ではカメラの光軸と同軸で照明して撮影した画像を用いて、網膜反射を検知して生体と判定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005-040591号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術は、網膜反射を利用して生体を判定することができる。ただしカメラと光源の光軸を同一にするため、光を折り返すための複数のミラーやレンズを配置する機構が必要となり、厚みや重量が増加する。スマートフォンや設置型の認証装置に搭載される生体判定装置においては、薄型で軽量であることが求められるため、特許文献1と異なる機構を用いた生体判定方法が望まれる。即ち、特許文献1に記載の技術に比べて、より簡易な構成で生体か否かを判定することができる生体判定装置及び生体判定方法が求められている。
【0006】
本発明は上記課題を解決するためになされた。即ち、本発明の目的の一つは、簡易な構成で目の画像から生体か否かを判定することができる生体判定装置及び生体判定方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の生体判定装置は、赤外光を発生する光源と、前記光源と異なる光軸で被写体を撮像するカメラと、前記光源と前記カメラとを制御するコントローラと、を備える生体判定装置であって、前記コントローラは、前記カメラで撮像された画像から前記被写体の眼を検出し、前記被写体の眼の瞳孔に光が吸収されているか否かを判定し、前記被写体の眼の瞳孔に光が吸収されていると判定した場合に生体と判定するように構成されている。
【0008】
本発明の生体判定方法は、赤外光を発生する光源と、前記光源と異なる光軸で被写体を撮像するカメラと、前記光源と前記カメラとを制御するコントローラと、を用いた生体判定方法であって、前記コントローラによって、前記カメラで撮像された画像から被写体の眼を検出し、前記被写体の眼の瞳孔に光が吸収されているか否かを判定し、前記被写体の眼の瞳孔に光が吸収されていると判定した場合に生体と判定する。
【発明の効果】
【0009】
本発明によれば、簡易な構成で目の画像から生体か否かを判定することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【0010】
図1図1は第1実施形態に係る生体判定装置のハードウェア構成の一例を説明する図である。
図2図2は第1実施形態に係る生体判定装置と被写体の位置関係を示す図である。
図3図3は第1実施形態に係る生体判定装置とその周辺機器および外部機器の構成を示す機能ブロック図である。
図4図4は実物の目の赤外線画像および虹彩領域の内接矩形内の画素のヒストグラムの例を示す図である。
図5図5は印刷物の目の赤外線画像および虹彩領域の内接矩形内の画素のヒストグラムの例を示す図である。
図6図6は第2実施形態に係る生体判定装置とその周辺機器および外部機器の構成を示す機能ブロック図である。
図7図7は実物の目の赤外線画像および虹彩領域の内接矩形内の画素のヒストグラムの例を示す図である。
図8図8は第3実施形態に係る生体判定装置とその周辺機器および外部機器の構成を示す機能ブロック図である。
図9図9は第4実施形態に係る生体判定装置とその周辺機器および外部機器の構成を示す機能ブロック図である。
図10図10は第4実施形態に係る生体判定装置の生体判定部の動作を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の各実施形態について、図面を参照して詳細に説明する。各実施形態に係る生体判定装置は、被写体が生体か否かを判定する目的でも撮像の同意が得られた施設(例えば店舗やオフィスなど)に設置されることを想定している。
【0012】
また、かかる生体判定装置は、上述した顔認証装置に接続され、かかる顔認証装置に生体判定機能を付加することにより、人物のなりすましを防止することができる。但し、技術的には上記に限定されるものではなく、顔認証装置以外の任意の装置、特に、生体か否かを判定する必要がある装置(例えば、居眠り監視システム)に接続することができる。あるいは、生体判定装置単体で使用してもよい。
【0013】
<<第1実施形態>>
まず、図1図3を参照して、本発明の第1実施形態に係る生体判定装置の構成を説明する。第1実施形態に係る生体判定装置は、概して、被写体の顔を光源で照明し、カメラで撮影(撮像)した顔画像のうち目の領域の画素値から瞳孔で光が吸収されているか否かを判定して生体判定を行う構成を備える。
【0014】
図1は本発明の第1実施形態に係る生体判定装置1のハードウェア構成図である。生体判定装置1は、本装置全体の制御を司る制御部としてのコントローラ11を備える。かかるコントローラ11のハードウェアとしては、CPU(Central Processing Unit)111H、ROM(Read Only Memory)112H、RAM(Random Access Memory)113H、カメラ制御部114H、光源制御部115Hおよび出力部116H等を備えている。これら各ブロックの具体例等については後述する。
【0015】
また、図1に示すように、生体判定装置1は、上述したコントローラ11内のカメラ制御部114Hに接続され、被写体を撮像して当該被写体の画像情報を取得可能なカメラ12と、光源制御部115Hに接続され被写体を照明する光源と、を備える。
【0016】
上記のカメラ12および光源13は、赤外線を撮像および照明できるものが好ましい。赤外線とすることで、被写体が不快にならないようにすることができ、ユーザビリティを向上することができる。また。例えば、虹彩が可視光領域で黒の場合の被写体でも、高精度に生体を判定することができる。光源13には、例えば、赤外線LED(light-emitting diode)などを用いることができる。
【0017】
非制限的な一具体例では、カメラ12は、図示しないレンズや絞りなどの光学素子および撮像素子を通じて撮像したアナログの画像信号をA/D変換してデジタルデータ化し、かかるデジタルの画像データをカメラ制御部114Hに出力する。
【0018】
CPU111Hは、ROM112HまたはRAM113Hに格納されている種々のプログラムを読み出して実行する。具体的には、CPU111Hがプログラムを実行することにより、生体判定装置1の各部の機能が実現される。
【0019】
ROM112Hは、CPU111Hが実行するプログラムおよび実行に必要な各種パラメータを格納するための記憶媒体である。
【0020】
RAM113Hは、CPU111Hが一時的に使用する各種情報を格納するための作業領域としての役割を担う記憶媒体である。また、RAM113Hは、CPU111Hが使用するデータの一時保管領域としても機能する。
【0021】
なお、生体判定装置1は、CPU111HとROM112HとRAM113Hとをそれぞれ複数備えた構成であってもよい。
【0022】
カメラ制御部114Hは、図示しない入出力インターフェース等を備え、カメラ12から、フレーム毎に、2次元情報を含む画像のデータを入力(取得)し、かかるデータをCPU111H等に供給する。
【0023】
光源制御部115Hは、図示しない入出力インターフェース等を備え、光源13を制御する。このとき、光源が複数ある場合は、光源制御部115Hは、それぞれの光源を独立して制御してもよい。光源制御部115Hと光源13との間は、USB(Universal Serial Bus)、I2C(Inter-Integrated Circuit)、SPI(Serial Peripheral Interface)、UART(Universal Asynchronous Receiver Transmitter)などのプロトコルでデータを送受信することができる。
【0024】
出力部116Hは、CPU111Hによって処理された結果を周辺装置(例えばディスプレイやスピーカ)や外部装置(例えば顔認証装置)等に出力する。CPU111Hによって処理された結果は、ROM112HまたはRAM113Hに保存されることができる。
【0025】
なお、生体判定装置1のハードウェア構成は、図1に示す構成に限定されない。例えばCPU111H、ROM112H、RAM113Hを生体判定装置1とは別体として設けるようにしてもよい。その場合、生体判定装置1は汎用のコンピュータ(例えばサーバコンピュータやパーソナルコンピュータ、スマートフォン等)を用いて実現するようにしてもよい。
【0026】
また、複数のコンピュータをネットワークで接続して、生体判定装置1の各部の機能を各コンピュータが分担することもできる。一方で、生体判定装置1の機能の1つ以上を、専用のハードウェアを用いて実現することもできる。
【0027】
図2は生体判定装置1と被写体の位置関係を示す図である。カメラ12と光源13は幅Wだけ離れて設置されており、カメラ12は被写体を距離Dの位置から撮影を行う。生体判定装置1は、人の顔の高さに設置されており、例えば、スタンドや壁等に設置される。カメラ12の光軸ax1及び光源13の光軸ax2は異なっている。図2ではカメラ12と光源13が生体判定装置1の内部に設置されている図を示しているが、これらはインターフェース等を介して、生体判定装置1の外部に設置されていてもよい。また、図2では1つの光源しか図示していないが、光源13は複数の光源から構成することもできる。
【0028】
図3は生体判定装置1とその周辺の機能構成を示すブロック図である。生体判定装置1は、周辺機器2や外部機器3に接続されている。
【0029】
生体判定装置1は、図1で上述したカメラ12および光源13と、図1のコントローラ11(CPU111Hなど)の機能としての、撮影制御部101、目検出部102、瞳孔吸収判定部103、生体判定部104、通信部105、および外部インターフェース106を備える。
【0030】
撮影制御部101は、カメラ12の撮影のタイミングと、光源13の照明のタイミングを制御する。撮影制御部101は、例えば後述する外部インターフェース106を介して周辺機器2から撮影タイミングの入力を受けて撮影を開始する。撮影制御部101は、まず光源13を照明し、照明している間カメラで撮影する。撮影は、連続的に複数フレームにわたって撮影してもよいし、1フレームだけ撮影してもよい。本例では、例えば30フレーム/秒で連続的に撮影する例を説明する。1フレームだけ撮影する場合は、光源13の照明も1フレームの間だけでよい。
【0031】
撮影制御部101が周辺機器2から受け取る撮影タイミングは、例えば、タッチパネルを搭載するディスプレイ21上に配置したタッチボタンや、リモコン23のボタンなど、ユーザの所望の操作によって入力される。また、別の例として、マイク24で音を検知したタイミングや、人感センサ25で人間の存在を検知したタイミングなど、装置が自動的に撮影を開始することも可能である。
【0032】
また、人感センサの代わりに、カメラ12で常に撮影を行い、カメラ12で撮影した画像内に人間を検知したらカメラ12が画像を出力することも可能である。カメラ12で撮影した画像内から人間を検知する処理は、カメラ12で行ってもよいし撮影制御部101で行ってもよい。カメラ12で撮影した画像内から人間を検知する方法として、深層学習を用いることができる。深層学習を用いる場合、事前に複数の人の例えば顔画像をディープニューラルネットワークに学習させることで実現することができる。また、その他にも、固定された環境で生体判定装置1を使用する場合、前のフレームと現在のフレームの画像の差分を用いて人を検知することもできる。例えば、前のフレームと現在のフレームの各画素を減算し、減算結果が一定値以上の画素が一定数以上ある場合に人が画像に現れたとして判定することができる。
【0033】
カメラ12は、撮影制御部101から受信する撮影タイミングにしたがって被写体を撮影し、撮影した画像を目検出部102に出力する。このとき、撮影したすべての画像を目検出部102に出力してもよいし、上述のように画像内に人間を検知している場合にのみ目検出部102に出力してもよい。
【0034】
目検出部102は、カメラ12から入力した画像内から被写体の目を検出する。目の検出には、例えば、深層学習を用いることができる。深層学習を用いる場合、事前に複数の人の目をディープニューラルネットワークに学習させることで実現することができる。また、パターンマッチングを用いることもできる。その他の方法として、被写体の目の位置および方向とカメラ12の位置および方向が固定されている場合には、上述のような目の検出処理をすることなく、カメラ12で撮影した画像内の特定の位置を目として検出することもできる。
【0035】
また、目検出部102は、カメラ12から入力した画像内から検出した目の領域を切り出した画像を瞳孔吸収判定部103に出力する。このとき、左右の目を両方とも検出して両方の目の領域を切り出した画像を出力してもよいし、左右どちらかの目のみを検出して片方の目の領域を切り出した画像を出力してもよい。
【0036】
目検出部102は、少なくとも虹彩と瞳孔を含むように切り出す。切り出しは、図4に示すような虹彩領域の外接矩形や内接矩形でもよいし、虹彩領域に合わせた円形でもよい。外接矩形や内接矩形を切り出す場合は、例えば、検出した目の位置を中心として目と目の間隔の一定の割合を領域の幅および高さとして切り出すことができる。円形を切り出す場合は、検出した目の位置を中心として目と目の間隔の一定の割合を半径として切り出すことができる。
【0037】
また、別の方法としてラプラシアンフィルタなどのエッジフィルタを使用して虹彩領域の外形を取得し、外形の内接矩形や外接矩形、または外形の内部を切り出してもよい。
瞳孔吸収判定部103は、瞳孔に光が吸収されているか否かを判定し、判定結果を出力する。瞳孔吸収判定部103は、目検出部102が出力した目の画像を入力とし、該目の画像に光が吸収されているか否かを判定する。
【0038】
瞳孔に光が吸収されているかどうかの判定方法として、画像に暗い画素(瞳孔に光が吸収されていることを示す暗い画素)があるかどうかによって判定することができる。図4は、実物の人間の目付近の赤外線画像の例と虹彩領域の内接矩形のヒストグラムである。また、図5は、印刷物の人間の目付近の赤外線画像の例と虹彩領域の内接矩形のヒストグラムである。実物の目の赤外線画像の場合、瞳孔部分が赤外線を吸収することによって暗くなるため、ヒストグラムの暗い画素値に画素があるが、印刷物の場合は暗い画素が存在しない。印刷物の場合,黒い部分でも光源の光を反射し一定量の光がカメラ側に戻ってくるためである。この方法の場合、瞳孔吸収判定部103は、目の領域の画素を走査し、一定値以下の画素が一定個以上存在する場合に瞳孔に光が吸収されていると判定することができる。
【0039】
瞳孔に光が吸収されているかどうかの別の判定方法としてヒストグラムの形状から判定する方法もある。具体的には、例えば、まずヒストグラムの移動平均を計算し、得られた移動平均を微分して極大値を求める。求められた極大値の個数および極大値の位置から瞳孔に光が吸収されていると判定することができる。例えば、画素値50以下に極大値が1個以上かつ画素値100~200の間に極大値が1個以上、などの条件で判定することができる。
【0040】
他の方法としては、グラフの勾配や尖度、歪度、半値幅などを求め、決定木などの予測モデルを使用して瞳孔に光が吸収されていると判定することもできる。このとき、勾配などはグラフの横軸を区切って複数算出してもよい。さらに他の方法として、深層学習を用いることができる。深層学習を用いる場合、事前に実物の人間の虹彩領域の内接矩形をディープニューラルネットワークに学習させることで実現することができる。
【0041】
瞳孔吸収判定部103は、目検出部102が検出した目が両目の場合は、それぞれ独立して瞳孔に光が吸収されているかどうかを判定し、それぞれ独立して判定結果を出力する。
【0042】
生体判定部104は、瞳孔吸収判定部103が出力した判定結果をもとに被写体が生体か否かを判定し、判定結果を出力する。
【0043】
生体判定部104は、瞳孔吸収判定部103が瞳孔に光が吸収されていると判定した場合は、生体であると判定する。
【0044】
生体判定部104は、目検出部102が両方の目の領域を切り出した画像を出力する場合、瞳孔吸収判定部103が出力する両方の目の判定結果をもとに生体か否かを判定する。このとき、瞳孔吸収判定部103が両方の目の瞳孔が光を吸収している場合に生体であると判定してもよい、どちらか片方の目の瞳孔のみが光を吸収している場合に生体であると判定してもよい。どちらか片方の目の瞳孔のみが光を吸収している場合に生体であると判定する場合、例えば、片目を閉じている(ウィンク)をしている場合や、片目の画像にノイズが混入した場合などでも生体であると判定することができる。
【0045】
生体判定部104が複数のフレームを使用して生体か否かを判定することもできる。複数のフレームを使用して判定する場合、複数のフレームのうち、一定のフレーム数以上で、瞳孔吸収判定部103が、瞳孔が光を吸収していると判定した場合に生体であると判定することができる。これによって、例えば、被写体がまばたきをしている場合や、あるフレームの画像にノイズが混入した場合などでも生体であると判定することができる。
【0046】
通信部105は、外部機器3との通信を行う(図3を参照)。通信部105は、生体判定部104の判定結果を外部機器3に送信する。
【0047】
図3に示す例では、通信部105は、外部機器3の外部通信部31と無線通信を行う構成としている。ここで、通信部105の通信手段(方式)としては、例えばWiFiやBluetooth(登録商標)などのワイヤレス通信を用いることができる。他の例として、通信部105は、有線で外部機器3と通信してもよい。かくして、生体判定装置1は、被写体が生体であるか否かの判定結果を、通信部105を介してサーバー等の外部機器3に送信し、外部機器3に顔認証などを行わせることができる。
【0048】
外部通信部31は、通信部105から受信したデータを外部機器3に送信する。外部通信部31が受信するデータは、例えば生体判定部104の判定結果などである。また、外部機器3が備える機能を生体判定装置1内に設ける構成としてもかまわない。
【0049】
外部機器3は、望ましくは、被写体の生体判定結果を必要とする認証装置である。なお、かかる認証装置の構成は公知であるため、その詳述を割愛する。また、外部機器3は、被写体の生体判定結果を必要とするものであれば、認証装置以外の種々の装置とされ得る。
【0050】
通信部105は、カメラ12で撮影した画像を外部機器3に送信することもできる。これによって、外部機器3が画像認証装置である場合に、被写体の画像を別途撮影することなく認証を行うことができる。
【0051】
外部インターフェース106は、この例では有線ケーブルを介して周辺機器2との間で電気信号の送受信を行う。
【0052】
図3に示すように、周辺機器2は、ディスプレイ21、スピーカ22、リモコン23、マイク24、および人感センサ25を含み、各々のブロック(機器)が有線ケーブルを介して外部インターフェース106と接続されている。
【0053】
外部インターフェース106は、生体判定部104の判定結果を周辺機器2に送信することもできる。例えば、生体判定部104の判定結果をディスプレイ21に表示することができる。他の例では、生体判定部104の判定結果をもとにスピーカ22で警告音を鳴らすことができる。
【0054】
第1実施形態によれば、被写体の赤外線画像を使用して目の画像から生体か否かを判定することできる。また、第1実施形態に係る生体判定装置1は、カメラと光源の光軸を同一にするための特殊な機構を必要しない。即ち、第1実施形態に係る生体判定装置1は、簡易な構成で目の画像から生体か否かを判定することできる。これによって、薄型で軽量な装置で生体判定を実施することができ、外部機器3としての認証装置のセキュリティを向上することができる。
【0055】
<<第2実施形態>>
本発明の第2実施形態に係る生体判定装置1Aについて説明する。第2実施形態では、第1実施形態に係る生体判定装置1の構成をベースとしつつ、角膜反射判定部を追加的に設けた構成例について説明する。なお、第1実施形態と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。
【0056】
第2実施形態に係る生体判定装置1Aでは、ある程度強い光を眼球に照射した場合に角膜が光を反射することを利用する。この反射像は一般に、第1プルキンエ像として知られる。
【0057】
図6は、角膜反射判定部107を備えた第2実施形態に係る生体判定装置1Aの機能構成図である。図6に示すように、生体判定装置1Aにおいて、角膜反射判定部107は、目検出部102の後段かつ生体判定部104の前段に接続されている。このため、第2実施形態では、目検出部102および生体判定部104の機能が第1実施形態の場合と幾分相違することから、以下は類似符号を用いて目検出部102Aおよび生体判定部104Aと称する。
【0058】
第2実施形態の目検出部102Aは、基本的な機能は第1実施形態の目検出部102と同じであり、カメラ12から入力した画像内から検出した目の領域を切り出す。
【0059】
一方で、目検出部102Aは、切り出した目の領域を瞳孔吸収判定部103に加えて角膜反射判定部107に出力する。
【0060】
角膜反射判定部107は、角膜が光を反射しているか否かを判定し、判定結果を出力する。角膜反射判定部107は、目検出部102Aが出力した目の画像を入力とし、該目の画像に光が反射しているか否かを判定する。
【0061】
角膜が光を反射しているかどうかの判定方法として、画像に明るい画素(角膜が光を反射していることを示す明るい画素)があるかどうかによって判定することができる。図7は、実物の人間の目付近の赤外線画像の例と虹彩領域の内接矩形のヒストグラムである。実物の目の赤外線画像の場合、角膜が赤外線を反射することによって一部分が明るくなるため、ヒストグラムの明るい画素値に画素があるが、印刷物の場合は明るい画素が存在しない。この方法の場合、角膜反射判定部107は、目の領域の画素を走査し、一定値以上の画素が一定個以上存在する場合に角膜が光を反射していると判定することができる。
【0062】
角膜が光を反射しているかどうかの別の判定方法としてヒストグラムの形状から判定する方法もある。具体的には、例えば、まずヒストグラムの移動平均を計算し、得られた移動平均を微分して極大値を求める。求められた極大値の個数および極大値の位置から角膜が光を反射していると判定することができる。例えば、画素値100~200の間に極大値が1個以上かつ画素値230以上に極大値が1個以上、などの条件で判定することができる。
【0063】
他の方法としては、グラフの勾配や尖度、歪度、半値幅などを求め、決定木などの予測モデルを使用して瞳孔に光が吸収されていると判定することもできる。このとき、勾配などはグラフの横軸を区切って複数算出してもよい。さらに他の方法として、深層学習を用いることができる。深層学習を用いる場合、事前に実物の人間の虹彩領域の内接矩形をディープニューラルネットワークに学習させることで実現することができる。
【0064】
角膜反射判定部107は、目検出部102Aが検出した目が両目の場合は、それぞれ独立して角膜が光を反射しているかどうかを判定し、それぞれ独立して判定結果を出力する。
【0065】
生体判定部104Aは、瞳孔吸収判定部103および角膜反射判定部107が出力した判定結果をもとに被写体が生体か否かを判定し、判定結果を出力する。瞳孔吸収判定部103および角膜反射判定部107が両目の判定結果を独立して出力する場合は、まず、生体判定部104Aは瞳孔吸収判定部103および角膜反射判定部107が出力する同一の目に対して片目ずつ生体判定を行い、その後左右の目の生体判定結果に応じて生体判定結果を出力する。このとき、左右の目の両方を生体と判定した場合のみに生体であると判定してもよいし、左右の目のどちらかのみを生体と判定した場合に生体であると判定してもよい。
【0066】
瞳孔吸収判定部103および角膜反射判定部107が出力する同一の片方の目に対して生体判定を行うとき、瞳孔吸収判定部103が瞳孔に光が吸収されていると判定したときと角膜反射判定部107が、角膜が光を反射していると判定したときの両方を満たすときに生体であると判定してもよいし、どちらか片方が満たされる場合に生体であると判定してもよい。
【0067】
また、第2実施形態によれば、第1実施形態と同じく、生体判定部104が複数のフレームを使用して生体か否かを判定することもできる。
【0068】
第2実施形態に係る生体判定装置1Aによれば、上述した第1実施形態の構成に基づく効果に加えて、角膜反射を判定することにより、より高精度に生体判定を行うことができる。
【0069】
<<第3実施形態>>
本発明の第3実施形態に係る生体判定装置1Bについて説明する。第3実施形態では、第2実施形態に係る生体判定装置1Aの構成をベースとしつつ、顔判定部108を追加的に設けた構成例について説明する。なお、第2実施形態と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。
【0070】
図8は、顔判定部108を備えた第3実施形態に係る生体判定装置1Bの機能構成図である。図8に示すように、生体判定装置1Bにおいて、顔判定部108は、カメラ12の後段かつ目検出部102Aおよび外部インターフェースの前段に接続されている。このため、第3実施形態では、カメラ12、目検出部102A、外部インターフェース106、周辺機器2、ディスプレイ21、スピーカ22の機能が第2実施形態の場合と幾分相違することから、以下は類似符号を用いてカメラ12B、目検出部102B、外部インターフェース106B、周辺機器2B、ディスプレイ21Bおよびスピーカ22Bと称する。
【0071】
第3実施形態のカメラ12Bは、基本的な機能は第1実施形態および第2実施形態のカメラ12と同じであり、撮影制御部101から受信する撮影タイミングにしたがって被写体を撮影する。
【0072】
一方で、カメラ12Bは、撮影した画像を目検出部102Bに代えて顔判定部108に出力する。
【0073】
顔判定部108は、カメラ12が撮影した画像に含まれる被写体の顔の大きさおよび顔の向きを算出する。算出した被写体の顔の大きさが一定以上かつ、被写体の顔の向きがカメラの光軸を基準として一定以下(例えば、例えば、顔の向きとカメラの光軸とのなす角が、所定の閾値角度以下)であれば、カメラ12が撮影した画像を目検出部102Bに出力する。被写体の顔の大きさを制限することは、カメラ12Bと被写体の距離を制限することになり、距離が遠い場合にカメラ12が撮影した画像を目検出部102Bに出力しなくなる。被写体とカメラ12Bの距離が遠い場合は、角膜での光の反射や瞳孔での吸収をカメラ12Bが撮影した画像から観察しにくくなる。被写体とカメラ12Bの距離を制限することによって、生体判定精度の低下を防ぐことができる。また、顔の向きが一定以上大きい場合にも、角膜での光の反射や瞳孔での吸収をカメラ12Bが撮影した画像から観察しにくくなる。被写体の顔の向きを制限することによって、生体判定精度の低下を防ぐことができる。
【0074】
顔判定部108は、算出した被写体の顔の大きさが一定以下の場合、外部インターフェース106Bに顔が小さいことを含む情報を出力する。
【0075】
外部インターフェース106Bは周辺機器2Bに接続され、顔判定部108から受け取った顔が小さいことを含む情報を周辺機器2Bに含まれるディスプレイ21Bとスピーカ22Bの両方もしくはどちらかに出力する。
【0076】
ディスプレイ21Bは、顔が小さいことを含む情報を受け取った場合、カメラ12Bに近づくように被写体に指示する。例えば、ディスプレイ21Bが持つ画面上に「近づいてください」というような文章を表示したり、近づくように指示するイラストを表示したりすることができる。
【0077】
スピーカ22Bは、顔が小さいことを含む情報を受け取った場合、カメラ12Bに近づくように被写体に指示する。例えば、「カメラに近づいてください」というような音声を発することができる。
【0078】
顔判定部108は、算出した被写体の顔の向きがカメラの光軸を基準として一定以上の場合、外部インターフェース106Bに顔の向きが大きいことを含む情報を出力する。
【0079】
外部インターフェース106Bは周辺機器2Bに接続され、顔判定部108から受け取った顔の向きが大きいことを含む情報を周辺機器2Bに含まれるディスプレイ21Bとスピーカ22Bの両方もしくはどちらかに出力する。
【0080】
ディスプレイ21Bは、顔の向きが大きいことを含む情報を受け取った場合、カメラ12Bの正面を向くように被写体に指示する。例えば、ディスプレイ21Bが持つ画面上に「正面を向いてください」というような文章を表示したり、正面を向くように指示するイラストを表示したりすることができる。
【0081】
スピーカ22Bは、顔の向きが大きいことを含む情報を受け取った場合、カメラ12Bの正面を向くように被写体に指示する。例えば、「カメラに顔を向けてください」というような音声を発することができる。
【0082】
顔判定部108は、カメラ12が撮影した画像に含まれる被写体の顔の大きさのみを算出してもよい。この場合、算出した被写体の顔の大きさが一定以上の場合にカメラ12Bが撮影した画像を目検出部102Bに出力する。
【0083】
また、顔判定部108は、カメラ12が撮影した画像に含まれる被写体の顔の向きのみを算出してもよい。この場合、被写体の顔の向きがカメラの光軸を基準として一定以下の場合にカメラ12Bが撮影した画像を目検出部102Bに出力する。
【0084】
第3実施形態によれば、被写体の顔の大きさや顔の向きを制限することによって、生体判定精度の低下を防ぐことができる。また、顔認証装置が生体判定装置1Bに接続される場合、被写体の顔の大きさや顔の向きを制限することによって、顔認証精度の低下を防ぐことも期待できる。
【0085】
<<第4実施形態>>
第4実施形態では、第2実施形態に係る生体判定装置1Aの構成をベースとしつつ、光源の照射強度を変更した2フレームの画像を使用して生体判定を行う例について説明する。なお、第2実施形態と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。
【0086】
図9は、第4実施形態に係る生体判定装置1Cの機能構成図である。第4実施形態では、光源13、撮影制御部101および生体判定部104の機能が第2実施形態の場合と幾分相違することから、以下は類似符号を用いて光源13C、撮影制御部101Cおよび生体判定部104Cと称する。
【0087】
撮影制御部101Cは、第2実施形態の撮影制御部101の機能に加え、光源13Cの照明の強さを制御する。撮影制御部101Cは、光源13Cが強く光(例えば、赤外光)を照射するフレームと弱く光(例えば、赤外光)を照射するフレームを交互に撮影するように制御する。例えば、撮影制御部101Cは、光源13Cが光(例えば、赤外光)を第一の強さで照射するフレームと光(例えば、赤外光)を第一の強さより弱い第二の強さで照射するフレームを交互に撮影するように制御する。
【0088】
光源13Cが光を強く照射するフレームでは、実物の目の場合に瞳孔吸収判定部103が、所定の判定方法及び所定の判定基準によって、瞳孔で光が吸収されていると判定する強さかつ、実物の目の場合に角膜反射判定部107が、角膜が光を反射していると判定する強さになるように光源13Cを制御する(光源13Cの照明の強さ(光源13Cが発生する光の強さ)を制御する。)。光源13Cが光を弱く照射するフレームでは、所定の判定方法及び所定の判定基準によって、実物の目の場合でも瞳孔吸収判定部103が瞳孔で光が吸収されていると判定しない強さかつ、実物の目の場合でも角膜反射判定部107が、角膜が光を反射していると判定しない強さになるように光源13Cを制御する(光源13Cの照明の強さ(光源13Cが発生する光の強さ)を制御する。)。なお、所定の判定方法は、例えば、既述した判定方法の何れかであり、所定の判定基準は判定に適した基準である。
【0089】
光源13Cが光を弱く照射するフレームでは、所定の判定方法及び所定の判定基準によって、実物の目の場合に瞳孔吸収判定部103が瞳孔で光が吸収されていると判定する強さかつ、実物の目の場合でも角膜反射判定部107が、角膜が光を反射していると判定しない強さになるように光源13Cを制御してもよい。また、光源13Cが光を弱く照射するフレームでは、光源13Cを照射しないようにしてもよい。以下の例では、光源13Cが光を弱く照射するフレームでは、所定の判定方法及び所定の判定基準によって、実物の目の場合でも瞳孔吸収判定部103が瞳孔で光が吸収されていると判定しない強さかつ、実物の目の場合でも角膜反射判定部107が、角膜が光を反射していると判定しない強さになるように光源13Cを制御する例を説明する。
【0090】
撮影制御部101Cは、撮影したフレームの照射強度の情報を生体判定部104Cに出力する。
【0091】
光源13Cは、撮影制御部101Cによって、光の照射強度および照射タイミングを制御される。
【0092】
生体判定部104Cは、光源13Cを強く照射したフレームと光源13Cを弱く照射したフレームの2つに対する瞳孔吸収判定部103の判定結果と角膜反射判定部107の判定結果を使って生体判定を行う。図10は係る処理の一具体例を示すフローチャートである。以下、図10を参照して、生体判定部104Cの処理を説明する。
【0093】
生体判定部104Cは、撮影制御部101Cから得られた照射強度が強いフレームのときに処理を開始する。
【0094】
ステップ401において、生体判定部104Cは、撮影制御部101Cから得られた照射強度が強いフレームのときに処理を開始しているため、強く照射したフレームの瞳孔吸収判定部103の判定結果を受信する。
【0095】
生体判定部104Cは、強く照射したフレームにおいて、瞳孔吸収判定部103が瞳孔に光が吸収されていると判定した場合(ステップ402、YES)、ステップ403に移行する。一方、生体判定部104Cは、瞳孔吸収判定部103が瞳孔に光が吸収されていないと判定した場合(ステップ402、NO)、ステップ410に移行する。
【0096】
ステップ403において、生体判定部104Cは、強く照射したフレームの角膜反射判定部107の判定結果を受信する。
【0097】
生体判定部104Cは、強く照射したフレームにおいて、角膜反射判定部107が角膜が光を反射していると判定した場合(ステップ404、YES)、ステップ405に移行する。一方、生体判定部104Cは、角膜反射判定部107が角膜が光を反射していないと判定した場合(ステップ404、NO)、ステップ410に移行する。
【0098】
ステップ405において、生体判定部104Cは、弱く照射したフレームの瞳孔吸収判定部103の判定結果を受信する。撮影制御部101Cは、光源13Cに対して強く照射するフレームと弱く照射するフレームを交互に撮影するように制御しているため、ステップ405では弱く照射したフレームの瞳孔吸収判定部103の判定結果を受信することができる。
【0099】
生体判定部104Cは、弱く照射したフレームにおいて、瞳孔吸収判定部103が瞳孔に光が吸収されていると判定した場合(ステップ406、YES)、ステップ410に移行する。一方、生体判定部104Cは、瞳孔吸収判定部103が瞳孔に光が吸収されていないと判定した場合(ステップ406、NO)、ステップ407に移行する。
【0100】
ステップ407において、生体判定部104Cは、弱く照射したフレームの角膜反射判定部107の判定結果を受信する。
【0101】
生体判定部104Cは、弱く照射したフレームにおいて、角膜反射判定部107が角膜が光を反射していると判定した場合(ステップ408、YES)、ステップ410に移行する。一方、生体判定部104Cは、角膜反射判定部107が角膜が光を反射していないと判定した場合(ステップ408、NO)、ステップ409に移行する。
【0102】
ステップ409において、生体判定部104Cは、被写体を生体と判定する。
【0103】
ステップ410において、生体判定部104Cは、被写体を生体ではないと判定する。
【0104】
なお、強く照射するフレームに対する処理(S401からS404)と弱く照射するフレームに対する処理(S405からS408)は入れ替えてもよい。また、同一のフレームに対する処理であれば、瞳孔吸収判定部103の判定結果に対する処理(S401とS402、S405とS406)と角膜反射判定部107のそれぞれの判定結果に対する処理(S403とS404、S407とS408)は入れ替えてもよい。
【0105】
また、強く照射するフレームと弱く照射するフレームをペアとして、複数のペアを使用して生体判定を行ってもよい。
【0106】
第4実施形態によれば、光源13Cを強く照射するフレームと弱く照射するフレームを交互に切り替えて生体判定を行うことによってより高精度に生体判定を行うことができる。例えば、特殊な塗料を印刷物に塗布したり、印刷物の特定な箇所を加工したり(孔をあけたり)することにより、瞳孔吸収と角膜反射を再現した印刷物を用意できたとしても、弱く照射するフレームでも瞳孔吸収と角膜反射が発生していると判定されるので、そのような印刷物を生体ではないと判定することができる。
【0107】
<<変形例>>
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前述した各実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0108】
なお、本発明は以下の構成を採ることもできる。
【0109】
[1]
赤外光を発生する光源と、
前記光源と異なる光軸で被写体を撮像するカメラと、
前記光源と前記カメラとを制御するコントローラと、
を用いた生体判定方法であって、
前記コントローラによって、
前記カメラで撮像された画像から被写体の眼を検出し、
前記被写体の眼の瞳孔に光が吸収されているか否かを判定し、
前記被写体の眼の瞳孔に光が吸収されていると判定した場合に生体と判定する、
生体判定方法。
【0110】
[2]
[1]に記載の生体判定方法であって、
前記コントロ―ラによって、
前記被写体の眼の角膜が光を反射しているか否かを判定し、
前記被写体の眼の瞳孔に光が吸収されていると判定し、且つ、前記被写体の眼の角膜が光を反射していると判定した場合に生体と判定する、
生体判定方法。
【符号の説明】
【0111】
1,1A,1B,1C…生体判定装置、2,2B…周辺機器、3…外部機器、11…コントローラ、12…カメラ、13,13C…光源、111H…CPU、112H…ROM、113H…RAM、114H…カメラ制御部、115H…光源制御部、116H…出力部、101,101C…撮影制御部、102,102A,102B…目検出部、103…瞳孔吸収判定部、104,104A,104C…生体判定部、105…通信部、106,106B…外部インターフェース、107…角膜反射判定部、108…顔判定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10