(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024120252
(43)【公開日】2024-09-05
(54)【発明の名称】情報処理装置、および情報処理方法
(51)【国際特許分類】
G06V 40/12 20220101AFI20240829BHJP
G06T 7/00 20170101ALI20240829BHJP
【FI】
G06V40/12
G06T7/00 530
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023026921
(22)【出願日】2023-02-24
(71)【出願人】
【識別番号】524066085
【氏名又は名称】FCNT合同会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】鴫原 悠輝
【テーマコード(参考)】
5B043
【Fターム(参考)】
5B043BA02
5B043CA05
5B043DA05
(57)【要約】 (修正有)
【課題】指の表面の位置が画像センサの光学系の焦点距離の位置からずれたことを検知し、画像センサの光学系の焦点をより適正な位置に調整する情報処理装置および情報処理方法を提供する。
【解決手段】情報処理装置の制御部よる指紋検出処理は、光の強度分布において第1のピークを有する第1の光を被写体に照射することと、被写体から取得された画像の対象領域におけるコントラストを測定することと、測定されたコントラストが基準値を満たさない場合に第1のピークよりも長波長側にピークを有する第2の光を決定し、決定された第2の光を照射して被写体から画像を取得することと、を実行する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
光の強度分布において第1のピークを有する第1の光を被写体に照射することと、
前記被写体から取得された画像の対象領域における画質を測定することと、
測定された前記画質が基準値を満たさない場合に前記第1のピークよりも長波長側にピークを有する第2の光を決定し、決定された前記第2の光を照射して前記被写体から画像を取得することを実行する制御部を備える情報処理装置。
【請求項2】
前記制御部は、前記画質を基に前記第2の光を決定する請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、前記画質を基に、前記画像を取得する取得装置の焦点距離からの前記被写体の位置のズレ量を決定し、前記ズレ量を基に前記第2の光を決定する請求項1に記載の情報処理装置。
【請求項4】
前記制御部は、前記第2の光を照射したときに前記被写体から取得された画像の前記対象領域における画質が前記第1の光を照射したときに前記被写体から取得された画像の前記対象領域における画質よりも改善しない場合に、前記第1のピークよりも短波長側に第3のピークを有する第3の光を決定し、決定された第3の光を照射することを実行する請求項1に記載の情報処理装置。
【請求項5】
前記制御部は、前記第2の光を照射して前記被写体から取得された画像の画質が前記基準値を満たさない場合に、さらに長波長側にピークを有する光を前記被写体に照射して前記対象領域における画質を測定する請求項1に記載の情報処理装置。
【請求項6】
前記光は、前記強度分布において少なくとも4つのピークを有する光である請求項1に記載の情報処理装置。
【請求項7】
少なくとも4つの色に対応する画素の配列を含む表示装置を有する請求項1に記載の情報処理装置。
【請求項8】
コンピュータが、光の強度分布において第1のピークを有する第1の光を被写体に照射することと、
前記被写体から取得された画像の対象領域における画質を測定することと、
測定された前記画質が基準値を満たさない場合に前記第1のピークよりも長波長側にピークを有する第2の光を決定し、決定された前記第2の光を照射して前記被写体から画像を取得することを実行する情報処理方法。
【請求項9】
前記コンピュータは、前記画質を基に前記第2の光を決定する請求項8に記載の情報処理方法。
【請求項10】
前記コンピュータは、前記画質を基に、前記画像を取得する取得装置の焦点距離からの前記被写体の位置のズレ量を決定し、前記ズレ量を基に前記第2の光を決定する請求項8に記載の情報処理方法。
【請求項11】
前記コンピュータは、前記第2の光を照射したときに前記被写体から取得された画像の前記対象領域における画質が前記第1の光を照射したときに前記被写体から取得された画像の前記対象領域における画質よりも改善しない場合に、前記第1のピークよりも短波長側に第3のピークを有する第3の光を決定し、決定された第3の光を照射することを実行する請求項8に記載の情報処理方法。
【請求項12】
前記コンピュータは、前記第2の光を照射して前記被写体から取得された画像の画質が前記基準値を満たさない場合に、さらに長波長側にピークを有する光を前記被写体に照射して前記対象領域における画質を測定する請求項8に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、および情報処理方法に関するものである。
【背景技術】
【0002】
表示装置(例えばOrganic Light Emitting Diode(OLED))に画像センサが組み込まれた指紋検出装置および検出方法が提案され、様々な情報処理装置に利用されている。このような情報処理装置では、例えば、ユーザの指が表示装置の表面に接触したときに、表示装置からの光が指に照射され、指から反射する光が画像センサに入射し、指紋が取得される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平7-334649号公報
【特許文献2】特開2020-123068号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の情報処理装置では、表示装置を保護するために、表示装置の表面が保護材で被覆される場合がある。このような保護材の有無、および保護材の厚み等により、指紋が取得される指の表面と画像センサとの距離が変化し、画像センサの光学系の光軸上で指の表面の位置が焦点距離の位置からずれることが生じ得る。そして、情報処理装置は、表示装置の表面が保護材で被覆されているか否かを判定することは困難である。
【0005】
そこで、開示の実施形態の1つの側面は、指の表面の位置が画像センサの光学系の焦点距離の位置からずれたことを検知し、画像センサの光学系の焦点をより適正な位置に調整することである。
【課題を解決するための手段】
【0006】
開示の実施形態は、情報処理装置によって例示される。本情報処理装置は、制御部を備える。本制御部は、光の強度分布において第1のピークを有する第1の光を被写体に照射することと、前記被写体から取得された画像の対象領域におけるコントラストを測定することと、測定された前記コントラストが基準値を満たさない場合に前記第1のピークよりも長波長側にピークを有する第2の光を決定し、決定された前記第2の光を照射して前記被写体から画像を取得することを実行する。
【発明の効果】
【0007】
本情報処理装置は、指の表面の位置が画像センサの光学系の焦点距離の位置からずれたことを検知し、画像センサの光学系の焦点をより適正な位置に調整することができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、比較例に係る情報処理装置の指紋検出処理を例示する図である。
【
図2】
図2は、比較例に係る情報処理装置の指紋検出処理を例示する図である。
【
図3】
図3は、レンズの中心面から指の表面までの距離と、検出される指紋の画像の非鮮明度との関係を概念的に図示する図である。
【
図4】
図4は、第1の実施形態の情報処理装置の構成を例示する図である。
【
図5】
図5は、レンズにおける光の波長と焦点距離との関係を例示する図である。
【
図6】
図6は、OLEDの光の帯域を例示する図である。
【
図7】
図7は、情報処理装置における指紋検出処理例(その1)を例示するフローチャートである。
【
図8】
図8は、波長選択テーブルの構成を例示する図である。
【
図9】
図9は、情報処理装置における指紋検出処理例(その2)を例示するフローチャートである。
【
図10】
図10は、距離決定テーブルの構成を例示する図である。
【
図12】
図12は、第2の実施形態における指紋検出処理を例示するフローチャートである。
【
図13】
図13は、液晶ディスプレイまたはOLEDの発光層に、量子ドットシートを組み合わせた表示装置によって発光される光の波長を例示する図である。
【
図14】
図14は、第3の実施形態における指紋検出処理を例示するフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して、情報処理装置10および情報処理装置10による情報処理方法が例示される。ここでは、まず、比較例が説明され、次に、第1の実施形態から第3の実施形態に係る情報処理装置10が説明される。
【0010】
<比較例>
図1および
図2は、比較例に係る情報処理装置310の指紋検出処理を例示する図である。なお、
図1および
図2では、光学式指紋センサ3と関連箇所が例示され、情報処理装置310の情報処理を実行する処理部等は省略されている。
【0011】
図1、2において、指が接触する側(図に向かって上側)が、情報処理装置310の表面側である。
図1では、光学式指紋センサ3は、表面側のカバーガラス6、タッチスクリーンセンサ5およびOLED4の下側に設けられている。
【0012】
カバーガラス6は透明なガラス層を形成し、下側のタッチスクリーンセンサ5、OLED4等を保護する。タッチスクリーンセンサ5は、例えば、指の静電容量に基づき、カバーガラス6に接触または近接する指に対して、カバーガラス6の表面の座標系における指の位置を特定する。OLED4は、有機Electro-Luminescence(EL)ディスプレイとも呼ばれる。OLED4は、画素の配列を形成する有機ELによる発光ダイオードの素子配列を有する。画素は、例えば、赤、緑、青の3原色の発光体を有し、それぞれの光を発光する。これによって、OLED4は、ディスプレイとして機能するとともに、カバーガラス6を介して、指の表面に3原色の光を同時または個別に照射する機能を有する。
【0013】
光学式指紋センサ3は、指の表面からの反射光を集光し、指紋の画像を結像するレンズ31と、レンズ31によって結像された指紋の画像を検出するComplementary Metal Oxide Semiconductor(CMOS)センサ33を有する。なお、光学式指紋センサ3とOLE
D4の組み合わせは、指紋を検出するので、本実施形態以下の各実施形態では、検出機構18と呼ばれる。
【0014】
図1、
図2では、レンズ31とCMOSセンサ33は、ホルダ32に収納されている。なお、CMOSセンサ33に代えて、Charge Coupled Device(CCD)センサが用いら
れてもよい。
図1において、指紋の画像が結像されるCMOSセンサ33の表面(
図1で上側の面)から、カバーガラス6の表面(
図1で上側の面)までの距離は、L1で例示される。したがって、
図1の構成では、CMOSセンサ33の表面から指紋が取得される指の表面までの距離はL1となる。
【0015】
図2では、
図1と比較して、カバーガラス6に保護フィルム7が付着され、カバーガラス6の表面を被覆する。ここで、保護フィルム7は、例えば、樹脂材、ガラス材等である。
図2の構成では、指紋検出のため、ユーザが指を情報処理装置310に接触させると、指は、保護フィルム7の表面に接触する。
【0016】
図2の構成では、指紋の画像が結像されるCMOSセンサ33の表面から、保護フィルム7の表面までの距離はL2で例示される。その結果、CMOSセンサ33の表面から指紋が取得される指の表面までの距離はL2となる。CMOSセンサ33の表面から指紋が取得される指の表面までの距離がL1からL2となることで、レンズ31の中心を含み、レンズ31の光軸に垂直な平面(以下、中心面という)と、指の表面との距離も変化する。
【0017】
図3は、レンズ31の中心面から指の表面までの距離と、CMOSセンサ33によって検出される指紋の画像の非鮮明度(ボケの量またはボケ量と呼ぶ)との関係を概念的に図示する図である。なお、以下の各実施形態では、非鮮明度に対して、鮮明度はコントラストと呼ばれる。画像のコントラスト、鮮明度、非鮮明度、ボケ等は、画質ということもできる。
図3で横軸は、レンズ31の中心面から指の表面までの距離である。ここで、適正距離とは、レンズ31の焦点距離に相当する距離をいう。
図3では、横軸は右に行くほど、適正距離よりも長い距離となっている。
【0018】
また、
図3で縦軸は、ボケ量である。ボケ量は、画像の被写体が光学式指紋センサ3等の焦点が合う範囲から外れたことによる、光学式指紋センサ3等によって検出される画像がぼやけた程度をいう。ただし、本実施形態では、ボケ量は、例えば、被写体の対象領域におけるグレースケール画像で、画素値が最も大きい白画素の階調値と、画素値が最も小さい黒画素の階調値との差分値を基に例示される。対象領域とは、光学式指紋センサ3によって取得される画像中で指紋が取得される領域をいう。ただし、対象領域は、光学式指紋センサ3によって取得される画像の全体領域であってもよい。
【0019】
上記階調値の差分値が大きいほど、画像の鮮明度が高いと言える。この差分値が小さいほど、画像の鮮明度が低いと言える。したがって、本実施形態のように、ボケ量を最大の階調値と最小の階調値の差分で定義した場合には、コントラストが低いことはボケ量が大きいことを意味し、コントラストが高いことはボケ量が小さいことを意味すると言える。
図3のように、横軸で、レンズ31の中心面から指の表面までの距離が、適正距離(焦点距離)から遠くなるほど、ボケ量が大きくなる。なお、ボケ量の変化は、レンズ31の中心面から指の表面までの距離が遠くなるとともに、徐々に収束する。
【0020】
以上のように、情報処理装置310がOLED4の下側にCMOSセンサ33を埋め込んだ検出機構18で指紋を検出する場合、検出機構18を保護する保護フィルム7があると、レンズ31の光軸上でレンズ31の焦点距離の位置と、指表面の位置がずれてしまう。このため、比較例の構成では、保護フィルム7の有無によって正確な指紋検出、さらには指紋認証を行うことができない場合が生じ得る。さらにまた、部品の組み立て構造による制約や小型化の要求が進み、情報処理装置310、特に、OLED4にCMOSセンサ33が組み込まれた検出機構18において、焦点距離の変更が簡単にはできないという課題も存在する。
【0021】
<第1の実施形態>
図4から
図11を参照して、第1の実施形態に係る情報処理装置10が説明される。
図4は、本実施形態の情報処理装置10の構成を例示する図である。情報処理装置10は、指紋を検出する検出機構18を有する装置であり、例えば、スマートフォン、携帯電話、
パーソナルコンピュータ、銀行端末、車載器、ドアの開閉装置等である。本実施形態以下の各実施形態では、スマートフォンを例に、情報処理装置10が説明される。
【0022】
図4のように、情報処理装置10は、CPU11、メモリ12、無線通信部13、レシーバ14、スピーカ15、マイク16、カメラ17、光学式指紋センサ3、OLED4、およびタッチスクリーンセンサ5を有する。なお、OLED4およびタッチスクリーンセンサ5は、
図1、2と同様、カバーガラス6で被覆されている。光学式指紋センサ3、OLED4、およびタッチスクリーンセンサ5は、比較例で説明した情報処理装置310のものと同様であるので、その説明が省略される。また、本実施形態においても、光学式指紋センサ3とOLED4の組み合わせは、指紋を検出する検出機構18と呼ばれる。光学式指紋センサ3は、指紋を取得する取得装置の一例である。
【0023】
CPU11は、メモリ12に実行可能に展開されたコンピュータプログラムを実行し、情報処理装置10の機能を提供する。メモリ12は、CPU11が実行するコンピュータプログラム、CPU11が処理するデータ等を記憶する。メモリ12は、Dynamic Random
Access Memory(DRAM)、Static Random Access Memory(SRAM)、Read Only Memory(ROM)等である。CPU11とメモリ12の組み合わせは、制御部の一例とい
うこともできる。
【0024】
無線通信部13は、ネットワーク上の他の装置とデータを授受する。無線通信部13は、Long Term Evolution(LTE)、4th Generation Mobile Communication System(4
G)、5G、6G等の無線アクセスネットワークに接続可能である。したがって、CPU11は、無線通信部13を通じて、携帯電話網にアクセスする。また、CPU11は、無線通信部13を通じて、無線アクセスネットワーク、およびコアネットワークを含む公衆ネットワークにアクセする。
【0025】
レシーバ14は、スマートフォン、携帯電話、ラジオ等において受信装置とも呼ばれる。レシーバ14は、主としてユーザの耳に接触され、受信した音および音声をユーザの耳に伝達する。
【0026】
スピーカ15は、無線通信部13で受信された音、音声、または、CPU11が処理した様々な音を出力する。マイク16は、情報処理装置10のユーザの音声またはユーザの周囲の音を検出し、CPU11に引き渡す。CPU11は、例えば、無線通信部13を介して、ユーザの音声、その他の音を他のスマートフォン等に伝達する。カメラ17は、被写体の画像を撮影し、CPU11に引き渡す。CPU11は、被写体の画像を例えば、メモリ12に保存する。なお、カメラ17も、光学式指紋センサ3と類似の構成であり、CMOSセンサまたはCCDセンサ等を含む。
【0027】
図5は、レンズ31における光の波長と焦点距離との関係を例示する図である。例えば、赤、緑、青の3色を含む光をレンズ31に入射すると、色によって屈折率が異なる結果、結像位置である焦点距離がレンズ31の中心軸上で異なる。例えば、3色のうち、比較的短波長の青の光の結像位置に対して、比較的長波長の赤の光の結像位置は、レンズ31からより遠方の位置となる。逆に、短波長であればあるほど、レンズ31の焦点距離が短くなり、結像位置が、レンズ31に近づく。
【0028】
したがって、光の波長に依存して結像位置の変化が大きいレンズ、つまり、色収差の大きいレンズを採用することで、比較例に例示した保護フィルム7による画像のボケを軽減することができる。色収差の大きいレンズとしては、例えば、複数のレンズの組み合わせではなく、1枚のガラスで構成される単レンズが例示される。一方、色収差の少ないレンズとしては、凸レンズと凹レンズを組みあせて色収差を補正したレンズが例示される。
【0029】
図6は、OLED4の光の帯域を例示する図である。
図6で横軸は、波長(WAVELENGTH、単位nm)であり、縦軸は、光の放射輝度(RADIANCE、無単位)である。OLED4は、例えば、450nmから480nmの範囲、520nmから550nmの範囲、および620nmから650nmの範囲に、それぞれのピークを有する青、緑、赤の光を発光することが分かる。したがって、青、緑、赤の光を発光するOLED4を搭載した情報処理装置10は、例えば、工場出荷時には、青の光によってカバーガラス6の表面がレンズ31の焦点距離(結像位置)となるように製造される。そして、通常の動作において、指紋検出時には、CPU11がOLED4に青の光を発光させ、CMOSセンサ33によってカバーガラス6の表面上で、指紋を検出すればよい。そして、指紋検出時に、CPU11が指紋の画像において、所定以上のボケの量を検知した場合に、カバーガラス6の表面にさらに保護フィルム7が付着されたと判定すればよい。この場合には、CPU11は、OLED4に緑または赤の光を発光させ、焦点距離(結像位置)を青の光の場合より、さらに遠くなるようにして、指紋を検出すればよい。
【0030】
図7は、情報処理装置10における指紋検出処理(その1)を例示するフローチャートである。
図7の処理は、メモリ12に実行可能に展開されたコンピュータプログラムにより、CPU11が実行する。以下、コンピュータプログラムによる処理については、情報処理装置10が実行する処理として説明がされる。情報処理装置10は、例えば、指紋認証が要求されると、
図7の処理を実行する。
【0031】
情報処理装置10は、まず、指紋認証が要求されることをOLED4に表示する(S1)。そして、情報処理装置10は、ユーザに対して、光学式指紋センサ3から画像を取得可能なカバーガラス6上(または保護フィルム7上)の位置に指を接触するように促す。なお、指をカバーガラス6等の対象に接触することを指タッチともいう。
【0032】
そして、情報処理装置10は、タッチスクリーンセンサ5によって、タッチスクリーンセンサ5に近接するカバーガラス6上(または保護フィルム7上)の位置に指が接触したか否かを判定する(S2)。情報処理装置10は、タッチスクリーンセンサ5によって指による上記位置への接触を検出できないとき、処理をS2に戻し、判定を継続する。
【0033】
一方、情報処理装置10は、タッチスクリーンセンサ5によって指によるカバーガラス6上等の位置への接触を検出すると、OLED4を波長1で発光させ、光を指に照射する(S3)。波長1は、例えば、工場出荷時にデフォルトで設定されている波長であり、例えば、青の波長範囲にピークを有する光の波長である。波長1の光は、光の強度分布において第1のピークを有する第1の光の一例である。また、指は被写体の一例である。
【0034】
そして、情報処理装置10は、光学式指紋センサ3から指紋画像Aを取得する(S4)。さらに、情報処理装置10は、取得した指紋画像Aのコントラスト(ボケの程度ともいう)を判定する(S5)。情報処理装置10は、指紋画像Aのコントラスト、例えば、指紋画像Aの所定範囲で、白画素の階調の最大値と黒画素の階調の最小値との差分を計算する。そして、情報処理装置10は、計算した差分が閾値D2未満の場合、指紋画像Aのコントラストが基準を満たさないと判定する。すなわち、情報処理装置10は、指紋画像Aの画質が基準を満たさないと判定する。
【0035】
指紋画像Aのコントラストが基準を満たさない場合、情報処理装置10は、処理をS6に進める。そして、情報処理装置10は、波長1よりも長波長側の波長2を選択し、発光する波長を波長2にシフトする(S6)。S6の処理は、例えば、メモリ12上の波長選択テーブルを参照することで実行される。波長2の光は、第1のピークよりも長波長側にピークを有する第2の光の一例である。S6の処理は、画質を基に第2の光を決定するこ
との一例である。
【0036】
図8は、波長選択テーブルの構成を例示する図である。波長選択テーブルは、階調差と、次の波長とを対にした情報を有する。例えば、階調差が所定値D1未満の場合、赤の光(例えば、波長600nmから650nmにピークを有する光)が波長2の光として選択される。また、例えば、階調差が所定値D1以上で、閾値D2未満の範囲にある場合、緑の光(例えば、波長500nmから550nmにピークを有する光)が波長2の光として選択される。さらに、例えば、階調差が閾値D2以上場合には、指紋画像のコントラストが基準を満たす場合である。上述の通り、波長1の光は、通常、青の光、例えば、波長450nmから480nmにピークを有する光である。すなわち、階調差が閾値D2以上場合には、青の光が波長2の光としてそのまま維持される結果となり、波長は変更されない場合であり、
図7のS5の判定でOKに該当する場合である。
【0037】
なお、所定値D1、閾値D2の値は、例えば、実験的、経験的に決定できる。例えば、情報処理装置10は、複数種類の厚みの保護フィルム7で被覆した検出機構18および保護フィルム7のない検出機構18において、複数の光(青、緑、赤)のそれぞれをOLED4で発光させて、同一の指紋を撮影すればよい。そして、情報処理装置10は、波長1(例えば、青)の光で撮影された画像から得られた階調差に応じて、望ましい波長2を決定すればよい。なお、
図8のような波長選択テーブルは、ユーザ操作にしたがって設定されるものでもよい。例えば、工場での実験値にしたがい、波長選択テーブルが設定され得る。
【0038】
次に、情報処理装置10は、次の波長2でOLED4を発光させ、光を指に照射する(S7)。そして、情報処理装置10は、光学式指紋センサ3から指紋画像Bを取得する(S8)。S8の処理は、第2の光を照射して被写体から画像を取得することの一例である。さらに、情報処理装置10は、取得した指紋画像Bのコントラスト、すなわち画質を判定する(S9)。S8、S9の処理は、S4、S5と同様である。S9の判定で、指紋画像Bのコントラストが基準を満たす場合(OKの場合)、情報処理装置10は、取得した指紋画像Bで本人確認のための認証を実行する(SA)。そして、本人確認のための認証が成功すると(OKの場合)、情報処理装置10は、
図7の処理を終了する。なお、情報処理装置10は、波長2を次の波長1として使用するために、波長2を次回の波長1として記憶してもよい。その結果、次回以降の処理において、今回採用された波長2が、波長1として使用されることになる。次回の波長1として波長2が採用された場合には、情報処理装置10は、波長選択テーブルとして波長2を基準としてものを参照すればよい。また、S5の判定でOKの場合も、処理は、S9でOKの場合と同様、S4で取得した指紋画像Aで本人確認のための認証を実行する(SA)。
【0039】
一方、S9の判定で、指紋画像Bのコントラストが基準を満たさない場合(NGの場合)、情報処理装置10は、コントラストが基準を満たさないとのエラーメッセージM1をOLED4に表示し、制御をS1の処理に戻す。ただし、S9の判定で、指紋画像Bのコントラストが基準を満たさない場合、情報処理装置10は、ユーザの操作に応じて、
図7の処理を終了してもよい。
【0040】
また、SAの判定で、本人確認のための認証が失敗した場合(NGの場合)、情報処理装置10は、認証が失敗したとのエラーメッセージM2をOLED4に表示し、制御をS1の処理に戻す。ただし、SAの判定で、本人確認のための認証が失敗した場合、情報処理装置10は、ユーザの操作に応じて、
図7の処理を終了してもよい。
【0041】
図9は、情報処理装置10における指紋検出処理例(その2)を例示するフローチャートである。
図7の指紋検出処理例(その1)では、情報処理装置10は、波長1での発光
による指紋画像Aを取得(S4)後、取得した指紋画像Aのコントラストを判定し(S5)、コントラストが基準を満たさない場合に、波長2を選択した(S6)。
図9の処理では、情報処理装置10は、波長1での発光による指紋画像Aを取得(S4)後、ボケ量(コントラストの低下の程度)から焦点距離のズレ量を特定し、波長2を選択する点で、
図7と相異する。したがって、
図9において、S1からS4の処理は、
図7と同様である。すなわち、
図9の処理において、情報処理装置10は、光学式指紋センサ3から指紋画像Aを取得する(S4)。さらに、情報処理装置10は、取得した指紋画像Aのボケ量を取得する(S5A)。
図3で述べた通り、本実施形態以下の各実施形態において、ボケ量は、コントラストと逆の指標ということができる。すなわち、指紋画像の所定範囲で、白画素の階調の最大値と黒画素の階調の最小値との差分値は、コントラストということができる。そこで、例えば、ボケ量は、白画素の階調の最大値と黒画素の階調の最小値との差分値の逆数としてもよい。次に、情報処理装置10は、ズレ量決定テーブルを参照し、ボケ量を基に焦点距離からのズレ量を求める(S6A)。
【0042】
図10は、ズレ量決定テーブルの構成を例示する図である。ズレ量決定テーブルは、光学式指紋センサ3上のボケ量と、レンズ31の光軸上での焦点距離からの被写体位置のズレ量との関係を定義したテーブルである。ズレ量決定テーブルは、光学式指紋センサ3の機種ごとに実測によって求めることができる。ズレ量決定テーブルは、光学式指紋センサ3上のボケ量の代わりに、コントラスト、すなわち、白画素の階調の最大値と黒画素の階調の最小値との差分値を用いて定義することも可能である。また、
図10の例では、光学式指紋センサ3上のボケ量と、レンズ31の光軸上での焦点距離からの被写体位置のズレ量は、いずれも相対値である。すなわち、
図10の例では、光学式指紋センサ3上のボケ量は10段階で評価され、その10段階評価の値に対して、焦点距離からのズレ量が定義される。ただし、例えば、実際の階調値の差分値と、ズレ量の絶対値(例えば、単位mm)でズレ量決定テーブルが定義されてもよい。
【0043】
次に、情報処理装置10は、焦点距離からのズレ量が基準値未満か否かを判定する(S7A)。焦点距離からのズレ量が基準値以上(S7AでNO)の場合、情報処理装置10は、焦点距離からのズレ量分をシフトする波長2を決定する(S8A)。焦点距離からのズレ量と、波長がシフトされる先の波長2との関係は、例えば、
図8または
図10のテーブルと同様のテーブルに定義できる。S6AからS8Aの処理は、画質を基に、画像を取得する取得装置(光学式指紋センサ3)の焦点距離からの被写体の位置のズレ量を決定し、ズレ量を基に第2の光を決定することの一例である。
【0044】
次に、情報処理装置10は、S8Aで決定された波長2でOLED4を発光させ、光を指に照射する(S9A)。そして、情報処理装置10は、光学式指紋センサ3から指紋画像Bを取得する(SAA)。さらに、情報処理装置10は、S5A、S6Aの処理と同様、取得した指紋画像Bのボケ量を取得し、ズレ量決定テーブルを参照し、ボケ量を基に焦点距離からのズレ量を求める(SBA)。そして、情報処理装置10は、焦点距離からのズレ量が基準値未満か否かを判定する(SCA)。焦点距離からのズレ量が基準値以上(SCAでNG)の場合、情報処理装置10は、コントラストが基準を満たさないとのエラーメッセージM1をOLED4に表示し、制御をS1の処理に戻す。ただし、SCAの判定で、焦点距離からのズレ量が基準値以上の場合、情報処理装置10は、ユーザの操作に応じて、
図9の処理を終了してもよい。
【0045】
SCAの判定で、焦点距離からのズレ量が基準値未満の場合(OKの場合)、情報処理装置10は、本人確認のための認証を実行する(SA)。SAおよびSCの処理は、
図7と同様である。さらに、指紋画像Bのコントラストが基準を満たす場合、つまりズレ量が基準値未満の場合(SCAでOKの場合)、情報処理装置10は、波長2を次の波長1としてメモリ12に保存すればよい。この点は、
図7の場合と同様である。なお、S7Aの
判定で、焦点距離からのズレ量が基準値未満(S7AでYES)の場合にも、情報処理装置10は、SA以下の処理を実行する。
【0046】
図11は、指紋画像の処理結果を例示する図である。
図11は、OLED4で発光された波長と、取得された画像と、白画素の階調値と、黒画素の階調値と、階調差と、画像の状態を説明する文と、情報処理装置10の判定結果が、3つの波長の光に対して例示されている。ここで、被写体の指紋は、カバーガラスがある厚みの保護フィルム7で被覆された状態で検出されている。ここで、3つの波長の光は、青(450nm乃至480nm)、緑(520nm乃至550nm)、赤(620nm乃至650nm)の光である。
【0047】
図11の例では、青の波長領域の光に対して、白画素の階調値、すなわち、対象領域の最大の階調値は216である。また、黒画素の階調値、すなわち、対象領域の最小の階調値は147である。その結果、階調差は69である。この画像では、物体が滲んでおり、焦点が合っていない。したがって、情報処理装置10の判定はNGである。
【0048】
同様に、緑の波長領域の光に対して、白画素の階調値、すなわち、対象領域の最大の階調値は213である。また、黒画素の階調値、すなわち、対象領域の最小の階調値は180である。その結果、階調差は33である。この画像では、物体が滲んでおり、焦点が合っていない。したがって、情報処理装置10の判定はNGである。
【0049】
さらに、赤の波長領域の光に対して、白画素の階調値、すなわち、対象領域の最大の階調値は202である。また、黒画素の階調値、すなわち、対象領域の最小の階調値は109である。その結果、階調差は93である。この画像では、検出領域の大きさが十分であり、かつ、指紋の隆線がはっきりと写っている。すなわち、被写体の位置がレンズ31から焦点距離までの位置(またはその前後の被写界深度の範囲)と合致している。したがって、情報処理装置10の判定はOKである。
【0050】
以上述べたように、本実施形態では、情報処理装置10は、第1のピークを有する第1の光を被写体である指に照射し、指から取得された指紋の画像の対象領域における階調値からコントラスト(またはボケ量)を測定する。そして、情報処理装置10は、コントラスト(またはボケ量)が第1の光の場合よりも向上する第2のピークを有する第2の光を選択し、被写体に照射し、指紋の画像を取得する。したがって、情報処理装置10は、例えば、青、緑、赤のそれぞれの光で指紋の画像を取得するよりも少ない手間で、コントラストが向上した指紋の画像を取得できる。
【0051】
また、本実施形態では、情報処理装置10は、測定されたコントラストが所定の条件を充足するときに、例えば、コントラストが閾値D2未満の場合に、第2の波長の光を決定し、決定された第2の波長の光を被写体に照射する。一方、コントラストが閾値以上で、基準を満たす場合には、そのまま第1の波長の光で取得した指紋の画像を採用する。したがって、情報処理装置10は、余分な手間を掛けて第2の光を選択し、被写体から画像を取得することを抑制できる。
【0052】
<第2の実施形態>
以下、
図12を参照して、第2の実施形態に係る情報処理装置10が説明される。上記第1の実施形態では、情報処理装置10は、波長1(例えば、青)の光で指紋の画像を検出し、コントラストが基準を満たさない場合、長波長側の波長2を選択し、再度、指紋の画像を検出した。そして、情報処理装置10は、波長2の光で検出した指紋の画像のコントラストが基準を満たさない場合、エラーメッセージを表示した。
【0053】
本実施形態では、情報処理装置10は、長波長側の波長2を選択し、再度、指紋の画像
を検出しても、コントラストが基準を満たさない場合、波長1よりも短波長側の波長3の光を選択し、さらに、指紋の画像を検出する。本実施形態において、波長2の光で指紋の画像を検出しても、コントラストが基準を満たさない場合の情報処理装置10の処理以外の処理は、第1の実施形態の処理と同様である。したがって、波長2の光による指紋の画像が基準を満たさない場合に追加される処理以外の情報処理装置10の処理および構成は、第1の実施形態と同様であるので、その説明は省略される。
【0054】
図12は、第2の実施形態における指紋検出処理を例示するフローチャートである。
図12において、S1からS9の処理は、第1の実施形態の
図7と同様である。すなわち、情報処理装置10は、次の波長2でOLED4を発光させ、光を指に照射する(S7)。そして、情報処理装置10は、光学式指紋センサ3から指紋画像Bを取得する(S8)。さらに、情報処理装置10は、取得した指紋画像Bのコントラスト、すなわち画質を判定する(S9)。
【0055】
そして、S9の判定で、指紋画像Bのコントラストが基準を満たす場合(OKの場合)、情報処理装置10は、取得した指紋の画像Bで本人確認のための認証を実行する(SA)。SAの処理は、
図7の場合と同様である。また、S5の判定でOKの場合も、情報処理装置10は、取得した指紋の画像Aで本人確認のための認証を実行する(SA)。なお、指紋画像Bのコントラストが基準を満たす場合、情報処理装置10は、波長2を次の波長1として使用するために、波長2を次の波長1として記憶すればよい。その結果、次回以降の処理において、今回採用された波長2が、波長1として使用されることになる。この場合に、情報処理装置10は、波長2に対応して、波長選択テーブル(
図8)を変更することは、すでに、第1実施形態において、
図7の説明で述べた。一方、S9の判定で、指紋画像Bのコントラストが基準を満たさない場合(NGの場合)、情報処理装置10は、波長1よりも短波長側の波長3を選択可能か、否かを判定する(S14)。
【0056】
ここで、波長1よりも短波長側の波長3を選択可能な場合とは、波長1の光が例えば、
緑の光であり、第2の光が赤の光の場合である。すなわち、一度、コントラストが基準を満たさないと判断され、すでに、長波長側の緑の光が波長1に設定されている場合である。また、S9の判定で、指紋画像Bのコントラストが基準を満たさない場合とは、第2の光を照射して被写体から取得された画像の対象領域における画質が、第1の光を照射したときよりも、改善しない場合の一例ということができる。
【0057】
情報処理装置10は、S14の判定で、波長1よりも短波長側の波長3を選択可能である場合、波長1より短波長の波長3にシフトする(S15)。波長3の光は、第1のピークよりも短波長側に第3のピークを有する第3の光の一例である。S15の処理は、第1のピークよりも短波長側に第3のピークを有する第3の光を決定することの一例である。なお、本実施形態の場合には、第3の光は、例えば、青の光である。
【0058】
次に、情報処理装置10は、次の波長3でOLED4を発光させ、光を指に照射する(S16)。そして、情報処理装置10は、光学式指紋センサ3から指紋画像Cを取得する(S17)。さらに、情報処理装置10は、取得した指紋画像Cのコントラストの程度を判定する(S18)。S17、S18の処理は、S8、S9と同様である。S18の判定で、指紋画像Cのコントラストの程度が基準を満たす場合(OKの場合)、情報処理装置10は、取得した指紋画像Cで本人確認のための認証を実行する(SA)。SAおよびSCの処理は、
図7と同様である。なお、情報処理装置10は、波長3を次の波長1として使用するために、波長3を次の波長1として記憶すればよい。その結果、次回以降の処理において、今回採用された波長3が、波長1として使用されることになる。また、この場合に、情報処理装置10は、波長3に対応して、波長選択テーブル(
図8)を変更することは、すでに、第1実施形態および本実施形態で述べたことと同様である。
【0059】
一方、S18の判定で、コントラストが基準を満たさない場合(NGの場合)、情報処理装置10は、コントラストが基準を満たさないとのエラーメッセージM1をLED4に表示し(SB)、制御をS1の処理に戻す。また、情報処理装置10は、S14の判定で、波長1よりも短波長側の波長3を選択可能でない場合も、エラーメッセージM1をLED4に表示し(SB)、制御をS1の処理に戻す。ただし、S18の判定で、指紋画像Cのコントラストが基準を満たさない場合、および、S14の判定で、波長1よりも短波長側の波長3を選択可能でない場合、情報処理装置10は、ユーザの操作に応じて、処理を終了してもよい。
【0060】
以上述べたように、本実施形態では、情報処理装置10は、波長1から波長2にシフトしても、再度取得した指紋画像Bのコントラストの程度が基準を満たさない場合、波長1よりも短波長側の波長3にシフトする。そして、情報処理装置10は、取得した指紋画像Cのコントラストの程度を判定する。したがって、本情報処理装置10は、一度、ユーザが検出機構18、すなわち、カバーガラス6を保護フィルム7で被覆した結果、長波長側の光(緑または赤の光)で指紋が撮影される状態となった後、保護フィルム7を取り除いたような場合にも対応できる。すなわち、情報処理装置10は、一旦、長波長側の光で指紋が撮影される状態で動作している場合でも、S14のように、短波長側の波長3にシフトできないか否かを判定し、可能な場合に、短波長側の波長3にシフトする。したがって、本情報処理装置10は、さらに、柔軟に、望ましい波長を選択できる。
【0061】
なお、本実施形態において、第1の光として、赤の光が設定されている場合に、S5の判定で、指紋画像Aのコントラストが基準を満たさない場合には、情報処理装置10は、さらに長波長側の波長を選択できないことを示すメッセージを表示してもよい。この場合には、情報処理装置10は、ユーザ操作にしたがって、
図12の処理を終了してもよい。また、情報処理装置10は、ユーザ操作にしたがって、第1の光よりも短波長側の光を選択する処理を実行してもよい。さらに、情報処理装置10が第1の光よりも短波長側の光を選択する処理を実行する場合には、情報処理装置10は、
図8と同様の波長選択テーブルを参照するようにしてもよい。
【0062】
<第3の実施形態>
上記第1の実施形態および第2の実施形態では、主として、青、緑、赤の3原色の光によって指紋が撮影された。しかし、情報処理装置10は、4原色以上の光の中から、適切な波長の光を選択してもよい。
【0063】
例えば、量子ドットのシートと液晶バックライトを組み合わせたディスプレイが知られている(例えば、QLED(登録商標))。この量子ドットのシートに青色LEDによるバックライトを入射させると、ナノメートル(nm)サイズの量子ドットの粒子にPhoton(光子/光の粒子/素粒子)が吸収され、再結合することで新しい光子が発生する。そして、量子ドットの粒子の大きさ、例えば(直径)によって新しい光子の波長がコントロールされ、波長変換される。すなわち、量子ドットのサイズで色を調整できことが知られている。
【0064】
また、量子ドットシートとOLEDを組み合わせた量子ドット有機EL(QD-OLED)構造の表示装置も知られている(例えば、ウェブサイトhttps://engineer-education.com/qd-oled_basic/を参照)。すなわち、QD-OLED構造の表示装置は、有機ELを単色の光源として用い、量子ドットのシートを単色の光源に対するカラーフィルタとして用いた表示装置である。この表示装置では、4原色以上の色に対応する4種類以上の大きさの量子ドットを画素とするカラーフィルタに、例えば、青色有機ELで発光する光が導入される。すると、カラーフィルタの
各画素において、4種類以上の大きさの量子ドットそれぞれに入射される青色有機ELの発光(オンオフおよびオンの場合の発光量)を制御することで、それぞれの画素で4原色以上の光の発光と、発行量の制御が可能となる。
【0065】
図13は、液晶ディスプレイまたはOLEDの発光層に、量子ドットシートを組み合わせた表示装置によって発光される光の波長を例示する図である。
図13で横軸は、波長であり、縦軸は、光の放射輝度(RADIANCE、無単位)である。
【0066】
すなわち、情報処理装置10は、OLED4に代えて、画素ごとに4種類以上の量子ドットを有する量子ドットシートと、各画素の4種類以上の量子ドットそれぞれに対して個別に光の照射を制御する発光層を有する。
図13の例では、量子ドットシートは、各画素に7種類の量子ドットを有する。また、
図13の例では、発光層は、各画素の7種類の量子ドットそれぞれに照射する光を個別に制御可能である。したがって、
図13の例では、表示装置は、各画素において、7種類の波長の光を個別に制御可能である。7種類の波長の光は、一般的な3原色の従来のディスプレイと同様、個別に発光されてもよいし、7種類の波長の光のうちの複数の光の組み合わせで発光されてもよい
【0067】
情報処理装置10は、各画素のそれぞれの発光色に対応するそれぞれの量子ドットに、OLEDの光を個別に導入し、発光量を制御し、または発光をオフする。これより、情報処理装置10は、例えば、7原色の画素を配列としてもつ表示装置の表示を制御できる。したがって、情報処理装置10は、指紋の検出のため、7原色で発光可能な光源を利用できる。なお、量子ドットシートと、量子ドットシートに光を照射する発光層の各画素の原色数が7色に限定される訳ではない。原色数は7色未満でもよいし、8色以上であってもよい。したがって、この表示装置は、少なくとも4つの色に対応する画素の配列を含む表示装置の一例と言える。
【0068】
図14は、本実施形態における情報処理装置10の処理を例示するフローチャートである。この処理で、S1からS5の処理は、第1実施形態の
図7および第2実施形態の
図12と同様である。
【0069】
本実施形態では、情報処理装置10は、波長1の光で取得した指紋画像のコントラストが基準を満たさない場合、波長1よりも長波長側の波長Wkを選択し、発光する波長を波長Wkにシフトする(S6B)。情報処理装置10は、例えば、
図13に例示した7つの光のうち、波長1よりも1段階、長波長側の波長を選択することで、S6Bの処理を実行する。次に、情報処理装置10は、次の波長Wkでディスプレイを発光させ、光を指に照射する(S7B)。そして、情報処理装置10は、光学式指紋センサ3から指紋画像Bを取得する(S8)。さらに、情報処理装置10は、取得した指紋画像Bのコントラストを判定する(S9)。
【0070】
S9の判定で、指紋画像Bのコントラストの程度が基準を満たす場合(OKの場合)、情報処理装置10は、取得した指紋画像Bで本人確認のための認証を実行する(SA)。このとき、情報処理装置10は、波長Wkを次の処理で波長1として使用するため、メモリ12に記憶すればよい。また、この場合に、情報処理装置10は、波長Wkに対応して、波長選択テーブル(
図8)を変更することは、すでに、第1の実施形態および第2の実施形態で述べたことと同様である。また、SAおよびSCの処理も、第1の実施形態および第2の実施形態と同様である。
【0071】
一方、S9の判定で、コントラストが基準を満たさない場合(NGの場合)、情報処理装置10は、波長Wkよりもさらに長波長側の次の波長Wk(k=k+1)にシフト可能か否かを判定する(S28)。情報処理装置10は、波長Wkよりもさらに長波長側の次
の波長にシフト可能な場合(有の場合)、制御をS6Aに戻し、さらに、長波長側のWk(k=k+1)で同様の処理を実行する。S28からS6Aに制御を戻し、S6AからS9を実行する処理は、第2の光を照射して被写体から取得した画像のコントラストが基準値を満たさない場合に、さらに長波長側にピークを有する光を被写体に照射する処理の一例である。また、この処理は、長波長側にピークを有する光を被写体に照射して対象領域におけるコントラストを測定することの一例である。
【0072】
さらに、一方、S28の判定で、波長Wkよりもさらに長波長側の次の波長Wk(k=k+1)にシフト可能でない場合(無の場合)、情報処理装置10は、コントラストが基準を満たさないとのエラーメッセージM1をOLED4に表示し(SB)、制御をS1の処理に戻す。ただし、S28の判定で、波長Wkよりもさらに長波長側の次の波長Wk(k=k+1)にシフト可能でない場合、情報処理装置10は、ユーザの操作に応じて、処理を終了してもよい。
【0073】
以上述べたように、本実施形態では、情報処理装置10は、4原色以上の色をそれぞれの画素で発光可能な表示装置を制御し、4原色以上の色に対応する波長を切り替えて、指紋を撮影可能である。したがって、ユーザが様々な厚みの保護フィルム7で、情報処理装置10の表示装置、すなわち、検出機構18の表面を被覆した場合でも、より適切な波長で、指紋を撮影でき、高い画質、高いコントラストで、鮮明な指紋の画像を取得できる。
【0074】
なお、
図14では、情報処理装置10は、S6Bの処理で、
図13に例示した7つの光のうち、波長1よりも1段階、長波長側の波長を選択した。しかし、このような処理に代えて、情報処理装置10は、
図8のような波長選択テーブル、または、
図10のようなズレ量決定テーブルを参照して、次の波長Wkを選択してもよい。すなわち、情報処理装置10は、波長選択テーブルまたはズレ量決定テーブルにより、波長1の光による1回の指紋画像の検出結果から、望ましい波長Wkを決定できる。
【0075】
また、情報処理装置10は、例えば、波長選択テーブルまたはズレ量決定テーブルの代わりに、コントラスト(またはボケ量)と、波長のシフト量との関係を関数で定義してもよい。このような関数は、例えば、複数の厚みの保護フィルム7と、複数の波長の光とを用いて、コントラスト(またはボケ量)と、コントラストが基準を満たす(ボケをなくす)次の波長との関係を測定する実験で決定できる。そして、このような関数は、実験結果を基に、例えば、回帰分析による実験式として取得され得る。情報処理装置10は、得られた関数に波長1によって得られた指紋画像のコントラスト(またはボケ量)を入力することで、次の波長Wkまでのシフト量ΔWを得ることができる。
【0076】
さらに、情報処理装置10は、S6BからS28の処理を2回以上繰り返した結果、画質がより劣化するか否かを判定してもよい。そして、S6BからS28の処理を2回以上繰り返した結果、画質がより劣化する場合には、情報処理装置10は、S6Bの処理において波長1よりも短波長側の光を選択するように処理を切り替えてもよい。また、情報処理装置10は、S6Bの処理において波長1よりも短波長側の光を選択するように処理を切り替える場合には、表示装置にメッセージを表示し、ユーザ操作による介入を受け付けるようにしてもよい。
【0077】
<コンピュータが読み取り可能な記録媒体>
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0078】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、ブルーレイディスク、DAT、8mmテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ROM(リードオンリーメモリ)等がある。さらに、SSD(Solid State Drive)は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ
等に固定された記録媒体としても利用可能である。
【符号の説明】
【0079】
3 光学式指紋センサ
4 OLED
5 タッチスクリーンセンサ
6 カバーガラス
7 保護フィルム
11 CPU
12 メモリ
13 無線通信部
14 レシーバ
15 スピーカ
16 マイク
17 カメラ
18 検出機構