(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-07-10
(45)【発行日】2025-07-18
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
A61B 5/1172 20160101AFI20250711BHJP
A61B 8/14 20060101ALI20250711BHJP
G06T 1/00 20060101ALI20250711BHJP
【FI】
A61B5/1172
A61B8/14
G06T1/00 400G
(21)【出願番号】P 2021071562
(22)【出願日】2021-04-21
【審査請求日】2024-03-25
(73)【特許権者】
【識別番号】524066085
【氏名又は名称】FCNT合同会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】畑中 貴浩
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】米国特許出願公開第2020/0363516(US,A1)
【文献】韓国公開特許第10-2020-0004724(KR,A)
【文献】特表2017-505481(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/1172
A61B 8/14
G06V 40/12
(57)【特許請求の範囲】
【請求項1】
筐体と、
前記筐体の表面に接触する指の指紋を検出可能な超音波センサと、
制御部と、を備え、
前記制御部は、前記超音波センサで検出される信号の処理方法の調整の要否を判定し、
前記調整が必要であると判定されたときに、前記信号の処理方法の調整を実行
する制御部であって、
前記超音波センサが検出する画像中に特定のパターンが含まれるか否かを判定し、
前記超音波センサが検出する画像中に前記特定のパターンが含まれるときに、指紋検出時において反射波を受信する時間区間を前記特定のパターンに対応する時間区間に決定する情報処理装置。
【請求項2】
筐体と、
前記筐体の表面に接触する指の指紋を検出可能な超音波センサと、
制御部と、
ユーザによる操作を誘導する表示部と、
を備え、
前記超音波センサは、前記表示部の画面の部分領域に接触される指の指紋を検出し、
前記制御部は、前記超音波センサで検出される信号の処理方法の調整の要否を判定し、
前記調整が必要であると判定されたときに、前記信号の処理方法の調整を実行する制御部であって、
前記超音波センサが検出する画像中に特定のパターンが含まれるか否かを判定し、
前記超音波センサが検出する画像中に前記特定のパターンが含まれるときに、前記特定のパターンに対応づけて記憶した前記表示部の画面を被覆する保護膜の特性を基に、指紋検出時において反射波を受信する時間区間を決定する情報処理装置。
【請求項3】
前記信号の処理方法の調整は、
前記超音波センサに対して超音波を放出させ、前記放出された超音波の反射波を検出させることと、
前記超音波の放出時点以降の前記反射波の受信信号の時間変化から、指紋検出時にお
いて反射波を受信する時間区間を決定することと、
を含む、請求項1
または2に記載の情報処理装置。
【請求項4】
前記信号の処理方法の調整は、間欠的に超音波の放出と反射波の検出とを繰り返
すことを含む請求項
3に記載の情報処理装置。
【請求項5】
前記制御部は、前記信号の処理方法の調整を実行するときに、前記ユーザの指を含む物体が前記部分領域において、前記表示部の画面を被覆する保護膜の外面に接触しないように誘導するための情報を出力する請求項
2に記載の情報処理装置。
【請求項6】
前記制御部は、前記超音波センサが検出した画像中から、前記特定のパターンを削除して指紋を認識する請求項
1または2に記載の情報処理装置。
【請求項7】
コンピュータが、
指の指紋を検出可能な超音波センサで検出される信号の処理方法の調整の要否を判定し、
前記調整が必要であると判定されたときに、前記信号の処理方法の調整を実行する情報処理方法であって、
前記超音波センサが検出する画像中に特定のパターンが含まれるか否かを判定し、
前記超音波センサが検出する画像中に前記特定のパターンが含まれるときに、指紋検出時において反射波を受信する時間区間を前記特定のパターンに対応する時間区間に決定する情報処理方法。
【請求項8】
コンピュータが、
指の指紋を検出可能な超音波センサで検出される信号の処理方法の調整の要否を判定し、
前記調整が必要であると判定されたときに、前記信号の処理方法の調整を実行する情報処理方法であって、
前記超音波センサによって表示部の画面の部分領域に接触される指の指紋を検出し、
前記超音波センサが検出する画像中に特定のパターンが含まれるか否かを判定し、
前記超音波センサが検出する画像中に前記特定のパターンが含まれるときに、前記特定のパターンに対応づけて記憶した前記表示部の画面を被覆する保護膜の特性を基に、指紋検出時において反射波を受信する時間区間を決定する情報処理方法。
【請求項9】
前記信号の処理方法の調整は、
前記超音波センサに対して超音波を放出させ、前記放出された超音波の反射波を検出させることと、
前記超音波の放出時点以降の前記反射波の受信信号の時間変化から、指紋検出時において反射波を受信する時間区間を決定することと、
を含む、請求項
7または8に記載の情報処理方法。
【請求項10】
コンピュータに、
指の指紋を検出可能な超音波センサで検出される信号の処理方法の調整の要否を判定し、
前記調整が必要であると判定されたときに、前記信号の処理方法の調整を実行させるためのプログラムであって、
前記超音波センサが検出する画像中に特定のパターンが含まれるか否かを判定し、
前記超音波センサが検出する画像中に前記特定のパターンが含まれるときに、指紋検出時において反射波を受信する時間区間を前記特定のパターンに対応する時間区間に決定することを実行させるためのプログラム。
【請求項11】
コンピュータに、
指の指紋を検出可能な超音波センサで検出される信号の処理方法の調整の要否を判定し、
前記調整が必要であると判定されたときに、前記信号の処理方法の調整を実行させるためのプログラムであって、
前記超音波センサによって表示部の画面の部分領域に接触される指の指紋を検出し、
前記超音波センサが検出する画像中に特定のパターンが含まれるか否かを判定し、
前記超音波センサが検出する画像中に前記特定のパターンが含まれるときに、前記特定のパターンに対応づけて記憶した前記表示部の画面を被覆する保護膜の特性を基に、指紋検出時において反射波を受信する時間区間を決定することを実行させるためのプログラム。
【請求項12】
前記信号の処理方法の調整は、
前記超音波センサに対して超音波を放出させ、前記放出された超音波の反射波を検出させることと、
前記超音波の放出時点以降の前記反射波の受信信号の時間変化から、指紋検出時において反射波を受信する時間区間を決定することと、
を含む、請求項
10または11に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置に関するものである。
【背景技術】
【0002】
携帯型の情報処理装置としては、スマートフォン、携帯電話等の無線端末、タブレット端末、ノート型のパーソナルコンピュータ等が例示できる。これらの情報処理装置の中には、ユーザを認証するために指紋センサを備えるものがある。
【0003】
指紋センサには、超音波方式のもの、光学方式のもの、静電容量方式のもの等が採用されている。これらのうち、超音波方式の指紋センサは、情報処理装置の筐体内に設けられ、ディスプレイ等の筐体表面に接触した指に、ディスプレイ等の筐体基材を介して超音波を放出し、指表面からの反射波を検出する。指紋センサは、反射波を受信した信号の二次元分布から指紋の画像を生成する。
【0004】
ところで、最近は、携帯型の情報処理装置がユーザに販売された後、ユーザが別途購入した保護フィルムを情報処理装置の、例えば、ディスプレイの表面に重畳し、貼付することがある。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、情報処理装置のディスプレイの表面に保護フィルムが貼付されると、指紋センサから指に到達し、反射されて指紋センサまで戻る超音波の行路の長さおよび行路に含まれる材質が変化する。その結果、超音波の伝搬特性が変化し、指紋センサの検出結果に影響する。
【0007】
そこで、開示の実施形態の1つの側面は、情報処理装置の表面に保護フィルムが貼付された場合でも、超音波の伝搬特性に対応して指紋センサで検出される信号の処理方法を調整できるようにして、指紋検出性能の低下を抑制することである。
【課題を解決するための手段】
【0008】
開示の実施形態は、情報処理装置によって例示される。本情報処理装置は、筐体と、前記筐体の表面に接触する指の指紋を検出可能な超音波センサと、制御部と、を備え、前記制御部は、前記超音波センサで検出される信号の処理方法の調整の要否を判定し、前記調整が必要であると判定されたときに、前記信号の処理方法の調整を実行する。
【0009】
ここで、前記信号の処理方法の調整は、前記超音波センサに対して超音波を放出させ、前記放出された超音波の反射波を検出させることと、前記超音波の放出時点以降の前記反射波の受信信号の時間変化から、指紋検出時において反射波を受信する時間区間を決定することと、を含むようにしてもよい。
【発明の効果】
【0010】
本情報処理装置は、情報処理装置の表面に保護フィルムが貼付された場合でも、超音波の伝搬特性に対応して指紋センサで検出される信号の処理方法を調整できるようにして、指紋検出性能の低下を抑制できる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、超音波方式の指紋センサの読み取り原理を例示する図である。
【
図2】
図2は、超音波方式の指紋センサによる反射波検出時の受信ウィンドウを例示する図である。
【
図3】
図3は、情報処理装置のハードウェア構成図である。
【
図4】
図4は、情報処理装置の外観を例示する正面図である。
【
図5】
図5は、情報処理装置のカバーガラスのうち、保護フィルムが貼付された部分と貼付されていない部分での超音波の反射の状況を例示する図である。
【
図6】
図6は、情報処理装置が実行する受信ウィンドウの補正処理を例示する図である。
【
図7】
図7は、指紋センサに、間欠的に超音波の反射波を検出させることによる受信ウィンドウの補正処理を例示する図である。
【
図8】
図8は、保護フィルムに設けたパターンの断面を例示する図である。
【
図9】
図9は、超音波方式の指紋センサの検出領域の左下部に保護フィルムの穴がある場合の指紋センサでの読み取り画像の例である。
【
図10】
図10は保護フィルムに形成される特定パターンの例である。
【
図11】
図11は、保護フィルムを貫通させない特定パターンの断面形状を例示する図である。
【
図12】
図12は、情報処理装置がメモリに記憶する特定パターンと保護フィルム30の特性とを対応づけた参照テーブルの構成を例示する図である。
【
図13】
図13は、特定パターンによる受信ウィンドウ開始時間を決定する処理を例示する図である。
【
図14】
図14は、情報処理装置の指紋認証処理を例示する図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、一実施形態に係る情報処理装置10を例示する。情報処理装置10は、具体的には、スマートフォン、携帯電話等の無線端末、タブレット端末、ノート型のパーソナルコンピュータ等である。情報処理装置10は、ディスプレイ画面の下側の筐体内に指紋センサを配置し、画面上に指を置いて指紋認証を行うことができる。このような指紋認証は画面内認証と呼ばれる。
【0013】
<超音波方式の指紋センサの特徴と課題>
図1乃至
図3を参照して、超音波方式の指紋センサの特徴を説明する。
図1は、超音波方式の指紋センサの読み取り原理を例示する図である。
図1のように、この指紋センサは、ディスプレイ等の筐体基材の裏面に圧電素子が配列された層(圧電素子層)を有する。圧電素子層の各圧電素子は、トランスミッタ部とレシーバ部を有する。トランスミッタ部(伝達装置)は、入力される電気信号により圧電素子を振動させ、パルス状に所定時間継続する音響として超音波を放出し、ディスプレイ等の基材を伝搬させる。レシーバ部(受信装置)は、基材を伝搬して、指で反射されて戻った反射波の振動により電気信号を発生する。なお、トランスミッタ部とレシーバ部を含む圧電素子層の部分をトランシーバ部またはトランスデューサ部とも呼ぶ。
【0014】
このように、超音波方式の指紋センサは、音波を指先に向けて送信し、その反射音波を捕らえることを基本原理とする。そして、超音波方式の指紋センサは、皮膚、空気、指紋隆線の音響の抵抗に相違があることに基づく、圧電素子配列のそれぞれの位置での反射波信号(振幅,エネルギー)の相違により指の表面の指紋の画像を形成する。すなわち、
図1のように指紋の凸部は超音波の透過成分が多く反射波が少ない。一方、指紋の凹部は反射成分が多い。超音波方式の指紋センサはこれらのことから生じる反射波信号の違いに起因して検出される電気信号の強弱により指紋を検出する。
【0015】
図2は、超音波方式の指紋センサによる反射波検出時の受信ウィンドウを例示する図である。また、
図2は、スマートフォン等の情報処理装置における指紋センサと指紋検出の対象となる指との間に介在し、超音波の伝搬行路となる媒体の材質を例示する。ここでは、スマートフォン等で超音波方式の指紋センサをディスプレイの下側、例えば、カバーガラスの裏面に搭載する場合が例示されている。
【0016】
スマートフォン等の情報処理装置が
図2の構成の指紋センサで指紋の画像を検出する場合、画質向上のため、指紋センサから超音波が放出されて所定時間経過後の時間区間に限定して反射波を検出する。この時間区間は受信ウィンドウと呼ばれる。すなわち、情報処理装置は、ディスプレイに接触する指の表面、すなわち、ディスプレイのカバーガラス表面で反射する音波が戻ってくる時間をディスプレイの厚さ、構成物の材質に応じてチューニングする。
【0017】
指紋センサの圧電素子層とディスプレイのカバーガラス表面との間には、
図2の右側に例示した材質の媒体が存在する。
図2の例では、カバーガラスに以下に、Top OCA(接着剤)、Polarizer Stack(偏光板)、PSA(感圧性接着剤)、Bottom OCA、OLED Panel(有機ELパネル)、Backplate PSA、Backplate PET(ポリエチレンテレフタラート)が例示される。図のように、指紋センサから放出された超音波はこれらの媒体を通り、指に達してその一部が反射されて指紋センサに戻る。超音波が通過する行路上には、各材料がそれぞれ互いの境界面で接触し、界面を形成している。その結果、超音波は、それぞれの界面で一部が反射され、指に達する前に指紋センサに戻る。このような各材料の界面で反射される反射波は、指の表面から反射される反射波に対してノイズとなる。そこで、情報処理装置は、指の
表面から反射される反射波が主体となる時間区間を受信ウィンドウに設定し、受信ウィンドウに限定して、反射波を検出する。これにより、情報処理装置は、指の表面から得られる信号成分が高い区間を選択し、画質を向上させている。
【0018】
しかしながら、カバーガラス上に、ユーザが任意で選択した保護フィルムを貼付した場合、保護フィルムにより反射波が戻る時間がずれる。その結果、情報処理装置が指紋センサにより取得する画像の画質が低下し、認証性能が低下する。この場合、保護フィルムに応じて指紋センサのチューニングパラメータである受信ウィンドウを変更することも考えられる。しかし、指紋センサまたは情報処理装置は保護フィルムの有無を認識することが困難である。また、仮に、指紋センサまたは情報処理装置が保護フィルムの存在を認識したとしても、保護フィルムの材質,厚み等の超音波の伝搬に影響を与えるような保護フィルムの特性を認識することは困難である。
【0019】
以下に述べる複数の実施形態においては、以上のような問題を解決する情報処理装置が例示される。すなわち、以下の各実施形態では、情報処理装置は、ディスプレイ表面の指紋検出領域上に指が接触していない時に、指紋センサから発した超音波のうち、保護フィルムと空気の界面で反射され反射波を検出する。情報処理装置は、この保護フィルムと空気の界面からの反射波を特定することで、適正な受信ウィンドウを決定し、または、受信ウィンドウを補正する。このようにして決定された受信ウィンドウの開始時間とウィンドウ幅により、情報処理装置は、保護フィルムがディスプレイに貼られた場合であっても、良好な画質で指紋を検出する。
【0020】
<第1の実施形態>
以下、
図3乃至
図7を参照して、第1の実施形態の情報処理装置10が説明される。
【0021】
(構成)
図3は、情報処理装置10のハードウェア構成図である。情報処理装置10は、CPU1、メモリ2、タッチスクリーンセンサ3、OLED4(有機ELディスプレイ)および超音波方式の指紋センサ5を有する。さらに、情報処理装置10は、無線通信部11、レシーバ12、スピーカ13、マイク14、およびカメラ15を有する。なお、無線通信部11、レシーバ12、スピーカ13、マイク14、およびカメラ15は、それぞれのインターフェースでCPU1に接続される。
【0022】
CPU1はメモリ2と接続しており、メモリ2は実行可能なソフトウェアコードを記憶している。CPU1はメモリ2に記憶されたソフトウェアコードにより、情報処理装置10の情報処理方法の各処理を実行し、機能を提供する。CPU1とメモリ2が制御部の一例である。
【0023】
また、CPU1はOLED4を制御し、ユーザに情報を表示し、様々な出力を与える。また、CPU1はタッチスクリーンセンサをOLED4上に有し、ユーザからのタッチスクリーン操作を検出し、その操作を入力として各種の処理を実行する。OLED4は、表示部の一例である。
【0024】
超音波方式の指紋センサ5はOLED4の下面にあり、タッチスクリーンセンサ3とOLED4を通してユーザの指紋を読み取る。CPU1は超音波方式の指紋センサ5からの画像データを取得する。そして、CPU1は、取得した画像データに画像処理を行う。CPU1は、例えば、画像処理された画像とメモリ2に保存されているテンプレートの指紋とを比較して、超音波方式の指紋センサ5で取得された画像がテンプレートの指紋と一致するか否か判定する。
【0025】
無線通信部11は、例えば、通信事業者の無線通信ネットワークにアクセスし、無線通信を実行する。また、レシーバ12、スピーカ13、およびマイク14は、音声または音の入出力に使用される。ユーザは、レシーバ12、スピーカ13、およびマイク14を通じて、通話を実施する。カメラ15は、画像の撮影に使用される。
【0026】
図4は、情報処理装置10の外観を例示する正面図である。
図4で左側は保護フィルム30のない外観を例示し、右側は保護フィルム30を貼付した外観を例示する。
図4のように、情報処理装置10の筐体前面には、
OLED4が設けられる。また、
OLED4には、上面側にタッチスクリーンセンサ3が重畳されている。なお、
図4では、
OLED4およびタッチスクリーンセンサ3を被覆するカバーガラスは省略されている。
OLED4の画面下部の点線で示した矩形の領域には、
OLED4の背面の筐体内に超音波方式の指紋センサ5が内蔵されている。指紋センサ5は、タッチスクリーンセンサ3(およびカバーガラス)の点線で囲まれた矩形の領域に接触された指から指紋を検出する。
図4の点線で囲まれた矩形の領域を検出領域と呼ぶことにする。指紋センサ5は、筐体の表面に接触する指の指紋を検出可能な超音波センサと言える。また、
図4の点線の矩形で例示される検出領域は、表示部の画面の部分領域と言える。すなわち、指紋センサ5は、この検出領域に接触される指の指紋を検出する。
【0027】
図4で右側に例示するように、保護フィルム30は、
OLED4の画面の前面を被覆する。また、
図4の右側の保護フィルム30においても、指紋センサ5の検出領域を被覆する部分が点線で囲まれている。保護フィルム30は、指紋センサ5の検出領域を被覆する部分に、2個の穴31A、31Bを有している。2個の穴31A、31Bを総称するときは、単に穴31と呼ぶ。指紋センサ5の検出領域は、位置が筐体に固定されるため、2個の穴31A、31Bの位置により情報(例えば、識別情報)の定義が可能である。すなわち、指紋センサ5および情報処理装置10は、穴31A、31Bの位置から保護フィルム30の存在を認識するとともに、個々の保護フィルム30を識別できる。
【0028】
(受信ウィンドウ調整の仕組み)
図5は、情報処理装置10のカバーガラス21のうち、保護フィルム30が貼付された部分と貼付されていない部分での超音波の反射の状況を例示する。ここで、保護フィルム30は、表面側のフィルム基材30Aと粘着剤30Bを含む。すでに述べたように、超音波は、カバーガラス21と空気との界面で反射が大きくなる。また、カバーガラス21に、保護フィルム30が貼付されると、超音波の反射は、カバーガラス21と粘着剤30Bの界面および粘着剤30Bとフィルム基材30Aとの界面では小さい。一方、フィルム基材30Aと空気との界面では、超音波の反射は大きい。
【0029】
そこで、情報処理装置10は、保護フィルム30(フィルム基材30A)と空気との界面を形成しておく。つまり、情報処理装置10は、ユーザにメッセージ等で促すことで、指紋センサ5の検出領域(
図4の点線の矩形)に指がない状態を維持する。そして、情報処理装置10は、指紋センサ5にパルス状の超音波を発射させ、その後所定時間、反射波の受信を継続させる。そして、情報処理装置10は、継続して受信される反射波の中で反射波のパワーが最も強い時の経過時間(時刻)Tx(および時間区間)を計測する。情報処理装置10は、その経過時間Txを保護フィルム30貼付け時の受信ウィンドウの開始時間として再設定することで、保護フィルム30の貼付による超音波の行路の変化による適正な受信ウィンドウ開始時間のずれを補正し、適正な受信ウィンドウ開始時間を得ることができる。なお、情報処理装置10は、経過時間Txの前後の区間で、反射波のパワーが基準以上の区間を受信ウィンドウの幅(時間区間)に設定してもよい。
【0030】
(処理)
図6は、情報処理装置10が実行する受信ウィンドウの補正処理を例示する図である。
この処理では、情報処理装置10は、まず、補正の要否を判定する(S1)。すなわち、この処理は、例えば、情報処理装置10によって、現在、受信ウィンドウの補正が実施されるべき状況であることが認識されたときに実行される。情報処理装置10は、例えば、
図4に例示した指紋センサ5の検出領域内の保護フィルムの2個の穴を検出することで、補正が実施されるべき状況であることを認識できる。また、情報処理装置10は、指紋センサ5の検出領域内の保護フィルムの複数個の穴によって形成されるパターンがそれ以前と変化した場合に、再度補正が実施されるべき状況であると認識できる。したがって、S1の処理は、超音波センサが検出する画像中に特定のパターンが含まれるか否かを判定することの一例である。
【0031】
また、情報処理装置10は、
OLED4等のディスプレイに表示されるボタンの押下、メニューの選択等をタッチスクリーンセンサ3から受け付けたときに、補正が実施されるべき状況であることを認識できる。例えば、ユーザが保護フィルム30を
OLED4(およびタッチスクリーンセンサ3)の画面(カバーガラス21)に貼付したときに、ボタンの押下、メニューの選択等で
図6の処理を実行するアプリケーションプログラムを起動すればよい。S1の判定は、超音波センサで検出される信号の処理方法の調整の要否を判定することの一例である。
【0032】
受信ウィンドウの補正が実施されるべき状況でない場合(S1でNO)、情報処理装置10は、処理を実行しないで、処理を終了する。受信ウィンドウの補正が実施されるべき状況である場合(S1でYES)、情報処理装置10のCPU1は、ユーザに対して、指紋センサの検出領域を指等で被覆しないようにガイダンスを表示し、注意を促す(S2)。S2の処理は、信号の処理方法の調整を実行するときに、ユーザの指を含む物体が部分領域において、表示部の画面を被覆する保護膜の外面に接触しないように誘導するための情報を出力することの一例と言える。なお、CPU1は、ガイダンスを音声でスピーカ13から出力してもよい。
【0033】
次に、CPU1は、指紋センサ5(トランスミッタ部)に超音波のパルスを放出させる(S3)。そして、CPU1は、指紋センサ5(レシーバ部)に、所定時間連続して超音波の反射波を検出させる(S4)。情報処理装置10は、検出された反射波を例えば、時系列でメモリ2に保存すればよい。
【0034】
なお、以上の処理において、情報処理装置10は、超音波方式の指紋センサ5の圧電素子配列で形成される個々のレシーバ部の受信信号を個々にすべて保存する必要はない。すなわち、情報処理装置10は指紋センサ5の圧電素子配列に含まれるレシーバ部のうち、その一部の信号だけを保存してもよい。また、情報処理装置10は指紋センサ5の圧電素子配列に含まれる複数のレシーバ部の受信信号を積算または平均してもよい。
図6の処理では、超音波の行路の変化に伴う受信ウィンドウの補正ができればよく、画像のような二次元の情報を取得する必要がないからである。
【0035】
次に、情報処理装置10は、S3での超音波パルス放射時点からの、検出信号のピーク位置、すなわち、超音波パルス放射時点からの経過時間Txを特定する。そして、情報処理装置10は、特定した経過時間を受信ウィンドウ開始時間に決定する(S5)。S5の処理は、超音波の放出時点以降の反射波の受信信号の時間変化から、指紋検出時において反射波を受信する時間区間を決定することの一例である。
【0036】
なお、情報処理装置10は、受信ウィンドウの幅については、そのまま補正前の値を用いてもよい。また、すでに述べたように、情報処理装置10は、経過時間Txの前後の時間区間で、検出信号強度がピークに近い、基準値以上の時間区間を受信ウィンドウの幅に設定してもよい。受信ウィンドウの補正は、信号の処理方法の調整と言える。すなわち、
S2乃至S5の処理は、信号の処理方法の調整の一例である。
【0037】
(第1の実施形態の効果)
本実施形態の情報処理装置10は、超音波方式の指紋センサ5から超音波パルスを放出させ、反射信号のピークから受信ウィンドウを決定する。そのため、情報処理装置10のOLED4(およびタッチスクリーンセンサ3)等のディスプレイに保護フィルム30が貼付されても、情報処理装置10は、適正な受信ウィンドウに補正し、または受信ウィンドウを設定できる。その結果、情報処理装置10は、保護フィルム30の貼付に伴う、超音波方式の指紋センサ5の画質の低下を抑制できる。
【0038】
また、情報処理装置10は、保護フィルム30に形成された穴など、指紋センサ5の検出領域内の保護フィルム30上のパターンで保護フィルム30の有無、変更等を検出し、補正の要否を判定できる。したがって、情報処理装置10の処理に適合する保護フィルム30が利用される限り、情報処理装置10は、保護フィルム30の有無、変更によらず、適正な受信ウィンドウを設定できる。
【0039】
また、情報処理装置10は、OLED4等のディスプレイに表示されるボタンの押下、メニューの選択等をタッチスクリーンセンサ3から受け付けたときに、補正が実施されるべき状況であることを認識できる。したがって、保護フィルム30を貼付するユーザに超音波方式の指紋センサ5の画質を調整するツールを提供できる。
【0040】
すなわち、本実施形態における補正はユーザが保護フィルム30を貼付した後に、ユーザによるメニュー操作でその補正機能を呼び出し実施することができる。その際には、ユーザは指紋センサ5の検出領域を指で被覆しないようにガイダンスされる。また、情報処理装置10は、指紋を登録する際、最初に補正機能を呼び出し、ユーザに補正機能を動作させるようにガイダンスし、自然な形で補正を実行することもできる。
【0041】
さらに、情報処理装置10は、上記
図6の処理を実行時、ユーザに対して、指紋センサ5の検出領域を指等で被覆しないようにガイダンスを表示し、注意を促す。このため、保護フィルム30と空気との界面を維持して、精度よく受信ウィンドウ開始時間を設定できる。
【0042】
<第2の実施形態>
上記第1の実施形態では、情報処理装置10は、指紋センサ5に所定時間連続して超音波の反射波を検出させる(
図6のS4)。しかし、情報処理装置10の処理がこのような処理に限定される訳ではない。例えば、情報処理装置10は、指紋センサ5に間欠的に超音波の反射波を検出させてもよい。
【0043】
図7は、指紋センサ5に、間欠的に超音波の反射波を検出させることによる受信ウィンドウの補正処理を例示する図である。指紋センサ5に間欠的に超音波の反射波を検出させること以外の本実施形態の情報処理装置10の処理、および構成は第1の実施形態と同様である。したがって、第1の実施形態で述べた情報処理装置10の構成は、本実施形態にも適用される。また、
図7の処理も、第1の実施形態同様、情報処理装置10によって受信ウィンドウの補正が実施されるべき状況であることが認識されたときに実行される(S1でYESの場合)。
【0044】
この処理でも、情報処理装置10のCPU1は、ユーザに対して、指紋センサの検出領域を指等で被覆しないようにガイダンスを表示し、注意を促す(S2)。次に、情報処理装置10は、CPU1は、指紋センサ5(トランスミッタ部)に超音波のパルスを放出させるともに、指紋センサ5(レシーバ部)に、所定期間(Ty~Ty+dt)反射波を検
出させる。超音波のパルス幅に特に限定はない。
【0045】
ここで、Tyは、超音波のパルス放出時点からの経過時間である。また、dtは、指紋センサ5(レシーバ部)に反射を検出させる時間区間である。dtは、指紋センサ5(トランスミッタ部)が放出するパルス幅よりも長い時間区間であることが望ましい。情報処理装置10は、このような超音波のパルスの放射と、時間Tyを変更しつつの所定期間(Ty~Ty+dt)での反射波の検出を繰り返し実行させる。情報処理装置10は、超音波のパルスの放射後の時間Tyと、時間区間dtでの反射波による指紋センサ5(レシーバ部)での電気信号強度をメモリ2に保存する。このようにして、情報処理装置は、超音波のパルスの放射後の各時間Tyでの反射信号強度の時系列データを得る(S3A)。S3Aの処理は、間欠的に超音波の放出と反射波の検出とを繰り返ことの一例である。
【0046】
そして、情報処理装置10は、第1の実施形態の場合と同様、S2Aで検出された時系列データから、ピーク位置、すなわち、超音波パルス放射時点からの経過時間を特定する。そして、情報処理装置10は、特定した経過時間を受信ウィンドウ開始時間に決定する(S5)。なお、第1の実施形態と同様、情報処理装置10は、受信ウィンドウの幅については、そのまま補正前の値を用いてもよい。また、すでに述べたように、情報処理装置10は、経過時間Tyの前後の時系列データで、検出信号強度がピークに近い、基準値以上となる時間区間から受信ウィンドウの幅を設定してもよい。S2乃至S4の処理は、信号の処理方法の調整の一例である。
【0047】
以上述べたように、本実施形態の情報処理装置10は、間欠的な動作、すなわち、所定期間(Ty~Ty+dt)での反射波の検出を、時間をずらして繰り返すことで、保護フィルム30の貼付に対して、受信ウィンドウを補正できる。本実施形態の処理は、超音波方式の指紋センサ5において、所定時間連続して超音波の反射波を検出することができない場合に有効である。
【0048】
<第3の実施形態>
上記第1の実施形態および第2の実施形態では、情報処理装置10は、指紋センサ5に超音波パルスを放出させ、その反射信号のピークを検出することで、受信ウィンドウを補正した。しかし、情報処理装置10による受信ウィンドウの補正または適正値の決定は、上記処理に限定される訳ではない。
【0049】
例えば、情報処理装置10は、保護フィルム30に形成された特定パターン(例えば、穴)を検出することで、保護フィルム30の特性を認識するようにしてもよい。すなわち、本実施形態では、予め、保護フィルムには特定パターン(穴)が設けられる。情報処理装置10は、指紋センサ5により、その特定パターンに応じて受信ウィンドウ開始時間(
およびウィンドウの幅)を変更すればよい。
【0050】
より具体的には、情報処理装置10は、
図4に例示した指紋センサ5の検出領域上で、指紋センサ5によって特定パターン検出すればよい。さらに、情報処理装置10は、そのパターンと設定パラメータが対応する参照テーブルを備えておく。そして、情報処理装置10は、検出されたパターンに対応する設定パラメータを超音波方式の指紋センサ5の受信ウィンドウの設定に用いる。このとき、特定パターンは、保護フィルムの厚さ、密度などの物理特性に対応していてもよいし、受信ウィンドウ開始時間(およびウィンドウの幅)に対応していてもよい。さらに、情報処理装置10は、一定期間または複数回同じパターンを検出した場合、この特定パターンの画像を保存しておき、指紋画像から差し引くようにしてもよい。
【0051】
図8は、保護フィルム30に設けたパターンの断面を例示する図である。
図8のように
保護フィルム30に穴を設けることにより、保護フィルム30が存在する部分と保護フィルムが存在しない部分の超音波の反射波の違いから、指紋センサ5によって穴がある画像が生成される。そして、情報処理装置10は、指紋センサ5によって生成された画像から穴を認識し、その穴によりカバーガラス21上に保護フィルムが貼られたことを認識できる。この処理は、第1の実施形態および第2の実施形態で、受信ウィンドウの補正の要否を判断するための特定パターンの検出と同様である。
【0052】
図9は超音波方式の指紋センサ5の検出領域(
図4の点線の矩形領域)の左下部に保護フィルム30の穴がある場合の、指紋センサ5での読み取り画像の例である。この画像は指紋センサ5の検出領域上の保護フィルム表面に指が接触されていない状態の画像である。この状態の画像を指紋登録前、あるいは指紋認証前、あるいは何らかのタイミングで、情報処理装置10に読み取らせ、予め保存しておく。情報処理装置10は、実際に認証するため、指が検出領域に接触したときの画像から、予め保存され画像を画像処理(画素ごとの減算処理)することで保護フィルム30の穴をキャンセルし、指紋認証への影響を無くすことが出来る。なお、情報処理装置10は、予め保存され画像に対して事前に平滑化等の処理を実行し、ノイズなどを徐行し、保護フィルム30の特定パターン(穴)が形成された部分以外は、パターンが存在しないようにすればよい。
【0053】
図10は保護フィルム30に形成される特定パターンの例である。破線が指紋センサ5の検出領域に対応する位置を表している。特定パターン(穴)は指紋認証に影響のない大きさとする。特定パターン(穴)は、指紋認証に影響しないよう指紋センサ5の検出領域の端に設ける。特定パターンが穴である場合、穴が形成される位置、および穴の数を変えることで、複数の保護フィルム30を識別する識別情報が定義される。
【0054】
情報処理装置10は、特定パターン(穴)が形成される位置、および穴の数を認識し、複数の保護フィルム30を識別する。なお、特定パターン(穴)は保護フィルム30を貫通させないことで、エアギャップは生じるが、保護フィルム30表面上は違和感のない外観とすることができる。
【0055】
図11は、保護フィルム30を貫通させない特定パターンの断面形状を例示する図である。すなわち、保護フィルム30のフィルム基材30Aの裏面側に保護フィルム30を貫通させない特定パターンを形成する。そして、フィルム基材30Aの裏面側の特定パターンが形成された箇所以外の箇所に粘着剤30Bを塗布する。このような保護フィルム30は、情報処理装置10の
OLED4等のディスプレイに貼付された場合に、保護フィルム30表面上は違和感のない外観となる。
【0056】
図12は、情報処理装置10がメモリ2に記憶する特定パターンと保護フィルム30の特性とを対応づけた参照テーブルの構成を例示する図である。この参照テーブルの各行は、それぞれ異なる保護フィルム30の情報を保持する。また、この参照テーブルの各行は、特定パターンによって識別される。
図12の例では、この参照テーブルの各行は、パターン、基材の材質、基材の厚み、粘着剤の厚み、ウィンドウ開始時間、ウィンドウ幅の各列の要素を有する。
【0057】
この参照テーブルで「パターン」の列には、特定パターンの画像、または、画像の格納先のアドレスが格納される。ただし、パターンの列には、特定パターンに対応する識別情報(番号等)が設定されてもよい。いずれにしても、情報処理装置10が特定パターンを検出したときに、参照テーブルの行がユニークに決定できればよい。
【0058】
情報処理装置10は、特定パターンから参照テーブルの該当行を特定し、各保護フィルム30の基材の材質、基材の厚み、粘着剤の厚みを取得する。そして、情報処理装置10
は、基材の材質、基材の厚み、粘着剤の厚みにより、受信ウィンドウの開始時間(およびウィンドウ幅)を補正または決定すればよい。
【0059】
また、
図12の例では、参照テーブルは、「受信ウィンドウ開始時間」、「受信ウィンドウ幅」の列を有する。「受信ウィンドウ開始時間」の列には、各保護フィルム30を貼付した場合の適正な受信ウィンドウ開始時間が格納される。「受信ウィンドウ幅」の列には、各保護フィルム30を貼付した場合の適正な受信ウィンドウ幅(時間区間)が格納される。したがって、情報処理装置10は、特定パターンから直接、適正な受信ウィンドウ開始時間とウィンドウ幅を取得できる。
【0060】
図13は、特定パターンによる受信ウィンドウ開始時間を決定する処理(ウィンドウ決定処理という)を例示する図である。この処理でも、情報処理装置10のCPU1は、第1の実施形態または第2の実施形態と同様ユーザに対して、指紋センサの検出領域を指等で被覆しないようにガイダンスを表示し、注意を促す(S11)。次に、CPU1は、指紋センサ5から画像を取得し、特定パターンを検出する(S12)。特定パターンの検出は、指紋センサ5からの画像が特定のテンプレートとマッチするかどうかで決定される。特定パターンのテンプレートは、例えば、
図12の参照テーブルのパターンの列の各パターンである。S12の処理は、超音波センサが検出する画像中に特定のパターンが含まれるか否かを判定することの一例と言える。
【0061】
そして、CPU1は、特定パターンを検出すると、特定パターンに対応する識別情報を決定し、メモリ2に記憶された参照テーブルから、識別情報に対応する行にアクセスし、受信ウィンドウ開始時間を決定する(S13)。S13の処理は、指紋検出時において反射波を受信する時間区間を特定のパターンに対応する時間区間に決定することの一例と言える。
【0062】
なお、CPU1は、参照テーブルから、基材の材質、基材の厚み、粘着剤の厚み等の保護フィルム30の特性を読み出し、受信ウィンドウ開始時間等を計算してもよい。また、CPU1は、参照テーブルから、対応する受信ウィンドウ幅を読み出し、補正後の受信ウィンドウ幅としてもよい。したがって、S13の処理は、特定のパターンに対応づけて記憶した表示部の画面を被覆する保護膜の特性を基に、指紋検出時において反射波を受信する時間区間を決定することの一例であるとも言える。
【0063】
図14は、本実施形態の情報処理装置10の指紋認証処理を例示する図である。この処理では、情報処理装置10は、指紋センサ5から画像を取得する(S21)。そして、情報処理装置10は、指紋センサから取得した画像から、メモリ2に保存している特定パターンを含む画像を減算する(S22)。ここで、特定パターンを含む画像は、
図9に例示したように、指を指紋センサ5の検出領域に接触させない状態で、指紋センサ5から取得されたものである。また、特定パターンを含む画像は、画像の平滑化処理によって、特定パターン以外の画像は、画素値がなし(例えば、2値画像では画素値0)となるようにすればよい。S22の処理は、超音波センサが検出した画像中から、特定のパターンを削除することの一例と言える。そして、情報処理装置10は、指紋を認識し、指紋認証を実行する(S23)。
【0064】
(第3の実施形態の効果)
以上述べたように、情報処理装置10は、保護フィルム30が貼付されても指紋センサ5による画像の解像度の低下を抑制でき、生体認証精度を維持し、さらには、向上させることができる。
【0065】
指紋センサ5の検出領域上で、指紋認証に影響の無い領域の端に穴を設けた保護フィル
ム30を情報処理装置10のOLED4等のディスプレイに貼り付けることで、超音波方式の指紋センサ5が特定パターン、すなわち、穴の個数や位置を認識する。保護フィルム30は、保護フィルム30の材質・厚さなどにより、穴の個数や位置を割り当てられている。これにより、情報処理装置10は、メモリ2に形成した参照テーブルにおいて、穴の個数と位置で特定される特定パターンで識別されるテーブルの行を特定する。そして、情報処理装置10は、特定された参照テーブルの行から保護フィルム30の基材の材質、厚み、粘着剤の厚み等の特性を取得し、その特性に応じたチューニングパラメータを適用する。これにより、情報処理装置10は、その保護フィルム30を貼付した状態で、指紋センサ5が読み取る画像のレゾリューションを改善し、認証性能も向上することができる。
【0066】
なお、保護フィルムの穴の個数や位置に割り当てる情報は保護フィルムの材質・厚さだけではなく、他の情報を割り当てることもできる。
【0067】
また、本実施形態の処理では、かりに保護フィルム30に特定パターンが形成されていたとしても、
図14の処理のように、指紋認証前に、認証対象の画像から特定パターンの画像が減算される。その結果、情報処理装置10は、指紋認証処理において、保護フィルム30に形成された特定パターンの影響を除くことができる。
【0068】
<その他の変形例>
上記各実施形態では、情報処理装置10は、ディスプレイとしてOLED4およびタッチスクリーンセンサ3を有している。しかし、情報処理装置10のディスプレイがOLED4に限定される訳ではない。例えば、情報処理装置10は、液晶ディスプレイを有してもよい。
【0069】
また、例えば、保護フィルム30によりカメラ15(
図3参照)の光学特性が替わる場合、光学特性の補正情報を保護フィルムの穴の個数や位置に割り当てることで、情報処理装置10は、指紋センサ5で穴の個数や位置を認識し、カメラ15の光学特性を補正することができる。
【0070】
また、例えば、情報処理装置10が企業内で使用する携帯電話である場合、保護フィルムの穴の個数や位置に部署を割り当てることで、情報処理装置10は、その所有者の部署を認識することができる。更に所有者が部署の異動になった場合は、移動先の部署に応じた穴の個数や位置の保護フィルムに張り替えるだけで、情報処理装置10が保持する部署の情報を更新することができる。
【0071】
<コンピュータが読み取り可能な記録媒体>
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0072】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、ブルーレイディスク、DAT、8mmテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ROM(リードオンリーメモリ)等がある。さらに、SSD(Solid State Drive)は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ
等に固定された記録媒体としても利用可能である。
【符号の説明】
【0073】
1 CPU
2 メモリ
3 タッチスクリーンセンサ
4 OLED
5 超音波方式の指紋センサ
10 情報処理装置
11 無線通信部
12 レシーバ
13 スピーカ
14 マイク
15 カメラ
21 カバーガラス
30 保護フィルム