特開2019-219833(P2019-219833A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特開2019-219833情報処理装置、ウエアラブル機器、情報処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-219833(P2019-219833A)
(43)【公開日】2019年12月26日
(54)【発明の名称】情報処理装置、ウエアラブル機器、情報処理方法及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20191129BHJP
   A61B 5/11 20060101ALI20191129BHJP
   A61B 5/1172 20160101ALI20191129BHJP
【FI】
   G06T7/00 530
   A61B5/11 230
   A61B5/1172
【審査請求】未請求
【請求項の数】16
【出願形態】OL
【全頁数】29
(21)【出願番号】特願2018-115759(P2018-115759)
(22)【出願日】2018年6月19日
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100082762
【弁理士】
【氏名又は名称】杉浦 正知
(74)【代理人】
【識別番号】100123973
【弁理士】
【氏名又は名称】杉浦 拓真
(72)【発明者】
【氏名】作本 紘一
【テーマコード(参考)】
4C038
5B043
【Fターム(参考)】
4C038FF01
4C038FG00
4C038VA04
4C038VA07
4C038VB13
5B043AA04
5B043AA09
5B043BA02
5B043DA05
5B043EA02
5B043EA03
5B043EA06
5B043EA07
5B043EA10
5B043EA14
5B043EA18
5B043FA02
5B043FA03
5B043FA07
5B043GA02
(57)【要約】
【課題】例えば、不要な電力が消費されることを防止する。
【解決手段】少なくとも、第1のモードと、第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定する制御部を有し、制御部は、第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、画像に生体情報が含まれることをトリガーとして、動作モードを第1のモードから第2のモードに遷移させ、第2のモードでは、少なくとも生体情報を使用したマッチング処理を行う情報処理装置である。
【選択図】図16
【特許請求の範囲】
【請求項1】
少なくとも、第1のモードと、前記第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定する制御部を有し、
前記制御部は、
前記第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第1のモードから前記第2のモードに遷移させ、
前記第2のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理装置。
【請求項2】
前記第2のモードでは、前記第1のモードの設定とは異なる設定に基づいて、前記センサ部により画像が取得される
請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、前記第1のモードでは、前記センサ部により撮影が行われるタイミングで発光する発光部を第1の輝度で発光させ、前記第2のモードでは、前記第1の輝度より大きい第2の輝度で前記発光部を発光させる
請求項2に記載の情報処理装置。
【請求項4】
前記制御部は、前記第1のモードでは、第1の解像度の前記画像を取得するように前記センサ部を制御し、前記第2のモードでは、前記第1の解像度より大きい第2の解像度の前記画像を取得するように前記センサ部を制御する
請求項2に記載の情報処理装置。
【請求項5】
前記制御部は、前記第1のモードでは、前記センサ部の一部を使用して前記画像を取得する制御を行い、前記第2のモードでは、前記センサ部の全体を使用して前記画像を取得する制御を行う
請求項2に記載の情報処理装置。
【請求項6】
前記第1の動作モードの消費電力より消費電力が小さい第3のモードから前記第1のモードに動作モードが遷移可能とされており、
前記制御部は、
前記情報処理装置の動きが検出された場合及び所定の操作が検出された場合の少なくとも一方をトリガーとして、前記第3のモードから前記第1のモードに動作モードを遷移させる
請求項3に記載の情報処理装置。
【請求項7】
前記第3のモードでは、前記制御部は、前記発光部及び前記センサ部をオフする
請求項6に記載の情報処理装置。
【請求項8】
前記所定の操作を検出するタッチセンサ部が前記センサ部の近傍に設けられている
請求項6に記載の情報処理装置。
【請求項9】
前記発光部を有する
請求項3に記載の情報処理装置。
【請求項10】
前記トリガーの内容が、前記第1のモードから前記第2のモードに遷移しづらくなるように変更される
請求項1に記載の情報処理装置。
【請求項11】
前記制御部は、前記センサ部を介して得られる生体情報を含む画像から、特徴点を検出する特徴点検出部と、前記特徴点を含む周辺画像に基づいて、前記特徴点を特徴付ける特徴量を抽出する特徴量抽出部とを有する
請求項1に記載の情報処理装置。
【請求項12】
前記生体情報は、指紋及び血管の少なくとも一方である
請求項1に記載の情報処理装置。
【請求項13】
前記第1のモードに係る処理が前記制御部とは異なる他の制御部によって行われる
請求項1に記載の情報処理装置。
【請求項14】
少なくとも、第1のモードと、前記第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定する制御部と、
画像を取得するセンサ部と
を有し、
前記制御部は、
前記第1のモードでは、前記センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第1のモードから前記第2のモードに遷移させ、
前記第2のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
ウエアラブル機器。
【請求項15】
制御部が、少なくとも、第1のモードと、前記第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定し、
前記制御部は、
前記第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第1のモードから前記第2のモードに遷移させ、
前記第2のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理方法。
【請求項16】
制御部が、少なくとも、第1のモードと、前記第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定し、
前記制御部は、
前記第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第1のモードから前記第2のモードに遷移させ、
前記第2のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、ウエアラブル機器、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来から、異なるモードによってセンシングを行う装置が知られている(例えば、下記特許文献1及び2を参照のこと。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2015−520456
【特許文献2】特許第5712746号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような分野では、モードを適切に遷移させることで、センシングで消費される電力を適切にコントロールし、不要な電力消費を抑制することが望まれている。
【0005】
本開示は、不要な電力消費を抑制することができる情報処理装置、ウエアラブル機器、情報処理方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0006】
本開示は、例えば、
少なくとも、第1のモードと、第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定する制御部を有し、
制御部は、
第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
画像に生体情報が含まれることをトリガーとして、動作モードを第1のモードから第2のモードに遷移させ、
第2のモードでは、少なくとも生体情報を使用したマッチング処理を行う
情報処理装置である。
【0007】
本開示は、例えば、
少なくとも、第1のモードと、第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定する制御部と、
画像を取得するセンサ部と
を有し、
制御部は、
第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
画像に生体情報が含まれることをトリガーとして、動作モードを第1のモードから第2のモードに遷移させ、
第2のモードでは、少なくとも生体情報を使用したマッチング処理を行う
ウエアラブル機器である。
【0008】
本開示は、例えば、
制御部が、少なくとも、第1のモードと、第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定し、
制御部は、
第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
画像に生体情報が含まれることをトリガーとして、動作モードを第1のモードから第2のモードに遷移させ、
第2のモードでは、少なくとも生体情報を使用したマッチング処理を行う
情報処理方法である。
【0009】
本開示は、例えば、
制御部が、少なくとも、第1のモードと、第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定し、
制御部は、
第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
画像に生体情報が含まれることをトリガーとして、動作モードを第1のモードから第2のモードに遷移させ、
第2のモードでは、少なくとも生体情報を使用したマッチング処理を行う
情報処理方法をコンピュータに実行させるプログラムである。
【発明の効果】
【0010】
本開示の少なくとも一つの実施の形態によれば、不要な電力消費を抑制することができる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
【図面の簡単な説明】
【0011】
図1図1は、実施の形態に係るリストバンド型電子機器の外観例を示す図である。
図2図2は、実施の形態に係るリストバンド型電子機器の内部構造例を示す図である。
図3図3は、リストバンド型電子機器の内部構造のより具体的な例を示す図である。
図4図4は、実施の形態に係るリストバンド型電子機器の回路構成例を示すブロック図である。
図5図5は、実施の形態に係る制御部の機能例を説明するための機能ブロック図である。
図6図6は、指紋の特徴点を説明するための図である。
図7図7は、実施の形態に係る前処理部の機能例を説明するための機能ブロック図である。
図8図8A図8Dは、実施の形態に係るノイズ除去部による処理を説明するための図である。
図9図9A及び図9Bは、指紋の流れの方向及び主要周波数を検出する処理の一例を説明する際に参照される図である。
図10図10は、撮影範囲の外側まで指紋線を推定する処理を説明するための図である。
図11図11は、確信度マップの一例を示す図である。
図12図12は、確信度の一例を説明するための図である。
図13図13A及び図13Bは、確信度マップ付きの隆線推定画像を生成する処理を説明するための図である。
図14図14A及び図14Bは、実施の形態に係る登録処理を説明するための図である。
図15図15A及び図15Bは、実施の形態に係るマッチング処理を説明するための図である。
図16図16は、動作モードの遷移の一例を説明するための状態遷移図である。
図17図17A及び図17Bは、トリガーPの一例を説明するための図である。
図18図18は、トリガーPの他の例を説明するための図である。
図19図19A及び図19Bは、リストバンド型電子機器で規定される軸方向の一例を説明するための図である。
図20図20A図20Cは、トリガーPの他の例を説明するための図である。
図21図21A及び図21Bは、トリガーPの他の例を説明する際に参照される図である。
図22図22A図22Dは、トリガーQの一例を説明するための図である。
図23図23は、トリガーQの一例を説明するための図である。
図24図24A図24Dは、トリガーQの他の例を説明する際に参照される図である。
図25図25は、第2の実施の形態に係る処理の流れを示すフローチャートである。
図26図26は、第2の実施の形態に係る処理の流れを示すフローチャートである。
図27図27は、変形例を説明するための図である。
【発明を実施するための形態】
【0012】
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<第1の実施の形態>
<第2の実施の形態>
<変形例>
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
【0013】
<第1の実施の形態>
[リストバンド型電子機器について]
(リストバンド型電子機器の外観例)
第1の実施の形態について説明する。第1の実施の形態は、本開示を情報処理装置の一例、より具体的にはウエアラブル機器の一例であるリストバンド型電子機器に適用した例である。図1は、第1の実施の形態に係るリストバンド型電子機器(リストバンド型電子機器1)の外観例を示している。
【0014】
図1に示すように、リストバンド型電子機器1は、例えば、時計のように用いられる。より詳細には、リストバンド型電子機器1は、ユーザの手首WRに巻き付けられるバンド部2と、本体部3とを有している。本体部3は、ディスプレイ4を有している。詳細は後述するが、実施の形態に係るリストバンド型電子機器1では、ディスプレイ4に指先を接触させることにより、指先の指紋情報を用いた生体認証を行うことが可能とされている。
【0015】
(リストバンド型電子機器の内部の構造例)
図2は、リストバンド型電子機器1の本体部3内部の構造例を説明するための部分断面図である。リストバンド型電子機器1の本体部3は、例えば、上述したディスプレイ4、導光板5、発光部6、タッチセンサ部7、センサ部の一例である撮像素子8及びレンズ部9を有している。
【0016】
概略的には、図2に示すように、指先Fによる接触操作がディスプレイ4に対してなされ、接触の有無がタッチセンサ部7により検出される。リストバンド型電子機器1の本体部3は、操作方向から見て手前側から奥側に向かって、導光板5、ディスプレイ4、レンズ部9及び撮像素子8が順次、積層された構造を有している。なお、ディスプレイ4に対する接触は、ディスプレイ4に対する直接的な接触だけでなく、他の部材(例えば、導光板5)を介した間接的な接触を含んでいても良い。また、ディスプレイ4に対する接触には、例えば指先Fがディスプレイ4に触れることだけでなく、指紋画像が得られる程度に指先Fをディスプレイ4に近接させることを含んでいても良い。
【0017】
以下、各構成について説明する。ディスプレイ4は、液晶LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)等から構成されている。導光板5は、例えば、発光部6からの光を指先Fが接触される位置である領域ARに導光する光透過性部材である。導光板5は、透明のものに限らず、撮像素子8による指先Fの指紋の撮影が可能な程度、光を透過するものであれば良い。
【0018】
発光部6は、LED(Light Emitting Diode)等から構成されており、導光板5の周囲の少なくとも一部に設けられている。なお、領域ARは、撮像素子8に対応する位置、具体的には、少なくとも撮像素子8による撮影の範囲に対応する位置を含む領域である。発光部6は、例えば、指紋を撮影する際に点灯することで、撮影に必要とされる光を提供する。
【0019】
タッチセンサ部7は、ディスプレイ4に対する指先Fの接触を検出するセンサである。タッチセンサ部7としては、例えば、静電容量方式のタッチセンサが適用される。タッチセンサ部7として抵抗膜方式等、他の方式のタッチセンサが適用されても良い。なお、図2では、領域ARの下部付近の位置にタッチセンサ部7が局所的に設けられているが、ディスプレイ4の下側の略全面にわたってタッチセンサ部7が設けられていても良い。
【0020】
撮像素子8は、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等により構成されている。撮像素子8は、レンズ部9を介して入射する被写体光(ディスプレイ4に接触したものからの反射光)を光電変換して電荷量に変換する。撮像素子8を介して得られる画像信号に対して後段における種々の処理が行われる。レンズ部9は、撮像素子8の数十〜数百画素に1つの間隔で設けられるレンズ(マイクロレンズ)により構成されるものである。
【0021】
図3は、リストバンド型電子機器1の内部構造のより具体的な例を示す図である。以下に説明する例は、ディスプレイ4が、透明有機EL素子や量子ドット発光素子等の透明発光素子を複数個有する透明パネル部として説明する。
【0022】
図3に示すように、ディスプレイ4は、有効領域4Aと、外枠部4Bとを有している。
ディスプレイ4は、複数の透明発光素子の発光によって、有効領域4Aに画像を表示する表示パネルとしての機能を有している。なお、透明発光素子は、例えば、有効領域4A内にマトリクス状に配置されている。また、ディスプレイ4は、例えば発光素子用の複数の配線間の静電容量の値に基づいて指等の物体によるタッチ状態を検出するタッチセンサとしての機能を有している。図3に示すように、ディスプレイ4の上面(操作側)にはカバーガラス50が設けられ、ディスプレイ4の一部の領域の下に、撮像素子8を含む撮像部60が配置されている。
【0023】
撮像部60は、ディスプレイ4の一部の領域の下に配置されている。撮像部60は、ディスプレイ4における一部の領域に接触または近接した物体をディスプレイ4を介して撮像する機能を有している。撮像部60によって撮像する物体は、例えば生体の一部であってもよい。撮像部60は、生体の一部を撮像することによって得られた生体の一部の撮像画像に基づいて、生体の一部の生体認証を行う生体認証デバイスの機能を有していてもよい。撮像部60における生体認証デバイスとしての機能によって、例えば指紋センサを構成することができる。
【0024】
撮像部60は、図3に示すように、マイクロレンズアレイモジュール61と、撮像部外枠62と、上述した撮像素子8と、基板63とを有している。マイクロレンズアレイモジュール61は、上側から見てディスプレイ4の有効領域4A内に配置されている。撮像素子8は、基板63上に配置されている。
【0025】
マイクロレンズアレイモジュール61は、撮像素子8とディスプレイ4の有効領域4Aとの間に配置されている。マイクロレンズアレイモジュール61は、上側から順に、カバーガラス兼導光板65と、マイクロレンズアレイ66と、導光板67とを有している。
【0026】
マイクロレンズアレイ66は、マトリクス状に配置された複数のマイクロレンズを有している。マイクロレンズアレイ66は、複数のマイクロレンズのそれぞれによって指等の物体からの物体光を撮像素子8に向けて集光する。
【0027】
カバーガラス兼導光板65は、マイクロレンズアレイ66の表面を保護する役割を持つ。また、カバーガラス兼導光板65は、ディスプレイ4の有効領域4Aを透過した物体光を、複数のマイクロレンズのそれぞれに導く役割を持つ。カバーガラス兼導光板65は、複数のマイクロレンズのそれぞれに対応する位置に設けられた複数の導光路を有している。
【0028】
導光板67は、図3に示すように、複数の導光路68を有している。複数の導光路68は、複数のマイクロレンズのそれぞれに対応する位置に設けられ、複数のマイクロレンズのそれぞれによって集光された光を撮像素子8に導くようになっている。
【0029】
(リストバンド型電子機器の回路構成例)
図4は、リストバンド型電子機器1の回路構成例等を示すブロック図である。リストバンド型電子機器1は、上述したディスプレイ4、タッチセンサ部7及び撮像素子8等の他に、例えば、制御部11、無線通信部12、無線通信部12に接続されるアンテナ13、NFC(Near Field Communication)通信部14、NFC通信部14に接続されるアンテナ15、位置センサ部16、位置センサ部16に接続されるアンテナ17、メモリ部18、バイブレータ19、モーションセンサ20、音声処理部21、マイクロホン22及びスピーカ23を有している。
【0030】
制御部11は、例えばCPU(Central Processing Unit)から構成されており、リストバンド型電子機器1の各部を制御する。例えば、制御部11は、撮像素子8により撮影される指先Fの指紋画像に種々の画像処理を施すと共に、生体情報の一つである指紋の画像(指紋画像)に基づく指紋認証を行う。
【0031】
無線通信部12は、例えばBluetooth(登録商標)の規格に基づいて他の端末と近距離無線通信を行う。無線通信部12は、例えばBluetooth(登録商標)の規格に対応して、変調/復調処理やエラー訂正処理等を行う。
【0032】
NFC通信部14は、NFCの規格に基づいて、近接したリーダー/ライタと無線通信を行う。なお、図示は省略しているが、リストバンド型電子機器1の各部に対しては、リチウムイオン二次電池等のバッテリから電力が供給される。当該バッテリが、NFCの規格に基づいてワイヤレス充電されるようにしても良い。
【0033】
位置センサ部16は、例えば、GNSS(Global Navigation Satellite System)と称されるシステムを利用して、現在位置の測位を行う測位部である。これらの無線通信部12、NFC通信部14、位置センサ部16で得られたデータは、制御部11に供給される。そして、制御部11は、供給されたデータに基づく制御を実行する。
【0034】
メモリ部18は、制御部11が実行するプログラムが格納されるROM(Read Only Memory)や制御部11がプログラムを実行する際のワークメモリとして使用されるRAM(Random Access Memory)やデータ記憶用の不揮発性メモリ等を総称したものである。なお、メモリ部18には、指紋認証用に用いられる正規ユーザの指紋の特徴量(以下、登録済特徴量と適宜、称する)が記憶される。この登録済特徴量は、例えば、リストバンド型電子機器1を初めて使用する際に初期登録される。
【0035】
バイブレータ19は、例えば、リストバンド型電子機器1の本体部3を振動させる部材である。バイブレータ19による本体部3の振動で、電話の着信や電子メールの受信等が通知される。
【0036】
モーションセンサ20は、リストバンド型電子機器1を装着したユーザの動きを検出する。モーションセンサ20としては、加速度センサ、ジャイロセンサ、電子コンパス、気圧センサ、血圧や脈拍等を検出するバイオセンサなどが使用される。また、リストバンド型電子機器1をユーザが装着したか否かを検出するための圧力センサ等がバンド部2や本体部3の裏側(手首に向く側)に設けられていても良い。
【0037】
音声処理部21には、マイクロホン22とスピーカ23とが接続され、音声処理部21が、無線通信部12での無線通信で接続された相手と通話の処理を行う。また、音声処理部21は、音声入力操作のための処理を行うこともできる。
【0038】
ディスプレイ4、タッチセンサ部7等については既に説明してあるので、重複した説明を省略する。
【0039】
以上、リストバンド型電子機器1の構成例について説明した。勿論、リストバンド型電子機器1は、上述した構成例に限定されるものではなく、上述したリストバンド型電子機器1の構成の一部が無い構成でも良いし、他の構成が追加された構成でも良い。
【0040】
[制御部について]
図5は、制御部11が有する機能の一例を説明するための機能ブロック図である。制御部11は、前処理部11a、特徴点検出部11b、特徴量抽出部11c及びマッチング処理部11dを有している。
【0041】
前処理部11aは、入力される指紋画像に対して種々の補正処理を行う。前処理部11aにより行われる処理の詳細については、後述する。
【0042】
特徴点検出部11bは、公知の方法を適用することにより指紋を含む画像から指紋の特徴点を検出する。指紋の特徴点とは、例えば、図6に示すような、指紋の指紋線に描かれる模様の中の終点や分岐点、後述する指紋線の交差点や孤立点であり、指紋を照合する際に必要な特徴的な箇所である。なお、指紋線とは、本実施の形態では、指紋の隆線として説明するが、指紋の隆線及び谷線の少なくとも一方であれば良い。
【0043】
特徴量抽出部11cは、特徴点検出部11bにより検出された個々の特徴点を特徴付ける特徴量を抽出する。特徴量としては、特徴点の位置、特徴線の向き(例えば、隆線で規定される所定方向に対する相対的な向き(ベクトル)等である。本実施の形態では、特徴量抽出部11cは、特徴点を含む周辺画像に基づいて、当該特徴点の特徴量を抽出する。周辺画像は、例えば、特徴点を中心として、3mm×3mmの大きさで切り出し、角度で正規化された画像が適用されるが、これに限定されるものではない。ただし、角度で正規化した上で特徴量を抽出することの効果として、登録時と照合時で撮影された指の向きが異なっていても、特徴点の角度を正規化することにより、抽出される特徴量が変化しにくくなる効果、つまり指を置く角度に対するロバスト性が向上する効果、が得られることに注意されたい。係る周辺画像を使用することにより、特徴点の周辺の情報を特徴量に含むことが可能となる。例えば、特徴点の周辺に汗腺が存在する場合には、当該特徴点に対する汗腺の相対的な位置を、当該特徴点の特徴量とすることができる。このように、本実施の形態では、特徴点の位置、特徴点の向き及び汗腺の位置の少なくとも一つを特徴量として使用する。特に1000ppi以上の高解像度画像を利用した際には、少ない特徴点(例えば1点ないし2点)数でも十分に個人を識別することが可能になるため、本開示に係る実施の形態は指の広い範囲の指紋撮影が必ずしも必要とされない、小面積での指紋照合に適した手法とも言える。
【0044】
マッチング処理部11dは、特徴量抽出部11cにより抽出された特徴量と、予め登録されている登録済特徴量とを照合するマッチング処理を行い、マッチング処理の結果である照合スコアを出力する。照合スコアが閾値以上であれば、指紋認証が成立、即ち、正規ユーザと判定される。反対に、照合スコアが閾値より小さい場合には、指紋認証が不成立となる。マッチング処理の結果が、表示、音、振動等によりユーザに報知されても良い。マッチング処理の結果、認証が成立した場合には、リストバンド型電子機器1の所定の機能の利用が許可される等、アプリケーションに応じた利用が可能となる。なお、本実施の形態では、登録済特徴量はメモリ部18に記憶されているものとして説明するが、クラウド上のサーバ装置等、外部装置に記憶されていても良く、指紋認証を行う際に外部装置から登録済特徴量がダウンロードされても良い。係る構成の場合、セキュリティを向上させる観点から、マッチング処理が終了した後に、登録済特徴量がリストバンド型電子機器1から自動的に消去されるようにしても良い。
【0045】
[前処理部について]
次に、前処理部11aについて説明する。図7は、前処理部11aの機能の一例を説明するための機能ブロック図である。前処理部11aは、補正処理に含まれる機能を実行する構成として、例えば、ノイズ除去部101、画像生成部としての隆線推定画像生成部102及び確信度マップ生成部103を有している。
【0046】
(ノイズ除去部について)
ノイズ除去部101は、指紋画像に含まれるノイズを除去する。図8A図8Dは、ノイズ除去部101により行われるノイズ除去処理を説明するための図である。図8Aの右側の画像は指紋画像IM1Aを示しており、指紋画像IM1Aには、ゴミNAが写り込んでいる。ノイズ除去部101は、例えば、隣接画素間の輝度値の変化が所定以上である領域をゴミと判別し、ゴミNAの周辺画素を用いた補間処理等を行うことによりゴミNAを除去する。指紋画像IM1AからゴミNAが除去された画像を用いて、図8Aの右側に示すような隆線推定画像IM2Aが隆線推定画像生成部102により生成される。なお、ゴミ等のノイズを除去する処理としては、他の公知の処理を適用することができる。以下に説明するゴミ以外のノイズを除去する処理でも同様である。
【0047】
また、ノイズ除去部101は、例えば、ゴミ以外のノイズである固定パターンノイズを除去する。図8Bの左側の画像は指紋画像IM1Bを示しており、指紋画像IM1Bには、例えば、縦線の縞模様の固定パターンノイズNBが写り込んでいる。係る固定パターンノイズNBとしては、例えば、ディスプレイ4の構造、より具体的には、ディスプレイ4自体が有する模様を挙げることができる。
【0048】
本実施の形態に係るリストバンド型電子機器1の構造の場合、操作方向を基準として、ディスプレイ4の奥側に撮像素子8が配置されている。このため、撮像素子8介して得られる画像にディスプレイ4が有する模様が固定パターンノイズNBとして、指紋画像に写り込む虞がある。しかしながら、ノイズ除去部101は、このような固定パターンノイズNBを除去し、ノイズNBの箇所を補間するようにしているので、本実施の形態に係るリストバンド型電子機器1の構造の場合であっても、指紋認証の精度が低下してしまうことを防止することができる。指紋画像IM1Bから固定パターンノイズNBが除去された画像を用いて、図8Bの右側に示すような隆線推定画像IM2Bが隆線推定画像生成部102により生成される。
【0049】
また、ノイズ除去部101は、ゴミ以外のノイズである撮像素子の境界を除去する。例えば、撮像素子8が、複数のサブセンサ部として4個の撮像素子を有し、当該4個の撮像素子を組み合わせた構成を有する場合を想定する。仕様上、あるサイズの撮像素子8が要求される場合に、既存サイズの撮像素子を組み合わせることで要求されるサイズの撮像素子8を形成することができるのであれば、新たなサイズの撮像素子8を別途、製造するより、製造コスト等の面で有利である。
【0050】
しかしながら、複数の撮像素子を組み合わせた構造を撮像素子8が有する場合、図8Cの左側に示すように、複数の撮像素子間の境界が指紋画像IM1CにノイズNCとして写り込む。ノイズ除去部101は、このようなノイズNCを除去し、ノイズNCの箇所を補間するようにしているので、本実施の形態に係るリストバンド型電子機器1の構造の場合であっても、指紋認証の精度が低下してしまうことを防止することができる。指紋画像IM1CからノイズNCが除去された画像を用いて、図8Cの右側に示すような隆線推定画像IM2Cが隆線推定画像生成部102により生成される。
【0051】
また、ノイズ除去部101は、撮像素子8を介して得られる画像に、指紋とは全く異なるものがノイズとして写り込んでいる場合は、それを除去する。例えば、図8Dの左側に示すように、指紋と異なるもの(図示の例では、迷路状の模様を有するもの)がノイズNDとして画像IM1Dに写り込んでいる。ノイズ除去部101は、例えば、隆線に対応する曲線模様を全く含まないものについては指紋以外のものであると判別し、その模様を除去する。図8Dの右側には除去後の画像IM2Dが示されている。係る処理は、例えば、指紋認証を行う際に、ユーザの服等がディスプレイ4に触れたとき等に有用である。なお、画像IM2Dには指紋は写っていないため、画像IM2Dの場合は、指紋認証に係る処理が行われないようにしても良い。
【0052】
以上のように、ノイズ除去部101による補正処理が行われることにより、ノイズの影響によって指紋認証の精度が低下してしまうことを防止することができる。また、指紋認証の精度が低下してしまうことにより発生する認証の失敗によるフィードバックがユーザに対して行われてしまうことを防止することができる。
【0053】
(隆線推定画像生成部について)
次に、隆線推定画像生成部102について説明する。隆線推定画像生成部102は、ノイズ除去部101による処理が施された画像に基づいて、指紋線に基づく模様を推定した隆線推定画像を生成する。隆線推定画像の生成方法としては、公知の方法を適用することができる。本実施の形態に係る隆線推定画像の生成方法の例について説明する。
【0054】
例1として、隆線推定画像生成部102は、ノイズ除去部101による処理が施された画像にFFT(Fast Fourier Transform)を利用し、指紋の指紋線の平均的な周期(例えば、0.4mm周期)の周波数前後のバンドパスフィルタを適用することにより、隆線推定画像を生成する。
【0055】
他の例である例2として、隆線推定画像生成部102は、周辺1mm角分の領域毎にFFTを利用してその領域で支配的な周波数(以下、主要周波数と適宜、称する)と波の角度(指紋の流れ方向)とを抽出し、その周波数と角度に合わせたGaborフィルタを適用するにより隆線推定画像を生成する。上述した2つの例によれば、主な隆線/谷線が強調され、小さなノイズの影響を小さくすることができる。
【0056】
例2において、指紋の流れ方向と主要周波数とを検出する方法の例について、図9を参照して説明する。図9Aにおける左側に示す画像IM8は、ある指紋画像IM8を示している。また、図9Aにおける右側には、画像IM8に対してFFTを適用することにより得られる周波数スペクトルが示されている。当該周波数スペクトルに重畳されている放射状のラインのうち一のラインは、後述する積分値が最も大きい成分を示している。また、図9Bは、積分値が最も大きくなる成分の方向(主方向)の周波数プロファイルを示している。
【0057】
第1のステップとして、周波数スペクトルの16方向についてプロファイルを抽出し、その積分値最もが大きい方向を決定する。これが主な波の方向成分になる。続く、第2のステップとして、主方向の周波数プロファイルからピーク値を検出し、そのピーク値に対応する周波数を主要周波数とする。このようにして、指紋の流れ方向と主要周波数を検出することができる。
【0058】
なお、本実施の形態に係る隆線推定画像生成部102は、撮影された領域の外側まで所定範囲、拡張して、指紋の模様を推定するようにしている。例えば、図10Aに示す指紋画像IM9Aに基づいて、図10Bに示すように、指紋画像IM9Aより所定サイズ大きい範囲まで拡大した隆線推定画像IM9Bを生成する。例えば、元のサイズ(指紋画像IM9Aのサイズ)により得られた指紋線を、当該指紋線の流れ(向き)に沿って延長する。係る処理により、所定の指紋線と当該指紋線とは別の指紋線が合わさる位置、換言すれば、上述した指紋の特徴点の一つである指紋線の分岐点や交差点を得ることができる場合がある。以上の処理により、例えば、撮像素子8のサイズが小さく、当該撮像素子8により得られる画像の領域に限界がある場合でも、より多くの特徴点を得ることが可能となり、指紋認証の精度を向上させることができる。
【0059】
(確信度マップ生成部について)
次に、確信度マップ生成部103について説明する。確信度マップ生成部103は、指紋に対応するする模様を推定した画像である隆線推定画像の領域のうち、推定の結果の確からしさを示す確信度マップを生成する。
【0060】
図11は、確信度マップの一例である確信度マップMA10を示している。図11に示す確信度マップMA10では、画像の領域が白及び黒の領域にそれぞれ分割されている。本例では、白の領域が、確信度が高い領域、即ち、指紋線の模様が正確に得られているとされる領域である。一方、黒の領域が、確信度が低い領域ある。確信度に対する所定の閾値が設定され、確信度が閾値以上であれば確信度が高い領域として設定され、確信度が閾値より小さければ確信度が低い領域として設定される。
【0061】
ここで、確信度に関する一例について説明する。例えば、画像から所定サイズの画像(例えば、1mm×1mmの矩形画像)を切り出す。そして、切り出した画像について、各画素が有する輝度値の分布を示す輝度分布を作成する。
【0062】
図12は、輝度分布の一例を示している。輝度の頻度分布Pi(i=0,…,255)を下から積分した積分値が10%に達する輝度値、すなわち
Σ0BV1Pi=0.1
となる輝度値、つまり10パーセンタイルの輝度値をBV1とし、輝度の頻度分布Piを上から積分した積分値が10%に達する輝度値、すなわち
ΣBV2255Pi=0.1
となる輝度値、つまり90パーセンタイルの輝度値をBV2とする。輝度値BV1と輝度値BV2との差分値Dが、確信度として設定される。なお、切り出した画像の輝度値の分散が確信度とされても良い。
【0063】
なお、上述した隆線推定画像生成部102の機能と確信度マップ生成部103の機能とを一つの機能ブロックとして構成し、当該機能ブロックが確信度付き隆線推定画像を生成するようにしても良い。
【0064】
図13を参照して、確信度付き隆線推定画像の生成方法の一例について説明する。図13Aに示すように、入力指紋画像xに対して、関数h及び関数f'による演算を行うことにより隆線推定画像f(x)を得る(但し、f(x)=f'(h(x)))。
【0065】
また、入力指紋画像xに対して、関数h及び関数g'による演算を行うことにより確信度マップであるCertainty画像g(x)を得る(但し、g(x)=g'(h(x)))。Certainty画像g(x)において、白の領域が誤差α以下で認識できる見込みの領域であり、黒の領域が誤差α以下に抑えられない領域である。
【0066】
ここで、入力指紋画像xに対して正確な隆線画像を、正解隆線画像yとする。正解隆線画像yと隆線推定画像f(x)との推定誤差を推定誤差dyとする。
【0067】
処理の目的の一つは、xからyに近い画像f(x)を推定することである。また、他の目的は、正しく推定できる見込みの領域を認識する、換言すれば、推定誤差をα以下にできる見込みの領域であるか否かを判別することである。
【0068】
ここで、制御部11は、図13Bに示すロス関数を最小化する関数f、gを同時に学習する(但し、0≦g(x)≦1)。図13Bに示すロス関数における括弧で摘示した箇所が推定誤差dyiとなる。
【0069】
ここでは「gi(x)・dyi+(1−gi(x))・α」を最小化するため、谷線推定の誤差がdyi<αとなる見込みの画素については、Certainty gi(x)を大きくする力が働く。
【0070】
一方、谷線推定の誤差がdyi>αとなる見込みの画素については、Certainty gi(x)を小さくする力が働く。結果として、「gi(x)・dyi+(1−gi(x))・α」を最小化することにより、Certainty gi(x)は谷線推定の誤差がdyi<αとなる見込みの大きさを示すよう最適化される。
【0071】
[処理の流れについて]
(登録処理について)
次に、リストバンド型電子機器1で行われる処理の流れについて説明する。始めに、図14を参照して、指紋の特徴点に対応する特徴量を登録する登録処理について説明する。図14Aは、登録処理の流れを示した図である。また、図14Bは、各処理で得られる画像等を各処理に対応付けて示した図である。
【0072】
ステップST11では、画像入力処理が行われる。例えば、ディスプレイ4に指先が接触され、撮像素子8を介して指紋画像が取得される。指紋認証を取得する際に、発光部6が発光する。そして、処理がステップST12に進む。
【0073】
ステップST12では、前処理部11aによる前処理が行われる。具体的には、ノイズ除去部101により、指紋画像からノイズが除去される。また、ノイズが除去された指紋画像に基づいて、隆線推定画像生成部102が、隆線推定画像を生成する。また、確信度マップ生成部103が、確信度マップを生成する。なお、図14Bでは、確信度マップの図示は省略している。そして、処理がステップST13に進む。
【0074】
ステップST13では、特徴点検出部11bが、隆線推定画像に基づいて、指紋の特徴点を検出する。本実施の形態では、特徴点検出部11bは、確信度マップを参照し、一定以上の確信度であると判定された領域内から特徴点を検出する。図14Bでは、3個の特徴点(円が付された箇所の中心)が検出された例が示されている。そして、処理がステップST14に進む。
【0075】
ステップST14では、特徴量抽出部11cが、各特徴点を特徴付ける特徴量を抽出する。上述したように、特徴量抽出部11cは、各特徴点を中心とする所定サイズの画像を切り出し、切り出した画像に基づいて特徴量を抽出する。そして、処理がステップST15に進む。
【0076】
ステップST15は、制御部11が、ステップST14における処理で抽出された各特徴点の特徴量を登録するテンプレート登録処理を行う。各特徴点の特徴量は、例えば、メモリ部28に記憶される。メモリ部28に記憶された特徴量が、登録済特徴量として、次に説明するマッチング処理で使用される。
【0077】
(マッチング処理について)
次に、図15を参照して、マッチング処理について説明する。図15Aは、マッチング処理の流れを示した図である。図15Bは、各処理で取得される特徴量の例や、処理内容を説明する際に参照される図を各処理に対応付けて示した図である。
【0078】
ステップST21では、ディスプレイ4に指先が置かれ、指紋画像が取得される。そして、特徴量が抽出される特徴量抽出処理が行われる。なお、ステップST21における特徴量抽出処理は、上述したステップST11〜ST14までを含む処理である。ステップST21の処理により指紋認証を行うための照合用の特徴量が取得される。図15Bでは、5個の特徴点に対応する特徴量が示されている。そして、処理がステップST22に進む。
【0079】
ステップST22では、制御部11がメモリ部28から登録済特徴量を読み出す。図15Bでは、登録済特徴量の一例が示されている。そして、処理がステップST23に進む。
【0080】
ステップST23では、マッチング処理部11dが、ステップST21の処理で取得された特徴量と、ステップST22で読み出された登録済特徴量とを照合するマッチング処理を行う。
【0081】
マッチング処理の一例について説明する。マッチング処理部11dは、照合用の特徴量と、登録済特徴量との類似度スコアを内積演算によって求め、その結果に基づいて、図15Bに示す類似度スコア行列を生成する。類似度スコア行列における「A」は登録済の特徴点を示し、「B」は照合用の特徴点を表している。但し、(i,j)成分はAiとBi の類似度スコアである。
【0082】
マッチング処理部11dは、類似度スコア行列に基づいて、照合スコアを算出する。照合スコアが閾値以上であれば指紋認証が成立する。照合スコアが閾値より小さい場合には、指紋認証は成立しない。なお、例えば、類似度スコア行列における最大値が照合スコアとして設定される。類似度スコア行列における平均値が照合スコアとして設定されても良い。類似度スコア行列における各列の最大値の平均値が照合スコアとして設定されても良い。
【0083】
以上説明した第1の実施形態によれば、特徴点の周辺画像に基づいて特徴量を抽出するようにしているので、特徴点そのものの情報以外の情報を当該特徴点の特徴量とすることができる。そのような特徴量を用いたマッチング処理を行うことにより、多様な情報に基づくマッチング処理が行えるようになるため、指紋認証の精度を向上させることが可能となる。
【0084】
<第2の実施の形態>
次に、第2の実施の形態について説明する。なお、第1の実施の形態で説明した事項(例えば、リストバンド型電子機器1の構成や機能)については、特に断らない限り、第2の実施の形態に対しても適用することができる。
【0085】
第1の実施の形態でも説明したように、リストバンド型電子機器1では、撮像素子8を使用して指紋認証を行うようにしている。一般に、撮像素子(より具体的な例としてはCOMSセンサ)を用いたセンシングでは、他の方式(例えば、静電容量方式)によるセンシングに比べて、消費電力が大きくなるという問題がある。必要とされる電力に応じた容量のバッテリを用いれば良いものの、ウエアラブル機器の場合には、搭載できるバッテリの大きさにも制約があり、バッテリの容量にも限界が生じる。従って、不要な電力の消費を極力抑制することが望まれる。また、ウエアラブル機器の場合には、配設されるボタン等の入力デバイスの数や大きさにも制約が生じる。従って、不要な電力の消費を極力抑制するための制御は、ボタン等の物理的なデバイスに対する操作をトリガーとしないで実行されることが望まれる。係る観点を考慮しつつ、第2の実施の形態について詳細に説明する。
【0086】
[状態遷移について]
図16は、リストバンド型電子機器1の状態遷移を示す図である。リストバンド型電子機器1は、指紋認証に係る動作モードとして、例えば、3つのモード間を遷移可能とされている。3つのモードは、モード0、モード1及びモード2である。消費電力の観点からみれば、モード0が最も消費電力が小さく、また、モード2が最も消費電力が大きい。モード1の消費電力は、モード0の消費電力よりは大きくモード2の消費電力よりは小さい。なお、モード0が第3のモードの一例に対応し、モード1、2がそれぞれ第1、第2のモードの一例に対応する。
【0087】
[各モードにおける動作について]
次に、各モードにおける動作の一例について説明する。なお、各モードにおいて、以下に説明する動作内容の全てが行われる必要は無く、少なくとも一つの動作が行われれば良い。
【0088】
(動作内容の概要)
モード0は、休止状態であり、発光部6がオフされると共に、撮像素子8を動作させない、即ち、撮像素子8を使用した指紋のセンシングを行わないモードである。
モード1は、待機状態であり、発光部6がオンされると共に、撮像素子8を使用した指紋のセンシングを行うモードである。なお、モード1におけるセンシングとは、ディスプレイ4に接触しているものが指紋であるか否かを判別できる程度のセンシングで良い。より具体的には、指紋(例えば、指紋の特徴点)が含まれるか否か判断できる程度の画像を取得するセンシングで良い。
モード2は、認証状態であり、発光部6がオンされると共に、指紋の特徴量が取得され、取得された特徴量と登録済特徴量とを照合するマッチング処理が行われるモードである。また、モード2では、モード1の設定とは異なる設定に基づいて、撮像素子8を介して画像が取得される。
モード1で、例えば、画像から指紋の特徴点が検出され、ディスプレイ4に接触された物体が指先であると判定された場合に、より消費電力が大きいモード2に動作モードが遷移する。係るモード遷移により、ディスプレイ4に服等の指先以外が接触した場合であっても、消費電力が大きいマッチング処理等が不必要に行われることを防止することができる。従って、例えば、バッテリの容量の低下を抑制することができる。
【0089】
(各モードにおける動作の具体例)
各モードにおける動作の具体例について説明する。なお、モード0では、指紋認証に係る処理が行われないモードである。従って、以下の説明では、モード1及びモード2の動作の具体例について説明する。
【0090】
第1の例として、例えば、制御部11により発光部6の明るさを制御する照明制御が行われる。当該照明制御に応じて、各モードにおける動作がなされる。例えば、モード1では、指紋の特徴点が得られれば良いので、発光部6の明るさ(輝度)が小さめとなるように設定される。一方で、モード2では、マッチング処理を行う必要があるため、特徴点の周辺画像から汗腺の位置等の特徴量を取得する必要がある。従って、高精細な画像が得られるように、発光部6の明るさをモード1より大きくする。なお、指先からの反射光は、指状態や指の押し当て具合によって光量が変化するため、さらに、画像の輝度を元に発光部6の発光強度を適応的に調整しても良い。
【0091】
第2の例として、例えば、制御部11が撮像素子8中のアクティブとなる画素を制御することにより、解像度を変更する解像度制御が行われる。当該解像度制御に応じて、各モードにおける動作がなされる。例えば、モード1では、低解像度が設定され、低解像度でのセンシングがなされる。低解像度とは、例えば、指紋の特徴点が検出可能となる300〜500ppi(pixel per inch)程度の解像度を意味する。モード2では、高解像度が設定され、高解像度でのセンシングがなされる。高解像度とは、例えば、汗腺など、指紋線よりさらに細かい特徴が撮影可能となる1000ppi程度以上の解像度を意味する。
【0092】
第3の例として、例えば、制御部11が撮像素子8中のアクティブとなる画素の領域を制御することにより、撮像範囲であるセンシング領域を制御するセンシング領域制御が行われる。モード1では、撮像素子8の一部分(例えば、中央付近のみ)が使用されたセンシングが行われる。モード2では、撮像素子8の全体が使用されたセンシングが行われる。
【0093】
上述した例における制御を組み合わせた制御が行われても良い。例えば、モード1では撮像素子8全体で低解像度でのセンシングを行い指紋の特徴点を検出する。モード2ではその検出された特徴点付近の領域のみを高解像度でセンシングするようにしても良い。
【0094】
[モード間の遷移について]
次にモード間の遷移について説明する。動作モードは、所定のトリガーや時間経過、処理の結果等に応じて遷移する。図16に示すように、モード0からモード1へは、トリガーPに基づいて遷移する。また、モード1からモード2へは、トリガーQに基づいて遷移する。
【0095】
動作モードがモード1における処理、より具体的には画像に基づく判別処理において、ディスプレイ4に接触したものが指紋でない場合には、動作モードがモード1からモード0に遷移する。また、動作モードがモード1である状態が所定時間継続した場合には、動作モードがモード1からモード0に遷移する(タイムアウト)。
【0096】
動作モードがモード2である状態が所定時間継続した場合には、動作モードがモード2からモード1に遷移する(タイムアウト)。また、動作モードがモード2におけるマッチング処理が終了し、指紋認証の結果が得られた場合には、動作モードがモード2からモード0に遷移する。
【0097】
なお、モード0からモード2へ動作モードが直接、遷移可能とされても良い。例えば、トリガーRに基づいて、動作モードがモード0からモード2へ遷移可能とされても良い。トリガーRとしては、指紋認証を行うことを指示する操作入力が挙げられる。この場合は、予め指紋認証を行うことが明確であるので、動作モードがモード0からモード2に直接、遷移するようにしても良い。
【0098】
[トリガーの具体例]
次に、トリガーの具体例について説明する。トリガーRの具体例については既に説明しているため、重複した説明を省略する。
【0099】
(トリガーPの具体例)
トリガーPとしては、リストバンド型電子機器1の使用開始が検出されたタイミングを挙げられる。リストバンド型電子機器1の使用が開始されたタイミングで、所定のアプリケーションを実行するために指紋認証が行われる可能性が高いことが想定される。従って、動作モードがモード0からモード1に遷移する。
【0100】
トリガーPのより具体的な例としては、図17A及び図17Bに示すように、加速度センサの波形(加速度センサの出力)又は加速度センサの出力変化が閾値以上になった場合が挙げられる。この場合には、リストバンド型電子機器1が使用される可能性が高いので、動作モードがモード0からモード1に遷移する。なお、加速度センサは、モーションセンサ20の一つとして適用することができる。
【0101】
トリガーPの具体的な他の例としては、図18に示すように、3軸加速度の合成ベクトルの方向(重力方向)に、閾値以上の変化があった場合を挙げることができる。なお、リストバンド型電子機器1のモーションセンサ20には、例えば、各軸に対応するセンサ出力が定義されている。リストバンド型電子機器1に対応する各軸の例が、図19A及び図19Bに記載されている。3軸加速度を3次元ベクトルで表現し、その方向に変化があれば、手の向きが変わったと判定される。係る場合も、リストバンド型電子機器1に対して、指紋認証を含む何らかのアクションが行われる可能性が高いことから、動作モードがモード0からモード1に遷移する。
【0102】
トリガーPの具体的な他の例について、図20を参照する。図20Aに示すように、加速度センサの出力に閾値以上の変化が生じた箇所を含むように、所定区間が設定される。設定された所定区間に対応する加速度センサの出力が、図20Bに模式的に示す認識器に入力される。認識器は、加速度センサの出力に対して関数fを適用することにより、所定のジェスチャが発生したか否かを判定するものである。認識器による処理の結果、図20Cに示すように、認識器の判定結果が得られる。当該判定結果である、定義されたジェスチャらしさを示すスコアf(x)が閾値以上である場合を、トリガーPとする。リストバンド型電子機器1を装着した状態でのジェスチャが検出された場合には、リストバンド型電子機器1に対して、指紋認証を含む何らかのアクションが行われる可能性が高い。従って、動作モードがモード0からモード1に遷移する。
【0103】
トリガーPは、ディスプレイ4に対する指先の接触や、ディスプレイ4に接触した指先の移動が検出された場合でも良い。指先でなく、何からの物体の接触や、当該物体の移動が検出された場合がトリガーPとして設定されても良い。図21A及び図21Bは、ディスプレイ4に対する撮像素子8及びタッチセンサ部7のそれぞれの位置を模式的に示した図である。物体の接触や移動を検出するタッチセンサ部7は、図21A及び図21Bに示すように、例えば、撮像素子8の近傍に配置される。
【0104】
以上、トリガーPの具体例について説明したが、これに限定されるものではなく、トリガーPとして、種々の条件を設定することができる。上述した例を組み合わせた条件がトリガーPとされても良い。
【0105】
(トリガーQの具体例)
次に、トリガーQの具体例について説明する。トリガーQは、例えば、撮像素子8を介して取得された画像に指紋が含まれることを条件とするトリガーである。
【0106】
図22A図22Dに示すように、指紋の指紋線(ここでは隆線及び谷線)の周期として考えられる周期を設定する。図22Aは0.6mm周期の例を示し、図22Bは0.3mm周期の例を示し、図22Cは0.15mm周期の例を示し、図22Dは0.075mm周期の例を示している。撮像素子8を介して得られる画像から、各周期に対応する周波数成分を抽出する。そして、各周波数成分に対して、図23に示すような例えば、32通り(11.25度刻み)の角度パターンに対するレスポンスを計算し、その平均値を得る。上述した4つの周波数成分のうちの少なくとも一つに対応する平均値が閾値以上である場合には、画像に写っているものが指紋である可能性が高い。従って、4つの周波数成分のうちの少なくとも一つに対応する平均値が閾値以上であるという条件がトリガーQとして設定される。
【0107】
また、指紋の特徴点が閾値以上の個数、検出されたという条件がトリガーQとして設定されても良い。指紋の特徴点としては、図24Aに示す指紋線の終端点、図24Bに示す指紋線の分岐点のほか、図24Cに示す指紋線の交差点や図24Dに示す指紋線が点状に孤立している孤立点が含まれても良い。
【0108】
以上、トリガーQの具体例について説明したが、これに限定されるものではなく、トリガーQとして、種々の条件を設定することができる。
【0109】
[処理の流れ]
次に、図25及び図26のフローチャートを参照して、第2の実施の形態に係る処理の流れについて説明する。なお、特に断らない限り、図25及び図26に示す処理は、例えば、制御部11による制御に応じて実行される。
【0110】
なお、図25及び図26のフローチャートにおける、丸印が付されたA、B及びCは処理の連続性を示している。また、処理の開始時における動作モードがモード0であるものとして説明する。
【0111】
図25におけるステップST31では、例えば、モーションセンサ20の出力に基づいて、加速度データが取得される。そして、処理がステップST32に進む。
【0112】
ステップST32では、ステップST31で得られた加速度データを使用して、制御部11が、トリガーPが成立するか否かを認識する処理を行う。なお、上述したように、トリガーPが成立したか否かは加速度データ以外のデータを使用して判断されても良い。そして、処理がステップST33に進む。
【0113】
ステップST33では、ステップST32における処理の結果に基づいて、トリガーPが成立するか否かが判断される。ここで、トリガーPが成立しない場合は、処理がステップST31に戻る。トリガーPが成立する場合には、処理がステップST34に進む。
【0114】
トリガーPが成立することから動作モードがモード0からモード1に遷移する。そして、ステップST34では、第1経過時間が0に設定される(初期化される)。第1経過時間は、全体の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否を判断するための時間である。そして、処理がステップST35に進む。
【0115】
ステップST35では、第2経過時間が0に設定される(初期化される)。第2経過時間は、モード1の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否を判断するための時間である。そして、処理がステップST36に進む。
【0116】
ステップST36では、発光部6がモード1に対応する明るさでもってオンする。そして、処理がステップST37に進む。
【0117】
ステップST37では、モード1に対応する設定に応じたセンシングが開始される。そして、処理がステップST38に進む。
【0118】
ステップST38では、ステップST37のセンシングの結果、撮像素子8を介して画像が取得される。そして、処理がステップST39に進む。ステップST39では、トリガーQを認識する処理が行われる。そして、処理がステップST40に進む。
【0119】
図26におけるステップST40では、制御部11が、ステップST39の処理の結果、トリガーQが成立するか否かが判断される。ここで、トリガーQが成立しない場合は、処理がステップST41に進む。
【0120】
ステップST41では、第2経過時間が所定の閾値th1より大きいか否かが判断される。th1は、例えば、10秒程度に設定される。ここで、第2経過時間が所定の閾値th1より大きい場合には、モード1における処理がタイムアウトし、処理がステップST31に戻る。第2経過時間が所定の閾値th1以下の場合には、モード1における処理が繰り返される。即ち、処理がステップST38に戻り、再度、画像が取得され、ステップST38以降の処理が行われる。
【0121】
ステップST40における判定処理において、トリガーQが成立する場合には、動作モードがモード1からモード2に遷移した後、処理がステップST42に進む。ステップST42では、第3経過時間が0に設定される(初期化される)。第3経過時間は、モード2の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否を判断するための時間である。そして、処理がステップST43に進む。
【0122】
ステップST43では、モード2に応じた撮影領域、照明(発光部6)、解像度の少なくとも一つに関する設定がなされ、当該設定による画像の撮影が行われ、指紋画像が取得される。さらに、指紋画像の特徴点を特徴付ける特徴量が抽出される。そして、処理がステップST44に進む。
【0123】
ステップST44では、得られた特徴量と登録済特徴量とを照合するマッチング処理が行われる。そして、処理がステップST45に進む。
【0124】
ステップST45では、品質として十分であるか否かが判断される。例えば、検出された特徴点の個数が閾値以上である場合には、品質が十分であると判断される。また、マッチング処理の結果、特徴量の比較に基づいて類似とされた特徴点の数がある閾値thAと閾値thBとの間(但し閾値thA>thB)であれば品質が十分でないと判定されても良い。係る場合は、特徴量の比較に基づいて類似とされた特徴点の数が閾値thA以上(この場合は指紋認証成立)、若しくは、特徴量の比較に基づいて類似とされた特徴点の数が閾値thB以下(この場合は指紋認証不成立)の場合は、指紋認証の結果を判断する上での品質としては十分であると判断される。ステップST45において、品質が十分でないと判定された場合は、処理がステップST46に進む。
【0125】
ステップST46では、第3経過時間が閾値th2より大きいか否かが判断される。閾値th2は、例えば、10秒程度に設定される。第3経過時間が閾値th2以下である場合には、処理がステップST47に進む。
【0126】
第3経過時間が閾値th2以下でありタイムアウトまでの時間が経過していないことから、モード2の処理が継続される。即ち、ステップST47では、再度、撮像素子8を介して画像が取得され、ステップST44以降の処理が行われる。
【0127】
第3経過時間が閾値th2より大きい場合には、処理がステップST48に進む。ステップST48では、第1経過時間が閾値th3より大きいか否かが判断される。判断の結果、第1経過時間が閾値th3以下の場合は、処理全体がタイムアウトする時間が経過していないので処理がステップST38に戻り、モード1に係る処理が再度、行われる。判断の結果、第1経過時間が閾値th3より大きい場合は、処理全体がタイムアウトする時間が経過しているので処理が最初の処理であるステップST31に戻る。
【0128】
以上説明したように、第2の実施の形態によれば、撮像素子8を使用して指紋をセンシングする場合であっても、リストバンド型電子機器1の動作モードを適切に設定することにより制御部11や撮像素子8で消費される電力を抑制することができる。また、入力デバイスに対する操作を行うことなくモード遷移が可能となる。
【0129】
[第2の実施の変形例]
上述した第2の実施の形態では、モード1では、指紋に関するマッチング処理を行わない例について説明したが、これに限定されるものではない。例えば、モード1において、低解像度の画像を使用したマッチング処理が行われても良い。例えば、指紋認証が成立した場合に決済が可能となるアプリケーションを想定する。決済額が例えば1000円以下の少額の場合にはそれほど高いセキュリティは要求されない。従って、モード1に係る処理が行われ、低解像度の画像を使用したマッチング処理が行われる。これに対して、決済額が1000円を超える高額の場合には高いセキュリティが要求される。従って、モード2に係る処理が行われ、高解像度の画像を使用したマッチング処理が行われる。このように、モード1からモード2に切り替わるための条件であるトリガーQがアプリケーションの内容に応じた条件であっても良い。
【0130】
モード1からモード2に切り替わるための条件であるトリガーQの内容が動的に切り替わるようにしても良い。例えば、制御部11がリストバンド型電子機器1のバッテリ残容量を取得する。バッテリの残容量、具体的には、SoC(State of Charge)が例えば30%以下になった場合に、トリガーQの内容を切り替え、トリガーQの内容を厳しくする(モード1からモード2に動作モードが遷移しづらくする。)。例えば、トリガーQの内容を、上述した個々のトリガーQの例を組み合わせたものに設定する。係る処理により、バッテリの残容量が小さい場合であっても、モード1からモード2に動作モードが誤って遷移してしまうことを極力、防止することができる。従って、モード2に係る処理で電力が大きく消費されることによりバッテリの残容量が低下し、リストバンド型電子機器1の動作が停止してしまうことを防止することができる。
【0131】
また、第2の実施の形態において、図27に示すように、モード0、1に係る処理を実行するための制御部(第2制御部11A)が設けられる構成であっても良い。そして、トリガーQが成立した段階で第2制御部11Aが上位のホストである制御部11に通知処理を行い、モード2に係るマッチング処理等の処理は、制御部11が行うようにしても良い。上位のホストである制御部11は、リストバンド型電子機器1の種々の処理を制御するため消費電力が大きくなることから、撮像素子8を介して画像が得られた画像(換言すれば、ディスプレイ4に何かが接触した場合)に、制御部11を起動すると全体としての消費電力が大きくなる虞がある。従って、モード0及びモード1を実行する下位の制御部である第2制御部11Aを設けることが好ましい。
【0132】
<変形例>
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
【0133】
上述した実施の形態において、マッチング処理の結果、指紋認証が成立するための閾値がアプリケーションの内容に応じて変更されても良い。例えば、高額の決済が可能とするための指紋認証が行われる場合、画像品質に関する基準を高くしたり、照合スコアに対する閾値を大きく変更するようにしても良い。
【0134】
上述した実施の形態に係るリストバンド型電子機器1の構成は適宜、変更できる。例えば、導光板5や発光部6がない構成でも良い。係る構成の場合、例えば、ディスプレイ4(具体例としてはOLED)の光を用いた撮影が行われる。
【0135】
上述した実施の形態において、生体情報は指紋に限定されるものではなく、手のひらの血管、網膜の毛細血管等であっても良く、これらを組み合わせたものであっても良い。なお、指紋は、指先全体の指紋線による模様である必要はなく、その一部が含まれていれば良い。他の生体情報についても同様である。
【0136】
本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
【0137】
本開示は、以下の構成も採ることができる。
(1)
少なくとも、第1のモードと、前記第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定する制御部を有し、
前記制御部は、
前記第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第1のモードから前記第2のモードに遷移させ、
前記第2のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理装置。
(2)
前記第2のモードでは、前記第1のモードの設定とは異なる設定に基づいて、前記センサ部により画像が取得される
(1)に記載の情報処理装置。
(3)
前記制御部は、前記第1のモードでは、前記センサ部により撮影が行われるタイミングで発光する発光部を第1の輝度で発光させ、前記第2のモードでは、前記第1の輝度より大きい第2の輝度で前記発光部を発光させる
(2)に記載の情報処理装置。
(4)
前記制御部は、前記第1のモードでは、第1の解像度の前記画像を取得するように前記センサ部を制御し、前記第2のモードでは、前記第1の解像度より大きい第2の解像度の前記画像を取得するように前記センサ部を制御する
(2)又は(3)に記載の情報処理装置。
(5)
前記制御部は、前記第1のモードでは、前記センサ部の一部を使用して前記画像を取得する制御を行い、前記第2のモードでは、前記センサ部の全体を使用して前記画像を取得する制御を行う
(2)から(4)までの何れかに記載の情報処理装置。
(6)
前記第1の動作モードの消費電力より消費電力が小さい第3のモードから前記第1のモードに動作モードが遷移可能とされており、
前記制御部は、
前記情報処理装置の動きが検出された場合及び所定の操作が検出された場合の少なくとも一方をトリガーとして、前記第3のモードから前記第1のモードに動作モードを遷移させる
(3)に記載の情報処理装置。
(7)
前記第3のモードでは、前記制御部は、前記発光部及び前記センサ部をオフする
(6)に記載の情報処理装置。
(8)
前記所定の操作を検出するタッチセンサ部が前記センサ部の近傍に設けられている
(6)又は(7)に記載の情報処理装置。
(9)
前記発光部を有する
(3)、(6)から(8)までの何れかに記載の情報処理装置。
(10)
前記トリガーの内容が、前記第1のモードから前記第2のモードに遷移しづらくなるように変更される
(1)から(9)までの何れかに記載の情報処理装置。
(11)
前記制御部は、前記センサ部を介して得られる生体情報を含む画像から、特徴点を検出する特徴点検出部と、前記特徴点を含む周辺画像に基づいて、前記特徴点を特徴付ける特徴量を抽出する特徴量抽出部とを有する
(1)から(10)までの何れかに記載の情報処理装置。
(12)
前記生体情報は、指紋及び血管の少なくとも一方である
(1)から(11)までの何れかに記載の情報処理装置。
(13)
前記第1のモードに係る処理が前記制御部とは異なる他の制御部によって行われる
(1)から(12)までの何れかに記載の情報処理装置。
(14)
少なくとも、第1のモードと、前記第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定する制御部と、
画像を取得するセンサ部と
を有し、
前記制御部は、
前記第1のモードでは、前記センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第1のモードから前記第2のモードに遷移させ、
前記第2のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
ウエアラブル機器。
(15)
制御部が、少なくとも、第1のモードと、前記第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定し、
前記制御部は、
前記第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第1のモードから前記第2のモードに遷移させ、
前記第2のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理方法。
(16)
制御部が、少なくとも、第1のモードと、前記第1のモードより消費電力が大きい処理が行われる第2のモードとを選択的に設定し、
前記制御部は、
前記第1のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第1のモードから前記第2のモードに遷移させ、
前記第2のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理方法をコンピュータに実行させるプログラム。
【符号の説明】
【0138】
1・・・ウエアラブル機器、4・・・ディスプレイ、6・・・発光部、8・・・撮像素子、11・・・制御部、11A・・・第2制御部、11a・・・前処理部、11c・・・特徴量抽出部、11d・・・マッチング処理部、101・・・ノイズ除去部、102・・・隆線推定画像生成部、103・・・確信度マップ生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27