ホーム > 特許ランキング > 国立大学法人 鹿児島大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-04
(45)【発行日】2023-04-12
(54)【発明の名称】個人識別システム、個人識別方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230405BHJP
G06F 21/32 20130101ALI20230405BHJP
【ＦＩ】
G06T7/00 510B
G06F21/32
【請求項の数】
7
(21)【出願番号】P 2018093836
(22)【出願日】2018-05-15
(65)【公開番号】P2019200522
(43)【公開日】2019-11-21
【審査請求日】2021-04-30
(73)【特許権者】
【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100162259
【弁理士】
【氏名又は名称】末富 孝典
(74)【代理人】
【識別番号】100133592
【弁理士】
【氏名又は名称】山口 浩一
(74)【代理人】
【識別番号】100168114
【弁理士】
【氏名又は名称】山中 生太
(72)【発明者】
【氏名】佐藤 公則
(72)【発明者】
【氏名】渡邊 睦
(72)【発明者】
【氏名】鹿嶋 雅之
(72)【発明者】
【氏名】福元 伸也
(72)【発明者】
【氏名】西田 貴幸
【審査官】宮島 潤
(56)【参考文献】
【文献】特開２０１０－１２８８２２（ＪＰ，Ａ）
【文献】特開２０１２－２０８８８７（ＪＰ，Ａ）
【文献】特開２０１９－４０４０５（ＪＰ，Ａ）
【文献】江尻 正員，ディジタル画像処理 ［改訂新版］ 第一版 DIGITAL IMAGE PROCESSING，第1版，日本，公益財団法人画像情報教育振興協会（ＣＧ－ＡＲＴＳ協会） 松阪 喜幸，2015年03月09日，p.218-220
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ａ６１Ｂ ５／０６ － ５／２２
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部と、前記画像センサで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部と、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部と、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部と、
を備え、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成部は、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する、
個人識別システム。
【請求項2】
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部と、前記画像センサで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部と、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部と、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部と、
を備え、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成部は、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像に変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する、
個人識別システム。
【請求項3】
前記認証部は、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の差の二乗和か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の差の絶対値和か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の正規化相互相関か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の零平均正規化相互相関か、のいずれかを、前記類似度として算出する、
請求項１又は２に記載の個人識別システム。
【請求項4】
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像ステップと、前記撮像ステップで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成ステップと、
前記画像合成ステップで合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化ステップと、
前記正規化ステップで生成された前記正規化画像に基づいて、本人認証を行う認証ステップと、
を含み、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成ステップでは、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証ステップでは、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する、
個人識別方法。
【請求項5】
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像ステップと、前記撮像ステップで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成ステップと、
前記画像合成ステップで合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化ステップと、
前記正規化ステップで生成された前記正規化画像に基づいて、本人認証を行う認証ステップと、
を含み、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成ステップでは、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像へ変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証ステップでは、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する、
個人識別方法。
【請求項6】
コンピュータを、電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部、
前記画像センサで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部、
として機能させ、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成部は、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する、
プログラム。
【請求項7】
コンピュータを、電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部、
前記画像センサで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部、
として機能させ、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成部は、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像に変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、個人識別システム、個人識別方法及びプログラムに関する。
【背景技術】
【0002】
入室管理又は電子機器の使用制限には、ＰＩＮ（Personal Identification Number）コードの暗証番号による認証システム、ＩＣ（Integrated Circuit）カードによる認証システムが用いられるのが一般的である。これらの認証システムでは、一度、ログインに成功した後では、なりすましや入れ替わり（例えば、コンピュータ端末のキーボードを操作する人が途中で入れ替わること）を検出するのは困難である。そのため、正規にログインした後でも、継続的な本人認証（継続認証）を行うことが求められている（例えば、特許文献１参照）。
【0003】
継続認証の方法は、新たなパスワード入力などの特別な操作を、認証対象者に要求することのない方法、すなわち認証対象者が意識することなく認証を行うことができる方法であることが望ましい。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１４２６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献１に開示された情報処理装置では、上述のような自然な継続認証のために、キーボードに加速度センサや圧力センサなどの特別な設備を設ける必要があった。
【0006】
本発明は、特別な設備を設けることなく、自然に継続認証を行うことができる個人識別システム、個人識別方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の第１の観点に係る個人識別システムは、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部と、
前記画像センサで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部と、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部と、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部と、
を備え、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成部は、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部と、
前記画像センサで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部と、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部と、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部と、
を備え、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成部は、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
【0009】
本発明の第２の観点に係る個人識別システムは、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部と、
前記画像センサで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部と、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部と、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部と、
を備え、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成部は、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像に変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部と、
前記画像センサで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部と、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部と、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部と、
を備え、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成部は、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像に変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
【0011】
前記認証部は、
前記正規化画像の各画素と、前記テンプレート画像の各画素との値の差の二乗和か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の差の絶対値和か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の正規化相互相関か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の零平均正規化相互相関か、のいずれかを、前記類似度として算出する、
こととしてもよい。
前記正規化画像の各画素と、前記テンプレート画像の各画素との値の差の二乗和か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の差の絶対値和か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の正規化相互相関か、前記正規化画像の各画素と、前記テンプレート画像の各画素との値の零平均正規化相互相関か、のいずれかを、前記類似度として算出する、
こととしてもよい。
【0015】
本発明の第３の観点に係る個人識別方法は、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像ステップと、
前記撮像ステップで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成ステップと、
前記画像合成ステップで合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化ステップと、
前記正規化ステップで生成された前記正規化画像に基づいて、本人認証を行う認証ステップと、
を含み、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成ステップでは、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証ステップでは、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
本発明の第４の観点に係る個人識別方法は、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像ステップと、
前記撮像ステップで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成ステップと、
前記画像合成ステップで合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化ステップと、
前記正規化ステップで生成された前記正規化画像に基づいて、本人認証を行う認証ステップと、
を含み、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成ステップでは、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像へ変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証ステップでは、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像ステップと、
前記撮像ステップで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成ステップと、
前記画像合成ステップで合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化ステップと、
前記正規化ステップで生成された前記正規化画像に基づいて、本人認証を行う認証ステップと、
を含み、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成ステップでは、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証ステップでは、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
本発明の第４の観点に係る個人識別方法は、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像ステップと、
前記撮像ステップで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成ステップと、
前記画像合成ステップで合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化ステップと、
前記正規化ステップで生成された前記正規化画像に基づいて、本人認証を行う認証ステップと、
を含み、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成ステップでは、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像へ変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証ステップでは、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
【0016】
本発明の第５の観点に係るプログラムは、
コンピュータを、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部、
前記画像センサで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部、
として機能させ、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成部は、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
本発明の第６の観点に係るプログラムは、
コンピュータを、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部、
前記画像センサで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部、
として機能させ、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成部は、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像に変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
コンピュータを、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部、
前記画像センサで撮像された複数の画像同士を合成するか、当該複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部、
として機能させ、
前記画像センサは、前記手全体を被写体とする画像として、各画素の値が前記画像センサと前記被写体との距離を示す距離画像を撮像し、
前記画像合成部は、各画素の値をその画素が取り得る最大値で除算する加工を前記画像センサで撮像された複数の画像に対して行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
本発明の第６の観点に係るプログラムは、
コンピュータを、
電子機器に対して操作入力を行う手全体を被写体とする画像を、前記手により複数の操作入力が行われる一定時間連続して画像センサにより撮像させる撮像部、
前記画像センサで撮像された複数の画像の加工により得られた複数の画像同士を合成して、前記一定時間における手の動きの広がり具合を示す合成画像を生成する画像合成部、
前記画像合成部で合成された前記合成画像を前記合成画像における画素の最大値を基準として正規化して正規化画像を生成する正規化部、
前記正規化部で生成された前記正規化画像に基づいて、本人認証を行う認証部、
として機能させ、
前記画像センサは、
前記手全体を被写体とする画像として、可視光による画像を撮像し、
前記画像合成部は、
前記画像センサで撮像された複数の画像を、手の領域とそれ以外の領域とを区別する二値画像に変換し、前記二値画像の各画素の値をその画素が取り得る最大値で除算する加工を行い、
前記認証部は、
前記正規化画像と、予め記憶されたテンプレート画像とを比較するテンプレートマッチングを行うことにより、前記正規化画像と前記テンプレート画像との類似度を算出し、
算出された類似度が閾値を上回る場合、本人であると認証する。
【発明の効果】
【0017】
本発明によれば、電子装置に対して操作入力を行う手の動きを、複数の操作入力を行う一定時間連続撮像して、その間の手の動きの広がり具合を示す正規化画像を生成する。複数の操作入力を行う時の手の動きの広がり具合は、人によって異なり模倣できないものであるため、正規化画像から個人を特定することができる。このようにすれば、カメラで手の動きを撮像するだけで、特別な設備を設けることなく、自然に継続認証を行うことができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施の形態１に係る個人識別システムの構成を示すブロック図である。
【図2】画像センサの取り付け位置の一例を示す図である。
【図4】（Ａ）～（Ｄ）は、正規化画像の一例を示す図である。
【図5】情報処理装置のハードウエア構成を示す図である。
【図6】情報処理装置におけるテンプレート画像作成処理の流れを示すフローチャートである。
【図7】情報処理装置の継続認証処理の流れを示すフローチャートである。
【図8】撮影された距離画像の一例を示す図である。
【図9】（Ａ）は、画像に片手だけ写っている画像の一例を示す図である。（Ｂ）は、画像に両手が写っている画像の一例を示す図である。
【図10】合成画像の一例を示す図である。
【図11】正規化画像の一例を示す図である。
【図12】上下反転された正規化画像の一例を示す図である。
【図13】類似度として画素値の差の二乗和を用いたときの判定の評価結果を示すグラフである。
【図14】類似度として画素値の差の絶対値和を用いたときの判定の評価結果を示すグラフである。
【図15】類似度として画素値の正規化相互相関を用いたときの判定の評価結果を示すグラフである。
【図16】類似度として画素値の零平均正規化相互相関を用いたときの判定の評価結果を示すグラフである。
【図17】本発明の実施の形態２に係る個人識別システムの継続認証処理の流れを示すフローチャートである。
【図18】（Ａ）及び（Ｂ）は、電子機器がスマートフォンである場合の正規化画像の一例を示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について図面を参照して詳細に説明する。全図において、同一又は相当する構成要素には、同一の符号が付されている。本実施の形態に係る個人識別システム１は、継続して個人認証を行うシステムである。
【0020】
実施の形態１．
まず、本発明の実施の形態１について説明する。図１に示すように、本実施の形態に係る個人識別システム１は、画像センサ２と、情報処理装置３と、を備える。
まず、本発明の実施の形態１について説明する。図１に示すように、本実施の形態に係る個人識別システム１は、画像センサ２と、情報処理装置３と、を備える。
【0021】
画像センサ２は、例えば図２に示すように、セキュリティ保護対象であるコンピュータ端末４のディスプレイ５の中央上部に取り付けられている。画像センサ２の撮像視野は、コンピュータ端末４のキーボード６全体を捉えており、その位置は固定されている。
【0022】
本実施の形態では、画像センサ２は、電子機器としてのコンピュータ端末４のキーボード６を操作する手（両手）を被写体とする画像を撮像する。画像センサ２は、距離画像を撮像するカメラである。距離画像は、各画素の値が、画像センサ２から被写体までの距離を示す画像である。距離画像では、通常、距離が近い方が、輝度値が高くなる。
【0023】
このような距離画像を撮像する撮像原理としては、２台のカメラの視差を利用する方式、１台のプロジェクタと１台のカメラとの視差を利用する方式、１台のプロジェクタと２台のカメラとの視差を利用する方式がある。プロジェクタからは、被写体に様々なパターンが投影され、そのパターンをカメラで計測することにより、距離が計測される。また、光源から赤外線等の光を照射し、物体で反射して戻るまでの時間差や受光位置等に基づいて距離を計測する方式も採用することができる。
【0024】
情報処理装置３は、画像センサ２で撮像された画像に基づいて、個人認証を行うコンピュータである。情報処理装置３は、撮像部１０と、画像合成部１１と、正規化部１２と、認証部１３と、記憶部２０，２１と、を備える。
【0025】
撮像部１０は、画像センサ２を制御する。具体的には、撮像部１０は、画像センサ２に対して、撮像開始指示を出力し、一定時間Ｔ（図３参照）経過後、撮像終了指示を出力する。一定時間Ｔは、コンピュータ端末４のキーボード６に対して手により複数の文字入力が行われる時間であり、例えば５分間とする。画像センサ２は、撮像開始指示を入力すると、連続撮像を開始し、撮像終了指示を入力すると、連続撮像を終了する。画像センサ２は、一定のサンプリング間隔で連続撮像を行い、撮像された画像をそれぞれ撮像部１０に送る。
【0026】
すなわち、撮像部１０は、画像センサ２を制御して、コンピュータ端末４のキーボード６に対して操作入力を行う手全体を被写体とする画像を、その手により複数の操作入力が行われる一定時間Ｔ（図３参照）連続して撮像する。例えば、図３に示すように、一定時間Ｔにおけるサンプリング時間ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６、…、ｔＮ－１、ｔＮで、画像センサ２が撮像を行い、画像Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５、Ｇ６、…、ＧＮ－１、ＧＮが生成される。生成された画像Ｇｎ（ｎ＝１～Ｎ）は、情報処理装置３の撮像部１０に送られた後、記憶部２０に記憶される。
【0027】
なお、一定時間Ｔは５分には限られず、５分より短くてもよいし、５分を超える時間であってもよい。一定時間Ｔとしては、生成される画像に手の動きの広がり具合に個人個人の特徴が表れている時間とするのが望ましい。また、撮像のサンプリング間隔も任意に決定することができる。
【0028】
画像合成部１１は、撮像部１０により撮像された複数の画像Ｇｎ（ｎ＝１～Ｎ）の加工により得られた画像Ｇｎ’（ｎ＝１～Ｎ）を合成し、一定時間Ｔにおける手の動きの広がり具合を示す合成画像ＳＧを生成する。具体的には、図３に示すように、画像合成部１１は、まず、画像Ｇｎ（ｎ＝１～Ｎ）の各画素を、輝度の最大値である２５５で除算することにより、画像Ｇｎ’（ｎ＝１～Ｎ）を生成する。そして、画像合成部１１は、画像Ｇｎ’（ｎ＝１～Ｎ）を足し合わせて合成画像ＳＧを生成する。これにより、合成画像ＳＧは、キーボード６に対して複数の操作入力を行った手の動きを合成した画像となる。生成された合成画像ＳＧは、記憶部２０に記憶される。
【0029】
正規化部１２は、画像合成部１１で合成された合成画像ＳＧを正規化して正規化画像ＳＧ’を生成する。具体的には、正規化部１２は、記憶部２０から合成画像ＳＧを読み出す。そして、正規化部１２は、合成画像ＳＧにおいて輝度が最大となっている画素の輝度値を探索する。そして、正規化部１２は、探索された輝度値に基づいて、輝度の最大値が２５５となるように合成画像ＳＧを正規化して、正規化画像ＳＧ’を得る。
【0030】
認証部１３は、正規化部１２で生成された正規化画像ＳＧ’に基づいて、本人認証を行う。図４（Ａ）～図４（Ｄ）には、それぞれ異なる人の手の動きの広がり具合を示す正規化画像ＳＧ’が示されている。それぞれの正規化画像ＳＧ’は、模倣が困難なタイピング時の癖を表す画像であり、人によって異なる。このため、この正規化画像ＳＧ’に基づいて、本人認証を行うことができる。記憶部２１には、予め、個人と対応付けられた手の動きの広がり具合を示すテンプレート画像ＴＧが記憶されている。認証部１３は、正規化画像ＳＧ’と、テンプレート画像ＴＧとを比較するテンプレートマッチングを行い、正規化画像ＳＧ’とテンプレート画像ＴＧとの類似度Ｒを算出する。認証部１３は、算出された類似度Ｒに基づいて、本人認証を行う。
【0031】
図５は、図１の情報処理装置３のハードウエア構成を示す。図５に示すように、個人識別システム１の情報処理装置３は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び入出力部３６を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６は、いずれも内部バス３０を介して制御部３１に接続されている。なお、情報処理装置３は、コンピュータ端末４に組み込まれていてもよい。
【0032】
制御部３１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９を実行することにより、図１に示す個人識別システム１の各構成要素が実現される。本実施の形態では、制御部３１により、画像合成部１１、正規化部１２及び認証部１３が構成される。
【0033】
主記憶部３２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部３２には、外部記憶部３３に記憶されているプログラム３９がロードされる。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。
【0034】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ（登録商標）－ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ（登録商標）－ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部３３には、制御部３１に実行させるためのプログラム３９があらかじめ記憶されている。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。図１の記憶部２０，２１は、外部記憶部３３に対応する。
【0035】
操作部３４は、キーボード及びマウスなどのポインティングデバイス等と、キーボード及びポインティングデバイス等を内部バス３０に接続するインターフェイス装置から構成されている。操作部３４を介して、操作者が操作した内容に関する情報が制御部３１に入力される。なお、操作部３４は、キーボード６であってもよい。
【0036】
表示部３５は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（ElectroLuminescence）などから構成される。操作者が操作情報を入力する場合は、表示部３５には、操作用の画面が表示される。なお、表示部３５は、ディスプレイ５であってもよい。
【0037】
入出力部３６は、各種デバイスとのデータ入出力を行うインターフェイスである。入出力部３６は、画像センサ２と接続され、制御部３１から出力された指令データを画像センサ２に出力するとともに、画像センサ２から撮像画像データを入力する。本実施の形態では、制御部３１及び入出力部３６で、撮像部１０が構成される。
【0038】
情報処理装置３の各種構成要素は、プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び入出力部３６などをハードウエア資源として用いて実行されることによってその機能を発揮する。
【0039】
次に、本実施の形態に係る個人識別システム１の動作について説明する。個人識別システム１では、まず、テンプレート画像の生成処理が行われた後、継続認証処理が行われる。
【0040】
まず、テンプレート画像の生成処理について説明する。図６に示すように、まず、撮像部１０は、画像センサ２を用いてコンピュータ端末４のキーボード６に対して文字入力を行う手全体を被写体とする画像を、手により複数の文字が入力される一定時間Ｔ連続して撮像し、複数の距離画像Ｇｎ（ｎ＝１～Ｎ）を取得する（ステップＳ１）。
【0041】
続いて、画像合成部１１は、取得した複数の距離画像Ｇｎ（ｎ＝１～Ｎ）の各画素の輝度値を、２５５で除算して距離画像Ｇｎ’（ｎ＝１～Ｎ）を生成する（ステップＳ２）。
【0042】
続いて、画像合成部１１は、ステップＳ２で距離画像Ｇｎ（ｎ＝１～Ｎ）を２５５で除算することにより得られた複数の距離画像Ｇｎ’（ｎ＝１～Ｎ）を足し合わせて合成画像ＳＧを生成する（ステップＳ３）。
【0043】
続いて、正規化部１２は、合成画像ＳＧの手領域の輝度の最大値を探索する（ステップＳ４）。正規化部１２は、合成画像ＳＧにおける手の領域の中で輝度値が最大となる部分を探索し、その輝度値を求める。このときの輝度値を２５５で割った数値をＸとする。
【0044】
続いて、正規化部１２は、探索された最大値で、合成画像ＳＧを正規化して最大の輝度値が２５５となるような正規化画像ＳＧ’を生成する（ステップＳ５）。正規化部１２は、合成画像ＳＧの各画素値をＸで除算する。正規化画像ＳＧ’は、手の動きの広がり具合を示す画像であるため、手の領域の輝度の最大値で正規化を行うのが適切である。
【0045】
続いて、正規化部１２は、この正規化画像ＳＧ’を上下反転する（ステップＳ６）。この正規化画像ＳＧ’は、図４（Ａ）～図４（Ｄ）に例示されるような画像となる。正規化部１２は、この正規化画像ＳＧ’を、テンプレート画像ＴＧとして、記憶部２１に記憶する（ステップＳ７）。これにより、テンプレート画像ＴＧの生成処理が終了する。
【0046】
続いて、継続認証の処理について説明する。図７に示すように、まず、撮像部１０は、画像センサ２を用いてコンピュータ端末４のキーボード６に対して操作入力を行う手全体を被写体とする画像を、その手により複数の操作入力が行われる一定時間Ｔ連続して撮像し、複数の距離画像Ｇｎ（ｎ＝１～Ｎ）を取得する（ステップＳ１０；撮像ステップ）。図８には、このときに取得された距離画像Ｇｎ（ｎ＝１～Ｎ）の一例が示されている。図８に示すように、距離画像Ｇｎ（ｎ＝１～Ｎ）では、キーボード６を操作する手が他の部分と識別可能に表示されている。
【0047】
続いて、画像合成部１１は、取得した複数の距離画像Ｇｎ（ｎ＝１～Ｎ）の各画素の輝度値を２５５で除算して、距離画像Ｇｎ’（ｎ＝１～Ｎ）を生成する（ステップＳ１１）。距離画像Ｇｎ’（ｎ＝１～Ｎ）の各画素の輝度値は、距離画像Ｇｎ（ｎ＝１～Ｎ）の各画素の２５５分の１となる。
【0048】
続いて、画像合成部１１は、距離画像Ｇｎ（ｎ＝１～Ｎ）に被写体として含まれている手の本数を取得する（ステップＳ１２）。画像合成部１１は、手の本数が２本であるか否かを判定する（ステップＳ１３）。手の本数が２本でなければ（ステップＳ１３；Ｎｏ）、情報処理装置３は、ステップＳ１０に戻る。図９（Ａ）には、手が１本である距離画像が示されている。この場合には、ステップＳ１３における判定が否定され、情報処理装置３は、ステップＳ１０に戻る。
【0049】
一方、図９（Ｂ）に示すように、手の本数が２本であれば（ステップＳ１３；Ｙｅｓ）、画像合成部１１は、ステップＳ１１で２５５が除算された複数の距離画像Ｇｎ’（ｎ＝１～Ｎ）を足し合わせて合成画像ＳＧを生成する（ステップＳ１４；画像合成ステップ）。図１０には、合成画像ＳＧの一例が示されている。
【0050】
続いて、正規化部１２は、合成画像ＳＧにおける手領域の輝度の最大値を探索する（ステップＳ１５）。このときの輝度値を２５５で割った数値をＸとする。続いて、正規化部１２は、探索された最大値で、合成画像ＳＧを正規化して正規化画像ＳＧ’を生成する（ステップＳ１６；正規化ステップ）。具体的には、正規化部１２は、合成画像ＳＧの各画素値をＸで除算する。図１１には、正規化画像ＳＧ’の一例が示されている。正規化部１２は、この正規化画像ＳＧ’を上下反転する（ステップＳ１７）。図１２には、このように上下反転された画像が示されている。
【0051】
続いて、認証部１３は、テンプレートマッチングを行う（ステップＳ１８）。ここでは、ステップＳ１７で生成された正規化画像ＳＧ’と、記憶部２０に記憶されたテンプレート画像ＴＧとのテンプレートマッチングを行って、両者の類似度Ｒを算出する。
【0052】
類似度Ｒは、以下の式で示されるＲｓｓｄ、Ｒｓａｄ、Ｒｎｃｃ、Ｒｚｎｃｃのいずれかを採用することができる。ここで、Ｉ（ｉ，ｊ）は、正規化画像ＳＧ’の各画素（ｉ，ｊ）の輝度値を示し、Ｔ（ｉ，ｊ）は、テンプレート画像ＴＧの各画素（ｉ，ｊ）の輝度値を示す。ｉ，ｊは、各画素の横軸の位置及び縦軸の位置を示す。
上記式（１）のＲｓｓｄは、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の差の二乗和（ＳＳＤ：Sum of Squares Difference）を示す。Ｒｓｓｄは、０に近づけば近づくほど（低ければ低いほど）、類似度Ｒが高いということになる。認証部１３が、類似度Ｒとして二乗和Ｒｓｓｄを算出する場合には、計算量を少なくすることができるという特徴がある。
上記式（２）のＲｓａｄは、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の差の絶対値和を示す。Ｒｓａｄは、０に近づけば近づくほど（低ければ低いほど）、類似度Ｒが高いということになる。認証部１３が、類似度Ｒとして絶対値Ｒｓａｄ（ＳＡＤ：Sum of Absolute Difference）を算出する場合には、外れ値（ノイズ等の原因より統計的に見て誤差成分の大きい画素の輝度値）の影響を受けにくいという利点がある。
上記式（３）のＲｎｃｃは、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の正規化相互相関を示す。認証部１３が、類似度Ｒとして正規化相互相関Ｒｎｃｃを算出する場合には、正規化画像ＳＧ’が撮像された時の周囲の明るさと、テンプレート画像ＴＧが撮像された時の周囲の明るさとの違いによる影響を受けにくいという利点がある。
上記式（４）のＲｚｎｃｃは、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の零平均正規化相互相関を示す。認証部１３が、類似度Ｒとして、零平均正規化相互相関Ｒｚｎｃｃを算出する場合には、正規化相互相関Ｒｎｃｃよりも、正規化画像ＳＧ’が撮像された時の周囲の明るさと、テンプレート画像ＴＧが撮像された時の周囲の明るさとの違いによる影響を受けにくいという利点がある。
【数1】
上記式（１）のＲｓｓｄは、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の差の二乗和（ＳＳＤ：Sum of Squares Difference）を示す。Ｒｓｓｄは、０に近づけば近づくほど（低ければ低いほど）、類似度Ｒが高いということになる。認証部１３が、類似度Ｒとして二乗和Ｒｓｓｄを算出する場合には、計算量を少なくすることができるという特徴がある。
【数2】
上記式（２）のＲｓａｄは、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の差の絶対値和を示す。Ｒｓａｄは、０に近づけば近づくほど（低ければ低いほど）、類似度Ｒが高いということになる。認証部１３が、類似度Ｒとして絶対値Ｒｓａｄ（ＳＡＤ：Sum of Absolute Difference）を算出する場合には、外れ値（ノイズ等の原因より統計的に見て誤差成分の大きい画素の輝度値）の影響を受けにくいという利点がある。
【数3】
上記式（３）のＲｎｃｃは、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の正規化相互相関を示す。認証部１３が、類似度Ｒとして正規化相互相関Ｒｎｃｃを算出する場合には、正規化画像ＳＧ’が撮像された時の周囲の明るさと、テンプレート画像ＴＧが撮像された時の周囲の明るさとの違いによる影響を受けにくいという利点がある。
【数4】
上記式（４）のＲｚｎｃｃは、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の零平均正規化相互相関を示す。認証部１３が、類似度Ｒとして、零平均正規化相互相関Ｒｚｎｃｃを算出する場合には、正規化相互相関Ｒｎｃｃよりも、正規化画像ＳＧ’が撮像された時の周囲の明るさと、テンプレート画像ＴＧが撮像された時の周囲の明るさとの違いによる影響を受けにくいという利点がある。
【0053】
続いて、認証部１３は、算出された類似度Ｒが閾値を上回るか否かにより、本人認証を行う（ステップＳ１９；認証ステップ）。具体的には、上述のようにして求められた類似度Ｒが閾値より高ければ、本人であると認証し、コンピュータ端末４の使用を続行可能とする。一方、類似度Ｒが閾値より低ければ、別人であるとして、例えばコンピュータ端末４の使用を不可とする。
【0054】
図１３には、正規化画像ＳＧ’とテンプレート画像ＴＧとの画素値の差の二乗和Ｒｓｓｄを類似度Ｒとした場合のグラフが示されている。図１３に示すように、正規化画像ＳＧ’とテンプレート画像ＴＧとが同一人物のものである場合には、二乗和Ｒｓｓｄの値は、０近傍となり、異なる人物である場合には、０より大きくなっている。したがって、このグラフにおける同一人物の領域（点線）と、異なる人物の領域（実線）との間を閾値とすれば、本人認証を高精度に行うことができる。
【0055】
図１４には、正規化画像ＳＧ’とテンプレート画像ＴＧとの画素値の差の絶対値和Ｒｓａｄを類似度Ｒとした場合のグラフが示されている。図１４に示すように、正規化画像ＳＧ’とテンプレート画像ＴＧとが同一人物のものである場合には、絶対値和Ｒｓａｄの値は、０近傍となり、異なる人物である場合には、０より大きくなっている。したがって、このグラフにおける同一人物の領域（点線）と、異なる人物の領域（実線）との間を閾値とすれば、本人認証を高精度に行うことができる。
【0056】
図１５には、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の正規化相互相関Ｒｎｃｃを類似度Ｒとした場合のグラフが示されている。縦軸がＲｎｃｃである。図１５に示すように、正規化画像ＳＧ’とテンプレート画像ＴＧとが同一人物のものである場合には、正規化相互相関Ｒｎｃｃの値は、１近傍となり、異なる人物である場合には、１より小さくなっている。したがって、このグラフにおける同一人物の領域（点線）と、異なる人物の領域（実線）との間を閾値とすれば、本人認証を高精度に行うことができる。
【0057】
図１６には、正規化画像ＳＧ’とテンプレート画像ＴＧとの各画素の輝度値の差の零平均正規化相互相関Ｒｚｎｃｃを類似度Ｒとした場合のグラフが示されている。縦軸がＲｚｎｃｃである。図１６に示すように、正規化画像ＳＧ’とテンプレート画像ＴＧとが同一人物のものである場合には、零平均正規化相互相関Ｒｚｎｃｃの値は、１近傍となり、異なる人物である場合には、１より小さくなっている。したがって、このグラフにおける同一人物の領域（点線）と、異なる人物の領域（実線）との間を閾値とすれば、本人認証を高精度に行うことができる。
【0058】
このように、類似度Ｒにより、同一人物の類似度Ｒと、異なる人物の類似度Ｒとを明確に分離可能であることが明らかとなった。したがって、類似度Ｒを閾値と比較することにより、本人認証が可能となる。
【0059】
実施の形態２．
次に、本発明の実施の形態２について説明する。本実施の形態に係る個人識別システム１は、画像センサ２と、情報処理装置３と、を備える点は、上記実施の形態１に係る個人識別システム１と異なる。
次に、本発明の実施の形態２について説明する。本実施の形態に係る個人識別システム１は、画像センサ２と、情報処理装置３と、を備える点は、上記実施の形態１に係る個人識別システム１と異なる。
【0060】
本実施の形態に係る個人識別システム１の構成は、図１に示す上記実施の形態１に係る個人識別システム１と同じである。ただし、本実施の形態では、画像センサ２は、距離画像ではなく、可視光による画像を撮像するセンサ（可視光域に感度のある２次元画像センサ）である。
【0061】
図１７に示すように、本実施の形態では、画像の取得（ステップＳ１０）と、画像の除算（ステップＳ１１）との間に、画像合成部１１は、画像の二値化を行う（ステップＳ３０）。具体的には、画像合成部１１は、撮像部１０で撮像された画像を、手の領域とそれ以外の領域とを区別する二値画像に変換する。この二値画像は、手の領域の輝度が高く、その他の領域の輝度が低い画像となる。
【0062】
図１７における他の処理は、上記実施の形態１と同様である。その後、撮像部１０は、二値画像の各画素の値を２５５で除算し（ステップＳ１１）、画像合成部１１は、除算された二値画像を足し合わせて合成画像ＳＧを生成する（ステップＳ１４）。そして、認証部１３は、生成された合成画像ＳＧに基づいて、正規化画像ＳＧ’を生成する（ステップＳ１７）。テンプレートマッチングは、この正規化画像ＳＧ’を用いて行われる。
【0063】
以上詳細に説明したように、上記各実施の形態によれば、コンピュータ端末４のキーボード６に対して操作入力を行う手の動きを、複数の操作入力を行う間連続撮像して、その間の手の動きの広がり具合を示す正規化画像ＳＧ’を生成する。複数の操作入力を行う時の手の動きの広がり具合は、人によって全く異なるため、手の動きの広がり具合を示す正規化画像ＳＧ’から個人を特定することができる。このようにすれば、画像センサ２で手の動きを撮像するだけで、特別な設備を設けることなく、自然に継続認証を行うことができる。
【0064】
上記各実施の形態では、キーボード６を操作する手（注目領域）の複数の画像を加算し、輝度の最大値が２５５となるように正規化された正規化画像ＳＧ’（ＦＥＩ（Fingering Energy Image）画像という）に基づいて、継続認証を行う。正規化画像ＳＧ’では、手がほとんど動かない場所では像が白くなり、手が頻繁に動く場所では像がぼやける。この結果、正規化画像ＳＧ’は、キーボード６を操作する手の動きの広がり具合を示す画像となり、個人の特徴を示す画像となる。
【0065】
上記各実施の形態によれば、キーボード６のタイピング時の手の動き（運指）の違いを示す手の動きの広がり具合に基づいて、個人認証が行われる。したがって、タイピングの正確性、早さ、キーを押す強さを検出する必要はない。
【0066】
また、認証を行うのに、特定のキーワードやフレーズを文字入力する必要もないので、途中で作業を中断せずに、認証を行うことができる。このため、コンピュータ端末４の利便性を損なわないようにすることができる。また、指紋や虹彩などの個人の身体的特徴を用いて認証を行う必要もない。
【0067】
なお、上記各実施の形態では、コンピュータ端末４のキーボード６を操作する手の動きの広がり具合に基づいて本人認証を行ったが、本発明はこれには限られない。例えば、図１８（Ａ）及び図１８（Ｂ）に示すように、スマートフォンを操作する手の動きの広がり具合を示す正規化画像ＳＧ’を生成し、生成された正規化画像ＳＧ’に基づいて、本人認証を行うようにしてもよい。なお、この場合には、画像センサ２の位置と、スマートフォンの位置とが撮像の度にずれるため、複数の画像を合成する場合には、例えばスマートフォンの位置を画像間で合わせてから画像を合成する必要がある。
【0068】
なお、上記各実施の形態では、撮像された画像を２５５で除算したが、本発明はこれには限られない。撮像された画像をそのまま合成するようにしてもよい。また、上記各実施の形態では、正規化画像ＳＧ’を上下反転させたが、本発明はこれには限られない。正規化画像ＳＧ’を反転させずに、テンプレートマッチングを行うようにしてもよい。
【0069】
その他、個人識別システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【0070】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６及び内部バス３０などから構成される個人識別システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ（登録商標）－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する個人識別システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで個人識別システム１を構成してもよい。
【0071】
個人識別システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【0072】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【0073】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0074】
本発明は、継続的な個人認証に適用することができる。
【符号の説明】
【0075】
１ 個人識別システム、２ 画像センサ、３ 情報処理装置、４ コンピュータ端末、５ ディスプレイ、６ キーボード、１０ 撮像部、１１ 画像合成部、１２ 正規化部、１３ 認証部、２０，２１ 記憶部、３０ 内部バス、３１ 制御部、３２ 主記憶部、３３ 外部記憶部、３４ 操作部、３５ 表示部、３６ 入出力部、３９ プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】