(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022117757
(43)【公開日】2022-08-12
(54)【発明の名称】端末装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06F 21/31 20130101AFI20220804BHJP
G06F 21/32 20130101ALI20220804BHJP
【ＦＩ】
G06F21/31
G06F21/32
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021014436
(22)【出願日】2021-02-01
(11)【特許番号】
(45)【特許公報発行日】2021-08-25
(71)【出願人】
【識別番号】512000857
【氏名又は名称】徳山 真旭
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】徳山 真旭
(57)【要約】
【課題】使用状態に関わらず安定して使用者を認証することがきる端末装置、情報処理方法、及びプログラムを提供する。
【解決手段】端末装置１は、複数の認証情報を取得する認証用情報取得部と、認証用情報取得部で取得した一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、認証判定部で認証が成功したと判定した場合に、認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、認証判定部は、バックグラウンドにおいて、一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、一の認証情報が認証閾値以上、且つ、予め定められた認証許容値以上の場合に第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する。
【選択図】図１
【解決手段】端末装置１は、複数の認証情報を取得する認証用情報取得部と、認証用情報取得部で取得した一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、認証判定部で認証が成功したと判定した場合に、認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、認証判定部は、バックグラウンドにおいて、一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、一の認証情報が認証閾値以上、且つ、予め定められた認証許容値以上の場合に第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして前記認証用情報取得部で取得した二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する、
端末装置。
前記認証用情報取得部で取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして前記認証用情報取得部で取得した二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する、
端末装置。
【請求項2】
前記認証判定部は、さらに、前記一の認証情報また前記二の認証情報が前記認証閾値以上、且つ、前記認証許容値未満の場合、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定する、
請求項１に記載の端末装置。
請求項１に記載の端末装置。
【請求項3】
前記認証判定部は、さらに、前記二の認証情報に基づく認証を失敗と判定した場合に、前記認証用情報取得部で取得した四の認証情報に基づいて認証が成功したか否かを判定する、
請求項２に記載の端末装置。
請求項２に記載の端末装置。
【請求項4】
前記一の認証情報は、前記認証用情報取得部で取得されたユーザの第１生体情報であり、
前記二の認証情報は、前記認証用情報取得部で取得されたユーザの第２生体情報であり、
前記三の認証情報は、ユーザの特有の挙動を含む振舞情報である、
請求項２または３に記載の端末装置。
前記二の認証情報は、前記認証用情報取得部で取得されたユーザの第２生体情報であり、
前記三の認証情報は、ユーザの特有の挙動を含む振舞情報である、
請求項２または３に記載の端末装置。
【請求項5】
前記第１使用状態は、ユーザにより前記自身を把持された状態での使用状態であり、
前記第２使用状態は、前記自身を鞄またはポケットに仕舞われた状態での使用状態である、
請求項１から４の何れか一項に記載の端末装置。
前記第２使用状態は、前記自身を鞄またはポケットに仕舞われた状態での使用状態である、
請求項１から４の何れか一項に記載の端末装置。
【請求項6】
端末装置において実行される情報処理方法であって、
複数の認証情報を取得し、
取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定し、
前記認証が成功したと判定した場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新し、
バックグラウンドにおいて、一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する、
情報処理方法。
複数の認証情報を取得し、
取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定し、
前記認証が成功したと判定した場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新し、
バックグラウンドにおいて、一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する、
情報処理方法。
【請求項7】
コンピュータに、
複数の認証情報を取得する処理、
取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する処理、
前記認証が成功したと判定した場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新する処理、
バックグラウンドにおいて、一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する処理、
を実行させるためのプログラム。
複数の認証情報を取得する処理、
取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する処理、
前記認証が成功したと判定した場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新する処理、
バックグラウンドにおいて、一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する処理、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
通常、端末装置は、不正使用を防止するための認証機能を備え、認証が成功した場合に各機能を使用可能としている。認証処理には、一般的なパスワードに加え、各種の生体情報等も活用されている。例えば特許文献１には、ユーザの顔、虹彩等の像を含む画像をカメラで撮影し、撮影した画像を解析して求めた顔、虹彩等の特徴量によりユーザを本人と認証する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０４２４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された技術では、ユーザが情報処理装置に接触したことを接触センサで検知すると、カメラがユーザの顔、虹彩等の像を含む画像の撮影を開始する。そして、ユーザが情報処理装置に接触していることを接触センサで検知することができなくなると、カメラはユーザの顔、虹彩等の像を含む画像の撮影を止める。このため、特許文献１に開示された技術では、例えば、ハンズフリーで情報処理装置を使用する場合、情報処理装置を鞄、ポケット等に仕舞ったままで使用する場合等では、ユーザが情報処理装置に接触していないため、ユーザを本人と認証することができない。したがって、特許文献１に開示された技術では、情報処理装置の使用状態によっては、安定してユーザを本人と認証することができないという課題がある。
【0005】
本発明は上述の課題を解決するものであり、使用状態に関わらず安定して使用者を認証することがきる端末装置、情報処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達するため、本発明に係る端末装置は、
複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして前記認証用情報取得部で取得した二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する。
複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記一の認証情報が前記認証閾値以上、且つ、予め定められた認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして前記認証用情報取得部で取得した二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定する。
【発明の効果】
【0007】
本発明に係る端末装置によれば、バックグラウンドにおいて、一の認証情報による認証ができない場合に、二の認証情報に基づいて自身の第２使用状態における認証が成功したか否かを判定することができるため、端末装置の使用状態に関わらず安定して使用者を認証することがきる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施の形態に係る端末装置の正面図である。
【図6A】実施の形態に係る認証処理のフローチャートである。
【図7】実施の形態に係る顔認証値取得処理のフローチャートである。
【図8】実施の形態に係る補助認証処理のフローチャートである。
【図9】実施の形態に係る音声取得処理のフローチャートである。
【図10】実施の形態に係る音声認証処理のフローチャートである。
【発明を実施するための形態】
【0009】
以下に、本発明を実施するための形態に係る端末装置、情報処理方法、及びプログラムについて、図面を参照して詳細に説明する。なお、図中同一または相当する部分には同一符号を付す。
【0010】
本実施の形態に係る端末装置１は、ユーザ本人の顔の画像、指紋、音声等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができるようにした装置である。特に、端末装置１では、端末装置１を鞄、ポケットに仕舞うなど、使用状況によってユーザ本人の顔の画像が撮影できず、顔の画像による認証ができなかった場合には、ユーザ本人の音声によりユーザ本人を認証できるものとする。
【0011】
また、端末装置１において行われるユーザの認証処理は、端末装置１の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報と振舞情報とを更新していくことにより、認証の精度を向上させることができる処理である。
【0012】
端末装置１の正面図を、図１に示す。端末装置１は、いわゆるスマートフォンであり端末装置１は、正面にユーザの顔を撮影するインカメラ１１Ａと、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂと、端末装置１の傾きを検出する傾き検出部１３と、操作入力部１４及び表示部１９を兼ねるタッチパネルと、ユーザの指紋を検出する左指紋センサ１５Ａ及び右指紋センサ１５Ｂと、端末装置１の現在位置を検出する位置検出部１６とを備える。また、端末装置１は、背面に、ユーザから見た人間、風景、物体等を撮影することができるメインカメラ１１Ｂを備える。
【0013】
ここで、以下では、インカメラ１１Ａとメインカメラ１１Ｂとを総称して、撮影部１１と称する。以下では、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂとを総称して、音声入出力部１２と称する。また、以下では、左指紋センサ１５Ａ及び右指紋センサ１５Ｂを総称して、指紋検出部１５と称する。
【0014】
図２は、端末装置１の構成を示すブロック図である。端末装置１は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６と、端末記憶部１７と、端末制御部１８と、表示部１９とを備える。
【0015】
通信部１０は、図示せぬ通信網を介して外部のサーバ、クラウド等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。
【0016】
撮影部１１は、図１に示したインカメラ１１Ａとメインカメラ１１Ｂとを含む。撮影部１１には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いたカメラ、ビデオカメラ等、静止画または動画を撮影し、撮影した静止画または動画を取得することが可能な各種カメラを用いることができる。
【0017】
音声入出力部１２は、図１に示したスピーカ１２Ａと、マイクロフォン１２Ｂとを含む。スピーカ１２Ａは、音声通話で受信した音声、通信網を介して外部から取得した音楽データ等を出力する。マイクロフォン１２Ｂは、ユーザの音声をピックアップする装置である。
【0018】
傾き検出部１３は、端末装置１の傾き、揺れ等を検出することができる装置である。傾き検出部１３は、加速度センサ、角度センサ、地磁気を検出する磁気センサ等の端末装置１の傾きを検出できる各種センサを用いて構成することができる。なお、傾き検出部１３を構成するセンサの個数及び種類は、単数又は複数のどちらでもよい。
【0019】
操作入力部１４は、図１に示したユーザからの操作を入力することができる装置である。指紋検出部１５は、ユーザの指紋を検出するセンサである。指紋検出部１５は、図１に示した左指紋センサ１５Ａ及び右指紋センサ１５Ｂを含む。なお、指紋検出部１５には、指紋センサに限らず、ユーザの指紋を検出することができるセンサ、機器等であれば、いずれのものを用いてもよい。
【0020】
位置検出部１６は、端末装置１の現在位置を検出することができる装置である。位置検出部１６は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の、端末装置１の現在位置を検出することができる機器を用いて構成することができる。
【0021】
端末記憶部１７は、ユーザの認証処理を行うための認証処理プログラム１７０と、端末装置１で取得したユーザの生体情報をまとめた認証用生体情報データベース１７１と、端末装置１で取得したユーザの振舞情報をまとめた認証用振舞情報データベース１７２と、端末装置１の傾き状態を記憶するための傾き情報テーブル１７３とを備える。また、端末記憶部１７には、端末装置１で実行される各種アプリケーションのプログラムが記憶されている。
【0022】
認証処理プログラム１７０は、端末装置１で取得したユーザの生体情報及び振舞情報に基づいてユーザを認証する処理を行うプログラムである。認証用生体情報データベース１７１は、ユーザの生体情報に関する情報と認証に用いる認証値とを保存するためのデータベースである。
【0023】
認証用振舞情報データベース１７２は、端末装置１を操作する際のユーザ特有の振舞に関する情報、認証の合格条件等を保存するためのデータベースである。ここで、ユーザ特有の振舞とは、ユーザが端末装置１を操作する際の挙動、表示部１９の画面とユーザの顔の距離、キーストローク、持ち方、端末装置１が使用される位置、特定の通信網への接続回数、特定のアプリケーションの起動、操作等、ユーザ固有のものをいう。
【0024】
傾き情報テーブル１７３は、傾き検出部１３により検出された端末装置１の傾き角度と、取得日時、取得のための待機時間を記憶するためのテーブルである。なお、認証処理プログラム１７０と、認証用生体情報データベース１７１と、認証用振舞情報データベース１７２と、傾き情報テーブル１７３とについては、その詳細を後述する。
【0025】
端末制御部１８は、端末記憶部１７に記憶された各種プログラムを実行する。また、端末制御部１８は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とから各種データを取得して処理し、端末記憶部１７の各種データベース、テーブルに記憶する。また、端末制御部１８は、撮影部１１に撮影する指示を送信することで、任意のタイミングで撮影部１１に撮影をさせることができる。
【0026】
表示部１９は、端末制御部１８で実行される各種プログラムの処理内容を表示する。また、表示部１９は、撮影部１１で撮影された静止画、動画等の画像、操作入力部１４から入力されたデータ等を表示することもできる。表示部１９は、操作入力部１４上に積層されており、図１に示したタッチパネルを構成する。
【0027】
次に、端末装置１のハードウエア構成の一例を、図３を参照しつつ説明する。端末装置１は、各種プログラムを実行するプロセッサ２１と、各種プログラムを展開するためのメモリ２２と、各種表示用データを出力する表示コントローラ２３と、各種表示用データを表示する表示機器２４と、撮影部１１、音声入出力部１２等を接続するためのＩ／Ｏポート２５と、各種プログラム及び各種データを記憶する記憶機器２６と、外部との通信し各種データを送受信する通信機器２７とを備える。このプロセッサ２１と、メモリ２２と、表示コントローラ２３と、表示機器２４と、Ｉ／Ｏポート２５と、記憶機器２６と、通信機器２７とは、データバス２８を介して相互に接続されている。
【0028】
プロセッサ２１は、記憶機器２６に記憶された各種プログラムを読み出してメモリ２２に展開し、実行する。プロセッサ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置を用いて構成することができる。また、メモリ２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の揮発性または不揮発性の半導体メモリといった記憶素子および記憶媒体を用いて構成することができる。
【0029】
表示コントローラ２３は、表示機器２４に各種表示用データを出力するコントローラである。表示コントローラ２３は、ビデオカード、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックボード等の映像信号出力装置を用いて構成することができる。また、表示機器２４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）モニタ等の表示装置を用いて構成することができる。
【0030】
Ｉ／Ｏポート２５は、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とを接続することができる接続用ポートである。Ｉ／Ｏポート２５には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート等、機器を接続可能な各種ポートを用いて構成することができる。
【0031】
記憶機器２６は、プロセッサ２１で実行する各種プログラム、各種プログラムで使用するための各種データを記憶する機器である。記憶機器２６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置を用いて構成することができる。
【0032】
通信機器２７は、図示せぬ通信網を介して外部のサーバ、クラウド等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。
【0033】
上述のプロセッサ２１により、図２に示した端末装置１の端末記憶部１７に記憶された認証処理プログラム１７０を実行することにより、端末制御部１８に図４に示す情報処理ブロックが実現される。これにより、端末装置１は、ユーザ本人の顔の画像、指紋、声紋等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができる。
【0034】
情報処理ブロックは、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する認証用情報取得部１８１と、ユーザを本人か否か認証する認証判定部１８２と、表示部１９に認証結果を表示させる認証結果表示部１８３と、認証判定部１８２からの指示により端末記憶部１７に記憶されは各種データベース及びテーブルの情報を更新する認証用情報更新部１８４とを備える。
【0035】
認証用情報取得部１８１は、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する。認証判定部１８２は、認証用情報取得部１８１はから取得した認証用の生体情報及び振舞情報と、端末記憶部１７の各種データベースに記憶された認証値、合格条件等に基づいて、ユーザの認証を行う。認証結果表示部１８３は、認証判定部１８２からユーザの認証結果を受信し、表示部１９に認証結果に応じてメッセージ、画像等を表示させる。認証用情報更新部１８４は、認証判定部１８２からの指示に基づいて、端末記憶部１７に記憶された各種データベース、テーブルに記憶されたデータを更新する。なお、認証用情報取得部１８１で取得される生体情報及び振舞情報は、特許請求の範囲における認証情報の一例である。また、認証用情報取得部１８１で取得される各生体情報は、特許請求の範囲における一の情報及び二の情報の一例である。認証用情報取得部１８１で取得される各振舞情報は、特許請求の範囲における三の情報の一例である。
【0036】
次に、端末記憶部１７に記憶される認証用生体情報データベース１７１と、認証用振舞情報データベース１７２と、傾き情報テーブル１７３との各テーブルの構成について、図５Ａから図５Ｃを参照しつつ以下に説明する。まず、認証用生体情報データベース１７１のテーブルには、図５Ａに示すように、顔、音声等の生体情報の種類と、ユーザ本人の生体情報である登録情報と、登録情報と図４に示した認証用情報取得部１８１で取得した生体情報とを比較して求める認証値が記憶されている。
【0037】
本実施の形態では、音声の生体情報として、声紋、口癖、イントネーションの３種類のデータが、認証用生体情報データベース１７１に記憶されている。音声の声紋、口癖、イントネーション等のデータは、フィラー機能による本人認証に用いることができるデータである。
【0038】
認証用生体情報データベース１７１のテーブルに記憶されている登録情報は、ユーザ本人の生体情報である。登録情報には、端末装置１で認証処理を行う前に予め登録された情報であり、ユーザ本人を認証できた場合に更新される。登録情報には、例えば、生体情報の種類が顔であれば顔画像から求めた特徴量が、生体情報の種類が音声であれば音声データと音声データを解析して求めた声紋、口癖、イントネーションの各特徴量が、生体情報の種類が虹彩であれば虹彩データが、生体情報の種類が指紋であれば指紋の画像から求めた特徴量が、それぞれ記憶されている。なお、生体情報の種類のうち「顔」は、特許請求の範囲における第１生体情報の一例である。また、生体情報の種類のうち「音声」は、特許請求の範囲における第２生体情報の一例である
【0039】
本実施の形態において、生体情報の類似の判定は、認証値により行われる。認証値は、登録情報と、図４に示した認証用情報取得部１８１で取得した生体情報とを比較した結果を基に求められる値である。認証値は、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に０に近づき、類似しない場合に１に近づく。認証用生体情報データベース１７１には、認証値の平均値と、認証値を判定するための閾値である認証閾値と、認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた認証許容値とが含まれる。なお、音声の生体情報に対応付けて記憶される認証値は、音声の声紋、口癖、イントネーションの各認証値を平均して求めた認証値である。
【0040】
まず、認証値の平均値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し求められた認証値の平均の値である。認証閾値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以下の場合、ユーザをユーザ本人と判定するための基準となる値である。認証閾値は、ユーザの認証の状況に合わせて変動する値であり、予め上限値が定めされている。上限値は、その値以上となった場合、ユーザをユーザ本人と生体情報のみで認証すべきではないとされる値である。例えば、認証閾値のデフォルト値を、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく０と類似しない場合に近づく１との間の０．４であれば、認証閾値の上限値は０．４５といった具合である。
【0041】
また、認証許容値は、登録情報と認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以上の場合、ユーザをユーザ本人ではないと判定するための基準となる値である。認証許容値は、上述のとおり認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値であるため、認証閾値と認証許容範囲値との変動に応じて、変動する値である。認証許容値には、予め上限値が定められており、これを最大認証許容値と呼ぶ。最大認証許容値は、この値以上の場合、ユーザを他人と判断すべきとされる値である。例えば、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく０と類似しない場合に近づく１との中間の０．５である。
【0042】
認証閾値と認証許容値との間の値を認証許容範囲値といい、ユーザがユーザ本人か否かグレーな場合を示す値である。認証値が認証許容範囲値内である場合、ユーザがユーザ本人か否かを生体情報だけで判断せず、ユーザ特有の振舞情報が合格条件に合致している場合に、ユーザ本人と認証し、合致してない場合、ユーザ本人と認証しないものとする。振舞情報によるユーザの認証を、以下では、補助認証と称する。認証許容範囲値は、この範囲に収まる認証値であればユーザ本人として概ね考え良いと思われる値を、予め定めたものである。
【0043】
例えば、類似する場合に近づく０と、類似しない場合に近づく１との一割以下の０．０８である。なお、認証閾値が上限値になった場合、最大認証許容値から認証閾値が上限値を引いた値になる。例えば、認証閾値の上限値が０．４５、最大認証値が０．５であれば、認証許容範囲値は０．０５といった具合である。したがって、認証閾値が上限値になっている場合、認証閾値が上限値になっていない場合よりも認証許容範囲値の値は小さな値をとる。
【0044】
次に、認証用振舞情報データベース１７２のテーブルについて、図５Ｂを参照しつつ、以下に説明する。認証用振舞情報データベース１７２のテーブルには、通信接続、イベント実行等のユーザの振舞の種類と、図４に示した認証用情報取得部１８１で取得した取得情報と、各振舞における最新状況と、各振舞の合格条件とが記憶されている。
【0045】
取得情報には、例えば、振舞の種類が通信接続であれば接続先のアドレス、ＳＳＩＤ（Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）、ＢＳＳＩＤ（Ｂａｓｉｃ Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）等が、振舞の種類がイベント実行であれば予めスケジュール帳に保存されたイベントの行われる場所の名称、住所等の場所情報が、振舞の種類が顔と端末装置との距離であれば距離が、振舞の種類がデバイス接続であれば接続先のデバイスを示す名称、ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）等が、振舞の種類が位置情報であれば端末装置１の現在地を示す緯度経度、住所等が、それぞれ記憶されている。
【0046】
各振舞における最新状況には、例えば、振舞の種類が通信接続であれば、取得情報に示された通信接続先にこれまで接続等された合計回数である。通信接続先への接続等の合計回数は、初期値が０であり、通信接続先への接続等により回数が加算されていく。また、振舞の種類がイベント実行であれば、取得情報に記憶されている場所とユーザの現在地との間の距離が記憶される。
【0047】
振舞の種類が顔と端末装置１との距離であれば、最新状況には、それまでユーザがユーザ本人と認証された際に算出された顔と端末装置１との距離の平均距離が記憶される。顔と端末装置１との平均距離は、ユーザがユーザ本人と認証される度に更新される。なお、顔と端末装置１との平均距離の初期値は、図５Ａに示した生体情報を、端末装置１でユーザ本人の認証を行う前に予め登録する際に求められた距離とする。
【0048】
また、振舞の種類がデバイス接続であれば、最新状況には、取得情報に記憶された名称、ＩＤ等が示すデバイスに接続されているか否かが記憶されている。デバイス接続は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）によりペア設定されたデバイスと端末装置１との接続である。振舞の種類が位置情報であれば、最新状況には、それまでユーザがユーザ本人と認証された際に居た所在地を示す緯度経度、住所等が記憶されている。また、各振舞の合格条件は、各振舞の信頼性を担保できる条件を予め定めた条件である。
【0049】
次に、傾き情報テーブル１７３のテーブルを、図５Ｃに示す。傾き情報テーブル１７３は、図４に示した傾き検出部１３から取得された端末装置１の傾きを示す角度と、その角度を取得した取得日時、傾きを検出するめのインターバルとなる待機時間とを記憶している。端末装置１の傾きを示す角度は、待機時間が経過する毎に図４に示した認証用情報取得部１８１により傾き検出部１３から取得され、更新される。また、その角度を更新する際、角度を取得した取得日時も更新される。
【0050】
本実施の形態に係る端末装置１は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図２に示した端末制御部１８は、端末記憶部１７に記憶された認証処理プログラム１７０を実行し、ユーザがユーザ本人か否かを判別する。端末制御部１８により実行される認証処理プログラム１７０の処理について、図６Ａから図１０に示す各処理のフローチャートを参照しつつ、以下に説明する。
【0051】
まず、図６Ａに示す認証処理のフローチャートを参照する。図４に示した端末制御部１８は、顔認証値取得処理を実行する（ステップＳ１０１）。顔認証値取得処理については、図７に示す顔認証値取得処理を参照しつつ、以下に説明する。
【0052】
端末制御部１８は、リトライ回数に０回を設定する（ステップＳ２０１）。図４に示した認証用情報取得部１８１は、撮影部１１に端末装置１を操作しているユーザの顔写真を撮影させる。具体的には、認証用情報取得部１８１は、端末装置１の正面に向き合っているユーザの顔写真を、インカメラ１１Ａに撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真を取得する（ステップＳ２０２）。認証用情報取得部１８１は、取得したユーザの顔写真がブレているか否か判定する（ステップＳ２０３）。
【0053】
ユーザの顔写真がブレていない場合（ステップＳ２０３；ＮＯ）、認証用情報取得部１８１は、撮影部１１に撮影させたユーザの顔写真からユーザの顔が検出できるか否か判定する（ステップＳ２０４）。ユーザの顔写真からユーザの顔が検出できた場合（ステップＳ２０４；ＹＥＳ）、認証用情報取得部１８１は、検出したユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、求めたユーザの顔の画像の特徴量を図４に示した認証判定部１８２に送信する。
【0054】
認証判定部１８２は、図２に示した端末記憶部１７に記憶されている認証用生体情報データベース１７１を取得する。認証判定部１８２は、図５Ａに示した認証用生体情報データベース１７１のテーブルから、生体情報の種類のうち「顔」に対応付けられた登録情報に記憶された顔画像の特徴量と、認証値の認証許容値及び認証閾値を取得する。認証判定部１８２は、認証用生体情報データベース１７１から取得した登録情報の顔画像の特徴量と、認証用情報取得部１８１から受信した顔画像の特徴量とを比較し、比較の結果を基に顔の認証値を求める。
【0055】
また、ステップＳ２０３で取得したユーザの顔写真がブレている場合（ステップＳ２０３；ＹＥＳ）、または、ステップＳ２０４でユーザの顔写真からユーザの顔が検出できなかった場合（ステップＳ２０４；ＮＯ）、認証用情報取得部１８１は、リトライ回数が、規定回数未満か否か判定する（ステップＳ２０６）。この規定回数は、予め定められたリトライできる回数であり、図２に示した端末記憶部１７に記憶されているものとする。
【0056】
リトライ回数が規定回数未満である場合（ステップＳ２０６；ＹＥＳ）、認証用情報取得部１８１は、リトライ回数に１を足す（ステップＳ２０７）。認証用情報取得部１８１は、撮影部１１にユーザの顔写真の撮影をリトライさせる（ステップＳ２０８）。
【0057】
また、リトライ回数が規定回数未満でない場合（ステップＳ２０６；ＮＯ）、認証用情報取得部１８１は、認証判定部１８２に端末記憶部１７に記憶されている顔の認証値を取得させる（ステップＳ２０９）。具体的には、認証用情報取得部１８１は、認証判定部１８２に、図２に示した端末記憶部１７に記憶されている認証用生体情報データベース１７１を取得させる。認証判定部１８２は、図５Ａに示した認証用生体情報データベース１７１のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値を取得する。なお、ユーザの顔写真からユーザの顔が検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。
【0058】
認証判定部１８２は、顔認証取得処理を終了する。ここで、図６Ａに戻る。認証判定部１８２は、顔認証値取得処理で求めた顔の認証値が認証用生体情報データベース１７１から取得した認証閾値以上か否か判定する（ステップＳ１０２）。顔認証値取得処理で求めた顔の認証値が認証閾値以上の場合（ステップＳ１０２；ＹＥＳ）、認証判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７１から取得した認証許容値以下か否か判定する（ステップＳ１０３）。
【0059】
求めた顔の認証値が認証許容値以下の場合（ステップＳ１０３；ＹＥＳ）、端末装置１を使用しているユーザは、ユーザ本人か否かグレーである。このため、認証判定部１８２は、振舞情報による認証の処理である補助認証処理を実行する（ステップＳ１０４）。補助認証処理については、図８に示すフローチャートを参照しつつ、以下に説明する。
【0060】
まず、認証判定部１８２は、図４に示した認証用情報取得部１８１に通信部１０から現在接続している通信接続先を取得させる。認証判定部１８２は、認証用情報取得部１８１から、取得させた通信部１０の現在の通信接続先を受信する。
【0061】
続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。認証判定部１８２は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。
【0062】
例えば、図５Ｂに示すように、「通信接続」の取得情報にはＳＳＩＤであるＡＢＣ＿ＷＬＡＮと１２３ＷＬＡＮとが記憶されている。このＡＢＣ＿ＷＬＡＮでは、接続した回数に３１回、合格条件として接続回数が１００回以上と記憶されている。また、１２３ＷＬＡＮでは、接続した回数に１５７回、合格条件として接続回数が１００回以上と記憶されている。なお、以下では合格条件を満たす場合を信頼するものと呼び、合格条件を満たさない場合を信頼しないものと呼ぶ。
【0063】
認証判定部１８２は、認証用情報取得部１８１から受信した通信部１０の現在の通信接続先と、認証用振舞情報データベース１７２から取得した取得情報とを比較し、現在の通信接続先が信頼する通信接続先か否か判定する（ステップＳ３０１）。
【0064】
ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤの１２３ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報における１２３ＷＬＡＮは、接続した回数が１５６回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先であるため（ステップＳ３０１；ＹＥＳ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証する。
【0065】
続いて、認証判定部１８２は、認証間隔を現在の認証間隔よりも長くする（ステップＳ３０２）。これは、現在の通信接続先が信頼する通信接続先であれば、ユーザ本人は自宅、職場等の信頼する環境に居るものと考えられるためである。この場合、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げ必要最低限の回数認証を行うようにすれば良い。また、認証判定部１８２は、補助認証ができた旨を戻り値として設定する（ステップＳ３０３）。
【0066】
また、ステップＳ３０１において、例えば、通信部１０の現在の通信接続先としてＳＳＩＤのＡＢＣ＿ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報におけるＡＢＣ＿ＷＬＡＮは、接続した回数が３１回であり、合格条件の接続回数が１００回以上である。このため、認証判定部１８２は、現在の通信接続先は信頼する通信接続先ではないものと判定する（ステップＳ３０１；ＮＯ）。この場合、認証判定部１８２は、直前もしくは現在、信頼するイベントを実行しているか否かを判定する（ステップＳ３０４）。
【0067】
ここで、例えば、端末装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「△●映画館」が記憶されているものとする。認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「△●映画館」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「△●映画館」の位置情報との間の距離が７２ｍとする。この場合、認証判定部１８２は、信頼するイベントの実行であるもと判定する（ステップＳ３０４；ＹＥＳ）。その後、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。
【0068】
また、認証判定部１８２は、認証用情報取得部１８１に操作入力部１４から直前もしくは現在に実行しているイベントの内容を取得させる。認証判定部１８２は、端末装置１に備えられたカレンダーから、直前もしくは現在の日時に予定があるか否かと、その予定が行われる場所の情報とを取得する。認証判定部１８２は、直前もしくは現在の日時に予定が無かった場合、信頼するイベントの実行ではないもの判定する（ステップＳ３０４；ＮＯ）。この場合、認証判定部１８２は、顔と端末装置１との距離を算出する（ステップＳ３０５）。
【0069】
また、ステップＳ３０４において、直前もしくは現在に予定があった場合、認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から、現在の位置情報を取得させる。続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。
【0070】
認証判定部１８２は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち、「イベント実行」に対応つけられた取得情報と合格条件とを取得する。例えば、図５Ｂに示すように、「イベント実行」の取得情報にはイベントが行われる場所として「○×公園」及び「△●映画館」が記憶され、その両方の合格条件として「距離が１００ｍ以内」と記憶されているものとする。
【0071】
ここで、例えば、端末装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「○×公園」が記憶されているものとする。認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「○×公園」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「○×公園」の位置情報との間の距離が１１３ｍとする。この場合、信頼するイベントの実行ではないものとし（ステップＳ３０４；ＮＯ）、顔と端末装置１との距離を算出する（ステップＳ３０５）。
【0072】
ユーザの顔と端末装置１との距離は、図１に示したインカメラ１１Ａで撮影した端末装置１の正面に向き合うユーザの顔写真における、ユーザの顔の占める割合を基づいて算出する。
【0073】
続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。認証判定部１８２は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「顔と端末装置との距離」に対応つけられた平均距離、合格条件を取得する。例えば、図５Ｂに示すように、「顔と端末装置との距離」の平均距離には２６２ｍｍ、合格条件に平均距離のプラスマイナス２０ｍｍと記憶されている。
【0074】
認証判定部１８２は、ステップＳ１０９で算出したユーザの顔と端末装置１との距離が、認証用振舞情報データベース１７２から取得した合格条件に設定された設定範囲内か否か判定する（ステップＳ３０６）。具体的には、認証用振舞情報データベース１７２から取得した平均距離は２６２ｍｍ、合格条件は、平均距離のプラスマイナス２０ｍｍであるので、２４２ｍｍから２８２ｍｍの範囲か否かを判定する。
【0075】
ステップＳ３０５で算出したユーザの顔と端末装置１との距離が、設定範囲内である場合、具体的には、２４２ｍｍから２８２ｍｍの範囲内である場合（ステップＳ３０６；ＹＥＳ）、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。
【0076】
また、ステップＳ３０５で算出したユーザの顔と端末装置１との距離が、設定範囲内ではない場合、具体的には、２４２ｍｍから２８２ｍｍの範囲内ではない場合（ステップＳ３０６；ＮＯ）、認証判定部１８２は、端末装置１の現在地を求める（ステップＳ３０７）。具体的には、認証判定部１８２は、図４に示した認証用情報取得部１８１に、位置検出部１６から端末装置１の現在地を示す緯度経度を取得させる。
【0077】
続いて、認証判定部１８２は、位置検出部１６から取得した端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７２の合格条件に設定された設定範囲内か否か判定する（ステップＳ３０８）。具体的には、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７２を取得する。認証判定部１８２は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「位置情報」に対応つけられた最新状況に記憶された緯度経度と、合格条件とを取得する。認証判定部１８２は、認証用情報取得部１８１に取得させた端末装置１の現在地を示す緯度経度と、認証用振舞情報データベース１７２から取得した緯度経度との差分に基づいて距離を求める。認証判定部１８２は、求めた距離が認証用振舞情報データベース１７２の合格条件に設定された設定範囲内か否か判定する。
【0078】
端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７２の合格条件に設定された設定範囲内である場合（ステップＳ３０８；ＹＥＳ）、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。また、端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７２の合格条件に設定された設定範囲内でない場合（ステップＳ３０８；ＮＯ）、認証判定部１８２は、補助認証ができなかった旨を戻り値として設定する（ステップＳ３０９）。認証判定部１８２は、補助認証処理を終了する。
【0079】
ここで、図６Ａに戻る。認証判定部１８２は、補助認証ができたか否か判定する（ステップＳ１０５）。補助認証ができなかった場合（ステップＳ１０５；ＮＯ）、認証判定部１８２は、図４に示した認証結果表示部１８３に、キーワードの音声入力を要求する旨を表示部１９に表示させる（ステップＳ１０６）。このキーワードは、図４に示す端末記憶部１７に予め記憶された任意のキーワードとする。
【0080】
認証判定部１８２は、音声入力されたキーワードが正しいか否か判定する（ステップＳ１０７）。音声入力されたキーワードが正しくない場合（ステップＳ１０７；ＮＯ）、認証判定部１８２は、認証結果表示部１８３に、パスワードの入力を要求する旨を表示部１９に表示させる（ステップＳ１０８）。このパスワードは、図４に示す端末記憶部１７に予め記憶された任意のパスワードとする。
【0081】
認証判定部１８２は、入力されたパスワードが正しいか否か判定する（ステップＳ１０９）。入力されたパスワードが正しくない場合（ステップＳ１０９；ＮＯ）、認証判定部１８２は、続いて、認証判定部１８２は、図４に示した認証結果表示部１８３にログイン画面を表示部１９に表示させる（ステップＳ１１０）。このログイン画面は、パスワードの入力、指紋認証等の端末装置１に含まれるＯＳによる本人認証である。
【0082】
また、ステップＳ１０２で顔認証値取得処理で求めた顔の認証値が認証閾値以上ではない場合（ステップＳ１０２；ＮＯ）、ステップＳ１０５で補助認証ができた場合（ステップＳ１０５；ＹＥＳ）、ステップＳ１０７で音声入力されたキーワードが正しい場合（ステップＳ１０７；ＹＥＳ）、または、ステップＳ１０９で入力されたパスワードが正しい場合（ステップＳ１０９；ＹＥＳ）、認証判定部１８２は音声取得処理を実行する（ステップＳ１１１）。
【0083】
上記のステップＳ１０２で顔認証値取得処理で求めた顔の認証値が認証閾値以上ではない場合（ステップＳ１０２；ＮＯ）、ステップＳ１０５で補助認証ができた場合（ステップＳ１０５；ＹＥＳ）は、言い換えれば、ユーザの顔による認証が成功した場合である。この場合、端末装置１は、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる状態にある。
【0084】
また、ステップＳ１０７で音声入力されたキーワードが正しい場合（ステップＳ１０７；ＹＥＳ）、または、ステップＳ１０９で入力されたパスワードが正しい場合（ステップＳ１０９；ＹＥＳ）は、表示部１９に表示させたキーワードまたはパスワードの入力の要求を、ユーザが見られる状態である。この場合、ステップＳ１０２、Ｓ１０５における状態と同様に、端末装置１は、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる状態にある。
【0085】
なお、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる端末装置１の使用状態は、特許請求の範囲における第１使用状態の一例である。
【0086】
続いて、音声取得処理について、図９に示すフローチャートを参照しつつ、以下に説明する。認証判定部１８２は、ユーザの発声があるか否か判定する（ステップＳ４０１）。具体的には、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できる場合、ユーザの発声があるものと判定する。また、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できない場合、ユーザの発声がないものと判定する。なお、この音声入出力部１２は、図１に示したマイクロフォン１２Ｂとする。
【0087】
ユーザの発声がない場合（ステップＳ４０１；ＮＯ）、認証判定部１８２は音声取得処理を終了する。また、ユーザの発声がある場合（ステップＳ４０１；ＹＥＳ）、認証判定部１８２は、録音時間に０秒を設定する（ステップＳ４０２）。認証判定部１８２は、認証用情報取得部１８１に、図４に示した音声入出力部１２からユーザの音声を取得させる（ステップＳ４０３）。
【0088】
認証判定部１８２は、録音時間が規定時間を超えたか否か判定する（ステップＳ４０４）。この規定時間は、予め定められた音声のデータを取得するのに必要な時間である。例えば、１０秒、３０秒等、任意の時間が設定される。設定された規定時間は、端末記憶部１７に記憶されている。
【0089】
録音時間が規定時間を超えていない場合（ステップＳ４０４；ＮＯ）、認証判定部１８２は、ステップＳ４０３に戻り、認証用情報取得部１８１に音声入出力部１２からユーザの音声を取得させる。また、録音時間が規定時間を超えた場合（ステップＳ４０４；ＹＥＳ）、認証判定部１８２は、取得した音声のデータを解析する（ステップＳ４０５）。具体的には、認証判定部１８２は、図５Ａに示した認証用生体情報データベース１７１の生体情報の種類に含まれる、音声の声紋、口癖、およびイントネーションの各特徴量を、取得した音声のデータを解析して求める。認証判定部１８２は、音声取得処理を終了する。
【0090】
ここで、図６Ａに戻る。認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データを更新させる（ステップＳ１１２）。具体的には、認証用情報更新部１８４は、図５Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「顔」に対応つけられた登録情報に、登録情報に記憶されていた顔画像の特徴量に認証判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、登録情報を更新する。また、認証用情報更新部１８４は、図５Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「音声（声紋）」、「音声（口癖）」、および「音声（イントネーション）」に対応つけられた登録情報に、図９に示した音声取得処理で求めた音声の声紋、口癖、およびイントネーションの各特徴量を加え、登録情報を更新する。
【0091】
続いて、認証用情報更新部１８４は、図５Ｂに示した認証用振舞情報データベース１７２のテーブルの振舞の種類「通信接続」に対応つけられた最新状況に記憶されている回数に１を加え、更新する。また、図５Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類「顔と端末装置との距離」に対応つけられた最新状況を、記憶されている平均距離とステップＳ１０９で算出された「顔と端末装置との距離」から求められた平均距離で更新する。
【0092】
このように、認証用生体情報データベース１７１に記憶された生体情報、及び、認証用振舞情報データベース１７２に記憶された振舞情報を更新することにより、ユーザの生体情報及び振舞情報の精度が向上する。このため、ユーザの認証の精度を向上させることができる。
【0093】
ここで、図６Ｂに移動する。認証判定部１８２は、生体認証及び補助認証が予め定めされた設定回数成功したか否かを判定する（ステップＳ１１３）。この設定回数は、例えば、連続で１０回、端末装置１が起動してから合計で２０回等、任意の回数である。生体認証及び補助認証が予め定めされた設定回数成功した場合（ステップＳ１１３；ＹＥＳ）、認証判定部１８２は、設定回数分の認証で求められた顔の認証値の平均値を求める（ステップＳ１１４）。
【0094】
具体的には、認証判定部１８２は、図２に示した認証用生体情報データベース１７１を、端末記憶部１７から取得する。認証判定部１８２は、図６Ａに示した認証用生体情報データベース１７１のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。認証判定部１８２は、ステップＳ１０１で求めた顔の認証値と、認証用生体情報データベース１７１から取得した認証値の平均値とを足して２で割り、顔の認証値の平均値を算出する。また、生体認証及び補助認証が予め定めされた設定回数成功しなかった場合（ステップＳ１１３；ＮＯ）、ステップＳ１２１からステップＳ１２３の処理をスキップし、ステップＳ１２４へ進む。
【0095】
認証判定部１８２は、ステップＳ１１４で求めた顔の認証値の平均値を、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信した顔の認証値の平均値と、予め設定された認証閾値の上限値とを比較する。顔の認証値の平均値が予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、認証閾値の上限値を書き込み、更新する。
【0096】
また、顔の認証値の平均値が予め設定された認証閾値の上限値以下である場合、認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、ステップＳ１１４で求めた顔の認証値の平均値を書き込み、更新する（ステップＳ１１５）。
【0097】
続いて、認証用情報更新部１８４は、認証許容値を更新する（ステップＳ１１６）。具体的には、ステップＳ１１４で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、予め設定された最大認証許容値を認証許容値とする。また、ステップＳ１１４で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以下である場合、ステップＳ１１４で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以下であれば、その足した値を認証許容値とする。ステップＳ１１４で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以上であれば、最大認証許容値を認証許容値とする。
【0098】
認証用情報更新部１８４は、図２に示した認証用生体情報データベース１７１を、端末記憶部１７から取得する。認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証許容値に、求めた認証許容値を書き込み、更新する。
【0099】
図４に示した認証用情報取得部１８１は、傾き検出部１３から端末装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１１７）。認証用情報取得部１８１は、取得した端末装置１の傾きの角度と現在の日時情報とを認証判定部１８２に送信する。
【0100】
認証判定部１８２は、受信した端末装置１の傾きの角度と現在の日時情報とを、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、図２に示した端末記憶部１７に記憶された傾き情報テーブル１７３に、受信した端末装置１の傾きの角度と現在の日時情報とを書き込み、保存する（ステップＳ１１８）。
【0101】
認証判定部１８２は、図５Ｃに示した傾き情報テーブル１７３のテーブルに記憶されている待機時間を取得する。認証判定部１８２は、認証用情報取得部１８１に取得した待機時間を送信する。認証用情報取得部１８１は、受信した待機時間の間、通信部１０、撮影部１１等からのデータの取得を待機する（ステップＳ１１９）。
【0102】
待機時間が終了すると、認証用情報取得部１８１は、傾き検出部１３から端末装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１２０）。認証用情報取得部１８１は、取得した端末装置１の傾きの角度と現在の日時情報とを認証判定部１８２に送信する。
【0103】
認証判定部１８２は、図５Ｃに示した傾き情報テーブル１７３のテーブルに記憶されている端末装置１の角度を取得する。認証判定部１８２は、認証用情報取得部１８１から受信した端末装置１の傾きの角度と、傾き情報テーブル１７３から取得した端末装置１の角度とを比較し、角度が変化してないか否かを判定する（ステップＳ１２１）。
【0104】
端末装置１の角度の変化が、予め定められた設定値の角度、例えば、３０度以上の場合（ステップＳ１２１；ＮＯ）、認証判定部１８２は、ユーザにより端末装置１が動かされ何某かの操作が行われたものと判断し、図６Ａに示したステップＳ１０１に戻る。その後、認証判定部１８２は、ステップＳ１０１以降の処理を実行する。
【0105】
また、端末装置１の角度の変化が、予め定められた設定値の角度以下の場合（ステップＳ１２１；ＹＥＳ）、認証判定部１８２は、ユーザにより端末装置１が動かされていないものと判断する。続いて、認証判定部１８２は、ユーザを認証するタイミングになったか否かを判定する（ステップＳ１２２）。ユーザを認証するタイミングは、予め設定された認証間隔の時間が経過したタイミングである。
【0106】
ユーザを認証するタイミングになっている場合（ステップＳ１２２；ＹＥＳ）、認証判定部１８２は、図６Ａに示したステップＳ１０１に戻る。その後、認証判定部１８２は、ステップＳ１０１以降の処理を実行する。ユーザを認証するタイミングになっていない場合（ステップＳ１２２；ＮＯ）、認証判定部１８２はステップＳ１１８に戻る。その後、認証判定部１８２は、ステップＳ１１８からステップＳ１２２を実行する。
【0107】
ここで、図６Ａに戻る。ステップＳ１０３において、認証判定部１８２の求めた顔の認証値が、認証用生体情報データベース１７１から取得した認証許容値以下ではない場合（ステップＳ１０３；ＮＯ）、認証判定部１８２は、音声認証処理を実行する（ステップＳ１２３）。
【0108】
この顔の認証値が、認証用生体情報データベース１７１から取得した認証許容値以下ではない場合は、言い換えれば、ユーザの顔による認証が失敗した場合である。これは、端末装置１の使用状態が、ユーザの顔による認証ができない使用状態になっていることを示している。例えば、端末装置１を鞄、ポケット等に仕舞ったままで使用する場合には、ユーザの顔画像が取得ないためユーザの顔による認証が失敗する。また、例えば、端末装置１を離れた位置からハンズフリーで使用する場合、ユーザの顔画像を取得できても顔の像が不鮮明、画像内のユーザの顔の像が小さすぎて顔の認証値を求められない等の理由から、ユーザの顔による認証が失敗する。この場合、ユーザの顔による認証からユーザの音声による認証に切り替えることにより、安定してユーザを本人と認証することができる。なお、ユーザの音声による認証を行う端末装置１の使用状態は、特許請求の範囲における第２使用状態の一例である。
【0109】
音声認証処理については、図１０に示すフローチャートを参照しつつ、以下に説明する。認証判定部１８２は、ユーザの発声があるか否か判定する（ステップＳ５０１）。具体的には、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できる場合、ユーザの発声があるものと判定する。また、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できない場合、ユーザの発声がないものと判定する。なお、この音声入出力部１２は、図１に示したマイクロフォン１２Ｂとする。
【0110】
ユーザの発声がない場合（ステップＳ５０１；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５１０）。また、ユーザの発声がある場合（ステップＳ５０１；ＹＥＳ）、認証判定部１８２は、図４に示した認証用情報取得部１８１に、音声入出力部１２からユーザの音声を取得させる（ステップＳ５０２）。認証判定部１８２は、取得した音声のデータを解析する（ステップＳ５０３）。具体的には、認証判定部１８２は、図５Ａに示した認証用生体情報データベース１７１の生体情報の種類に含まれる、音声の声紋、口癖、およびイントネーションの各特徴量を、取得した音声のデータを解析して求める。
【0111】
認証判定部１８２は、音声の認証値を求める（ステップＳ５０４）。音声の認証値は、音声の声紋、口癖、イントネーションの各認証値を平均して求める。具体的には、まず、認証判定部１８２は、図２に示した端末記憶部１７に記憶されている認証用生体情報データベース１７１を取得する。認証判定部１８２は、図５Ａに示した認証用生体情報データベース１７１のテーブルから、生体情報の種類のうち「音声（声紋）」、「音声（口癖）」、および「音声（イントネーション）」に対応付けられた登録情報に記憶された各特徴量と、認証値の認証許容値及び認証閾値を取得する。
【0112】
続いて、認証判定部１８２は、認証用生体情報データベース１７１から取得した登録情報の「音声（声紋）」、「音声（口癖）」、および「音声（イントネーション）」の各特徴量と、ステップＳ５０３で求めた音声の声紋、口癖、およびイントネーションの各特徴量とを比較する。認証判定部１８２は、比較の結果を基に「音声（声紋）」、「音声（口癖）」、および「音声（イントネーション）」の各認証値を求める。認証判定部１８２は、求めた各認証値の平均値を求める。この平均値が、音声の認証値となる。
【0113】
認証判定部１８２は、ステップＳ５０４で求めた音声の認証値が認証閾値以上か否か判定する（ステップＳ５０５）。音声の認証値が認証閾値以上である場合（ステップＳ５０５；ＹＥＳ）、認証判定部１８２は、音声の認証値は認証許容値以下か否か判定する（ステップＳ５０６）。また、音声の認証値が認証閾値以上でない場合（ステップＳ５０５；ＮＯ）認証判定部１８２は、戻り値に音声認証ができた旨を設定する（ステップＳ５０９）。
【0114】
音声の認証値が認証許容値以下である場合（ステップＳ５０６；ＹＥＳ）、認証判定部１８２は、補助認証処理を実行する（ステップＳ５０７）。補助認証処理については、図８に示したフローチャートの処理を実行する。また、音声の認証値が認証許容値以下でない場合（ステップＳ５０６；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５１０）。
【0115】
認証判定部１８２は、補助認証ができたか否か判定する（ステップＳ５０８）。補助認証ができた場合（ステップＳ５０８；ＹＥＳ）、認証判定部１８２は、戻り値に音声認証ができた旨を設定する（ステップＳ５０９）。また、補助認証ができなかった場合（ステップＳ５０８；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５１０）。認証判定部１８２は、音声認証処理を終了する。
【0116】
ここで、図６Ａに戻る。認証判定部１８２は、音声認証ができたか否か判定する（ステップＳ１２４）。音声認証ができた場合（ステップＳ１２４；ＹＥＳ）、認証判定部１８２は、図４に示した認証用情報取得部１８１に、音声入出力部１２からユーザの音声を取得させる（ステップＳ１２５）。
【0117】
認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７１に記憶された音声の特徴量を更新させる（ステップＳ１２６）。具体的には、まず、認証判定部１８２は、ステップＳ１２５で取得した音声のデータを解析し、音声の声紋、口癖、およびイントネーションの各特徴量を求める。認証判定部１８２は、認証用情報更新部１８４に、求めた各特徴量を認証用生体情報データベース１７１のテーブルの生体情報の種類「音声（声紋）」、「音声（口癖）」、および「音声（イントネーション）」に対応つけられた登録情報に加えさせ、登録情報を更新させる。認証判定部１８２は、ステップＳ１０１に戻り、ステップＳ１０１以降の処理を実行する。
【0118】
また、ステップＳ１２４において、音声認証ができなかった合（ステップＳ１２４；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人ではないと判断する。認証判定部１８２は、図４に示した認証結果表示部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、認証判定部１８２は、端末装置１に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。認証判定部１８２は、指紋認証を実行する（ステップＳ１２７）。なお、端末装置１に備えられている既存の生体認証手段で用いられる各種生体情報は、特許請求の範囲における四の認証情報の一例である。
【0119】
指紋認証ができた場合（ステップＳ１２８；ＹＥＳ）、認証判定部１８２からの指示により、認証用情報取得部１８１は、撮影部１１に端末装置１を操作しているユーザの顔写真を撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真の画像を取得し、ユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、認証判定部１８２に求めたユーザの顔の画像の特徴量を送信する。認証判定部１８２は、受信したユーザの顔の画像の特徴量を図４に示した認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信したユーザの顔の画像の特徴量を、図５Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「顔」に対応つけられた登録情報に記憶されていた顔画像の特徴量に加え、更新する（ステップＳ１２９）。認証判定部１８２は、ステップＳ１０１へ戻り、ステップＳ１０１以降のステップを実行する。
【0120】
また、指紋認証ができなかった場合（ステップＳ１２８；ＮＯ）、認証判定部１８２は、図４に示した認証結果表示部１８３にログイン画面を表示部１９に表示させる（ステップＳ１１０）。このログイン画面は、パスワードの入力、指紋認証等の端末装置１に含まれるＯＳによる本人認証である。
【0121】
なお、上記の実施の形態において、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。
【0122】
以上の通り、上記実施の形態に係る端末装置１は、ユーザ本人の顔の画像、指紋、音声等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができる。特に、端末装置１では、例えば、端末装置を鞄、ポケット等にいれたまま使用する場合といった、端末装置１の使用状況によってユーザ本人の顔の画像によってユーザ本人を認証できなかった場合に、ユーザ本人の音声によりユーザ本人を認証できるものとする。これにより、端末装置１の使用状態に関わらず、安定して使用者を認証することがきる。
【0123】
また、端末装置１において行われるユーザの認証処理は、端末装置１の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報と振舞情報とを更新していくことにより、認証の精度を向上させることができる。これにより、使用者に操作の負担をかけることなく、セキュリティを確保することができる。
【0124】
（変形例１）
上記の実施の形態において、ユーザの生体情報による認証として、ユーザの顔画像による認証と、音声認証と、指紋認証とを使用した。これに限らず、ユーザの生体情報による認証は、指静脈認証、虹彩認証等、いずれの方法であってもよい。また、上記の実施の形態においては、補助認証を使用する判定の条件としてユーザの顔画像による認証と音声認証とを使用したが、他の生体情報による判定結果に応じて補助認証を使用するようにしてもよい。
上記の実施の形態において、ユーザの生体情報による認証として、ユーザの顔画像による認証と、音声認証と、指紋認証とを使用した。これに限らず、ユーザの生体情報による認証は、指静脈認証、虹彩認証等、いずれの方法であってもよい。また、上記の実施の形態においては、補助認証を使用する判定の条件としてユーザの顔画像による認証と音声認証とを使用したが、他の生体情報による判定結果に応じて補助認証を使用するようにしてもよい。
【0125】
（変形例２）
上記の実施の形態では、ユーザの認証処理を図２に示した認証処理プログラム１７０を実行することにより実現するものとした。この認証処理プログラム１７０で行われる各ステップの全部または一部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ（Ｌａｒｇｅ－ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の半導体チップ、各種回路素子により構成される回路等により実現するようにしてもよい。
上記の実施の形態では、ユーザの認証処理を図２に示した認証処理プログラム１７０を実行することにより実現するものとした。この認証処理プログラム１７０で行われる各ステップの全部または一部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ（Ｌａｒｇｅ－ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の半導体チップ、各種回路素子により構成される回路等により実現するようにしてもよい。
【0126】
（変形例３）
上記の実施の形態において、補助認証の判定条件として信頼する接続先への接続、信頼するイベントの実行、ユーザの顔と端末装置１との顔の距離を用いた。これに限らず、他の方法を用いる又は含めても良い。例えば、ユーザ本人が所有するデバイスと端末装置１とをＢｌｕｅｔｏｏｔｈ（登録商標）で接続しているか否かを判定し、接続している場合にユーザ本人と認証する。Ｂｌｕｅｔｏｏｔｈ（登録商標）により接続される機器を使用するためには、機器同士を「ペアリング」する必要がある。このため、Ｂｌｕｅｔｏｏｔｈ（登録商標）による機器の接続は、個人の特定性が強く、補助認証として利用することでユーザ本人を認証することが可能である。また、さらに、図２に示した位置検出部１６により取得したユーザの行動ルートのパターン、規則性等により、ユーザ本人か否かを判定し、行動ルートのパターン、規則性等が一致する場合にユーザ本人と認証としてもよい。
上記の実施の形態において、補助認証の判定条件として信頼する接続先への接続、信頼するイベントの実行、ユーザの顔と端末装置１との顔の距離を用いた。これに限らず、他の方法を用いる又は含めても良い。例えば、ユーザ本人が所有するデバイスと端末装置１とをＢｌｕｅｔｏｏｔｈ（登録商標）で接続しているか否かを判定し、接続している場合にユーザ本人と認証する。Ｂｌｕｅｔｏｏｔｈ（登録商標）により接続される機器を使用するためには、機器同士を「ペアリング」する必要がある。このため、Ｂｌｕｅｔｏｏｔｈ（登録商標）による機器の接続は、個人の特定性が強く、補助認証として利用することでユーザ本人を認証することが可能である。また、さらに、図２に示した位置検出部１６により取得したユーザの行動ルートのパターン、規則性等により、ユーザ本人か否かを判定し、行動ルートのパターン、規則性等が一致する場合にユーザ本人と認証としてもよい。
【0127】
（変形例４）
上記の実施の形態においては、補助認証のうち、一つの認証が成功した場合に、ユーザ本人と認証した。これに限らず、複数の補助認証がすべて成功した場合にのみユーザ本人と認証するようにしてもよい。これにより、さらに認証の精度を高めることができる。
上記の実施の形態においては、補助認証のうち、一つの認証が成功した場合に、ユーザ本人と認証した。これに限らず、複数の補助認証がすべて成功した場合にのみユーザ本人と認証するようにしてもよい。これにより、さらに認証の精度を高めることができる。
【0128】
（変形例５）
上記の実施の形態において、生体認証及び補助認証が成功した場合、図８に示したフローチャートのステップＳ３０２において認証判定部１８２は、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げている。しかしながら、これに限らず、生体認証及び補助認証が成功した場合、認証間隔を現在の認証間隔よりも長くせずにおき、認証の頻度を下げなくてもよい。具体的には、図８に示したフローチャートのステップＳ３０２を行わなくてもよい。
上記の実施の形態において、生体認証及び補助認証が成功した場合、図８に示したフローチャートのステップＳ３０２において認証判定部１８２は、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げている。しかしながら、これに限らず、生体認証及び補助認証が成功した場合、認証間隔を現在の認証間隔よりも長くせずにおき、認証の頻度を下げなくてもよい。具体的には、図８に示したフローチャートのステップＳ３０２を行わなくてもよい。
【0129】
（変形例６）
上記の実施の形態において、ユーザの認証が成功し、ユーザが継続的に端末装置１を操作し続ける状態、且つ端末装置１の傾きの変更がない場合、ユーザ本人が端末装置１を操作し続けているものと判断することができる。この場合、生体認証の認証閾値及び認証許容値を緩めに設定する、認証間隔を長くする等してもよい。こうすることにより、ユーザ本人に対する必要最低限の認証をバックグラウンドで行いつつ、端末装置１のリソースの利用を節約する事ができる。
上記の実施の形態において、ユーザの認証が成功し、ユーザが継続的に端末装置１を操作し続ける状態、且つ端末装置１の傾きの変更がない場合、ユーザ本人が端末装置１を操作し続けているものと判断することができる。この場合、生体認証の認証閾値及び認証許容値を緩めに設定する、認証間隔を長くする等してもよい。こうすることにより、ユーザ本人に対する必要最低限の認証をバックグラウンドで行いつつ、端末装置１のリソースの利用を節約する事ができる。
【0130】
（変形例７）
上記の実施の形態において、予め定められた認証間隔によりバックグラウンドでの認証を行うようにした。これに限らず、認証のタイミング及び間隔を定めず、ランダムにバックグラウンドで認証を行うようにしてもよい。例えば、端末装置１に搭載されている各種センサの何れかにより、端末装置１の位置の変更、傾きの変更などの空間的な変化があった場合に、随時認証を行うようにしてもよい。また、ユーザが端末装置１に対し特別な処理を行うための操作、イレギュラーな操作等を行った場合に、認証を行うようにしてもよい。
上記の実施の形態において、予め定められた認証間隔によりバックグラウンドでの認証を行うようにした。これに限らず、認証のタイミング及び間隔を定めず、ランダムにバックグラウンドで認証を行うようにしてもよい。例えば、端末装置１に搭載されている各種センサの何れかにより、端末装置１の位置の変更、傾きの変更などの空間的な変化があった場合に、随時認証を行うようにしてもよい。また、ユーザが端末装置１に対し特別な処理を行うための操作、イレギュラーな操作等を行った場合に、認証を行うようにしてもよい。
【0131】
（変形例８）
上記の実施の形態において、図６Ａに示した認証処理のステップＳ１１２では、認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データの登録情報を更新させるものとした。これに限らず、認証判定部１８２は、例えば、予め定められた回数だけユーザ本人を認証できた場合、予め定められた時間を経過した場合等に、認証用情報更新部１８４に、認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データの登録情報を更新させるものとしてもよい。
上記の実施の形態において、図６Ａに示した認証処理のステップＳ１１２では、認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データの登録情報を更新させるものとした。これに限らず、認証判定部１８２は、例えば、予め定められた回数だけユーザ本人を認証できた場合、予め定められた時間を経過した場合等に、認証用情報更新部１８４に、認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データの登録情報を更新させるものとしてもよい。
【0132】
また、上記の実施の形態において、図６Ａに示した認証処理のステップＳ１１２では、認証判定部１８２は、認証用情報更新部１８４に、認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データの登録情報のうち、一部を更新させるようにしてもよい。
【0133】
（変形例９）
上記の実施の形態において、図６Ａに示した認証処理では、ユーザの顔画像によるユーザ本人の認証ができなかった場合に、音声によるユーザ本人の認証をするものとした。これに限らず、例えば、バックグラウンドにおいて、常時ユーザの音声を取得し、音声によるユーザ本人の認証をしてもよい。また、この場合、ユーザ本人の認証が必要になった際に、直前にバックグラウンドで音声による認証が成功していた場合には、認証は成功したものとしてもよい。
上記の実施の形態において、図６Ａに示した認証処理では、ユーザの顔画像によるユーザ本人の認証ができなかった場合に、音声によるユーザ本人の認証をするものとした。これに限らず、例えば、バックグラウンドにおいて、常時ユーザの音声を取得し、音声によるユーザ本人の認証をしてもよい。また、この場合、ユーザ本人の認証が必要になった際に、直前にバックグラウンドで音声による認証が成功していた場合には、認証は成功したものとしてもよい。
【0134】
また、直前にバックグラウンドでの音声の認証がされていない、音声による認証が失敗していた等の場合に、例えば、ユーザの顔画像によるユーザ本人の認証、指紋認証等の他の生体認証をしてもよい。さらに、ユーザの顔画像によるユーザ本人の認証、指紋認証等の他の生体認証が失敗した場合には、再度、明示的にユーザに発声させ、音声による認証をするようしてもよい。
【0135】
また、本発明の実施の形態では、端末装置１は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、端末装置１における各機能を実現するためのプログラムを、コンピュータが読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体に格納して配布し、このプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合には、アプリケーションのみを記録媒体に格納してもよい。
【0136】
なお、本発明の技術的範囲は、上記実施の形態と変形例によっては限定されない。本発明は特許請求の範囲に記載された技術的思想の限りにおいて、自由に応用、変形あるいは改良して、実施することができる。
【符号の説明】
【0137】
１ 端末装置、１０ 通信部、１１ 撮影部、１１Ａ インカメラ、１１Ｂ メインカメラ、１２ 音声入出力部、１２Ａ スピーカ、１２Ｂ マイクロフォン、１３ 検出部、１４ 操作入力部、１５ 指紋検出部、１５Ａ 左指紋センサ、１５Ｂ 右指紋センサ、１６ 位置検出部、１７ 端末記憶部、１８ 端末制御部、１９ 表示部、２１ プロセッサ、２２ メモリ、２３ 表示コントローラ、２４ 表示機器、２５ Ｉ／Ｏポート、２６ 記憶機器、２７ 通信機器、２８ データバス、１７０ 認証処理プログラム、１７１ 認証用生体情報データベース、１７２ 認証用振舞情報データベース、１７３ 情報テーブル、１８１ 認証用情報取得部、１８２ 認証判定部、１８３ 認証結果表示部、１８４ 認証用情報更新部。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2021-06-21
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
上記の目的を達するため、本発明に係る端末装置は、
複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した前記複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして前記認証用情報取得部で取得した二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定し、前記第１認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記一の認証情報に基づいて前記ユーザが本人と認証されたものとする。
複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した前記複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして前記認証用情報取得部で取得した二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定し、前記第１認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記一の認証情報に基づいて前記ユーザが本人と認証されたものとする。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した前記複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして前記認証用情報取得部で取得した二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定し、前記第１認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記一の認証情報に基づいて前記ユーザが本人と認証されたものとする、
端末装置。
前記認証用情報取得部で取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証判定部で認証が成功したと判定した場合に、前記認証用情報取得部で取得した前記複数の認証情報により、保存されている複数の認証情報を更新する認証用情報更新部とを備え、
前記認証判定部は、バックグラウンドにおいて、前記認証用情報取得部で取得した一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして前記認証用情報取得部で取得した二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定し、前記第１認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記一の認証情報に基づいて前記ユーザが本人と認証されたものとする、
端末装置。
【請求項2】
前記認証判定部は、さらに、前記二の認証情報と前記自身に登録された二の登録情報とを比較して求めた第２認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記二の認証情報に基づいて前記ユーザが本人と認証されたものとする、
請求項１に記載の端末装置。
請求項１に記載の端末装置。
【請求項3】
前記認証判定部は、さらに、前記第２認証値が前記認証許容値以上の場合に前記二の認証情報に基づく認証を失敗と判定し、前記認証用情報取得部で取得した四の認証情報に基づいて認証が成功したか否かを判定する、
請求項２に記載の端末装置。
請求項２に記載の端末装置。
【請求項4】
前記一の認証情報は、前記認証用情報取得部で取得されたユーザの第１生体情報であり、
前記二の認証情報は、前記認証用情報取得部で取得されたユーザの第２生体情報であり、
前記三の認証情報は、ユーザの特有の挙動を含む振舞情報である、
請求項２または３に記載の端末装置。
前記二の認証情報は、前記認証用情報取得部で取得されたユーザの第２生体情報であり、
前記三の認証情報は、ユーザの特有の挙動を含む振舞情報である、
請求項２または３に記載の端末装置。
【請求項5】
前記第１使用状態は、ユーザにより前記自身を把持された状態での使用状態であり、
前記第２使用状態は、前記自身を鞄またはポケットに仕舞われた状態での使用状態である、
請求項１から４の何れか一項に記載の端末装置。
前記第２使用状態は、前記自身を鞄またはポケットに仕舞われた状態での使用状態である、
請求項１から４の何れか一項に記載の端末装置。
【請求項6】
端末装置において実行される情報処理方法であって、
複数の認証情報を取得し、
取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定し、
前記認証が成功したと判定した場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新し、
バックグラウンドにおいて、一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定し、前記第１認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記一の認証情報に基づいて前記ユーザが本人と認証されたものとする、
情報処理方法。
複数の認証情報を取得し、
取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定し、
前記認証が成功したと判定した場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新し、
バックグラウンドにおいて、一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定し、前記第１認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記一の認証情報に基づいて前記ユーザが本人と認証されたものとする、
情報処理方法。
【請求項7】
コンピュータに、
複数の認証情報を取得する処理、
取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する処理、
前記認証が成功したと判定した場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新する処理、
バックグラウンドにおいて、一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定し、前記第１認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記一の認証情報に基づいて前記ユーザが本人と認証されたものとする処理、
を実行させるためのプログラム。
複数の認証情報を取得する処理、
取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する処理、
前記認証が成功したと判定した場合に、取得した前記複数の認証情報により、保存されている複数の認証情報を更新する処理、
バックグラウンドにおいて、一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に自身の第１使用状態における認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に前記第１使用状態における認証が失敗したものとして二の認証情報に基づいて前記自身の第２使用状態における認証が成功したか否かを判定し、前記第１認証値が前記認証閾値以上、且つ、前記認証許容値未満の場合、三の認証情報に基づいて認証が成功したか否かを判定し、前記三の認証情報に基づいて認証が成功した場合には前記一の認証情報に基づいて前記ユーザが本人と認証されたものとする処理、
を実行させるためのプログラム。