(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176521
(43)【公開日】2024-12-19
(54)【発明の名称】認証システム、認証方法及びプログラム
(51)【国際特許分類】
G06F 21/31 20130101AFI20241212BHJP
G06F 21/32 20130101ALI20241212BHJP
【FI】
G06F21/31
G06F21/32
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023095100
(22)【出願日】2023-06-08
(71)【出願人】
【識別番号】597132849
【氏名又は名称】株式会社日立ソリューションズ・クリエイト
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】伊藤 理
(57)【要約】
【課題】ヘッドマウントディスプレイを装着した装着者がアプリケーションを利用する際の認証操作が容易に行える認証システムを提供すること。
【解決手段】ヘッドマウントディスプレイは、プロセッサと、装着者の虹彩を撮像するカメラと、装着者の視線方向を検出する視線方向検出部と、認証サーバに接続する通信部とを備え、プロセッサは、虹彩画像と入力パターンと視線方向とを認証サーバに送信し、認証サーバは、ヘッドマウントディスプレイから送信されてくる虹彩画像と、予め登録された登録虹彩画像とを比較して、装着者が登録者であると認証する第1認証を行った後、送信されてくる入力パターン及び視線方向と、予め登録された正解情報とに基づいて第2認証を行い、アプリケーションサーバは、認証サーバにおいて装着者が登録者であると認証されたとき、疑似体験用のアプリケーションをヘッドマウントディスプレイに提供する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
疑似体験用のディスプレイを備えたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着した装着者が予め登録された登録者であるかどうかを認証する認証サーバと、前記疑似体験用のアプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供するアプリケーションサーバと、がネットワークにより相互に接続される認証システムであって、
前記ヘッドマウントディスプレイは、
プロセッサと、
前記装着者の虹彩を撮像するカメラと、
前記カメラが撮像した虹彩画像を記憶するメモリと、
前記装着者の視線方向を検出する視線方向検出部と、
前記認証サーバに接続する通信部とを備え、
前記プロセッサは、
前記メモリに記憶された虹彩画像と、前記ディスプレイに表示された入力パターンと、前記視線方向検出部が検出した視線方向とを前記通信部を介して前記認証サーバに送信し、
前記認証サーバは、
前記ヘッドマウントディスプレイから送信されてくる虹彩画像と、予め登録された登録虹彩画像とを比較して、前記装着者が前記登録者であると認証する第1認証を行った後、前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向と、予め登録された正解情報とに基づいて、前記装着者が前記登録者であるかどうかを認証する第2認証を行い、
前記アプリケーションサーバは、
前記第2認証が行われた後、前記認証サーバにおいて前記装着者が前記登録者であると認証されたとき、前記疑似体験用の前記アプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供する認証システム。
【請求項2】
請求項1に記載の認証システムにおいて、
前記入力パターンは、画像、ロックパターン、暗証番号のいずれかである認証システム。
【請求項3】
請求項1に記載の認証システムにおいて、
前記入力パターンは、前記装着者の視線により操作される仮想キーボードから入力されるキー情報である認証システム。
【請求項4】
請求項1に記載の認証システムにおいて、
前記認証サーバは、
前記正解情報を登録した記憶部を備え、
前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向に基づいて、前記装着者が選択した入力パターンを抽出し、その抽出した入力パターンと予め登録された正解情報とが一致したとき、前記装着者が前記登録者であると認証する認証システム。
【請求項5】
請求項1に記載の認証システムにおいて、
前記プロセッサは、
前記入力パターン及び前記視線方向を、前記装着者の属性を示すユーザ情報と共に前記認証サーバに送信し、
前記認証サーバは、
前記入力パターン及び前記視線方向を前記ユーザ情報に紐付ける処理を行う認証システム。
【請求項6】
請求項1に記載の認証システムにおいて、
前記プロセッサは、
前記視線方向検出部が検出している視線方向が所定時間以上経過したとき、その視線方向が前記第2認証のための視線方向であると判断する認証システム。
【請求項7】
請求項1に記載の認証システムにおいて、
前記プロセッサは、
表示位置が異なる複数の画像を前記ディスプレイに表示させ、前記視線方向検出部が検出した視線方向が予め登録された画像に向いているとき、その視線方向が前記第2認証のための視線方向であると判断する認証システム。
【請求項8】
請求項1に記載の認証システムにおいて、
前記第1認証と前記第2認証が複数回繰り返して行われ、前記第1認証である虹彩認証の成功率を決める閾値を前記第2認証が成功したときに低下させる認証システム。
【請求項9】
疑似体験用のディスプレイを備えたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着した装着者が予め登録された登録者であるかどうかを認証する認証サーバと、前記疑似体験用のアプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供するアプリケーションサーバと、がネットワークにより相互に接続される認証システムによる認証方法であって、
前記ヘッドマウントディスプレイは、
前記装着者の虹彩を撮像し、
前記撮像した虹彩画像を記憶し、
前記装着者の視線方向を検出し、
前記記憶された虹彩画像と、前記ディスプレイに表示された入力パターンと、前記検出した視線方向とを前記認証サーバに送信し、
前記認証サーバは、
前記ヘッドマウントディスプレイから送信されてくる虹彩画像と、予め登録された登録虹彩画像とを比較して、前記装着者が前記登録者であると認証する第1認証を行った後、前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向と、予め登録された正解情報とに基づいて、前記装着者が前記登録者であるかどうかを認証する第2認証を行い、
前記アプリケーションサーバは、
前記第2認証が行われた後、前記認証サーバにおいて前記装着者が前記登録者であると認証されたとき、前記疑似体験用の前記アプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供する認証方法。
【請求項10】
疑似体験用のディスプレイを備えたヘッドマウントディスプレイを装着した装着者が予め登録された登録者であるかどうかを認証する認証サーバを構成するコンピュータに実行させるためのプログラムであって、
前記コンピュータに、
前記ヘッドマウントディスプレイから送信されてくる虹彩画像と、予め登録された登録虹彩画像とを比較して、前記装着者が前記登録者であると認証する第1認証を行うステップと、
前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向と、予め登録された正解情報とに基づいて、前記装着者が前記登録者であるかどうかを認証する第2認証を行うステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、認証システム、認証方法及びプログラムに関する。
【背景技術】
【0002】
仮想現実(Virtual Reality:VR)の利用にはPC(Personal Computer)、スマートフォン、タブレットの他、ヘッドマウントディスプレイ(以下、「HMD」と称する場合がある)を利用する場合がほとんどである(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
アプリケーションやサービスを利用するには、これまでのPCやスマートフォンなどと同様に、その都度ログインを行う必要があるが、ヘッドマウントディスプレイはPCやスマートフォンなどと異なり、入力デバイスが専用のコントローラを利用するため、キーボードのように操作性がよくない。また、ヘッドマウントディスプレイを装着しているため、自由が利かず不便な状況にあり、ユーザの認証操作が非常に悪かった。
【0005】
本発明は、上述の課題に鑑みてなされたもので、疑似体験用のディスプレイを備えたヘッドマウントディスプレイを装着した装着者がアプリケーションを利用する際の認証操作が容易に行える認証システムを提供する。
【課題を解決するための手段】
【0006】
本発明の一態様の認証システムは、疑似体験用のディスプレイを備えたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着した装着者が予め登録された登録者であるかどうかを認証する認証サーバと、前記疑似体験用のアプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供するアプリケーションサーバと、がネットワークにより相互に接続される認証システムであって、前記ヘッドマウントディスプレイは、プロセッサと、前記装着者の虹彩を撮像するカメラと、前記カメラが撮像した虹彩画像を記憶するメモリと、前記装着者の視線方向を検出する視線方向検出部と、前記認証サーバに接続する通信部とを備え、前記プロセッサは、前記メモリに記憶された虹彩画像と、前記ディスプレイに表示された入力パターンと、前記視線方向検出部が検出した視線方向とを前記通信部を介して前記認証サーバに送信し、前記認証サーバは、前記ヘッドマウントディスプレイから送信されてくる虹彩画像と、予め登録された登録虹彩画像とを比較して、前記装着者が前記登録者であると認証する第1認証を行った後、前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向と、予め登録された正解情報とに基づいて、前記装着者が前記登録者であるかどうかを認証する第2認証を行い、前記アプリケーションサーバは、前記第2認証が行われた後、前記認証サーバにおいて前記装着者が前記登録者であると認証されたとき、前記疑似体験用の前記アプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供する。
【発明の効果】
【0007】
本発明によれば、疑似体験用のディスプレイを備えたヘッドマウントディスプレイを装着した装着者がアプリケーションを利用する際の認証操作を容易に行うことができる。
【図面の簡単な説明】
【0008】
【
図1】実施形態における全体の概要を説明する図である。
【
図2】ヘッドマウントディスプレイの機能的構成を示すブロック図である。
【
図3】PF認証サーバの機能的構成を示すブロック図である。
【
図4】アプリケーションサーバの機能的構成を示すブロック図である。
【
図5】ヘッドマウントディスプレイで管理されるユーザ情報データベースの内容例を示す図である。
【
図6】PF認証サーバで管理されるユーザ情報データベースの内容例を示す図である。
【
図7】アプリケーションサーバで管理されるユーザ情報データベースの内容例を示す図である。
【
図8】ヘッドマウントディスプレイにおけるアカウント登録処理の一例を示すフローチャートである。
【
図9】ヘッドマウントディスプレイにおけるアカウント登録処理の一例を示すフローチャートである。
【
図10】PF認証サーバにおけるアカウント登録処理の一例を示すフローチャートである。
【
図11】PF認証サーバにおけるアカウント登録処理の一例を示すフローチャートである。
【
図12】ヘッドマウントディスプレイにおけるユーザ認証処理の一例を示すフローチャートである。
【
図13】ヘッドマウントディスプレイにおけるユーザ認証処理の一例を示すフローチャートである。
【
図14】PF認証サーバにおける生体認証処理の一例を示すフローチャートである。
【
図15】PF認証サーバにおける二要素認証処理の一例を示すフローチャートである。
【
図16】ヘッドマウントディスプレイにおけるアプリケーション/サービス起動処理の一例を示すフローチャートである。
【
図17】アプリケーションサーバにおけるユーザ認証処理の一例を示すフローチャートである。
【
図18】PF認証サーバにおけるユーザ認証処理の一例を示すフローチャートである。
【
図19】アカウント登録処理の一例を示すフローチャートである。
【
図20】ユーザ認証処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面に基づいて、本発明の実施の形態を説明する。
図1は、本実施形態における全体の概要を説明する図である。
図1に示すように、認証システム1は、ヘッドマウントディスプレイ2と、PF(プラットフォーム)認証サーバ3と、アプリケーションサーバ4とを備え、全ての装置は通信ネットワークCNに接続されている。
【0010】
図2は、ヘッドマウントディスプレイの機能的構成を示すブロック図である。ヘッドマウントディスプレイ2は、頭部に装着する頭部装着型表示装置であり、例えば眼鏡型又はゴーグル型のウェアラブル端末である。
【0011】
ヘッドマウントディスプレイ2は、カメラ10(撮像手段)と、ディスプレイ11と、入力装置12と、メモリ13と、プロセッサ14と、センサ15(視線方向検出手段)と、制御装置16と、記憶装置17とを有している。
【0012】
ヘッドマウントディスプレイ2は、右目用画像および左目用画像をディスプレイ11にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される3次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ11がユーザの眼前に配置されているので、ユーザは、ディスプレイ11に表示される画像を通じて仮想空間に没入できる。これにより、ユーザは仮想現実を体験することができる。仮想空間は、背景、ならびにユーザが操作可能な各種のUIオブジェクトおよびメニュー画像等を含み得る。
【0013】
カメラ10は、ヘッドマウントディスプレイ2の装着部(不図示)に配置され、例えば、ヘッドマウントディスプレイ2を装着したユーザ(装着者)の虹彩を撮像して、虹彩画像を取得する。
【0014】
ディスプレイ11は、例えば液晶ディスプレイであり、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ11は、右目用画像および左目用画像を共通の画面に表示する1つの表示装置であってもよい。
【0015】
入力装置12は、例えば、ヘッドマウントディスプレイ2の装着部(不図示)に配置されたボタン等であり、装着者の操作を受け付ける。入力装置12は、受け付けた装着者の操作を示す入力信号をプロセッサ14に出力する。
【0016】
メモリ13は、ヘッドマウントディスプレイ2を制御するためのプログラムを記憶する。プロセッサ14は、メモリ13に記憶されたプログラムを読み出し、読み出したプログラムを実行することにより、ヘッドマウントディスプレイ2を制御する。
【0017】
センサ15は、ヘッドマウントディスプレイ2を装着したユーザの右目および左目の視線が向けられる方向(視線方向)を検出する。センサ15として、例えば、アイトラッキング機能を有する公知のセンサを採用することができる。センサ15は、右目用センサおよび左目用センサを備えていることが好ましい。センサ15は、例えば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。センサ15は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。
【0018】
制御装置16は、ユーザ認証処理部18と、アプリケーション管理部19と、通信処理部20とを有している。記憶装置17には、ユーザ情報21及びアプリケーションプログラム22が格納されている。制御装置16及び記憶装置17の詳細は後述する。
【0019】
図3は、PF認証サーバの機能的構成を示すブロック図である。PF認証サーバ3は、プロセッサ25と、メモリ26と、入力装置27と、出力装置28と、通信装置29と、制御装置30と、記憶装置31とを有している。
【0020】
プロセッサ25は、メモリ26に格納されたプログラムを実行する。メモリ26は、不揮発性の記憶素子であるROM(Read Only Memory)及び揮発性の記憶素子であるRAM(Random Access Memory)を含む。ROMは、不変のプログラム(例えば、BIOS(Basic Input/Output System))などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ25が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0021】
入力装置27は、キーボードやマウスなどの、オペレータからの入力を受ける装置である。出力装置28は、ディスプレイ装置やプリンタなどの、プログラムの実行結果をオペレータが視認可能な形式で出力する装置である。通信装置29は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
【0022】
制御装置30は、PF認証処理部32、ユーザ管理部33及び通信処理部34を有している。記憶装置31には、ユーザ情報35(個人情報35A、生体情報35B、二要素認証情報35C)が格納されている。制御装置30及び記憶装置31の詳細は後述する。
【0023】
図4は、アプリケーションサーバの機能的構成を示すブロック図である。アプリケーションサーバ4は、プロセッサ40と、メモリ41と、入力装置42と、出力装置43と、通信装置44と、制御装置45と、記憶装置46とを有している。
【0024】
プロセッサ40は、メモリ41に格納されたプログラムを実行する。メモリ41は、不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、不変のプログラム(例えば、BIOS)などを格納する。RAMは、DRAMのような高速かつ揮発性の記憶素子であり、プロセッサ40が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0025】
入力装置42は、キーボードやマウスなどの、オペレータからの入力を受ける装置である。出力装置43は、ディスプレイ装置やプリンタなどの、プログラムの実行結果をオペレータが視認可能な形式で出力する装置である。通信装置44は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
【0026】
制御装置45は、ユーザ認証処理部47、ユーザ管理部48及び通信処理部49を有している。記憶装置46には、ユーザ情報50(個人情報50A、登録アプリ/サービス50B)が格納されている。制御装置45及び制御装置46の詳細は後述する。
【0027】
図5は、ヘッドマウントディスプレイで管理されるユーザ情報データベースの内容例を示す図である。
図5に示すように、ユーザ情報データベース60では、ヘッドマウントディスプレイ2を装着して疑似体験を行うユーザ毎に、ユーザ情報61が記憶されている。ユーザ情報61には、ユーザID62、利用状況63、アプリ/サービス情報64が含まれる。ユーザID62は、アカウント登録したユーザのIDである。利用状況63は、今まさにヘッドマウントディスプレイ2を装着しているユーザの状況であって、ログイン中か否かのみを示す。対象のユーザが装着中はONにされ、他のユーザが利用中はOFFにされる。アプリ/サービス情報64には、ユーザが利用しているアプリケーションやサービスに関する情報が登録される。
【0028】
図6は、PF認証サーバで管理されるユーザ情報データベースの内容例を示す図である。
図6に示すように、ユーザ情報データベース70では、ヘッドマウントディスプレイ2を装着して疑似体験を行うユーザ毎に、ユーザ情報71が記憶されている。ユーザ情報71には、ユーザID72、生体情報73、二要素認証パターン74(入力パターン)、二要素認証正解情報75(正解情報)、ユーザ属性76が含まれる。この例では、PF認証サーバ3における認証処理にかかる最低限の情報のみを記載している。
【0029】
ユーザID72は、アカウント登録したユーザのIDである。生体情報73は、ヘッドマウントディスプレイ2から受信した対象ユーザの虹彩画像である。二要素認証パターン74は、対象ユーザが利用する二要素認証の入力パターンであって、対象ユーザが視線で決定する画像、ロックパターン、暗証番号や、仮想キーボードから入力されるキー情報(文字や記号など)である。
【0030】
ロックパターンを視線で決定する操作方法の一例としては、画面にUIを表示する工程S1、ユーザが始点とするポイントを注視する工程S2、ユーザが始点を確定してロックパターンの点を順次見て線を引く工程S3、ユーザが終点を注視してロックパターンを確定する工程S4、を順に行うことによる方法を挙げることができる。
【0031】
仮想キーボードを用いて視線で文字を入力する操作方法の一例としては、ユーザが入力するキーを注視する工程S1、キーの背景色が変わるので一定時間注視する工程S2、一定時間経過後に入力する工程S3、を順に行うことによる方法を挙げることができる。
【0032】
二要素認証正解情報75は、対象ユーザが選択した二要素認証パターンの正解を示す情報である。二要素認証パターン74及び二要素認証正解情報75はセットで管理され、認証時にユーザが入力した情報と照合して、認証可否が判断される。ユーザ属性76は、PF認証サーバ3において必要とされる各種ユーザ情報であって、性別、年齢、言語などが含まれる。
【0033】
図7は、アプリケーションサーバで管理されるユーザ情報データベースの内容例を示す図である。
図7に示すように、ユーザ情報データベース80では、ヘッドマウントディスプレイ2を装着して疑似体験を行うユーザ毎に、ユーザ情報81が記憶されている。ユーザ情報81には、ユーザID82、アプリ/サービス情報83が含まれる。ユーザID82は、アカウント登録したユーザのIDである。アプリ/サービス情報83は、対象ユーザがどのアプリケーション/サービスを利用(登録)しているかを示す情報である。
【0034】
次に、
図1を用いて、認証システム1で実行される大まかな処理の流れを説明する。
図1のステップS1では、ユーザがヘッドマウントディスプレイ2を自身の頭部に装着する。
図1のステップS2では、PF認証サーバ3において、ヘッドマウントディスプレイ2を装着したユーザの目を用いた生体認証(第1認証)が行われる。
図1のステップS3では、PF認証サーバ3において、ヘッドマウントディスプレイ2を装着したユーザの目を用いた二要素認証(第2認証)が行われる。
図1のステップS4では、PF認証サーバにおいて、ユーザ認証が完了する。
【0035】
図1のステップS5では、ヘッドマウントディスプレイ2からアプリケーションサーバ4に対して、アプリケーション/サービスの実行要求がなされる。
図1のステップS6では、アプリケーションサーバ4は、アプリケーション/サービスの実行要求に応答して、PF認証サーバ3に認証結果を問い合わせる。
図1のステップS7において、アプリケーションサーバ4はPF認証サーバ3から認証結果を受領する。
図1のステップS8において、アプリケーションサーバ4は、PF認証サーバ3による認証の結果、当該ユーザを認証してアプリケーションの利用を許可する。
図1のステップS9において、当該ユーザは、アプリケーションの利用を開始する。
【0036】
次に、本実施形態による認証システムの動作を説明する。
図8は、ヘッドマウントディスプレイ2におけるアカウント登録処理の一例を示すフローチャートである。最初に、ヘッドマウントディスプレイ2の初期設定などが行われる(ステップS101)。
【0037】
次に、制御装置16は、ユーザ認証処理部18にアカウント登録を実行させる(ステップS102)。次に、ユーザ認証処理部18は、ユーザ情報61の入力を受け付ける(ステップS103)。次に、ユーザ認証処理部18は、受け付けたユーザ情報61を記憶装置17に保存する(ステップS104)。
【0038】
次に、ユーザ認証処理部18は、カメラ10を制御して、ヘッドマウントディスプレイ2を装着したユーザの虹彩を撮像する(ステップS105)。次に、通信処理部20は、カメラ10が撮像した虹彩画像を、ユーザ情報61と共にPF認証サーバ3に送信する(ステップS106)。
【0039】
次に、PF認証サーバ3におけるアカウント登録処理が実行される(ステップS300)。なお、この処理の詳細は後述する。次に、通信処理部20は、そのアカウント登録の結果をPF認証サーバ3から受信する(ステップS107)。次に、ヘッドマウントディスプレイ2において二要素認証情報登録処理が実行される(ステップS200)。そして、ヘッドマウントディスプレイ2におけるアカウント登録処理が終了する。
【0040】
図9は、ヘッドマウントディスプレイ2におけるアカウント登録処理の一例であって、ヘッドマウントディスプレイ2における二要素認証情報登録処理を示すフローチャートである。
【0041】
最初に、ユーザ認証処理部18は、センサ15が検出したユーザの視線方向に基づいて、複数ある二要素認証パターンの中から1つの二要素認証パターン74を選択する(ステップS201)。
【0042】
次に、ユーザ認証処理部18は、センサ15が検出したユーザの視線方向に基づいて、二要素認証パターンの正解を示す二要素認証正解情報75を登録する(ステップS202)。
【0043】
次に、通信処理部20は、二要素認証パターン74及び二要素認証正解情報75を少なくとも含む二要素認証情報を、ユーザ情報61と共にPF認証サーバ3に送信する(ステップS203)。
【0044】
次に、PF認証サーバ3において、二要素認証情報をユーザ情報に紐付ける処理が実行される(ステップS400)。なお、この処理の詳細は後述する。
【0045】
次に、通信処理部20は、PF認証サーバ3から二要素認証情報の登録結果を受信する(ステップS204)。次に、ユーザ認証処理部18は、その登録結果をディスプレイ11に表示する(ステップS205)。そして、ヘッドマウントディスプレイ2及びPF認証サーバ3が利用可能となる(ステップS206)。これにより、ヘッドマウントディスプレイ2における二要素認証情報登録処理が終了する。
【0046】
図10は、PF認証サーバ3におけるアカウント登録処理の一例を示すフローチャートである。
【0047】
最初に、通信処理部34は、ヘッドマウントディスプレイ2からのアカウント登録要求を受信する(ステップS301)。
【0048】
次に、ユーザ管理部33は、要求ユーザが登録済みか否かを判定する(ステップS302)。そして、要求ユーザが登録済みであると判定した場合(ステップS302におけるYES)、通信処理部34は、ヘッドマウントディスプレイ2に対して登録済みアカウント結果を送信する(ステップS303)。これにより、PF認証サーバ3におけるアカウント登録処理が終了する。
【0049】
他方、要求ユーザが登録済みでないと判定した場合(ステップS302におけるNO)、ユーザ管理部33は、ユーザ情報及び生体情報(虹彩画像)を登録する(ステップS304)。次に、通信処理部34は、ヘッドマウントディスプレイ2に対して、ユーザ情報及び生体情報の登録結果を応答する(ステップS305)。これにより、PF認証サーバ3におけるアカウント登録処理が終了する。
【0050】
図11は、PF認証サーバ3におけるアカウント登録処理の一例を示すフローチャートである。
【0051】
最初に、通信処理部34は、ヘッドマウントディスプレイ2から二要素認証情報を受信する(ステップS401)。
【0052】
次に、ユーザ管理部33は、要求ユーザが登録済みか否かを判定する(ステップS402)。そして、要求ユーザが登録済みであると判定した場合(ステップS402におけるYES)、通信処理部34は、ヘッドマウントディスプレイ2に対して登録済みアカウント結果を送信する(ステップS403)。これにより、PF認証サーバ3におけるアカウント登録処理が終了する。
【0053】
他方、要求ユーザが登録済みでないと判定した場合(ステップS402におけるNO)、ユーザ管理部33は、ユーザ情報及び二要素認証情報を登録する(ステップS404)。次に、通信処理部34は、ヘッドマウントディスプレイ2に対して、ユーザ情報及び二要素認証情報の登録結果を応答する(ステップS405)。これにより、PF認証サーバ3におけるアカウント登録処理が終了する。
【0054】
図12は、ヘッドマウントディスプレイ2におけるユーザ認証処理の一例を示すフローチャートである。この例では、初期状態において、ヘッドマウントディスプレイ2にセキュリティロックが掛けられている。
【0055】
最初に、ユーザ認証処理部18は、カメラ10を制御して、ヘッドマウントディスプレイ2を装着したユーザの目を検出する(ステップS501)。次に、ユーザ認証処理部18は、カメラ10を制御して、ユーザの虹彩を撮像する(ステップS502)。
【0056】
そして、ユーザ認証処理部18は、虹彩画像を取得する(ステップS503)。次に、通信処理部20は、虹彩画像を符号化した暗号データをPF認証サーバ3に送信する(ステップS504)。
【0057】
次に、PF認証サーバ3における生体認証処理が実行される(ステップS700)。なお、この処理の詳細は後述する。
【0058】
次に、通信処理部20は、PF認証サーバ3から生体認証処理の認証結果を受信する(ステップS505)。認証結果が認証成功の場合(ステップS506における認証OK)、PF認証サーバ3における二要素認証処理が実行される(ステップS800)。他方、認証結果が認証失敗の場合(ステップS506における認証NG)、ヘッドマウントディスプレイ2に掛けられているセキュリティロックは解除されることなく、ヘッドマウントディスプレイ2におけるユーザ認証処理が終了する。
【0059】
次に、通信処理部20は、PF認証サーバ3から二要素認証処理の認証結果を受信する(ステップS507)。認証結果が認証成功の場合(ステップS508における認証OK)、ユーザ認証処理部18は、ヘッドマウントディスプレイ2に掛けられているセキュリティロックを解除する(ステップS509)。そして、ヘッドマウントディスプレイ2におけるユーザ認証処理が終了する。
【0060】
他方、ステップS508で認証結果が認証失敗の場合(ステップS508における認証NG)、ヘッドマウントディスプレイ2に掛けられているセキュリティロックは解除されることなく、ヘッドマウントディスプレイ2におけるユーザ認証処理が終了する。
【0061】
図13は、ヘッドマウントディスプレイ2におけるユーザ認証処理の一例を示すフローチャートである。
【0062】
最初に、ユーザ認証処理部18は、ユーザ情報61を取得する(ステップS601)。次に、ユーザ認証処理部18は、センサ15が検出したユーザの視線方向に基づいて、二要素認証パターン74を取得する(ステップS602)。次に、ユーザ認証処理部18は、ディスプレイ11を制御して、ユーザによる二要素認証正解情報75の入力を支援するための二要素認証入力画面を表示させる(ステップS603)。
【0063】
次に、ユーザ認証処理部18は、センサ15が検出したユーザの視線方向に基づいて、二要素認証正解情報75を取得する(ステップS604)。
【0064】
次に、通信処理部20は、二要素認証パターン74及び二要素認証正解情報75を少なくとも含む二要素認証情報を、ユーザ情報61と共にPF認証サーバ3に送信する(ステップS605)。
【0065】
次に、PF認証サーバ3において二要素認証処理が実行される(ステップS800)。なお、この処理の詳細は後述する。
【0066】
次に、通信処理部20は、PF認証サーバ3から二要素認証処理の認証結果を受信する(ステップS606)。認証結果が認証成功の場合(ステップS607における認証OK)、ヘッドマウントディスプレイ2におけるユーザ認証処理が終了する。
【0067】
他方、認証結果が認証失敗の場合(ステップS607における認証NG)、認証失敗回数が一定回数を超えたか否かを判断する(ステップS608)。一定回数を超えたと判断した場合(ステップS608におけるYES)、ヘッドマウントディスプレイ2におけるユーザ認証処理が終了する。他方、一定回数を超えていないと判断した場合(ステップS608におけるNO)、ユーザによる二要素認証正解情報75の再入力を実施するために、処理はステップS603を繰り返す。
【0068】
図14は、PF認証サーバ3における生体認証処理の一例を示すフローチャートである。
【0069】
最初に、通信処理部34は、ヘッドマウントディスプレイ2からユーザ認証要求を受信する(ステップS701)。次に、通信処理部34は、ヘッドマウントディスプレイ2から虹彩画像を取得する(ステップS702)。
【0070】
次に、PF認証処理部32は、ステップS702で取得した虹彩画像と、予め登録された登録虹彩画像とを比較(照合)して、ユーザが予め登録された登録者であるかどうか認証(第1認証)する(ステップS703)。
【0071】
認証が成功した場合、つまり、虹彩画像と登録虹彩画像とが一致した場合には(ステップS703における認証OK)、ユーザのアカウントロックが解除される(ステップS704)。
【0072】
他方、認証が失敗した場合、つまり、虹彩画像と登録虹彩画像とが一致しない場合には(ステップS703における認証NG)、ユーザのアカウントロックが継続される(ステップS705)。
【0073】
そして、通信処理部34は、ヘッドマウントディスプレイ2又はアプリケーションサーバ4に認証結果を返送する(ステップS706)。これにより、PF認証サーバ3における生体認証処理が終了する。
【0074】
図15は、PF認証サーバ3における二要素認証処理の一例を示すフローチャートである。
【0075】
最初に、通信処理部34は、二要素認証パターン74及び二要素認証正解情報75を少なくとも含む二要素認証情報を、ユーザ情報61と共にヘッドマウントディスプレイ2から受信する(ステップS801)。
【0076】
次に、PF認証処理部32は、ステップS801で取得した二要素認証パターン74及び二要素認証正解情報75と、予め登録された二要素認証パターン74及び二要素認証正解情報75とを比較(照合)して、ユーザが予め登録された登録者であるかどうか認証(第2認証)する(ステップS802)。
【0077】
次に、通信処理部34は、認証結果をヘッドマウントディスプレイ2又はアプリケーションサーバ4に送信する(ステップS803)。これにより、PF認証サーバ3における二要素認証処理が終了する。
【0078】
図16は、ヘッドマウントディスプレイ2におけるアプリケーション/サービス起動処理の一例を示すフローチャートである。
【0079】
最初に、アプリケーション管理部19は、アプリケーション/サービスを起動する(ステップS901)。次に、ユーザ認証処理部18は、アプリケーション/サービスのユーザ認証処理を起動する(ステップS902)。
【0080】
次に、通信処理部20は、アプリケーションサーバ4へユーザ認証依頼を送信する(ステップS903)。次に、アプリケーションサーバ4におけるユーザ認証処理が実行される(ステップS1000)。なお、この処理の詳細は後述する。
【0081】
次に、認証結果が認証成功の場合(ステップS904における認証OK)、アプリケーション管理部19は、アプリケーション/サービスの起動状態を維持する(ステップS905)。そして、ヘッドマウントディスプレイ2におけるアプリケーション/サービス起動処理が終了する。
【0082】
他方、ステップS904で認証結果が認証失敗の場合(ステップS904における認証NG)、アプリケーション管理部19は、起動中のアプリケーション/サービスを終了させる(ステップS906)。そして、ヘッドマウントディスプレイ2におけるアプリケーション/サービス起動処理が終了する。
【0083】
図17は、アプリケーションサーバ4におけるユーザ認証処理の一例を示すフローチャートである。
【0084】
最初に、通信処理部49は、ヘッドマウントディスプレイ2からアプリケーション/サービス実行要求を受信する(ステップS1001)。
【0085】
次に、通信処理部49は、PF認証サーバ3へユーザ認証要求を送信する(ステップS1002)。
【0086】
次に、通信処理部49は、PF認証サーバ3からユーザ認証結果を受信する(ステップS1003)。
【0087】
次に、認証結果が認証成功の場合(ステップS1004における認証OK)、ユーザ認証処理部47は、ユーザが予め登録された登録者であると認証する(ステップS1005)。次に、通信処理部49は、ヘッドマウントディスプレイ2へアプリケーション/サービスの利用許可応答を送信する(ステップS1006)。そして、アプリケーションサーバ4におけるユーザ認証処理が終了する。
【0088】
他方、ステップS1004で認証結果が認証失敗の場合(ステップS1004における認証NG)、通信処理部49は、ヘッドマウントディスプレイ2へアプリケーション/サービスの利用不可応答を送信する(ステップS1007)。そして、アプリケーションサーバ4におけるユーザ認証処理が終了する。
【0089】
図18は、PF認証サーバ3におけるユーザ認証処理の一例を示すフローチャートである。
【0090】
最初に、通信処理部34は、アプリケーションサーバ4から認証要求を受信する(ステップS1101)。次に、PF認証サーバ3におけるユーザ認証処理が実行される(ステップS1200)。
【0091】
次に、PF認証処理部32は、ユーザの認証判定を行う(ステップS1102)。次に、通信処理部34は、アプリケーションサーバ4へ認証結果を返送する(ステップS1103)。そして、PF認証サーバ3におけるユーザ認証処理が終了する。
【0092】
本実施形態では、本発明者は、視界が遮られるヘッドマウントディスプレイ2において、ユーザの視線を操作方法としたUIオブジェクト決定の仕組みについて検討した。具体的に、一定時間、UIオブジェクトを注視して色が変わる仕組みを応用することによって、二要素認証パターン74を決定する機能を備えた。この機能では、二要素認証パターン74として例示される画像、ロックパターン、暗証番号などのすべてにおいて、UIオブジェクトの決定は一定時間の注視により確定される。少しでもUIオブジェクトから目が逸れると、決定が失敗したものとしてリセットされ、初期状態からやり直す。ユーザが今どこを見ているかについては、例えば、UIオブジェクトの色を反転させることによって実現可能である。
【0093】
次に、UIオブジェクトを視線で決定する処理の一例について説明する。
図19は、アカウント登録処理の一例を示すフローチャートである。
【0094】
最初に、ユーザはアカウント登録にてPCまたはモバイルなどから画像選択の二要素認証用画像を登録する(ステップS1301)。
【0095】
次に、PF認証サーバ3において、ユーザアカウントが登録された画像の紐付けが行われる(ステップS1302)。そして、アカウント登録処理が終了する。
【0096】
図20は、ユーザ認証処理の一例を示すフローチャートである。
【0097】
最初に、PF認証サーバ3からユーザ選択画像を含む複数の画像がHMDへ送信される(ステップS1401)。
【0098】
次に、ユーザは、HMDに表示された画像から自身の登録した画像を視線で選択する(ステップS1402)。
【0099】
次に、PF認証サーバ3は、ユーザが選択した画像が正しいか判定する(ステップS1403)。
【0100】
以上、本実施形態では、ヘッドマウントディスプレイ2に搭載されたカメラ10で撮像した虹彩画像と、ユーザが視線で決定可能な二要素認証要素(2番目の認証要素)とを用いて、アカウント登録処理やユーザ認証処理が行われる。従って、アカウント登録処理やユーザ認証処理を行うにあたって、ユーザは目を動かすだけである。このように、ユーザは無言の状態で目を動かすだけで、アカウント登録処理やユーザ認証処理が完結するため、認証に要する操作が簡単になる。さらに、パスワードなどの情報が周囲に聞かれてしまう虞もないため、セキュリティ性を向上できる。加えて、周囲が騒がしくても便利に使うことができる。
【0101】
本実施形態では、生体認証処理や二要素認証処理は主としてPF認証サーバ3で行われ、アプリケーションサーバ4がPF認証サーバ3に随時アクセスするシングルサインオンが実現されている。従って、PF認証サーバ3にさえ生体情報73、二要素認証パターン74(入力パターン)、二要素認証正解情報75(正解情報)などの情報が格納されていればよく、これらの情報をアプリケーションサーバ4に登録しておく必要がない。
【0102】
なお、本発明は上述の実施形態に限定されず、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。
【0103】
本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組み合わせることができる。
【0104】
なお、虹彩認証の成功率を決める閾値を、二要素認証要素(2番目の認証要素)が成功したときに低下させてもよい。
【0105】
なお、サービス利用中にユーザに内緒で虹彩認証を実施してもよい。
【0106】
なお、ヘッドマウントディスプレイ2がユーザの頭部からいったん外されて再装着された場合には、虹彩認証のみを実行してもよい。
【0107】
以上に述べた本実施形態には、以下の構成を有する認証システムが含まれている。
(表現1)
疑似体験用のディスプレイを備えたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着した装着者が予め登録された登録者であるかどうかを認証する認証サーバと、前記疑似体験用のアプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供するアプリケーションサーバと、がネットワークにより相互に接続される認証システムであって、
前記ヘッドマウントディスプレイは、
プロセッサと、
前記装着者の虹彩を撮像するカメラと、
前記カメラが撮像した虹彩画像を記憶するメモリと、
前記装着者の視線方向を検出する視線方向検出部と、
前記認証サーバに接続する通信部とを備え、
前記プロセッサは、
前記メモリに記憶された虹彩画像と、前記ディスプレイに表示された入力パターンと、前記視線方向検出部が検出した視線方向とを前記通信部を介して前記認証サーバに送信し、
前記認証サーバは、
前記ヘッドマウントディスプレイから送信されてくる虹彩画像と、予め登録された登録虹彩画像とを比較して、前記装着者が前記登録者であると認証する第1認証を行った後、前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向と、予め登録された正解情報とに基づいて、前記装着者が前記登録者であるかどうかを認証する第2認証を行い、
前記アプリケーションサーバは、
前記第2認証が行われた後、前記認証サーバにおいて前記装着者が前記登録者であると認証されたとき、前記疑似体験用の前記アプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供する認証システム。
(表現2)
表現1に記載の認証システムにおいて、
前記入力パターンは、画像、ロックパターン、暗証番号のいずれかである認証システム。
(表現3)
表現1又は表現2に記載の認証システムにおいて、
前記入力パターンは、前記装着者の視線により操作される仮想キーボードから入力されるキー情報である認証システム。
(表現4)
表現1乃至表現3のいずれかに記載の認証システムにおいて、
前記認証サーバは、
前記正解情報を登録した記憶部を備え、
前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向に基づいて、前記装着者が選択した入力パターンを抽出し、その抽出した入力パターンと予め登録された正解情報とが一致したとき、前記装着者が前記登録者であると認証する認証システム。
(表現5)
表現1乃至表現4のいずれかに記載の認証システムにおいて、
前記プロセッサは、
前記入力パターン及び前記視線方向を、前記装着者の属性を示すユーザ情報と共に前記認証サーバに送信し、
前記認証サーバは、
前記入力パターン及び前記視線方向を前記ユーザ情報に紐付ける処理を行う認証システム。
(表現6)
表現1乃至表現5のいずれかに記載の認証システムにおいて、
前記プロセッサは、
前記視線方向検出部が検出している視線方向が所定時間以上経過したとき、その視線方向が前記第2認証のための視線方向であると判断する認証システム。
(表現7)
表現1乃至表現6のいずれかに記載の認証システムにおいて、
前記プロセッサは、
表示位置が異なる複数の画像を前記ディスプレイに表示させ、前記視線方向検出部が検出した視線方向が予め登録された画像に向いているとき、その視線方向が前記第2認証のための視線方向であると判断する認証システム。
(表現8)
表現1乃至表現7のいずれかに記載の認証システムにおいて、
前記第1認証と前記第2認証が複数回繰り返して行われ、前記第1認証である虹彩認証の成功率を決める閾値を前記第2認証が成功したときに低下させる認証システム。
(表現9)
疑似体験用のディスプレイを備えたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着した装着者が予め登録された登録者であるかどうかを認証する認証サーバと、前記疑似体験用のアプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供するアプリケーションサーバと、がネットワークにより相互に接続される認証システムによる認証方法であって、
前記ヘッドマウントディスプレイは、
前記装着者の虹彩を撮像し、
前記撮像した虹彩画像を記憶し、
前記装着者の視線方向を検出し、
前記記憶された虹彩画像と、前記ディスプレイに表示された入力パターンと、前記検出した視線方向とを前記認証サーバに送信し、
前記認証サーバは、
前記ヘッドマウントディスプレイから送信されてくる虹彩画像と、予め登録された登録虹彩画像とを比較して、前記装着者が前記登録者であると認証する第1認証を行った後、前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向と、予め登録された正解情報とに基づいて、前記装着者が前記登録者であるかどうかを認証する第2認証を行い、
前記アプリケーションサーバは、
前記第2認証が行われた後、前記認証サーバにおいて前記装着者が前記登録者であると認証されたとき、前記疑似体験用の前記アプリケーションを前記ヘッドマウントディスプレイの前記ディスプレイに提供する認証方法。
(表現10)
疑似体験用のディスプレイを備えたヘッドマウントディスプレイを装着した装着者が予め登録された登録者であるかどうかを認証する認証サーバを構成するコンピュータに実行させるためのプログラムであって、
前記コンピュータに、
前記ヘッドマウントディスプレイから送信されてくる虹彩画像と、予め登録された登録虹彩画像とを比較して、前記装着者が前記登録者であると認証する第1認証を行うステップと、
前記ヘッドマウントディスプレイから送信されてくる入力パターン及び視線方向と、予め登録された正解情報とに基づいて、前記装着者が前記登録者であるかどうかを認証する第2認証を行うステップを実行させるためのプログラム。
【符号の説明】
【0108】
1:認証システム、2:ヘッドマウントディスプレイ、3:認証サーバ、4:アプリケーションサーバ、10:カメラ、11:ディスプレイ