特開 2023-157968 頭部装着ディスプレイ装置、認証方法、及び認証プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023157968

(43)【公開日】2023-10-26

(54)【発明の名称】頭部装着ディスプレイ装置、認証方法、及び認証プログラム

(51)【国際特許分類】

   G06F 21/31 20130101AFI20231019BHJP

   G06F 3/01 20060101ALI20231019BHJP

【ＦＩ】

G06F21/31

G06F3/01 510

G06F3/01 570

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023134841

(22)【出願日】2023-08-22

(62)【分割の表示】P 2022035306の分割

【原出願日】2017-04-21

(71)【出願人】

【識別番号】500033117

【氏名又は名称】株式会社ＭＩＸＩ

(72)【発明者】

【氏名】佐藤 裕介

(57)【要約】

【課題】頭部装着ディスプレイを用いたよりセキュリィティ性の高い認証を行う、ことを目的とする。
【解決手段】ＨＭＤは、ユーザの顔の向きを検知する顔向き検知部、及びユーザの視線を検知する視線検知部を備え、顔向き検知部による検知結果に応じて、ディスプレイの画像表示領域に表示するオブジェクトを変化させる。そして、ＨＭＤは、認証用オブジェクトがユーザの動作に応じて画像表示領域に表示させ、ユーザが視線を認証用オブジェクトに合わせたことを視線検知部が検知した場合にユーザ認証を行う。
【選択図】図６

【特許請求の範囲】

【請求項1】

ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着される頭部装着ディスプレイ装置であって、
前記ユーザの顔の向きを検知する顔向き検知手段と、
前記ユーザの視線を検知する視線検知手段と、
前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、
認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、
を備える頭部装着ディスプレイ装置。

【請求項2】

前記認証用オブジェクトは、認証開始時には前記画像表示領域に表示されず、前記ユーザの動作によって前記画像表示領域に表示される請求項１記載の頭部装着ディスプレイ装置。

【請求項3】

前記画像表示領域には、認証用表示領域が設定され、
前記認証手段は、前記認証用オブジェクトが前記ユーザの動作に応じて前記認証用表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う請求項１又は請求項２記載の頭部装着ディスプレイ装置。

【請求項4】

前記ユーザの動作は、前記ユーザが顔の向きを変えること、又は前記認証用オブジェクトをユーザが移動させることである請求項１から請求項３の何れか１項記載の頭部装着ディスプレイ装置。

【請求項5】

前記認証手段は、前記視線検知手段による検知結果及び前記顔向き検知手段による検知結果に基づいて認証を行う請求項１から請求項４の何れか１項記載の頭部装着ディスプレイ装置。

【請求項6】

予め登録された識別体が前記ディスプレイに表示された場合に、前記認証用オブジェクトが前記ディスプレイに表示される請求項１から請求項５の何れか１項記載の頭部装着ディスプレイ装置。

【請求項7】

前面にカメラを備え、
前記カメラが予め登録された実在する識別体を撮像した場合に、前記認証用オブジェクトが前記ディスプレイに表示される請求項１から請求項６の何れか１項記載の頭部装着ディスプレイ装置。

【請求項8】

前記認証用オブジェクトは、予め登録された識別体である請求項１から請求項５の何れか１項記載の頭部装着ディスプレイ装置。

【請求項9】

前記認証手段は、前記認証用オブジェクトに所定時間以上、視線を向けたことが検知された場合にユーザが認証操作を開始し、前記認証用オブジェクトから所定時間以上、視線を逸らしたことが検知された場合にユーザが認証操作を終了したとする請求項１から請求項８の何れか１項記載の頭部装着ディスプレイ装置。

【請求項10】

前記認証手段は、所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする請求項１から請求項８の何れか１項記載の頭部装着ディスプレイ装置。

【請求項11】

前記認証手段は、ユーザが頭部を所定動作させたことが検知された場合に、認証操作の開始又は終了とする請求項１から請求項８の何れか１項記載の頭部装着ディスプレイ装置。

【請求項12】

ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置の認証方法であって、
前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる第１工程と、
認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う第２工程と、
を有する認証方法。

【請求項13】

ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置が有するコンピュータを、
前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、
認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、
して機能させるための認証プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部装着ディスプレイ装置、認証方法、及び認証プログラムに関するものである。

【背景技術】

【0002】

情報処理装置を起動する際やコンピュータネットワーク等にアクセスする際に、ユーザ認証が行われる場合がある。このユーザ認証が成功した場合にのみ、情報処理装置の使用やコンピュータネットワークへのアクセスが可能となる。

【0003】

ユーザ認証としては、例えば、キーボードを介したパスワードの入力が求められる。しかしながら、キーボードを用いることによるパスワードの漏えい等を防止するために、よりセキュリティ性の高いユーザ認証も開発されている。

【0004】

セキュリティ性の高いユーザ認証として、特許文献１には、画面上に表示される画像を注視するユーザの視線を検知し、前記視線に基づいてユーザが注視した画像を検知し、検知した画像を認証情報としてユーザ認証を行うディスプレイシステムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５－１４９３２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

近年では、ユーザの頭部にディスプレイを装着する頭部装着ディスプレイ装置（Head Mount Display：ＨＭＤ）が普及し始めている。頭部装着ディスプレイ装置では、特許文献１に記載のようなユーザの視線を検知したユーザ認証が用いられることが想定されるものの、よりセキュリィティ性の高い認証が求められる。

【0007】

本発明は、このような事情に鑑みてなされたものであって、よりセキュリィティ性の高い認証を行える、頭部装着ディスプレイ装置、認証方法、及び認証プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明の頭部装着ディスプレイ装置、認証方法、及び認証プログラムは以下の手段を採用する。

【0009】

上記課題を解決するため、本発明の一態様である「頭部装着ディスプレイ装置」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着される頭部装着ディスプレイ装置であって、前記ユーザの顔の向きを検知する顔向き検知手段と、前記ユーザの視線を検知する視線検知手段と、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、を備える。

【0010】

上記課題を解決するため、本発明の一態様である「認証方法」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置の認証方法であって、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる第１工程と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う第２工程と、を有する。

【0011】

上記課題を解決するため、本発明の一態様である「認証プログラム」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置が有するコンピュータを、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、して機能させる。

【0012】

上記「頭部装着ディスプレイ装置」には、以下に例示するように、種々の技術的限定を加えてもよい。また、同趣旨の技術的限定を、「認証方法」が実行する処理ステップや「認証プログラム」の機能に加えてもよい。

【0013】

前記認証用オブジェクトは、認証開始時には前記画像表示領域に表示されず、前記ユーザの動作によって前記画像表示領域に表示される。

【0014】

前記画像表示領域には、認証用表示領域が設定され、前記認証手段は、前記認証用オブジェクトが前記ユーザの動作に応じて前記認証用表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う。

【0015】

前記ユーザの動作は、前記ユーザが顔の向きを変えること、又は前記認証用オブジェクトをユーザが移動させることである。

【0016】

前記認証手段は、前記視線検知手段による検知結果及び前記顔向き検知手段による検知結果に基づいて認証を行う。

【0017】

実在する予め登録された識別体が前記ディスプレイに表示された場合に、前記認証用オブジェクトが前記ディスプレイに表示される。

【0018】

前記認証用オブジェクトは、前記ディスプレイに表示される実在する識別体である。

【0019】

前記認証手段は、前記認証用オブジェクトに所定時間以上、視線を向けたことが検知された場合にユーザが認証操作を開始し、前記認証用オブジェクトから所定時間以上、視線を逸らしたことが検知された場合にユーザが認証操作を終了したとする。

【0020】

前記認証手段は、所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする。

【0021】

前記認証手段は、ユーザが頭部を所定動作させたことが検知された場合に、認証操作の開始又は終了とする。

【発明の効果】

【0022】

本発明によれば、頭部装着ディスプレイを用いたよりセキュリィティ性の高い認証を行える、という効果を有する。

【図面の簡単な説明】

【0023】

【図1】本発明の第１実施形態に係るディスプレイシステムの構成図である。

【図2】本発明の第１実施形態に係るＨＭＤによる画像表示領域を示す模式図である。

【図3】本発明の第１実施形態に係るＨＭＤの電気的構成を示す機能ブロック図である。

【図4】本発明の第１実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。

【図5】本発明の第１実施形態に係る認証用表示領域を示す模式図である。

【図6】本発明の第１実施形態に係るユーザ認証処理の流れを示すフローチャートである。

【図7】本発明の第２実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。

【図8】本発明の第３実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。

【図9】本発明の第３実施形態に係るＨＭＤの電気的構成を示す機能ブロック図である。

【図10】本発明の第３実施形態に係るユーザ認証処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0024】

以下に、本発明に係る頭部装着ディスプレイ装置、認証方法、及び認証プログラムの一実施形態について、図面を参照して説明する。

【0025】

［１．第１実施形態］
以下、本発明の第１実施形態について説明する。

【0026】

［１－１．ディスプレイシステムの構成］
図１は、本実施形態に係るディスプレイシステム１０の構成図である。

【0027】

ディスプレイシステム１０は、頭部装着ディスプレイ装置（Head Mount Display、以下「ＨＭＤ」という。）１２及びサーバ１４を備える。

【0028】

ＨＭＤ１２は、ユーザが視認可能なようにユーザの頭部にＬＣＤ（Liquid Crystal Display）等のディスプレイ１６が備えられる。ディスプレイ１６は、一例として、伸縮性のあるバンド１８によってユーザの頭部に固定される。

【0029】

図１に示されるＨＭＤ１２の外形は一例であり、両眼の前方にディスプレイ１６が位置するが、これに限らず、メガネ型のようにメガネのレンズに画像を投影させるものでもよい。また、両眼で画像を視認させるものではなく、片眼で画像を視認させるものでもよい。また、ＨＭＤ１２は、ユーザが装着しても外界を視認できる透過型、外界を視認できない非透過型の何れであってもよい。また、ＨＭＤ１２がディスプレイ１６に表示させる画像は、仮想現実（ＶＲ : Virtual Reality）であってもよいし、拡張現実（ＡＲ : Augmented Reality）の何れであってもよい。なお、本実施形態に係るＨＭＤ１２ではディスプレイ１６にはＶＲが表示される。

【0030】

ＨＭＤ１２とサーバ１４は、通信回線２０を介して情報の送受信が可能とされている。なお、ＨＭＤ１２は通信回線２０に直接アクセスするための通信機能を有していてもよいし、例えば、携帯電話端末等の他の情報処理装置を介して通信回線２０にアクセスしてもよい。

【0031】

サーバ１４は、ＨＭＤ１２で実行されるプログラム等の各種情報を記憶しており、必要に応じてＨＭＤ１２との間で情報の送受信を行う。

【0032】

ＨＭＤ１２は、図２に示されるように、ユーザの視界を覆うようにディスプレイ１６に画像表示領域２２が設けられる。画像表示領域２２には、各種画像（オブジェクトともいう。）が表示される。なお、本実施形態に係る画像表示領域２２は、ＨＭＤ１２を装着したユーザの視野範囲にほぼ一致する。

【0033】

本実施形態に係るＨＭＤ１２は、ユーザがＨＭＤ１２を起動させる場合にユーザ認証を行い、ユーザ認証に成功した場合にユーザの操作を可能とする。画像表示領域２２には、ユーザ認証に用いるオブジェクトである認証用オブジェクト２４が表示される。そして、ＨＭＤ１２に設けられた視線検知部３２（図３参照）によって、ユーザが視線を認証用オブジェクト２４に合わせたことを検知した場合にユーザ認証が行われる。

【0034】

本実施形態に係る認証用オブジェクト２４は、一例として、少なくとも一つ以上を視認して認証成功とされる複数の要素（以下「認証要素」という。）２６で形成される。また、本実施形態に係るユーザ認証は、複数の認証要素２６を予め定められた順番で視認した場合に認証成功とするが、これに限らず、複数の認証要素２６を視認する順番は定められていなくてもよいし、認証要素２６を視認し続ける時間を認証成功の条件としてもよい。なお、認証用オブジェクト２４は、複数の認証要素２６で形成されずに、一つの画像であってもよい。

【0035】

［１－２．ＨＭＤの機能ブロック図］
図３は、本実施形態に係るＨＭＤ１２の電気的構成を示す機能ブロック図である。

【0036】

ＨＭＤ１２は、ディスプレイ１６の他に、顔向き検知部３０、視線検知部３２、主制御部３４、記憶部３６、及び通信部３８を備える。

【0037】

顔向き検知部３０は、例えば加速度センサーやジャイロセンサ等を備え、ＨＭＤ１２を装着したユーザの顔の向きを検知する。

【0038】

視線検知部３２は、例えばユーザの眼を撮像するカメラを備え、ユーザの眼を撮像した結果に基づいて、ユーザの視線を検知する。

【0039】

主制御部３４は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、ＤＳＰ（Digital Signal Processor）等であり、ＨＭＤ１２全体の動作を制御する。

【0040】

記憶部３６は、例えば、ＲＡＭ（Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）、又はフラッシュメモリ等で構成されており、主制御部３４による各種プログラムに基づく処理の実行時のワークエリアや、画像等の各種データ及び主制御部３４の処理に利用されるプログラム等を保存する。

【0041】

通信部３８は、通信回線２０に接続する機能を有し、例えばＮＩＣ（Network Interface Controller）であり、携帯電話網等の通信網に接続する。なお、通信部３８は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Local Area Network）に接続する機能、無線ＷＡＮ（Wide Area Network）に接続する機能、例えばBluetooth（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。

【0042】

これらディスプレイ１６、顔向き検知部３０、視線検知部３２、主制御部３４、記憶部３６、及び通信部３８は、システムバスを介して相互に電気的に接続されている。従って、主制御部３４は、ディスプレイ１６に対する画像の表示、顔向き検知部３０や視線検知部３２の検知結果を用いた各種処理、記憶部３６へのアクセス、及び通信部３８を介した各種通信網や他の端末へのアクセス等を行える。なお、上記構成の他に、ＨＭＤ１２には音を出力するためのスピーカやイヤホンジャック、他の情報処理装置との間でデータの送受信を行うためのＵＳＢ（Universal Serial Bus）コネクタ等が備えられる。

【0043】

また、ＨＭＤ１２は、有線又は無線によってコントローラと接続可能とされ、コントローラを用いたユーザ操作が可能とされている。

【0044】

主制御部３４は、画像表示制御部４０及び認証処理部４２を備える。主制御部３４が備える各部は、記憶部３６に記憶されているプログラムによって実現される。

【0045】

画像表示制御部４０は、画像表示領域２２に表示させる画像（オブジェクト）を示すデータをディスプレイ１６へ出力する。また、画像表示制御部４０は、顔向き検知部３０による検知結果に応じて、画像表示領域２２に表示するオブジェクトを変化させる。

【0046】

認証処理部４２は、ユーザ認証に関する処理を実行する。

【0047】

［１－３．第１実施形態に係るユーザ認証］
本実施形態に係るユーザ認証について説明する。

【0048】

本実施形態に係るユーザ認証は、認証用オブジェクト２４がユーザの動作に応じて画像表示領域２２に表示され、ユーザが視線を認証用オブジェクト２４に合わせたことを視線検知部３２が検知した場合に認証を行う。

【0049】

図４は、本実施形態に係るユーザ認証を示す模式図であり、ＨＭＤ１２によって表示される画像空間４４を模式的に示したものである。本実施形態に係るＨＭＤ１２は、仮想現実（ＶＲ）を表示するため、図４に示される画像空間４４はＶＲ空間である。図４において一点鎖線で囲まれた領域は、ＨＭＤ１２を装着したユーザが頭部を動かすことで、視認可能な画像空間４４の全体である。一方、実線で囲まれた領域は、画像表示領域２２に表示される画像空間４４であり、ＨＭＤ１２を装着したユーザが実際に視認している範囲である。

【0050】

図４（Ａ）に示されるように認証用オブジェクト２４は、画像空間４４に存在しているものの、ユーザ認証開始時には画像表示領域２２に表示されない。このため、ユーザは、顔の向きを変える動作を行うことで、図４（Ｂ）に示されるように、画像空間４４に存在している認証用オブジェクト２４を画像表示領域２２に表示させる。

【0051】

さらに、本実施形態に係るユーザ認証では、画像表示領域２２に認証用表示領域２２Ａが設定される。画像表示領域２２は、図５に示されるように、疑似的に認証用表示領域２２Ａ及び非認証用表示領域２２Ｂに分割される。そして、認証用オブジェクト２４が、認証用表示領域２２Ａに表示された場合にユーザ認証が行われる。

【0052】

認証用オブジェクト２４が画像表示領域２２に表示された場合、認証用表示領域２２Ａに認証用オブジェクト２４を表示させるようにユーザに促す表示を行ってもよい。例えば、ＨＭＤ１２は、認証用オブジェクト２４を認証用表示領域２２Ａ内へ入れることをユーザに促すように、認証用表示領域２２Ａの点滅、文字や矢印の表示、又は音声によるアナウンスを行う。

【0053】

また、図５に示される認証用表示領域２２Ａの分割は一例であり、他の分割であってもよい。また、画像表示領域２２には、非認証用表示領域２２Ｂが設けられず、認証用表示領域２２Ａを画像表示領域２２の全体としてもよい。

【0054】

そして、ＨＭＤ１２は、視線検知部３２による視線検知の結果が、登録されている認証用視線情報と一致しているか否かによって認証の成否を判定する。認証用視線情報は、これを登録するためにユーザが認証用オブジェクト２４を視認することで生成され、記憶部３６に予め記憶されている。

【0055】

［１－４．認証操作の開始又は終了の判定］
次に、ユーザによる認証操作の開始又は終了について説明する。

【0056】

認証処理部４２は、例えば、ユーザがＨＭＤ１２に接続されているコントローラに対する所定操作を行った場合を認証操作の開始とし、ユーザが再びコントローラに対して所定操作を行った場合を認証操作の終了とする。なお、コントローラに対する所定操作とは、例えば、所定のボタンをクリックすることである。

【0057】

そして、視線検知部３２は、ユーザによる認証操作の開始を認証処理部４２が受け付けた後に、ユーザの視線検知を開始する。また、視線検知部３２は、ユーザによる認証操作の終了を認証処理部４２が受け付けた後に、ユーザの視線検知を終了する。その後、認証処理部４２は、視線検知部３２による視線の検知結果に基づいてユーザ認証の成否を判定する。

【0058】

なお、ユーザによる認証操作の開始又は終了は、コントローラに対する所定操作に限らず、視線検知部３２又は顔向き検知部３０による検知結果に基づいて判定されてもよい。

【0059】

例えば、認証処理部４２は、認証用オブジェクト２４に所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の開始とする。そして、認証処理部４２は、認証用オブジェクト２４から所定時間以上、視線を逸らしたことが視線検知部３２によって検知された場合にユーザによる認証操作の終了とする。なお、所定時間は、ユーザが無意識で視線を向けたり、逸らしたりする時間ではなく、ユーザが意図して行ったと判定可能な時間で有り、例えば数秒である。

【0060】

また、認証処理部４２は、視線検知部３２によって所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする。所定時間内で所定回数以上とは、ユーザが無意識に行う瞬きではなく、ユーザが意図して行った瞬きであると判定可能な回数であり、例えば、１秒以内に３回以上の瞬き等である。

【0061】

また、認証処理部４２は、ユーザが頭部を所定動作させたことを顔向き検知部３０が検知した場合に、認証操作の開始又は終了とする。所定動作とは、例えば所定時間内で所定方向へ所定回数等、ユーザが無意識に行う動作ではなく、ユーザが意図して行った動作であると判定可能な回数であり、例えば、頭部を1秒間に右側へ２回傾ける等である。

【0062】

また、認証処理部４２は、ディスプレイ１６に表示された所定のオブジェクトに所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の開始とし、再び所定のオブジェクトに所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の終了としてもよい。

【0063】

なお、何れの認証操作の開始又は終了の判定も、認証用表示領域２２Ａに認証用オブジェクト２４が表示されている場合に行われる。また、ＨＭＤ１２は、ユーザによる認証操作の開始又は終了を示す動作を受け付けた場合には、その旨を示す報知（以下「認証開始報知」又は「認証終了報知」という。）を行う。認証開始報知又は認証終了報知は、ディスプレイ１６への所定画像の表示や所定音声の出力等である。

【0064】

認証開始報知が行われることによって、ユーザは、認証操作を行えることを認識する。また、認証終了報知が行われることによって、ユーザは、自身が行った認証操作をＨＭＤ１２が受け付けたことを認識できる。

【0065】

このように、本実施形態に係るＨＭＤ１２は、ユーザが所定動作を行うことで認証操作の開始又は終了を受け付ける。これにより、ユーザは自身のタイミングでユーザ認証を行うことができ、ユーザ認証で行われる視線の誤検知が防がれる。

【0066】

［１－５．本実施形態に係るユーザ認証処理］
図６は、主制御部３４によって実行されるユーザ認証処理の流れを示すフローチャートであり、ユーザ認証処理を実行するためのプログラムは記憶部３６の所定領域に予め記憶されている。なお、本実施形態に係るユーザ認証処理は、一例として、ユーザがＨＭＤ１２を起動させる場合に実行される。

【0067】

まず、ステップ１００では、認証用オブジェクト２４が認証用表示領域２２Ａに表示されているか否かを判定し、肯定判定の場合はステップ１０２へ移行する。なお、ＨＭＤ１２の起動時には、認証用オブジェクト２４は認証用表示領域２２Ａに表示されていない。このため、ユーザは、頭部を動かす等して、認証用オブジェクト２４を認証用表示領域２２Ａに表示させる。

【0068】

ステップ１０２では、認証操作を開始することを示す所定動作をユーザが行ったか否かを認証処理部４２が判定し、肯定判定の場合はステップ１０４へ移行する。なお、肯定判定の場合、認証処理部４２は認証開始報知を行う。

【0069】

ステップ１０４では、視線検知部３２がユーザ認証のための視線検知を行う。

【0070】

次のステップ１０６では、認証操作を終了することを示す所定動作をユーザが行ったか否かを認証処理部４２が判定し、肯定判定の場合はステップ１０８へ移行し、否定判定の場合はステップ１０４へ戻る。なお、肯定判定の場合、認証処理部４２は認証終了報知を行う。

【0071】

ステップ１０８では、視線検知の結果に基づいて認証を認証処理部４２が実行し、その後ユーザ認証処理を終了する。具体的には、認証用オブジェクト２４に対する視線検知の結果が、登録されている認証用視線情報と一致するか否かにより、認証の成否が判定される。認証に成功した場合、ユーザは、ＨＭＤ１２の操作が可能となる。一方、ユーザ認証に失敗した場合には、ステップ１００に戻り、ユーザ認証処理が再度行われる。

【0072】

以上説明したように、本実施形態に係るＨＭＤ１２は、ユーザの顔の向きを検知する顔向き検知部３０、及びユーザの視線を検知する視線検知部３２を備え、顔向き検知部３０による検知結果に応じて、ディスプレイ１６の画像表示領域２２に表示するオブジェクトを変化させる。そして、ＨＭＤ１２は、認証用オブジェクト２４をユーザの動作に応じて画像表示領域に表示させ、ユーザが視線を認証用オブジェクト２４に合わせたことを視線検知部３２が検知した場合にユーザ認証を行う。

【0073】

このように、本実施形態に係るＨＭＤ１２は、ユーザが自身の頭部を動かすことで認証用オブジェクト２４を探し出し、認証用オブジェクト２４をディスプレイ１６に表示させる。そして、ＨＭＤ１２は、表示させた認証用オブジェクト２４に合わせたユーザの視線を検知することで、ユーザ認証を行うので、よりセキュリィティ性の高い認証を行える。

【0074】

また、認証用オブジェクト２４は、疑似的にユーザによって移動可能とされてもよい。この形態の場合、例えば、認証用オブジェクト２４が非認証用表示領域２２Ｂに表示されている場合に、疑似的にユーザが手で認証用オブジェクト２４を掴み、認証用オブジェクト２４を認証用表示領域２２Ａに移動させる。認証用オブジェクト２４を掴む操作は、ＨＭＤ１２に接続されているコントローラを介して行われてもよい。

【0075】

また、複数の認証用オブジェクト２４が画像空間４４に存在していてもよい。この形態の場合、複数の認証用オブジェクト２４のうち、一つのみがユーザ認証に用いるものとして予め登録されている。ユーザは、頭部を動かすことで、登録されている一つの認証用オブジェクト２４を見つけ出し、ディスプレイ１６に表示させることでユーザ認証を行う。

【0076】

また、認証用オブジェクト２４は移動してもよい。この形態の場合、例えば、複数の認証用オブジェクト２４が移動しながら、ディスプレイ１６に表示される。ユーザは、頭部を動かすことで、登録されている一つの認証用オブジェクト２４を見つけ出し、ディスプレイ１６に表示させることでユーザ認証を行う。

【0077】

［２．第２実施形態］
以下、本発明の第２実施形態について説明する。

【0078】

［２－１．第２実施形態に係るＨＭＤの構成］

【0079】

本第２実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成は、図１から図３に示す第１実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成と同様であるので説明を省略する。

【0080】

［２－２．第２実施形態に係るユーザ認証］
本実施形態に係る認証処理部４２は、視線検知部３２による視線検知の結果及び顔向き検知部３０による顔向き検知の結果に基づいてユーザ認証を行う。すなわち、ユーザ認証を成功とする条件は、ユーザが認証用オブジェクト２４を視認することと共に、顔の向きを予め登録された向きとすることである。

【0081】

予め登録された向きとは、例えば、上、下、右、左である。図７の例では、顔向き検知部３０によって検知された顔の方向と視線検知部３２によって検知された視線の方向とが逆向きになった場合に認証成功とする。

【0082】

これにより、本実施形態に係るＨＭＤ１２は、よりセキュリティ性の高いユーザ認証が可能となる。

【0083】

［３．第３実施形態］
以下、本発明の第３実施形態について説明する。

【0084】

［３－１．第３実施形態に係るＨＭＤの構成］

【0085】

本実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成は、図１及び図２に
示す第１実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成と同様であるので説明を省略する。

【0086】

本実施形態に係るＨＭＤ１２がディスプレイ１６に表示させる画像は、ＡＲである。このため、詳細を後述するカメラ５６がＨＭＤ１２の前面に備えられ、ＨＭＤ１２を装着したユーザの周囲（以下「実空間」という。）を撮像した画像（以下「実空間画像」という）を取得する。ディスプレイ１６には実空間画像と共にオブジェクトが表示されることで、ＡＲが実現される。

【0087】

［３－２．第３実施形態に係るユーザ認証］
本実施形態に係るＨＭＤ１２は、図８に示されるように、予め登録されている識別体（以下「登録識別体」という。）５０がディスプレイ１６に表示された場合に、認証用オブジェクト２４をディスプレイ１６に表示する。登録識別体５０は、例えば実在する物体等であり、登録識別体５０を特定するための形状や色等の特徴部分が記憶部３６に記憶されている。登録識別体５０の特徴部分は、登録識別体５０を登録する場合に取得した実空間画像に対して画像解析を行うことで抽出される。

【0088】

図８の例では、登録識別体５０は、机５２に載置されたモニタ５４であり、このモニタ５４がディスプレイ１６に表示された場合に、認証用オブジェクト２４がディスプレイ１６に表示される。換言すると、認証用オブジェクト２４の初期位置が実空間において予め定められている。すなわち、登録識別体５０が認証用表示領域２２Ａに表示されるまで、認証用オブジェクト２４は画像空間内には存在しない。このため、登録識別体５０がディスプレイ１６に表示されていない場合、ユーザは、頭部を動かすことによって登録識別体５０をディスプレイ１６に表示させる。

【0089】

なお、図８に示される登録識別体５０は、一例であり、時計や窓等、他の物体であってもよいが、実空間において位置が変化しない物体が好ましい。また、図８の例では、認証用オブジェクト２４が登録識別体５０に重ね合わされて表示されるが、必ずしも重ね合わされる必要はない。

【0090】

認証用オブジェクト２４がディスプレイ１６に表示された場合、ユーザは、認証用表示領域２２Ａに認証用オブジェクト２４が表示されるように頭部を動かす。ユーザは、認証用オブジェクト２４を認証用表示領域２２Ａに表示させた後、視線を認証用オブジェクト２４に合わせることでユーザ認証を行う。

【0091】

なお、認証用オブジェクト２４がディスプレイ１６に表示された後に、ユーザが頭部を動かすことで、登録識別体５０がディスプレイ１６に表示されなくなった場合、ＨＭＤ１２は、表示されていた認証用オブジェクト２４を非表示としてもよいし、そのまま認証用オブジェクト２４を表示し続け、ユーザ認証を可能としてもよい。

【0092】

図９は、本実施形態に係るＨＭＤ１２の電気的構成を示す機能ブロック図である。なお、図９における図３と同一の構成部分については図３と同一の符号を付して、その説明を省略する。

【0093】

カメラ５６は、ＨＭＤ１２の前面に備えられ、ユーザの周囲を撮像した実空間画像を取得する。

【0094】

画像表示制御部４０は、カメラ５６によって取得された実空間画像をリアルタイムでディスプレイ１６に表示させると共に、実在しない画像（オブジェクト）を実空間画像に重ね合わせてディスプレイ１６に表示させる。

【0095】

カメラ画像解析部５８は、実空間画像に対して画像解析等を行う等することで、カメラ５６によって撮像された物体を特定する。すなわち、実空間画像は、ディスプレイ１６に表示されながら画像解析が行われる。

【0096】

認証処理部４２は、カメラ画像解析部５８によって特定された物体と登録識別体５０とが一致するか否かを画像マッチング等により判定する。すなわち、認証処理部４２は、実空間画像に登録識別体５０とマッチングした物体が含まれている場合に、ディスプレイ１６に登録識別体５０が表示されていると判定し、認証用オブジェクト２４をディスプレイ１６に表示させる。

【0097】

図１０は、本実施形態に係るユーザ認証処理の流れを示すフローチャートである。なお、図１０における図６と同一のステップについては図６と同一の符号を付して、その説明を一部又は全部省略する。

【0098】

まず、ステップ２００では、登録識別体５０がディスプレイ１６に表示されたか否か、換言すると、カメラ５６によって登録識別体が撮像されたか否かを認証処理部４２が判定し、肯定判定の場合はステップ２０２へ移行する。なお、ＨＭＤ１２が透過型であり、本ステップ２００で肯定判定となる場合は、実在する登録識別体５０がカメラ５６の撮像範囲の所定領域（例えば中央領域）で撮像され、ディスプレイ１６を透過した登録識別体５０をユーザが直接視認している状態である。すなわち、ＨＭＤ１２が透過型の場合は、カメラ５６が撮像した画像はディスプレイ１６に表示されなくてもよい。

【0099】

ステップ２０２では、認証用オブジェクト２４を認証処理部４２がディスプレイ１６に表示させてステップ１００へ移行する。

【0100】

ステップ１００からステップ１０８では、第１実施形態に係るユーザ認証処理と同様の処理を行う。ユーザ認証に失敗した場合には、ステップ２００に戻り、ユーザ認証処理が再度行われる。

【0101】

以上説明したように、本実施形態に係るＨＭＤ１２は、ディスプレイ１６に実空間画像と共にオブジェクトを表示することで、ＡＲを実現するものであり、登録識別体５０がディスプレイ１６に表示された場合に、認証用オブジェクト２４をディスプレイ１６に表示する。

【0102】

これにより、本実施形態に係るＨＭＤ１２は、よりセキュリティ性の高いユーザ認証が可能となる。

【0103】

なお、登録識別体５０は、予め複数が登録されており、ユーザ認証毎や所定日数毎等にユーザ認証に用いられる登録識別体５０が変更されてもよい。ユーザ認証に用いる登録識別体５０が変化する場合には、予め登録されているユーザのメールアドレス等に、変更された登録識別体５０に関する情報が通知される。

【0104】

また、登録識別体５０は、モニタ５４等の物体に限らず、例えばバーコードやＱＲコード（登録商標）等の識別コードや予め定められた画像等であってもよい。これら識別コードや画像は、紙等に印刷されたものであってもよいし、パソコンのモニタや携帯情報端末等に表示されたものであってもよい。

【0105】

また、登録識別体５０は、実在する物体ではなく、ディスプレイ１６に表示される仮想の物体でもよい。この形態の場合、ユーザは、ＶＲ空間内で登録識別体５０まで移動し、ディスプレイ１６に表示させたり、ＶＲ空間内で登録識別体５０を把持してディスプレイ１６に表示させる。

【0106】

また、実在又は仮想の登録識別体５０そのものが認証用オブジェクト２４であってもよい。この場合、登録識別体５０が認証用表示領域２２Ａに表示された場合に、ユーザ認証が行われる。また、ＨＭＤ１２が透過型の場合は、実在する登録識別体５０がカメラ５６の撮像範囲の所定領域（例えば中央領域）で撮像された場合に、ユーザ認証が行われても
よい。

【0107】

［４．他の実施形態］
以上、本発明を、上記各実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記各実施形態に多様な変更又は改良を加えることができ、変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記各実施形態を適宜組み合わせてもよい。

【0108】

例えば、上記各実施形態では、ＨＭＤ１２が認証処理部４２を備える形態について説明したが、本発明は、これに限定されるものではなく、サーバ１４が認証処理部４２を備える形態としてもよい。この形態の場合、ＨＭＤ１２がユーザ認証のために検知した検知結果がサーバ１４へ送信され、サーバ１４は、受信した検知結果に基づいてユーザ認証を行い、認証結果をＨＭＤ１２へ送信する。

【0109】

また、上記各実施形態では、本発明に係る認証をＨＭＤ１２の起動時に行われるユーザ認証に適用する形態について説明したが、本発明は、これに限定されるものではなく、例えば、ＨＭＤ１２で実行されるソフトウェアの起動時に行われるユーザ認証に適用されてもよい。また、ＨＭＤ１２で実行されるゲーム内における認証に適用されてもよい。ゲームの認証に適用される形態では、ＨＭＤ１２は、認証用オブジェクト２４に視線が合わされたことを検知した場合に認証を行い、認証に成功した場合に予め定められたイベントが発生する等してもよい。

【0110】

また、第１実施形態及び第２実施形態では、ＨＭＤ１２がＶＲを表示する形態について説明したが、本発明は、これに限定されるものではなく、ＨＭＤ１２がＡＲを表示する形態としてもよい。

【0111】

また、上記各実施形態で説明したユーザ認証処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【符号の説明】

【0112】

１２ ＨＭＤ（頭部装着ディスプレイ装置）
１６ ディスプレイ
２２ 画像表示領域
２２Ａ 認証用表示領域
２４ 認証用オブジェクト
３０ 顔向き検知部（顔向き検知手段）
３２ 視線検知部（視線検知手段）
４０ 画像表示制御部（画像表示制御手段）
４２ 認証処理部（認証手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2023-09-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

カメラと、ディスプレイと、プロセッサと、を備え、
前記プロセッサは、前記カメラにより実空間を撮像した画像に、実空間の位置に関連付けられたオブジェクトを重ね合わせて前記ディスプレイに表示させ、
前記プロセッサは、ユーザ認証前に、ユーザ認証に用いる認証用オブジェクトを前記ディスプレイの表示領域の外に配置し、
前記プロセッサは、前記認証用オブジェクトが前記ディスプレイの表示領域に表示された場合に、ユーザ認証操作を可能とし、
前記プロセッサは、前記ユーザ認証操作が可能な場合に、前記ユーザ認証を実行する、
装置。

【請求項2】

カメラと、ディスプレイと、プロセッサと、を備える装置に、
前記カメラにより実空間を撮像した画像に、実空間の位置に関連付けられたオブジェクトを重ね合わせて前記ディスプレイに表示させ、
ユーザ認証前に、ユーザ認証に用いる認証用オブジェクトを前記ディスプレイの表示領域の外に配置し、
前記認証用オブジェクトが前記ディスプレイの表示領域に表示された場合に、ユーザ認証操作を可能とし、
前記ユーザ認証操作が可能な場合に、前記ユーザ認証を実行する、
処理を実行させるためのプログラム。

【請求項3】

カメラと、ディスプレイと、プロセッサと、を備える装置が、
前記カメラにより実空間を撮像した画像に、実空間の位置に関連付けられたオブジェクトを重ね合わせて前記ディスプレイに表示させ、
ユーザ認証前に、ユーザ認証に用いる認証用オブジェクトを前記ディスプレイの表示領域の外に配置し、
前記認証用オブジェクトが前記ディスプレイの表示領域に表示された場合に、ユーザ認証操作を可能とし、
前記ユーザ認証操作が可能な場合に、前記ユーザ認証を実行する、
ことを特徴とする情報処理方法。