特開 2024-143295 情報処理装置および情報処理方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143295

(43)【公開日】2024-10-11

(54)【発明の名称】情報処理装置および情報処理方法、並びにプログラム

(51)【国際特許分類】

   G06V 40/10 20220101AFI20241003BHJP

   G06F 21/32 20130101ALI20241003BHJP

   G06T 7/00 20170101ALI20241003BHJP

   G06V 40/12 20220101ALI20241003BHJP

   G06V 40/60 20220101ALI20241003BHJP

   G06V 40/18 20220101ALI20241003BHJP

【ＦＩ】

G06V40/10

G06F21/32

G06T7/00 510D

G06T7/00 510B

G06V40/12

G06V40/60

G06V40/18

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023055893

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】徳永 宏樹

(72)【発明者】

【氏名】作本 紘一

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA04

5B043BA03

5B043BA04

5B043CA10

5B043DA05

5B043FA03

5B043FA07

5B043FA09

5B043GA02

5B043GA13

5B043HA13

(57)【要約】

【課題】より良好にユーザ認証を行う。
【解決手段】ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラと、ユーザの掌を撮影して掌画像を取得するアウトカメラとを備え、虹彩画像を利用した虹彩認証および掌画像を利用した掌認証を並行して行うユーザ認証処理を実行する。本技術は、例えば、透過型ディスプレイを備えたHMD装置に適用できる。
【選択図】図２

【特許請求の範囲】

【請求項1】

ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラと、
前記ユーザの掌を撮影して掌画像を取得するアウトカメラと、
前記虹彩画像を利用した虹彩認証および前記掌画像を利用した掌認証を並行して行うユーザ認証処理を実行する情報処理部と
を備える情報処理装置。

【請求項2】

前記情報処理部は、
前記虹彩画像に写されている虹彩の特徴量を、事前に作成された虹彩の登録テンプレートに登録されている虹彩の特徴量と照合し、その照合結果を示す数値である虹彩の照合スコアを計算する虹彩照合スコア算出部と、
前記掌画像に写されている掌の特徴量を、事前に作成された掌の登録テンプレートに登録されている掌の特徴量と照合し、その照合結果を示す数値である掌の照合スコアを計算する掌照合スコア算出部と
を有し、
前記虹彩照合スコア算出部および前記掌照合スコア算出部が並行して処理を行う
請求項１に記載の情報処理装置。

【請求項3】

前記情報処理部は、所定のウィンドウサイズに従った一定期間において、前記虹彩の照合スコアおよび前記掌の照合スコアを保持し、その一定期間における最大値を照合に用いる判定処理部をさらに有する
請求項２に記載の情報処理装置。

【請求項4】

前記判定処理部は、前記一定期間における前記虹彩の照合スコアの最大値および前記掌の照合スコアの最大値が両方とも閾値を超えた場合、前記ユーザ認証処理が成功したと判断する
請求項３に記載の情報処理装置。

【請求項5】

前記情報処理部は、前記ウェアラブル型の表示デバイスの表示画面に、前記ユーザの視線の方向をガイドするための視線ガイド画像と、前記ユーザの掌の姿勢をガイドするための掌ガイド画像との表示制御を行う表示制御部をさらに有する
請求項４に記載の情報処理装置。

【請求項6】

前記表示制御部は、前記虹彩の照合スコアが閾値以下である場合、前記視線ガイド画像を変化させる表示制御を行う
請求項５に記載の情報処理装置。

【請求項7】

前記表示制御部は、前記掌の照合スコアが閾値以下である場合、前記掌ガイド画像を変化させる表示制御を行う
請求項５に記載の情報処理装置。

【請求項8】

前記表示制御部は、前記虹彩の照合スコアが閾値以下であり、かつ、前記掌の照合スコアが閾値以下である場合、前記視線ガイド画像および前記掌ガイド画像の両方を変化させる表示制御を行う
請求項５に記載の情報処理装置。

【請求項9】

前記虹彩の登録テンプレートおよび前記掌の登録テンプレートを作成するユーザ登録処理の実行時に、前記インカメラによる前記虹彩画像の取得、および、前記アウトカメラによる前記掌画像の取得が並行して行われる
請求項２に記載の情報処理装置。

【請求項10】

前記情報処理部は、前記ユーザ登録処理の実行時に、規定枚数の前記虹彩画像から前記虹彩の登録テンプレートを作成する処理、および、規定枚数の前記掌画像から前記掌の登録テンプレートを作成する処理を並行して行う登録テンプレート作成部をさらに有する
請求項９に記載の情報処理装置。

【請求項11】

情報処理装置が、
ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラから供給される前記虹彩画像を利用した虹彩認証、および、前記ユーザの掌を撮影して掌画像を取得するアウトカメラから供給される前記掌画像を利用した掌認証を並行して行うユーザ認証処理を実行すること
を含む情報処理方法。

【請求項12】

情報処理装置のコンピュータに、
ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラから供給される前記虹彩画像を利用した虹彩認証、および、前記ユーザの掌を撮影して掌画像を取得するアウトカメラから供給される前記掌画像を利用した掌認証を並行して行うユーザ認証処理を実行すること
を含む情報処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、より良好にユーザ認証を行うことができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。

【背景技術】

【0002】

従来、ユーザの頭部に装着するHMD（Head Mounted Display）装置では、パスワードを入力するようなユーザ認証よりも、虹彩を利用したユーザ認証の方が、より簡単にユーザ認証を行うのに適したユーザインタフェースと考えられ、より良好なユーザ体験を提供することができる。

【0003】

例えば、特許文献１には、虹彩を撮影した画像データのパターンによってユーザを識別して、そのユーザにカスタマイズされた拡張現実の体験を提供するシースルーのHMD装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第９２０２４４３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、一般的なHMD装置は、視線を追跡する用途の低性能なインカメラが搭載されているだけであり、そのインカメラを使用した虹彩認証では十分な認証性能を得ることは困難であった。また、十分な認証性能を得るために、虹彩認証以外の生体認証を組み合わせてユーザ認証を行う場合には、ユーザ認証に要する時間が長くなってしまうことが想定される。そのため、一般的なHMD装置に搭載されるインカメラを使用して、より良好にユーザ認証を行うことが求められている。

【0006】

本開示は、このような状況に鑑みてなされたものであり、より良好にユーザ認証を行うことができるようにするものである。

【課題を解決するための手段】

【0007】

本開示の一側面の情報処理装置は、ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラと、前記ユーザの掌を撮影して掌画像を取得するアウトカメラと、前記虹彩画像を利用した虹彩認証および前記掌画像を利用した掌認証を並行して行うユーザ認証処理を実行する情報処理部とを備える。

【0008】

本開示の一側面の情報処理方法またはプログラムは、ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラから供給される前記虹彩画像を利用した虹彩認証、および、前記ユーザの掌を撮影して掌画像を取得するアウトカメラから供給される前記掌画像を利用した掌認証を並行して行うユーザ認証処理を実行することを含む。

【0009】

本開示の一側面においては、ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラから供給される前記虹彩画像を利用した虹彩認証、および、前記ユーザの掌を撮影して掌画像を取得するアウトカメラから供給される前記掌画像を利用した掌認証を並行して行うユーザ認証処理が実行される。

【図面の簡単な説明】

【0010】

【図1】本技術を適用したHMD装置の一実施の形態の構成例を示す図である。

【図2】HMD装置の機能的な構成例を示すブロック図である。

【図3】ユーザ登録処理の実行時の掌ガイド画像および視線ガイド画像の表示例を示す図である。

【図4】ユーザ認証処理の実行時に、掌の照合スコアのみが閾値以下である場合の掌ガイド画像および視線ガイド画像の表示例を示す図である。

【図5】ユーザ認証処理の実行時に、掌および虹彩の両方の照合スコアが閾値以下である場合の掌ガイド画像および視線ガイド画像の表示例を示す図である。

【図6】ユーザ認証処理の実行時に、虹彩の照合スコアのみが閾値以下である場合の掌ガイド画像および視線ガイド画像の表示例を示す図である。

【図7】掌の照合スコアおよび虹彩の照合スコアの判定処理について説明する図である。

【図8】ユーザ登録処理を説明するフローチャートである。

【図9】ユーザ認証処理を説明するフローチャートである。

【図10】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0012】

＜HMD装置の構成例＞
図１は、本技術を適用したウェアラブル型の表示デバイスであるHMD装置の一実施の形態の構成例を示す図である。

【0013】

図１に示すように、HMD装置１１は、ユーザの頭部に装着したときに透過型ディスプレイ２１によってユーザの両眼が覆われるように構成される。ユーザは、透過型ディスプレイ２１の表示画面１２越しに周囲や、自身の手などを見ることができる。

【0014】

HMD装置１１は、ユーザの掌を利用した掌認証、および、ユーザの虹彩を利用した虹彩認証の両方を並行して実行するようなユーザ認証処理を採用している。このため、HMD装置１１は、ユーザ登録処理またはユーザ認証処理それぞれの実行時に、透過型ディスプレイ２１の表示画面１２に、掌ガイド画像１３および視線ガイド画像１４を同時に表示する。掌ガイド画像１３は、ユーザの掌の姿勢をガイドするための画像であり、視線ガイド画像１４は、ユーザの視線の方向をガイドするための画像である。

【0015】

ユーザは、ユーザ登録処理またはユーザ認証処理それぞれの実行時に、掌ガイド画像１３の形状に合わせるように、掌の姿勢を変更したり、視線ガイド画像１４を注視するように、視線の方向を動かしたりすることができる。

【0016】

図２は、HMD装置１１の機能的な構成例を示すブロック図である。

【0017】

図２に示すように、HMD装置１１は、透過型ディスプレイ２１、アウトカメラ２２、インカメラ２３、および情報処理装置２４を備えて構成される。情報処理装置２４は、表示制御部３１、掌照合スコア算出部３２、虹彩照合スコア算出部３３、判定処理部３４、および登録テンプレート作成部３５を有している。

【0018】

透過型ディスプレイ２１は、ユーザ登録処理またはユーザ認証処理それぞれの実行時に、表示制御部３１による制御に従って、図１に示したような掌ガイド画像１３および視線ガイド画像１４を表示画面１２に表示する。

【0019】

アウトカメラ２２は、例えば、周囲の様子を認識するのに必要とされる程度の性能を備えており、HMD装置１１の正面から外側に向かって撮影を行い、ユーザが顔の前方に翳した掌が写された掌画像を取得する。そして、アウトカメラ２２は、ユーザ登録処理の実行時には掌画像を判定処理部３４に供給し、ユーザ認証処理の実行時には掌画像を掌照合スコア算出部３２に供給する。

【0020】

インカメラ２３は、例えば、視線を追跡するのに必要とされる程度の性能を備えており、HMD装置１１の透過型ディスプレイ２１の内側に向かって撮影を行い、ユーザの虹彩が写された虹彩画像を取得する。そして、インカメラ２３は、ユーザ登録処理の実行時には虹彩画像を判定処理部３４に供給し、ユーザ認証処理の実行時には虹彩画像を虹彩照合スコア算出部３３に供給する。

【0021】

情報処理装置２４は、虹彩画像を利用した虹彩認証および掌画像を利用した掌認証を並行して行うユーザ認証処理を実行する。

【0022】

表示制御部３１は、透過型ディスプレイ２１の表示画面１２に表示される掌ガイド画像１３および視線ガイド画像１４に対する表示制御を行う。例えば、表示制御部３１は、図３乃至図６を参照して後述するように、掌ガイド画像１３の位置や向き、形状などを変更する表示制御を行ったり、視線ガイド画像１４の位置を変更する表示制御を行ったりすることができる。

【0023】

掌照合スコア算出部３２は、ユーザ認証処理の実行時に、アウトカメラ２２から供給される掌画像に写されている掌の特徴量を、ユーザ登録処理で事前に作成された掌の登録テンプレートに登録されている掌の特徴量と照合し、その照合結果を示す数値である掌の照合スコアを計算する。例えば、掌の照合スコアは、数値が大きいほど、ユーザ認証処理の実行時に撮影された掌が、ユーザ登録処理の実行時に撮影された掌と同一人物のものであることを示す。

【0024】

虹彩照合スコア算出部３３は、ユーザ認証処理の実行時に、インカメラ２３から供給される虹彩画像に写されている虹彩の特徴量を、ユーザ登録処理で事前に作成された虹彩の登録テンプレートに登録されている虹彩の特徴量と照合し、その照合結果を示す数値である虹彩の照合スコアを計算する。例えば、虹彩の照合スコアは、数値が大きいほど、ユーザ認証処理の実行時に撮影された虹彩が、ユーザ登録処理の実行時に撮影された虹彩と同一人物のものであることを示す。

【0025】

判定処理部３４は、ユーザ登録処理およびユーザ認証処理それぞれの実行時に必要となる各種の判定処理を行う。

【0026】

判定処理部３４は、ユーザ登録処理の実行時に、アウトカメラ２２から供給される掌画像およびインカメラ２３から供給される虹彩画像が、それぞれ登録テンプレートの作成に必要となる規定枚数以上となったと判定した場合、それぞれ規定枚数の掌画像および虹彩画像を登録テンプレート作成部３５に供給する。判定処理部３４は、ユーザ登録処理の実行時に、登録テンプレート作成部３５により掌の登録テンプレートおよび虹彩の登録テンプレートの両方が作成されたか否かの判定に基づいて、ユーザ登録処理における登録成功または登録失敗を判断する。

【0027】

判定処理部３４は、ユーザ認証処理の実行時に、掌照合スコア算出部３２から供給される掌の照合スコアおよび虹彩照合スコア算出部３３から供給される虹彩の照合スコアに基づいて、ユーザ認証処理における認証成功または認証失敗を判断する。例えば、判定処理部３４は、図７を参照して後述するように、ウィンドウサイズに従った一定期間において掌の照合スコアおよび虹彩の照合スコアを保持し、その一定期間における最大値を照合に用いることができる。

【0028】

判定処理部３４は、掌の照合スコアが閾値以下である場合には、掌の照合スコアが閾値以下であることを表示制御部３１に通知し、虹彩の照合スコアが閾値以下である場合には、虹彩の照合スコアが閾値以下であることを表示制御部３１に通知する。

【0029】

登録テンプレート作成部３５は、規定枚数の掌画像から掌の特徴量を抽出して、掌の特徴量が登録される掌の登録テンプレートを作成する処理と、規定枚数の虹彩画像から虹彩の特徴量を抽出して、虹彩の特徴量が登録される虹彩の登録テンプレートを作成する処理とを並行して行う。

【0030】

このように構成されるHMD装置１１は、掌認証および虹彩認証の両方を並行して実行することによって、例えば、掌認証および虹彩認証を順に行う場合と比較して、ユーザ認証処理に要する処理時間の短縮を図ることができる。同様に、HMD装置１１は、ユーザ登録処理においても処理を並行して実行することによって、ユーザ登録処理に要する処理時間の短縮を図ることができる。また、HMD装置１１では、判定処理部３４が、一定期間の掌の照合スコアおよび虹彩の照合スコアを保持して、その一定期間における最大値を照合に用いることで、ユーザ本人の認証に失敗することを回避することができる。従って、HMD装置１１は、より良好にユーザ認証を行うことができる。

【0031】

＜掌ガイド画像および視線ガイド画像の表示制御＞
図３乃至図６を参照して、掌ガイド画像１３および視線ガイド画像１４の表示制御について説明する。

【0032】

図３には、ユーザ登録処理の実行時に、透過型ディスプレイ２１の表示画面１２に表示される掌ガイド画像１３および視線ガイド画像１４の表示例が示されている。

【0033】

ユーザ登録処理の実行時には、掌ガイド画像１３および視線ガイド画像１４が同時に表示画面１２に表示され、掌ガイド画像１３の位置や向き、形状などを変化させる表示制御、および、視線ガイド画像１４の位置を変化させる表示制御が行われる。これにより、様々な姿勢の掌を撮影して取得された規定枚数の掌画像を用いて行われる掌の登録テンプレートの作成と、様々な方向の虹彩を撮影して取得された規定枚数の虹彩画像を用いて行われる虹彩の登録テンプレートの作成との両方を並列的に実行することができる。従って、例えば、掌の登録テンプレートの作成と虹彩の登録テンプレートの作成とを順に行うようなユーザ登録処理と比較して、HMD装置１１は、ユーザ登録処理に要する処理時間の短縮を図ることができる。

【0034】

図４乃至図６には、ユーザ認証処理の実行時に、透過型ディスプレイ２１の表示画面１２に表示される掌ガイド画像１３および視線ガイド画像１４の表示例が示されている。

【0035】

まず、ユーザ認証処理の実行時における認証成功／認証失敗の判断基準について説明する。例えば、ある経過時刻ｔにおいて、掌の照合スコアが閾値を超えて、かつ、虹彩の照合スコアが閾値を超えていた場合、認証成功と判断される。一方、ある経過時刻ｔにおいて、掌の照合スコアが閾値を超えていない場合、または、虹彩の照合スコアが閾値を超えていない場合、および、それらの両方の場合、次の時刻ｔ＋１において認証成功または認証失敗の判断が行われる。そして、掌の照合スコアが閾値を超えることのないまま、または、虹彩の照合スコアが閾値を超えることのないまま、経過時刻ｔがタイムアウトを経過した場合、認証失敗と判断される。

【0036】

図４には、ユーザ認証処理の実行時に、掌の照合スコアのみが閾値以下である場合に、透過型ディスプレイ２１の表示画面１２に表示される掌ガイド画像１３および視線ガイド画像１４の表示例が示されている。

【0037】

ユーザ認証処理の実行時に、掌の照合スコアのみが閾値以下である場合には、視線ガイド画像１４を固定したまま、掌ガイド画像１３の位置や向き、形状などを変化させる表示制御が行われる。これにより、様々な姿勢の掌を撮影した掌画像を取得することができ、掌の照合スコアの向上を図ることができる。

【0038】

図５には、ユーザ認証処理の実行時に、掌の照合スコアが閾値以下であって、かつ、虹彩の照合スコアが閾値以下である場合に、透過型ディスプレイ２１の表示画面１２に表示される掌ガイド画像１３および視線ガイド画像１４の表示例が示されている。

【0039】

ユーザ認証処理の実行時に、掌の照合スコアが閾値以下であって、かつ、虹彩の照合スコアが閾値以下である場合には、掌ガイド画像１３の位置や向き、形状などを変化させる表示制御、および、視線ガイド画像１４の位置を変化させる表示制御が行われる。これにより、様々な姿勢の掌を撮影した掌画像を取得するとともに、様々な方向の虹彩を撮影した虹彩画像を取得することができ、掌の照合スコアおよび虹彩の照合スコアの向上を図ることができる。

【0040】

図６には、ユーザ認証処理の実行時に、虹彩の照合スコアのみが閾値以下である場合に、透過型ディスプレイ２１の表示画面１２に表示される掌ガイド画像１３および視線ガイド画像１４の表示例が示されている。

【0041】

ユーザ認証処理の実行時に、虹彩の照合スコアのみが閾値以下である場合には、掌ガイド画像１３を固定したまま、視線ガイド画像１４の位置を変化させる表示制御が行われる。これにより、様々な方向の虹彩を撮影して虹彩画像を取得することができ、虹彩の照合スコアの向上を図ることができる。

【0042】

また、図４乃至図６に示したような表示制御は、掌の照合スコアおよび虹彩の照合スコアの閾値に対する大小関係が異なったときに、それぞれ最初に戻って表示制御が繰り返される。また、ユーザ認証処理がタイムアウトしたときにも、最初から表示制御を行うことができる。

【0043】

このように、掌の照合スコアおよび虹彩の照合スコアの閾値に対する大小関係の遷移に応じて、より認証成功し易くなるように、掌ガイド画像１３および視線ガイド画像１４の表示制御が行われる。

【0044】

これにより、HMD装置１１は、例えば、掌認証と虹彩認証とを単に組み合わせただけの認証処理と比較して、ユーザ本人の認証に失敗することを回避することができる。即ち、他人の認証に誤って成功してしまうのを回避するために、上述したような認証成功／認証失敗の判断基準を用いる場合、ユーザ本人の認証に成功するためには、掌の照合スコアおよび虹彩の照合スコアの両方が閾値を同時に超える必要があるため、掌認証と虹彩認証をそれぞれ単一で認証を行う場合と比較して、ユーザ本人の認証に失敗する確率が高くなってしまう。

【0045】

そのような場合であっても、HMD装置１１は、より認証成功し易くなるように掌ガイド画像１３および視線ガイド画像１４の表示制御を行うことによって、ユーザ本人の認証に失敗する確率を低減させることができる。

【0046】

＜照合スコアの判定処理＞
図７を参照して、掌の照合スコアおよび虹彩の照合スコアの判定処理について説明する。

【0047】

判定処理部３４は、所定のウィンドウサイズに従った一定期間において、虹彩の照合スコアおよび掌の照合スコアを保持し、その一定期間における最大値を照合に用いることができる。

【0048】

例えば、他人の認証に誤って成功してしまうのを回避するために、上述したような認証成功／認証失敗の判断基準を用いる場合、ユーザ本人の認証に成功するためには、掌の照合スコアおよび虹彩の照合スコアの両方が閾値を同時に超える必要があるため、掌認証と虹彩認証をそれぞれ単一で認証を行う場合と比較して、ユーザ本人の認証に失敗する確率が高くなってしまう。

【0049】

つまり、図７のＡに示すように、掌認証および虹彩認証を単純に組み合わせたときには、同時に基準値を超えているかを判断するためには、ウィンドウサイズが１に設定される。このため、掌の照合スコアおよび虹彩の照合スコアの両方が閾値を同時に超えることなく、時刻ｔがタイムアウトを経過することになり、認証失敗と誤判断されてしまう。

【0050】

これに対し、図７のＢに示すように、判定処理部３４は、所定のウィンドウサイズに従った一定期間の虹彩の照合スコアおよび掌の照合スコアを保持し、その一定期間における最大値を照合に用いることができる。即ち、判定処理部３４は、次の式（１）に従って、時刻ｔにおける照合スコアscore(t)を計算する。

【0051】

【数1】

【0052】

これにより、判定処理部３４は、ユーザ認証処理を行っている期間（タイムアウトまでの時間）内で、掌の照合スコアの最大値および虹彩の照合スコアの最大値が両方とも閾値を超えていることより、ユーザ本人の認証に正しく成功することができる。

【0053】

このように、HMD装置１１では、掌認証および虹彩認証を単純に組み合わせたときと比較して、ユーザ本人の認証に失敗する確率を低下させることができる。

【0054】

＜ユーザ登録処理の処理例＞
図８に示すフローチャートを参照して、HMD装置１１において行われるユーザ登録処理について説明する。

【0055】

例えば、HMD装置１１を装着したユーザが、ユーザ登録処理の実行を指示すると処理が開始され、ステップＳ１１において、判定処理部３４は、掌画像および虹彩画像の取得枚数を判定するためのフレーム数を初期化する。

【0056】

ステップＳ１１の処理後、ステップＳ１２およびステップＳ１３で並列的に処理が行われる。

【0057】

ステップＳ１２において、表示制御部３１は、透過型ディスプレイ２１の表示画面１２に掌ガイド画像１３が表示されるように表示制御を行う。ステップＳ１３において、表示制御部３１は、透過型ディスプレイ２１の表示画面１２に視線ガイド画像１４が表示されるように表示制御を行う。

【0058】

ステップＳ１２およびステップＳ１３の処理後、ステップＳ１４およびステップＳ１５で並列的に処理が行われる。

【0059】

ステップＳ１４において、アウトカメラ２２は、ユーザの掌を撮影して得られた掌画像を判定処理部３４に供給し、判定処理部３４は、１フレーム分の掌画像を取得する。ステップＳ１５において、インカメラ２３は、ユーザの虹彩を撮影して得られた虹彩画像を判定処理部３４に供給し、判定処理部３４は、１フレーム分の虹彩画像を取得する。

【0060】

ステップＳ１６において、判定処理部３４は、ステップＳ１４で取得した掌画像のフレーム数、および、ステップＳ１５で取得した虹彩画像のフレーム数が、規定枚数以上になったか否かを判定する。

【0061】

ステップＳ１６において、判定処理部３４が、フレーム数が規定枚数以上になっていないと判定した場合、処理はステップＳ１７に進む。ステップＳ１７において、判定処理部３４は、フレーム数をインクリメントした後、処理はステップＳ１２およびステップＳ１３に戻って、以下、同様の処理が繰り返して行われる。

【0062】

一方、ステップＳ１６において、判定処理部３４が、フレーム数が規定枚数以上になったと判定した場合、処理はステップＳ１８およびステップＳ１９に進み、並列的に処理が行われる。

【0063】

ステップＳ１８において、判定処理部３４は、規定枚数の掌画像を登録テンプレート作成部３５に供給する。登録テンプレート作成部３５は、規定枚数の掌画像から掌の特徴量を抽出して、掌の特徴量が登録される掌の登録テンプレートを作成する。なお、規定枚数の掌画像から、掌認証に必要となる掌の特徴量を抽出することができなかった場合には、掌の登録テンプレートの作成は行われない。

【0064】

ステップＳ１９において、判定処理部３４は、規定枚数の虹彩画像を登録テンプレート作成部３５に供給する。登録テンプレート作成部３５は、規定枚数の虹彩画像から虹彩の特徴量を抽出して、虹彩の特徴量が登録される虹彩の登録テンプレートを作成する。なお、規定枚数の虹彩画像から、虹彩認証に必要となる虹彩の特徴量を抽出することができなかった場合には、虹彩の登録テンプレートの作成は行われない。

【0065】

ステップＳ２０において、判定処理部３４は、掌の登録テンプレートおよび虹彩の登録テンプレートの作成が両方とも完了したか否かを判定する。

【0066】

ステップＳ２０において、判定処理部３４が、掌の登録テンプレートおよび虹彩の登録テンプレートの作成が両方とも完了したと判定した場合、処理はステップＳ２１に進む。ステップＳ２１において、登録テンプレート作成部３５が、掌の登録テンプレートおよび虹彩の登録テンプレートをデータベースに登録したり、表示制御部３１が、ユーザ登録処理が成功したことを示すメッセージを透過型ディスプレイ２１に表示させたりする登録成功時の処理が行われる。

【0067】

一方、ステップＳ２０において、判定処理部３４が、掌の登録テンプレートおよび虹彩の登録テンプレートの作成が両方とも完了していないと判定した場合、即ち、いずれか一方でも登録テンプレートの作成が行われなかった場合、処理はステップＳ２２に進む。ステップＳ２２において、表示制御部３１が、ユーザ登録処理が失敗したことを示すメッセージや、ユーザ登録処理の再実行を確認するユーザインタフェースなどを透過型ディスプレイ２１に表示させる登録失敗時の処理が行われる。例えば、ユーザ登録処理が失敗した場合には、ユーザ登録処理を再実行することができる。

【0068】

ステップＳ２１またはステップＳ２２の処理後、ユーザ登録処理は終了される。

【0069】

以上のように、HMD装置１１は、掌画像および虹彩画像を取得する処理、および、掌の登録テンプレートおよび虹彩の登録テンプレートを作成する処理を並列的に行うことで、ユーザ登録処理に要する処理時間の短縮を図ることができる。

【0070】

なお、掌画像および虹彩画像は、上述したようなフレーム数で設定する他、撮影時間×フレームレートで設定してもよい。

【0071】

＜ユーザ認証処理の処理例＞
図９に示すフローチャートを参照して、HMD装置１１において行われるユーザ認証処理について説明する。

【0072】

例えば、HMD装置１１を装着したユーザが、ユーザ認証処理の実行を指示すると処理が開始され、ステップＳ３１において、判定処理部３４は、タイムアウトを判定するための時刻を初期化する。

【0073】

ステップＳ３１の処理後、ステップＳ３２およびステップＳ３３で並列的に処理が行われる。

【0074】

ステップＳ３２において、表示制御部３１は、透過型ディスプレイ２１の表示画面１２に掌ガイド画像１３が表示されるように表示制御を行う。ステップＳ３３において、表示制御部３１は、透過型ディスプレイ２１の表示画面１２に視線ガイド画像１４が表示されるように表示制御を行う。

【0075】

ステップＳ３２およびステップＳ３３の処理後、ステップＳ３４およびステップＳ３５で並列的に処理が行われる。

【0076】

ステップＳ３４において、アウトカメラ２２は、ユーザの掌を撮影して得られた掌画像を掌照合スコア算出部３２に供給し、掌照合スコア算出部３２は、１フレーム分の掌画像を取得する。ステップＳ３５において、インカメラ２３は、ユーザの虹彩を撮影して得られた虹彩画像を虹彩照合スコア算出部３３に供給し、虹彩照合スコア算出部３３は、１フレーム分の虹彩画像を取得する。

【0077】

ステップＳ３６において、掌照合スコア算出部３２は、ステップＳ３４で取得した掌画像に写されている掌の特徴量を、掌の登録テンプレートに登録されている掌の特徴量と照合して掌の照合スコアを計算し、判定処理部３４に供給する。ステップＳ３７において、虹彩照合スコア算出部３３は、ステップＳ３５で取得した虹彩画像に写されている虹彩の特徴量を、虹彩の登録テンプレートに登録されている虹彩の特徴量と照合して虹彩の照合スコアを計算し、判定処理部３４に供給する。

【0078】

ステップＳ３８において、判定処理部３４は、ウィンドウサイズに従った一定期間において、掌の照合スコアの最大値および虹彩の照合スコアの最大値が両方とも閾値を超えたか否かを判定する。

【0079】

ステップＳ３８において、判定処理部３４が、ウィンドウサイズに従った一定期間において、掌の照合スコアの最大値および虹彩の照合スコアの最大値が両方とも閾値を超えたと判定した場合、処理はステップＳ３９に進む。ステップＳ３９において、表示制御部３１が、ユーザ認証処理が成功したことを示すメッセージを透過型ディスプレイ２１に表示させたり、ユーザ認証処理の成功に伴うユーザにカスタマイズされた各種の処理が開始されたりする認証成功時の処理が行われる。

【0080】

一方、ステップＳ３８において、判定処理部３４が、ウィンドウサイズに従った一定期間において、掌の照合スコアの最大値および虹彩の照合スコアの最大値の少なくとも一方が閾値を超えていないと判定した場合、処理はステップＳ４０に進む。

【0081】

ステップＳ４０において、判定処理部３４は、現時点における時刻がタイムアウトを経過したか否かを判定する。

【0082】

ステップＳ４０において、判定処理部３４が、現時点における時刻がタイムアウトを経過していないと判定した場合、処理はステップＳ４１に進む。ステップＳ４１において、判定処理部３４は、時刻をインクリメントした後、処理はステップＳ３２およびステップＳ３３に戻って、以下、同様の処理が繰り返して行われる。

【0083】

一方、ステップＳ４０において、判定処理部３４が、現時点における時刻がタイムアウトを経過したと判定した場合、処理はステップＳ４２に進む。ステップＳ４２において、表示制御部３１が、ユーザ認証処理が失敗したことを示すメッセージや、ユーザ認証処理の再実行を確認するユーザインタフェースなどを透過型ディスプレイ２１に表示させる認証失敗時の処理が行われる。例えば、ユーザ認証処理が失敗した場合には、ユーザ認証処理を再実行することができる。

【0084】

ステップＳ３９またはステップＳ４２の処理後、ユーザ認証処理は終了される。

【0085】

以上のように、HMD装置１１は、掌画像および虹彩画像を取得する処理、および、掌の照合スコアおよび虹彩の照合スコアを計算する処理を並列的に行うことで、ユーザ認証処理に要する処理時間の短縮を図ることができる。

【0086】

なお、掌ガイド画像１３および視線ガイド画像１４は、色や大きさ、形状などは、上述の各図面に記載されたものに限定されることなく、任意の色や大きさ、形状などを採用することができる。例えば、視線ガイド画像１４として、目の形状を用いたり、瞬きを誘発するために、その目の形状の視線ガイド画像１４が瞬きの動きをしたりしてもよい。

【0087】

本実施の形態では、透過型ディスプレイ２１を備えたＡＲ（Augmented Reality）用のHMD装置１１について説明したが、本技術は、アウトカメラ２２およびインカメラ２３を備えたウェアラブル型の表示デバイスに対して適用することができる。例えば、非透過型のディスプレイを備えたＶＲ（Virtual Reality）用のHMD装置であって、アウトカメラ２２が撮影した画像を非透過型のディスプレイにビデオシースルーで表示するような表示デバイスを用いてもよい。または、アウトカメラ２２およびインカメラ２３を備えた眼鏡型の表示デバイス、いわゆるアイグラスの形状であってもよい。そして、アウトカメラ２２で、掌や掌形、手静脈などを認証し、インカメラ２３で虹彩や目線、網膜などを認証するように、様々な認証を組み合わせてもよい。

【0088】

ユーザ登録処理において、掌の登録テンプレートおよび虹彩の登録テンプレートの作成が一方だけ完了している場合、ユーザ登録処理を再実行する際には、他方の登録テンプレートの作成のみが行われるようにしてもよい。また、ユーザ本人の認証の成功を高めるためには、ウィンドウサイズはタイムアウトまでの時間とすることが好適である。

【0089】

＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0090】

図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0091】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

【0092】

あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0093】

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0094】

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

【0095】

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

【0096】

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

【0097】

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0098】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0099】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0100】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0101】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0102】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0103】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0104】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0105】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0106】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0107】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラと、
前記ユーザの掌を撮影して掌画像を取得するアウトカメラと、
前記虹彩画像を利用した虹彩認証および前記掌画像を利用した掌認証を並行して行うユーザ認証処理を実行する情報処理部と
を備える情報処理装置。
（２）
前記情報処理部は、
前記虹彩画像に写されている虹彩の特徴量を、事前に作成された虹彩の登録テンプレートに登録されている虹彩の特徴量と照合し、その照合結果を示す数値である虹彩の照合スコアを計算する虹彩照合スコア算出部と、
前記掌画像に写されている掌の特徴量を、事前に作成された掌の登録テンプレートに登録されている掌の特徴量と照合し、その照合結果を示す数値である掌の照合スコアを計算する掌照合スコア算出部と
を有し、
前記虹彩照合スコア算出部および前記掌照合スコア算出部が並行して処理を行う
上記（１）に記載の情報処理装置。
（３）
前記情報処理部は、所定のウィンドウサイズに従った一定期間において、前記虹彩の照合スコアおよび前記掌の照合スコアを保持し、その一定期間における最大値を照合に用いる判定処理部をさらに有する
上記（２）に記載の情報処理装置。
（４）
前記判定処理部は、前記一定期間における前記虹彩の照合スコアの最大値および前記掌の照合スコアの最大値が両方とも閾値を超えた場合、前記ユーザ認証処理が成功したと判断する
上記（３）に記載の情報処理装置。
（５）
前記情報処理部は、前記ウェアラブル型の表示デバイスの表示画面に、前記ユーザの視線の方向をガイドするための視線ガイド画像と、前記ユーザの掌の姿勢をガイドするための掌ガイド画像との表示制御を行う表示制御部をさらに有する
上記（４）に記載の情報処理装置。
（６）
前記表示制御部は、前記虹彩の照合スコアが閾値以下である場合、前記視線ガイド画像を変化させる表示制御を行う
上記（５）に記載の情報処理装置。
（７）
前記表示制御部は、前記掌の照合スコアが閾値以下である場合、前記掌ガイド画像を変化させる表示制御を行う
上記（５）に記載の情報処理装置。
（８）
前記表示制御部は、前記虹彩の照合スコアが閾値以下であり、かつ、前記掌の照合スコアが閾値以下である場合、前記視線ガイド画像および前記掌ガイド画像の両方を変化させる表示制御を行う
上記（５）に記載の情報処理装置。
（９）
前記虹彩の登録テンプレートおよび前記掌の登録テンプレートを作成するユーザ登録処理の実行時に、前記インカメラによる前記虹彩画像の取得、および、前記アウトカメラによる前記掌画像の取得が並行して行われる
上記（２）から（８）までのいずれかに記載の情報処理装置。
（１０）
前記情報処理部は、前記ユーザ登録処理の実行時に、規定枚数の前記虹彩画像から前記虹彩の登録テンプレートを作成する処理、および、規定枚数の前記掌画像から前記掌の登録テンプレートを作成する処理を並行して行う登録テンプレート作成部をさらに有する
上記（９）に記載の情報処理装置。
（１１）
情報処理装置が、
ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラから供給される前記虹彩画像を利用した虹彩認証、および、前記ユーザの掌を撮影して掌画像を取得するアウトカメラから供給される前記掌画像を利用した掌認証を並行して行うユーザ認証処理を実行すること
を含む情報処理方法。
（１２）
情報処理装置のコンピュータに、
ウェアラブル型の表示デバイスを装着したユーザの虹彩を撮影して虹彩画像を取得するインカメラから供給される前記虹彩画像を利用した虹彩認証、および、前記ユーザの掌を撮影して掌画像を取得するアウトカメラから供給される前記掌画像を利用した掌認証を並行して行うユーザ認証処理を実行すること
を含む情報処理を実行させるためのプログラム。

【0108】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0109】

１１ HMD装置， １２ 表示画面， １３ 掌ガイド画像， １４ 視線ガイド画像， ２１ 透過型ディスプレイ， ２２ アウトカメラ， ２３ インカメラ， ２４ 情報処理装置， ３１ 表示制御部， ３２ 掌照合スコア算出部， ３３ 虹彩照合スコア算出部， ３４ 判定処理部， ３５ 登録テンプレート作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】