(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
図1は、本発明の実施例にかかる情報処理システム1を示す。情報処理システム1は、ユーザ端末である情報処理装置10と、サーバ5とを備える。アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上のサーバ5と通信可能に接続する。
【0010】
補助記憶装置2は、HDD(ハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であり、USB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置4は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置4は、情報処理装置10に有線ケーブルで接続されてよく、また無線接続されてもよい。情報処理装置10は、ユーザが操作する入力装置6と無線または有線で接続し、入力装置6はユーザの操作結果を示す操作信号を情報処理装置10に出力する。情報処理装置10は、入力装置6からの操作信号を受け付けるとOS(システムソフトウェア)やアプリケーションの処理に反映し、出力装置4から処理結果を出力させる。入力装置6は複数のプッシュ式の操作ボタンや、方向キー、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。
【0011】
情報処理装置10は、入力装置6からの操作信号を受け付けるとアプリケーションの処理に反映し、出力装置4から処理結果を出力させる。情報処理システム1において情報処理装置10はゲームを実行するゲーム装置であり、入力装置6はゲームコントローラなど情報処理装置10に対してユーザの操作信号を提供する機器である。なお入力装置6は、キーボードやマウスなどの入力インタフェースであってもよい。撮像装置であるカメラ7は出力装置4の近傍に設けられ、出力装置4周辺の空間を撮像する。
図1ではカメラ7が出力装置4の上部に取り付けられている例を示しているが、出力装置4の側部または下部に配置されてもよく、いずれにしても出力装置4の前方に位置するユーザを撮像できる位置に配置される。カメラ7は、ステレオカメラであってもよい。
【0012】
サーバ5は、情報処理システム1のユーザに対してネットワークサービスを提供する。サーバ5は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ5が提供するネットワークサービスにサインインする。ユーザは情報処理装置10からネットワークサービスにサインインすることで、サーバ5に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィを登録できる。
【0013】
図1では、2人のユーザA、Bが、ゲームコントローラである入力装置6a、6bを操作している様子が示されている。ユーザA、Bは、それぞれ入力装置6a、6bを操作してログイン用パスコードを入力し、情報処理装置10により認証された後、情報処理装置10のOSにログインすることで、ゲームなどのアプリケーションを楽しむことができる。
【0014】
近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、ユーザが入力装置6をもつ必要がなく、直観的にキャラクタを動かすことができる。このようなゲームでは、そもそもユーザが入力装置6を用いないため、ユーザが情報処理装置10のOSにログインする際にも、入力装置6を用いずにユーザ認証が行われることが好ましい。なおログイン後にユーザがプレイするゲームの種類に関わらず、簡易なユーザ認証を経てユーザがログインできることは、情報処理システム1において有意義である。
【0015】
そこで本実施例の情報処理システム1では、カメラ7の撮像画像を利用して、顔認識処理によりユーザ認証を簡易に行うことのできる技術を提供する。
【0016】
図2は、情報処理装置10の機能ブロック図を示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
【0017】
メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUはOSを起動し、OSが提供する環境下において、補助記憶装置2にインストールされたアプリケーションを実行する機能をもつ。
【0018】
サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えない。サブCPUの回路ゲート数は、メインCPUの回路ゲート数よりも少なく、サブCPUの動作消費電力は、メインCPUの動作消費電力よりも少ない。上記したように、サブCPUは、メインCPUがスタンバイ状態にある間に動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。なおサブCPUおよびメモリは、別個のチップに形成されてもよい。
【0019】
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム60がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム60がスタンバイ状態にあることを意味する。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。
【0020】
システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。
【0021】
メインCPUは補助記憶装置2やROM媒体44にインストールされているゲームプログラムを実行する機能をもつ一方で、サブCPUはそのような機能をもたない。しかしながらサブCPUは補助記憶装置2にアクセスする機能、サーバ5との間でデータを送受信する機能を有している。サブCPUは、このような制限された処理機能のみを有して構成されており、したがってメインCPUと比較して小さい消費電力で動作できる。これらのサブCPUの機能は、メインCPUがスタンバイ状態にある際に実行される。本実施例の情報処理装置10は、メインシステム60のスタンバイ時にはサブシステム50が稼働しているため、サーバ5が提供するネットワークサービスに、常時サインインした状態を維持する。
【0022】
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。
【0023】
デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
【0024】
メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。
【0025】
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。なお無線通信モジュール38は、ITU(International Telecommunication Union;国際電気通信連合)によって定められたIMT−2000(International Mobile Telecommunication 2000)規格に準拠した第3世代(3rd Generation)デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール40は、外部機器と有線通信し、たとえばAP8を介してネットワーク3に接続する。
【0026】
本実施例の情報処理システム1において、情報処理装置10が電源オフの状態で、ユーザがメイン電源ボタン20を押下すると、情報処理装置10はメイン電源をオンしてOS(システムソフトウェア)を起動し、入力装置6を利用しないユーザのログイン処理を実行する。このログイン処理では、情報処理装置10が、カメラ7の撮像画像を利用した顔認証システムとして機能する。
【0027】
図3は、情報処理装置10の顔認証機能を実現する構成を示す。情報処理装置10は、入力受付部102、画像取得部104、ログイン制御部110および登録ユーザ情報保持部120を備える。ログイン制御部110は、顔認証部112およびログイン処理部114を有する。入力受付部102は、ユーザからの操作情報を受け付け、画像取得部104は、カメラ7で撮像された撮像画像を取得する。カメラ7は、所定の周期で空間画像を撮影し、たとえば1/30秒に1枚の空間画像を撮影して、撮像画像を画像取得部104に提供する。カメラ7は、その光軸が出力装置4の前方を向くように配置されており、したがってカメラ7は、出力装置4の前方に存在するユーザを撮影する。
【0028】
図3において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0029】
本実施例の情報処理装置10は、ユーザの簡易なログイン動作を支援することを1つの特徴とする。ユーザは、情報処理装置10のOSにログインするために、ユーザアカウントを予め取得して、情報処理装置10に登録している必要がある。以下、ユーザアカウントを情報処理装置10に登録したユーザを、「登録ユーザ」とよぶ。
【0030】
登録ユーザ情報保持部120は、登録ユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、顔識別用データ、ユーザのオンラインID(ネットワーク上でのニックネーム)、ログイン用パスコードなどを、登録ユーザ情報として保持している。ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認証部112による顔認識処理において比較対象とされるデータであり、顔認証部112が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、本実施例では、顔認証部112が既知の顔認識アルゴリズムを採用している。顔識別用データの登録処理については後述する。
【0031】
登録ユーザが情報処理装置10のOSにログインする際の処理について説明する。このログイン処理では、ユーザは入力装置6を使用せずにログインする。
ユーザが情報処理装置10のメイン電源ボタン20を押下すると、情報処理装置10のメイン電源がオンとなり、入力受付部102がメイン電源の押下情報を、ユーザからのログイン要求として受け付ける。入力受付部102がログイン要求を受け付けると、ログイン制御部110における各機能が実現される。ログイン制御部110は、ユーザの顔認識の結果に基づいて、ユーザのログインの許否を判定する機能をもつ。
【0032】
入力受付部102が、メイン電源の押下に基づいたログイン要求を受け付けると、顔認証部112は、カメラ7により撮影された撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出する。続いて顔認証部112は、導出した特徴量データを、登録ユーザ情報保持部120に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。
【0033】
具体的に顔認証部112は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部120に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば100点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が90点を超えていれば、顔認証部112は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が90点を超えるものが複数存在する場合には、顔認証部112は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が90点を超えるものがなければ、顔認証部112は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このように顔認証部112は、登録ユーザ情報保持部120に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。
【0034】
顔認証部112が、撮像されたユーザが登録ユーザであることを判定し、登録ユーザを特定すると、登録ユーザのユーザ特定情報をログイン処理部114に通知する。これによりログイン処理部114は、登録ユーザを情報処理装置10にログインさせる。このように本実施例の情報処理装置10は、ユーザが入力装置6を用いない簡易なログイン処理を実現する。
【0035】
以上、顔認識によるログイン処理について説明したが、このログイン処理を行うためには、予め登録ユーザ情報保持部120が顔識別用データを保持している必要がある。ユーザが新規のユーザアカウントを生成する際、ユーザは、入力装置6を用いてログインする際に入力するためのログイン用パスコードを設定するが、このとき顔識別用データの登録作業もあわせて行う。なお新規ユーザアカウントを生成する際に、顔識別用データの登録が必須でない場合には、顔識別用データを未登録とする登録ユーザが、OSにログイン後に、顔識別用データをあらためて登録してもよい。以下に、顔識別用データを登録ユーザ情報保持部120に登録する処理について説明する。
【0036】
図4は、情報処理装置10の顔登録機能を実現する構成を示す。情報処理装置10は、入力受付部102、画像取得部104およびユーザ情報生成部130を備える。ユーザ情報生成部130は、顔認証部112、撮像画像表示部132、顔枠表示部134、案内表示部136および登録処理部138を有する。入力受付部102は、ユーザからの操作情報を受け付け、画像取得部104は、カメラ7で撮像された撮像画像を取得する。カメラ7は、所定の周期で空間画像を撮影し、たとえば1/30秒に1枚の空間画像を撮影して、撮像画像を画像取得部104に提供する。撮像画像表示部132は、画像取得部104が取得した撮像画像の少なくとも一部をディスプレイである出力装置4に表示する。なお撮像画像表示部132は、撮像画像の一部を表示する場合には、その部分を拡大表示することが好ましい。
【0037】
図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0038】
本実施例において情報処理装置10は、据置型のゲーム装置であって、カメラ7とユーザ間の距離は、通常、数メートル程度離れている。そのため登録ユーザが顔認証によるログインを行う際、登録ユーザの顔がカメラ7に対して正対していないことも少なくないことが考えられ、そのような場合であってもログイン制御部110における顔認証部112が、撮像画像に含まれるユーザが登録ユーザであることを判定できることが好ましい。つまり顔認証部112は、撮像画像に含まれる登録ユーザの顔が若干傾いていたり、また顔の向きがカメラ7の光軸方向とずれていたとしても、その状態ですみやかに顔認証処理を行えることが好ましい。
【0039】
そこでユーザ情報生成部130は、ユーザの顔が回転したときの顔識別用データを登録ユーザ情報保持部120に予め登録しておき、ログイン制御部110が、登録ユーザの顔がカメラ7に対して正対しているときだけでなく、カメラ7に対して顔が傾いたり、顔の向きがカメラ7の光軸方向からずれた状態であっても、顔認証処理を好適に実行できるようにする。これによりユーザは、カメラ7に対して顔を正対させる必要なく、すみやかに情報処理装置10にログインすることができる。
【0040】
入力受付部102が、ユーザの入力装置6から顔登録要求を受け付けると、案内表示部136が、顔登録のスタート画像を出力装置4に表示する。このとき登録処理部138はユーザのユーザアカウントを特定し、保持しておく。登録処理部138は、後に顔識別用データを登録ユーザ情報保持部120に格納する際に、このユーザアカウントに紐付けて顔識別用データを登録する。
【0041】
図5(a)は、顔登録のスタート画面の一例を示す。スタート画面において、ユーザが入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、案内表示部136が、周辺環境についての説明文を出力装置4に表示する。
図5(b)は、周辺環境についての説明文の一例を示す。ユーザは、説明文を見て、顔登録にふさわしい周辺環境を整える。
【0042】
ここでユーザが入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、撮像画像表示部132が、画像取得部104が取得した撮像画像を出力装置4に表示する。これにより出力装置4には、カメラ7が撮影したライブ画像が表示されることになり、出力装置4の前方にいるユーザが、出力装置4に映し出される。
【0043】
図6(a)は、出力装置4に表示されるライブ画面を示す。ライブ画面には、2人のユーザが含まれている。ユーザは、顔識別用データの登録作業において、入力装置6を操作する。撮像画像表示部132がライブ画像を表示してから所定時間(たとえば3秒)が経過すると、案内表示部136は、顔登録を行うユーザに、自分の顔を選択する旨のメッセージを、ライブ画像に重ねて表示する。
図6(b)は、メッセージの表示例を示す。ユーザが入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、案内表示部136が、メッセージを画面から消す。
【0044】
図7(a)は、顔探索の実行画面を示す。顔認証部112は、カメラ7により撮影された撮像画像において顔探索処理を行い、人の顔と推定される部分(顔領域)を特定する。ここでは2人のユーザが撮像画像に含まれており、したがって顔認証部112は、2つの顔領域を特定する。
図7(b)は、ユーザの顔画像を顔枠が囲んでいる状態を示す。顔枠表示部134は、顔認証部112による顔探索処理の終了後、特定されたユーザの顔領域を囲むように、顔枠200a、200bを表示する。
図7(b)において、顔枠200aは黒枠として示され、顔枠200bは白枠として示されているが、ここで黒枠は、選択された状態を示し、白枠は、選択されていない状態を示す。
図7(b)に示す画面において、ユーザが入力装置6を用いて右方向操作をすると、黒枠が右に移動し、顔枠200bを黒枠にできる。顔登録を行うユーザは、自分の顔枠を黒枠に設定して、入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、案内表示部136が、カメラ7に対してユーザが顔を相対回転するための案内を出力装置4に表示する。
【0045】
図8は、これからユーザが行う顔回転動作の概要を説明するための説明画面を示す。
図7(b)に示される顔枠200aがユーザにより選択されると、撮像画像表示部132は、撮像画像に含まれる、選択されたユーザの顔領域を拡大して出力装置4に表示する。これによりユーザは、これから自分の顔登録処理が開始されることを認識する。撮像画像に複数のユーザが含まれる場合、撮像画像表示部132は、選択されたユーザの顔画像のみが出力装置4に表示されるように、撮像画像を切り取って表示することが好ましい。なお拡大されたユーザの顔領域は、画面中央に配置されることが好ましい。案内表示部136は、拡大表示されたユーザの顔画像に重畳して、案内画像202を表示する。
【0046】
本実施例では、案内画像202に示されるように、ユーザがカメラ7の前で3種類の顔回転動作を行う。いずれの顔回転動作を行う場合においても、ユーザは、カメラ7に正対した姿勢を基準姿勢とし、案内表示部136より提供される案内にしたがって、基準姿勢から顔を動かす(実際には首を動かす)ことで、登録処理部138が、撮像画像に含まれるユーザの顔画像をもとに、ユーザの顔識別用データをユーザアカウントに紐付けて登録ユーザ情報保持部120に登録する。
【0047】
3種類の顔回転動作について説明する。以下の説明では、カメラ7の光軸方向を前後方向と呼び、またユーザの身体を基準として左右方向、上下方向が設定される。
まず1つめは、ロール(roll)回転動作であり、これは前後を軸にした回転動作である。ロール回転動作では、ユーザは顔をカメラ7に向けたまま、首を所定角度の範囲内で左右に少なくとも1往復するように傾ける。
2つめは、ヨー(yaw)回転動作であり、これは上下を軸にした回転動作である。ヨー回転動作では、ユーザは首を所定角度の範囲内で左右に少なくとも1往復するように振る。
3つめは、ピッチ(pitch)回転動作であり、これは左右を軸にした回転動作である。ロール回転動作では、ユーザは首を所定角度の範囲内で上下に少なくとも1往復するように振る。
ユーザは、
図8に示される案内画面を見て、これから3種類の顔回転動作を行うことを知る。ユーザが入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、案内表示部136が、カメラ7に対してユーザが顔を相対回転するための案内を出力装置4に表示する。
【0048】
上記したように、顔登録処理において、ユーザは、案内表示部136より提供される案内にしたがって3種類の回転方向に顔を動かす。したがって案内表示部136は、ユーザが顔をそれぞれの回転方向に動かすための案内を逐次表示する。本実施例において案内表示部136は、ユーザが顔を1つの回転方向に動かすための案内を、デモモードと登録モードとに分けて表示する。デモモードは、ユーザがどのように首を動かせばよいかを知らせるためのモードであり、所定のオブジェクトを、1つの回転方向における所定の回転角度の範囲内で繰り返し動かす案内を表示する。このオブジェクトは、頭部(首(頚部)より上の部分全体)の3次元形状に合わせた3次元オブジェクトであってもよいが、頭部の前面形状に合わせた2次元オブジェクトであってもよい。
【0049】
登録モードは、デモモードにおける案内を見たユーザが実際に首を動かして顔登録するためのモードであり、デモモードと同じ案内が表示されてよい。つまり登録モードでは、2次元または3次元オブジェクトを1つの回転方向の所定角度の範囲内で往復運動する案内が表示され、ユーザは、当該オブジェクトの動きに合わせて、顔を1つの回転方向における所定の回転角度の範囲内で往復するように動かす。
【0050】
このようにデモモードと登録モードでは、案内表示部136は、2次元または3次元オブジェクトを所定の回転方向に往復運動させる同じ案内を表示してよいが、登録処理部138の動作が異なる。つまりデモモードによる案内は、ユーザに顔の動かし方を知らせるものであるため、デモモードにおいては登録処理部138による顔識別用データの登録処理は行われず、一方で登録モードによる案内は、デモモードによる案内を見たユーザが、実際に顔を動かすときのサポートを目的とするため、登録モードにおいては登録処理部138が顔識別用データの登録処理を行う。
【0051】
なお案内表示部136は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることが好ましい。特に、デモモードにおける案内内容または案内手法と登録モードにおける案内内容または案内手法とが同じである場合には、両者の表示態様を異ならせることで、ユーザは、表示態様が切り替わった後に、顔を動かせばよいことを認識できるようになる。
【0052】
本発明者は、守秘義務をもつユーザが参加した様々なユーザテストを行い、その結果、デモモードなしで、いきなり登録モードにおける案内をユーザに提示すると、今何をするべきかを瞬時に認識することが難しく、顔の回転動作を行えない人が多いという統計データを得るに至った。そしてデモモードの案内から登録モードの案内に段階的に移行した場合には、スムーズに顔の回転動作を行える人が多いことも分かった。特に、顔登録処理は、ユーザが新規のユーザアカウントを登録する際に行われるため、ユーザが、情報処理装置10の取り扱いに不慣れなことが前提となっている。そこで本実施例において、デモモードによる案内と登録モードによる案内とを表示するユーザインタフェースを提供することは、円滑な顔登録処理を実現する一つの要因になっている。
【0053】
図8に示す案内画面において、ユーザが入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、案内表示部136が、それぞれの回転方向においてユーザが顔をカメラ7に対して相対回転するための案内を出力装置4に表示する。
【0054】
図9および
図10は、ユーザの顔のロール回転動作を案内するための画面例を示す。これらの画面例では、ユーザが顔を前後を軸とする回転方向に動かすための案内が表示される。
図9(a)および
図9(b)は、ロール回転動作に関するデモモードによる案内画面を示す。案内表示部136は、3次元表示された箱体250が前後を軸とする回転方向に往復運動する案内画像204を出力装置4に表示する。案内画像204においては、箱体250が、左に右に、ゆらゆらとロール回転する様子が動画像で表示される。案内表示部136は、箱体250の大きさを、出力装置4中のユーザの顔画像の大きさに応じて定める。たとえば案内表示部136は、箱体250の大きさを、ユーザの顔画像よりも若干小さくなるように設定してもよい。そのため、ユーザによって箱体250の大きさは異なり、また同じユーザであってもカメラ7との距離によって箱体250の大きさは異なることになる。
【0055】
また案内表示部136は、箱体250を、出力装置4中のユーザの顔画像の位置を基準として出力装置4に表示する。既述したように、顔画像の登録処理においてユーザは、まず顔をカメラ7に正対させる姿勢をとっており、撮像画像表示部132は、出力装置4において、カメラ7に正対したユーザの顔画像が中央に位置するように撮像画像の一部を表示している。案内表示部136は、正対したユーザの顔画像の位置を基準とし、その基準位置から箱体250を左に右に、連続してロール回転するように表示する。なお、箱体250は、3次元オブジェクトの一例であり、たとえば頭部の3次元モデルが表示されてもよい。また上記したように、2次元オブジェクトが案内画像204に表示されてもよい。デモモードにおける案内画像204は、説明用画面であることを明確にするために、撮像画像とは異なる背景色を有して表示される。ユーザが入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、案内表示部136が、デモモードによる案内画像を、登録モードによる案内画像に切り替える。
【0056】
図10(a)および
図10(b)は、ロール回転動作に関する登録モードによる案内画面を示す。案内表示部136は、3次元表示された箱体250が前後を軸とする回転方向に往復運動する案内画像206を出力装置4に表示する。案内表示部136は、
図9(a)および
図9(b)に示したデモモードにおける箱体250の動きと、
図10(a)および
図10(b)に示した登録モードにおける箱体250の動きとを同じにしてもよい。なお案内表示部136は、デモモードにおける案内画像の背景色を、登録モードにおいては表示しない。このように案内表示部136は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることで、ユーザが、案内の表示モードを容易に認識できるようになる。
【0057】
案内画像206においては、箱体250が、左に右に、ゆらゆらとロール回転する様子が動画像で表示される。デモモードで学習したユーザは、登録モードによる案内画面において何をするべきかを理解しており、箱体250に合わせて首を左右に傾ける動作を行う。
【0058】
登録処理部138は、登録モードにおける案内の表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する。ここでは
図10(a)および
図10(b)に示される箱体250の表示中にユーザが首を左右に傾け、登録処理部138が、ユーザの顔画像が、カメラ7に正対する位置だけでなく、斜め方向に所定の角度傾いている位置の顔画像をもとに、顔識別用データを生成して、登録ユーザ情報保持部120に登録する。なお、たとえばこの角度は、プラス15度およびマイナス15度であってよい。登録ユーザ情報保持部120に登録するタイミングは、他の全ての回転方向における顔識別用データを生成した後であってもよい。登録処理部138は、所定の角度に傾いている顔画像の顔識別用データを生成すると、案内表示部136に対して、顔識別用データの生成処理が完了したことを通知する。なお案内表示部136は、完了通知を受け取るまでは、撮像画像中に箱体250を動かし続ける。
【0059】
案内表示部136が完了通知を受け取ると、ユーザの顔のヨー回転動作の案内を出力装置4に表示する。
図11および
図12は、ユーザの顔のヨー回転動作を案内するための画面例を示す。これらの画面例では、ユーザが顔を上下を軸とする回転方向に動かすための案内が表示される。
図11(a)および
図11(b)は、ヨー回転動作に関するデモモードによる案内画面を示す。案内表示部136は、3次元表示された箱体250が上下を軸とする回転方向に往復運動する案内画像208を出力装置4に表示する。案内画像208においては、箱体250が、左に右に、ゆらゆらとヨー回転する様子が動画像で表示される。
【0060】
案内表示部136は、箱体250を、出力装置4中のユーザの顔画像の位置を基準として出力装置4に表示する。具体的に案内表示部136は、正対したユーザの顔画像の位置を基準とし、その基準位置から箱体250を左に右に、連続してヨー回転するように表示する。デモモードにおける案内画像208は、説明用画面であることを明確にするために、撮像画像とは異なる背景色を有して表示される。ユーザが入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、案内表示部136が、デモモードによる案内画像を、登録モードによる案内画像に切り替える。
【0061】
図12(a)および
図12(b)は、ヨー回転動作に関する登録モードによる案内画面を示す。案内表示部136は、3次元表示された箱体250が上下を軸とする回転方向に往復運動する案内画像210を出力装置4に表示する。案内表示部136は、
図11(a)および
図11(b)に示したデモモードにおける箱体250の動きと、
図12(a)および
図12(b)に示した登録モードにおける箱体250の動きとを同じにしてもよい。なお案内表示部136は、デモモードにおける案内画像の背景色を、登録モードにおいては表示しない。このように案内表示部136は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることで、ユーザが、案内の表示モードを容易に認識できるようになる。
【0062】
案内画像210においては、箱体250が、左に右に、ゆらゆらとヨー回転する様子が動画像で表示される。デモモードで学習したユーザは、登録モードによる案内画面において何をするべきかを理解しており、箱体250に合わせて首を左右に振る動作を行う。
【0063】
登録処理部138は、登録モードにおける案内の表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する。ここでは
図12(a)および
図12(b)に示される箱体250の表示中にユーザが首を左右に振り、登録処理部138が、ユーザの顔画像が、カメラ7に正対する位置だけでなく、左右方向に所定の角度に傾いている位置の顔画像をもとに、顔識別用データを生成して、登録ユーザ情報保持部120に登録する。なおカメラ7に正対する顔画像は、ロール回転動作時に既に取得されているため、顔識別用データの生成は省略されてよい。登録ユーザ情報保持部120に登録するタイミングは、他の全ての回転方向における顔識別用データを生成した後であってもよい。登録処理部138は、所定の角度に傾いている顔画像の顔識別用データを生成すると、案内表示部136に対して、顔識別用データの生成処理が完了したことを通知する。なお案内表示部136は、完了通知を受け取るまでは、撮像画像中に箱体250を動かし続ける。
【0064】
案内表示部136が完了通知を受け取ると、ユーザの顔のピッチ回転動作の案内を出力装置4に表示する。
図13および
図14は、ユーザの顔のピッチ回転動作を案内するための画面例を示す。これらの画面例では、ユーザが顔を左右を軸とする回転方向に動かすための案内が表示される。
図13(a)および
図13(b)は、ピッチ回転動作に関するデモモードによる案内画面を示す。案内表示部136は、3次元表示された箱体250が左右を軸とする回転方向に往復運動する案内画像212を出力装置4に表示する。案内画像212においては、箱体250が、上に下に、ゆらゆらとピッチ回転する様子が動画像で表示される。
【0065】
案内表示部136は、箱体250を、出力装置4中のユーザの顔画像の位置を基準として出力装置4に表示する。具体的に案内表示部136は、正対したユーザの顔画像の位置を基準とし、その基準位置から箱体250を上に下に、連続してピッチ回転するように表示する。デモモードにおける案内画像212は、説明用画面であることを明確にするために、撮像画像とは異なる背景色を有して表示される。ユーザが入力装置6の決定ボタンを押すと、入力受付部102が決定操作を受け付けて、案内表示部136が、デモモードによる案内画像を、登録モードによる案内画像に切り替える。
【0066】
図14(a)および
図14(b)は、ピッチ回転動作に関する登録モードによる案内画面を示す。案内表示部136は、3次元表示された箱体250が左右を軸とする回転方向に往復運動する案内画像214を出力装置4に表示する。案内表示部136は、
図13(a)および
図13(b)に示したデモモードにおける箱体250の動きと、
図14(a)および
図14(b)に示した登録モードにおける箱体250の動きとを同じにしてもよい。なお案内表示部136は、デモモードにおける案内画像の背景色を、登録モードにおいては表示しない。このように案内表示部136は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることで、ユーザが、案内の表示モードを容易に認識できるようになる。
【0067】
案内画像214においては、箱体250が、上に下に、ゆらゆらとピッチ回転する様子が動画像で表示される。デモモードで学習したユーザは、登録モードによる案内画面において何をするべきかを理解しており、箱体250に合わせて首を上下に振る動作を行う。
【0068】
登録処理部138は、登録モードにおける案内の表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する。ここでは
図14(a)および
図14(b)に示される箱体250の表示中にユーザが首を上下に振り、登録処理部138が、ユーザの顔画像が、カメラ7に正対する位置だけでなく、上下方向に所定の角度に傾いている位置の顔画像をもとに、顔識別用データを生成して、登録ユーザ情報保持部120に登録する。なおカメラ7に正対する顔画像は、ロール回転動作時に既に取得されているため、顔識別用データの生成は省略されてよい。登録処理部138は、所定の角度に傾いている顔画像の顔識別用データを生成すると、案内表示部136に対して、顔識別用データの生成処理が完了したことを通知する。なお案内表示部136は、完了通知を受け取るまでは、撮像画像中に箱体250を動かし続ける。
【0069】
案内表示部136は、完了通知を受け取ると、顔登録処理の完了を出力装置4に表示する。
図15は、顔登録処理の終了画面を示す。ユーザが入力装置6の決定ボタンを押すと、顔登録処理が終了する。以上のように、ユーザは、顔を、3つの回転方向に動かすことで、登録処理部138は、様々な角度から取得した顔識別用データを登録ユーザ情報保持部120に登録できる。これによりログイン制御部110は、ユーザの顔認証精度を高め、ユーザの簡易なログイン動作を実現できるようになる。
【0070】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例においては、案内表示部136が3次元オブジェクトである箱体250を用いて案内を行うことを説明したが、たとえばテキストによる説明文で案内を行ってもよい。なお、箱体250を用いることで、ユーザの理解度を高めることができることについては、上述したとおりである。
【0071】
実施例においては、案内表示部136が、3つの回転方向に関して、ユーザが顔をカメラ7に対して相対回転するための案内を出力装置4に表示することとしたが、全ての回転方向に関して案内を表示しなければならない訳ではない。案内表示部136は、1つの回転方向に関して案内を表示できればよいが、少なくとも2つの回転方向に関して案内を表示することで、様々な角度における顔識別用データを登録ユーザ情報保持部120に登録することが可能である。また実施例では、ユーザが、固定されたカメラ7に向かい合った状態で、案内表示部136が、カメラ7に対してユーザが顔を相対回転するための案内をディスプレイに表示したが、たとえばカメラ7は、携帯型のものであって、カメラ7を顔の周りを動かすことで、様々な角度からユーザの顔を撮影するための案内をディスプレイに表示してもよい。このカメラ7は、ディスプレイと一体になったものであってもよく、またディスプレイおよび情報処理装置10と一体になったものであってもよい。
【0072】
また実施例においては、案内表示部136がデモモードにおいて箱体250を表示している間は、登録処理部138が顔識別用データを生成しないことを説明したが、登録処理部138は、デモモードにおいても顔識別用データを生成してもよい。デモモードにおいても、ユーザによっては、箱体250の動きに合わせて顔を動かすこともあり、登録処理部138は、デモモードでも登録モードでも、所望の角度の顔画像の顔識別用データが生成できればよいため、表示モードに関係なく、顔識別用データを生成してもよい。
【0073】
また実施例においては案内表示部136が、登録モードにおいて箱体250をデモモードと同じように動かすことを説明したが、登録モードにおいては、箱体250を表示しなくてもよい。ユーザは、デモモードの案内を見て、どのような動作をすればよいか認識しているため、案内表示部136が、デモモード終了後の案内を表示しないようにしてもよい。したがって、この場合は、登録処理部138が、デモモードにおける案内の表示後の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録ユーザ情報保持部120に登録する。
【0074】
なお登録処理部138は、ユーザが顔認証によるログインする際に、ユーザの顔画像の顔識別用データを生成して、登録ユーザ情報保持部120に登録してもよい。たとえばユーザの髪型が変わっているような場合に、様々な顔識別用データを登録ユーザ情報保持部120に登録しておくことで、ログイン制御部110による顔認証精度を高めることが可能となる。