特許 6132719 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6132719

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170515BHJP

   H04N 5/225 20060101ALI20170515BHJP

   G06T 7/00 20170101ALI20170515BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/225 B

   G06T7/00 510B

【請求項の数】9

【全頁数】19

(21)【出願番号】特願2013-193282(P2013-193282)

(22)【出願日】2013年9月18日

(65)【公開番号】特開2015-60384(P2015-60384A)

(43)【公開日】2015年3月30日

【審査請求日】2015年10月20日

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】徳永 陽

(72)【発明者】

【氏名】田村 啓悟

(72)【発明者】

【氏名】池上 渉一

(72)【発明者】

【氏名】小川 智弘

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２００８−１８７５９１（ＪＰ，Ａ）

【文献】 特開２０１３−１４１０９１（ＪＰ，Ａ）

【文献】 特開２０１０−１４１６１６（ＪＰ，Ａ）

【文献】 特開２００１−０４３３７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像画像をディスプレイに表示する撮像画像表示部と、
登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、
前記登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、
検出された登録ユーザに対して、ディスプレイに顔枠を表示する顔枠処理部と、を備えた情報処理装置であって、
前記顔枠処理部は、ディスプレイに表示されている登録ユーザの顔画像に、顔枠の一部が重なるように、当該顔枠を配置し、
前記顔認証部は、前記ユーザ情報保持部に保持された顔識別用データを用いて、顔枠内に登録ユーザの顔画像が含まれていることを検出する、
ことを特徴とする情報処理装置。

【請求項2】

撮像画像をディスプレイに表示する撮像画像表示部と、
登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、
前記登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、
検出された登録ユーザに対して、ディスプレイに顔枠を表示する顔枠処理部と、を備えた情報処理装置であって、前記顔認証部は、前記ユーザ情報保持部に保持された顔識別用データを用いて、顔枠内に登録ユーザの顔画像が含まれていることを検出し、
当該情報処理装置は、
前記顔認証部が顔枠内に登録ユーザの顔画像が含まれていることを検出すると、当該登録ユーザをログインさせるログイン処理部を、さらに備える、
ことを特徴とする情報処理装置。

【請求項3】

前記顔枠処理部は、登録ユーザの顔の動きがログイン動作でないときには、登録ユーザの顔の動きに、顔枠を追従させて表示することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記顔枠処理部は、複数の登録ユーザに対して顔枠を表示する場合に、互いに重なることのないように複数の顔枠を表示することを特徴とする請求項１から３のいずれかに記載の情報処理装置。

【請求項5】

前記顔枠処理部は、検出された登録ユーザの顔画像の大きさに応じて、顔枠の大きさを定めることを特徴とする請求項１から４のいずれかに記載の情報処理装置。

【請求項6】

前記顔枠処理部は、複数の登録ユーザに対して顔枠を表示する場合に、表示する顔枠の数を所定数に制限することを特徴とする請求項１から５のいずれかに記載の情報処理装置。

【請求項7】

撮像されている複数の登録ユーザに対して、顔枠を表示する優先順位を定める優先順位決定部をさらに備え、
前記顔枠処理部は、前記優先順位決定部により定められた優先順位にしたがって、顔枠を表示することを特徴とする請求項１から６のいずれかに記載の情報処理装置。

【請求項8】

コンピュータに、
撮像画像をディスプレイに表示する機能と、
登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する機能と、
検出された登録ユーザに対して、ディスプレイに顔枠を表示する機能と、を実現させるためのプログラムであって、
顔枠表示機能は、ディスプレイに表示されている登録ユーザの顔画像に、顔枠の一部が重なるように、当該顔枠を配置する機能を含み、
顔画像検出機能は、ユーザ情報保持部に保持された顔識別用データを用いて、顔枠内に登録ユーザの顔画像が含まれていることを検出する機能を含む、
ことを特徴とするプログラム。

【請求項9】

コンピュータに、
撮像画像をディスプレイに表示する機能と、
登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する機能と、
検出された登録ユーザに対して、ディスプレイに顔枠を表示する機能と、を実現させるためのプログラムであって、
顔画像検出機能は、ユーザ情報保持部に保持された顔識別用データを用いて、顔枠内に登録ユーザの顔画像が含まれていることを検出する機能を含み、
当該プログラムは、コンピュータに、
顔枠内に登録ユーザの顔画像が含まれていることが検出されると、当該登録ユーザをログインさせる機能を実現させる、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの顔認識を行う情報処理装置に関する。

【背景技術】

【0002】

ゲーム装置などの情報処理装置にユーザがログインする際、情報処理装置は、ログインするユーザが、予め登録されたユーザであるか否かを識別するユーザ認証処理を行う。ユーザ認証の種類には様々あり、パスワードによるユーザ認証は広く使用されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

パスワードによるユーザ認証とは別に、ユーザの生体情報を用いたユーザ認証も一般的に使用されている。生体情報を用いたユーザ認証は、ユーザがパスワードを入力する必要がなく、認証におけるユーザの手間は少ない。特に、デジタル画像からユーザの顔を認識する顔認証システムは、基本的にはユーザに特別な動作を要求するものではないため、簡便なユーザ認証の１つとして知られている。本発明者は、顔認証システムを利用することで、ユーザ認証を簡易に実現して、ユーザが情報処理装置にログインするための仕組みを想到するに至った。

【0004】

そこで本発明は、ユーザ認証を行う技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明のある態様の情報処理装置は、撮像画像をディスプレイに表示する撮像画像表示部と、登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、検出された登録ユーザに対して、ディスプレイに顔枠を表示する顔枠処理部と、を備える。顔認証部は、ユーザ情報保持部に保持された顔識別用データを用いて、顔枠内に登録ユーザの顔画像が含まれていることを検出する。

【0006】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0007】

本発明の情報処理技術によると、簡易にユーザ認証を行う技術を提供することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施例にかかる情報処理システムを示す図である。

【図2】情報処理装置の機能ブロックを示す図である。

【図3】情報処理装置の内部構成を示す図である。

【図4】カメラによって撮影される空間の一例を示す図である。

【図5】顔認証部による顔識別結果を示す図である。

【図6】出力装置に表示される顔枠を含むログイン画面を示す図である。

【図7】ユーザが顔枠に顔を入れたログイン画面を示す図である。

【図8】顔領域と顔枠との関係を示す図である。

【図9】初期ログイン画面から遷移したログイン画面の一例を示す図である。

【図10】顔枠がユーザの顔の動きに追従する様子を示す図である。

【図11】（ａ）は、２つの顔枠が重なっている様子を示す図であり、（ｂ）は２つの顔枠の重なりを解消した状態を示す図である。

【図12】（ａ）は、顔枠がディスプレイからはみ出す様子を示す図であり、（ｂ）は顔枠の位置を変更した状態を示す図である。

【図13】顔領域の左右に２つの顔枠を表示するログイン画面を示す図である。

【発明を実施するための形態】

【0009】

図１は、本発明の実施例にかかる情報処理システム１を示す。情報処理システム１は、ユーザ端末である情報処理装置１０と、サーバ５とを備える。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク３上のサーバ５と通信可能に接続する。

【0010】

補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置４は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置４は、情報処理装置１０に有線ケーブルで接続されてよく、また無線接続されてもよい。情報処理装置１０は、ユーザが操作する入力装置６と無線または有線で接続し、入力装置６はユーザの操作結果を示す操作信号を情報処理装置１０に出力する。情報処理装置１０は、入力装置６からの操作信号を受け付けるとＯＳ（システムソフトウェア）やアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。入力装置６は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。

【0011】

情報処理装置１０は、入力装置６からの操作信号を受け付けるとアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。情報処理システム１において情報処理装置１０はゲームを実行するゲーム装置であり、入力装置６はゲームコントローラなど情報処理装置１０に対してユーザの操作信号を提供する機器である。なお入力装置６は、キーボードやマウスなどの入力インタフェースであってもよい。撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側部に配置されてもよく、いずれにしても出力装置４の前方に位置するユーザを撮像できる位置に配置される。カメラ７は、ステレオカメラであってもよい。

【0012】

サーバ５は、情報処理システム１のユーザに対してネットワークサービスを提供する。サーバ５は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ５が提供するネットワークサービスにサインインする。ユーザは情報処理装置１０からネットワークサービスにサインインすることで、サーバ５に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィを登録できる。

【0013】

図１では、２人のユーザＡ、Ｂが、ゲームコントローラである入力装置６ａ、６ｂを操作している様子が示されている。ユーザＡ、Ｂは、それぞれ入力装置６ａ、６ｂを操作してログイン用パスコードを入力し、情報処理装置１０により認証された後、情報処理装置１０のＯＳにログインすることで、ゲームなどのアプリケーションを楽しむことができる。

【0014】

近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、ユーザが入力装置６をもつ必要がなく、直観的にキャラクタを動かすことができる。このようなゲームでは、そもそもユーザが入力装置６を用いないため、ユーザが情報処理装置１０のＯＳにログインする際にも、入力装置６を用いずにユーザ認証が行われることが好ましい。なおログイン後にユーザがプレイするゲームの種類に関わらず、簡易なユーザ認証を経てユーザがログインできることは、情報処理システム１において有意義である。

【0015】

そこで本実施例の情報処理システム１では、カメラ７の撮像画像を利用して、ユーザ認証を簡易に行うことのできる技術を提供する。

【0016】

図２は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

【0017】

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵはＯＳを起動し、ＯＳが提供する環境下において、補助記憶装置２にインストールされたアプリケーションを実行する機能をもつ。

【0018】

サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。上記したように、サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間に動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。なおサブＣＰＵおよびメモリは、別個のチップに形成されてもよい。

【0019】

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム６０がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム６０がスタンバイ状態にあることを意味する。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

【0020】

システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

【0021】

メインＣＰＵは補助記憶装置２やＲＯＭ媒体４４にインストールされているゲームプログラムを実行する機能をもつ一方で、サブＣＰＵはそのような機能をもたない。しかしながらサブＣＰＵは補助記憶装置２にアクセスする機能、サーバ５との間でデータを送受信する機能を有している。サブＣＰＵは、このような制限された処理機能のみを有して構成されており、したがってメインＣＰＵと比較して小さい消費電力で動作できる。これらのサブＣＰＵの機能は、メインＣＰＵがスタンバイ状態にある際に実行される。本実施例の情報処理装置１０は、メインシステム６０のスタンバイ時にはサブシステム５０が稼働しているため、サーバ５が提供するネットワークサービスに、常時サインインした状態を維持する。

【0022】

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。

【0023】

デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

【0024】

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。

【0025】

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。

【0026】

本実施例の情報処理システム１において、情報処理装置１０が電源オフの状態で、ユーザがメイン電源ボタン２０を押下すると、情報処理装置１０はメイン電源をオンしてＯＳ（システムソフトウェア）を起動し、入力装置６を利用しないユーザのログイン処理を実行する。このログイン処理では、情報処理装置１０が、カメラ７の撮像画像を利用した顔認証システムとして機能する。以下、情報処理装置１０の動作について説明する。

【0027】

図３は、情報処理装置１０の内部構成を示す。情報処理装置１０は、入力受付部１０２、画像取得部１０４、ログイン制御部１１０および登録ユーザ情報保持部１３０を備える。ログイン制御部１１０は、撮像画像表示部１１２、顔認証部１１４、顔枠処理部１１６、優先順位決定部１１８およびログイン処理部１２０を有する。入力受付部１０２は、ユーザからの操作情報を受け付け、画像取得部１０４は、カメラ７で撮像された撮像画像を取得する。カメラ７は、所定の周期で空間画像を撮影し、たとえば１／３０秒に１枚の空間画像を撮影して、撮像画像を画像取得部１０４に提供する。カメラ７は、その光軸を出力装置４の前方を向くように配置されており、したがってカメラ７は、出力装置４の前方に存在するユーザを撮影する。

【0028】

図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。本実施例において撮像画像表示部１１２、顔枠処理部１１６および優先順位決定部１１８の機能は、顔認証アプリケーションにより実現され、顔認証部１１４の機能は、顔認識エンジンにより実現されて、メイン電源ボタン２０が押下された際にＯＳにより自動起動される。なお顔認証アプリケーションおよび顔認識エンジンは、１つのアプリケーションとして構成されてもよい。

【0029】

本実施例の情報処理装置１０は、ユーザの簡易なログイン動作を支援することを１つの特徴とする。ユーザは、情報処理装置１０のＯＳにログインするために、ユーザアカウントを予め取得して、情報処理装置１０に登録している必要がある。以下、ユーザアカウントを情報処理装置１０に登録したユーザを、「登録ユーザ」とよぶ。

【0030】

登録ユーザ情報保持部１３０は、登録ユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、顔識別用データ、ユーザのオンラインＩＤ（ネットワーク上でのニックネーム）、ログイン用パスコードなどを、登録ユーザ情報として保持している。ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認証部１１４による顔認識処理において比較対象とされるデータであり、顔認証部１１４が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、本実施例では、顔認証部１１４が既知の顔認識アルゴリズムを採用している。

【0031】

以下、少なくともユーザＡ、Ｂの登録ユーザ情報が登録ユーザ情報保持部１３０に格納されており、ユーザＡのオンラインＩＤが「ＨＡＮＡＫＯ」、ユーザＢのオンラインＩＤが「ＳＡＣＨＩＫＯ」であるとする。

【0032】

登録ユーザが情報処理装置１０のＯＳにログインする際の処理について説明する。このログイン処理では、ユーザは入力装置６を使用せずにログインする。
ユーザが情報処理装置１０のメイン電源ボタン２０を押下すると、情報処理装置１０のメイン電源がオンとなり、入力受付部１０２がメイン電源の押下情報を、ユーザからのログイン要求として受け付ける。入力受付部１０２がログイン要求を受け付けると、ログイン制御部１１０における各機能が実現される。ログイン制御部１１０は、ユーザの顔認識の結果に基づいて、ユーザのログインの許否を判定する機能をもつ。

【0033】

入力受付部１０２が、メイン電源の押下に基づいたログイン要求を受け付けると、撮像画像表示部１１２が、画像取得部１０４が取得した撮像画像をディスプレイである出力装置４に表示する。これにより出力装置４には、カメラ７が撮影したライブ画像が表示されることになり、出力装置４の前方にいるユーザが、出力装置４に映し出される。

【0034】

図４は、カメラ７によって撮影される空間の一例を示す。この撮影空間には、３人のユーザが存在している。図４においてユーザを取り囲む四角の枠はカメラ７の撮像範囲を表現している。カメラ７の撮像範囲は、出力装置４にてライブ画像として表示される範囲を規定するが、ライブ画像は、撮像画像の一部であってもよい。顔認証部１１４は、撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出して、登録ユーザ情報保持部１３０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。

【0035】

具体的に顔認証部１１４は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部１３０に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば１００点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が９０点を超えていれば、顔認証部１１４は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が９０点を超えるものが複数存在する場合には、顔認証部１１４は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が９０点を超えるものがなければ、顔認証部１１４は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このように顔認証部１１４は、登録ユーザ情報保持部１３０に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。本実施例において、この処理は、第１段階の顔認証と位置づけられる。

【0036】

図５は、顔認証部１１４による顔識別結果を示す。ここでは、左側のユーザがユーザＡであること、右側のユーザがユーザＢであること、真ん中のユーザが登録ユーザではないことが判定されている。顔認証部１１４は、ユーザＡ（オンラインＩＤ：ＨＡＮＡＫＯ）の顔の撮像画像中の位置を示す顔領域２００ａと、ユーザＢ（オンラインＩＤ：ＳＡＣＨＩＫＯ）の顔の撮像画像中の位置を示す顔領域２００ｂを設定し、顔領域２００ａ、２００ｂの位置座標および撮像された登録ユーザを特定する情報とを顔枠処理部１１６に提供する。以下、位置座標は、撮像画像をディスプレイに表示したときの２次元座標により表現される例を示すが、ＶＲＡＭ上に定義される座標であってもよく、いずれにしても顔領域２００の座標および後述する顔枠の座標とが共通の座標系で表現されればよい。

【0037】

各顔領域２００は、撮像画像中の顔の輪郭に接する矩形領域として設定されてよいが、顔輪郭よりも若干広い矩形領域として設定されてもよい。なお、ここで顔の輪郭は、頭髪まで含む輪郭を意味しているが、たとえば顔認証部１１４の顔認識処理が頭髪を考慮しない場合には、頭髪を除いて顔の輪郭が設定されてもよい。撮像画像中のユーザの顔の大きさおよび形状により顔領域２００の大きさおよび形状は定まり、したがってユーザごとに顔領域２００の大きさおよび形状は異なり、また同じユーザであっても、カメラ７との距離に応じて顔領域２００の大きさおよび形状は変化する。

【0038】

顔認証部１１４から顔枠処理部１１６に提供される登録ユーザを特定する情報は、登録ユーザのユーザアカウントであってもよく、またオンラインＩＤであってもよい。顔認証部１１４は、顔領域２００の位置座標と登録ユーザ特定情報とを対応付けて顔枠処理部１１６に提供し、すなわち図５に示す例では、顔領域２００ａとユーザＡの特定情報の組合せと、顔領域２００ｂとユーザＢの特定情報の組合せとを顔枠処理部１１６に提供する。

【0039】

顔枠処理部１１６は、顔認証部１１４により検出された登録ユーザに対して、出力装置４に顔枠を表示する。この顔枠は、登録ユーザがログインする際に、顔を動かして配置するために表示される。したがって登録ユーザは、出力装置４に表示された顔枠に自身の顔を入れることで、情報処理装置１０にログインできるようになる。

【0040】

図６は、出力装置４に表示される顔枠を含むログイン画面を示す。顔枠処理部１１６は、顔認証部１１４より提供される顔領域２００ａ、２００ｂの位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠２１０を表示する。ここではユーザＡに対して顔枠２１０ａを表示し、ユーザＢに対して顔枠２１０ｂを表示している。このとき顔枠処理部１１６は、顔枠２１０ａの近傍にユーザＡのオンラインＩＤを表示し、顔枠２１０ｂの近傍にユーザＢのオンラインＩＤを表示する。これによりユーザＡ、Ｂは、自身の顔認識が適切に行われたことを知ることができ、顔枠２１０ａ、２１０ｂに、顔を移動させるようにする。なおユーザは、自身の顔の近傍に表示された顔枠２１０の近傍に、自身とは別のオンラインＩＤが表示されていれば、顔認識が適切に行われていないことを知ることができ、したがって、顔枠２１０に顔を入れる動作を行わない。なお真ん中のユーザは登録ユーザではないため、顔枠２１０は表示されていない。

【0041】

顔枠処理部１１６は、顔枠２１０のそれぞれにＩＤを付し、顔枠ＩＤ、顔枠２１０の位置座標および顔枠２１０を表示したユーザの特定情報とを顔認証部１１４に提供する。なお、顔枠処理部１１６が顔認証部１１４に提供する顔枠２１０の位置座標は、顔枠２１０そのものの位置座標であってもよいが、顔枠２１０に外接する矩形座標であってもよい。以下、顔枠２１０そのものの位置座標と、顔枠２１０に外接する矩形の位置座標を、まとめて顔枠の位置座標と呼ぶ。顔枠の位置座標は、顔認証部１１４において、ユーザの顔画像を検出するために利用される。

【0042】

たとえば顔枠処理部１１６は、顔枠２１０ａの顔枠ＩＤを“ＩＤ１”、顔枠２１０ｂの顔枠ＩＤを“ＩＤ２”と設定し、“ＩＤ１”と顔枠２１０ａの位置座標とユーザＡの特定情報との組合せと、“ＩＤ２”と顔枠２１０ｂの位置座標とユーザＢの特定情報との組合せとを、顔認証部１１４に提供する。また顔枠処理部１１６は、顔枠ＩＤおよび顔枠２１０を表示したユーザの特定情報を、ログイン処理部１２０に提供する。したがって、ここでは顔枠処理部１１６が、“ＩＤ１”とユーザＡの特定情報の組合せと、“ＩＤ２”とユーザＢの特定情報の組合せとを、ログイン処理部１２０に提供する。

【0043】

図７は、ユーザが顔枠に顔を入れたログイン画面を示す。ここではユーザＡが、出力装置４に表示されている顔枠２１０ａに顔が入るように、顔や体を動かした様子を示している。顔認証部１１４は、顔枠２１０に人の顔が入っているか監視し、顔が入っている場合には、登録ユーザ情報保持部１３０に保持された顔識別用データを用いて、顔枠２１０内に入っている顔が登録ユーザのものであるか判定する。

【0044】

顔認証部１１４は、顔枠処理部１１６から提供された顔枠２１０の位置座標をもとに、顔枠２１０に人の顔が入っているか監視することができる。顔認識アルゴリズムについては上記したとおりであり、顔認証部１１４は、顔枠２１０において、人の顔が含まれていることを推定すると、その部分の特徴量データを導出して、登録ユーザ情報保持部１３０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。なお顔認証部１１４は、顔枠処理部１１６から、顔枠ＩＤ、顔枠２１０の位置座標および顔枠２１０を表示したユーザの特定情報との組合せを通知されており、顔枠２１０に含まれた人の顔画像の特徴量データを、顔枠２１０を表示したユーザの顔識別用データと比較する。顔認証部１１４は、顔枠２１０に含まれるべきユーザを予め通知されていることで、顔枠２１０に含まれる顔の特徴量データを全ての登録ユーザの顔識別用データと比較する必要なく、効率的に顔認識処理を行うことができる。このとき顔認証部１１４は、顔枠２１０に登録ユーザの顔が所定時間（たとえば数秒）入っていることを検出することで、顔枠２１０に登録ユーザの顔が入れられたことを判定してもよい。

【0045】

図７の例では、顔認証部１１４が、顔枠２１０ａに入った顔がユーザＡの顔であることを判定する。本実施例において、この処理は、第２段階の顔認証と位置づけられる。第１段階と第２段階の顔認証により、ログイン時におけるユーザ認証が終了する。ユーザが顔枠２１０に顔を入れる行為は、ユーザがログインする意思に基づいて行われ、ユーザがログインを希望しない場合には、顔を顔枠２１０に入れなければよい。このように本実施例では、第１段階の顔認証により、ログインする可能性のある登録ユーザを検出し、第２段階の顔認証により、ログインする意思をもった登録ユーザを検出する。登録ユーザは、顔を顔枠２１０に入れるという簡易な動作を行うだけで、認証されることになり、ログイン時におけるユーザの作業負担を非常に小さくできる。

【0046】

顔認証部１１４は、顔枠２１０ａにユーザＡの顔が入っていることを検出すると、顔枠２１０ａを特定する顔枠ＩＤと、ユーザＡを特定するユーザ特定情報を、ログイン処理部１２０に通知する。既述したようにログイン処理部１２０は、予め顔枠処理部１１６から、顔枠ＩＤおよび顔枠２１０を表示したユーザの特定情報を通知されている。ログイン処理部１２０は、顔認証部１１４から顔枠ＩＤおよびユーザ特定情報を通知されると、顔枠処理部１１６から通知された顔枠ＩＤに対応付けられたユーザ特定情報を抽出し、ユーザ特定情報同士の一致を判定する。ここでは、ＩＤ１の顔枠ＩＤに対して、双方ともユーザＡの特定情報が通知されており、したがってログイン処理部１２０は、ユーザＡ用に表示された顔枠２１０ａ内にユーザＡの顔が検出されたことを認識する。これによりログイン処理部１２０は、ユーザＡを情報処理装置１０にログインさせる。

【0047】

なお、上記の例では顔認証部１１４が、顔枠２１０に含まれるべき１人のユーザの顔識別用データと、顔枠２１０に含まれた顔の特徴量データとを比較したが、顔認証部１１４は、全ての登録ユーザの顔識別用データを、顔枠２１０に含まれた顔の特徴量データと比較してもよい。その結果、顔認証部１１４は、ユーザＡ用に表示された顔枠２１０ａ内に、ユーザＡ以外の登録ユーザの顔を検出することもある。顔認証部１１４は、顔枠２１０に含まれたユーザを特定するユーザ特定情報と、顔枠ＩＤとをログイン処理部１２０に通知し、ログイン処理部１２０は、予め顔枠処理部１１６から予め通知されている顔枠ＩＤおよび顔枠２１０を表示したユーザの特定情報と比較する。同じ顔枠ＩＤに対して、顔枠２１０を表示されたユーザの特定情報と、実際に顔枠２１０にて検出されたユーザの特定情報とが異なる場合、つまりユーザＡ用に表示された顔枠２１０ａ内に、ユーザＡ以外の登録ユーザの顔が検出されている場合、ログイン処理部１２０は、顔枠２１０ａにおいて検出された顔画像がユーザＡのものでないことを判定し、ユーザＡ、ないしは顔枠２１０ａに顔を入れた登録ユーザをログインさせないようにする。

【0048】

以上のように、本実施例では、ログイン制御部１１０が、２段階の顔認証によるユーザ認証を行った後、登録ユーザをログインさせる。たとえば第１段階の顔認証処理において、最初の撮影画像において人の顔を検出し、登録ユーザであるか否かの判定を行った後は、新たなユーザが撮影されない限り、顔認証処理を行わなくてもよい。なお、この場合は、検出した人の顔を撮影画像中で追跡処理し、常時、撮影画像における顔画像の位置座標を顔枠処理部１１６に提供する。なお顔認証を所定の周期で実行し、顔認証を行わない時間帯は、検出した人の顔を追跡処理するようにしてもよい。また第２段階の顔認証処理により１人の登録ユーザがログインした後は、まだログインしていない登録ユーザが撮影されていれば、その登録ユーザがログインするまで、ログイン画面が表示され続けてもよい。このとき、顔枠処理部１１６は、ログインしたユーザに対して表示していた顔枠２１０を、出力装置４から消すことが好ましい。なお、この顔認証によりログインできる登録ユーザは１人という限定がある場合には、１人の登録ユーザのログイン後、情報処理装置１０のＯＳが提供するホーム画面等に遷移してもよい。なお、ログイン画面において顔枠２１０が表示された後、所定時間、顔認証部１１４が、顔枠２１０内に顔を検出できない場合には、顔認識によるログイン処理が終了して、入力装置６を用いたログイン処理に移行してもよい。またユーザが顔認識によるログイン処理を望まない場合には、たとえば入力装置６を用いて、顔認識によるログイン処理を終了させて、入力装置６を用いたログイン処理に移行してもよい。

【0049】

本実施例の情報処理装置１０は、２段階の顔認証により、ユーザをログインさせる。以下、顔枠２１０の表示態様について説明する。なお図８〜図１３では、説明の便宜上、撮影画像に含まれる登録ユーザＡ、Ｂの顔のみを示し、顔以外の身体部分や他のユーザの表示を省略している。

【0050】

顔枠処理部１１６は、顔認証部１１４より提供される顔領域２００ａ、２００ｂの位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠２１０を表示する。顔認証部１１４から提供される顔領域２００の位置座標は、たとえば矩形として設定される顔領域２００の４つの頂点の座標値であってもよい。

【0051】

図８は、顔領域２００と顔枠２１０との関係を示す。なお出力装置４において、顔領域２００を示す点線は、実際には表示されないが、ここでは、顔領域２００と顔枠２１０との関係を説明するために、顔領域２００の点線を表示している。なお、必ず顔領域２００の点線を表示していけないわけではなく、表示してもよいことは言うまでもない。

【0052】

顔枠処理部１１６は、ユーザにとって顔の入れやすい位置であり、また顔枠に入れようとするユーザの意思がなければ顔が入ることのない位置に、顔枠２１０を表示する。図８に示す例では、顔枠処理部１１６が、出力装置４に表示されている登録ユーザの顔画像に、顔枠２１０の一部が重なるように、顔枠２１０を配置している。これにより顔枠２１０は、ユーザが顔を入れやすい位置に配置されるとともに、登録ユーザは、自身が入れるべき顔枠２１０がどれであるかを容易に認識できるようになる。また顔枠処理部１１６は、顔枠２１０を、顔領域２００の上下方向に対して所定角度傾けて表示する。これによりユーザは、意識して首を傾けないと顔枠２１０に顔を入れることができず、したがってログインする意思のないユーザの顔が偶然にも顔枠２１０に入ってしまう可能性を低減できる。

【0053】

顔枠処理部１１６は、ログイン画面において検出された登録ユーザの顔画像の大きさ、すなわち顔領域２００の大きさに応じて、顔枠２１０の大きさを定める。顔枠２１０の大きさは、顔領域２００と同じ大きさでよいが、少なくとも顔領域２００が顔枠２１０に入る大きさであることが好ましい。顔枠２１０は、顔領域２００に対して傾けて表示されるため、顔領域２００よりも若干大きく顔枠２１０を表示することで、ユーザが、顔全体を顔枠２１０に入れやすくなる。

【0054】

なお顔枠処理部１１６は、ユーザの身体的特徴をもとに、顔枠２１０の表示位置を定めてもよい。たとえば身長の高い人と低い人とでは、首を傾けたときのストローク差があり、つまり身長の高い人は、身長の低い人と比較して大きく首を傾けることができる。そこで登録ユーザ情報保持部１３０は、登録ユーザ情報として身長を保持しておき、顔枠処理部１１６は、登録ユーザの身長に応じて、顔領域２００の上下方向に対する顔枠２１０の角度を定めてもよい。この場合、身長の高い人の方が、低い人に比べて、顔枠２１０の傾き角度が大きくなるように設定される。また身長の高い人の方が、低い人に比べて、顔枠２１０と顔領域２００の重なりの割合が小さくなるように設定される。このように顔枠処理部１１６は、登録ユーザの身体的特徴をもとに、登録ユーザごとに顔枠２１０の表示位置を定めてよい。

【0055】

また顔枠処理部１１６は、複数の登録ユーザに対して顔枠２１０を表示する場合に、互いに重なることのないように複数の顔枠２１０を表示する。図８に示す例においても、ユーザＡに対する顔枠２１０ａと、ユーザＢに対する顔枠２１０ｂとが重なっていない様子が示されている。もし顔枠２１０ａと顔枠２１０ｂとが重なっていると、ユーザＡ、ユーザＢがそれぞれ自分の顔枠２１０ａ、顔枠２１０ｂに顔を入れようとしたときに、頭同士がぶつかる可能性がある。そこで複数の顔枠２１０を重ならないように表示することが好ましい。

【0056】

複数の顔枠２１０を重ならないように表示するために、顔枠処理部１１６は、複数の顔領域２００の重心座標を導出する。顔枠処理部１１６は、各顔領域２００の重心座標を導出し、各顔領域２００の重心座標から、複数の顔領域２００の重心座標を導出する。この重心座標に対して顔領域２００の重心座標が右側に位置すれば、顔枠２１０を顔領域２００の右側に表示し、複数の顔領域２００の重心座標に対して顔領域２００の重心座標が左側に位置すれば、顔枠２１０を顔領域２００の左側に表示する。図８に示す例では、顔枠２１０ａが顔領域２００ａに対して左側に配置され且つ左側に傾いて表示され、顔枠２１０ｂが顔領域２００ｂに対して右側に配置され且つ右側に傾いて表示されている。こうすることで、顔枠処理部１１６は、複数の顔枠２１０を、互いに重ならないように表示することが可能となる。なお、複数の顔領域２００の重心座標の導出法は、上記したものに限らず、たとえば各顔領域２００の中心座標を用いて複数の顔領域２００の重心座標を導出してもよく、また各顔領域２００の左端座標または右端座標を用いて複数の顔領域２００の横方向の重心座標を導出してもよい。

【0057】

なお以上は、基本的には、初期ログイン画面を表示する際の処理であり、各ユーザに対して顔枠２１０が表示された後、各ユーザが撮像範囲内を動くこともある。その際、各顔領域２００の重心座標が変化し、それに伴って複数の顔領域２００の重心座標も変化するが、顔枠２１０同士が重ならないのであれば、最初に設定した顔枠２１０の位置を維持し、つまりは変化させない。仮に初期ログイン画面の表示後に、複数の顔領域２００の重心座標の横軸の座標値を基準に顔枠２１０の表示位置を定める制御を行う場合、たとえば１人のユーザの顔領域２００が、複数の顔領域２００の重心座標の横軸の座標値付近に存在する場合、そこから座標値をまたぐ動作を繰り返すと、顔枠２１０が右に左に切り替わって表示されることになる。そのような事態を回避するべく、顔枠処理部１１６は、一度、顔領域２００に対する顔枠２１０の右表示または左表示を定めると、他の顔枠２１０と重ならない限り、その表示位置を維持するようにする。

【0058】

図９は、初期ログイン画面から遷移したログイン画面の一例を示す。ここでは説明の便宜上、ユーザＢの顔画像を不図示としているが、実際には、ログイン画面中にユーザＢの顔が表示されていてもよい。

【0059】

このログイン画面では、顔認証部１１４が、撮影画像中でユーザＢを検出できなくなり、顔領域２００ｂを設定できなくなっている。ユーザＢの不検出は、顔認証部１１４の顔識別精度によるところもあるため、顔認証部１１４がユーザＢを検出できなくなったからといって、ユーザＢがカメラ７からフレームアウトしたとは限らない。そこで、顔枠処理部１１６は、所定の条件のもとで、仮にユーザＢが顔認証部１１４により不検出となった場合であっても、一度表示した顔枠２１０ｂを表示し続ける。これにより顔認証部１１４がユーザＢの検出成功、検出不成功を交互に繰り返したような場合に、顔枠２１０ｂの表示、非表示が交互に繰り返される事態を回避できる。なお顔認証部１１４が、顔枠２１０ｂ内でユーザＢの顔画像を検出すると、ログイン処理部１２０が、ユーザＢをログインさせてよい。なお顔枠処理部１１６は、ユーザＢが検出されていないことを顔認証部１１４から通知されると、顔枠２１０ｂの表示態様を、顔領域２００ａが設定されている顔枠２１０ａとは異ならせてもよい。たとえば顔枠２１０ｂは、点滅表示されてもよい。これによりユーザＢは、顔枠２１０ｂに顔を入れても、その時点でログインできないことを知ることができる。

【0060】

上記では、ユーザＢが不検出の場合であっても、所定の条件のもとで顔枠２１０ｂを表示し続けることを説明した。この所定の条件について、以下説明する。
まず一つの条件として、顔枠処理部１１６は、複数の登録ユーザに対して顔枠２１０を表示する場合に、表示する顔枠２１０の数を所定数に制限する。これは出力装置４に多数の顔枠２１０を表示するのが困難であるためであり、また仮に多数の顔枠２１０を表示できたとしても、顔枠２１０同士が近すぎるなど、ユーザの首を傾ける動作が難しくなることが予想されるためである。そこで顔枠処理部１１６は、たとえば表示する顔枠２１０の上限を４つとし、仮に顔認証部１１４によって撮影画像中に５人以上の登録ユーザが検出されたとしても、４人分の顔枠２１０を表示することとする。

【0061】

このとき、顔枠処理部１１６が、どのユーザの顔枠２１０を表示するかを決定する必要があるが、この決定の基準とするべく、優先順位決定部１１８が、撮像されている複数の登録ユーザに対して、顔枠２１０を表示する優先順位を定める。この優先順位は、以下のように決定される。
（ａ）まずは、初期ログイン画面に含まれる登録ユーザの順位が決定される。ここでユーザＡ、Ｂが初期ログイン画面に含まれていたとすると、優先順位決定部１１８は、ユーザＡとＢのログイン回数の多い方を１位、少ない方を２位として決定してもよい。たとえばユーザＢのログイン回数が多い場合には、ユーザＢが１位、ユーザＡが２位とされる。なお優先順位決定部１１８は、顔領域２００の大きいユーザの優先順位を高く決定してもよい。優先順位決定部１１８は、顔認証部１１４により設定された複数の顔領域２００の面積を比較して、顔領域２００の大きいユーザの優先順位を高く決定してもよい。なおカメラ７がステレオカメラである場合、ユーザとカメラ７との間の距離が測定できるため、優先順位決定部１１８は、カメラ７との距離が近いユーザの優先順位を高く決定してもよい。
（ｂ）次に、初期ログイン画面表示後のログイン画面に含まれるようになった登録ユーザの順位を高く決定する。つまり優先順位決定部１１８は、新たにカメラ７に撮影されるようになった登録ユーザの順位を１位として決定し、既に撮影されていた登録ユーザの順位を１つ下げる。したがって、新たにユーザＣがカメラ７で撮影されると、ユーザＣが１位、ユーザＢが２位、ユーザＣが３位とされる。このように優先順位決定部１１８は、（ａ）よりも（ｂ）の基準を高く設定し、新たに顔認証部１１４により認識されたユーザの順位を高く設定する。

【0062】

優先順位決定部１１８は、カメラ７に撮影される登録ユーザの優先順位を決定するが、ユーザＤ、Ｅも新たに撮影された結果、ユーザＢの順位が４位になったとする。このときユーザＡの順位は５位であり、顔枠処理部１１６は、１位から４位のいずれかが設定されたユーザＢ、Ｃ、Ｄ、Ｅに対して、顔枠２１０を表示する。ここで、ユーザＢが顔認証部１１４により検出されなくなると、顔枠処理部１１６は、ユーザＢの顔枠２１０ｂを消して、ユーザＡの顔枠２１０ａを表示する。優先順位決定部１１８は、顔認証部１１４により不検出となったユーザについては、その順位を最下位に落とし、表示の優先順位を決定する。

【0063】

このように優先順位決定部１１８は、撮像されている複数の登録ユーザに対して、顔枠２１０を表示する優先順位を定め、顔枠処理部１１６は、優先順位決定部１１８により定められた優先順位にしたがって、所定の上限数の範囲内で顔枠２１０を表示する。

【0064】

以上のことから、図９に示すログイン画面において顔枠２１０ｂが表示され続ける条件は、このログイン画面において、４人以上の登録ユーザが検出されていない場合であり、そのような条件が満足する限りにおいて、顔枠処理部１１６は、顔枠２１０ｂを表示し続けるようにする。

【0065】

図１０は、顔枠２１０がユーザの顔の動きに追従する様子を示す。ユーザは、カメラ７の撮像範囲内で、様々な動きをすることが予想される。１つは、ログインのための動作であり、つまりは顔枠２１０に顔を入れ込む動作であるが、そのようなログイン動作とは別に、単に移動したり、しゃがんだり、または立ったりすることもある。これらはいずれもログイン動作ではない。

【0066】

顔枠処理部１１６は、ユーザの顔の動きがログイン動作ではないときには、ユーザの顔の動きに、顔枠２１０を追従させて表示する。顔枠処理部１１６は、顔領域２００の重心座標の動きが顔枠２１０の重心座標に近づく方向であるか否かを判定する。このとき顔領域２００の重心座標が顔枠２１０の重心座標に近づく方向に移動していれば、顔枠処理部１１６は、ユーザの顔の動きがログイン動作であると判断して、顔枠２１０の位置を維持、すなわち変化させない。一方で、顔領域２００の重心座標が顔枠２１０の重心座標から離れる方向に移動していれば、顔枠処理部１１６は、ユーザの顔の動きがログイン動作ではないと判断して、顔枠２１０を顔領域２００の動きに追従させて表示する。図１０に示す例では、ユーザＢの顔枠２１０が右側に出ている状態で、ユーザＢの顔が左方向に移動しているため、顔枠処理部１１６は、ユーザＢの顔の動きがログイン動作ではないと判断し、顔枠２１０ｂを、顔領域２００ｂの動きに追従させている。

【0067】

なお既述したように、顔枠２１０は、その一部が顔領域２００に重ねられるように表示されている。そのため、顔枠２１０と顔領域２００との位置関係が多少離れたとしても、依然としてユーザは、顔枠２１０に顔を容易に入れられる。そこで、顔領域２００が動いた場合であっても、顔枠２１０の一部が重なっている限りは、顔枠処理部１１６は、顔枠２１０の位置を変化させず、重なりがなくなったときに、顔枠２１０を顔領域２００に追従させるようにしてもよい。

【0068】

以上は、ユーザのカメラ７に対して横方向の動きに着目したが、カメラ７に対して前後方向に動くこともある。ユーザがカメラ７に近づく方向に動けば、ログイン画面におけるユーザの顔画像は大きくなり、カメラ７から遠ざかる方向に動けば、ログイン画面におけるユーザの顔画像は小さくなる。顔枠処理部１１６は、顔領域２００の大きさの変化が所定の割合を超える場合には、ユーザの顔の動きがログイン動作ではないことを判定し、このとき顔枠処理部１１６は、ユーザの顔の動きに顔枠２１０を追従させて、顔枠２１０の大きさおよび表示位置を再設定して表示してもよい。このように顔枠処理部１１６は、ユーザの顔画像の横方向の動きのみならず、ユーザの顔画像の前後方向の動きに対して顔枠２１０を追従させて表示することで、ユーザが、ログイン動作を行いやすくすることが可能となる。

【0069】

図１１（ａ）は、２つの顔枠２１０が重なっている状態を示す。この状態は、初期ログイン画面が表示された後、カメラ７から見てユーザＡが右方向に、ユーザＢが左方向に移動した結果、生じている。既述したように、複数の顔枠２１０の重なりは許容されず、したがって顔枠処理部１１６は、図１１（ａ）に示す状態となることを回避しなければならない。

【0070】

図１１（ｂ）は、ユーザＢの顔枠２１０ｂが左側に配置された状態を示す。顔枠処理部１１６は、優先順位決定部１１８が定める優先順位にしたがって、顔枠２１０の配置を変更する。具体的には、２つの顔枠２１０が重なる場合に、顔枠処理部１１６は、優先順位の低いユーザの顔枠２１０の位置を、優先順位の高いユーザの顔枠２１０に重ならないように再設定する。優先順位決定部１１８は、撮影されたユーザの順番や、顔領域２００の大きさによって、顔枠２１０を表示する優先順位を定めることを既に説明した。顔領域２００の大きさに注目すると、ユーザの前後方向の動きにより顔領域２００の大きさは変化するため、優先順位決定部１１８は、そのときの顔画像の大きさにより、逐次順位を設定する。ここでは、ユーザＡの顔領域２００ａがユーザＢの顔領域２００ｂよりも大きいため、優先順位決定部１１８は、顔枠２１０ａの優先順位を顔枠２１０ｂよりも高く設定している。したがって顔枠処理部１１６は、顔枠２１０ａについては動かさず、顔枠２１０ｂを顔枠２１０ａに重ならない位置に表示して、顔枠２１０ａと顔枠２１０ｂとが重なることを回避している。

【0071】

なお、顔枠２１０ｂを顔領域２００ｂの左側に再配置した結果、別のユーザの顔枠２１０と重なるような場合には、その別のユーザの顔枠２１０との優先順位が比較される。たとえば、さらに顔枠２１０を再配置する必要が生じ、しかしながら、再配置すると、優先順位の高い顔枠２１０と重なったり、または図１２に関して説明するように、ディスプレイからはみ出てしまうような場合には、顔枠処理部１１６は、その顔枠２１０の表示を断念して、表示しないようにする。

【0072】

図１２（ａ）は、ログイン画面において、顔枠２１０がディスプレイからはみ出す様子を示す。初期ログイン画面に関して説明したように、顔枠処理部１１６が、複数の顔領域２００の重心座標を基準として、各顔領域２００ａ、２００ｂに対する顔枠２１０ａ、２１０ｂの表示位置を定めると、顔枠２１０ａは、顔領域２００ａの左側に配置されることになる。しかしながら、図１２（ａ）に示すように、顔枠２１０ａがディスプレイからはみ出すことが生じうる。

【0073】

そこで顔枠処理部１１６は、顔枠２１０がディスプレイからはみ出て、顔枠２１０の全体を表示できないような場合には、顔領域２００に対して逆側に顔枠２１０を表示するようにする。
図１２（ｂ）は、顔枠２１０の表示位置を変更した様子を示す。このように顔枠処理部１１６は、顔枠２１０の全体がディスプレイに表示されるように、顔枠２１０の表示位置を定めることが好ましい。

【0074】

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0075】

実施例においては、顔認証部１１４が一致度を算出した結果、一致度が９０点を超えるものが複数存在する場合には、顔認証部１１４は、撮像されたユーザが、最高点を導出した登録ユーザであることを判定し、顔枠処理部１１６が、顔領域２００の近傍に１つの顔枠２１０を表示することを説明した。変形例では、一致度が９０点を超えるユーザが複数存在する場合に、たとえば上位２名のユーザ用の顔枠２１０を表示してもよい。

【0076】

図１３は、顔領域２００ａの左右に、２つの顔枠２１０ａ、２１０ｃを表示する例を示す。たとえばユーザＡ（オンラインＩＤ：ＨＡＮＡＫＯ）とユーザＣ（オンラインＩＤ：ＴＡＫＡＫＯ）が双子であって、ともに登録ユーザである場合、両者の顔は似ていることが多い。そこで２人分の顔枠２１０ａ、２１０ｃを表示して、ユーザが、いずれかの顔枠２１０を選択できるようにしてもよい。

【0077】

図１１（ｂ）には、顔枠２１０ｂを顔領域２００ｂの左側に再配置した様子を示しているが、顔枠２１０ａは、ユーザＢの顔領域２００ｂに重なっている。顔枠処理部１１６は、顔枠２１０同士の重なりだけでなく、顔枠２１０ａと顔領域２００ｂ、すなわち、あるユーザの顔枠２１０と、別のユーザの顔領域２００とが重ならないように、顔枠２１０の位置を設定してもよい。この場合は、顔枠処理部１１６が、顔枠２１０ａを顔領域２００ａの右側に表示することで、顔枠２１０ａと顔領域２００ｂとが重なることを回避できる。

【0078】

また実施例では、顔枠処理部１１６が１人の登録ユーザに対して、顔枠２１０を１回表示することを説明したが、ログイン意思の確認を確実にするべく、顔枠２１０を複数回表示してもよい。たとえば図８に示すように、顔枠処理部１１６がユーザＡの左側に顔枠２１０ａを表示した後、顔認証部１１４が、顔枠２１０ａにユーザＡの顔画像が含まれていることを検出すると、顔枠処理部１１６が、ユーザＡの右側に顔枠２１０ａを再度表示してもよい。このとき顔認証部１１４がユーザＡの右側に表示された顔枠２１０ａにユーザＡの顔画像が含まれていることを検出すると、ログイン処理部１２０が、ユーザＡをログインさせるようにする。このように顔枠処理部１１６が、顔枠２１０ａをユーザＡの顔位置に対して異なる位置に複数回表示し、顔認証部１１４がそれぞれの顔枠２１０ａにおいてユーザＡの顔画像を検出することで、確実にログイン意思を有するユーザＡを、ログイン処理部１２０がログインさせることが可能となる。

【符号の説明】

【0079】

１・・・情報処理システム、４・・・出力装置、７・・・カメラ、１０・・・情報処理装置、２０・・・メイン電源ボタン、１０２・・・入力受付部、１０４・・・画像取得部、１１０・・・ログイン制御部、１１２・・・撮像画像表示部、１１４・・・顔認証部、１１６・・・顔枠処理部、１１８・・・優先順位決定部、１２０・・・ログイン処理部、１３０・・・登録ユーザ情報保持部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】