IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ レノボ・シンガポール・プライベート・リミテッドの特許一覧

<>
  • 特許-情報処理装置、及び制御方法 図1
  • 特許-情報処理装置、及び制御方法 図2
  • 特許-情報処理装置、及び制御方法 図3
  • 特許-情報処理装置、及び制御方法 図4
  • 特許-情報処理装置、及び制御方法 図5
  • 特許-情報処理装置、及び制御方法 図6
  • 特許-情報処理装置、及び制御方法 図7
  • 特許-情報処理装置、及び制御方法 図8
  • 特許-情報処理装置、及び制御方法 図9
  • 特許-情報処理装置、及び制御方法 図10
  • 特許-情報処理装置、及び制御方法 図11
  • 特許-情報処理装置、及び制御方法 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】情報処理装置、及び制御方法
(51)【国際特許分類】
   G06F 21/32 20130101AFI20240925BHJP
   G06F 21/31 20130101ALI20240925BHJP
   G06T 7/00 20170101ALI20240925BHJP
【FI】
G06F21/32
G06F21/31
G06T7/00 510F
【請求項の数】 9
(21)【出願番号】P 2023070810
(22)【出願日】2023-04-24
【審査請求日】2023-04-24
(73)【特許権者】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100206081
【弁理士】
【氏名又は名称】片岡 央
(72)【発明者】
【氏名】西尾 匡史
(72)【発明者】
【氏名】和田 祐司
【審査官】田中 啓介
(56)【参考文献】
【文献】特開2021-179831(JP,A)
【文献】特開2016-225824(JP,A)
【文献】特開2023-032239(JP,A)
【文献】中国特許出願公開第110020521(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F1/26-1/3296
G06F12/14、21/00-21/88
G06T7/00
G06V40/00-40/19
G06V40/30-40/70
(57)【特許請求の範囲】
【請求項1】
システムのプログラムを一時的に記憶するメモリと、
撮像部により撮像された撮像画像の中から顔が撮像されている顔画像の領域を検出する顔検出処理と、検出された顔画像に基づく情報と正規ユーザの顔画像に基づく情報とに基づいて顔認証する顔認証処理とを実行する第1プロセッサと、
前記顔検出処理により前記顔画像の領域が検出され且つ前記顔認証処理による顔認証が成功したことに基づいて、前記システムのプログラムを実行することにより前記システムを待機状態から起動させる第2プロセッサと、
を備え、
前記第2プロセッサは、
前記システムの起動後に、前記システムの処理により正規ユーザであるか否かを認証するシステム認証処理を実行し、
前記第1プロセッサは、
前記システム認証処理による認証が成功してからの所定時間内において実行される前記顔検出処理により検出された顔画像のうち顔の向きが特定の向きになったときの顔画像に基づく情報を、前記正規ユーザの顔画像に基づく情報として登録する、
情報処理装置。
【請求項2】
前記特定の向きとは、前記撮像部の方向を基準とした向きである、
請求項1に記載の情報処理装置。
【請求項3】
前記第1プロセッサは、
前記所定時間内において、前記撮像画像の中から検出された顔画像の顔角度を検出し、検出された前記顔角度が、前記撮像部の方向を基準とした所定の角度範囲内である場合に、顔の向きが前記特定の向きになったと判定する、
請求項2に記載の情報処理装置。
【請求項4】
前記第1プロセッサは、
前記所定時間内において前記撮像画像の中から顔画像の領域を検出する頻度を、前記待機状態において前記撮像画像の中から顔画像の領域を検出する頻度よりも高くする、
請求項3に記載の情報処理装置。
【請求項5】
前記第1プロセッサは、
前記正規ユーザの顔画像に基づく情報を登録する際に、前記正規ユーザの顔画像に基づく情報が登録されていない場合には新規に登録し、前記正規ユーザの顔画像に基づく情報が既に登録されている場合には登録済みの情報を更新する、
請求項1に記載の情報処理装置。
【請求項6】
前記正規ユーザの顔画像に基づく情報が未登録の場合、
前記第2プロセッサは、
前記待機状態において前記撮像部により撮像された前記撮像画像の中から顔画像の領域が検出されたことに基づいて前記システムを待機状態から起動させる、
請求項1に記載の情報処理装置。
【請求項7】
前記第2プロセッサは、
前記システムの起動後に、前記撮像部により撮像された前記撮像画像の中から顔画像の領域が検出されなくなった場合、前記待機状態へ遷移させる、
請求項1に記載の情報処理装置。
【請求項8】
前記第2プロセッサは、
前記システムの起動後に、前記撮像部により撮像された前記撮像画像の中から顔画像の領域が検出されていても、顔認証処理による顔認証が失敗した場合には、前記待機状態へ遷移させる、
請求項1に記載の情報処理装置。
【請求項9】
システムのプログラムを一時的に記憶するメモリと、第1プロセッサと、第2プロセッサとを備える情報処理装置における制御方法であって、
前記第1プロセッサが、撮像部により撮像された撮像画像の中から顔が撮像されている顔画像の領域を検出する顔検出処理を行うステップと、
前記第1プロセッサが、検出された顔画像に基づく情報と正規ユーザの顔画像に基づく情報とに基づいて顔認証する顔認証処理を行うステップと、
前記第2プロセッサが、前記顔検出処理により前記顔画像の領域が検出され且つ前記顔認証処理による顔認証が成功したことに基づいて、前記システムのプログラムを実行することにより前記システムを待機状態から起動させるステップと、
前記第2プロセッサが、前記システムの起動後に、前記システムの処理により正規ユーザであるか否かを認証するシステム認証処理を実行するステップと、
前記第1プロセッサが、前記システム認証処理による認証が成功してからの所定時間内において実行される前記顔検出処理により検出された顔画像のうち顔の向きが特定の向きになったときの顔画像に基づく情報を、前記正規ユーザの顔画像に基づく情報として登録するステップと、
を含む制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、及び制御方法に関する。
【背景技術】
【0002】
人物が近づくと使用可能な状態に遷移し、人物が離れると一部の機能を除いて停止した待機状態に遷移する情報処理装置がある。例えば、特許文献1には、赤外線センサを用いて、人物が近づいてきたか否か、或いは人物が遠ざかったか否かを検出している。
【0003】
近年、コンピュータビジョンなどの発展により、画像から顔を検出する際の検出精度が高くなってきている。そのため、赤外線センサによる人物の検出に代えて、顔検出が利用され始めている。また、情報処理装置の起動の際に、正規ユーザであるか否かのユーザ認証(例えば、ログイン認証)を行うが、この認証方法として、顔認証が用いられるようになってきている。例えば、情報処理装置は、人物が近づくと、その人物の顔を検出することにより起動し、その後、顔認証などのログイン認証を行うことにより正規ユーザであればシステムへのログインを許可して使用可能な状態に遷移する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-148895号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したような顔検出により起動する方法では、正規ユーザ以外の人物が近づいた場合も起動してしまうという課題がある。この課題を解決するために、例えばログイン認証で認証成功したときに検出された顔を正規ユーザの顔として登録し、起動の際に顔検出に加えて顔認証を行う方法が考えられる。しかしながら、ログイン認証で認証成功したときに顔が正面を向いているとは限らないため、正規ユーザの顔であっても正面を向いていない顔が登録されてしまうことがある。その場合、正規ユーザの顔を適切に認証できない可能性があり、例えば正規ユーザが近づいても起動できない可能性がある。
【0006】
本発明は、上記した事情に鑑みてなされたもので、正規ユーザの顔を適切に認証できる情報処理装置、及び制御方法を提供することを目的の一つとする。
【課題を解決するための手段】
【0007】
本発明は上記の課題を解決するためになされたものであり、本発明の第1態様に係る情報処理装置は、システムのプログラムを一時的に記憶するメモリと、撮像部により撮像された撮像画像の中から顔が撮像されている顔画像の領域を検出する顔検出処理と、検出された顔画像に基づく情報と正規ユーザの顔画像に基づく情報とに基づいて顔認証する顔認証処理とを実行する第1プロセッサと、前記顔検出処理により前記顔画像の領域が検出され且つ前記顔認証処理による顔認証が成功したことに基づいて、前記システムのプログラムを実行することにより前記システムを待機状態から起動させる第2プロセッサと、を備え、前記第2プロセッサは、前記システムの起動後に、前記システムの処理により正規ユーザであるか否かを認証するシステム認証処理を実行し、前記第1プロセッサは、前記システム認証処理による認証が成功してからの所定時間内において、前記顔検出処理により検出された顔画像のうち顔の向きが特定の向きになったときの顔画像に基づく情報を、前記正規ユーザの顔画像に基づく情報として登録する。
【0008】
上記情報処理装置において、前記特定の向きとは、前記撮像部の方向を基準とした向きであってもよい。
【0009】
上記情報処理装置において、前記第1プロセッサは、前記所定時間内において、前記撮像画像の中から検出された顔画像の顔角度を検出し、検出された前記顔角度が、前記撮像部の方向を基準とした所定の角度範囲内である場合に、顔の向きが前記特定の向きになったと判定してもよい。
【0010】
上記情報処理装置において、前記第1プロセッサは、前記所定時間内において前記撮像画像の中から顔画像の領域を検出する頻度を、前記待機状態において前記撮像画像の中から顔画像の領域を検出する頻度よりも高くしてもよい。
【0011】
上記情報処理装置において、前記第1プロセッサは、前記正規ユーザの顔画像に基づく情報を登録する際に、前記正規ユーザの顔画像に基づく情報が登録されていない場合には新規に登録し、前記正規ユーザの顔画像に基づく情報が既に登録されている場合には登録済みの情報を更新してもよい。
【0012】
上記情報処理装置において、前記正規ユーザの顔画像に基づく情報が未登録の場合、前記第2プロセッサは、前記待機状態において前記撮像部により撮像された前記撮像画像の中から顔画像の領域が検出されたことに基づいて前記システムを待機状態から起動させてもよい。
【0013】
上記情報処理装置において、前記第2プロセッサは、前記システムの起動後に、前記撮像部により撮像された前記撮像画像の中から顔画像の領域が検出されなくなった場合、前記待機状態へ遷移させてもよい。
【0014】
上記情報処理装置において、前記第2プロセッサは、前記システムの起動後に、前記撮像部により撮像された前記撮像画像の中から顔画像の領域が検出されていても、顔認証処理による顔認証が失敗した場合には、前記待機状態へ遷移させてもよい。
【0015】
また、本発明の第2態様に係る、システムのプログラムを一時的に記憶するメモリと、第1プロセッサと、第2プロセッサとを備える情報処理装置における制御方法は、前記第1プロセッサが、撮像部により撮像された撮像画像の中から顔が撮像されている顔画像の領域を検出する顔検出処理を行うステップと、前記第1プロセッサが、検出された顔画像に基づく情報と正規ユーザの顔画像に基づく情報とに基づいて顔認証する顔認証処理を行うステップと、前記第2プロセッサが、前記顔検出処理により前記顔画像の領域が検出され且つ前記顔認証処理による顔認証が成功したことに基づいて、前記システムのプログラムを実行することにより前記システムを待機状態から起動させるステップと、前記第2プロセッサが、前記システムの起動後に、前記システムの処理により正規ユーザであるか否かを認証するシステム認証処理を実行するステップと、前記第1プロセッサが、前記システム認証処理による認証が成功してからの所定時間内において、前記顔検出処理により検出された顔画像のうち顔の向きが特定の向きになったときの顔画像に基づく情報を、前記正規ユーザの顔画像に基づく情報として登録するステップと、を含む。
【発明の効果】
【0016】
本発明の上記態様によれば、正規ユーザの顔を適切に認証できる。
【図面の簡単な説明】
【0017】
図1】実施形態に係る情報処理装置のHPD処理の概要を説明する図。
図2】実施形態に係る情報処理装置の人物の検出範囲の一例を示す図。
図3】実施形態に係る情報処理装置のHPDユーザIDを用いたHPD処理の概要を示す図。
図4】実施形態に係る情報処理装置の外観の構成例を示す斜視図。
図5】実施形態に係る情報処理装置のハードウェア構成の一例を示す図。
図6】実施形態に係る情報処理装置の機能構成の一例を示す図。
図7】実施形態に係る待機状態におけるHPD処理の一例を示すフローチャート。
図8】実施形態に係る顔認証によるログイン認証処理の一例を示すフローチャート。
図9】実施形態に係るHPDユーザID登録/更新処理の一例を示すフローチャート。
図10】実施形態に係るHPDユーザID登録処理の一例を示すフローチャート。
図11】実施形態に係るHPDユーザID更新処理の一例を示すフローチャート。
図12】実施形態に係る通常動作状態におけるHPD処理の一例を示すフローチャート。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本発明の実施形態について説明する。
まず、本実施形態に係る情報処理装置の概要について説明する。本実施形態に係る情報処理装置1は、例えば、ノート型(クラムシェル型)のPC(Personal Computer;パーソナルコンピュータ)である。なお、情報処理装置1は、デスクトップ型PC、タブレット型PC、スマートフォンなど、いずれの形態の情報処理装置であってもよい。
【0019】
情報処理装置1は、システムの動作状態として少なくとも通常動作状態(パワーオン状態)と待機状態との間を遷移可能である。通常動作状態とは、特に制限なく処理の実行が可能な動作状態であり、例えば、ACPI(Advanced Configuration and Power Interface)で規定されているS0状態に相当する。待機状態とは、システム処理の少なくとも一部が制限されている状態である。例えば、待機状態は、スタンバイ状態、スリープ状態等であってもよく、Windows(登録商標)におけるモダンスタンバイや、ACPIで規定されているS3状態(スリープ状態)等に相当する状態であってもよい。例えば、待機状態は、通常動作状態よりも電力の消費量が低い動作状態である。
【0020】
以下では、システムの動作状態が待機状態から通常動作状態へ遷移することを起動と呼ぶことがある。待機状態では、一般的に通常動作状態よりも動作の活性度が低いため、情報処理装置1のシステムを起動させることは、情報処理装置1におけるシステムの動作を活性化させることになる。
【0021】
図1は、本実施形態に係る情報処理装置1のHPD処理の概要を説明する図である。情報処理装置1は、情報処理装置1の近傍に存在する人物(即ちユーザ)を検出する。この人物の存在を検出する処理のことを、HPD(Human Presence Detection)処理と称する。情報処理装置1は、HPD処理により人物の存在の有無を検出し、検出結果に基づいて情報処理装置1のシステムの動作状態を制御する。例えば、情報処理装置1は、図1(A)に示すように、情報処理装置1の前(正面)に人物が存在しない状態(Absence)から存在する状態(Presence)への変化、即ち情報処理装置1へ人物が接近したこと(Approach)を検出した場合、ユーザが接近したと判定し、自動でシステムを起動して通常動作状態へ遷移させる。また、情報処理装置1は、図1(B)に示すように、情報処理装置1の前に人物が存在している状態(Presence)では、ユーザが存在すると判定し、通常動作状態を継続させる。そして、情報処理装置1は、図1(C)に示すように、情報処理装置1の前(正面)に人物が存在している状態(Presence)から存在しない状態(Absence)への変化、即ち情報処理装置1から人物が離脱したこと(Leave)を検出した場合には、ユーザが離脱したと判定し、システムを待機状態へ遷移させる。
【0022】
情報処理装置1は、前方(正面側)の所定の範囲における人物の存在を検出する。
図2は、本実施形態に係る情報処理装置1の人物の検出範囲の一例を示す図である。図示する例において、情報処理装置1の前方(正面側)の検出範囲FoV(Field of View:検出視野角)が、人物の検出可能な範囲である。例えば、情報処理装置1は、前方(正面側)を撮像した撮像画像から顔が撮像されている顔画像の領域(以下、「顔領域」と称する)を検出することにより、情報処理装置1の前(正面)に人物(ユーザ)が存在するか否かを判定する。検出範囲FoVは、情報処理装置1が撮像する撮像画角に相当する。情報処理装置1は、撮像画像から顔領域が検出された場合、ユーザが存在すると判定する。一方、情報処理装置1は、撮像画像から顔領域が検出されなかった場合、ユーザが存在しないと判定する。
【0023】
例えば、情報処理装置1は、待機状態において撮像画像から顔領域を検出したことによりユーザが存在すると判定した場合、システムを待機状態から起動させる。また、情報処理装置1は、システムの起動後に、システムの処理により正規ユーザであるか否かを認証するシステム認証処理を実行する。正規ユーザとは、情報処理装置1を使用するユーザとして予め登録されているユーザである。情報処理装置1は、正規ユーザであると判定した場合には、使用を許可(ログインを許可)して通常動作状態へ遷移させる。一方、情報処理装置1は、正規ユーザでないと判定した場合には、使用を許可(ログインを許可)せず、認証待ちの状態を継続する。この起動の際のシステム認証処理によるユーザ認証を、以下では「ログイン認証」と称する。
【0024】
ログイン認証の方法としては、ユーザがパスワードをキーボードから入力することで認証するパスワード認証、ユーザがPIN(Personal Identification Number)を入力することで認証するPIN認証、ユーザの顔で認証する顔認証、ユーザの指紋で認証する指紋認証などがある。顔認証によるログイン認証が有効になっている場合、情報処理装置1は、撮像画像から検出された顔領域の顔画像に基づく特徴情報と予め登録されている正規ユーザの顔画像に基づく特徴情報とを照合することにより顔認証を行う。
【0025】
ここで、情報処理装置1は、HPD処理において撮像画像から顔領域を検出する顔検出のみでシステムを待機状態から起動させた場合には、正規ユーザ以外の人物が近づいた場合も起動してしまう。そのため、情報処理装置1は、ログイン認証時の認証結果に基づいてHPD処理において正規ユーザであるか否かを認証するためのユーザID(以下、「HPDユーザID」と称する)を登録する。
【0026】
例えば、システムの起動後のログイン認証が成功したときには正規ユーザが情報処理装置1の正面に存在することが想定される。そこで、情報処理装置1は、ログイン認証が成功したときに撮像された撮像画像から顔領域を検出し、検出された顔画像を正規ユーザの顔画像とし、当該顔画像に基づく特徴情報をHPDユーザIDとして登録する。情報処理装置1は、HPD処理において撮像画像から顔領域を検出した場合、HPDユーザIDとして登録されていればシステムを起動させたり、HPDユーザIDとして登録されていなければ待機状態にしたり待機状態にするといった制御を行う。
【0027】
但し、ログイン認証時に顔認証を行うときは高精度の顔認証が可能なように高消費電力になることを許容しているが、待機状態でHPD処理を行う際には、なるべく低消費電力にすることが望ましい。例えば、ログイン認証における顔認証の場合には、IR(Infrared Rays)カメラで撮像した撮像画像を用いるが、待機状態のHPD処理における顔認証では、RGBカメラで撮像した撮像画像を用いる。また、ログイン認証における顔認証に用いる撮像画像を撮像するフレームレート()より、待機状態のHPD処理における顔認証に用いる撮像画像を撮像するフレームレートは低く設定される。
【0028】
上記のログイン認証時の顔認証とHPD処理における顔認証との違いにより、例えば、顔の向きが正面から±20°程度傾いている場合でもログイン認証における顔認証は可能であるが、HPD処理における顔認証では、顔の向きが正面から±15°程度の範囲しか同じ顔として認証できない。そのため、できるだけ正面顔の顔画像に基づく特徴情報を、HPDユーザIDとして登録することが望ましい。なお、顔の向きが正面とは、上記IRカメラまたはRGBカメラなどの撮像部の方向を顔が向く向きであり、撮像された撮像画像に正面顔が撮像される状態である。
【0029】
例えば、情報処理装置1は、ログイン認証が成功してからの所定時間内(例えば、5秒以内)において、顔が正面を向いたときの顔画像に基づく特徴情報を、HPDユーザIDとして登録する。所定時間内(例えば、5秒以内)に制限しているのは、正規ユーザ以外のユーザに入れ替わってしまう可能性を低くするためである。
【0030】
図3は、本実施形態に係るHPDユーザIDを用いたHPD処理の概要を示す図である。この図3を参照して、(1)~(8)の順に本実施形態に係るHPD処理の概要を説明する。以下では、情報処理装置1が待機状態において前方(正面側)をRGBカメラで撮像した撮像画像のことを「第1撮像画像」と称する。一方、情報処理装置1がシステム起動後のログイン認証の際に前方(正面側)をIRカメラで撮像した撮像画像のことを「第2撮像画像」と称する。
(1)情報処理装置1は、待機状態においてRGBカメラで撮像された第1撮像画像から顔領域を検出することにより、システムを起動させる。なお、この時点では、HPDユーザIDが未登録の状態である。
【0031】
(2)情報処理装置1は、起動後に、正規ユーザのみに使用を許可するためのログイン認証を行う。例えば、情報処理装置1は、起動後のログイン認証のイベントにおいてIRカメラで撮像された第2撮像画像から顔領域を検出し、検出した顔領域の顔画像に基づいて顔認証処理を実行する。なお、ログイン認証の認証方法は、顔認証以外の認証方法であってもよい。
【0032】
(3)情報処理装置1は、ログイン認証が成功してからの所定時間内(例えば、5秒以内)において、RGBカメラで撮像された第1撮像画像から顔領域を検出する。
【0033】
(4)情報処理装置1は、所定時間内(例えば、5秒以内)において、RGBカメラで撮像された第1撮像画像から検出された顔領域に基づいて、顔が正面を向いたときの顔画像に基づく特徴情報をHPDユーザIDとして登録する。
【0034】
(5)情報処理装置1は、次に、待機状態においてRGBカメラで撮像された第1撮像画像から顔領域を検出された場合、上記(4)で登録されたHPDユーザIDを用いて正規ユーザであるか否かの顔認証を行う。例えば、情報処理装置1は、待機状態において第1撮像画像から顔領域を検出された場合、検出された顔領域の顔画像に基づく特徴情報とHPDユーザIDとを照合することにより顔認証を行う。
【0035】
(6)情報処理装置1は、(5)の顔認証が認証失敗である場合、正規ユーザではないと判定し、システムを起動させず待機状態を継続させる。
【0036】
(7)一方、情報処理装置1は、(5)の顔認証が認証成功である場合、正規ユーザであると判定し、システムを起動させる。
【0037】
(8)起動後は上記(2)と同様に、情報処理装置1は、ログイン認証処理を行う。
【0038】
(9)、(10)そして、情報処理装置1は、その後、上記(3)、(4)と同様に、ログイン認証が成功してからの所定時間内(例えば、5秒以内)において、RGBカメラで撮像された第1撮像画像から検出された顔領域に基づいて、顔が正面を向いたときの顔画像に基づく特徴情報をHPDユーザIDとして登録(更新)する。
【0039】
以降は、(5)~(10)が繰り返される。このように、情報処理装置1は、ログイン認証が成功してからの所定時間内(例えば、5秒以内)において、顔が正面を向いたときの顔画像に基づく特徴情報をHPDユーザIDとして登録し、HPD処理においてHPDユーザIDを用いて顔認証を行うため、正規ユーザの顔を適切に認証することができる。
【0040】
次に、本実施形態に係る情報処理装置1の構成について詳しく説明する。
[情報処理装置の外観構成]
図4は、本実施形態に係る情報処理装置1の外観の構成例を示す斜視図である。
情報処理装置1は、第1筐体10、第2筐体20、及びヒンジ機構15を備える。第1筐体10と第2筐体20は、ヒンジ機構15を用いて結合されている。第1筐体10は、第2筐体20に対して、ヒンジ機構15がなす回転軸の周りに相対的に回動可能である。第1筐体10と第2筐体20との回動による開き角を「θ」として図示している。
【0041】
第1筐体10は、Aカバー、ディスプレイ筐体とも呼ばれる。第2筐体20は、Cカバー、システム筐体とも呼ばれる。以下の説明では、第1筐体10と第2筐体20の側面のうち、ヒンジ機構15が備わる面を、それぞれ側面10c、20cと呼ぶ。第1筐体10と第2筐体20の側面のうち、側面10c、20cとは反対側の面を、それぞれ側面10a、20aと呼ぶ。図示において、側面20aから側面20cに向かう方向を「後」と呼び、側面20cから側面20aに向かう方向を「前」と呼ぶ。後方に対して右方、左方を、それぞれ「右」、「左」と呼ぶ。第1筐体10、第2筐体20の左側面をそれぞれ側面10b、20bと呼び、右側面をそれぞれ側面10d、20dと呼ぶ。また、第1筐体10と第2筐体20とが重なり合って完全に閉じた状態(開き角θ=0°の状態)を「閉状態」と呼ぶ。閉状態において第1筐体10と第2筐体20との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と呼ぶ。また、閉状態に対して第1筐体10と第2筐体20とが開いた状態のことを「開状態」と呼ぶ。
【0042】
図4に示す情報処理装置1の外観は開状態の例を示している。開状態は、第1筐体10の側面10aと第2筐体20の側面20aとが離れた状態である。開状態では、第1筐体10と第2筐体20とのそれぞれの内面が表れる。開状態はユーザが情報処理装置1を使用する際の状態の一つであり、典型的には開き角θ=100~130°程度の状態で使用されることが多い。なお、開状態となる開き角θの範囲は、ヒンジ機構15よって回動可能な角度の範囲等に応じて任意に定めることができる。
【0043】
第1筐体10の内面には、表示部110が設けられている。表示部110は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどを含んで構成されている。また、第1筐体10の内面のうち表示部110の周縁の領域に、撮像部120が設けられている。例えば、撮像部120は、表示部110の周縁の領域のうち側面20a側に配置されている。なお、撮像部120が配置される位置は一例であって、第1筐体10の内面に対面する方向(前方)を撮像することが可能であれば他の位置に配置されてもよい。
【0044】
撮像部120は、開状態において、第1筐体10の内面に対面する方向(前方)の所定の撮像範囲を撮像する。所定の撮像範囲とは、撮像部120が有する撮像素子と撮像素子の撮像面の前方に設けられた光学レンズとによって定まる画角の範囲であり、図2に示す人物(顔)の検出範囲FoVに相当する。例えば、撮像部120は、情報処理装置1の前方(正面側)に存在する人物(例えば、ユーザ)を含む画像を撮像することができる。
【0045】
また、第2筐体20の側面20bには、電源ボタン140が設けられている。電源ボタン140は、電源のオンまたはオフ、待機状態から通常動作状態へ遷移、通常動作状態から待機状態への遷移などをユーザが指示するための操作子である。また、第2筐体20の内面には、ユーザの操作入力を受け付ける入力デバイスとして、キーボード151及びタッチパッド153が設けられている。なお、入力デバイスとして、キーボード151及びタッチパッド153に代えて、または加えて、タッチセンサが設けられてもよいし、マウスや外付けのキーボードが接続されてもよい。タッチセンサが設けられた構成の場合、表示部110の表示面に対応する領域が操作を受け付けるタッチパネルとして構成されてもよい。また、入力デバイスには、音声が入力されるマイクが含まれてもよい。
【0046】
[情報処理装置のハードウェア構成]
図5は、本実施形態に係る情報処理装置1のハードウェア構成の一例を示す概略ブロック図である。情報処理装置1は、表示部110、撮像部120、電源ボタン140、入力デバイス150、通信部160、記憶部170、EC(Embedded Controller)200、顔検出部210、メイン処理部300、及び電源部400を含んで構成される。表示部110は、メイン処理部300により実行されるシステム処理及びシステム処理上で動作するアプリケーションプログラムの処理等に基づいて生成された表示データ(画像)を表示する。
【0047】
撮像部120は、第1筐体10の内面に対面する方向(前方)の所定の画角(例えば、図2に示す検出範囲FoV)内の物体の像を撮像し、撮像した画像を顔検出部210及びメイン処理部300へ出力する。例えば、撮像部120は、RGBカメラとIR(Infrared Rays)カメラとを備えている。RGBカメラとは、可視光線に基づいて撮像する通常のカメラである。IRカメラは、物体から放出される赤外線に基づいて撮像するカメラである。
【0048】
IRカメラは、例えば撮像する際に赤外線を照射するため、撮像する際の消費電力がRGBカメラよりも高い。そのため、待機状態において第1撮像画像から顔領域を検出する際には、待機電力をなるべく抑えたいことから、例えばRGBカメラが用いられる。一方、顔認証によるログイン認証において第2撮像画像から顔領域を検出して顔認証する際には、より認証精度を高めるために、例えばIRカメラが用いられる。なお、顔認証によるログイン認証の際には、IRカメラとRGBカメラとの両方が用いられてもよい。
【0049】
電源ボタン140は、ユーザの操作に応じて操作信号をEC200へ出力する。入力デバイス150は、ユーザの入力を受け付ける入力部であり、例えばキーボード151及びタッチパッド153を含んで構成されている。入力デバイス150は、キーボード151及びタッチパッド153に対する操作を受け付けることに応じて、操作内容を示す操作信号をEC200へ出力する。
【0050】
通信部160は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信部160は、イーサネット(登録商標)等の有線LANインターフェースやWi-Fi(登録商標)等の無線LANインターフェース等を含んで構成されている。
【0051】
記憶部170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)などの記憶媒体を含んで構成される。記憶部170は、OS、デバイスドライバ、アプリケーションなどの各種のプログラム、その他、プログラムの動作により取得した各種のデータを記憶する。
【0052】
電源部400は、情報処理装置1の各部の動作状態に応じて各部へ電力を供給する。電源部400は、DC(Direct Current)/DCコンバータを備える。DC/DCコンバータは、AC(Alternate Current)/DCアダプタもしくはバッテリー(電池パック)から供給される直流電力の電圧を、各部で要求される電圧に変換する。DC/DCコンバータで電圧が変換された電力が各電源系統を介して各部へ供給される。例えば、電源部400は、EC200から入力される制御信号に基づいて各電源系統を介して各部に電力を供給する。
【0053】
EC200は、CPU(Central Processing Unit)、RAM、ROMおよびI/O(Input/Output)ロジック回路などを含んで構成されたマイクロコンピュータである。EC200のCPUは、自部のROMに予め記憶した制御プログラム(ファームウェア)を読み出し、読み出した制御プログラムを実行して、その機能を発揮する。EC200は、メイン処理部300とは独立に動作し、メイン処理部300の動作を制御し、その動作状態を管理する。また、EC200は、電源ボタン140、入力デバイス150、及び電源部400等と接続されている。
【0054】
例えば、EC200は、電源部400と通信を行うことにより、バッテリーの状態(残容量など)の情報を電源部400から取得するとともに、情報処理装置1の各部の動作状態に応じた電力の供給を制御するための制御信号などを電源部400へ出力する。また、EC200は、電源ボタン140や入力デバイス150から操作信号を取得し、取得した操作信号のうちメイン処理部300の処理に関連する操作信号についてはメイン処理部300へ出力する。
【0055】
顔検出部210は、撮像部120により撮像された撮像画像の画像データを処理するプロセッサを含んで構成されている。顔検出部210は、撮像部120により撮像された撮像画像の画像データを取得し、取得した画像データをメモリに一時的に保存する。画像データを保存するメモリは、システムメモリ304であってもよいし、顔検出部210内の不図示のメモリであってもよい。
【0056】
例えば、顔検出部210は、撮像部120から取得した撮像画像の画像データを処理することにより、撮像画像から顔領域を検出する顔検出処理、検出した顔領域の顔画像を認証する顔認証処理などを行う。顔検出部210は、顔検出処理の検出結果、顔認証処理の認証結果などを、メイン処理部300のチップセット303へ送信する。
【0057】
なお、顔検出部210は、通常動作状態だけでなく待機状態でも動作している。待機状態では、顔検出部210は、例えば撮像部120のRGBカメラで撮像された第1撮像画像の画像データを取得して顔領域の検出を行う。IRカメラを使用せずに、RGBカメラを用いて撮像することにより、待機状態の消費電力(待機電力)を抑えることができる。一方、起動後のログイン認証処理では、顔検出部210は、撮像部120のIRカメラ(或いは、RGBカメラとIRカメラとの両方)で撮像された第2撮像画像の画像データを取得して顔領域の検出及び顔認証を行うことにより、顔認証の精度を高めることができる。
【0058】
例えば、顔検出部210は、図3を参照して説明したHPD処理において、ログイン認証処理による認証が成功したときに登録したHPDユーザIDを用いた顔認証を行う。このHPD処理における機能構成について詳しくは後述する。
【0059】
メイン処理部300は、CPU(Central Processing Unit)301、GPU(Graphic Processing Unit)302、チップセット303、及びシステムメモリ304を含んで構成され、OS(Operating System)に基づくシステム処理によって、OS上で各種のアプリケーションプログラムの処理が実行可能である。
【0060】
CPU301は、BIOSによる処理、OSによる処理、OS上で動作するアプリケーションプログラムによる処理などを実行する。CPU301は、チップセット303などからの指示に基づいてシステムの動作状態を制御する。例えば、CPU301は、システムを待機状態から起動させる起動処理を実行する。また、CPU301は、待機状態からの起動後に、正規ユーザであるか否かを認証するログイン認証の処理を実行し、認証成功の場合に通常動作状態へ遷移させる。
【0061】
例えば、CPU301は、ログイン認証において顔認証による認証処理を実行する。なお、CPU301は、ログイン認証において顔認証以外(例えば、パスワード認証、PIN認証、指紋認証など)の認証処理を実行してもよい。
【0062】
CPU301は、ログイン認証において正規ユーザである(認証成功)と判定した場合には、使用を許可(ログインを許可)し、通常動作状態へ遷移させる。一方、CPU301は、ログイン認証において正規ユーザでない(認証失敗)と判定した場合には、使用を許可(ログインを許可)せず、ログイン認証待ちの状態を継続する。
【0063】
GPU302は、表示部110に接続されている。GPU302は、CPU301の制御に基づいて画像処理を実行して表示データを生成する。GPU302は、生成した表示データを表示部110に出力する。
【0064】
チップセット303は、メモリコントローラとしての機能及びI/Oコントローラとしての機能などを有する。例えば、チップセット303は、CPU301及びGPU302によるシステムメモリ304、記憶部170などからのデータの読出し、書込みを制御する。また、チップセット303は、通信部160、表示部110およびEC200からのデータの入出力を制御する。また、チップセット303は、センサハブとしての機能を有する。例えば、チップセット303は、HPD処理において、顔検出部210から顔検出の検出結果を取得し、当該検出結果に基づいて人物(ユーザ)の存在を検出し、システムの動作状態の制御を行う。
【0065】
システムメモリ304は、CPU301で実行されるプログラムの読み込み領域ならびに処理データを書き込む作業領域などとして用いられる。また、システムメモリ304は、撮像部120で撮像された撮像画像の画像データを一時的に記憶する。
【0066】
なお、CPU301、GPU302、及びチップセット303は、一体化された一つのプロセッサとして構成されてもよいし、一部またはそれぞれが個々のプロセッサとして構成されてもよい。例えば、通常動作状態では、CPU301、GPU302、及びチップセット303のいずれも動作している状態となるが、待機状態では、チップセット303の少なくとも一部のみが動作している状態となる。待機状態では、少なくとも起動時のHPD処理に必要な機能が動作している。
【0067】
[情報処理装置の機能構成]
次に、情報処理装置1が、HPD処理によりシステムの動作状態を制御する機能構成について説明する。
【0068】
図6は、本実施形態に係る情報処理装置1の機能構成の一例を示すブロック図である。情報処理装置1は、顔検出部210と、システム処理部310と、HPD制御処理部330とを備えている。顔検出部210は、図5に示す顔検出部210に対応し、顔検出部210内のプログラムを実行することにより実現される機能構成である。システム処理部310と、HPD制御処理部330とは、図5に示すメイン処理部300がOS及びOS上で動作するプログラムを実行することにより実現される機能構成である。例えば、システム処理部310は、CPU301がOSのプログラムを実行することにより実現される機能構成である。また、HPD制御処理部330は、チップセット303がOS上で動作するプログラムを実行することにより実現される機能構成である。
【0069】
顔検出部210は、顔検出処理部211と、顔認証処理部212と、HPDユーザID登録部213と、HPD処理部214とを備えている。また、システム処理部310は、動作制御部311と、認証処理部312とを備えている。また、HPD制御処理部330は、動作指示部331と、認証結果通知部332とを備えている。
【0070】
顔検出処理部211は、所定のフレームレート(所定の頻度)で撮像部120により撮像された撮像画像の画像データをシステムメモリ304から読み出し、それぞれの撮像画像の中から顔領域を検出する。顔の検出方法としては、顔の特徴情報を基に顔を検出する顔検出アルゴリズムや、顔の特徴情報を基に機械学習された学習データ(学習済みモデル)や顔検出ライブラリなどを用いた顔検出など、任意の検出方法を適用することができる。また、撮像部120が撮像する際のフレームレートは、例えば、待機状態では4FPS、ログイン認証の際には15FPS、ログイン認証が成功してから所定時間内(例えば、5秒以内)では15FPS、通常動作状態では1FPSなどに制御される。
【0071】
例えば、顔検出処理部211は、待機状態では、撮像部120のRGBカメラを用いて4FPSで撮像された第1撮像画像(RGB画像)の中から顔領域を検出し、検出結果として顔領域の座標情報などを出力する。また、例えば、顔検出処理部211は、ログイン認証の際には、撮像部120のIRカメラを用いて15FPSで撮像された第2撮像画像(IR画像)の中から顔領域を検出し、検出結果として顔領域の座標情報などを出力する。なお、顔検出処理部211は、ログイン認証の際には、撮像部120のIRカメラ及びRGBカメラを用いて撮像された第2撮像画像(IR画像及びRGB画像)の中から顔領域を検出してもよい。
【0072】
また、例えば、顔検出処理部211は、ログイン認証が成功してから所定時間内(例えば、5秒以内)では、撮像部120のRGBカメラを用いて15FPSで撮像された第1撮像画像(RGB画像)の中から顔領域を検出し、検出結果として顔領域の座標情報と顔の向きの情報などを出力する。顔の向きの情報とは、検出された顔領域内の顔画像の顔角度である。例えば、顔角度は、撮像部120の方向(顔が正面を向いている方向)を基準の角度(例えば、0°)とした顔の向きに対応する角度である。
【0073】
また、例えば、顔検出処理部211は、通常動作状態では、撮像部120のRGBカメラを用いて1FPSで撮像された第1撮像画像(RGB画像)の中から顔領域を検出し、検出結果として顔領域の座標情報などを出力する。
【0074】
顔認証処理部212は、検出された顔領域内の顔画像が正規ユーザの顔画像であるか否かを顔認証する顔認証処理を実行する。例えば、顔認証処理部212は、システムの処理によるログイン認証の際には、撮像部120のIRカメラを用いて15FPSで撮像された第2撮像画像(IR画像)の中から検出された顔画像を、システムにログインするためのユーザ情報(アカウント情報)として予め登録されている正規ユーザの顔画像と照合することにより顔認証を行う。具体的には、例えば、顔認証処理部212は、ログイン認証の際には、第2撮像画像(IR画像)の中から検出された顔画像に基づく特徴情報と予め登録されている正規ユーザの顔画像に基づく特徴情報とを照合することにより顔認証を行う。
【0075】
なお、ユーザ情報(アカウント情報)として登録されている正規ユーザの顔画像は、例えば、システム設定の顔認証用画像の登録メニューにおいて、撮像部120のIRカメラを用いて15FPSで撮像された第2撮像画像(IR画像)の中から検出された顔画像である。
【0076】
また、顔認証処理部212は、HPD処理において撮像部120のRGBカメラを用いて15FPSで撮像された第1撮像画像(RGB画像)の中から検出された顔画像に基づく特徴情報と、HPDユーザIDとして登録された正規ユーザの顔画像に基づく特徴情報とに基づいて顔認証を行う。例えば、顔認証処理部212は、HPD処理において撮像部120のRGBカメラを用いて15FPSで撮像された第1撮像画像(RGB画像)の中から検出された顔画像に基づく特徴情報と、HPDユーザIDとして登録された正規ユーザの顔画像に基づく特徴情報とを照合することにより顔認証を行う。
【0077】
HPDユーザID登録部213は、ログイン認証処理による認証が成功してからの所定時間内(例えば、5秒以内)において、顔検出処理部211により検出された顔画像のうち顔の向きが正面になったときの顔画像に基づく特徴情報を、HPDユーザID(正規ユーザの顔画像に基づく特徴情報)として登録する。例えば、HPDユーザID登録部213は、HPDユーザIDをシステムメモリ304または顔検出部210内の不図示のメモリ等に記憶させて登録する。
【0078】
例えば、HPDユーザID登録部213は、ログイン認証処理による認証が成功してからの所定時間内(例えば、5秒以内)において、顔検出処理部211により検出された顔画像の顔角度が、撮像部120の方向(顔が正面を向いている方向)を基準とした所定の角度範囲内(例えば、±15°)である場合に、顔の向きが正面になったと判定する。HPDユーザID登録部213は、HPDユーザIDを登録する際に、HPDユーザIDが登録されていない場合には新規に登録し、HPDユーザIDが既に登録されている場合には登録済みのHPDユーザIDに対して更新する。
【0079】
HPD処理部214は、顔検出処理部211による顔検出処理の検出結果と、顔認証処理部212による顔認証処理の認証結果に基づいて、HPD処理の検出結果を示す情報を出力する。例えば、HPD処理部214は、HPDユーザIDが登録済みの場合には、顔検出処理部211により第1撮像画像(RGB画像)の中から顔領域が検出され且つ顔認証処理部212による顔認証が成功した場合、情報処理装置1の前方に正規ユーザが存在することを示すプレゼンス(Presence)情報を出力する。
【0080】
なお、HPD処理部214は、HPDユーザIDが未登録の場合には、待機状態において顔検出処理部211により第1撮像画像(RGB画像)の中から顔領域が検出されたことに基づいて、正規ユーザであるか否かの判断はできないものの情報処理装置1の前方にユーザが存在するとして、プレゼンス情報を出力する。
【0081】
一方、HPD処理部214は、システムの起動後に、顔検出処理部211により第1撮像画像(RGB画像)の中から顔領域が検出されなくなった場合、情報処理装置1の前方にユーザが存在しないことを示すアブセンス(Absence)情報を出力する。また、HPD処理部214は、システムの起動後に、顔検出処理部211により第1撮像画像(RGB画像)の中から顔領域が検出されていても、顔認証処理部212による顔認証が失敗した場合には、情報処理装置1の前方に存在するユーザが正規ユーザではないため、アブセンス情報を出力する。
【0082】
動作指示部331は、待機状態において、HPD処理部214から出力されたプレゼンス情報を取得すると、システムを待機状態から起動させる指示を行う。例えば、動作指示部331は、システムを待機状態から起動させる指示を示す起動指示情報を動作制御部311へ出力する。また、動作指示部331は、待機状態において、HPD処理部214からアブセンス情報を取得している間は、システムを起動させる指示を行わない。
【0083】
なお、動作指示部331は、通常動作状態において、HPD処理部214からアブセンス情報を取得した場合には、システムを待機状態へ遷移させる指示を行う。例えば、動作指示部331は、システムを待機状態へ遷移させる指示を示す待機指示情報を動作制御部311へ出力する。
【0084】
動作制御部311は、動作指示部331から出力された起動指示情報を取得すると、システムのプログラムを実行して待機状態から起動させる。また、動作制御部311は、待機状態から起動させた後、ログイン認証のイベントを発生させる。そして、動作制御部311は、認証成功となるまでログインを許可しないで待機する。動作制御部311は、認証成功となった場合には、ログインを許可し、通常動作状態へ遷移させる。
【0085】
なお、通常動作状態において、動作制御部311は、動作指示部331から出力された待機指示情報を取得すると、システムを通常動作状態から待機状態へ遷移させる。
【0086】
認証処理部312は、ログイン認証のイベントが発生すると、正規ユーザであるか否かを認証するログイン認証処理を実行する。例えば、認証処理部312は、顔認証、パスワード認証、PIN認証、または指紋認証などのいずれかによるログイン認証処理を実行する。例えば、認証処理部312は、顔認証による認証処理を実行する場合、顔検出部210から顔認証の認証結果を取得し、取得した認証結果に基づいてログイン認証処理を実行する。認証処理部312は、認証成功の場合に正規ユーザであると判定し、認証失敗の場合に正規ユーザではないと判定する。
【0087】
なお、認証処理部312は、パスワード認証またはPIN認証の場合には、キーボード151に対するユーザの操作に基づく操作信号をEC200を介して取得する。そして、認証処理部312は、取得した操作信号に基づいて、ユーザの操作により入力されたパスワードまたはPINと予め登録されているパスワードまたはPINとを照合することにより認証処理を実行する。また、認証処理部312は、指紋認証の場合には、不図示の指紋センサを用いて取得した指紋と予め登録されている指紋とを照合することにより認証処理を実行する。
【0088】
認証結果通知部332は、認証処理部312によるログイン認証の認証結果を顔検出部210へ通知する。顔検出部210のHPDユーザID登録部213は、このログイン認証の認証結果の通知をトリガとして、ログイン認証処理による認証が成功してからの所定時間内(例えば、5秒以内)において、正面になったときの顔画像に基づく特徴情報をHPDユーザIDとして登録する。
【0089】
[HPD処理による動作]
次に、HPD処理において正規ユーザの認証を行ってシステムの動作状態を制御する処理の動作について説明する。まず、図7を参照して、待機状態におけるHPD処理の動作について説明する。図7は、本実施形態に係る待機状態におけるHPD処理の一例を示すフローチャートである。
【0090】
(ステップS101)顔検出部210は、待機状態において撮像部120により撮像された第1撮像画像(RGB画像)を取得する。待機状態では、例えば4FPSのフレームレートで撮像部120により第1撮像画像(RGB画像)が撮像される。そして、ステップS103の処理へ進む。
【0091】
(ステップS103)顔検出部210は、ステップS101で取得した第1撮像画像(RGB画像)の中から顔領域(顔画像の領域)を検出する。顔検出部210は、顔領域を検出しなかった場合(NO)、ステップS101の処理に戻る。一方、顔検出部210は、顔領域を検出した場合(YES)、ステップS105の処理へ進む。
【0092】
(ステップS105)顔検出部210は、HPDユーザIDが登録済みであるか否かを判定する。顔検出部210は、HPDユーザIDが登録されていないと判定した場合(NO)、ステップS111の処理へ進む。一方、顔検出部210は、HPDユーザIDが登録済みであると判定した場合(YES)、ステップS107の処理へ進む。
【0093】
(ステップS107)顔検出部210は、ステップS103で検出された顔画像に基づく特徴情報と、HPDユーザIDとして登録された正規ユーザの顔画像に基づく特徴情報とに基づいて顔認証を行う。そして、ステップS109の処理へ進む。
【0094】
(ステップS109)顔検出部210は、ステップS107において顔認証が成功したか否かを判定する。顔検出部210は、顔認証が成功したと判定した場合(YES)、ステップS111の処理へ進む。一方、顔検出部210は、顔認証が失敗したと判定した場合(NO)、ステップS101の処理に戻る。
【0095】
(ステップS111)顔検出部210は、プレゼンス情報を出力する。HPD制御処理部330は、顔検出部210から出力されたプレゼンス情報を取得すると、HPD処理による起動指示として、システムを待機状態から起動させる指示を示す起動指示情報をシステム処理部310へ出力する。システム処理部310は、HPD制御処理部330から出力された起動指示情報を取得すると、システムのプログラムを実行して待機状態から起動させる。なお、システム処理部310は、HPD処理による起動指示以外の起動指示(電源ボタン140への操作など)があった場合も、システムのプログラムを実行して待機状態から起動させる。そして、ステップS113の処理へ進む。
【0096】
(ステップS113)システム処理部310は、待機状態から起動させた後、ログイン認証のイベントを発生させ、正規ユーザであるか否かを認証する認証処理を実行する。例えば、システム処理部310は、顔認証、パスワード認証、PIN認証、または指紋認証などのいずれかによる認証処理を実行する。
【0097】
ここで、ステップS113のログイン認証処理の一例として、顔認証によるログイン認証処理の動作について、図8を参照して説明する。
図8は、本実施形態に係る顔認証によるログイン認証処理の一例を示すフローチャートである。
【0098】
(ステップS151)顔検出部210は、システム処理部310がログイン認証のイベントを発生させると、顔検出部210は、ログイン認証における顔検出処理及び顔認証処理を実行する。まず、顔検出部210は、撮像部120により撮像された第2撮像画像(IR画像、またはIR画像及びRGB画像)を取得する。ログイン認証処理では、例えば15FPSのフレームレートで撮像部120により第2撮像画像(IR画像、またはIR画像及びRGB画像)が撮像される。そして、ステップS153の処理へ進む。
【0099】
(ステップS153)顔検出部210は、ステップS151で取得した第2撮像画像(IR画像、またはIR画像及びRGB画像)の中から顔領域を検出する。顔検出部210は、顔領域を検出しなかった場合(NO)、ステップS151の処理に戻る。一方、顔検出部210は、顔領域を検出した場合(YES)、ステップS155の処理へ進む。
【0100】
(ステップS155)顔検出部210は、ステップS153で検出された顔領域の顔画像に基づいて顔認証処理を行う。例えば、顔検出部210は、検出された顔領域の顔画像の特徴情報と、システムにログインするためのユーザ情報(アカウント情報)として予め登録されている正規ユーザの顔画像の特徴情報とに基づいて顔認証処理を行い、認証結果をシステム処理部310へ出力する。
【0101】
(ステップS157)システム処理部310は、顔検出部210から出力された顔認証処理の認証結果に基づいて、ログイン認証が成功であるか否かを判定する。例えば、システム処理部310は、顔認証処理の認証結果が失敗(顔認証が失敗)であった場合、ログイン認証が失敗であると判定し(NO)、ログインを許可せずステップS151に戻る。一方、システム処理部310は、顔認証処理の認証結果が成功(顔認証が成功)であった場合、ログイン認証が成功であると判定し(YES)、ログインを許可してログイン認証処理を終了する。また、HPD制御処理部330は、システム処理部310によるログイン認証が成功した場合、ログイン認証の認証結果を顔検出部210へ通知する。そして、図7のステップS115の処理へ進む。
【0102】
なお、ここでは、顔認証によるログイン認証処理の例を説明したが、パスワード認証、PIN認証、または指紋認証などによるログイン認証処理の場合も同様に、ログイン認証が成功した場合、ログインを許可してログイン認証処理を終了し、図7のステップS115A及びステップS115Bの処理へ進む。なお、ステップS115A及びステップS115Bの処理に特に順番はなく、それぞれ並行して行われる。
【0103】
(ステップS115A)顔検出部210は、システム処理部310によるログイン認証が成功したことに応じてログイン認証の認証結果の通知を取得すると、HPDユーザID登録/更新処理を実行する。
【0104】
(ステップS115B)システム処理部310は、ログイン認証が成功した正規ユーザのアカウントでログイン処理を実行し、通常動作状態へ遷移させる。なお、顔検出部210は、通常動作状態では、例えば1FPSのフレームレートで撮像部120により撮像された第1撮像画像(RGB画像)から顔領域を検出してHPD処理を実行する。
【0105】
ここで、ステップS115のHPDユーザID登録/更新処理の具体的なの動作について、図9から図11を参照して説明する。
図9は、本実施形態に係るHPDユーザID登録/更新処理の一例を示すフローチャートである。
【0106】
顔検出部210は、HPDユーザIDが登録済みであるか否かを判定する(ステップS201)。顔検出部210は、HPDユーザIDが未登録であると判定した場合(NO)、ステップS203の処理へ進み、HPDユーザID登録処理を実行する。一方、顔検出部210は、HPDユーザIDが登録済みであると判定した場合(YES)、ステップS205の処理へ進み、HPDユーザID更新処理を実行する。
【0107】
ステップS203のHPDユーザID登録処理について、図10を参照して説明する。図10は、本実施形態に係るHPDユーザID登録処理の一例を示すフローチャートである。顔検出部210は、通常動作状態では、例えば1FPSのフレームレートで撮像部120により撮像された第1撮像画像(RGB画像)から顔領域を検出してHPD処理を実行するが、HPDユーザID登録処理及びHPDユーザID更新処理を実行する際には、フレームレートを上げて実行する。
【0108】
(ステップS211)顔検出部210は、フレームレートを例えば15FPSに上げて、ステップS213の処理へ進む。
【0109】
(ステップS213)顔検出部210は、例えば15FPSのフレームレートで撮像部120により撮像された第1撮像画像(RGB画像)を取得し、ステップS215の処理へ進む。
【0110】
(ステップS215)顔検出部210は、ステップS213で取得した第1撮像画像(RGB画像)の中から顔領域(顔画像の領域)を検出する。顔検出部210は、顔領域を検出しなかった場合(NO)、ステップS223の処理へ進む。一方、顔検出部210は、顔領域を検出した場合(YES)、ステップS217の処理へ進む。
【0111】
(ステップS217)顔検出部210は、ステップS215で検出された顔領域内の顔画像の顔の向き(顔角度)を検出する。そして、ステップS219の処理へ進む。
【0112】
(ステップS219)顔検出部210は、ステップS217で検出された顔の向きが正面であるか否かを判定する。例えば、顔検出部210は、ステップS217で検出された顔角度が、撮像部120の方向(正面、顔角度=0°)に対して所定の角度範囲内(例えば、±5°以内)である場合、顔の向きが正面であると判定する。顔検出部210は、顔の向きが正面ではないと判定した場合(NO)、ステップS223の処理へ進む。一方、顔検出部210は、顔の向きが正面であると判定した場合(YES)、ステップS221Aの処理へ進む。
【0113】
(ステップS221A)顔検出部210は、顔の向きが正面であると判定された顔画像に基づく特徴情報を、HPDユーザID(正規ユーザの顔画像に基づく特徴情報)として登録する。そして、ステップS225の処理へ進む。
【0114】
(ステップS223)顔検出部210は、ログイン認証が成功してから所定時間(例えば、5秒)が経過したか否かを判定する。顔検出部210は、所定時間(例えば、5秒)が経過していないと判定した場合(NO)、ステップS213の処理へ戻る。一方、顔検出部210は、所定時間(例えば、5秒)が経過したと判定した場合(YES)、ステップS225の処理へ進む。
【0115】
(ステップS225)顔検出部210は、フレームレートを例えば1FPSに下げて、HPDユーザID登録処理を終了する。
【0116】
次に、ステップS205のHPDユーザID更新処理について、図11を参照して説明する。図11は、本実施形態に係るHPDユーザID更新処理の一例を示すフローチャートである。この図に示すHPDユーザID更新処理は、図10に示すHPDユーザID登録処理に対して、ステップS221Bの処理のみが異なる。ステップS221Bにおいて、顔検出部210は、顔の向きが正面であると判定された顔画像に基づく特徴情報をHPDユーザIDとして、登録済みのHPDユーザIDに代えて登録して更新する。なお、HPDユーザID更新処理のステップS221Bを除いた処理は、図10に示すHPDユーザID登録処理と同様であるため、その説明を省略する。
【0117】
次に、図12を参照して、通常動作状態におけるHPD処理の動作について説明する。図12は、本実施形態に係る通常動作状態におけるHPD処理の一例を示すフローチャートである。
【0118】
(ステップS301)顔検出部210は、通常動作状態において撮像部120により撮像された第1撮像画像(RGB画像)を取得する。通常動作状態では、例えば1FPSのフレームレートで撮像部120により第1撮像画像(RGB画像)が撮像される。そして、ステップS303の処理へ進む。
【0119】
(ステップS303)顔検出部210は、ステップS301で取得した第1撮像画像(RGB画像)の中から顔領域(顔画像の領域)を検出する。顔検出部210は、顔領域を検出しなかった場合(NO)、ユーザが存在しないためステップS311の処理に進む。一方、顔検出部210は、顔領域を検出した場合(YES)、ステップS305の処理へ進む。
【0120】
(ステップS305)顔検出部210は、HPDユーザIDが登録済みであるか否かを判定する。顔検出部210は、HPDユーザIDが登録されていないと判定した場合(NO)、ステップS301の処理へ戻る。一方、顔検出部210は、HPDユーザIDが登録済みであると判定した場合(YES)、ステップS307の処理へ進む。
【0121】
(ステップS307)顔検出部210は、ステップS303で検出された顔画像に基づく特徴情報と、HPDユーザIDとして登録された正規ユーザの顔画像に基づく特徴情報とに基づいて顔認証を行う。そして、ステップS309の処理へ進む。
【0122】
(ステップS309)顔検出部210は、ステップS307において顔認証が成功したか否かを判定する。顔検出部210は、顔認証が成功したと判定した場合(YES)、正規ユーザが存在するためステップS301の処理へ戻る。一方、顔検出部210は、顔認証が失敗したと判定した場合(NO)、正規ユーザではないためステップS311の処理へ進む。
【0123】
(ステップS311)顔検出部210は、アブセンス情報を出力する。HPD制御処理部330は、顔検出部210から出力されたアブセンス情報を取得すると、HPD処理による待機状態への指示として、システムを待機状態へ遷移させる待機指示を示す待機指示情報をシステム処理部310へ出力する。例えば、HPD制御処理部330は、顔検出部210から出力されたアブセンス情報を取得している状態が一定時間経過した後、待機指示情報をシステム処理部310へ出力する。システム処理部310は、HPD制御処理部330から出力された待機指示情報を取得すると、システムを通常動作状態から待機状態へ遷移させる。なお、システム処理部310は、HPD処理による待機指示以外の待機指示があった場合も、システムを通常動作状態から待機状態へ遷移させる。HPD以外の待機指示とは、例えば、無操作の状態が一定時間経過すること、スリープ状態にさせるための操作をユーザが行うこと、などである。また、顔検出部210は、待機状態では、通常動作状態と同様に撮像部120により撮像された第1撮像画像(RGB画像)を取得するが、フレームレートを例えば4FPSに切り替える。つまり、顔検出部210は、待機状態では、例えば4FPSのフレームレートで撮像部120により撮像された第1撮像画像(RGB画像)から顔領域を検出してHPD処理を実行する。
【0124】
[実施形態のまとめ]
以上説明してきたように、本実施形態に係る情報処理装置1は、システムのプログラムを一時的に記憶するシステムメモリ304(メモリの一例)と、顔検出部210(第1プロセッサの一例)と、システム処理部310(例えば、CPU301、第2プロセッサの一例)とを備えている。顔検出部210は、撮像部120により撮像された撮像画像の中から顔が撮像されている顔画像の領域(顔領域)を検出する顔検出処理と、検出された顔画像に基づく特徴情報(情報の一例)と正規ユーザの顔画像に基づく特徴情報(情報の一例)とに基づいて顔認証する顔認証処理とを実行する。システム処理部310は、上記顔検出処理により顔領域が検出され且つ上記顔認証処理による顔認証が成功したことに基づいて、システムのプログラムを実行することによりシステムを待機状態から起動させる。また、システム処理部310は、システムの起動後に、システムの処理により正規ユーザであるか否かを認証するログイン認証処理(システム認証処理の一例)を実行する。また、顔検出部210は、上記ログイン認証処理による認証が成功してからの所定時間内(例えば、5秒以内)において、上記顔検出処理により検出された顔画像のうち顔の向きが正面(特定の向きの一例)になったときの顔画像に基づく特徴情報を、上記正規ユーザの顔画像に基づく特徴情報(例えば、HPDユーザID)として登録する。
【0125】
これにより、情報処理装置1は、ログイン認証で認証成功したときに検出されたユーザの顔画像を正規ユーザの顔画像として顔認証用に利用する際に、顔の向きを考慮した顔画像を顔認証用に利用するため、正規ユーザの顔を適切に認証できる。
【0126】
上述の顔の向きが正面(特定の向きの一例)とは、撮像部120の方向を基準とした向きである。
【0127】
これにより、情報処理装置1は、撮像部120の方向を向いた正面顔の顔画像を顔認証用に利用するため、顔認証の精度を高めることができる。
【0128】
例えば、顔検出部210は、ログイン認証で認証成功してからの所定時間内(例えば、5秒以内)において、撮像画像の中から検出された顔画像の顔角度を検出し、検出された顔角度が、撮像部120の方向を基準とした所定の角度範囲内(例えば、±5°以内)である場合に、顔の向きが正面(特定の向きの一例)になったと判定する。
【0129】
これにより、情報処理装置1は、検出された顔画像の顔角度を検出することで顔の向きを判定して正面顔の顔画像を顔認証用に利用するため、顔認証の精度を高めることができる。
【0130】
また、顔検出部210は、ログイン認証で認証成功してからの所定時間内(例えば、5秒以内)において撮像画像の中から顔領域を検出するフレームレート(頻度の一例)を、待機状態において撮像画像の中から顔領域を検出するフレームレートよりも高くする。
【0131】
これにより、情報処理装置1は、ログイン認証で認証成功してからの所定時間内(例えば、5秒以内)において、撮像画像の中から検出された顔画像の顔角度を、精度よく検出することができる。
【0132】
また、顔検出部210は、HPDユーザID(正規ユーザの顔画像に基づく特徴情報)を登録する際に、HPDユーザIDが登録されていない場合には新規に登録し、HPDユーザIDが既に登録されている場合には登録済みの情報を更新する。
【0133】
これにより、情報処理装置1は、HPDユーザIDを最新の情報に更新していくため、正規ユーザの顔を適切に認証できる。
【0134】
また、HPDユーザIDが未登録の場合、システム処理部310は、待機状態において撮像部120により撮像された撮像画像の中から顔領域が検出されたことに基づいてシステムを待機状態から起動させる。
【0135】
これにより、情報処理装置1は、HPDユーザIDが未登録の場合には正規ユーザであるか否かがわからないため、正規ユーザが近づいたときも正規ユーザ以外のユーザが近づいたときも両方とも起動させ、その後、正規ユーザであればログイン認証で認証成功となってHPDユーザIDの登録が可能になる。
【0136】
また、システム処理部310は、システムの起動後に、撮像部120により撮像された撮像画像の中から顔領域が検出されなくなった場合、待機状態へ遷移させる。
【0137】
これにより、情報処理装置1は、使用されていないときには省電力化できるとともに、セキュリティを向上させることができる。
【0138】
また、システム処理部310は、システムの起動後に、撮像部120により撮像された撮像画像の中から顔領域が検出されていても、顔認証処理による顔認証が失敗した場合には、待機状態へ遷移させる。
【0139】
これにより、情報処理装置1は、正規ユーザによって使用されていないときには省電力化できるとともに、セキュリティを向上させることができる。
【0140】
また、本実施形態に係る情報処理装置1における制御方法は、顔検出部210(第1プロセッサの一例)が、撮像部120により撮像された撮像画像の中から顔が撮像されている顔画像の領域(顔領域)を検出する顔検出処理を行うステップと、顔検出部210が、検出された顔画像に基づく情報(例えば、特徴情報)と正規ユーザの顔画像に基づく情報(例えば、特徴情報)とに基づいて顔認証する顔認証処理を行うステップと、システム処理部310(例えば、CPU301、第2プロセッサの一例)が、上記顔検出処理により顔領域が検出され且つ上記顔認証処理による顔認証が成功したことに基づいて、システムのプログラムを実行することによりシステムを待機状態から起動させるステップと、システム処理部310が、システムの起動後に、システムの処理により正規ユーザであるか否かを認証するログイン認証処理(システム認証処理の一例)を実行するステップと、顔検出部210が、上記ログイン認証処理による認証が成功してからの所定時間内(例えば、5秒以内)において、上記顔検出処理により検出された顔画像のうち顔の向きが正面(特定の向きの一例)になったときの顔画像に基づく情報(例えば、特徴情報)を、上記正規ユーザの顔画像に基づく情報(例えば、特徴情報)として登録するステップと、を含む。
【0141】
これにより、情報処理装置1における制御方法は、ログイン認証で認証成功したときに検出されたユーザの顔画像を正規ユーザの顔画像として顔認証用に利用する際に、顔の向きを考慮した顔画像を顔認証用に利用するため、正規ユーザの顔を適切に認証できる。
【0142】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせることができる。
【0143】
なお、撮像部120は、IRカメラとRGBカメラとのいずれか一方を備えてもよい。例えば、HPD処理とログイン認証処理の両方においてIRカメラを用いる構成としてもよいし、HPD処理とログイン認証処理の両方においてRGBカメラを用いる構成としてもよい。
【0144】
また、各動作状態及び処理における撮像部120のフレームレートは、一例であって、上述したフレームレートの例に限定されるものではない。例えば、待機状態及び通常動作状態におけるフレームレートよりもHPDユーザ登録/更新処理におけるフレームレートの方が高く設定されることが好ましいが、上述したフレームレートの例とは異なるフレームレートに設定されてもよい。
【0145】
また、上記実施形態では、情報処理装置1に撮像部120が内蔵されている構成例を説明したが、これに限られるものではない。例えば、撮像部120は、情報処理装置1に内蔵されていなくてもよく、情報処理装置1の外部アクセサリとして情報処理装置1(例えば、側面10a、10b、10c等のいずれか)に取り付け可能に構成され、無線または有線で情報処理装置1と通信接続されるものであってもよい。
【0146】
また、CPU301(第3プロセッサの一例)とチップセット303(第2プロセッサの一例)とは個別のプロセッサとして構成されてもよいし、1つのプロセッサとして一体化して構成されてもよい。
【0147】
また、上記実施形態では、顔検出部210(第1プロセッサの一例)がチップセット303とは別に備えられている例を示したが、顔検出部210の一部または全部は、チップセット303に備えられてもよいし、チップセット303と一体化されたプロセッサに備えられてもよい。また、顔検出部210とチップセット303とCPU301とが1つのプロセッサとして一体化して構成されてもよい。また、顔検出部210の一部または全部は、EC200に備えられてもよい。
【0148】
また、上述した待機状態には、ハイバネーション状態やパワーオフ状態等が含まれてもよい。ハイバネーション状態は、例えば、ACPIで規定されているS4状態に相当する。パワーオフ状態は、例えば、ACPIで規定されているS5状態(シャットダウンした状態)相当する。なお、待機状態のうちスタンバイ状態、スリープ状態、ハイバネーション状態、パワーオフ状態などは、通常動作状態よりも電力の消費量が低い状態(電力の消費を抑えた状態)である。
【0149】
なお、上述した情報処理装置1は、内部にコンピュータシステムを有している。そして、上述した情報処理装置1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理装置1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
【0150】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理装置1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0151】
また、上述した実施形態における情報処理装置1が備える各機能の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【0152】
1 情報処理装置、10 第1筐体、20 第2筐体、15 ヒンジ機構、110 表示部、120 撮像部、140 電源ボタン、150 入力デバイス、151 キーボード、153 タッチパッド、160 通信部、170 記憶部、200 EC、210 顔検出部、211 顔検出処理部、212 顔認証処理部、213 HPDユーザID登録部、214 HPD処理部、300 メイン処理部、301 CPU、302 GPU、303 チップセット、304 システムメモリ、310 システム処理部、311 動作制御部、312 認証処理部、330 HPD制御処理部、331 動作指示部、332 認証結果通知部、400 電源部
【要約】
【課題】正規ユーザの顔を適切に認証すること。
【解決手段】情報処理装置は、撮像部により撮像された撮像画像の中から顔が撮像されている顔画像の領域を検出する顔検出処理と、検出された顔画像に基づく情報と正規ユーザの顔画像に基づく情報とに基づいて顔認証する顔認証処理とを実行する第1プロセッサと、顔検出処理により顔画像の領域が検出され且つ顔認証処理による顔認証が成功したことに基づいて、システムを待機状態から起動させる第2プロセッサと、を備える。第2プロセッサは、システムの起動後に、システムの処理により正規ユーザであるか否かを認証するシステム認証処理を実行する。第1プロセッサは、システム認証処理による認証が成功してからの所定時間内において、顔検出処理により検出された顔画像のうち顔の向きが特定の向きになったときの顔画像に基づく情報を、正規ユーザの顔画像に基づく情報として登録する。
【選択図】図3
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12