(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-01-27
(45)【発行日】2023-02-06
(54)【発明の名称】電子機器、及び制御方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20230130BHJP
H04N 23/611 20230101ALI20230130BHJP
H04N 23/667 20230101ALI20230130BHJP
H04N 23/45 20230101ALI20230130BHJP
【FI】
H04N5/232 290
H04N5/232 190
H04N5/232 450
H04N5/225 800
(21)【出願番号】P 2021201091
(22)【出願日】2021-12-10
【審査請求日】2021-12-10
(73)【特許権者】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100175824
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100206081
【氏名又は名称】片岡 央
(72)【発明者】
【氏名】小杉 和宏
【審査官】泉 卓也
(56)【参考文献】
【文献】特開2006-092191(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
H04N 5/225
(57)【特許請求の範囲】
【請求項1】
撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、
前記メモリに記憶された画像データを処理するプロセッサと、を備え、
前記プロセッサは、
前記メモリに記憶された画像データの前記画像の中から顔が撮像されている顔領域を、第1の検出精度で検出する第1検出モードと前記第1の検出精度よりも高い第2の検出精度で検出する第2検出モードとを有し、
前記第2検出モードで前記顔領域が検出された場合、前記第2検出モードで検出された前記顔領域に基づく第1領域を設定し、前記第1検出モードで前記顔領域を検出する際に、前記第1領域と前記第1領域以外の第2領域とでは異なる検出条件で前記顔領域を検出する顔検出処理を実行
し、
前記撮像装置は、
可視光線を撮像する第1撮像素子と赤外線を撮像する第2撮像素子とを備え、
前記第1検出モードは、前記第1撮像素子と前記第2撮像素子のうち前記第1撮像素子のみを用いて撮像する検出モードであり、前記第2検出モードは、少なくとも前記第2撮像素子を用いて撮像する検出モードである、
電子機器。
【請求項2】
前記プロセッサは、
前記顔検出処理において、前記画像の中から顔らしさの評価値が第1閾値以上の領域を前記顔領域として検出し、
前記第1領域における前記第1閾値は、前記第2領域における前記第1閾値よりも低く設定される、
請求項1に記載の電子機器。
【請求項3】
前記プロセッサは、
前記顔検出処理において、前記第1検出モードで検出された前記顔領域の位置または大きさの変化に応じて、前記第1領域の位置または大きさを変更する、
請求項1または請求項2に記載の電子機器。
【請求項4】
前記プロセッサは、
前記第1検出モードにおいて、前記第1領域内に前記顔領域を検出できなくなった場合、前記第1領域を解除する、
請求項1から請求項
3のいずれか一項に記載の電子機器。
【請求項5】
撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、
前記メモリに記憶された画像データを処理するプロセッサと、を備え、
前記プロセッサは、
前記メモリに記憶された画像データの前記画像の中から顔が撮像されている顔領域を、第1の検出精度で検出する第1検出モードと前記第1の検出精度よりも高い第2の検出精度で検出する第2検出モードとを有し、
前記第2検出モードで前記顔領域が検出された場合、前記第2検出モードで検出された前記顔領域に基づく第1領域を設定し、前記第1検出モードで前記顔領域を検出する際に、前記第1領域と前記第1領域以外の第2領域とでは異なる検出条件で前記顔領域を検出する顔検出処理を実行
し、
前記顔検出処理において、前記画像の中から顔らしさの評価値が第1閾値以上の領域を前記顔領域として検出し、
前記第1領域における前記第1閾値は、前記第2領域における前記第1閾値よりも低く設定され、
前記第1検出モードにおいて、前記第1領域内に前記顔領域を検出できなくなった場合、前記第1領域を解除し、
前記第1領域を解除した後に、前記第1検出モードにおいて、前記評価値が前記第1閾値よりも高い第2閾値以上となる前記顔領域が検出された場合、検出された前記顔領域に基づいて前記第1領域を再び設定する、
電子機器。
【請求項6】
撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器における制御方法であって、
前記プロセッサが、
前記メモリに記憶された画像データの前記画像の中から顔が撮像されている顔領域を、第1の検出精度で検出する第1検出モードと前記第1の検出精度よりも高い第2の検出精度で検出する第2検出モードとを有し、
前記第2検出モードで前記顔領域が検出された場合、前記第2検出モードで検出された前記顔領域に基づく第1領域を設定するステップと、
前記第1検出モードで前記顔領域を検出する際に、前記第1領域と前記第1領域以外の第2領域とでは異なる検出条件で前記顔領域を検出するステップと、
を含
み、
前記撮像装置は、
可視光線を撮像する第1撮像素子と赤外線を撮像する第2撮像素子とを備え、
前記第1検出モードは、前記第1撮像素子と前記第2撮像素子のうち前記第1撮像素子のみを用いて撮像する検出モードであり、前記第2検出モードは、少なくとも前記第2撮像素子を用いて撮像する検出モードである、
制御方法。
【請求項7】
撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器における制御方法であって、
前記プロセッサが、
前記メモリに記憶された画像データの前記画像の中から顔が撮像されている顔領域を、第1の検出精度で検出する第1検出モードと前記第1の検出精度よりも高い第2の検出精度で検出する第2検出モードとを有し、
前記第2検出モードで前記顔領域が検出された場合、前記第2検出モードで検出された前記顔領域に基づく第1領域を設定するステップと、
前記第1検出モードで前記顔領域を検出する際に、前記第1領域と前記第1領域以外の第2領域とでは異なる検出条件で前記顔領域を検出するステップと、
を含
み、
前記顔領域を検出するステップにおいて、前記画像の中から顔らしさの評価値が第1閾値以上の領域を前記顔領域として検出し、
前記第1領域における前記第1閾値は、前記第2領域における前記第1閾値よりも低く設定され、
さらに、
前記第1検出モードにおいて、前記第1領域内に前記顔領域を検出できなくなった場合、前記第1領域を解除するステップと、
前記第1領域を解除した後に、前記第1検出モードにおいて、前記評価値が前記第1閾値よりも高い第2閾値以上となる前記顔領域が検出された場合、検出された前記顔領域に基づいて前記第1領域を再び設定するステップと、
を含む制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、及び制御方法に関する。
【背景技術】
【0002】
人物が近づくと使用可能な動作状態に遷移し、人物が離れると一部の機能を除いて停止した待機状態に遷移する電子機器がある。例えば、特許文献1には、赤外線センサを用いて赤外線の強弱を検知することにより、人物が近づいてきたか否か、或いは人物が離れたか否かを検出して電子機器の動作状態を制御する技術が開示されている。
【0003】
近年、コンピュータビジョンなどの発展により画像から顔を検出する技術が一般的となり、電子機器の正面を撮像した画像から顔が検出されるか否かによって電子機器の動作状態を制御することも行われている。赤外線センサを用いる場合には人物であっても人物以外の物体であっても赤外線が反射して戻ってきてしまうが、顔検出を利用することで、単なる物体を人物と間違えて検出してしまうことを抑制することができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、顔検出を利用した場合でも、マスクをしている場合や顔の向きなど様々な要因によって顔を正しく検出できない場合があり、顔検出が不安定になることがある。不安定な顔検出は、電子機器の状態の制御に影響を及ぼすこととなり、例えば人物が近づいても使用可能な状態に遷移しないことや、人物が遠ざかっても待機状態に遷移しないといったことが起こり得る。仮に、赤外線センサを併用したり顔検出時のフレームレートを高くしたりすることによって顔検出の検出精度をなるべく高くする方法が考えられるが、検出精度を上げるには消費電力が増加するという問題がある。常時、人物の接近や離脱を検出するには、消費電力をなるべく抑えることが望ましい。
【0006】
本発明は、上記した事情に鑑みてなされたもので、検出精度を抑えつつ安定した顔検出を行う電子機器、及び制御方法を提供することを目的の一つとする。
【課題を解決するための手段】
【0007】
本発明は上記の課題を解決するためになされたものであり、本発明の第1態様に係る電子機器は、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサと、を備え、前記プロセッサは、前記メモリに記憶された画像データの前記画像の中から顔が撮像されている顔領域を、第1の検出精度で検出する第1検出モードと前記第1の検出精度よりも高い第2の検出精度で検出する第2検出モードとを有し、前記第2検出モードで前記顔領域が検出された場合、前記第2検出モードで検出された前記顔領域に基づく第1領域を設定し、前記第1検出モードで前記顔領域を検出する際に、前記第1領域と前記第1領域以外の第2領域とでは異なる検出条件で前記顔領域を検出する顔検出処理を実行する。
【0008】
上記電子機器において、前記プロセッサは、前記顔検出処理において、前記画像の中から顔らしさの評価値が第1閾値以上の領域を前記顔領域として検出し、前記第1領域における前記第1閾値は、前記第2領域における前記第1閾値よりも低く設定されてもよい。
【0009】
上記電子機器において、前記プロセッサは、前記顔検出処理において、前記第1検出モードで検出された前記顔領域の位置または大きさの変化に応じて、前記第1領域の位置または大きさを変更してもよい。
【0010】
上記電子機器において、前記撮像装置は、可視光線を撮像する第1撮像素子と赤外線を撮像する第2撮像素子とを備え、前記第1検出モードは、前記第1撮像素子と前記第2撮像素子のうち前記第1撮像素子のみを用いて撮像する検出モードであり、前記第2検出モードは、少なくとも前記第2撮像素子を用いて撮像する検出モードであってもよい。
【0011】
上記電子機器において、前記第1検出モードは、前記第2検出モードよりも前記顔検出処理で消費する電力が低い検出モードであってもよい。
【0012】
上記電子機器において、前記第1検出モードは、前記画像の中から前記顔領域を検出するための検出モードであり、前記第2検出モードは、前記画像の中から顔認証を行うための前記顔領域を検出するための検出モードであってもよい。
【0013】
上記電子機器において、前記プロセッサは、前記第1検出モードにおいて、前記第1領域内に前記顔領域を検出できなくなった場合、前記第1領域を解除してもよい。
【0014】
上記電子機器において、前記プロセッサは、前記第1検出モードにおいて、前記第1領域内に前記顔領域を検出できなくなった場合、前記第1領域を解除し、前記第1領域を解除した後に、前記第1検出モードにおいて、前記評価値が前記第1閾値よりも高い第2閾値以上となる前記顔領域が検出された場合、検出された前記顔領域に基づいて前記第1領域を再び設定してもよい。
【0015】
また、本発明の第2態様に係る電子機器は、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサと、を備え、前記プロセッサは、前記メモリに記憶された画像データの前記画像の中から顔らしさの評価値が第1閾値以上の領域を顔領域として検出する顔検出処理を実行し、前記顔検出処理において、前記評価値が前記第1閾値よりも高い第2閾値以上となる前記顔領域が検出された場合、検出された前記顔領域に基づく第1領域を設定し、以降の前記顔領域を検出する際に、前記第1領域と前記第1領域以外の第2領域とでは異なる検出条件で前記顔領域を検出する。
【0016】
また、本発明の第3態様に係る、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器の制御方法は、前記プロセッサが、前記メモリに記憶された画像データの前記画像の中から顔が撮像されている顔領域を、第1の検出精度で検出する第1検出モードと前記第1の検出精度よりも高い第2の検出精度で検出する第2検出モードとを有し、前記第2検出モードで前記顔領域が検出された場合、前記第2検出モードで検出された前記顔領域に基づく第1領域を設定するステップと、前記第1検出モードで前記顔領域を検出する際に、前記第1領域と前記第1領域以外の第2領域とでは異なる検出条件で前記顔領域を検出するステップと、を含む。
【0017】
また、本発明の第4態様に係る、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器の制御方法は、前記プロセッサが、前記メモリに記憶された画像データの前記画像の中から顔らしさの評価値が第1閾値以上の領域を顔領域として検出するステップと、前記評価値が前記第1閾値よりも高い第2閾値以上となる前記顔領域が検出された場合、検出された前記顔領域に基づく第1領域を設定するステップと、以降の前記顔領域を検出する際に、前記第1領域と前記第1領域以外の第2領域とでは異なる検出条件で前記顔領域を検出するステップと、を含む。
【発明の効果】
【0018】
本発明の上記態様によれば、検出精度を抑えつつ安定した顔検出を行うことができる。
【図面の簡単な説明】
【0019】
【
図1】第1の実施形態に係る電子機器のHPD処理の概要を説明する図。
【
図2】顔領域が検出された撮像画像の一例を示す図。
【
図3】顔領域が検出されていない撮像画像の一例を示す図。
【
図4】第1の実施形態に係る高信頼性領域の設定例を示す図。
【
図5】第1の実施形態に係る標準検出モードと高精度検出モードとの対比の一例を示す図。
【
図6】第1の実施形態に係る電子機器の外観の構成例を示す斜視図。
【
図7】第1の実施形態に係る電子機器のハードウェア構成の一例を示すブロック図。
【
図8】第1の実施形態に係る顔検出部の構成の一例を示すブロック図。
【
図9】第1の実施形態に係る高信頼性領域のトラッキングの説明図。
【
図10】第1の実施形態に係る標準検出モードにおける顔検出処理の一例を示すフローチャート。
【
図11】第2の実施形態に係る標準検出モードにおける顔検出処理の一例を示すフローチャート。
【発明を実施するための形態】
【0020】
以下、図面を参照して、本発明の実施形態について説明する。
<第1の実施形態>
まず、第1の実施形態に係る電子機器1の概要について説明する。
本実施形態に係る電子機器1は、例えば、ノート型のPC(Personal Computer;パーソナルコンピュータ)である。
【0021】
電子機器1は、システムの動作状態として少なくとも「通常動作状態」と「待機状態」とを有している。通常動作状態とは、特に制限なく処理の実行が可能な動作状態であり、例えば、ACPI(Advanced Configuration and Power Interface)で規定されているS0状態に相当する。
【0022】
待機状態とは、システムの少なくとも一部の機能の使用が制限されている状態である。例えば、待機状態は、スタンバイ状態またはスリープ状態などであり、Windows(登録商標)におけるモダンスタンバイや、ACPIで規定されているS3状態(スリープ状態)等に相当する状態であってもよい。なお、待機状態は、少なくとも表示部の表示がOFF(画面OFF)となる状態、または画面ロックとなる状態であってもよい。画面ロックとは、処理中の内容が視認できないように予め設定された画像(例えば、画面ロック用の画像)が表示部に表示され、ユーザ認証などによってロックを解除するまで使用できない状態である。つまり、待機状態は、例えば通常動作状態よりも消費電力が低くなる動作状態、ユーザが電子機器1の作業内容を視認できない状態、またはユーザが電子機器1を使用できない状態などのいずれかに相当する。
【0023】
また、システムの動作状態には、待機状態よりも更に消費電力が低い状態となる「停止状態」が含まれる。停止状態とは、例えばハイバネーション状態やパワーオフ状態等である。ハイバネーション状態は、例えば、ACPIで規定されているS4状態に相当する。パワーオフ状態は、例えば、ACPIで規定されているS5状態(シャットダウン状態)に相当する。
【0024】
以下では、システムの動作状態が待機状態または停止状態から通常動作状態へ遷移することを起動と呼ぶことがある。待機状態及び停止状態は、例えば、通常動作状態よりも動作の活性度が低いため、電子機器1のシステムを起動させることは、電子機器1におけるシステムの動作を活性化させることになる。
【0025】
図1は、本実施形態に係る電子機器1のHPD処理の概要を説明する図である。電子機器1は、電子機器1の近傍に存在する人物(即ちユーザ)を検出する。この人物の存在を検出する処理のことを、HPD(Human Presence Detection)処理と称する。電子機器1は、HPD処理により人物の存在の有無を検出し、検出結果に基づいて電子機器1のシステムの動作状態を制御する。例えば、電子機器1は、
図1(A)に示すように、電子機器1の前(正面)に人物が存在しない状態(Absence)から存在する状態(Presence)への変化、即ち電子機器1へ人物が接近したこと(Approach)を検出した場合、ユーザが接近したと判定し、自動でシステムを起動して通常動作状態へ遷移させる。また、電子機器1は、
図1(B)に示すように、電子機器1の前に人物が存在している状態(Presence)では、ユーザが存在すると判定し、通常動作状態を継続させる。そして、電子機器1は、
図1(C)に示すように、電子機器1の前(正面)に人物が存在している状態(Presence)から存在しない状態(Absence)への変化、即ち電子機器1から人物が離脱したこと(Leave)を検出した場合には、ユーザが離脱したと判定し、システムを待機状態へ遷移させる。
【0026】
例えば、電子機器1は、顔検出の機能を有しており、前方(正面側)を撮像した撮像画像から顔が撮像されている顔領域を検出することにより、電子機器1の前(正面)にユーザが存在するか否かを判定する。電子機器1は、撮像画像から顔領域が検出された場合、ユーザが存在すると判定する。一方、電子機器1は、撮像画像から顔領域が検出されなかった場合、ユーザが存在しないと判定する。即ち、電子機器1は、撮像画像から顔領域が検出されない状態から検出された場合、電子機器1へユーザが接近したこと(Approach)を検出し、システムを通常動作状態へ遷移させる。また、電子機器1は、撮像画像から顔領域が検出されている状態から検出されなくなった場合、電子機器1からユーザが離脱したこと(Leave)を検出し、システムを待機状態へ遷移させる。
【0027】
ここで、撮像画像から顔領域を検出する場合、マスクをしているなどの要因によって正しく検出できない場合があり、顔検出が不安定になることがある。
図2及び
図3は、顔検出用の撮像画像の例を示している。
図2は、顔領域が検出された撮像画像の一例を示す図である。一方、
図3は、顔領域が検出されていない撮像画像の一例を示す図である。
【0028】
図2において、バウンディングボックス101は、撮像画像G11から検出された顔領域を示している。顔領域の検出方法としては、顔の特徴情報を基に顔を検出する顔検出アルゴリズムや、顔の特徴情報または顔画像を元に機械学習された学習データ(学習済みモデル)や顔検出ライブラリなどを用いた任意の検出方法を適用することができる。例えば、電子機器1は、複数の顔画像の画像データを読み込ませて機械学習させた学習データを用いて撮像画像の中から顔らしさを示す評価値(以下、「顔検出評価値」と称する)を取得し、顔検出評価値が所定の閾値(以下、「顔判定閾値」と称する)以上となる領域を顔領域として検出する。一例として、顔判定閾値が「70」の場合、
図2に示す例では、例えば顔検出評価値が「70」であり、顔検出評価値が顔判定閾値以上となるため、顔領域として検出されている。一方、
図3に示す例では、例えば顔検出評価値が「68」であり、顔検出評価値が顔判定閾値未満であるため、顔領域として検出されていない。バウンディングボックス101は、検出された顔領域の位置および大きさ(縦横の長さ)の座標情報(画像領域における座標情報)を可視化して示したものである。例えば、顔領域の検出結果は、顔領域の座標情報と顔検出評価値とを含む情報として出力される。
【0029】
このように、マスクをしているなどの要因によって顔検出評価値が顔判定閾値による境界に近くなると、顔として判定されたり判定されなかったりといったように顔検出が不安定になることがある。なお、マスクをしている場合に限らず、顔の向きなど様々な要因によっても顔検出評価値が顔判定閾値による境界に近くなることがある。例えば、顔判定閾値を下げれば、
図3に示すように顔領域として検出されなかったものも顔領域として検出される可能性が高くなるが、反面、服のシワや物の配置の状況などによって人物の顔ではない領域を顔領域として誤検出してしまう可能性も高くなる。
【0030】
そこで、本実施形態では、HPD処理における顔検出よりも高い検出精度で顔領域を検出する検出モードで顔領域が検出された場合、その検出結果の信頼性が高い(顔が存在する可能性が高い)と判断できるため、検出された顔領域に基づく特定領域のみ顔判定閾値を下げる。これにより、人物の顔ではない領域を顔領域として誤検出してしまう可能性を高めることなく、人物の顔の領域が正しく顔領域として検出される可能性が高くなるため、安定した顔検出を実現することができる。
【0031】
以下では、HPD処理における顔検出モードのことを「標準検出モード」、HPD処理における顔検出よりも高い検出精度で顔領域を検出する検出モードのことを「高精度検出モード」と称する。また、高精度検出モードで検出された顔領域に基づく特定領域(顔領域の検出結果の信頼性が高い領域)のことを「高信頼性領域」、以外の撮像画像のことを「標準領域」領域と称する。
【0032】
図4は、本実施形態に係る高信頼性領域の設定例を示す図である。バウンディングボックス102は、高精度検出モードで撮像画像G13から検出された顔領域を示している。高信頼性領域103は、このバウンディングボックス102を含むバウンディングボックス102よりも広い領域として設定される。例えば、高信頼性領域103は、バウンディングボックス102の中心を中心として、縦および横の長さがバウンディングボックス102の縦および横の長さに対して所定の割合分(例えば50%)加えた広い領域として設定される。HPD処理において標準検出モードで撮像画像から顔領域を検出する際には、高信頼性領域103のみ顔判定閾値が低く設定される。例えば、高信頼性領域103の顔判定閾値は、高信頼性領域103以外の標準領域の顔判定閾値に対して所定の割合分(例えば10%)低い値に設定される。
【0033】
例えば、標準領域の顔判定閾値が「70」としたときに、高信頼性領域の顔判定閾値は「63」に設定される。
図2および
図3に示す例で、高信頼性領域が設定されていない場合には、顔領域が検出されたり(
図2:顔検出評価値=70)、顔領域が検出されなかったり(
図3:顔検出評価値=68)するが、高信頼性領域を設定して顔判定閾値が「63」になると、いずれの顔検出評価値も顔判定閾値以上となり、安定して顔領域が検出されるようになる。
【0034】
なお、標準領域の顔判定閾値は、一つの値に設定されるものではなく、撮像画像の明るさなどに応じて適宜変化する値である。高信頼性領域103の顔判定閾値は、その時々の標準領域の顔判定閾値に対して所定の割合分(例えば10%)低い値に設定される。
【0035】
また、撮像画像から検出される顔領域の数は1つとは限らないが、複数の顔領域が検出された場合でも、撮像画像から検出された顔領域のうち最もメインとなる顔領域に対して高信頼性領域が設定される。最もメインとなる顔領域とは、例えば、撮像画像から検出された顔領域のうち最も大きい顔領域である。また、最もメインとなる顔の顔領域は、顔領域の大きさに代えて又は加えて、撮像画像内の位置に関する要因(例えば、中央に近い)に基づいて決定されてもよい。
【0036】
次に、
図5を参照して、標準検出モードと高精度検出モードとの違いについて説明する。
図5は、本実施形態に係る標準検出モードと高精度検出モードとの対比の一例を示す図である。標準検出モードは、顔検出の機能に用いられる。一方、高精度検出モードは、顔認証の機能に用いられる。顔認証処理では、顔の特徴をより高精度に照合する必要があるため、高精度検出モードが必要となる。例えば、ログイン時の認証処理、アクセス制限されているデータへのアクセス時の認証処理などにおいて顔認証の機能を用いる場合に、高精度検出モードが適用される。
【0037】
また、標準検出モードでは、可視光線を撮像するRGBセンサを撮像センサとして用いて画像が撮像される。一方、高精度検出モードでは、RGBセンサに加えて赤外線を撮像可能なIR(Infrared Radiation)センサも用いて画像が撮像される。なお、高精度検出モードでは、RGBセンサとIRセンサのうちIRセンサのみを用いて画像が撮像されてもよい。IRセンサを用いることにより、低照度環境であっても顔認証に必要な顔の特徴を撮像可能となるが、その反面、赤外線を発光させるため消費電力が高くなる。また、高精度検出モードでは、標準検出モードに対してフレームレートを高くして顔領域を検出することにより、検出精度を高くする。この場合も、フレームレートを高くした分、消費電力が高くなる。なお、高精度検出モードでは、標準検出モードに対して高解像度で顔領域を検出してもよい。
【0038】
つまり、標準検出モードはRGBセンサとIRセンサのうちRGBセンサのみを用いて撮像する検出モードであり、高精度検出モードは少なくともIRセンサを用いて撮像する検出モードである、ということができる。また、標準検出モードは、高精度検出モードよりも顔検出処理で消費する電力が低い検出モードである、ということもできる。また、標準検出モードは撮像画像の中から顔領域を検出するための検出モードであり、高精度検出モードは撮像画像の中から顔認証を行うための顔領域を検出するための検出モードである、ということもできる。
【0039】
なお、
図5を参照して、標準検出モードと高精度検出モードとの違いについて説明したが、標準検出モードよりも高精度検出モードの方が高精度に顔領域を検出できれば、機能、撮像センサ、フレームレート、解像度の全てが異なる必要はない。例えば、標準検出モードと高精度検出モードとでは撮像センサが異なるものの、フレームレートおよび解像度のいずれか一方または両方は同じでもよい。また、標準検出モードと高精度検出モードとではフレームレートおよび解像度のいずれか一方または両方が異なれば、撮像センサが同じであってもよい。いずれにしても、標準検出モードよりも高精度検出モードの方が消費電力は高くなるため、標準検出モードでは、高精度検出モードでの検出結果を利用して高信頼性領域を設定して顔領域を検出することにより、消費電力を上げることなく、安定した顔検出を実現できる。
【0040】
次に、本実施形態に係る電子機器1の構成について詳しく説明する。
[電子機器の外観構成]
図6は、本実施形態に係る電子機器1の外観の構成例を示す斜視図である。
電子機器1は、第1筐体10、第2筐体20、及びヒンジ機構15を備える。第1筐体10と第2筐体20は、ヒンジ機構15を用いて結合されている。第1筐体10は、第2筐体20に対して、ヒンジ機構15がなす回転軸の周りに相対的に回動可能である。第1筐体10と第2筐体20との回動による開き角を「θ」として図示している。
【0041】
第1筐体10は、Aカバー、ディスプレイ筐体とも呼ばれる。第2筐体20は、Cカバー、システム筐体とも呼ばれる。以下の説明では、第1筐体10と第2筐体20の側面のうち、ヒンジ機構15が備わる面を、それぞれ側面10c、20cと呼ぶ。第1筐体10と第2筐体20の側面のうち、側面10c、20cとは反対側の面を、それぞれ側面10a、20aと呼ぶ。図示において、側面20aから側面20cに向かう方向を「後」と呼び、側面20cから側面20aに向かう方向を「前」と呼ぶ。後方に対して右方、左方を、それぞれ「右」、「左」と呼ぶ。第1筐体10、第2筐体20の左側面をそれぞれ側面10b、20bと呼び、右側面をそれぞれ側面10d、20dと呼ぶ。また、第1筐体10と第2筐体20とが重なり合って完全に閉じた状態(開き角θ=0°の状態)を「閉状態」と呼ぶ。閉状態において第1筐体10と第2筐体20との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と呼ぶ。また、閉状態に対して第1筐体10と第2筐体20とが開いた状態のことを「開状態」と呼ぶ。
【0042】
図6に示す電子機器1の外観は開状態の例を示している。開状態は、第1筐体10の側面10aと第2筐体20の側面20aとが離れた状態である。開状態では、第1筐体10と第2筐体20とのそれぞれの内面が表れる。開状態はユーザが電子機器1を使用する際の状態の一つであり、典型的には開き角θ=100~130°程度の状態で使用されることが多い。なお、開状態となる開き角θの範囲は、ヒンジ機構15よって回動可能な角度の範囲等に応じて任意に定めることができる。
【0043】
第1筐体10の内面には、表示部110が設けられている。表示部110は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどを含んで構成されている。また、第1筐体10の内面のうち表示部110の周縁の領域に、撮像部120が設けられている。例えば、撮像部120は、表示部110の周縁の領域のうち側面20a側に配置されている。なお、撮像部120が配置される位置は一例であって、第1筐体10の内面に対面する方向(前方)を向くことが可能であれば他の場所であってもよい。
【0044】
撮像部120は、開状態において、第1筐体10の内面に対面する方向(前方)の所定の撮像範囲を撮像する。所定の撮像範囲とは、撮像部120が有する撮像センサ(撮像素子)と撮像センサの撮像面の前方に設けられたレンズとによって定まる画角の範囲である。例えば、撮像部120は、第1カメラ121と、第2カメラ122との2つのカメラを備えている。
【0045】
第1カメラ121は、レンズを介して入射される可視光線を受光して光電変換するRGBセンサを撮像センサとして備えるカメラである。また、第2カメラ122は、レンズを介して入射される赤外線を受光して光電変換するIRセンサを撮像センサとして備えるカメラである。第1カメラ121および第2カメラ122は、それぞれ、電子機器1の前(正面)に存在する人物を含む画像を撮像することができる。
【0046】
また、第2筐体20の側面20bには、電源ボタン140が設けられている。電源ボタン140は、電源オン(停止状態から通常動作状態へ遷移)や、電源オフ(通常動作状態から停止状態への遷移)をユーザが指示するための操作子である。また、第2筐体20の内面には、キーボード151及びタッチパッド153が入力デバイスとして設けられている。なお、入力デバイスとして、キーボード151及びタッチパッド153に代えて、または加えて、タッチセンサが含まれてもよいし、マウスや外付けのキーボードが接続されてもよい。タッチセンサが設けられた構成の場合、表示部110の表示面に対応する領域にタッチセンサが設けられたタッチパネルとして構成されてもよい。また、入力デバイスには、音声が入力されるマイクが含まれてもよい。
【0047】
なお、第1筐体10と第2筐体20とが閉じた閉状態では、第1筐体10の内面に設けられている表示部110、及び撮像部120と、第2筐体20の内面に設けられているキーボード151及びタッチパッド153は、互いに他方の筐体面で覆われた状態となる。即ち、閉状態では、電子機器1は少なくとも入出力に関する機能を発揮できない状態となる。
【0048】
[電子機器のハードウェア構成]
図7は、本実施形態に係る電子機器1のハードウェア構成の一例を示すブロック図である。この
図7において、
図6の各部に対応する構成には同一の符号を付している。電子機器1は、表示部110、撮像部120、加速度センサ130、電源ボタン140、入力デバイス150、映像出力端子160、EC(Embedded Controller)200、顔検出部220、システム処理部300、通信部350、記憶部360、及び電源部400を含んで構成される。表示部110は、システム処理部300により実行されるシステム処理及びシステム処理上で動作するアプリケーションプログラムの処理等に基づいて生成された表示データ(画像)を表示する。
【0049】
撮像部120は、第1カメラ121と第2カメラ122とを有し、それぞれ第1筐体10の内面に対面する方向(前方)の所定の画角内の物体の像を撮像し、撮像した撮像画像の画像データをシステム処理部300及び顔検出部220へ出力する。
図6を参照して説明したように、第1カメラ121は、RGBセンサを備え、可視光線を受光して撮像する。第1カメラ121は、撮像した可視光画像(RGB画像)の画像データを出力する。また、第2カメラ122は、IRセンサと赤外線を発光する発光部を備えており、発光部から照射した赤外線の反射光を受光して撮像する。第2カメラ122は、撮像した赤外線画像(IR画像)の画像データを出力する。例えば、撮像部120が撮像した撮像画像の画像データは、システムメモリ310に一時的に記憶され、画像処理などに利用される。
【0050】
なお、本実施形態では、RGBセンサを備えた第1カメラ121とIRセンサを備えた第2カメラ122との2つのカメラとを電子機器1が備える構成例としているが、これに限られるものではない。例えば、可視光線を受光する画素と赤外線を受光する画像との両方が配置されている1つの撮像センサ(所謂、ハイブリッドセンサ)を用いて可視光画像(RGB画像)の画像データと赤外線画像(IR画像)の画像データとを出力可能な1つのカメラを電子機器1が備える構成としてもよい。
【0051】
加速度センサ130は、電子機器1の重力方向に対する向きを検出し、検出結果を示す検出信号をEC200へ出力する。例えば、加速度センサ130は、第1筐体10と第2筐体20とのそれぞれに設けられており、第1筐体10の向きと第2筐体20の向きとを検出し、検出結果を示す検出信号をEC200へ出力する。この第1筐体10の向きと第2筐体20の向きとの検出結果に基づいて、電子機器1の開閉状態および第1筐体10と第2筐体20との開き角θなどを検出することが可能である。なお、加速度センサ130に代えて又は加えて、ジャイロセンサ、傾斜センサ、地磁気センサなどが備えられてもよい。
【0052】
電源ボタン140は、ユーザの操作に応じて操作信号をEC200へ出力する。入力デバイス150は、ユーザの入力を受け付ける入力部であり、例えばキーボード151及びタッチパッド153を含んで構成されている。入力デバイス150は、キーボード151及びタッチパッド153に対する操作を受け付けることに応じて、操作内容を示す操作信号をEC200へ出力する。
【0053】
映像出力端子160は、外部ディスプレイ(表示装置)に接続するための接続端子である。例えば、映像出力端子160は、HDMI(登録商標)端子、USB Type-C端子、ディスプレイポートなどである。
【0054】
電源部400は、電子機器1の各部の動作状態に応じて各部へ電力を供給するための電源系統を介して電力を供給する。電源部400は、DC(Direct Current)/DCコンバータを備える。DC/DCコンバータは、AC(Alternate Current)/DCアダプタもしくは電池パックから供給される直流電力の電圧を、各部で要求される電圧に変換する。DC/DCコンバータで電圧が変換された電力が各電源系統を介して各部へ供給される。例えば、電源部400は、EC200から入力される各部の動作状態に応じた制御信号に基づいて各電源系統を介して各部に電力を供給する。
【0055】
EC200は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュROM、複数チャネルのA/D入力端子、D/A出力端子、およびデジタル入出力端子などを含んで構成されたマイクロコンピュータである。例えば、EC200のCPUは、自部または外部のROMに予め記憶された制御プログラム(ファームウェア)を読み出し、読み出した制御プログラムを実行して、その機能を発揮する。EC200は、加速度センサ130、電源ボタン140、入力デバイス150、顔検出部220、システム処理部300、および電源部400などと接続されている。
【0056】
例えば、EC200は、電源ボタン140に対するユーザの操作に応じた操作信号を受取ると、システム処理部300に対するシステムの起動の指示などを行う。また、EC200は、顔検出部220による検出結果に基づいて、システムの起動の指示や動作状態の遷移の指示を行う。また、EC200は、電源部400と通信を行うことにより、バッテリーの状態(残容量など)の情報を電源部400から取得するとともに、電子機器1の各部の動作状態に応じた電力の供給を制御するための制御信号などを電源部400へ出力する。
【0057】
また、EC200は、入力デバイス150などから操作信号を取得し、取得した操作信号のうちシステム処理部300の処理に必要な操作信号についてはシステム処理部300へ出力する。また、EC200は、加速度センサ130から検出信号を取得し、取得した検出信号に基づいて、電子機器1の向き(第1筐体10および第2筐体20の向き)や、第1筐体10と第2筐体20との開き角θなどを検出する。
【0058】
なお、EC200の機能の一部は、センサハブまたはチップセットなどとして構成されてもよい。
【0059】
顔検出部220は、撮像部120により撮像された撮像画像の画像データを処理するプロセッサである。顔検出部220は、顔検出処理および顔認証処理を実行する。例えば、顔検出部220は、撮像部120により撮像された撮像画像を取得し、取得した撮像画像の中から顔が撮像されている顔領域を検出する顔検出処理を実行する。
【0060】
また、顔検出部220は、顔検出処理の検出結果に基づいて、電子機器1の前方にユーザ(人物)が存在するか否かを検出するHPD処理を実行する。また、顔検出部220は、撮像部120から取得した撮像画像の中から顔領域を検出した後、検出した顔領域の顔画像と予め登録されている顔画像(例えば、正規ユーザの顔画像)とを照合することにより顔認証処理を実行する。この顔検出部220の構成について詳しくは後述する。
【0061】
システム処理部300は、CPU(Central Processing Unit)302、GPU(Graphic Processing Unit)304、メモリコントローラ306、I/O(Input-Output)コントローラ308、及びシステムメモリ310を含んで構成され、OS(Operating System)に基づくシステム処理によって、OS上で各種のアプリケーションプログラムの処理が実行可能である。CPU302とGPU304をプロセッサと総称することがある。
【0062】
CPU302は、OSによる処理や、OS上で動作するアプリケーションプログラムによる処理を実行する。また、CPU302は、EC200からの指示によりシステムの動作状態を遷移させる。例えば、CPU302は、動作状態が停止状態または待機状態であって、EC200から起動の指示を受けると、停止状態または待機状態から通常動作状態に遷移させる起動処理を実行する。また、CPU302は、通常動作状態において待機状態への指示を受取ると、通常動作状態から待機状態に遷移させる。また、CPU302は、通常動作状態においてシャットダウンの指示を受取ると、通常動作状態から停止状態に遷移させるシャットダウン処理を実行する。
【0063】
また、CPU302は、起動処理において、OSの利用を許可するか否かを判定するログイン処理を実行する。CPU302は、OSによる起動処理を開始すると、OSの利用を許可する前にログイン処理を実行し、ログイン処理でログインを許可するまで、通常動作状態への遷移を一旦停止する。ログイン処理では、電子機器1を使用する人物が予め登録された正規のユーザであるか否かを判定するユーザ認証処理が行われる。認証には、パスワード認証、顔認証、指紋認証などがある。
【0064】
例えば、CPU302は、顔認証によるユーザ認証処理を行う場合、顔検出部220による顔認証処理を利用する。CPU302は、認証結果が成功であった場合、ログインを許可し、一旦停止していたシステム処理の実行を再開する。一方、認証結果が失敗であった場合、ログインを許可せず、システム処理の実行を停止したままにする。
【0065】
GPU304は、表示部110に接続されている。GPU304は、CPU302の制御に基づいて画像処理を実行して表示データを生成する。GPU304は、生成した表示データを表示部110に出力する。なお、CPU302とGPU304は、一体化して1個のコアとして形成されてもよいし、個々のコアとして形成されたCPU302とGPU304の相互間で負荷が分担されてもよい。プロセッサの数は、1個に限られず、複数個であってもよい。
【0066】
メモリコントローラ306は、CPU302とGPU304によるシステムメモリ310、記憶部360などからのデータの読出し、書込みを制御する。
I/Oコントローラ308は、通信部350、表示部110およびEC200からのデータの入出力を制御する。
システムメモリ310は、プロセッサの実行プログラムの読み込み領域ならびに処理データを書き込む作業領域として用いられる。また、システムメモリ310は、撮像部120で撮像された撮像画像の画像データを一時的に記憶する。
【0067】
通信部350は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信部350は、イーサネット(登録商標)等の有線LANインターフェースやWi-Fi(登録商標)等の無線LANインターフェース等を含んで構成されている。
【0068】
記憶部360は、HDD(Hard Disk Drive)、SDD(Solid State Drive)、ROM、フラッシュROMなどの記憶媒体を含んで構成される。記憶部360は、OS、デバイスドライバ、アプリケーションなどの各種のプログラム、その他、プログラムの動作により取得した各種のデータを記憶する。
【0069】
なお、システム処理部300は、SOC(System on a chip)として1つのパッケージで構成されてもよいし、一部の機能がチップセットまたはセンサハブなど別の部品として構成されてもよい。
【0070】
[顔検出部の構成]
次に、顔検出部220の構成について詳しく説明する。
図8は、本実施形態に係る顔検出部220の構成の一例を示すブロック図である。図示する、顔検出部220は、顔認証処理部221と、検出領域設定部222と、顔検出処理部223と、HPD処理部224とを備えている。
【0071】
顔認証処理部221は、高精度検出モードで撮像画像の中から顔領域を検出し、顔認証処理を実行する。例えば、顔認証処理部221は、高精度検出モードでは、第1カメラ121および第2カメラ122の両方を有効にし、第2カメラ122からは赤外線を発光させる。顔認証処理部221は、第1カメラ121および第2カメラ122により撮像されたRGB画像及びIR画像の画像データをシステムメモリ310から読み出す。そして、顔認証処理部221は、RGB画像及びIR画像の中から顔領域を検出し、顔認証処理を実行する。
【0072】
なお、顔認証処理部221は、高精度検出モードにおいて、第1カメラ121および第2カメラ122のうち第2カメラ122のみを有効にして、IR画像の中から顔領域を検出し、顔認証処理を実行してもよい。
【0073】
例えば、顔認証処理部221は、認証部320からの要求に応じて顔認証処理を実行し、認証結果を認証部320へ応答する。認証部320は、システム処理部300がOSのプログラムを実行することにより実現される機能構成である。認証部320は、顔認証処理部221による認証結果に基づいて、ログイン時の認証処理、アクセス制限されているデータへのアクセス時の認証処理などを行う。
【0074】
検出領域設定部222は、顔認証処理部221により高精度検出モードで顔領域が検出された場合、高精度検出モードで検出された顔領域に基づいて、標準検出モードで顔領域を検出する際に使用する高信頼性領域を設定する。また、検出領域設定部222は、標準検出モードにおいて高信頼性領域が設定されている場合、高信頼性領域内に検出された顔領域の位置に基づいて当該高信頼性領域の位置を更新する。例えば、検出領域設定部222は、高信頼性領域内に検出された顔領域の位置または大きさから変化した場合、顔領域の位置または大きさの変化に応じて高信頼性領域の位置または大きさを変更する。つまり、検出領域設定部222は、高信頼性領域内に検出された顔領域の位置または大きさの変化(顔の移動)に応じて高信頼性領域を追従させる。
【0075】
図9は、本実施形態に係る高信頼性領域のトラッキングの説明図である。
図9の(A)は、位置aを中心とする顔領域が検出されたときのバウンディングボックス104aと、バウンディングボックス104aに基づいて設定されている高信頼性領域105aとを示している。
図9の(B)に示すように、顔領域の中心が位置aから位置bへ移動すると、バウンディングボックス104a及び高信頼性領域105aは顔領域の移動に追従して移動し、バウンディングボックス104bおよび高信頼性領域105bとなる。
【0076】
なお、検出領域設定部222は、高信頼性領域内に顔領域が検出されなくなった場合には、設定した高信頼性領域を解除する。
【0077】
図8に戻り、顔検出処理部223は、標準検出モードで撮像画像の中から顔領域を検出する。例えば、顔検出処理部223は、第1カメラ121および第2カメラ122のうち第1カメラ121のみを有効にし、第2カメラ122からは赤外線を発光させない。顔検出処理部223は、第1カメラ121により撮像されたRGB画像の画像データをシステムメモリ310から読み出す。そして、顔検出処理部223は、RGB画像の中から顔領域を検出する。例えば、顔検出処理部223は、RGB画像の中から顔検出評価値が顔判定閾値以上の領域を顔領域として検出する。
【0078】
また、顔検出処理部223は、標準検出モードで撮像画像の中から顔領域を検出する際に、高信頼性領域が設定されている場合、高信頼性領域と標準領域とでは異なる検出条件で顔領域を検出する。具体的には、高信頼性領域における顔判定閾値は、標準領域における顔判定閾値よりも低く設定される。例えば、高信頼性領域における顔判定閾値は、標準領域における顔判定閾値所定の割合分(例えば10%)低い値に設定される。
【0079】
HPD処理部224は、顔検出処理部223により撮像画像から顔領域が検出されるか否かに基づいて、電子機器1の前方にユーザが存在するか否かを判定する。例えば、HPD処理部224は、顔検出処理部223により撮像画像から顔領域が検出された場合、電子機器1の前方にユーザが存在すると判定する。一方、HPD処理部224は、顔検出処理部223により撮像画像から顔領域が検出されない場合、電子機器1の前方にユーザが存在しないと判定する。そして、HPD処理部224は、電子機器1の前方にユーザが存在するか否かの判定結果に基づくHPD情報を出力する。
【0080】
例えば、HPD処理部224は、電子機器1の前方にユーザが存在してない状態から存在する状態へ判定結果が変化した場合、電子機器1へユーザが接近したことを示すHPD情報(以下、「アプローチ(Approach)情報」と称する)を出力する。また、HPD処理部224は、電子機器1の前にユーザが存在する状態と判定している間、電子機器1の前にユーザが存在することを示すHPD情報(以下、「プレゼンス(Presence)情報」と称する)を出力する。また、HPD処理部224は、電子機器1の前方にユーザが存在している状態から存在しない状態へ検出状態が変化した場合、電子機器1からユーザが離脱したことを示すHPD情報(以下、「リーブ(Leave)情報」と称する)を出力する。HPD処理部224は、顔検出処理部223による顔領域の検出結果に基づいて、アプローチ情報、プレゼンス情報、またはリーブ情報を動作制御部210へ出力する。
【0081】
動作制御部210は、EC200が制御プログラムを実行することにより実現される機能構成であり、HPD処理部224から出力されたHPD情報を取得し、取得したHPD情報に基づいてシステムの動作状態を制御する。
【0082】
例えば、動作制御部210は、待機状態において、顔検出部220(HPD処理部224)からアプローチ情報を取得した場合、待機状態から通常動作状態へ遷移させる。具体的には、動作制御部210は、システムを起動させる指示をシステム処理部300へ行う。より具体的には、動作制御部210は、システムを起動させる場合、電源部400に対して、電子機器1の各部の動作に必要な電力を供給するための制御信号を出力する。その後、動作制御部210は、システム処理部300にシステムの起動を指示するための起動信号を出力する。システム処理部300は、起動信号を取得すると、システムを起動して待機状態から通常動作状態へ遷移させる。
【0083】
また、動作制御部210は、通常動作状態において、顔検出部220(HPD処理部224)からプレゼンス情報を取得している間、システムを待機状態に遷移させないように制限し、通常動作状態を継続させる。なお、動作制御部210は、顔検出部220(HPD処理部224)からプレゼンス情報を取得していても、所定の条件によって通常動作状態から待機状態へ遷移させてもよい。所定の条件とは、例えば、ユーザによる操作入力が行われていない時間(無操作の時間)が予め設定された時間継続すること、待機状態へ遷移させる操作が行われることなどである。
【0084】
また、動作制御部210は、通常動作において、顔検出部220(HPD処理部224)からリーブ情報を取得した場合、システムを通常動作状態から待機状態へ遷移させる指示をシステム処理部300へ行う。より具体的には、動作制御部210は、システム処理部300にシステムを通常動作状態から待機状態へ遷移させる指示をするための待機信号を出力する。システム処理部300は、待機信号を取得すると、システムを通常動作状態から待機状態へ遷移させる。その後、動作制御部210は、電源部400に対して、待機状態では不要な電力の供給を停止させるための制御信号を出力する。
【0085】
[顔検出処理の動作]
次に、
図10を参照して、顔検出部220が標準検出モードにおいて高信頼性領域を設定して顔領域を検出する顔検出処理の動作について説明する。
図10は、本実施形態に係る標準検出モードにおける顔検出処理の一例を示すフローチャートである。
【0086】
(ステップS101)顔検出部220は、高精度検出モードで顔領域が検出されたか否かを判定する。例えば、顔検出部220は、直前のログイン時の顔認証処理において、高精度検出モードで顔領域が検出されたか否かを判定する。直前のログイン時とは、現在の通常動作状態へ遷移する際の起動におけるログイン時であり、当該ログインの後に待機状態または停止状態へ遷移しておらず、当該ログイン後に通常動作状態が継続している場合を指す。顔検出部220は、高精度検出モードで顔領域が検出されたと判定した場合(YES)、ステップS103の処理へ進む。一方、顔検出部220は、高精度検出モードで顔領域が検出されていないと判定した場合(NO)、ステップS105の処理へ進む。
【0087】
(ステップS103)顔検出部220は、高精度検出モードで検出された顔領域に基づいて高信頼性領域を設定する(
図4参照)。そして、ステップS105の処理へ進む。
【0088】
(ステップS105)顔検出部220は、標準検出モードで撮像画像から顔領域を検出する顔検出処理を行う。例えば、顔検出部220は、撮像画像から顔領域の候補と顔検出評価値とを取得する。そして、ステップS107の処理へ進む。
【0089】
(ステップS107)顔検出部220は、撮像画像から検出された顔領域の候補のうち最もメインの顔領域の候補について、高信頼性領域内であるか否かを判定する。顔検出部220は、高信頼性領域内であると判定した場合(YES)、ステップS109の処理へ進む。一方、顔検出部220は、高信頼性領域内では無い(即ち、標準領域内である)と判定した場合(NO)、ステップS115の処理へ進む。
【0090】
(ステップS109)顔検出部220は、高信頼性領域の顔判定閾値(例えば、「63」)を用いて、高信頼性領域内の顔領域の候補の顔検出評価値を判定する。そして、ステップS111の処理へ進む。
【0091】
(ステップS111)顔検出部220は、顔検出評価値が高信頼性領域の顔判定閾値以上であるか否かを判定し、高信頼性領域の顔判定閾値以上であると判定した場合(YES)、顔領域であると判定してステップS113の処理へ進む。一方、顔検出部220は、高信頼性領域の顔判定閾値未満であると判定した場合(NO)、顔領域では無いと判定してステップS119の処理へ進む。
【0092】
(ステップS113)顔検出部220は、検出された顔領域に基づいて高信頼性領域を更新する。例えば、顔検出部220は、検出された顔領域の位置または大きさが直前に検出された顔領域の位置または大きさから変化した場合、位置または大きさの変化に応じて高信頼性領域の位置または大きさを変更する。
【0093】
(ステップS115)顔検出部220は、標準領域の顔判定閾値(例えば、「70」)を用いて、高信頼性領域外(或いは、高信頼性領域が設定されていない状態)の顔領域の候補の顔検出評価値を判定する。そして、ステップS117の処理へ進む。
【0094】
(ステップS111)顔検出部220は、顔検出評価値が標準領域の顔判定閾値以上であるか否かを判定し、標準領域の顔判定閾値以上であると判定した場合(YES)、顔領域であると判定してステップS119の処理へ進む。一方、顔検出部220は、標準領域の顔判定閾値未満であると判定した場合(NO)、顔領域では無いと判定してステップS119の処理へ進む。
【0095】
(ステップS119)顔検出部220は、高信頼性領域が設定されている場合には高信頼性領域を解除する。例えば、顔検出部220は、高信頼性領域が設定されている状態において、高信頼性領域内に顔領域が検出されなかった場合(ステップS111:NO)、標準領域内に顔領域が検出された場合(ステップS117:YES)、または高信頼性領域内にも標準領域内にも顔領域が検出されなかった場合(ステップS117:NO)には高信頼性領域を解除する。なお、顔検出部220は、高信頼性領域が設定されていない場合(ステップS101:NO)には高信頼性領域が設定されていない状態を継続する。そして、ステップS101の処理へ戻る。
【0096】
[第1の実施形態のまとめ]
以上説明してきたように、本実施形態に係る電子機器1は、撮像部120(撮像装置の一例)で撮像された画像(撮像画像)の画像データを一時的に記憶するシステムメモリ310(メモリの一例)と、システムメモリ310に記憶された画像データを処理する顔検出部220(プロセッサの一例)とを備えている。顔検出部220は、システムメモリ310に記憶された画像データの画像(撮像画像)の中から顔が撮像されている顔領域を、第1の検出精度(例えば、HPD処理における顔検出の検出精度)で検出する標準検出モード(第1検出モードの一例)と、第1の検出精度よりも高い第2の検出精度(例えば、顔認証を行うための検出精度)で検出する高精度検出モード(第2検出モードの一例)とを有する。そして、顔検出部220は、高精度検出モードで顔領域が検出された場合、高精度検出モードで検出された顔領域に基づく高信頼性領域(第1領域の一例)を設定し、標準検出モードで顔領域を検出する際に、高信頼性領域と高信頼性領域以外の標準領域とでは異なる検出条件で顔領域を検出する顔検出処理を実行する。
【0097】
これにより、電子機器1は、標準検出モードで顔領域を検出する際に、標準検出モードよりも高い検出精度で顔領域を検出する高精度検出モードで検出された顔領域に基づく高信頼性領域と高信頼性領域以外の標準領域とでは異なる検出条件で顔領域を検出するため、標準検出モードにおいて検出精度を抑えつつ安定した顔検出を行うことができる。
【0098】
例えば、顔検出部220は、顔検出処理において、撮像画像の中から顔検出評価値(顔らしさの評価値の一例)が顔判定閾値(第1閾値の一例)以上の領域を顔領域として検出する。そして、高信頼性領域における顔判定閾値は、標準領域における顔判定閾値よりも低く設定される。
【0099】
これにより、電子機器1は、顔が存在する可能性が高い高信頼性領域のみ顔領域として検出されやすくなるため、人物の顔ではない領域を顔領域として誤検出してしまう可能性を高めることなく、人物の顔の領域が正しく顔領域として検出される可能性が高くなる。よって、電子機器1は、標準検出モードにおける検出精度を上げることなく、安定した顔検出を実現することができる。
【0100】
また、顔検出部220は、顔検出処理において、標準検出モードで検出された顔領域の位置または大きさの変化に応じて、高信頼性領域の位置または大きさを変更する。
【0101】
これにより、電子機器1は、ユーザの顔の位置が電子機器1の使用中に少し移動しても、安定して顔検出を行うことができる。
【0102】
例えば、撮像部120は、可視光線を撮像するRGBセンサ(第1撮像素子の一例)と赤外線を撮像するIRセンサ(第2撮像素子の一例)とを備えている。標準検出モードは、RGBセンサとIRセンサのうちRGBセンサのみを用いて撮像する検出モードであり、高精度検出モードは、少なくともIRセンサを用いて撮像する検出モードである。
【0103】
これにより、電子機器1は、標準検出モードではIRセンサを用いることなく、RGBセンサを用いて撮像した撮像画像の中から安定して顔領域を検出することができる。よって、電子機器1は、赤外線を発光させる必要が無いため、消費電力を抑えつつ安定した顔検出を実現することができる。
【0104】
また、標準検出モードは、高精度検出モードよりも顔検出処理で消費する電力が低い検出モードである。
【0105】
これにより、電子機器1は、消費電力を抑えつつ安定した顔検出を実現することができる。
【0106】
また、標準検出モードは、撮像画像の中から顔領域を検出するための検出モードである。一方、高精度検出モードは、撮像画像の中から顔認証を行うための顔領域を検出するための検出モードである。
【0107】
これにより、電子機器1は、顔領域を検出する際に、検出精度が高い顔認証処理で検出された顔領域利用することで、検出精度を抑えつつ安定した顔検出を行うことができる。
【0108】
顔検出部220は、標準検出モードにおいて、高信頼性領域内に顔領域を検出できなくなった場合、高信頼性領域を解除する。
【0109】
これにより、電子機器1は、人物の顔ではない領域を顔領域として誤検出してしまうことを抑制できるため、安定した顔検出を行うことができる。
【0110】
また、電子機器1における制御方法は、顔検出部220が、システムメモリ310に記憶された画像データの画像(撮像画像)の中から顔が撮像されている顔領域を、第1の検出精度(例えば、HPD処理における顔検出の検出精度)で検出する標準検出モード(第1検出モードの一例)と、第1の検出精度よりも高い第2の検出精度(例えば、顔認証を行うための検出精度)で検出する高精度検出モード(第2検出モードの一例)とを有し、高精度検出モードで顔領域が検出された場合、高精度検出モードで検出された顔領域に基づく高信頼性領域(第1領域の一例)を設定するステップと、標準検出モードで顔領域を検出する際に、高信頼性領域と高信頼性領域以外の標準領域とでは異なる検出条件で顔領域を検出するステップと、を含む。
【0111】
これにより、電子機器1は、標準検出モードで顔領域を検出する際に、標準検出モードよりも高い検出精度で顔領域を検出する高精度検出モードで検出された顔領域に基づく高信頼性領域と高信頼性領域以外の標準領域とでは異なる検出条件で顔領域を検出するため、標準検出モードにおいて検出精度を抑えつつ安定した顔検出を行うことができる。
【0112】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第1の実施形態では、高精度検出モードで顔領域が検出された場合に、その検出結果の信頼性が高い(顔が存在する可能性が高い)と判断できるため、検出された顔領域に基づく高信頼性領域を設定して顔判定閾値を下げるように制御した。これに対し、本実施形態では、標準検出モードであっても、顔検出評価値が高い場合には、その検出結果の信頼性が高い(顔が存在する可能性が高い)と判断できるため、同様に高信頼性領域を設定して顔判定閾値を下げる制御を行う。
【0113】
例えば、検出領域設定部222は、顔検出処理部223により顔検出評価値が顔判定閾値よりも高い閾値(以下、「高信頼性判定閾値」と称する)以上となる顔領域が検出された場合、検出された顔領域に基づく高信頼性領域を設定する。そして、顔検出処理部223は、以降の顔領域を検出する際に、高信頼性領域と標準領域とでは異なる検出条件で顔検出処理を行う。具体的には、第1の実施形態と同様に、高信頼性領域の顔判定閾値は、標準領域の顔判定閾値に対して所定の割合分(例えば10%)低い値に設定される。
【0114】
検出領域設定部222は、例えば、標準検出モードにおいて、高信頼性領域内に顔領域を検出できなくなったことにより高信頼性領域を解除した場合に、この高信頼性判定閾値を用いて顔検出評価値を判定することにより高信頼性領域を設定する。
検出領域設定部222は、高信頼性領域を解除した後に、標準検出モードにおいて、顔検出評価値が高信頼性判定閾値以上となる顔領域が検出された場合、検出された顔領域に基づいて高信頼性領域を再び設定する。
【0115】
なお、検出領域設定部222は、例えば、標準検出モードにおいて、元々高信頼性領域が設定されていない場合も同様に、この高信頼性判定閾値を用いて顔検出評価値を判定することにより高信頼性領域を設定してもよい。
【0116】
図11は、本実施形態に係る標準検出モードにおける顔検出処理の一例を示すフローチャートである。この
図11において、
図10に示す各処理に対応する処理には同一の符号を付しており、その説明を省略する。本実施形態では、高信頼性領域を設定するトリガとなるステップS101Aの処理のみが、
図10に示すステップS101の処理と異なる。
【0117】
(ステップS101A)顔検出部220は、標準検出モードにおいて、顔検出評価値が高い顔領域が検出されたか否かを判定する。例えば、顔検出部220は、標準検出モードにおいて、顔検出評価値が高信頼性判定閾値以上となる顔領域が検出されたか否かを判定する。顔検出部220は、顔検出評価値が高信頼性判定閾値以上となる顔領域が検出されたと判定した場合(YES)、高信頼性領域を設定して(ステップS103)、顔検出処理を行う(ステップS105)。一方、顔検出部220は、顔検出評価値が高信頼性判定閾値以上となる顔領域が検出されていないと判定した場合(NO)、高信頼性領域を設定せずに、顔検出処理を行う(ステップS105)。以降の処理は、
図10に示す処理と同様である。
【0118】
[第2の実施形態のまとめ]
以上説明してきたように、本実施形態に係る電子機器1は、撮像部120(撮像装置の一例)で撮像された画像(撮像画像)の画像データを一時的に記憶するシステムメモリ310(メモリの一例)と、システムメモリ310に記憶された画像データを処理する顔検出部220(プロセッサの一例)とを備えている。顔検出部220は、システムメモリ310に記憶された画像データの画像(撮像画像)の中から顔検出評価値(顔らしさの評価値の一例)が顔判定閾値(第1閾値の一例)以上の領域を顔領域として検出する顔検出処理を実行する。そして、顔検出部220は、顔検出処理において、顔検出評価値が顔判定閾値よりも高い高信頼性判定閾値(第2閾値の一例)以上となる顔領域が検出された場合、検出された顔領域に基づく高信頼性領域(第1領域の一例)を設定し、以降の顔領域を検出する際に、高信頼性領域と高信頼性領域以外の標準領域とでは異なる検出条件で顔領域を検出する。
【0119】
これにより、電子機器1は、撮像画像から顔領域を検出する際に、顔が存在する可能性が高い高信頼性領域と高信頼性領域以外の標準領域とでは異なる検出条件(例えば、異なる顔判定閾値)で顔領域を検出するため、検出精度を抑えつつ安定した顔検出を行うことができる。
【0120】
例えば、顔検出部220は、標準検出モード(第1検出モードの一例)において、高信頼性領域内に顔領域を検出できなくなった場合、高信頼性領域を解除する。そして、顔検出部220は、高信頼性領域を解除した後に、標準検出モードにおいて、顔検出評価値が高信頼性判定閾値以上となる顔領域が検出された場合、検出された顔領域に基づいて高信頼性領域を再び設定する。
【0121】
これにより、電子機器1は、標準検出モードで顔領域を検出する際に、標準検出モードよりも高い検出精度で顔領域を検出する高精度検出モードで検出された顔領域に基づく高信頼性領域が設定されていない場合でも、顔が存在する可能性が高い領域を高信頼性領域として設定して、人物の顔の領域が正しく顔領域として検出される可能性を高めることができる。
【0122】
また、電子機器1における制御方法は、顔検出部220が、システムメモリ310に記憶された画像データの画像(撮像画像)の中から顔検出評価値(顔らしさの評価値の一例)が顔判定閾値(第1閾値の一例)以上の領域を顔領域として検出するステップと、顔検出評価値が顔判定閾値よりも高い高信頼性判定閾値(第2閾値の一例)以上となる顔領域が検出された場合、検出された顔領域に基づく高信頼性領域(第1領域の一例)を設定するステップと、以降の顔領域を検出する際に、高信頼性領域と高信頼性領域以外の標準領域とでは異なる検出条件で顔領域を検出するステップと、を含む。
【0123】
これにより、電子機器1は、撮像画像から顔領域を検出する際に、顔が存在する可能性が高い高信頼性領域と高信頼性領域以外の標準領域とでは異なる検出条件(例えば、異なる顔判定閾値)で顔領域を検出するため、検出精度を抑えつつ安定した顔検出を行うことができる。
【0124】
以上、この発明の各実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の各実施形態において説明した各構成は、任意に組み合わせることができる。
【0125】
また、上記実施形態では、電子機器1に撮像部120が内蔵されている構成例を説明したが、これに限られるものではない。例えば、撮像部120は、電子機器1に内蔵されていなくてもよく、電子機器1の外部アクセサリとして電子機器1(例えば、側面10a、10b、10c等のいずれか)に取り付け可能に構成され、無線または有線で電子機器1と通信接続されるものであってもよい。
【0126】
また、上記実施形態では、電子機器1は、撮像画像から顔が撮像されている顔領域を検出することによりユーザの存在を検出したが、顔に限らず、身体の少なくとも一部が撮像されている領域を検出することによりユーザの存在を検出してもよい。また、電子機器1は、物体までの距離を検出する距離センサ(例えば、近接センサなど)を併用してもよい。例えば、距離センサは、第1筐体10の内面側に設けられ、第1筐体10の内面に対面する方向(前方)の検出範囲内に存在する物体(例えば、人物)を検出する。一例として、距離センサは、赤外線を発光する発光部と、発光した赤外線が物体の表面に反射して戻ってくる反射光を受光する受光部とを含んで構成される赤外線距離センサであってもよい。なお、距離センサは、発光ダイオードが発光する赤外線を用いたセンサであってもよいし、発光ダイオードが発光する赤外線よりも波長帯域が狭い光線を発光する赤外線レーザを用いたセンサであってもよい。また、距離センサは、赤外線距離センサに限定されるものでなく、物体との距離を検出するセンサであれば、超音波センサまたはUWB(Ultra Wide Band)レーダを用いたセンサ等の他の方式を用いたセンサであってもよい。また、距離センサも、電子機器1に内蔵されていなくてもよく、電子機器1の外部アクセサリとして電子機器1(例えば、側面10a、10b、10c等のいずれか)に取り付け可能に構成され、無線または有線で電子機器1と通信接続されるものであってもよい。また、撮像部120と距離センサとが一体に構成されてもよい。例えば、これらの距離センサは、顔認証処理の際に用いられてもよい。
【0127】
また、上記実施形態では、顔検出部220がEC200とは別に備えられている例を示したが、顔検出部220の一部または全部をEC200が備える構成としてもよいし、顔検出部220の一部または全部とEC200とが1つのパッケージで構成されてもよい。また、顔検出部220の一部または全部をシステム処理部300が備える構成としてもよいし、顔検出部220の一部または全部とシステム処理部300の一部または全部とが1つのパッケージで構成されてもよい。また、動作制御部210の一部または全部は、EC200以外の処理部(例えば、システム処理部300)の機能構成としてもよい。
【0128】
なお、上述した電子機器1は、内部にコンピュータシステムを有している。そして、上述した電子機器1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した電子機器1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
【0129】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に電子機器1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0130】
また、上述した実施形態における電子機器1が備える各機能の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0131】
なお、電子機器1は、ノート型のPCに限られるものではなく、デスクトップ型PC、タブレット端末装置、スマートフォンなどであってもよい。さらに、電子機器1は、PC、タブレット端末装置、スマートフォンなどに限られるものではなく、家庭用電気製品や業務用電気製品にも適用できる。家庭用電気製品としては、テレビや、表示部が備えられた冷蔵庫、電子レンジ等に適用できる。例えば、人物の接近または離脱に応じて、テレビの画面のON/OFFを制御すること、或いは、冷蔵庫や電子レンジ等の表示部の画面のON/OFFを制御することができる。また、業務用電気製品としては、自動販売機や、マルチメディア端末等に適用できる。例えば、人物の接近または離脱に応じて、自動販売機の照明のON/OFFなど、或いは、マルチメディア端末の表示部の画面のON/OFFなどのように動作状態を制御することができる。
【符号の説明】
【0132】
1 電子機器、10 第1筐体、20 第2筐体、15 ヒンジ機構、110 表示部、120 撮像部、121 第1カメラ、122 第2カメラ、130 加速度センサ、140 電源ボタン、150 入力デバイス、151 キーボード、153 タッチパッド、160 映像出力端子、200 EC、210 動作制御部、220 顔検出部、221 顔認証処理部、222 検出領域設定部、223 顔検出処理部、224 HPD処理部、300 システム処理部、302 CPU、304 GPU、306 メモリコントローラ、308 I/Oコントローラ、310 システムメモリ、320 認証部、350 通信部、360 記憶部、400 電源部
【要約】
【課題】検出精度を抑えつつ安定した顔検出を行うこと。
【解決手段】電子機器は、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、メモリに記憶された画像データを処理するプロセッサと、を備えている。プロセッサは、メモリに記憶された画像データの画像の中から顔が撮像されている顔領域を、第1の検出精度で検出する第1検出モードと第1の検出精度よりも高い第2の検出精度で検出する第2検出モードとを有し、第2検出モードで顔領域が検出された場合、第2検出モードで検出された顔領域に基づく第1領域を設定し、第1検出モードで顔領域を検出する際に、第1領域と第1領域以外の第2領域とでは異なる検出条件で顔領域を検出する。
【選択図】
図8