(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-08-29
(45)【発行日】2022-09-06
(54)【発明の名称】電子機器、及び制御方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20220830BHJP
G06F 21/30 20130101ALI20220830BHJP
G03B 15/00 20210101ALI20220830BHJP
【FI】
H04N5/232 290
G06F21/30
G03B15/00 Q
(21)【出願番号】P 2021080887
(22)【出願日】2021-05-12
【審査請求日】2021-05-12
(73)【特許権者】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100175824
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100206081
【氏名又は名称】片岡 央
(72)【発明者】
【氏名】小杉 和宏
【審査官】高野 美帆子
(56)【参考文献】
【文献】国際公開第2021/029152(WO,A1)
【文献】特開2012-028947(JP,A)
【文献】特開2008-009849(JP,A)
【文献】特開2013-179614(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
G06F 21/30
G03B 15/00
(57)【特許請求の範囲】
【請求項1】
撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、
前記メモリに記憶された画像データを処理するプロセッサと、を備え、
前記プロセッサは、
前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を、第1の解像度の画像データと第2の解像度の画像データとに基づいて検出する顔検出部と、
前記複数の画像において連続的に前記顔領域が検出されている状態か否かを判定する検出状態判定部と、を備え、
前記顔検出部は、前記第1の解像度の画像データに基づいて前記顔領域を検出する処理を行っている状態において連続的に前記顔領域が検出されている状態と連続的に前記顔領域が検出されない状態との間で状態が変化したと前記検出状態判定部が判断した場合、前記複数の画像の中から前記顔領域を第2の解像度の画像データに基づいて検出
し、
前記検出状態判定部は、
所定期間に前記所定の時間間隔で撮像された前記複数の画像の中に、前記顔検出部により前記顔領域が検出された画像と顔領域が検出されない画像との両方が所定の割合で含まれることに基づいて、連続的に前記顔領域が検出されない状態であると判定する、
電子機器。
【請求項2】
前記第1の解像度は前記第2の解像度よりも低解像度であり、
前記顔検出部は、
前記第1の解像度の画像データに基づいて前記顔領域を検出する低解像度モードの処理を実行している状態において、連続的に前記顔領域が検出されている状態から、連続的に前記顔領域が検出されない状態へ状態が変化したと前記検出状態判定部が判断した場合、前記低解像度モードの処理で検出されていた前記顔領域の位置に相当する特定領域における前記第2の解像度の画像データに基づいて前記顔領域の検出を行う高解像度モードで処理を実行する、
請求項
1に記載の電子機器。
【請求項3】
前記顔検出部は、
前記高解像度モードで前記特定領域から前記顔領域を検出できなかった場合、前記低解像度モードで前記顔領域の検出を実行する、
請求項
2に記載の電子機器。
【請求項4】
撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、
前記メモリに記憶された画像データを処理するプロセッサと、を備え、
前記プロセッサは、
前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を、第1の解像度の画像データと第2の解像度の画像データとに基づいて検出する顔検出部と、
前記複数の画像において連続的に前記顔領域が検出されている状態か否かを判定する検出状態判定部と、を備え、
前記顔検出部は、前記第1の解像度の画像データに基づいて前記顔領域を検出する処理を行っている状態において連続的に前記顔領域が検出されている状態と連続的に前記顔領域が検出されない状態との間で状態が変化したと前記検出状態判定部が判断した場合、前記複数の画像の中から前記顔領域を第2の解像度の画像データに基づいて検出
し、
前記顔検出部が前記複数の画像から前記顔領域を検出する際の検出範囲は、前記撮像された画像の画像領域の範囲よりも小さい範囲に設定されており、
前記顔検出部により検出された前記顔領域の位置に応じて前記検出範囲を移動させる検出範囲設定部、をさらに備え、
前記検出範囲設定部は、
初期状態では、前記撮像された画像の画像領域の中心位置に前記検出範囲の中心位置が対応するように設定する、
電子機器。
【請求項5】
前記複数の画像の中から前記顔検出部により検出された前記顔領域の位置に基づいて、前記顔領域の移動量が所定の閾値以上であるか否かを判定する移動量判定部、をさらに備え、
前記顔検出部は、
前記移動量判定部により前記顔領域の移動量が所定の閾値以上であると判定された場合には前記顔領域の検出を無効とし、前記移動量判定部により前記顔領域の移動量が所定の閾値未満であると判定された場合には前記顔領域の検出を有効とする、
請求項1から請求項
4のいずれか一項に記載の電子機器。
【請求項6】
撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器における制御方法であって、
顔検出部が、前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を、第1の解像度の画像データと第2の解像度の画像データとに基づいて検出するステップと、
検出状態判定部が、前記複数の画像において連続的に前記顔領域が検出されている状態か否かを判定するステップと、を含み、
前記顔検出部が前記顔領域を検出するステップにおいて、
前記第1の解像度の画像データに基づいて前記顔領域を検出する処理を行っている状態において連続的に前記顔領域が検出されている状態と連続的に前記顔領域が検出されない状態との間で状態が変化したと前記検出状態判定部が判断した場合、前記複数の画像の中から前記顔領域を第2の解像度の画像データに基づいて検出
し、
前記検出状態判定部が判定するステップにおいて、
所定期間に前記所定の時間間隔で撮像された前記複数の画像の中に、前記顔検出部により前記顔領域が検出された画像と顔領域が検出されない画像との両方が所定の割合で含まれることに基づいて、連続的に前記顔領域が検出されない状態であると判定する、
制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、及び制御方法に関する。
【背景技術】
【0002】
人物が近づくと使用可能な状態に遷移し、人物が離れると一部の機能を除いて停止した待機状態に遷移する電子機器がある。例えば、特許文献1には、赤外線センサを用いて、人物が近づいてきたか否か、或いは人物が遠ざかったか否かを検出している。
【0003】
近年、コンピュータビジョンなどの発展により、画像から顔を検出する際の検出精度が高くなってきている。そのため、赤外線センサによる人物の検出に代えて、顔検出が利用され始めている。赤外線センサを用いる場合には人物であっても人物以外の物体であっても赤外線が反射して戻ってきてしまうが、顔検出を利用することで、単なる物体を人物と間違えて検出してしまうことを防止できる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、顔の向きなどによっては顔の検出がしにくい場合があり、人物が存在していても顔が検出されたりされなかったりと検出が不安定になることがある。例えばユーザが電子機器に接続されたセカンドディスプレイを使用している場合、電子機器側からはユーザの横顔を検出することがある。このような場合、電子機器を使用するユーザが存在しているにもかかわらず顔の検出が不安定になることがあり、ユーザが存在しないと誤検出してしまうおそれがある。
【0006】
本発明は、上記した事情に鑑みてなされたもので、使用する人物を精度よく検出する電子機器、及び制御方法を提供することを目的の一つとする。
【課題を解決するための手段】
【0007】
本発明は上記の課題を解決するためになされたものであり、本発明の第1態様に係る電子機器は、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサと、を備え、前記プロセッサは、前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を、第1の解像度の画像データと第2の解像度の画像データとに基づいて検出する顔検出部と、前記複数の画像において連続的に前記顔領域が検出されている状態か否かを判定する検出状態判定部と、を備え、前記顔検出部は、前記第1の解像度の画像データに基づいて前記顔領域を検出する処理を行っている状態において連続的に前記顔領域が検出されている状態と連続的に前記顔領域が検出されない状態との間で状態が変化したと前記検出状態判定部が判断した場合、前記複数の画像の中から前記顔領域を第2の解像度の画像データに基づいて検出する。
【0008】
上記電子機器において、前記検出状態判定部は、所定期間に前記所定の時間間隔で撮像された前記複数の画像の中に、前記顔検出部により前記顔領域が検出された画像と顔領域が検出されない画像との両方が所定の割合で含まれることに基づいて、連続的に前記顔領域が検出されない状態であると判定してもよい。
【0009】
上記電子機器において、前記第1の解像度は前記第2の解像度よりも低解像度であり、前記顔検出部は、前記第1の解像度の画像データに基づいて前記顔領域を検出する低解像度モードの処理を実行している状態において、連続的に前記顔領域が検出されている状態から、連続的に前記顔領域が検出されない状態へ状態が変化したと前記検出状態判定部が判断した場合、前記低解像度モードの処理で検出されていた前記顔領域の位置に相当する特定領域における前記第2の解像度の画像データに基づいて前記顔領域の検出を行う高解像度モードで処理を実行してもよい。
【0010】
上記電子機器において、前記顔検出部は、前記高解像度モードで前記特定領域から前記顔領域を検出できなかった場合、前記低解像度モードで前記顔領域の検出を実行してもよい。
【0011】
上記電子機器において、前記顔検出部が前記複数の画像から前記顔領域を検出する際の検出範囲は、前記撮像された画像の画像領域の範囲よりも小さい範囲に設定されており、前記顔検出部により検出された前記顔領域の位置に応じて前記検出範囲を移動させる検出範囲設定部、をさらに備えてもよい。
【0012】
上記電子機器において、前記検出範囲設定部は、初期状態では、前記撮像画像の画像領域の中心位置に前記検出範囲の中心位置が対応するように設定してもよい。
【0013】
上記電子機器は、前記複数の画像の中から前記顔検出部により検出された前記顔領域の位置に基づいて、前記顔領域の移動量が所定の閾値以上であるか否かを判定する移動量判定部、をさらに備え、前記顔検出部は、前記移動量判定部により前記顔領域の移動量が所定の閾値以上であると判定された場合には前記顔領域の検出を無効とし、前記移動量判定部により前記顔領域の移動量が所定の閾値未満であると判定された場合には前記顔領域の検出を有効としてもよい。
【0014】
また、本発明の第2態様に係る電子機器は、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサと、を備え、前記プロセッサは、前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を検出する顔検出部と、前記複数の画像の中から前記顔検出部により検出された前記顔領域の位置に基づいて、前記顔領域の移動量が所定の閾値以上であるか否かを判定する移動量判定部と、を備え、前記顔検出部は、前記移動量判定部により前記顔領域の移動量が所定の閾値以上であると判定された場合には前記顔領域の検出を無効とし、前記移動量判定部により前記顔領域の移動量が所定の閾値未満であると判定された場合には前記顔領域の検出を有効とする。
【0015】
上記電子機器において、前記電子機器の動きを検出するセンサをさらに備え、前記移動量判定部は、前記センサにより検出される前記電子機器の動きを考慮して、前記顔検出部により検出された前記顔領域の移動量を判定してもよい。
【0016】
上記電子機器は、システムに基づくシステム処理を実行する処理部と、前記顔検出部により検出された前記顔領域の検出が有効な場合にはユーザが存在すると判定し、前記顔検出部により前記顔領域が検出されなかった場合または前記顔検出部により検出された前記顔領域の検出が無効である場合にはユーザが存在していないと判定する人物判定部と、前記人物判定部の判定結果がユーザが存在していない状態からユーザが存在する状態へと遷移した場合、前記システムの動作状態を前記システム処理の少なくとも一部が制限された第1動作状態から、前記第1動作状態よりも前記システム処理の動作を活性化させた第2動作状態へ遷移させる動作制御部と、をさらに備えてもよい。
【0017】
また、本発明の第3態様に係る、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器における制御方法は、顔検出部が、前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を、第1の解像度の画像データと第2の解像度の画像データとに基づいて検出するステップと、検出状態判定部が、前記複数の画像において連続的に前記顔領域が検出されている状態か否かを判定するステップと、を含み、前記顔検出部が前記顔領域を検出するステップにおいて、前記第1の解像度の画像データに基づいて前記顔領域を検出する処理を行っている状態において連続的に前記顔領域が検出されている状態と連続的に前記顔領域が検出されない状態との間で状態が変化したと前記検出状態判定部が判断した場合、前記複数の画像の中から前記顔領域を第2の解像度の画像データに基づいて検出する。
【0018】
また、本発明の第4態様に係る、撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器における制御方法は、顔検出部が、前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を検出するステップと、移動量判定部が、前記複数の画像の中から前記顔検出部により検出された前記顔領域の位置に基づいて、前記顔領域の移動量が所定の閾値以上であるか否かを判定するステップと、を含み、前記顔検出部が前記顔領域を検出するステップにおいて、前記移動量判定部により前記顔領域の移動量が所定の閾値以上であると判定された場合には前記顔領域の検出を無効とし、前記移動量判定部により前記顔領域の移動量が所定の閾値未満であると判定された場合には前記顔領域の検出を有効とする。
【発明の効果】
【0019】
本発明の上記態様によれば、電子機器を使用する人物を精度よく検出することができる。
【図面の簡単な説明】
【0020】
【
図1】第1の実施形態に係る電子機器のHPD処理の概要を説明する図。
【
図3】第1の実施形態に係る顔の検出領域の一例を示す図。
【
図4】第1の実施形態に係る電子機器の外観の構成例を示す斜視図。
【
図5】第1の実施形態に係る電子機器の構成例を示す概略ブロック図。
【
図6】第1の実施形態に係る人物検出部の構成の一例を示すブロック図。
【
図7】第1の実施形態に係る顔検出処理の第1例を示すフローチャート。
【
図8】第1の実施形態に係る顔検出処理の第2例を示すフローチャート。
【
図9】第1の実施形態に係る起動処理の一例を示すフローチャート。
【
図10】第1の実施形態に係る待機状態遷移処理の一例を示すフローチャート。
【
図11】第2の実施形態に係る顔検出処理の第1例を示すフローチャート。
【
図12】第2の実施形態に係る顔検出処理の第2例を示すフローチャート。
【
図13】検出範囲DRとユーザとの位置関係の一例を示す図。
【
図14】第3の実施形態に係る検出範囲の移動を説明する図。
【
図15】第3の実施形態に係る人物検出部の構成の一例を示す図。
【
図16】第3の実施形態に係る検出範囲制御処理の一例を示すフローチャート。
【
図17】ユーザ以外の人物の顔検出の一例を示す図。
【
図18】第4の実施形態に係る人物検出部の構成の一例を示す図。
【
図19】第4の実施形態に係る人物検出処理の一例を示すフローチャート。
【発明を実施するための形態】
【0021】
以下、図面を参照して、本発明の実施形態について説明する。
<第1の実施形態>
[概要]
まず、第1の実施形態に係る電子機器1の概要について説明する。本実施形態に係る電子機器1は、例えば、ノートブック型のPC(Personal Computer;パーソナルコンピュータ)である。なお、電子機器1は、デスクトップ型PC、タブレット端末装置、スマートフォンなど、いずれの形態の電子機器であってもよい。
【0022】
電子機器1は、システムの動作状態として少なくとも通常動作状態(パワーオン状態)と待機状態との間を遷移可能である。通常動作状態とは、特に制限なく処理の実行が可能な動作状態であり、例えば、ACPI(Advanced Configuration and Power Interface)で規定されているS0状態に相当する。待機状態とは、システム処理の少なくとも一部が制限されている状態である。例えば、待機状態は、スタンバイ状態、スリープ状態等であってもよく、Windows(登録商標)におけるモダンスタンバイや、ACPIで規定されているS3状態(スリープ状態)等に相当する状態であってもよい。例えば、待機状態は、通常動作状態よりも電力の消費量が低い動作状態である。
【0023】
以下では、システムの動作状態が待機状態から通常動作状態へ遷移することを起動と呼ぶことがある。待機状態では、一般的に通常動作状態よりも動作の活性度が低いため、電子機器1のシステムを起動させることは、電子機器1におけるシステムの動作を活性化させることになる。
【0024】
図1は、本実施形態に係る電子機器1のHPD処理の概要を説明する図である。電子機器1は、電子機器1の近傍に存在する人物(即ちユーザ)を検出する。この人物の存在を検出する処理のことを、HPD(Human Presence Detection)処理と称する。電子機器1は、HPD処理により人物の存在の有無を検出し、検出結果に基づいて電子機器1のシステムの動作状態を制御する。例えば、電子機器1は、
図1(A)に示すように、電子機器1の前(正面)に人物が存在しない状態(Absence)から存在する状態(Presence)への変化、即ち電子機器1へ人物が接近したこと(Approach)を検出した場合、ユーザが接近したと判定し、自動でシステムを起動して通常動作状態へ遷移させる。また、電子機器1は、
図1(B)に示すように、電子機器1の前に人物が存在している状態(Presence)では、ユーザが存在すると判定し、通常動作状態を継続させる。そして、電子機器1は、
図1(C)に示すように、電子機器1の前(正面)に人物が存在している状態(Presence)から存在しない状態(Absence)への変化、即ち電子機器1から人物が離脱したこと(Leave)を検出した場合には、ユーザが離脱したと判定し、システムを待機状態へ遷移させる。
【0025】
例えば、電子機器1は、前方(正面側)を撮像した撮像画像から顔が撮像された顔領域を検出する顔検出を行うことにより、電子機器1の前(正面)にユーザが存在するか否かを判定する。電子機器1は、撮像画像から顔領域が検出された場合、ユーザが存在すると判定する。一方、電子機器1は、撮像画像から顔領域が検出されなかった場合、ユーザが存在しないと判定する。ここで、撮像画像から顔領域を検出する際に、顔の向きなどによっては顔領域の検出がしにくい場合があり、人物が存在していても顔領域が検出されたりされなかったりと顔検出が不安定になることがある。顔検出が不安定となる例を、
図2を参照して説明する。
【0026】
図2は、顔検出が不安定となる状況の一例を示す図である。図示する例は、所定の時間間隔で電子機器1が撮像した撮像画像を時刻t(1)~t(16)の時系列の順に示している。ここでは、電子機器1に接続されたセカンドディスプレイをユーザが使用している状況で、電子機器1の撮像画像にはユーザの横顔が写っている。横顔は、正面顔に比べて顔の特徴となる情報が少ないため検出が難しい。そのため、時刻t(1)~t(16)の撮像画像には、顔領域が検出された画像と検出されない画像とが含まれる。この図では、実線の枠で囲まれている時刻t(1)~t(2)、時刻t(6)、時刻t(9)、および時刻t(12)~t(16)の撮像画像からは顔領域が検出され、破線で囲まれている時刻t(3)~t(5)、時刻t(7)~t(8)、および時刻t(10)~t(11)の撮像画像からは顔領域が検出されなかったことを示している。このような場合、電子機器1を使用するユーザが存在しているにもかかわらず顔検出が不安定になり、ユーザが存在しないと誤検出してしまうおそれがある。
【0027】
そこで、本実施形態では、電子機器1は、撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合(或いは、顔検出が不安定になった場合)、顔検出が失敗している可能性があるため、以降の顔検出では、それまで顔が検出されていた領域に絞って顔領域を検出する。具体的には、電子機器1は、以前に顔が検出されたときの顔領域に基づいて顔が撮像される位置を推定し、推定した位置に基づく画像領域を拡大して顔領域を検出する。
【0028】
図3は、本実施形態に係る顔の検出領域の一例を示す図である。符号GR1は、撮像画像の画像領域の全体を示している。符号DRは、撮像画像から顔を検出する際の検出範囲を示している。なお、検出範囲DR内のマス目は、検出時の分解能を模式的に表したものであり、実際に検出する際のマス目の数(分解能)を特定するものではない。また、符号FD1は、撮像画像内の検出範囲DRに対応する画像領域から顔が検出された顔領域を示している。ここで、電子機器1は、撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合、以前に検出された顔領域に基づいて顔が撮像される位置を推定し、推定した位置に基づく画像領域GR2を拡大して顔領域を検出する。電子機器1は、拡大した画像領域GR2に対して検出範囲DRを適用して顔領域を検出するため、より高解像度で顔領域を検出することになる。これにより、電子機器1は、横顔などのように検出しにくい顔の検出精度を向上させることができる。なお、以下の説明において、撮像画像の全体の画像領域GR1に対して検出範囲DRを適用して顔領域を検出することを、単に「撮像画像から顔領域を検出する」と称する。また、撮像画像から拡大した画像領域GR2に対して検出範囲DRを適用して顔領域を検出することを、単に「画像領域GR2から顔領域を検出する」と称する。
【0029】
例えば、画像領域GR2は、撮像画像から顔が検出された顔領域FD1を含む当該顔領域FD1よりも広い領域に設定される。一例として、画像領域GR2は、顔領域FD1を120%にした領域としてもよい。また、画像領域GR2は、最後(直前)に顔領域が検出されたときのフレームのみの顔領域FD1に基づいて設定されてもよいし、顔領域が検出された複数のフレームの顔領域FD1に基づいて設定されてもよい。複数のフレームとは、例えば、最後(直前)に顔領域が検出されたときのフレームから所定のフレーム前(例えば3フレーム前)までの複数のフレームである。複数のフレームの顔領域FD1を用いる場合には、複数の顔領域FD1を合わせた領域が含まれるように画像領域GR2が設定される。
【0030】
次に、本実施形態に係る電子機器1の構成について詳しく説明する。
[電子機器の外観構成]
図4は、本実施形態に係る電子機器1の外観の構成例を示す斜視図である。
電子機器1は、第1筐体10、第2筐体20、及びヒンジ機構15を備える。第1筐体10と第2筐体20は、ヒンジ機構15を用いて結合されている。第1筐体10は、第2筐体20に対して、ヒンジ機構15がなす回転軸の周りに相対的に回動可能である。第1筐体10と第2筐体20との回動による開き角を「θ」として図示している。
【0031】
第1筐体10は、Aカバー、ディスプレイ筐体とも呼ばれる。第2筐体20は、Cカバー、システム筐体とも呼ばれる。以下の説明では、第1筐体10と第2筐体20の側面のうち、ヒンジ機構15が備わる面を、それぞれ側面10c、20cと呼ぶ。第1筐体10と第2筐体20の側面のうち、側面10c、20cとは反対側の面を、それぞれ側面10a、20aと呼ぶ。図示において、側面20aから側面20cに向かう方向を「後」と呼び、側面20cから側面20aに向かう方向を「前」と呼ぶ。後方に対して右方、左方を、それぞれ「右」、「左」と呼ぶ。第1筐体10、第2筐体20の左側面をそれぞれ側面10b、20bと呼び、右側面をそれぞれ側面10d、20dと呼ぶ。また、第1筐体10と第2筐体20とが重なり合って完全に閉じた状態(開き角θ=0°の状態)を「閉状態」と呼ぶ。閉状態において第1筐体10と第2筐体20との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と呼ぶ。また、閉状態に対して第1筐体10と第2筐体20とが開いた状態のことを「開状態」と呼ぶ。
【0032】
図4に示す電子機器1の外観は開状態の例を示している。開状態は、第1筐体10の側面10aと第2筐体20の側面20aとが離れた状態である。開状態では、第1筐体10と第2筐体20とのそれぞれの内面が表れる。開状態はユーザが電子機器1を使用する際の状態の一つであり、典型的には開き角θ=100~130°程度の状態で使用されることが多い。なお、開状態となる開き角θの範囲は、ヒンジ機構15よって回動可能な角度の範囲等に応じて任意に定めることができる。
【0033】
第1筐体10の内面には、表示部110が設けられている。表示部110は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどを含んで構成されている。また、第1筐体10の内面のうち表示部110の周縁の領域に、撮像部120が設けられている。例えば、撮像部120は、表示部110の周縁の領域のうち側面20a側に配置されている。なお、撮像部120が配置される位置は一例であって、第1筐体10の内面に対面する方向(前方)を向くことが可能であれば他の場所であってもよい。
【0034】
撮像部120は、開状態において、第1筐体10の内面に対面する方向(前方)の所定の撮像範囲を撮像する。所定の撮像範囲とは、撮像部120が有する撮像素子と撮像素子の撮像面の前方に設けられた光学レンズとによって定まる画角の範囲である。例えば、撮像部120は、電子機器1の前(正面)に存在する人物を含む画像を撮像することができる。
【0035】
また、第2筐体20の側面20bには、電源ボタン140が設けられている。電源ボタン140は、システムの起動(待機状態から通常動作状態へ遷移)や、通常動作状態から待機状態への遷移をユーザが指示するための操作子である。また、第2筐体20の内面には、キーボード151及びタッチパッド153が入力デバイスとして設けられている。なお、入力デバイスとして、キーボード151及びタッチパッド153に代えて、または加えて、タッチセンサが含まれてもよいし、マウスや外付けのキーボードが接続されてもよい。タッチセンサが設けられた構成の場合、表示部110の表示面に対応する領域が操作を受け付けるタッチパネルとして構成されてもよい。また、入力デバイスには、音声が入力されるマイクが含まれてもよい。
【0036】
なお、第1筐体10と第2筐体20とが閉じた閉状態では、第1筐体10の内面に設けられている表示部110、及び撮像部120と、第2筐体20の内面に設けられているキーボード151及びタッチパッド153は、互いに他方の筐体面で覆われ、機能を発揮できない状態となる。
【0037】
[電子機器の構成]
図5は、本実施形態に係る電子機器1の構成例を示す概略ブロック図である。電子機器1は、表示部110、撮像部120、加速度センサ130、電源ボタン140、入力デバイス150、EC(Embedded Controller)200、人物検出部210、システム処理部300、通信部350、記憶部360、及び電源部400を含んで構成される。表示部110は、システム処理部300により実行されるシステム処理及びシステム処理上で動作するアプリケーションプログラムの処理等に基づいて生成された表示データ(画像)を表示する。
【0038】
撮像部120は、第1筐体10の内面に対面する方向(前方)の所定の画角内の物体の像を撮像し、撮像した画像をシステム処理部300及び人物検出部210へ出力する。撮像部120は、赤外線カメラであってもよいし、通常のカメラであってもよい。赤外線カメラは、撮像素子として赤外線センサを備えるカメラである。通常のカメラは、撮像素子として可視光線を受光する可視光センサを備えるカメラ(例えば、RGBカメラ)である。なお、通常のカメラの場合、顔検出に用いる際の撮像画像は、色数を低減した画像(例えば、モノクローム画像)としてもよい。
【0039】
加速度センサ130は、電子機器1の動きを検出し、検出結果を示す検出信号をEC200へ出力する。例えば、加速度センサ130は、電子機器1が動かされたときや、電子機器1が手持ちされて不安定に動いているときなどには、その動きに応じて検出信号を出力する。なお、加速度センサ130に代えて又は加えて、ジャイロセンサ、傾斜センサ、地磁気センサなどが備えられてもよい。
【0040】
電源ボタン140は、ユーザの操作に応じて操作信号をEC200へ出力する。入力デバイス150は、ユーザの入力を受け付ける入力部であり、例えばキーボード151及びタッチパッド153を含んで構成されている。入力デバイス150は、キーボード151及びタッチパッド153に対する操作を受け付けることに応じて、操作内容を示す操作信号をEC200へ出力する。
【0041】
電源部400は、電子機器1の各部の動作状態に応じて各部へ電力を供給するための電源系統を介して電力を供給する。電源部400は、DC(Direct Current)/DCコンバータを備える。DC/DCコンバータは、AC(Alternate Current)/DCアダプタもしくは電池パックから供給される直流電力の電圧を、各部で要求される電圧に変換する。DC/DCコンバータで電圧が変換された電力が各電源系統を介して各部へ供給される。例えば、電源部400は、EC200から入力される各部の動作状態に応じた制御信号に基づいて各電源系統を介して各部に電力を供給する。
【0042】
EC200は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)およびI/O(Input/Output)ロジック回路などを含んで構成されたマイクロコンピュータである。EC200のCPUは、自部のROMに予め記憶した制御プログラム(ファームウェア)を読み出し、読み出した制御プログラムを実行して、その機能を発揮する。EC200は、システム処理部300とは独立に動作し、システム処理部300の動作を制御し、その動作状態を管理する。また、EC200は、加速度センサ130、電源ボタン140、入力デバイス150、人物検出部210、及び電源部400等と接続されている。
【0043】
例えば、EC200は、電源部400と通信を行うことにより、バッテリーの状態(残容量など)の情報を電源部400から取得するとともに、電子機器1の各部の動作状態に応じた電力の供給を制御するための制御信号などを電源部400へ出力する。また、EC200は、電源ボタン140や入力デバイス150から操作信号を取得し、取得した操作信号のうちシステム処理部300の処理に関連する操作信号についてはシステム処理部300へ出力する。また、EC200は、加速度センサ130からの検出信号に基づいて、電子機器1の動きを検出する。例えば、EC200は、加速度センサ130からの検出信号に基づいて、電子機器1が静止している状態であるか、或いは動いている状態であるかなどを検出する。また、EC200は、人物検出部210による検出結果に基づいてシステムの動作を制御する動作制御部220を備えている。
【0044】
人物検出部210は、撮像部120により撮像された撮像画像の画像データを処理するプロセッサである。例えば、人物検出部210は、撮像部120により撮像された撮像画像を、システム処理部300を介して取得する。なお、人物検出部210は、撮像部120により撮像された撮像画像を撮像部120から直接的に取得してもよい。人物検出部210は、撮像画像から顔領域を検出することによりユーザの存在を検出し、検出結果に基づいてHPD処理を実行する。
【0045】
人物検出部210は、撮像部120により撮像された撮像画像から顔領域を検出することにより、電子機器1の前方にユーザが存在するか否かを検出する。例えば、人物検出部210は、電子機器1へユーザが接近した場合、電子機器1の前方にユーザが存在してない状態から存在する状態へ検出状態が変化する。また、人物検出部210は、電子機器1の前でユーザが電子機器1を使用している場合、電子機器1の前方にユーザが存在している状態を継続して検出する。また、人物検出部210は、電子機器1からユーザが離脱した場合、電子機器1の前方にユーザが存在している状態から存在しない状態へ検出状態が変化する。このように、人物検出部210は、電子機器1の前方にユーザが存在するか否かを検出することにより、電子機器1へユーザが接近したこと(Approach)、電子機器1の前にユーザが存在する状態(Presence)、電子機器1からユーザが離脱したこと(Leave)、電子機器1の前にユーザが存在しない状態(Absence)等を検出することが可能である。この人物検出部210の構成について詳しくは後述する。
【0046】
動作制御部220は、HPD処理に応じてシステムの動作状態を制御する。例えば、動作制御部220は、待機状態において、人物検出部210により電子機器1の前方にユーザが存在してない状態から存在する状態への変化(即ち、電子機器1へのユーザの接近)が検出された場合、待機状態のシステムを起動させる。具体的には、動作制御部220は、人物検出部210により電子機器1へのユーザの接近が検出された場合、システムを起動させる指示をシステム処理部300へ行う。より具体的には、動作制御部220は、システムを起動させる場合、電源部400に対して、電子機器1の各部の動作に必要な電力を供給するための制御信号を出力する。その後、動作制御部220は、システム処理部300にシステムの起動を指示するための起動信号を出力する。システム処理部300は、起動信号を取得すると、システムを起動して待機状態から通常動作状態へ遷移させる。
【0047】
また、動作制御部220は、人物検出部210により電子機器1の前方にユーザが存在している状態が継続して検出されている場合、システム処理部300によりシステムを待機状態に遷移させないように制限し、通常動作状態を継続させる。なお、動作制御部220は、人物検出部210によりユーザが存在している状態が継続して検出されている場合であっても、所定の条件によって通常動作状態から待機状態へ遷移させてもよい。所定の条件とは、例えば、無操作の時間が予め設定された時間継続すること、待機状態へ遷移させる操作が行われること等である。
【0048】
また、動作制御部220は、通常動作において、人物検出部210により電子機器1の前方にユーザが存在している状態から存在しない状態への変化(即ち、電子機器1からのユーザの離脱)を検出した場合、システムを通常動作状態から待機状態へ遷移させる指示をシステム処理部300へ行う。より具体的には、動作制御部220は、システム処理部300にシステムを通常動作状態から待機状態へ遷移させる指示をするための待機信号を出力する。システム処理部300は、待機信号を取得すると、システムを通常動作状態から待機状態へ遷移させる。その後、動作制御部220は、電源部400に対して、待機状態では不要な電力の供給を停止させるための制御信号を出力する。
【0049】
システム処理部300は、CPU(Central Processing Unit)302、GPU(Graphic Processing Unit)304、メモリコントローラ306、I/O(Input-Output)コントローラ308、及びシステムメモリ310を含んで構成され、OS(Operating System)に基づくシステム処理によって、OS上で各種のアプリケーションプログラムの処理が実行可能である。CPU302とGPU304をプロセッサと総称することがある。
【0050】
CPU302は、OSによる処理や、OS上で動作するアプリケーションプログラムによる処理を実行する。また、CPU302は、EC200(動作制御部220)によるシステムの動作状態の制御に基づいてシステムの動作状態を遷移させる。例えば、CPU302は、動作状態が待機状態であって、EC200から起動信号が入力された場合、待機状態から通常動作状態に遷移させる起動処理を実行する。CPU302は、起動処理が完了した後、OSに基づくシステム処理の実行を開始する。例えば、CPU302は、動作状態がスタンバイ状態であって、EC200から起動信号が入力されると、実行を停止していたアプリケーションプログラムなどの実行を再開する。
【0051】
CPU302は、起動処理において、OSの利用を許可するか否かを判定するログイン処理を実行する。CPU302は、OSによる起動処理を開始すると、OSの利用を許可する前にログイン処理を実行し、ログイン処理でログインを許可するまで、通常動作状態への遷移を一旦停止する。ログイン処理では、電子機器1を使用する人物が予め登録された正規のユーザであるか否かを判定するユーザ認証処理が行われる。認証には、パスワード認証、顔認証、指紋認証などがある。CPU302は、認証結果が成功であった場合、ログインを許可し、一旦停止していたシステム処理の実行を再開する。一方、認証結果が失敗であった場合、ログインを許可せず、システム処理の実行を停止したままにする。
【0052】
GPU304は、表示部110に接続されている。GPU304は、CPU302の制御に基づいて画像処理を実行して表示データを生成する。GPU304は、生成した表示データを表示部110に出力する。なお、CPU302とGPU304は、一体化して1個のコアとして形成されてもよいし、個々のコアとして形成されたCPU302とGPU304の相互間で負荷が分担されてもよい。プロセッサの数は、1個に限られず、複数個であってもよい。
【0053】
メモリコントローラ306は、CPU302とGPU304によるシステムメモリ310、記憶部360などからのデータの読出し、書込みを制御する。
I/Oコントローラ308は、通信部350、表示部110およびEC200からのデータの入出力を制御する。
システムメモリ310は、プロセッサの実行プログラムの読み込み領域ならびに処理データを書き込む作業領域として用いられる。また、システムメモリ310は、撮像部120で撮像された撮像画像の画像データを一時的に記憶する。
【0054】
通信部350は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信部350は、イーサネット(登録商標)等の有線LANインターフェースやWi-Fi(登録商標)等の無線LANインターフェース等を含んで構成されている。
【0055】
記憶部360は、HDD(Hard Disk Drive)、SDD(Solid State Drive)、RAM、ROMなどの記憶媒体を含んで構成される。記憶部360は、OS、デバイスドライバ、アプリケーションなどの各種のプログラム、その他、プログラムの動作により取得した各種のデータを記憶する。
【0056】
[人物検出部の構成]
次に、人物検出部210の構成について詳しく説明する。人物検出部210は、所定の時間間隔で撮像部120により撮像された撮像画像のそれぞれから顔領域を検出することにより電子機器1の前方に存在するユーザを検出する。
図6は、本実施形態に係る人物検出部210の構成の一例を示すブロック図である。図示する、人物検出部210は、顔検出部211と、検出状態判定部212と、人物判定部213とを備えている。
【0057】
顔検出部211は、所定の時間間隔で撮像された撮像画像のそれぞれから顔領域を検出する。例えば、顔検出部211は、撮像部120によって所定の時間間隔で撮像されシステムメモリ310に記憶された複数の画像の画像データを処理して、当該複数の画像の中から顔が撮像されている顔領域を検出する。顔の検出方法としては、顔の特徴情報を基に顔を検出する顔検出アルゴリズムや、顔の特徴情報を基に機械学習された学習データ(学習済みモデル)や顔検出ライブラリなどを用いた任意の検出方法を適用することができる。また、所定の時間間隔は、例えば15秒間隔または10秒間隔などとすることができるが、任意の時間間隔に設定することができる。なお、最短の時間間隔の場合には、連続するすべてのフレーム単位で検出することになる。
【0058】
顔検出部211は、撮像画像のそれぞれから顔領域を検出し、検出した顔領域を含む顔検出情報を出力する。なお、顔検出情報には、顔領域の中心座標が含まれてもよい。顔検出部211は、撮像画像から顔領域が検出された場合、その撮像画像の時刻情報(フレーム情報)と関連付けて顔領域を含む顔検出情報を記憶させる。また、顔検出部211は、撮像画像から顔領域が検出されなかった場合、その撮像画像の時刻情報(フレーム情報)と関連付けて、顔領域が検出されなかったことを示す顔未検出情報を記憶させる。つまり、顔検出部211は、顔領域の検出結果の履歴を記憶させる。
【0059】
また、顔検出部211は、撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合、以降に撮像画像から顔領域を検出する際に、以前に撮像画像から検出された顔領域FD1に基づく画像領域GR2(
図3参照)を拡大して顔領域を検出する。なお、顔検出部211は、以前に撮像画像から検出された顔領域FD1を、顔領域の検出結果の履歴から取得することができる。なお、顔検出部211は、検出状態判定部212により顔検出が不安定であると判定された場合、以降に撮像画像から顔領域を検出する際に、画像領域GR2を拡大して顔領域を検出してもよい。
【0060】
また、顔検出部211は、撮像画像のそれぞれから解像度を低減した低解像度(第1の解像度)で顔領域を検出し、低解像度で撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合、以降に撮像画像から画像領域GR2を拡大して顔領域を検出する際には高解像度(第2の解像度)で顔領域を検出する。即ち、顔検出部211は、撮像画像から低解像度で顔を検出する検出モードと、撮像画像の画像領域GR2を拡大して高解像度で顔領域を検出する検出モードの2種類の検出モードを用いて顔検出を行う。通常は、撮像画像から低解像度で顔領域を検出することにより、消費電力の低減や他の処理への影響を抑制することができる。
【0061】
また、顔検出部211は、画像領域GR2から顔領域を検出できなかった場合、人物が移動したものとみなし、画像領域GR2からの顔領域の検出を終了し、撮像画像からの顔領域の検出に戻す。例えば、顔検出部211は、高解像度で画像領域GR2から顔領域を検出できなかった場合、画像領域GR2からの顔領域の検出を終了し、撮像画像から低解像度での顔領域の検出に戻す。
【0062】
検出状態判定部212は、顔領域の検出結果の履歴(顔検出情報及び顔未検出情報)に基づいて、顔検出が不安定であるか否かを判定する。ここで、顔検出が安定している状態(即ち、顔検出が不安定でない状態)とは、撮像部120によって所定の時間間隔で撮像されシステムメモリ310に記憶された複数の撮像画像において連続的に顔領域が検出されている状態のことを指す。一方、顔検出が不安定である状態とは、撮像部120によって所定の時間間隔で撮像されシステムメモリ310に記憶された複数の撮像画像において連続的に顔領域が検出されない状態のことを指す。この「連続的に顔領域が検出されない状態」とは、顔領域が連続して検出され続けている状態ではないこと(即ち、顔領域の検出が断続的であること)を意味しており、顔領域が検出されない状態が連続して続いている状態を意味するものではない。例えば、「連続的に顔領域が検出されない状態」とは、所定の時間間隔で撮像された撮像画像の中に、顔検出部211により顔領域が検出された画像と顔領域が検出されない画像との両方が所定の割合で含まれる状態である。
【0063】
検出状態判定部212は、低解像度の画像データに基づいて顔領域を検出する処理を行っている状態において連続的に顔領域が検出されている状態と連続的に顔領域が検出されない状態との間で状態が変化したと判断した場合、顔検出が不安定であると判定してもよい。例えば、検出状態判定部212は、撮像画像から連続的に顔領域が検出されている状態から連続的に顔領域が検出されない状態になったことに基づいて、顔検出が不安定であると判定してもよい。例えば、検出状態判定部212は、所定期間に所定の時間間隔で撮像された撮像画像の中に、顔検出部211により顔領域が検出された画像と顔領域が検出されない画像との両方が含まれることに基づいて、顔検出が不安定であると判定してもよい。この場合、検出状態判定部212は、所定期間に顔領域が検出された画像と顔領域が検出されない画像との割合に基づいて顔検出が不安定であると判定してもよいし、所定期間に顔領域が検出された画像と顔領域が検出されない画像とが繰り返されることに基づいて顔検出が不安定であると判定してもよい。
【0064】
そして、顔検出部211は、撮像画像のそれぞれから解像度を低減した低解像度で顔領域を検出し、低解像度で撮像画像からの顔検出が不安定になったと判定された場合、以降に撮像画像から画像領域GR2を拡大して高解像度で顔領域を検出してもよい。
【0065】
[顔検出処理の動作]
ここで、
図7を参照して、顔検出処理の動作について説明する。
図7は、本実施形態に係る顔検出処理の第1例を示すフローチャートである。ここでは、撮像画像から顔領域が検出されなくなったことをトリガとして、画像領域GR2を拡大して顔領域を検出する処理の動作を説明する。
【0066】
(ステップS101)顔検出部211は、所定の時間間隔で撮像部120により撮像された撮像画像のそれぞれから顔領域を検出する。例えば、顔検出部211は、nフレーム目の撮像画像から顔領域を検出する(nは、1以上の整数)。そして、ステップS103の処理に進む。このとき、顔検出部211は、低解像度で撮像画像から顔領域を検出する。
【0067】
(ステップS103)顔検出部211は、ステップS101で撮像画像から顔領域が検出されたか否かを判定する。顔検出部211は、撮像画像から顔領域が検出されたと判定した場合(YES)、検出された顔領域や顔の中心座標が含まれる顔検出情報を顔検出結果の履歴として記憶させ、ステップS101の処理へ戻る。そして、ステップS101で、顔検出部211は、次のフレームの撮像画像(n+1フレーム目の撮像画像)から顔領域を検出する。一方、顔検出部211は、ステップS103で撮像画像から顔領域が検出されなかったと判定した場合(NO)、ステップS107の処理に進む。
【0068】
(ステップS107)顔検出部211は、以前に撮像画像から検出された顔領域FD1を顔領域の検出結果の履歴から取得し、顔の位置(顔が撮像される位置)を推定する。そして、ステップS109の処理に進む。
【0069】
(ステップS109)以降のフレームでは、顔検出部211は、推定した顔の位置(顔が撮像される位置)に基づく画像領域GR2を拡大して顔領域を検出する。このとき、顔検出部211は、高解像度で撮像画像から顔領域を検出する。そして、ステップS111の処理へ進む。
【0070】
(ステップS111)顔検出部211は、ステップS109で撮像画像から顔領域が検出されたか否かを判定する。顔検出部211は、撮像画像から顔領域が検出されたと判定した場合(YES)、検出された顔領域や顔の中心座標が含まれる顔検出情報を顔検出結果の履歴として記憶させる。そして、顔検出部211は、ステップS109へ戻り、次のフレームの撮像画像から画像領域GR2を拡大して高解像度で顔を検出する。一方、顔検出部211は、ステップS111で顔領域が検出されなかったと判定した場合(NO)、ステップS101の処理に戻る。即ち、顔検出部211は、高解像度で画像領域GR2から顔領域を検出できなかった場合、画像領域GR2からの顔領域の検出を終了し、低解像度で撮像画像からの顔領域の検出に戻す。
【0071】
次に、
図8を参照して、顔検出が不安定であることをトリガとして、画像領域GR2を拡大して顔領域を検出する処理の動作を説明する。
図8は、本実施形態に係る顔検出処理の第2例を示すフローチャートである。この図において、
図7の各処理に対応する処理には同一の符号を付しており、その説明を省略する。
図8に示す顔検出処理では、ステップS103で撮像画像から顔領域が検出されなかったと判定された場合(NO)、ステップS105の処理に進む。
【0072】
(ステップS105)検出状態判定部212は、顔検出が不安定であるか否かを判定する。例えば、検出状態判定部212は、撮像画像から連続的に顔領域が検出されている状態から検出されなくなったことに基づいて、顔検出が不安定であると判定してもよい。また、検出状態判定部212は、所定期間に所定の時間間隔で撮像された撮像画像の中に、顔検出部211により顔領域が検出された画像と顔領域が検出されない画像との両方が含まれることに基づいて、顔検出が不安定であると判定してもよい。この場合、検出状態判定部212は、所定期間に顔領域が検出された画像と顔領域が検出されない画像との割合に基づいて顔検出が不安定であると判定してもよいし、所定期間に顔領域が検出された画像と顔領域が検出されない画像とが繰り返されることに基づいて顔検出が不安定であると判定してもよい。
【0073】
検出状態判定部212は、ステップS105において顔検出が不安定であると判定した場合(YES)、ステップS107の処理へ進む。そして、顔検出部211は、顔の位置(顔が撮像される位置)を推定し(ステップS107)、以降のフレームでは、推定した位置に基づく画像領域GR2を拡大して高解像度で顔を検出する(ステップS109)。一方、検出状態判定部212は、ステップS105において顔検出が不安定でないと判定した場合(NO)、ステップS101の処理へ戻る。
【0074】
図6に戻り、人物判定部213は、顔検出部211により撮像画像から顔領域が検出されるか否かに基づいて、電子機器1の前方にユーザが存在するか否かを判定する。例えば、人物判定部213は、顔検出部211により撮像画像から顔領域が検出された場合、電子機器1の前方にユーザが存在すると判定する。一方、人物判定部213は、顔検出部211により撮像画像から顔領域が検出されない場合、電子機器1の前方にユーザが存在しないと判定する。なお、人物判定部213は、顔検出部211により撮像画像から顔領域が検出された場合でも、所定の時間間隔で撮像された撮像画像のそれぞれから検出された顔に動きがあるか否かを判定し、動きがある場合にはユーザが存在すると判定してもよい。人物判定部213は、検出された顔に動きが無いと判定した場合には、その顔がポスターや写真などの顔が検出されたものとし、ユーザが存在しないと判定してもよい。
【0075】
このような構成により、人物検出部210は、電子機器1の前方に存在するユーザを検出する。また、人物検出部210は、電子機器1の前方にユーザが存在するか否かを検出することにより、電子機器1の前方にユーザが存在してない状態から存在する状態への変化(即ち、電子機器1へのユーザの接近)を検出する。また、人物検出部210は、電子機器1の前方にユーザが存在するか否かを検出することにより、電子機器1の前方にユーザが存在している状態からユーザが存在しない状態への変化(即ち、電子機器1からのユーザの離脱)を検出する。
【0076】
[動作状態制御処理の動作]
次に、上述した顔検出を用いたHPD処理の結果に基づいてシステムの動作状態を制御する動作状態制御処理の動作について説明する。まず、動作制御部220が、HPD処理により電子機器1へのユーザの接近が検出されたことによりシステムを起動する起動処理の動作について説明する。
図9は、本実施形態に係る起動処理の一例を示すフローチャートである。ここでは、電子機器1は、開状態で机の上等に置かれており、待機状態であるものとする。
【0077】
(ステップS201)動作制御部220は、電子機器1へのユーザの接近が検出されたか否かを判定する。動作制御部220は、人物検出部210により電子機器1の前方にユーザが存在してない状態から存在する状態への変化(即ち、電子機器1へのユーザの接近)が検出されたと判定した場合(YES)、ステップS203の処理に進む。一方、動作制御部220は、人物検出部210によりユーザが存在しない状態(即ち、電子機器1へユーザが接近していないこと)が検出されたと判定された場合(NO)、再びステップS201の処理を行う。
【0078】
(ステップS203)動作制御部220は、システム処理部300によるシステムを起動させる。具体的には、動作制御部220は、システム処理部300によるシステムを起動させる場合、電源部400に対して、電子機器1の各部の動作に必要な電力を供給するための制御信号を出力する。また、動作制御部220は、システム処理部300にシステムの起動を指示するための起動信号を出力する。システム処理部300は、起動信号を取得すると、起動処理を開始する。そして、ステップS205の処理に進む。
【0079】
(ステップS205)システム処理部300は、ログイン処理(認証処理)を実行する。例えば、システム処理部300は、パスワード認証、顔認証、指紋認証などによるログイン処理を実行し、ステップS207の処理に進む。
【0080】
(ステップS207)システム処理部300は、認証結果が成功であるか否かを判定する。システム処理部300は、認証結果が成功であると判定した場合には(YES)、ステップS209の処理に進む。一方、システム処理部300は、認証結果が失敗であると判定した場合には(NO)、ステップS213の処理に進む。
【0081】
(ステップS209)システム処理部300は、認証結果が成功の場合にはログイン成功である旨を通知し(例えば、表示部110に表示)、起動処理を継続する。そして、ステップS211の処理に進む。
(ステップS211)システム処理部300は、ログイン処理を完了し、システムの動作状態を通常動作状態に遷移させる。
【0082】
(ステップS213)システム処理部300は、認証結果が失敗の場合にはログイン失敗である旨を通知し(例えば、表示部110に表示)、ステップS205の認証処理に戻る。なお、システム処理部300は、連続して所定の回数の認証処理に失敗した場合には、認証処理を中止し、ログイン不可の状態に遷移させてもよい。
【0083】
次に、動作制御部220が、電子機器1からのユーザの離脱を検出したことによりシステムを通常動作状態から待機状態へ遷移させる待機状態遷移処理の動作について説明する。
図10は、本実施形態に係る待機状態遷移処理の一例を示すフローチャートである。ここでは、電子機器1は、開状態で机の上等に置かれており、通常動作状態であるものとする。
【0084】
(ステップS251)動作制御部220は、電子機器1からのユーザの離脱を検出したか否かを判定する。動作制御部220は、人物検出部210によりユーザが存在している状態からユーザが存在しない状態への変化(即ち、電子機器1からのユーザの離脱)が検出された場合(YES)、ステップS253の処理に進む。一方、動作制御部220は、人物検出部210によりユーザが存在している状態(即ち、電子機器1からユーザが離脱していないこと)が検出されたと判定された場合(NO)、再びステップS251の処理を行う。
【0085】
(ステップS253)動作制御部220は、システム処理部300によるシステムの動作状態を通常動作状態から待機状態へ遷移させる。具体的には、動作制御部220は、システム処理部300にシステムを待機状態へ遷移させる指示をするための待機信号を出力する。システム処理部300は、待機信号を取得すると、システムの動作状態を通常動作状態から待機状態へ遷移させる。また、動作制御部220は、電源部400に対して、待機状態では不要な電力の供給を停止させるための制御信号を出力する。
【0086】
[第1の実施形態のまとめ]
以上説明してきたように、本実施形態に係る電子機器1は、所定の時間間隔で撮像された撮像画像のそれぞれから顔領域を検出するとともに、撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合、以降に撮像画像から顔領域を検出する際に、以前に撮像画像から検出された顔領域に基づく画像領域GR2(特定領域の一例)を拡大して顔領域を検出する。
【0087】
これにより、電子機器1は、横顔などのように検出しにくい顔でも検出率を高めることができるため、電子機器1を使用するユーザを精度よく検出することができる。また、電子機器1は、連続的に顔領域が検出されている状態から検出されなくなった場合のみ画像領域GR2を拡大して顔領域を検出するため、消費電力の増加や他の処理への負荷を抑制することができる。
【0088】
また、電子機器1は、撮像画像から連続的に顔領域が検出されている状態から検出されなくなったことに基づいて顔検出が不安定であると判定し、顔検出が不安定であると判定した場合、以降に撮像画像から顔領域を検出する際に、画像領域GR2を拡大して顔領域を検出してもよい。
【0089】
これにより、電子機器1は、顔検出が不安定になった場合に検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。また、電子機器1は、顔検出が不安定と判定された場合のみ画像領域GR2を拡大して顔領域を検出するため、消費電力の増加や他の処理への負荷を抑制することができる。
【0090】
例えば、電子機器1は、所定期間に所定の時間間隔で撮像された撮像画像の中に、顔領域が検出された画像と顔領域が検出されない画像との両方が含まれることに基づいて、顔検出が不安定であると判定してもよい。これにより、電子機器1は、顔検出が不安定になった場合に検出率を高めることができる。
【0091】
また、電子機器1は、画像領域GR2から顔領域を検出できなかった場合、画像領域GR2からの顔領域の検出を終了し、撮像画像からの顔領域の検出に戻す。
【0092】
これにより、電子機器1は、画像領域GR2から顔領域を検出できなくなった時には、人物が移動したとみなして顔の検出領域をリセットするため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0093】
また、電子機器1は、撮像画像のそれぞれから解像度を低減した低解像度(第1の解像度)で顔領域を検出し、低解像度で撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合、以降に撮像画像から画像領域GR2を拡大して顔領域を検出する際には第1の解像度よりも高解像度(第2の解像度)で顔領域を検出してもよい。
【0094】
これにより、電子機器1は、横顔などのように検出しにくい顔でも検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。また、電子機器1は、連続的に顔領域が検出されている状態から検出されなくなった場合のみ高解像度で顔領域を検出するため、消費電力の増加や他の処理への負荷を抑制することができる。
【0095】
また、電子機器1は、高解像度で画像領域GR2から顔領域を検出できなかった場合、画像領域GR2からの顔領域の検出を終了し、撮像画像から低解像度での顔領域の検出に戻す。
【0096】
これにより、電子機器1は、高解像度でも画像領域GR2から顔領域を検出できなくなった時には、ユーザが移動したとみなして顔の検出領域をリセットするため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0097】
また、本実施形態に係る電子機器1における制御方法は、所定の時間間隔で撮像された撮像画像のそれぞれから顔領域を検出するステップと、撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合、以降に撮像画像から顔領域が検出する際に、以前に撮像画像から検出されたときの顔領域に基づく画像領域GR2を拡大して顔領域を検出するステップと、を含む。
【0098】
これにより、電子機器1は、横顔などのように検出しにくい顔でも検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。また、電子機器1は、連続的に顔領域が検出されている状態から検出されなくなった場合のみ画像領域GR2を拡大して顔領域を検出するため、消費電力の増加や他の処理への負荷を抑制することができる。
【0099】
また、本実施形態に係る電子機器1は、撮像部120(撮像装置の一例)で撮像された画像(撮像画像)の画像データを一時的に記憶するシステムメモリ310(メモリの一例)と、システムメモリ310に記憶された画像データを処理する人物検出部210(プロセッサの一例)とを備えている。人物検出部210は、撮像部120によって所定の時間間隔で撮像されシステムメモリ310に記憶された複数の撮像画像の画像データを処理して、複数の撮像画像の中から顔が撮像されている顔領域を第1の解像度の画像データと第2の解像度の画像データとに基づいて検出する。また、人物検出部210は、複数の撮像画像において連続的に顔領域が検出されている状態か否かを判定し、第1の解像度の画像データに基づいて顔領域を検出する処理を行っている状態において連続的に顔領域が検出されている状態と連続的に顔領域が検出されない状態との間で状態が変化したと判断した場合、複数の撮像画像の中から顔が撮像されている顔領域を第2の解像度の画像データに基づいて検出する。
【0100】
これにより、電子機器1は、顔の検出状態によって解像度を変更して検出することにより検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0101】
例えば、人物検出部210は、所定期間に前記所定の時間間隔で撮像された複数の撮像画像の中に、顔領域が検出された画像と顔領域が検出されない画像との両方が所定の割合で含まれることに基づいて、連続的に顔領域が検出されない状態であると判定する。
【0102】
これにより、電子機器1は、横顔などのように検出しにくい顔であって顔検出が不安定になった場合でも解像度を変更して検出することにより検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0103】
また、上記第1の解像度は上記第2の解像度よりも低解像度である。人物検出部210は、第1の解像度の画像データに基づいて顔領域を検出する低解像度モードの処理を実行している状態において、連続的に顔領域が検出されている状態から、連続的に顔領域が検出されない状態へ状態が変化したと判断した場合、低解像度モードの処理で検出されていた顔領域の位置に相当する特定領域(例えば、画像領域GR2)における第2の解像度の画像データに基づいて顔領域の検出を行う高解像度モードで処理を実行する。
【0104】
これにより、電子機器1は、横顔などのように検出しにくい顔であって顔検出が不安定になった場合には高解像度モードで検出することにより検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。また、電子機器1は、顔検出が不安定になった場合のみ高解像度モードで検出するため、消費電力の増加や他の処理への負荷を抑制することができる。
【0105】
また、人物検出部210は、高解像度モードで特定領域(例えば、画像領域GR2)から顔領域を検出できなかった場合、低解像度モードで顔領域の検出を実行する。
【0106】
これにより、電子機器1は、高解像度モードで特定領域(例えば、画像領域GR2から顔領域を検出できなくなった時には、ユーザが移動したとみなして低解像度モードでの処理に戻すため、無駄に電力を消費してしまうことや他の処理への負荷を抑制することができる。
【0107】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第1の実施形態において、撮像画像から顔領域が検出されなくなった場合や顔検出が不安定になった場合に、顔領域を拡大して高解像度で顔領域を検出する態様を説明したが、顔領域を拡大せずに高解像度で顔領域を検出してもよい。本実施形態では、電子機器1は、通常は、撮像画像から顔領域を検出する際に低解像度の画像を用いて検出を行い、撮像画像から顔領域が検出されなくなった場合や顔検出が不安定になった場合に、高解像度の画像を用いて顔領域の検出を行う。
【0108】
以下では、低解像度の画像を用いて顔領域を検出する検出モードのことを「低解像度モード」と称する。低解像度モードでは、処理負荷が小さく消費電力も抑えられる反面、分解能が低いことから横顔などのような検出しにくい顔領域を検出できないことがある。また、以下では、高解像度の画像を用いて顔領域を検出する検出モードを、「高解像度モード」と称する。高解像度モードは、低解像度モードより分解能が高いため、低解像度モードで顔領域を検出できなくても、高解像度モードでは顔領域を検出できる場合がある。
【0109】
なお、高解像度の画像と低解像度の画像の取得方法には種々の方法が考えられる。高解像度の画像と低解像度の画像の両方を出力可能な撮像部120を用いる場合には、撮像部120に対していずれの画像を出力させるか、状況に応じて指示する構成とすることができる。あるいは、高解像度の画像と低解像度の画像の両方を同時に出力可能な撮像部120を用いる場合には、状況に応じて撮像部120から出力された画像のいずれかを処理対象の画像として状況に応じて選択する構成とすることもできる。それらに加えて、あるいはそれらとは別に、撮像部120から出力された画像の画像データに対して解像度を下げる事前処理を行うことで、処理対象の低解像度の画像を取得する構成としてもよい。
【0110】
本実施形態に係る電子機器1の基本的な構成は、
図4~6に示す第1の実施形態に係る構成と同様であり、その説明を省略する。本実施形態では、顔検出部211が低解像度モードと高解像度モードとを切り替える処理について説明する。
【0111】
顔検出部211は、低解像度モードまたは高解像度モードで撮像画像から顔領域を検出する。顔検出部211は、初期設定として低解像度モードに設定し、低解像度モードで撮像画像のそれぞれから顔領域を検出する。顔検出部211は、低解像度モードで撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合、以降に撮像画像から顔領域を検出する際には高解像度モードで顔領域を検出する。また、顔検出部211は、高解像度モードで顔領域が検出されなくなった場合、高解像度モードから低解像度モードへ戻す。
【0112】
図11は、本実施形態に係る顔検出処理の第1例を示すフローチャートである。ここでは、撮像画像から顔領域が検出されなくなったことをトリガとして、低解像度モードから高解像度モードへ切り替えて顔領域を検出する処理の動作を説明する。
【0113】
(ステップS301)顔検出部211は、検出モードを低解像度モードに設定し、ステップS303の処理へ進む。
(ステップS303)顔検出部211は、所定の時間間隔で撮像部120により撮像された撮像画像のそれぞれから低解像度モードで顔領域を検出する。例えば、顔検出部211は、nフレーム目の撮像画像から顔領域を検出する(nは、1以上の整数)。そして、ステップS305の処理に進む。
【0114】
(ステップS305)顔検出部211は、ステップS303で撮像画像から顔領域が検出されたか否かを判定する。顔検出部211は、撮像画像から顔領域が検出されたと判定した場合(YES)、検出された顔領域や顔領域の中心座標が含まれる顔検出情報を顔検出結果の履歴として記憶させ、ステップS303の処理へ戻る。そして、ステップS303で、顔検出部211は、次のフレームの撮像画像(n+1フレーム目の撮像画像)から低解像度モードで顔領域を検出する。一方、顔検出部211は、ステップS305で撮像画像から顔領域が検出されなかったと判定した場合(NO)、ステップS309の処理に進む。
【0115】
(ステップS309)顔検出部211は、検出モードを高解像度モードに設定して、ステップS311の処理に進む。
【0116】
(ステップS311)以降のフレームでは、顔検出部211は、高解像度モードで撮像画像から顔領域を検出する。そして、ステップS313の処理へ進む。
【0117】
(ステップS313)顔検出部211は、ステップS311で撮像画像から顔領域が検出されたか否かを判定する。顔検出部211は、撮像画像から顔領域が検出されたと判定した場合(YES)、検出された顔領域や顔領域の中心座標が含まれる顔検出情報を顔検出結果の履歴として記憶させる。そして、顔検出部211は、ステップS311へ戻り、次のフレームの撮像画像から高解像度モードで顔領域を検出する。一方、顔検出部211は、ステップS113で顔領域が検出されなかったと判定した場合(NO)、ステップS301の処理に戻る。即ち、顔検出部211は、高解像度モードで顔領域を検出できなかった場合、高解像度モードを終了し、低解像度モードに戻す。
【0118】
次に、
図12を参照して、顔検出が不安定であることをトリガとして、低解像度モードから高解像度モードへ切り替えて顔領域を検出する処理の動作を説明する。
図12は、本実施形態に係る顔検出処理の第2例を示すフローチャートである。この図において、
図11の各処理に対応する処理には同一の符号を付しており、その説明を省略する。
図12に示す顔検出処理では、ステップS305で撮像画像から顔領域が検出されなかったと判定された場合(NO)、ステップS307の処理に進む。
【0119】
(ステップS307)検出状態判定部212は、顔検出が不安定であるか否かを判定する。例えば、検出状態判定部212は、撮像画像から連続的に顔領域が検出されている状態から検出されなくなったことに基づいて、顔検出が不安定であると判定してもよい。また、検出状態判定部212は、所定期間に所定の時間間隔で撮像された撮像画像の中に、顔検出部211により顔領域が検出された画像と顔領域が検出されない画像との両方が含まれることに基づいて、顔検出が不安定であると判定してもよい。この場合、検出状態判定部212は、所定期間に顔領域が検出された画像と顔領域が検出されない画像との割合に基づいて顔検出が不安定であると判定してもよいし、所定期間に顔領域が検出された画像と顔領域が検出されない画像とが繰り返されることに基づいて顔検出が不安定であると判定してもよい。
【0120】
検出状態判定部212は、ステップS307において顔検出が不安定であると判定した場合(YES)、ステップS309の処理へ進に、検出モードを高解像度モードに設定する。そして、顔検出部211は、以降のフレームでは、高解像度モードで撮像画像から顔領域を検出する(ステップS311)。一方、検出状態判定部212は、ステップS307において顔検出が不安定でないと判定した場合(NO)、ステップS303の処理へ戻る。
【0121】
[第2の実施形態のまとめ]
以上説明してきたように、本実施形態に係る電子機器1は、撮像画像のそれぞれから解像度を低減した低解像度モードで顔領域を検出し、低解像度モードで撮像画像から連続的に顔領域が検出されている状態から検出されなくなった場合、以降に撮像画像から顔領域を検出する際には高解像度モードで顔領域を検出する。
【0122】
これにより、電子機器1は、横顔などのように検出しにくい顔でも検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。また、電子機器1は、連続的に顔領域が検出されている状態から検出されなくなった場合のみ高解像度モードで顔領域を検出するため、消費電力の増加や他の処理への負荷を抑制することができる。
【0123】
また、電子機器1は、低解像度モードでは顔検出が不安定であると判定した場合、以降に撮像画像から顔領域が検出する際に、高解像度モードで顔領域を検出してもよい。
【0124】
これにより、電子機器1は、顔検出が不安定になった場合に検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。また、電子機器1は、顔検出が不安定と判定された場合のみ高解像度モードで顔領域を検出するため、消費電力の増加や他の処理への負荷を抑制することができる。
【0125】
また、電子機器1は、高解像度モードで撮像画像から顔領域を検出できなかった場合、高解像度モードでの顔領域の検出を終了し、低解像度モードでの顔領域の検出に戻す。
【0126】
これにより、電子機器1は、高解像度モードでも顔領域を検出できなくなった時には、電子機器1の前方から人物が離脱したとみなして低解像度モードに戻すため、無駄に電力を消費しないようにすることができるとともに、他の処理への影響を抑制することができる。
【0127】
また、本実施形態に係る電子機器1は、撮像部120(撮像装置の一例)で撮像された画像(撮像画像)の画像データを一時的に記憶するシステムメモリ310(メモリの一例)と、システムメモリ310に記憶された画像データを処理する人物検出部210(プロセッサの一例)とを備えている。人物検出部210は、撮像部120によって所定の時間間隔で撮像されシステムメモリ310に記憶された複数の撮像画像の画像データを処理して、複数の撮像画像の中から顔が撮像されている顔領域を第1の解像度の画像データと第2の解像度の画像データとに基づいて検出する。また、人物検出部210は、複数の撮像画像において連続的に顔領域が検出されている状態か否かを判定し、第1の解像度の画像データに基づいて顔領域を検出する処理を行っている状態において連続的に顔領域が検出されている状態と連続的に顔領域が検出されない状態との間で状態が変化したと判断した場合、複数の撮像画像の中から顔が撮像されている顔領域を第2の解像度の画像データに基づいて検出する。
【0128】
これにより、電子機器1は、顔の検出状態によって解像度を変更して検出することにより検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0129】
例えば、人物検出部210は、所定期間に前記所定の時間間隔で撮像された複数の撮像画像の中に、顔領域が検出された画像と顔領域が検出されない画像との両方が所定の割合で含まれることに基づいて、連続的に顔領域が検出されない状態であると判定する。
【0130】
これにより、電子機器1は、横顔などのように検出しにくい顔であって顔検出が不安定になった場合でも解像度を変更して検出することにより検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0131】
また、上記第1の解像度は上記第2の解像度よりも低解像度である。人物検出部210は、第1の解像度の画像データに基づいて顔領域を検出する低解像度モードの処理を実行している状態において、連続的に顔領域が検出されている状態から、連続的に顔領域が検出されない状態へ状態が変化したと判断した場合、低解像度モードの処理で検出されていた顔領域の位置に相当する特定領域(例えば、画像領域GR2)における第2の解像度の画像データに基づいて顔領域の検出を行う高解像度モードで処理を実行する。
【0132】
これにより、電子機器1は、横顔などのように検出しにくい顔であって顔検出が不安定になった場合には高解像度モードで検出することにより検出率を高めることができるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。また、電子機器1は、顔検出が不安定になった場合のみ高解像度モードで検出するため、消費電力の増加や他の処理への負荷を抑制することができる。
【0133】
また、人物検出部210は、高解像度モードで特定領域(例えば、画像領域GR2)から顔領域を検出できなかった場合、低解像度モードで顔領域の検出を実行する。
【0134】
これにより、電子機器1は、高解像度モードで特定領域(例えば、画像領域GR2から顔領域を検出できなくなった時には、ユーザが移動したとみなして低解像度モードでの処理に戻すため、無駄に電力を消費してしまうことや他の処理への負荷を抑制することができる。
【0135】
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
撮像画像から顔領域を検出する際の検出範囲DRは、消費電力を抑制するという観点からすると、なるべく小さく設定することが望ましい。例えば、
図3に示すように撮像画像の画像領域GR1の範囲に対して顔検出の検出範囲DRは小さい範囲に設定される。しかしながら、検出範囲DRを小さい範囲に設定していると、電子機器1の前方に存在するユーザの位置によっては検出できないことがある。
【0136】
図13は、検出範囲DRとユーザとの位置関係の一例を示す図である。図示するように、ユーザUの位置が撮像画像の画像領域GR3の端(例えば、右端)の方へ移動した場合、ユーザUの顔の一部分しか検出範囲DRに入らない場合がある。このような場合、顔領域が検出されずユーザの存在を正しく検出することができないことがある。そこで、本実施形態では、電子機器1は、検出された顔領域の位置に応じて検出範囲DRを移動させる。
【0137】
図14は、本実施形態に係る検出範囲DRの移動を説明する図である。図示するように、ユーザUが画像領域GR3の右方向へ移動した場合、ユーザUの移動に応じて検出範囲DRも右方向へ移動させる。符号C1は、画像領域GR3の中央に検出範囲DRが設定されている(
図13参照)場合の検出範囲DRの中心位置を示している。符号C2は、移動後の検出範囲DRの中心位置を示している。このように、電子機器1は、顔領域の位置(移動)に応じて検出範囲DRをトラッキングさせることで、ユーザの存在を正しく検出することができる。
【0138】
なお、検出範囲DRの移動は、左の辺が画像領域GR3の左の辺に到達するまで、或いは右の辺が画像領域GR3の右の辺に到達するまでに制限される。また、
図13及び
図14に示す検出範囲DRは、左右方向のみ移動可能な例を示しているが、検出範囲DRの上下も画像領域GR3の上下より短い範囲とすることにより、上下方向にも移動可能としてもよい。上下方向に検出範囲DRが移動する場合も、上の辺が画像領域GR3の上の辺に到達するまで、或いは下の辺が画像領域GR3の下の辺に到達するまでに制限される。
【0139】
本実施形態に係る電子機器1の基本的な構成は、
図4~5に示す第1の実施形態に係る構成と同様であり、その説明を省略する。
図15は、本実施形態に係る人物検出部210Aの構成の一例を示す図である。図示する人物検出部210Aは、
図5に示す人物検出部210に対応する本実施形態の構成である。この図において、
図6の各部に対応する構成には同一の符号を付しており、その説明を省略する。人物検出部210Aは、顔検出部211Aと、検出状態判定部212と、人物判定部213とを備えている。人物検出部210Aは、顔検出部211Aが検出範囲設定部21Aを備える点が、
図6に示す人物検出部210の構成と異なる。検出範囲設定部21Aは、
図14を参照して説明したように、検出された顔領域の位置に応じて検出範囲DRを移動させる。顔検出部211Aは、検出範囲設定部21Aにより設定された検出範囲DRに対して顔領域を検出する。
【0140】
例えば、検出範囲設定部21Aは、初期状態では、画像領域GR3の中心位置に検出範囲DRの中心位置が対応するように設定する(初期位置)。また、初期状態で顔領域が検出されなかった場合、検出範囲設定部21Aは、画像領域GR3の全ての範囲をサーチするように検出範囲DRを移動させてもよい。また、検出範囲設定部21Aは、検出された顔領域の位置に応じて検出範囲DRを移動させた後、顔領域が検出されなくなった場合、初期状態の位置へ戻してもよい。
【0141】
次に、
図16を参照して、検出範囲設定部21Aが検出範囲DRの設定及び移動を制御する検出範囲制御処理の動作を説明する。
図16は、本実施形態に係る検出範囲制御処理の一例を示すフローチャートである。
(ステップS401)検出範囲設定部21Aは、まず、検出範囲DRを初期位置に設定する。例えば、検出範囲設定部21Aは、初期位置として、画像領域GR3の中心位置に検出範囲DRの中心が位置するように設定する。そして、ステップS403の処理へ進む。
【0142】
(ステップS403)検出範囲設定部21Aは、顔検出部211Aにより顔領域が検出されたか否かを判定する。検出範囲設定部21Aは、顔検出部211Aにより顔領域が検出されないと判定した場合(NO)、ステップS405の処理へ進む。
(ステップS405)検出範囲設定部21Aは、画像領域GR3の全ての範囲をサーチするように検出範囲DRを移動させる。そして、ステップS409の処理へ進む。
【0143】
一方、検出範囲設定部21Aは、ステップS403において顔検出部211Aにより顔領域が検出されたと判定した場合(YES)、ステップS407の処理へ進む。
(ステップS407)検出範囲設定部21Aは、検出された顔領域の位置に応じて検出範囲DRを移動させる(
図14参照)。そして、ステップS409の処理へ進む。
【0144】
(ステップS409)検出範囲設定部21Aは、顔検出部211Aにより顔領域が検出されたか否かを判定する。検出範囲設定部21Aは、顔検出部211Aにより顔領域が検出されたと判定した場合(YES)、ステップS407の処理へ戻り、検出された顔領域の位置に応じて検出範囲DRを移動させる。一方、検出範囲設定部21Aは、顔検出部211Aにより顔領域が検出されないと判定した場合(NO)、ステップS407の処理へ戻り、検出範囲DRを初期位置に設定する。
【0145】
[第3の実施形態のまとめ]
以上説明してきたように、撮像画像から顔領域を検出する際の検出範囲DRは、撮像画像の画像領域GR3の範囲よりも小さい範囲に設定されている。そして、電子機器1は、検出された顔領域の位置に応じて検出範囲DRを移動させる。
【0146】
これにより、電子機器1は、消費電力を抑制しつつ、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0147】
また、電子機器1は、初期状態では、撮像画像の画像領域GR3の中心位置に検出範囲DRの中心位置が対応するように設定する。
【0148】
これにより、電子機器1は、ユーザが存在する可能性が高い画像領域GR3の中心の位置が初期状態で検出範囲に含まれるように設定するため、電子機器を使用する人物(ユーザ)を精度よく検出することができる。
【0149】
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
電子機器1の前方にユーザ以外の人物が近づくことや通過することがある。例えば、電子機器1は、ユーザ以外の人物が接近しても起動する必要がない(或いは起動しない方がよい)。そこで、本実施形態では、ユーザ以外の人物の顔領域が検出されたとしても、当該顔領域の検出は無視する。
【0150】
図17は、ユーザ以外の人物の顔検出の一例を示す図である。図示する例は、所定の時間間隔で電子機器1が撮像した撮像画像を時刻t(1)~t(3)の時系列の順に示している。ここでは、ユーザ以外の人物Pが電子機器1の前方を右から左へ通過したときに各時刻で撮像された撮像画像の例である。各撮像画像において検出される顔領域の位置は、ユーザが電子機器1の前方に座っている場合と比較して動きの量が大きくなる。そこで、本実施形態に係る電子機器1は、検出された顔領域の移動量が所定の閾値以上である場合には、当該顔領域の検出を無視する。なお、ユーザ以外の人物とは、その時点で電子機器1を使用していない人物であり、電子機器1の所有者以外の人物を意味するものではない。
【0151】
本実施形態に係る電子機器1の基本的な構成は、
図4~5に示す第1の実施形態に係る構成と同様であり、その説明を省略する。
図18は、本実施形態に係る人物検出部210Bの構成の一例を示す図である。図示する人物検出部210Bは、
図5に示す人物検出部210に対応する本実施形態の構成である。この図において、
図6の各部に対応する構成には同一の符号を付しており、その説明を省略する。人物検出部210Bは、顔検出部211Bと、検出状態判定部212と、人物判定部213B(判定部の一例)とを備えている。顔検出部211Bは、移動量判定部21Bを備えている。
【0152】
移動量判定部21Bは、所定の時間間隔で撮像された撮像画像のそれぞれから。顔検出部211Bにより検出された顔領域の位置に基づいて、顔領域の移動量が所定の閾値以上であるか否かを判定する。顔検出部211Bは、移動量判定部21Bにより顔領域の移動量が所定の閾値以上であると判定された場合には当該顔領域の検出を無効とする。また、顔検出部211Bは、移動量判定部21Bにより顔領域の移動量が所定の閾値未満であると判定された場合には当該顔領域の検出を有効とする。所定の閾値は、例えば、ユーザが電子機器1を使用している最中に想定される顔領域の動きの量に基づいて予め設定された閾値である。一例として、上下左右へ顔一つ分の大きさ以内の移動量を、所定の閾値としてもよい。
【0153】
なお、顔領域の動きが少なくても電子機器1自体に動きがあると、検出された顔領域の移動量が大きくなってしまう。そのため、移動量判定部21Bは、加速度センサ130により検出される電子機器1の動きを考慮して、顔検出部211Bにより検出された顔領域の移動量を判定してもよい。つまり、移動量判定部21Bは、電子機器1が動いた場合には、撮像画像から検出された顔領域の移動量を、電子機器1の移動方向及び移動量に基づいて補正し、補正した値が所定の閾値以上であるか否かを判定してもよい。
【0154】
次に、
図19を参照して、顔検出部211Bによる顔検出処理の動作を説明する。
図19は、本実施形態に係る顔検出処理の一例を示すフローチャートである。
(ステップS501)顔検出部211Bは、顔領域が検出されたか否かを判定する。顔検出部211Bは、顔領域が検出されたと判定した場合(YES)、ステップS503の処理へ進む。一方、顔検出部211Bは、顔領域が検出されないと判定した場合(NO)、ステップS509の処理へ進む。
【0155】
(ステップS503)顔検出部211Bは、所定の時間間隔で撮像された撮像画像のそれぞれから検出された顔領域の位置に基づいて、顔領域の移動量を算出し、ステップS505の処理へ進む。
【0156】
(ステップS505)顔検出部211Bは、所定の時間間隔で撮像された撮像画像のそれぞれから検出された顔領域の位置に基づいて、顔領域の移動量が所定の閾値以上であるか否かを判定する。顔検出部211Bは、顔領域の移動量が所定の閾値未満であると判定した場合(NO)、ステップS507の処理へ進む。一方、顔検出部211Bは、顔領域の移動量が所定の閾値以上であると判定した場合(YES)、ステップS509の処理へ進む。
【0157】
(ステップS507)顔検出部211Bは、撮像画像から検出された顔領域の検出を有効とする。
(ステップS509)顔検出部211Bは、撮像画像から検出された顔領域の検出を無効とする。
【0158】
人物判定部213Bは、上述の顔検出処理による顔領域の検出結果に基づいて、電子機器1の前方に人物が存在するか否かを判定する。例えば、人物判定部213Bは、顔検出部211Bにより撮像画像から検出された顔領域の検出が有効な場合には電子機器1の前方に人物が存在すると判定する。一方、人物判定部213Bは、顔検出部211Bにより撮像画像から顔領域が検出されなかった場合、または撮像画像から検出された顔領域の検出が無効である場合には、電子機器1の前方に人物が存在していないと判定する。
【0159】
このように、人物検出部210Bは、撮像画像から顔領域を検出しても、当該顔領域の移動量が所定の閾値以上の場合にはユーザ以外の人物の顔であるとみなして顔検出を無効にし、ユーザが存在していないと判定する。これにより、電子機器1は、電子機器1の前方にユーザ以外の人物が近づくことや通過することがあっても、ユーザが接近したとは検出しないため、誤って起動してしまわないようにすることができる。
【0160】
[第4の実施形態のまとめ]
以上説明したように、本実施形態に係る電子機器1は、所定の時間間隔で撮像された複数の撮像画像の中から検出された顔領域の位置に基づいて、顔領域の移動量が所定の閾値以上であるか否かを判定し、顔領域の移動量が所定の閾値以上であると判定した場合には当該顔領域の検出を無効とし、顔領域の移動量が所定の閾値未満であると判定した場合には当該顔領域の検出を有効とする。
【0161】
これにより、電子機器1は、電子機器1の前方にユーザ以外の人物が近づくことや通過することがあった場合に、ユーザが接近したと誤検出してしまわないようにすることができる。よって、電子機器1は、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0162】
また、電子機器1は、電子機器1の動きを検出する加速度センサ130(センサの一例)を備えており、当該加速度センサ130より検出された電子機器1の動きを考慮して、検出された顔領域の移動量を判定する。
【0163】
これにより、電子機器1は、電子機器1自体に動きがあった場合でも、顔領域の移動量を正しく検出できるため、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0164】
また、電子機器1は、システムに基づくシステム処理を実行するシステム処理部300(処理部の一例)を備えている。また、電子機器1は、撮像画像から検出された顔領域の検出が有効な場合にはユーザが存在すると判定し、撮像画像から顔領域が検出されなかった場合または撮像画像から検出された顔領域の検出が無効である場合にはユーザが存在していないと判定する。そして、電子機器1は、ユーザが存在していない状態からユーザが存在する状態へと遷移した場合、システムの動作状態を待機状態(第1動作状態の一例)から通常動作状態(第2動作状態の一例)へ遷移させる。
【0165】
これにより、電子機器1は、電子機器1を使用する人物(ユーザ)が電子機器1の前方に近づいた場合には待機状態から起動させることができるとともに、ユーザ以外の人物が電子機器1の前方に近づくことや通過することがあっても、誤って起動してしまわないようにすることができる。
【0166】
また、本実施形態に係る電子機器1における制御方法は、所定の時間間隔で撮像された撮像画像のそれぞれから顔領域を検出するステップと、撮像画像のそれぞれから検出された顔領域の位置に基づいて、顔領域の移動量が所定の閾値以上であるか否かを判定するステップと、顔の移動量が所定の閾値以上であると判定された場合には当該顔領域の検出を無効とし、顔の移動量が所定の閾値未満であると判定された場合には当該顔領域の検出を有効とするステップとを含む。
【0167】
これにより、電子機器1は、電子機器1の前方にユーザ以外の人物が近づくことや通過することがあった場合に、ユーザが接近したと誤検出してしまわないようにすることができる。よって、電子機器1は、電子機器1を使用する人物(ユーザ)を精度よく検出することができる。
【0168】
以上、この発明の各実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の各実施形態において説明した各構成は、任意に組み合わせることができる。
【0169】
また、上記実施形態では、電子機器1に撮像部120が内蔵されている構成例を説明したが、これに限られるものではない。例えば、撮像部120は、電子機器1に内蔵されていなくてもよく、電子機器1の外部アクセサリとして電子機器1(例えば、側面10a、10b、10c等のいずれか)に取り付け可能に構成され、無線または有線で電子機器1と通信接続されるものであってもよい。
【0170】
また、上記実施形態では、電子機器1は、撮像画像から顔が撮像されている顔領域を検出することによりユーザの存在を検出したが、顔に限らず、身体の少なくとも一部を検出することによりユーザの存在を検出してもよい。また、電子機器1は、物体までの距離を検出する距離センサ(例えば、近接センサなど)を併用してもよい。例えば、距離センサは、第1筐体10の内面側に設けられ、第1筐体10の内面に対面する方向(前方)の検出範囲内に存在する物体(例えば、人物)を検出する。一例として、距離センサは、赤外線を発光する発光部と、発光した赤外線が物体の表面に反射して戻ってくる反射光を受光する受光部とを含んで構成される赤外線距離センサであってもよい。なお、距離センサは、発光ダイオードが発光する赤外線を用いたセンサであってもよいし、発光ダイオードが発光する赤外線よりも波長帯域が狭い光線を発光する赤外線レーザを用いたセンサであってもよい。また、距離センサは、赤外線距離センサに限定されるものでなく、物体との距離を検出するセンサであれば、超音波センサまたはUWB(Ultra Wide Band)レーダを用いたセンサ等の他の方式を用いたセンサであってもよい。また、距離センサも、電子機器1に内蔵されていなくてもよく、電子機器1の外部アクセサリとして電子機器1(例えば、側面10a、10b、10c等のいずれか)に取り付け可能に構成され、無線または有線で電子機器1と通信接続されるものであってもよい。また、撮像部120と距離センサとが一体に構成されてもよい。
【0171】
また、上記実施形態では、人物検出部210がEC200とは別に備えられている例を示したが、人物検出部210の一部または全部は、EC200に備えられてもよい。また、上記実施形態では、EC200が動作制御部220を備える例を示したが、動作制御部220の一部または全部は、EC200以外の処理部(例えば、システム処理部300)に備えられてもよい。
【0172】
また、上記実施形態では、システム処理部300と独立に動作するEC200は、センサハブ、チップセット、などのいずれの処理部であってもよく、EC200以外の処理部がEC200に代えて上述の処理を実行してもよい。
【0173】
また、上述した待機状態には、ハイバネーション状態やパワーオフ状態等が含まれてもよい。ハイバネーション状態は、例えば、ACPIで規定されているS4状態に相当する。パワーオフ状態は、例えば、ACPIで規定されているS5状態(シャットダウンした状態)相当する。また、待機状態には、少なくとも表示部の表示がOFF(画面OFF)となる状態、または画面ロックとなる状態を含んでもよい。画面ロックとは、処理中の内容が視認できないように予め設定された画像(例えば、画面ロック用の画像)が表示部に表示され、ロックを解除(例えば、ユーザ認証)するまで、使用できない状態である。
【0174】
なお、上述した電子機器1は、内部にコンピュータシステムを有している。そして、上述した電子機器1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した電子機器1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
【0175】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に電子機器1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0176】
また、上述した実施形態における電子機器1が備える各機能の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0177】
また、上記実施形態の電子機器1は、PC、タブレット端末装置、スマートフォンなどに限られるものではなく、家庭用電気製品や業務用電気製品にも適用できる。家庭用電気製品としては、テレビや、表示部が備えられた冷蔵庫、電子レンジ等に適用できる。例えば、人物の接近または離脱に応じて、テレビの画面のON/OFFを制御すること、或いは、冷蔵庫や電子レンジ等の表示部の画面のON/OFFを制御することができる。また、業務用電気製品としては、自動販売機や、マルチメディア端末等に適用できる。例えば、人物の接近または離脱に応じて、自動販売機の照明のON/OFFなど、或いは、マルチメディア端末の表示部の画面のON/OFFなどのように動作状態を制御することができる。
【符号の説明】
【0178】
1 電子機器、10 第1筐体、20 第2筐体、15 ヒンジ機構、110 表示部、120 撮像部、130 加速度センサ、140 電源ボタン、150 入力デバイス、151 キーボード、153 タッチパッド、200 EC、210,210,210A,210B 人物検出部、211,211A,211B 顔検出部、21A 検出範囲設定部、21B 移動量判定部、212 検出状態判定部、213,213B 人物判定部、220 動作制御部、300 システム処理部、302 CPU、304 GPU、306 メモリコントローラ、308 I/Oコントローラ、310 システムメモリ、350 通信部、360 記憶部、400 電源部
【要約】
【課題】電子機器を使用する人物を精度よく検出すること。
【解決手段】電子機器は、撮像装置で撮像された画像の画像データを一時的に記憶するメモリとメモリに記憶された画像データを処理するプロセッサとを備える。プロセッサは、撮像装置によって所定の時間間隔で撮像されメモリに記憶された複数の画像の画像データを処理して、複数の画像の中から顔が撮像されている顔領域を第1の解像度の画像データと第2の解像度の画像データとに基づいて検出し、複数の画像において連続的に顔領域が検出されている状態か否かを判定する。また、プロセッサは、第1の解像度の画像データに基づいて顔領域を検出する処理を行っている状態において連続的に顔領域が検出されている状態と連続的に顔領域が検出されない状態との間で状態が変化したと判断した場合、複数の画像の中から顔領域を第2の解像度の画像データに基づいて検出する。
【選択図】
図6