特許 6233471 情報処理装置、情報処理方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6233471

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】情報処理装置、情報処理方法及びコンピュータプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20171113BHJP

   G06F 3/048 20130101ALI20171113BHJP

   G06F 3/0488 20130101ALI20171113BHJP

   G06F 3/0346 20130101ALI20171113BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/048

   G06F3/0488

   G06F3/0346 422

【請求項の数】15

【全頁数】22

(21)【出願番号】特願2016-161835(P2016-161835)

(22)【出願日】2016年8月22日

(62)【分割の表示】特願2012-76211(P2012-76211)の分割

【原出願日】2012年3月29日

(65)【公開番号】特開2017-4553(P2017-4553A)

(43)【公開日】2017年1月5日

【審査請求日】2016年8月23日

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100095957

【弁理士】

【氏名又は名称】亀谷 美明

(74)【代理人】

【識別番号】100096389

【弁理士】

【氏名又は名称】金本 哲男

(74)【代理人】

【識別番号】100101557

【弁理士】

【氏名又は名称】萩原 康司

(74)【代理人】

【識別番号】100128587

【弁理士】

【氏名又は名称】松本 一騎

(72)【発明者】

【氏名】澤田 務

【審査官】 加内 慎也

(56)【参考文献】

【文献】 特開２００８−０１５９４２（ＪＰ，Ａ）

【文献】 特開２０１１−０５４１１８（ＪＰ，Ａ）

【文献】 特開２０１０−０３３６０４（ＪＰ，Ａ）

【文献】 特開２０１１−０１５３０１（ＪＰ，Ａ）

【文献】 特開２００９−０３７４３４（ＪＰ，Ａ）

【文献】 特開平１０−１２４０３５（ＪＰ，Ａ）

【文献】 特開平１１−０８５４０２（ＪＰ，Ａ）

【文献】 特開平０９−０８１３０９（ＪＰ，Ａ）

【文献】 特開平０９−１４６６９２（ＪＰ，Ａ）

【文献】 特開２０１１−０９５９０２（ＪＰ，Ａ）

【文献】 特開２００９−０９２９５０（ＪＰ，Ａ）

【文献】 特開２００６−２７７６６６（ＪＰ，Ａ）

【文献】 特開２００５−１００３６６（ＪＰ，Ａ）

【文献】 特開２００７−１７９３３８（ＪＰ，Ａ）

【文献】 特表２００９−５１９５５２（ＪＰ，Ａ）

【文献】 特表２００８−５０２９９０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００５０２７３（ＵＳ，Ａ１）

【文献】 程 浩侃、高橋 伸、田中 二郎，ProphetCursor:顔の向き方向によってカーソル移動を補助する大画面ポインティング手法，［ＤＶＤ−ＲＯＭ］論文集 ヒューマンインタフェースシンポジウム２０１１，日本，２０１１年 ９月１３日，pp.1087-1092

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／０４８８

(57)【特許請求の範囲】

【請求項1】

ユーザの顔の向き及び該ユーザが行った動作を検出する動作検出部と、
前記動作検出部が、前記ユーザが動作を行ったことを検出すると、前記ユーザの動作の際の前記ユーザの顔の向きに応じて所定の領域を選択する領域選択部と、
前記領域選択部が選択した前記所定の領域に対応する情報を表示させるとともに、前記動作検出部が検出した前記ユーザの動作及び顔の向きに応じて、前記ユーザが動作を行った際の表示を変化させる情報表示部と、
を備え、
前記領域選択部は、前記動作検出部が前記ユーザの第１の動作を検出すると前記領域を選択し、
前記情報表示部は、前記動作検出部が前記ユーザの第２の動作を検出すると、表示を前記第１の動作による表示から変化させるとともに、前記動作検出部が検出した前記第１の動作の内容に応じて表示させる情報を変化させる、情報処理装置。

【請求項2】

前記情報表示部は、前記領域選択部が選択した領域から所定量離れた領域に前記対応する情報を表示させる、請求項１に記載の情報処理装置。

【請求項3】

前記情報表示部は、前記領域選択部が選択した領域に依らない所定の領域に前記対応する情報を表示させる、請求項１に記載の情報処理装置。

【請求項4】

前記情報表示部は、前記動作検出部が検出した前記ユーザの顔の位置に応じて表示させる情報を変化させる、請求項１に記載の情報処理装置。

【請求項5】

前記情報表示部は、前記動作検出部が検出した顔の向きに応じて、前記ユーザが前記動作を行った際の表示を変化させる、請求項１に記載の情報処理装置。

【請求項6】

前記情報表示部は、前記領域選択部が選択した前記領域にカーソルを表示させる、請求項１に記載の情報処理装置。

【請求項7】

前記情報表示部は、前記ユーザの動作に応じて前記選択された所定の領域に対応したコンテンツの再生を開始又は停止させる、請求項１に記載の情報処理装置。

【請求項8】

前記情報表示部は、前記ユーザの動作に応じて前記選択された所定の領域に対応したコンテンツの表示の大きさを変更させる、請求項１に記載の情報処理装置。

【請求項9】

前記情報表示部は、前記ユーザの顔の向きに応じて前記選択された所定の領域に対応したコンテンツの移動方向を変化させる、請求項１に記載の情報処理装置。

【請求項10】

前記コンテンツの移動方向は前記コンテンツのスクロール方向である、請求項９に記載の情報処理装置。

【請求項11】

前記情報表示部は、前記領域選択部が選択した前記所定の領域に対応する情報として、前記ユーザに操作をさせるためのアイコンを表示させる、請求項１に記載の情報処理装置。

【請求項12】

前記情報表示部は、前記領域選択部が選択した前記所定の領域に対応する情報として、前記ユーザに選択をさせるためのメニューを表示させる、請求項１に記載の情報処理装置。

【請求項13】

前記情報表示部は、前記ユーザが動作を行ったことを検出した場合に、該動作に続き前記ユーザの操作が可能な領域を表示させる、請求項１に記載の情報処理装置。

【請求項14】

ユーザの顔の向き及び該ユーザが行った動作を検出することと、
前記ユーザが動作を行ったことが検出されると、前記ユーザの動作の際の前記ユーザの顔の向きに応じて表示領域上の領域を選択することと、
選択された前記領域に対応する情報を表示させるとともに、検出された前記ユーザの動作及び顔の向きに応じて、前記ユーザが動作を行った際の表示を変化させることと、
を含み、
前記領域を選択することは、前記ユーザの第１の動作が検出されると前記領域を選択することを含み、
前記表示を変化させることは、前記ユーザの第２の動作が検出されると、表示を前記第１の動作による表示から変化させるとともに、検出された前記第１の動作の内容に応じて表示させる情報を変化させることを含む、情報処理方法。

【請求項15】

コンピュータに、
ユーザの顔の向き及び該ユーザが行った動作を検出することと、
前記ユーザが動作を行ったことが検出されると、前記ユーザの動作の際の前記ユーザの顔の向きに応じて表示領域上の領域を選択することと、
選択された前記領域に対応する情報を表示させるとともに、検出された前記ユーザの動作及び顔の向きに応じて、前記ユーザが動作を行った際の表示を変化させることと、
を実行させ、
前記領域を選択することは、前記ユーザの第１の動作が検出されると前記領域を選択することを含み、
前記表示を変化させることは、前記ユーザの第２の動作が検出されると、表示を前記第１の動作による表示から変化させるとともに、検出された前記第１の動作の内容に応じて表示させる情報を変化させることを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

テレビやパーソナルコンピュータ等を、キーボードやマウス、リモートコントローラを用いずに、ユーザにジェスチャによって操作する技術が存在する（例えば特許文献１〜３参照）。このような技術を用いれば、テレビやパーソナルコンピュータ等を、キーボードやマウス、リモートコントローラ等の操作手段を用いずに遠隔操作することが可能になる。

【0003】

例えば特許文献１に記載の技術は、少数のジェスチャを用いて多くの機能を実行して、意図しない機能の実行を防止する。また特許文献２に記載の技術は、顔器官の動きを検出して遠隔操作を実行する。また特許文献３に記載の技術は、ユーザの身体の直接的、直感的、及び自然な動きを介して、対応するアイコンの機能の選択を提供する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−１４６２４３号公報

【特許文献2】特開２００７−３１０９１４号公報

【特許文献3】特表２０１１−５１３８４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このようにテレビやパーソナルコンピュータ等をユーザのジェスチャによって遠隔操作する技術はあるが、顔の向きや顔器官の動きだけを検出して遠隔操作する際には、例えば５０インチ以上の大きな画面に表示されるカーソルの大きな移動は容易に出来ても細かい位置指定が難しい。また、ユーザの手の動きだけを検出して遠隔操作する際には、画面に表示されるカーソルの細かい移動は容易にできても、画面に表示されるカーソルの大きな移動は困難である。

【0006】

そこで、本開示は、ユーザがジェスチャによって遠隔操作する際に、特定のジェスチャの検出によって遠隔操作を容易にさせることが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本開示によれば、ユーザの顔の向き及び該ユーザが行った動作を検出する動作検出部と、前記動作検出部が、前記ユーザが第１の動作を行ったことを検出すると、該第１の動作の際の前記ユーザの顔の向きに応じて画面上の領域を選択する領域選択部と、を備える、情報処理装置が提供される。

【0008】

かかる構成によれば、動作検出部はユーザの顔の向き及び該ユーザが行った動作を検出し、領域選択部は、ユーザが第１の動作を行ったことを動作検出部が検出すると、該第１の動作の際のユーザの顔の向きに応じて画面上の領域を選択する。その結果、かかる情報処理装置は、ユーザがジェスチャによって遠隔操作する際に、特定のジェスチャの検出によって遠隔操作を容易にさせることが可能となる。

【0009】

また本開示によれば、ユーザの顔の向き及び該ユーザが行った動作を検出する動作検出ステップと、前記ユーザが第１の動作を行ったことを前記動作検出ステップで検出すると、該第１の動作の際の前記ユーザの顔の向きに応じて画面上の領域を選択する領域選択ステップと、を備える、情報処理方法が提供される。

【0010】

また本開示によれば、コンピュータに、ユーザの顔の向き及び該ユーザが行った動作を検出する動作検出ステップと、前記ユーザが第１の動作を行ったことを前記動作検出ステップで検出すると、該第１の動作の際の前記ユーザの顔の向きに応じて画面上の領域を選択する領域選択ステップと、を実行させる、コンピュータプログラムが提供される。

【発明の効果】

【0011】

以上説明したように本開示によれば、ユーザがジェスチャによって遠隔操作する際に、特定のジェスチャの検出によって遠隔操作を容易にさせることが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】本開示の一実施形態にかかる表示装置１００の外観例を示す説明図である。

【図2】本開示の一実施形態にかかる表示装置１００の機能構成例を示す説明図である。

【図3】本開示の一実施形態にかかる表示装置１００に含まれる動作検出部１４０の機能構成例を示す説明図である。

【図4】顔検出部１４２による変換処理について示す説明図である。

【図5】顔検出部１４２による変換処理について示す説明図である。

【図6】顔検出部１４２による変換処理について示す説明図である。

【図7】顔検出部１４２が検出した顔が指し示す表示部１１０の表示領域上の位置の算出について示す説明図である。

【図8】顔検出部１４２による変換処理について示す説明図である。

【図9A】本開示の一実施形態にかかる表示装置１００の制御例を示す説明図である。

【図9B】本開示の一実施形態にかかる表示装置１００の制御例を示す説明図である。

【図9C】本開示の一実施形態にかかる表示装置１００の制御例を示す説明図である。

【図10】本開示の一実施形態にかかる表示装置１００の動作を示す流れ図である。

【図11】表示装置１００の表示部１１０に表示される画面の例を示す説明図である。

【図12】表示装置１００の表示部１１０に表示される画面の例を示す説明図である。

【図13A】表示装置１００の表示部１１０に表示される画面の例を示す説明図である。

【図13B】表示装置１００の表示部１１０に表示される画面の例を示す説明図である。

【図14】本開示の一実施形態に係る表示装置１００のハードウェア構成を説明するためのブロック図である。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0014】

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［表示装置の外観例］
［表示装置の機能構成例］
［表示装置の動作］
＜２．まとめ＞

【0015】

＜１．本開示の一実施形態＞
［表示装置の外観例］
まず、本開示の一実施形態にかかる表示装置の外観例について説明する。図１は、本開示の一実施形態にかかる表示装置１００の外観例を示す説明図である。以下、図１を用いて本開示の一実施形態にかかる表示装置１００の外観について説明する。

【0016】

図１に示した表示装置１００は、本開示の情報処理装置の一例であり、ユーザのジェスチャを検出し、そのジェスチャに応じた処理を実行する。図１に示したように、本開示の一実施形態にかかる表示装置１００は、表示部１１０と、カメラ１２０と、を含んで構成される。

【0017】

表示部１１０は、供給される信号に応じて画像を表示する。カメラ１２０は、表示部１１０の表示面と同じ向きに設けられ、表示部１１０の表示面に対向する物体を撮像する。図１に示した表示装置１００は、カメラ１２０が撮影した画像からユーザのジェスチャを検出し、そのジェスチャに応じた処理を実行するように構成される。

【0018】

図１に示した表示装置１００は、カメラ１２０が撮影した画像からユーザのジェスチャを検出し、そのジェスチャに応じた処理を実行するように構成される装置であれば何でも良く、例えばテレビであってもよく、またパーソナルコンピュータその他の情報処理装置に接続されるモニタであってもよく、またプロジェクタであってもよい。

【0019】

以上、図１を用いて、本開示の一実施形態にかかる表示装置１００の外観例について説明した。次に、本開示の一実施形態にかかる表示装置１００の機能構成例について説明する。

【0020】

［表示装置の機能構成例］
図２は、本開示の一実施形態にかかる表示装置１００の機能構成例を示す説明図である。以下、図２を用いて本開示の一実施形態にかかる表示装置１００の機能構成例について説明する。

【0021】

図２に示したように、本開示の一実施形態にかかる表示装置１００は、表示部１１０と、カメラ１２０と、画像処理部１３０と、動作検出部１４０と、領域選択部１５０と、情報表示部１６０と、を含んで構成される。

【0022】

表示部１１０は、上述したように供給される信号に応じて画像を表示する。本実施形態では、表示部１１０は、情報表示部１６０から供給される信号に応じた情報を表示する。表示部１１０は、例えば液晶ディスプレイパネル、有機ＥＬディスプレイパネル、プラズマディスプレイパネルのような表示デバイスの他、表示装置１００がプロジェクタの様に壁面等に映像を投影することで情報を表示する装置である場合には、その映像を投影するデバイスおよびそのデバイスが映し出した画像を表示する表示面から構成されていてもよい。

【0023】

カメラ１２０は、上述してきたように、表示部１１０の表示面と同じ向きに設けられ、表示部１１０の表示面に対向する物体を撮像する。カメラ１２０は、レンズや、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサその他の撮像素子等を備えており、レンズを通して撮像素子に入射された光を電気信号に変換することで、画像データの基となるデータを得ることができる。カメラ１２０は、電気信号を画像処理部１３０へ供給する。

【0024】

画像処理部１３０は、カメラ１２０で得られた電気信号に対して所定の信号処理を施して、画像データを得る。画像処理部１３０は、所定の信号処理として、例えばノイズリダクション処理、ホワイトバランス処理等を実行する。画像処理部１３０は、信号処理を施して得られる画像データを動作検出部１４０に供給する。

【0025】

動作検出部１４０は、画像処理部１３０から供給される画像データを用いて、表示部１１０の表示面に対向するユーザの動作を検出する。動作検出部１４０は、画像データを用いてユーザの動作を検出すると、検出結果を領域選択部１５０に出力する。動作検出部１４０は、画像データを用いてユーザの動作を検出するに際して、例えば顔認識処理や、ユーザの所定の動作を検出する処理を実行する。

【0026】

領域選択部１５０は、動作検出部１４０によるユーザの動作の検出結果を用いて、表示部１１０の表示領域の中から領域を選択する。領域選択部１５０による領域の選択処理については後に詳述する。領域選択部１５０は、表示部１１０の表示領域の中から領域を選択すると、選択した領域の情報を情報表示部１６０に供給する。

【0027】

情報表示部１６０は、表示部１１０に対して、領域選択部１５０が選択した表示部１１０の表示領域の中の領域に所定の情報を表示させる。情報表示部１６０が表示部１１０に表示させる所定の情報は、例えばカーソル、アイコン、メニュー画面等の、ユーザに操作や選択をさせるための情報である。

【0028】

以上、図２を用いて本開示の一実施形態にかかる表示装置１００の機能構成例について説明した。次に、本開示の一実施形態にかかる表示装置１００に含まれる動作検出部１４０の機能構成例について説明する。

【0029】

図３は、本開示の一実施形態にかかる表示装置１００に含まれる動作検出部１４０の機能構成例を示す説明図である。以下、図３を用いて本開示の一実施形態にかかる表示装置１００に含まれる動作検出部１４０の機能構成例について説明する。

【0030】

図３に示したように、本開示の一実施形態にかかる表示装置１００に含まれる動作検出部１４０は、顔検出部１４２と、ジェスチャ検出部１４４と、を含んで構成される。

【0031】

顔検出部１４２は、画像処理部１３０から供給される画像データを用いて、画像データに含まれる顔の有無を検出すると共に、顔が含まれていた場合には、その顔が表示部１１０の表示領域のどの位置を示しているのかを推測する。

【0032】

ジェスチャ検出部１４４は、画像処理部１３０から供給される画像データを用いて、画像データに含まれる、ユーザが表示部１１０に向かって行った所定のジェスチャを検出する。動作検出部１４０は、顔検出部１４２による顔検出及びジェスチャ検出部１４４によるジェスチャ検出の結果を領域選択部１５０に出力する。領域選択部１５０は、動作検出部１４０から供給される、顔検出部１４２による顔検出及びジェスチャ検出部１４４によるジェスチャ検出の結果を用いて、表示部１１０の表示領域の中から領域を選択することができる。

【0033】

以上、図３を用いて本開示の一実施形態にかかる表示装置１００に含まれる動作検出部１４０の機能構成例について説明した。次に、本開示の一実施形態にかかる表示装置１００の動作について説明する。

【0034】

本開示の一実施形態にかかる表示装置１００は、カメラ１２０で撮像して得られる画像データから、表示装置１００の表示部１１０の表示面に対向するユーザの顔およびユーザが行ったジェスチャを検出することができる。そして表示装置１００は、ユーザの顔およびユーザが行ったジェスチャの検出結果に基づいて、表示装置１００の表示部１１０の表示領域の中から領域（例えば表示領域上の位置や範囲）を選択することができると共に、その選択した領域に情報（例えば、カーソルやメニュー等）を表示することができる。

【0035】

以下の説明では、本開示の一実施形態にかかる表示装置１００の動作の一例として、カメラ１２０で撮像して得られる画像データから、表示装置１００の表示部１１０の表示面に対向するユーザの顔およびジェスチャを検出して、表示部１１０におけるユーザの顔の向きに対応する位置にカーソルを表示させる処理について説明する。さらに、カメラ１２０で撮像して得られる画像データから、表示装置１００の表示部１１０の表示面に対向するユーザのジェスチャを検出し、そのジェスチャに応じてそのカーソルを移動させる処理について説明する。

【0036】

顔検出部１４２による、画像座標上での顔検出位置を用いた、表示装置１００の表示部１１０を中心とした表示部中心座標系での顔位置を推定する処理について詳細に説明する。まず、顔検出部１４２は画像座標上での顔検出位置を用いて画像中心座標系の顔位置に変換し、その後カメラ中心座標系での顔位置に変換する。そして、顔検出部１４２は、カメラ中心座標系での顔位置から、表示装置１００の表示部１１０を中心とした表示部中心座標系での顔位置に変換する。

【0037】

図４は、顔検出部１４２による画像中心座標系の顔位置への変換処理について示す説明図である。画像処理部１３０から供給される画像データにおける画像座標上での顔検出位置（ｘ，ｙ）［０≦ｘ、ｙ≦１］から、画像中心座標系での顔位置（ｖ＿ｒａｄ，ｈ＿ｒａｄ）［ｒａｄ］への変換は、以下の数式で求められる。
ｖ＿ｒａｄ＝−ｆａｃｅ＿ｃｙ＊ｃａｍＶｉｅｗＡｎｇｌｅＨ
ｈ＿ｒａｄ＝−ｆａｃｅ＿ｃｘ＊ｃａｍＶｉｅｗＡｎｇｌｅＨ

【0038】

なお、各変数は以下に示した通りの意味である。
ｆａｃｅ＿ｃｘ：画像中心座標系での水平方向顔検出位置［−０．５〜０．５］
ｆａｃｅ＿ｃｙ：画像中心座標系での垂直方向顔検出位置［−０．５〜０．５］
ｆａｃｅ＿ｃｘ＝ｘ＋ｗ／２＋０．５
ｆａｃｅ＿ｃｙ＝ｙ＋ｈ／２＋０．５
ｃａｍＶｉｅｗＡｎｇｌｅＶ：カメラ垂直方向画角［ｒａｄ］
ｃａｍＶｉｅｗＡｎｇｌｅＨ：カメラ水平方向画角［ｒａｄ］
ｗ：顔検出幅［０〜１］
ｈ：顔検出高［０〜１］

【0039】

図５は、顔検出部１４２による画像中心座標系での顔位置からカメラ中心座標系での顔位置への変換処理について示す説明図である。画像中心座標系での顔位置（ｖ＿ｒａｄ，ｈ＿ｒａｄ）［ｒａｄ］からカメラ中心座標系での顔位置（ｃａｍ＿ｘ，ｃａｍ＿ｙ，ｃａｍ＿ｚ）［ｍｍ］への変換は、以下のような数式で行うことができる。
ｃａｍ＿ｘ＝１０００＊ＦＡＣＥＳＩＺＥ＿ＡＴ＿１０００／ｗ
ｃａｍ＿ｙ＝ｃａｍ＿ｘ＊ｔａｎ（ｈ＿ｒａｄ）
ｃａｍ＿ｚ＝ｃａｍ＿ｘ＊ｔａｎ（ｖ＿ｒａｄ）

【0040】

なお、ＦＡＣＥＳＩＺＥ＿ＡＴ＿１０００は、距離１０００［ｍｍ］時での顔サイズｗ［０〜１］を表す。

【0041】

図６は、顔検出部１４２によるカメラ中心座標系での顔位置から、表示装置１００の表示部１１０を中心とした表示部中心座標系での顔位置への変換処理について示す説明図である。カメラ中心座標系での顔位置（ｃａｍ＿ｘ，ｃａｍ＿ｙ，ｃａｍ＿ｚ）［ｍｍ］から、表示装置１００の表示部１１０を中心とした表示部中心座標系での顔位置（ｐｏｓ＿ｘ，ｐｏｓ＿ｙ，ｐｏｓ＿ｚ）［ｍｍ］への変換は、以下のような数式で行うことができる。
ｐｏｓ＿ｘ＝ｃａｍ＿ｘ＊ｃｏｓ（ｐｉｔｃｈ）＋ｃａｍ＿ｚ＊ｓｉｎ（ｐｉｔｃｈ）＋ｓｈｉｆｔ＿ｘ
ｐｏｓ＿ｙ＝ｃａｍ＿ｙ＋ｓｈｉｆｔ＿ｙ
ｐｏｓ＿ｚ＝−ｃａｍ＿ｘ＊ｓｉｎ（ｐｉｔｃｈ）＋ｃａｍ＿ｚ＊ｃｏｓ（ｐｉｔｃｈ）＋ｓｈｉｆｔ＿ｚ

【0042】

なお、各変数は以下に示した通りの意味である。
ｐｉｔｃｈ：カメラの表示装置１００に対する傾き角［ｒａｄ］
ｓｈｉｆｔ＿｛ｘ，ｙ，ｚ｝：カメラ１２０の中心から表示装置１００の表示部１１０の中心までのｘ、ｙ、ｚ方向の偏差［ｍｍ］

【0043】

以上から、顔検出部１４２は、画像座標上での顔検出位置から、表示部中心座標系での顔位置を求めることができる。

【0044】

顔検出部１４２は、顔検出位置（ｘ，ｙ）［０〜１］を取得すると共に、その顔が向いている顔方向（ｔｈｅｔａ，ｐｈｉ）［ｒａｄ］を取得する。顔検出部１４２は、表示部中心座標系での顔位置と、顔方向とから、その顔が指し示す表示部１１０の表示領域上の位置を計算で求めることができる。図７は、顔検出部１４２が検出した顔が指し示す表示部１１０の表示領域上の位置の算出について示す説明図である。

【0045】

表示部中心座標系での顔位置（ｐｏｓ＿ｘ，ｐｏｓ＿ｙ，ｐｏｓ＿ｚ）［ｍｍ］と顔方向とから、その顔が指し示す表示部１１０の表示領域上の位置（ｄｓｐ＿ｘ，ｄｓｐ＿ｙ，ｄｓｐ＿ｚ）［ｍｍ］への変換は、以下のような数式で行うことができる。
ｔｈｅｔａ＝ａｔａｎ（ｐｏｓ＿ｙ／ｐｏｓ＿ｘ）
ｐｈｉ＝ａｔａｎ（ｐｏｓ＿ｚ／ｐｏｓ＿ｘ）

【0046】

なお、各変数は以下に示した通りの意味である。
ｄｓｐ＿ｘ＝０．０
ｄｓｐ＿ｙ＝−ｐｏｓ＿ｙ＋ｐｏｓ＿ｘ＊ｔａｎ（ｙａｗ＋ｔｈｅｔａ）
ｄｓｐ＿ｚ＝ｐｏｓ＿ｚ−ｐｏｓ＿ｘ＊ｔａｎ（ｐｉｔｃｈ＋ｐｈｉ）

【0047】

図８は、顔検出部１４２が検出した顔が指し示す画面上の位置から画像座標系でのカーソル位置への変換処理について示す説明図である。顔検出部１４２が検出した顔が指し示す画面上の位置（ｄｓｐ＿ｘ，ｄｓｐ＿ｙ，ｄｓｐ＿ｚ）［ｍｍ］から画像座標系でのカーソル位置（ｃｓｒ＿ｘ，ｃｓｒ＿ｙ）［ｐｉｘｃｅｌ］への変換は、以下のような数式で行なうことができる。

【0048】

ｃｓｒ＿ｘ＝（−ｄｓｐ＿ｙ／ｄｓｐ＿ｓｉｚｅ＿ｗ＋０．５）＊ｄｓｐ＿ｒｓｌ＿ｗ
ｃｓｒ＿ｙ＝（−ｄｓｐ＿ｚ／ｄｓｐ＿ｓｉｚｅ＿ｈ＋０．５）＊ｄｓｐ＿ｒｓｌ＿ｈ

【0049】

なお、各変数は以下に示した通りの意味である。
ｄｓｐ＿ｓｉｚｅ＿ｗ：ディスプレイ横幅長［ｍｍ］
ｄｓｐ＿ｓｉｚｅ＿ｈ：ディスプレイ縦幅長［ｍｍ］
ｄｓｐ＿ｒｓｌ＿ｗ：ディスプレイ横幅解像度［ｐｉｘ］
ｄｓｐ＿ｒｓｌ＿ｈ：ディスプレイ縦幅解像度［ｐｉｘ］

【0050】

以上から、カメラ中心座標系での顔位置と顔方向から、その顔が指す表示部１１０の表示領域上の領域（座標）を求めることができる。

【0051】

続いて、ジェスチャ検出部１４４によるジェスチャ検出処理について具体例を上げて詳細に説明する。例えば、ユーザがカメラ１２０に向かって、手を握ったり（グー）、手を開いたり（パー）するなど、特定の手の形状に変化させると、ジェスチャ検出部１４４で手検出が行われ、手の動きのトラッキング（手トラッキング）が開始される。

【0052】

ジェスチャ検出部１４４は、ユーザが特定の動作を行ったことを画像データから検出すると、画像座標上での検出位置からカメラ中心座標系での手位置を推定する。このジェスチャ検出部１４４による手位置の推定処理は、上述の顔検出部１４２の場合と同様に行う。

【0053】

ジェスチャ検出部１４４は、推定したカメラ中心座標系での手位置に関して、一定時間ｄｔでの水平・垂直方向移動量（ｄＨｗ，ｄＨｈ）［ｍｍ／ｓ］に基づいて、一定時間ｄｔ後の画像座標系でのカーソル位置（ｃｓｒ＿ｘ_ｔ＋ｄｔ，ｃｓｒ＿ｙ_ｔ＋ｄｔ）［ｐｉｘｃｅｌ］を下記の数式で決定する。
ｃｓｒ＿ｘ_ｔ＋ｄｔ＝ｃｓｒ＿ｘ_ｔ＋ｇａｉｎ＊ｄＨｗ
ｃｓｒ＿ｙ_ｔ＋ｄｔ＝ｃｓｒ＿ｈ_ｔ＋ｇａｉｎ＊ｄＨｈ
なお、ｇａｉｎは係数であり、ｇａｉｎの値を変化させることで、手トラッキングに基づくカーソルの移動量を調節することができる。

【0054】

顔情報がカーソルに影響を与えるのは、手トラッキングを開始した時のみで、手トラッキングが継続している間は、顔情報はカーソルの移動に影響を与えない。表示装置１００は、手トラッキングが継続している間は、ジェスチャ検出部１４４が検出したユーザの手の位置の情報のみを用いてカーソルを制御する。

【0055】

本開示の一実施形態にかかる表示装置１００は、上述した動作を行うことにより、顔情報を使ってカーソルを大きく移動させるとともに、顔情報を使ったカーソルの移動後は、手の移動によって細かくカーソルを移動させることで、目的の位置に容易にカーソルを移動させることができる。

【0056】

図９Ａ〜図９Ｃは、本開示の一実施形態にかかる表示装置１００の制御例を示す説明図である。図９Ａ〜図９Ｃは、本開示の一実施形態にかかる表示装置１００に向かってユーザが顔を動かしたり、所定のジェスチャを行ったりすることで、表示部１１０に表示されるカーソルの移動を制御する場合の例を示したものである。なお、図９Ａ〜図９Ｃにおいては、表示装置１００がウェブブラウザを表示させており、ユーザが表示装置１００に向かって顔を動かしたり、腕を挙げたりするなどしてウェブブラウザを操作する場合を例示するものとする。

【0057】

図９Ａは、表示装置１００の表示部１１０に、カーソル１１１が情報表示部１６０によって表示されている状態において、表示装置１００に対向しているユーザが、カーソル１１１の表示位置ではない表示部１１０のある場所Ｌ１の方向を向いている状態を示している。このように、単にユーザが表示部１１０のある場所Ｌ１の方向を向いているだけでは、情報表示部１６０はカーソル１１１の表示位置を場所Ｌ１に移動させることはしない。

【0058】

図９Ｂは、表示装置１００の表示部１１０に、カーソル１１１が情報表示部１６０によって表示されている状態において、表示装置１００に対向しているユーザが、カーソル１１１の表示位置ではない表示部１１０のある場所Ｌ１の方向を向いていた上で、右手を挙げたジェスチャを行った状態を示している。ユーザが表示部１１０のある場所Ｌ１の方向を向いている状態で、ユーザが右手を挙げたジェスチャを行うと、カメラ１２０がユーザを撮像し、動作検出部１４０が、画像データからユーザの顔の向き及びユーザのジェスチャを検出し、領域選択部１５０が、動作検出部１４０の検出結果に基づいて表示部１１０の位置（場所Ｌ１）を選択し、領域選択部１５０が選択した位置へ情報表示部１６０がカーソルを表示させる。

【0059】

なお、図９Ａの状態から図９Ｂの状態に変化させる際に、表示装置１００は、カーソル１１１の移動の軌跡が分かるようにしてもよく、軌跡を見せずに即座にカーソル１１１を移動させてもよい。また、図９Ａの状態から図９Ｂの状態に変化させる際に、表示装置１００は、カーソル１１１が移動したことが分かるようにカーソル１１１を強調表示（例えばカーソル１１１の周囲を光らせる等）してもよい。

【0060】

図９Ｃは、図９Ｂに示した状態に続いて、表示装置１００に対向しているユーザが、挙げている右手を動かしている状態を示したものである。図９Ｂに示した状態に続いて、表示装置１００に対向しているユーザが、挙げている右手を動かすと、カメラ１２０がユーザを撮像し、動作検出部１４０が、画像データからユーザのジェスチャを検出し、領域選択部１５０が、動作検出部１４０の検出結果に基づいて表示部１１０の位置を選択し、領域選択部１５０が選択した位置へ情報表示部１６０がカーソルを表示させる。すなわち、ユーザが手を右に動かせば、情報表示部１６０はカーソルを右に動かし、ユーザが手を左に動かせば、情報表示部１６０はカーソルを左に動かす制御を行う。

【0061】

図９Ｃのように、表示装置１００がユーザの腕の動きに追従してカーソル１１１を動かしている際は、表示装置１００は、例えばウェブブラウザで表示されているウェブページ上のリンクの選択は、ユーザのさらに別の動作（例えば、挙げている腕の手を前に倒す等）を検出した時点で行なっても良い。

【0062】

なお、図９Ｃのように、表示装置１００に対向しているユーザが、挙げている右手を動かしている状態で、ユーザが顔の向きを変化させても、表示装置１００は、カーソルの表示に際して、ユーザの顔の向きの変化には追従しない。カーソルの位置を大きく移動させるためには、例えばユーザは、一度右腕を下ろし、カーソルを表示させたい位置に顔の向きを合わせ、再度右腕を挙げて、手を握り直したり開き直したりする動作を行う。表示装置１００は、ユーザが右腕を下ろした後、再度右腕を上げたことを検出すると、その時にユーザの顔が向いている位置にカーソルを表示させる制御を実行する。

【0063】

このように、表示装置１００は、カメラ１２０でユーザを撮像した結果に基づいて表示部１１０に表示させるカーソルの動きを制御することができる。

【0064】

図１０は、本開示の一実施形態にかかる表示装置１００の動作を示す流れ図である。図１０の流れ図は、表示装置１００が、カメラ１２０で撮像して得られる画像データからユーザの顔およびジェスチャを認識して、認識結果に応じて表示部１１０に情報を表示する際の動作について示したものである。以下、図１０を用いて本開示の一実施形態にかかる表示装置１００の動作について説明する。

【0065】

ユーザの顔およびジェスチャを認識して、認識結果に応じて表示部１１０に情報を表示するには、まず表示装置１００は、表示装置１００に備えられたカメラ１２０でユーザの姿を撮像する（ステップＳ１０１）。表示装置１００に備えられたカメラ１２０でユーザの姿を撮像すると、続いて表示装置１００は、カメラ１２０の撮像により得られる画像データから、ユーザの顔の向き及びユーザのジェスチャを検出する（ステップＳ１０２）。このステップＳ１０２のユーザの顔の向き及びユーザのジェスチャの検出は動作検出部１４０が行う。動作検出部１４０による、ユーザの顔の向き及びユーザのジェスチャの検出は上述したような処理によって行われる。

【0066】

上記ステップＳ１０２で、カメラ１２０の撮像により得られる画像データから、ユーザの顔の向き及びユーザのジェスチャを検出すると、続いて表示装置１００は、検出したユーザの顔の向きおよびユーザのジェスチャに応じた、表示部１１０の表示領域上の領域を選択する（ステップＳ１０３）。検出したユーザの顔の向きおよびユーザのジェスチャに応じた、表示部１１０の表示領域上の領域の選択は、領域選択部１５０が実行する。

【0067】

上記ステップＳ１０３で、検出したユーザの顔の向きおよびユーザのジェスチャに応じた、表示部１１０の表示領域上の領域を選択すると、続いて表示装置１００は、ステップＳ１０３で選択した表示部１１０の表示領域上の領域へ情報（アイコンやメニューなど）を表示する（ステップＳ１０４）。ステップＳ１０３で選択した表示部１１０の表示領域上の領域への情報の表示は、情報表示部１６０が実行する。

【0068】

上記ステップＳ１０４で、表示装置１００は、ステップＳ１０３で選択した表示部１１０の表示領域上の領域へ情報（アイコンやメニューなど）を表示すると、表示装置１００は、上記ステップＳ１０２で検出したジェスチャに継続して行われるユーザのジェスチャを検出し、そのジェスチャに応じて、選択する表示部１１０の表示領域上の領域を変化させる（ステップＳ１０５）。表示部１１０の表示領域上の選択領域の変化は、領域選択部１５０が実行する。

【0069】

このステップＳ１０５の処理は、上述した図９Ｃの制御に対応する。すなわち、ユーザが右腕を挙げた後、その右腕を動かしたことを動作検出部１４０が検出すると、領域選択部１５０は、動作検出部１４０の検出結果に応じて選択領域を変化させて、情報表示部１６０は、領域選択部１５０が変化させた選択領域に基づいて、表示部１１０に表示させているカーソル１１１を移動させる。

【0070】

表示装置１００は、このような一連の動作を実行することで、ユーザの顔の向きおよびジェスチャを検出し、その検出結果を用いて、表示部１１０の表示領域の中から領域を選択し、その選択した領域に情報を表示することができる。

【0071】

例えば、表示装置１００は、ユーザが表示部１１０の方を向いている場合は、表示部１１０の表示領域の中からユーザが向いている位置を検出し、さらにユーザが特定の動作（例えば右腕を挙げる）を行ったことを検出すると、そのユーザが向いている位置にカーソルを表示させる。そして表示装置１００は、ユーザが表示部１１０の方を向いていて、かつ、上記特定の動作を行ったことで表示部１１０にカーソルが表示されている状態で、ユーザがさらに別の動作（例えば挙げている右腕を動かす）を行ったことを検出すると、その動作に応じて、表示部１１０に表示させたカーソルを移動させることができる。

【0072】

以上、表示装置１００の動作について説明した。上述の説明では、表示装置１００がウェブブラウザを表示し、そのウェブブラウザをカーソルで操作する場合を例示したが、もちろん本開示は係る例に限定されるものではない。

【0073】

例えば、表示装置１００が動画像や静止画像などのコンテンツを表示している際に、ユーザにコンテンツの選択や再生・停止などの制御を行わせる場合にも、表示装置１００は、上述の顔の向きやジェスチャの検出による制御を実行しても良い。

【0074】

図１１は、表示装置１００の表示部１１０に表示される画面の例を示す説明図である。図１１には、表示部１１０にコンテンツＣ１が表示されている際に、ユーザのジェスチャによってメニューＭ１が表示されている状態が示されている。このメニューＭ１を表示させるには、例えば、ユーザはメニューＭ１が表示される領域を向き、特定の動作（例えば右腕を挙げる）を行う。表示装置１００は、ユーザが上記特定の動作を行った時点の顔の向きを検出し、ユーザの顔が、メニューＭ１が表示される領域を向いている場合は、情報表示部１６０により、表示部１１０にメニューＭ１を表示させる。

【0075】

なお、図１１では表示部１１０の右側の領域にメニューＭ１が表示される場合について示したが、本開示は係る例に限定されるものではない。例えば、ユーザが表示部１１０の左側の領域を向いた状態で上記特定の動作を行ったことを動作検出部１４０が検出すると、その表示部１１０の左側の領域にメニューＭ１を表示させるようにしても良い。また例えば、表示部１１０の左側の領域にメニューＭ１とは異なる別のメニューが表示されるような場合に、ユーザが表示部１１０の右側の領域を向いて特定の動作を行ったらメニューＭ１を、表示部１１０の左側の領域を向いて特定の動作を行ったらメニューＭ１とは異なるメニューを表示させるようにしても良い。

【0076】

図１１では、表示装置１００が動画像や静止画像などのコンテンツを表示している際に、ユーザにコンテンツの選択や再生・停止などの制御を行わせる場合を例示した。続いて、表示部１１０の複数の領域の中から１つの領域の選択をユーザに行わせる場合について説明する。

【0077】

図１２は、表示装置１００の表示部１１０に表示される画面の例を示す説明図である。図１２には、６つの領域Ｒ１〜Ｒ６の中から１つの領域をユーザに選択させる場合が例示されている。なお、６つの領域Ｒ１〜Ｒ６に表示されているものは、静止画像や動画像のようなコンテンツであってもよく、ウェブブラウザで表示するウェブページが縮小表示されたようなものであってもよい。

【0078】

ユーザは、６つの領域Ｒ１〜Ｒ６の中から１つの領域を選択するには、６つの領域Ｒ１〜Ｒ６の中からいずれか１つの領域の方を向き、特定の動作（例えば右腕を挙げる）を行う。表示装置１００は、ユーザが上記特定の動作を行った時点の顔の向きを検出し、ユーザの顔が、６つの領域Ｒ１〜Ｒ６の中のどれか１つの領域を向いていれば、その領域を選択し、その領域に表示されているコンテンツの再生や、縮小表示されているウェブページの全画面への拡大表示などを実行する。

【0079】

表示装置１００は、ユーザが特定の動作を行った時点のユーザの顔の向きを検出し、顔が向いている方向に応じて表示動作を変更しても良い。例えば、表示装置１００が縦に長いウェブページを表示部１１０に表示しており、ウェブページを上下にスクロールさせたい場合に、ユーザは表示部１１０の表示領域の上の部分または下の部分を向いた状態で特定の動作（例えば右腕を挙げる）を行う。表示装置１００は、その動作を行った時点でユーザが表示部１１０の表示領域の上の部分を向いている場合には、表示部１１０に表示しているウェブページを上にスクロールさせ、表示部１１０の表示領域の下の部分を向いている場合には、表示部１１０に表示しているウェブページを下にスクロールさせるようにしてもよい。左右方向にスクロールさせたい場合についても、同様にユーザの顔の向きを検出することで左右方向へのスクロールが可能になる。

【0080】

ユーザが腕の動きによってカーソルを操作させる場合には、ユーザが腕を動かせる範囲には限界があるので、表示装置１００は、ユーザが特定の動作（例えば右腕を挙げる動作）を行った時点で、ユーザが操作することができる可動範囲を表示部１１０に表示させても良い。

【0081】

図１３Ａおよび図１３Ｂは、表示装置１００の表示部１１０に表示される画面の例を示す説明図である。図１３および図１３Ｂには、ユーザが特定の動作（例えば右腕を挙げる動作）を行った時点で、ユーザがカーソル１１１を操作することができる可動範囲Ｓ１を、表示装置１００が表示部１１０に表示させた状態が例示されている。なお、ユーザの可動範囲は、ユーザの顔の向きと、ユーザが特定の動作を行った時点のユーザの姿勢とから決定しても良い。

【0082】

例えば、ユーザが右腕を挙げることでユーザが向いている場所にカーソル１１１を表示させるような場合、右腕が顔の近くで挙げられていれば、カーソル１１１の可動範囲Ｓ１は、図１３Ａに示したように、カーソル１１１が表示された位置を中心にほぼ円形を描く。一方、右腕が顔から遠い位置で挙げられていれば、カーソル１１１の可動範囲Ｓ１は、図１３Ｂに示したような形状となる。

【0083】

表示装置１００は、検出した特定の動作の違いで、動作の制御を変化させても良い。例えば表示装置１００は、ユーザが右腕を挙げた場合において、さらにユーザが右手を握っている場合と、右手を開いている場合とで、手の形状の違いを認識することで異なる動作を実行するようにしても良い。

【0084】

表示装置１００は、処理対象の位置と、検出している顔の位置が所定量以上離れていれば、処理をリセットするためのリセット動作を促しても良い。例えば、ユーザが特定の動作（例えば右腕を挙げる動作）を行ったことを検出して表示部１１０にカーソルを表示させる場合、表示部１１０に向かってユーザの顔が向いている位置と、表示部１１０に表示しているカーソルの位置とが所定量離れていると、表示装置１００は、情報表示部１６０に、カーソル表示をリセットするためのリセット動作を促す情報を表示部１１０に表示させるようにしても良い。

【0085】

表示装置１００は、ユーザが特定の動作を行なって表示部１１０にカーソルを表示させた後の、ユーザの顔の位置と、ユーザが特定の動作を行なっている部位との距離に応じて、表示部１１０に表示させたカーソルの速度のゲインを変化させても良い。例えば、ユーザの顔の位置と、ユーザが特定の動作を行なっている部位との距離が近ければ、ユーザの腕の動きによってカーソルの移動速度は遅くして、ユーザの顔の位置と、ユーザが特定の動作を行なっている部位との距離が遠ければ、ユーザの腕の動きによってカーソルの移動速度は速くするようにしても良い。

【0086】

表示装置１００は、表示部１１０にカーソルを表示させた後に、そのカーソルの周辺で選択できるコンテンツの有無で、カーソルの移動速度を変化させても良い。例えば、表示部１１０にカーソルを表示させた後に、そのカーソルの周辺で選択できるコンテンツが複数存在するような場合は、表示装置１００は、コンテンツをユーザに選択させやすくするために、カーソルの移動速度を遅くしてもよく、そのカーソルの周辺で選択できるコンテンツが１つだけ存在するような場合または全く存在しないような場合は、カーソルの操作性を重視して、カーソルの移動速度を速くしてもよい。

【0087】

なお、上述の説明では、表示装置１００は、ユーザが特定の動作、特に身体的な動作を行った時点での顔の向きに応じて、表示部１１０にカーソルを表示させていたが、本開示は係る例に限定されるものではない。例えば表示装置１００は、ユーザが特定の音声を発した時点でのユーザの顔の向きに応じて、表示部１１０にカーソルを表示させてもよい。

【0088】

次に、図１４を参照しながら、本開示の一実施形態に係る表示装置１００のハードウェア構成について、詳細に説明する。図１４は、本開示の一実施形態に係る表示装置１００のハードウェア構成を説明するためのブロック図である。

【0089】

表示装置１００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、表示装置１００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

【0090】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、表示装置１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。

【0091】

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

【0092】

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、表示装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。表示装置１００のユーザは、この入力装置９１５を操作することにより、表示装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0093】

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、表示装置１００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、表示装置１００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

【0094】

ストレージ装置９１９は、表示装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータ等を格納する。

【0095】

ドライブ９２１は、記録媒体用リーダライタであり、表示装置１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。

【0096】

接続ポート９２３は、機器を表示装置１００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、表示装置１００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

【0097】

通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。

【0098】

以上、本開示の実施形態に係る表示装置１００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

【0099】

＜２．まとめ＞
以上説明したように本開示の一実施形態にかかる表示装置１００によれば、表示装置１００の表示部１１０を向いているユーザの顔の位置およびユーザの動作を検出する。そして、ユーザがある特定の動作を行なったことを検出すると、本開示の一実施形態にかかる表示装置１００は、その時の顔の位置に応じて表示部１１０の領域を選択し、また、その選択した領域に所定の情報（カーソル、メニュー）を表示させる。

【0100】

本開示の一実施形態にかかる表示装置１００は、ユーザがジェスチャによって遠隔操作しようとする際に、特定のジェスチャを検出することよって、ユーザによる遠隔操作を容易にさせることが可能となる。

【0101】

なお、上述した本開示の一実施形態にかかる表示装置１００の動作は、ハードウェアによって行われてもよく、ソフトウェアによって行われてもよい。ソフトウェアによって行われる場合には、例えば表示装置１００に設けられるＣＰＵその他の制御装置が、表示装置１００の内部に設けられたＲＯＭ等の記録媒体に保存されたコンピュータプログラムを読み出して順次実行することによって行われるようにしても良い。

【0102】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0103】

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの顔の向き及び該ユーザが行った動作を検出する動作検出部と、
前記動作検出部が、前記ユーザが第１の動作を行ったことを検出すると、該第１の動作の際の前記ユーザの顔の向きに応じて画面上の領域を選択する領域選択部と、
を備える、情報処理装置。
（２）
前記動作検出部が、前記ユーザが前記第１の動作から第２の動作へ移行したことを検出すると、前記領域選択部は、該第２の動作に応じて前記選択した領域を変化させる、前記（１）に記載の情報処理装置。
（３）
前記画面に情報を表示させる情報表示部をさらに備え、
前記情報表示部は、前記領域選択部が選択した前記画面上の領域に情報を表示させる、前記（１）または（２）に記載の情報処理装置。
（４）
前記情報表示部は、前記動作検出部が検出した前記ユーザの顔の位置に応じて表示させる情報を変化させる、前記（３）に記載の情報処理装置。
（５）
前記情報表示部は、前記動作検出部が検出した前記第１の動作の内容に応じて表示させる情報を変化させる、前記（３）または（４）に記載の情報処理装置。
（６）
前記情報表示部は、前記動作検出部が検出した顔の向きに応じて、前記ユーザが前記第１の動作を行った際の表示を変化させる、前記（３）から（５）のいずれかに記載の情報処理装置。
（７）
前記情報表示部は、前記領域選択部が選択した前記画面上の領域にカーソルを表示させる、前記（３）から（６）のいずれかに記載の情報処理装置。
（８）
前記情報表示部は、前記ユーザが前記第１の動作を行った時点での前記ユーザの操作が可能な領域を前記画面に表示させる、前記（３）から（７）のいずれかに記載の情報処理装置。
（９）
前記領域選択部で選択している領域と、前記動作検出部が検出している前記ユーザの顔の向きによって前記領域選択部で選択される領域とが所定量以上離れていれば、前記情報表示部は、前記領域選択部での選択をリセットするためのリセット動作を促す情報を前記画面に表示させる、前記（３）から（８）のいずれかに記載の情報処理装置。
（１０）
前記動作検出部が、前記ユーザが前記第１の動作から第２の動作へ移行したことを検出すると、前記領域選択部は、前記ユーザが該第２の動作を行なっている位置と、前記動作検出部が検出している前記ユーザの顔の位置との間の距離に応じて、前記第２の動作に応じて前記選択した領域を変化させる速度を変化させる、前記（２）から（９）のいずれかに記載の情報処理装置。
（１１）
前記動作検出部が、前記ユーザが前記第１の動作から第２の動作へ移行したことを検出すると、前記領域選択部は、該第２の動作に応じて前記選択した領域を変化させるとともに、前記選択した領域の周辺のコンテンツの数に応じて、前記第２の動作に応じて前記選択した領域を変化させる速度を変化させる、前記（２）から（１０）のいずれかに記載の情報処理装置。
（１２）
ユーザの顔の向き及び該ユーザが行った動作を検出する動作検出ステップと、
前記ユーザが第１の動作を行ったことを前記動作検出ステップで検出すると、該第１の動作の際の前記ユーザの顔の向きに応じて画面上の領域を選択する領域選択ステップと、
を備える、情報処理方法。
（１３）
コンピュータに、
ユーザの顔の向き及び該ユーザが行った動作を検出する動作検出ステップと、
前記ユーザが第１の動作を行ったことを前記動作検出ステップで検出すると、該第１の動作の際の前記ユーザの顔の向きに応じて画面上の領域を選択する領域選択ステップと、
を実行させる、コンピュータプログラム。

【符号の説明】

【0104】

１００ 表示装置
１１０ 表示部
１２０ カメラ
１３０ 画像処理部
１４０ 動作検出部
１４２ 顔検出部
１４４ ジェスチャ検出部
１５０ 領域選択部
１６０ 情報表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14】