特許 5769277 入力装置、入力方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5769277

(24)【登録日】2015年7月3日

(45)【発行日】2015年8月26日

(54)【発明の名称】入力装置、入力方法及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20150806BHJP

   G06F 3/048 20130101ALI20150806BHJP

【ＦＩ】

   G06F3/01 310C

   G06F3/048 656A

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2013-512492(P2013-512492)

(86)(22)【出願日】2012年4月27日

(86)【国際出願番号】JP2012061469

(87)【国際公開番号】WO2012147959

(87)【国際公開日】20121101

【審査請求日】2013年10月23日

(31)【優先権主張番号】特願2011-100216(P2011-100216)

(32)【優先日】2011年4月27日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】玉井 潤一

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開平０８−１２３６１２（ＪＰ，Ａ）

【文献】 特開２００８−２８２１３１（ＪＰ，Ａ）

【文献】 特開平０８−３１５１５４（ＪＰ，Ａ）

【文献】 特開２０１１−０５４１１８（ＪＰ，Ａ）

【文献】 特開２００５−０５０１７７（ＪＰ，Ａ）

【文献】 特開２００８−１２９７７５（ＪＰ，Ａ）

【文献】 特開２０１１−０１５３０１（ＪＰ，Ａ）

【文献】 特開２０１０−０６７１０４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３− ３／０４１

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／１４− ３／１５３

(57)【特許請求の範囲】

【請求項1】

表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報として、前記カメラから出力された画像データに対応する画像全体の面積に占める手の画像の面積の割合及び前記画像データ中の被写体の顔における目と目の間の距離を取得する取得部と、
前記取得部によって取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御部と、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別部と、
を備え、
前記判別部は、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方の違いによって複数個の操作指令を判別し、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令を判別し、
前記表示制御部は、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令に対応する図形を前記表示画面内に表示する、入力装置。

【請求項2】

前記表示制御部は、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に応じて操作画面を変化させる、
ことを特徴とする請求項１に記載の入力装置。

【請求項3】

前記表示制御部は、
前記取得部で取得された情報によって示される距離が遠くなるに従って操作画面をより大きくする、
ことを特徴とする請求項１又は２に記載の入力装置。

【請求項4】

前記表示制御部は、
操作画面の中に図形を表示し、
前記カメラで撮像された前記被写体の動きに同期して前記図形を変化させる、
ことを特徴とする請求項１乃至３のいずれか一項に記載の入力装置。

【請求項5】

前記表示制御部は、
前記表示装置又はカメラと前記カメラで撮像される前記被写体の手との距離を検出し、
前記判別部は、
前記カメラで撮像された前記被写体の手の動きに基づいて、前記被写体からの操作指令を判別する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の入力装置。

【請求項6】

前記判別部は、
前記カメラで撮像される前記被写体の手の形状に基づいて、前記被写体からの操作指令を判別する、
ことを特徴とする請求項５に記載の入力装置。

【請求項7】

表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報として、前記カメラから出力された画像データに対応する画像全体の面積に占める手の画像の面積の割合及び前記画像データ中の被写体の顔における目と目の間の距離を取得する取得ステップと、
前記取得ステップにおいて取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御ステップと、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別ステップと、
を含み、
前記判別ステップでは、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方の違いによって複数個の操作指令を判別し、
前記取得ステップで取得された情報によって示される距離が近くなるに従って、より多くの操作指令を判別し、
前記表示制御ステップでは、
前記取得ステップで取得された情報によって示される距離が近くなるに従って、より多くの操作指令に対応する図形を前記表示画面内に表示する、入力方法。

【請求項8】

コンピュータを、
表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報として、前記カメラから出力された画像データに対応する画像全体の面積に占める手の画像の面積の割合及び前記画像データ中の被写体の顔における目と目の間の距離を取得する取得部、
前記取得部によって取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御部、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別部、
として機能させ、
前記判別部では、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方の違いによって複数個の操作指令を判別し、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令を判別し、
前記表示制御部では、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令に対応する図形を前記表示画面内に表示するように機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力装置、入力方法及びプログラムに関する。

【背景技術】

【0002】

ユーザの手の動きに基づいてユーザからの操作指令を判別する、いわゆるハンドジェスチャ装置が知られている。例えば、特許文献１には、テレビに表示された操作画面の中にカメラで撮像したユーザの画像を合成し、操作画面中の被写体の動きによってメニュー項目等の選択を可能にする入力装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２５７０９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の入力装置の場合、操作画面の大きさが常に一定であるために、ユーザがテレビから離れて操作しようとしたときに、操作画面が見づらくなるので、操作しにくいという不都合がある。

【0005】

本発明は、上記実情に鑑みてなされたものであり、画面から離れて操作する場合であっても容易に操作できる入力装置、入力方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の観点に係る入力装置は、
表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報として、前記カメラから出力された画像データに対応する画像全体の面積に占める手の画像の面積の割合及び前記画像データ中の被写体の顔における目と目の間の距離を取得する取得部と、
前記取得部によって取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御部と、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別部と、
を備え、
前記判別部は、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方の違いによって複数個の操作指令を判別し、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令を判別し、
前記表示制御部は、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令に対応する図形を前記表示画面内に表示する。

【0007】

本発明の第２の観点に係る入力方法は、
表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報として、前記カメラから出力された画像データに対応する画像全体の面積に占める手の画像の面積の割合及び前記画像データ中の被写体の顔における目と目の間の距離を取得する取得ステップと、
前記取得ステップにおいて取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御ステップと、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別ステップと、
を含み、
前記判別ステップでは、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方の違いによって複数個の操作指令を判別し、
前記取得ステップで取得された情報によって示される距離が近くなるに従って、より多くの操作指令を判別し、
前記表示制御ステップでは、
前記取得ステップで取得された情報によって示される距離が近くなるに従って、より多くの操作指令に対応する図形を前記表示画面内に表示する。

【0008】

本発明の第３の観点に係るプログラムは、
コンピュータを、
表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報として、前記カメラから出力された画像データに対応する画像全体の面積に占める手の画像の面積の割合及び前記画像データ中の被写体の顔における目と目の間の距離を取得する取得部、
前記取得部によって取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御部、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別部、
として機能させ、
前記判別部では、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方の違いによって複数個の操作指令を判別し、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令を判別し、
前記表示制御部では、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令に対応する図形を前記表示画面内に表示するように機能させる。

【発明の効果】

【0009】

本発明によれば、画面から離れて操作する場合であっても容易に操作できる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態に係る入力装置の斜視図である。

【図2】図１に示す入力装置の機能ブロック図である。

【図3】（Ａ）は小さな操作画面を表示画面中に表示した様子を示す図である。（Ｂ）は大きな操作画面を表示画面に表示した様子を示す図である。

【図4】ユーザの手の動きと操作コマンドとを対応付けたコマンドテーブルを例示する図である。

【図5】（Ａ）は近距離で撮像された手の画像を表示した様子を示す図である。（Ｂ）は遠距離で撮像された手の画像を表示した様子を示す図である。

【図6】（Ａ）は小さな操作画面中に表示した手の動きを示す図である。（Ｂ）は大きな操作画面中に表示した手の動きを示す図である。

【図7】実施の形態に係る入力処理を説明するためのフローチャートである。

【図8】（Ａ）は手とカメラとの距離が近い場合に認識できる方向を示す図である。（Ｂ）は手とカメラとの距離が遠い場合に認識できる方向を示す図である。

【図9】手の動きに同期して図形が変化する様子を示す図である。

【図10】手の動きに同期して図形が移動する様子を示す図である。

【発明を実施するための形態】

【0011】

以下、本実施の形態の入力装置１００について図面を参照しながら説明する。
入力装置１００は、ユーザの手の動きに基づいて、ユーザからの操作指令を判別する機能を備える。入力装置１００は、例えば、パーソナルコンピュータである。図１は、入力装置１００の外観を示す。入力装置１００は、図１に示すように、操作部１１０と、カメラ部１２０と、表示部１３０と、本体部１４０と、音声出力部１５０とを備える。

【0012】

操作部１１０は、キーボード等の入力デバイスを備える。操作部１１０は、ユーザによる処理開始命令等の操作入力を受け取って本体部１４０に出力する。

【0013】

カメラ部１２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサを用いたカメラやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いたカメラ等を備える。カメラ部１２０は、表示部１３０の上部中央に設置されている。カメラ部１２０は、表示部１３０の対面方向を撮像するように設置されている。このため、カメラ部１２０は、表示部１３０を見ながら入力装置１００を操作するユーザを撮像する。

【0014】

表示部１３０は、液晶ディスプレイ等の表示装置を備える。表示部１３０は、各種画像を表示装置の表示画面内に表示する。表示部１３０によって表示される各種画像には、操作画面が含まれる。「操作画面」とは、ユーザが入力装置１００を操作するためのユーザインターフェースとなる表示画面中の画像等のことである。例えば、操作画面は、カメラ部１２０で撮像されたユーザ自身や、メニュー項目等を表示するウィンドウ等である。

【0015】

本体部１４０は、入力装置１００の本体部分である。本体部１４０は、ユーザによる処理開始命令等の操作入力に応じて、各種処理を実行する。

【0016】

音声出力部１５０は、スピーカ等を備える。音声出力部１５０は、本体部１４０によって実行された処理に応じて、音声等を出力する。

【0017】

次に図２を参照して、本体部１４０の機能構成を説明する。図２に示すように、本体部１４０は、画像記憶部１４１と、記憶部１４２と、制御部１４３とを備える。

【0018】

画像記憶部１４１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のビデオメモリを備え、カメラ部１２０から出力された画像データを記憶する。当該画像データには、例えば、カメラ部１２０で撮像されたユーザ等の像に対応する画像データ等が含まれる。

【0019】

記憶部１４２は、ＲＡＭやハードディスク等の記憶装置を備える。記憶部１４２は、操作画面情報１４２ａやコマンドテーブル１４２ｂ等の各種データを記憶する。

【0020】

操作画面情報１４２ａは、例えば、操作画面の位置及び大きさに関する情報である。図３（Ａ）は、操作画面１３１として、表示画面のおよそ２０％を占める長方形の領域に設定された操作画面１３１ａを示す。この場合、操作画面１３１ａに関する操作画面情報１４２ａは、例えば、長方形の１つの頂点の座標（Ｘ１，Ｙ１）及びその頂点から長方形の対角線上にある頂点の座標（Ｘ２，Ｙ２）である。座標（Ｘ１，Ｙ１）及び座標（Ｘ２，Ｙ２）によって、操作画面の位置及び大きさが定まる。図３（Ｂ）は、操作画面１３１として、表示画面のおよそ８０％を占める長方形の領域に設定された操作画面１３１ｂを示す。この場合、操作画面１３１ｂに関する操作画面情報１４２ａは、長方形の１つの頂点の座標（Ｘ１，Ｙ１）及びその頂点から長方形の対角線上にある頂点の座標（Ｘ３，Ｙ３）である。なお、操作画面情報１４２ａは、頂点の座標に限らず、操作画面として設定された領域の重心の座標と重心から領域の端までの距離であってもよい。

【0021】

コマンドテーブル１４２ｂは、図４に示すように、ユーザの「手の動き」と「操作コマンド」とを対応付けた情報から構成される。ここで「操作コマンド」とは、ソフトウェア同士のインターフェース（以下、「ソフトウェアインターフェース」という）を介して、オペレーティングシステムや音楽再生ソフトウェア等のアプリケーションソフトウェア等に対して出力される情報である。操作コマンドは、例えば、オペレーティングシステムに対する操作のための情報や再生、停止、早送り、スキップ等の音楽再生ソフトウェア等を操作するための情報である。

【0022】

図４では、操作コマンドが手の動きに対応付けられている。例えば、オペレーティングシステムに対する操作のための情報として、「手が素早く左右に移動」に対して「操作開始」が対応付けられている。また、音楽再生ソフトウェアを操作するための情報として、「手が上に移動」に対して「音量アップ」が対応付けられている。また、「手が右に移動」に対して「再生」が対応付けられている。

【0023】

制御部１４３は、プロセッサ等を備え、記憶部１４２に記憶されているプログラムに従って動作し、ユーザによる処理開始命令等の操作入力に応じて種々の処理を実行する。制御部１４３は、操作部１１０より処理開始命令が出力されると、カメラ部１２０に対して撮像の開始を命令する。この命令を受けて、カメラ部１２０は、逐次、撮像した画像を画像記憶部１４１に出力する。制御部１４３は、表示部１３０を制御して、各種画像を表示させる。

【0024】

また、制御部１４３は、操作部１１０より処理開始命令が出力されると、音楽再生ソフトウェア等のアプリケーションソフトウェアを実行するとともに、ソフトウェアインターフェースを介してアプリケーションソフトウェアに操作コマンドを入力するための入力処理を開始する。

【0025】

制御部１４３は、取得部１と、表示制御部２と、判別部３と、実行部４として機能する。取得部１は、表示部１３０（表示装置）又はカメラ１２０とカメラ１２０で撮像されるユーザ（被写体）との距離を示す情報を取得する。ここで、カメラ部１２０は表示部１３０の上部中央に設置されており、表示部１３０とユーザとの距離及びカメラ部１２０とユーザとの距離は、ほぼ同じと考えられるため、取得部１は、表示部１３０とユーザとの距離を示す情報を取得するものとする。取得部１は、例えば、ユーザとの距離を示す情報として、画像データに対応する画像全体の面積に占める手の画像の面積の割合Ｒを取得する。表示部１３０とカメラ部１２０で撮像されるユーザの手との距離は、画像データに対応する画像全体の面積に占める手の画像の面積の割合Ｒに比例する。すなわち、画像データに対応する画像全体の面積に占める手の画像の面積の割合Ｒが大きければ大きいほど、表示部１３０とユーザの手との距離は近いと言える。

【0026】

表示制御部２は、取得部１によって取得された割合Ｒに基づいて大きさを設定した操作画面１３１を、表示部１３０に表示する。例えば、操作画面１３１の大きさの設定では、表示制御部２は、取得部１によって取得された割合Ｒに基づいて、表示部１３０とユーザとの距離を検出する。例えば、画像データに対応する画像全体の面積に占める手の画像の面積の割合Ｒが５％であれば、表示制御部２は、表示部１３０と手との距離を３ｍとして検出する。また、画像データに対応する画像全体の面積に占める手の画像の面積の割合Ｒが１０％であれば、表示制御部２は、表示部１３０と手との距離を１ｍとして検出する。

【0027】

表示制御部２は、取得部１によって取得された割合Ｒによって示される距離が遠くなるに従って操作画面１３１をより大きくする。例えば、表示制御部２は、検出した距離が所定の閾値より小さいときは、小さな操作画面１３１ａを設定する。一方、表示制御部２は、検出した距離が所定の閾値より大きいときは、大きな操作画面１３１ｂを設定する。表示制御部２によって設定された操作画面１３１に対応するデータは、表示部１３０に出力され、表示装置の表示画面内に表示される。

【0028】

表示制御部２は、操作画面１３１に表示する画像データを、画像記憶部１４１から最新の画像データとして取得する。表示制御部２は、操作画面１３１の大きさに合わせて取得した画像データを加工処理して操作画面を設定する。表示制御部２は、画像データから手の画像データとして、例えば、手を囲む最小の四角形の４辺それぞれに一定の幅を加えた範囲の画像に対応する画像データを切り出す。表示制御部２は、切り出した画像データを、操作画面１３１の大きさに合わせて拡大又は縮小して操作画面１３１に表示する画像として設定する。これにより、操作画面１３１として操作画面１３１ａが設定された場合には、図５（Ａ）に示すように、操作画面１３１ａに手の画像が表示される。また、操作画面１３１として操作画面１３１ｂが設定された場合には、図５（Ｂ）に示すように、操作画面１３１ｂに手の画像が表示される。

【0029】

表示制御部２は、随時、操作画面１３１を更新する。例えば、表示制御部２は、カメラ部１２０で撮像されたユーザのジェスチャ（動き及び形状の少なくとも一方）に応じて操作画面１３１を変化させる。表示制御部２は、随時、画像データから手の画像データを切り出し、設定した画像に対応する画像データを表示部１３０に出力することで操作画面１３１を変化させる。

【0030】

判別部３は、カメラ部１２０で撮像されたユーザのジェスチャに基づいて、ユーザからの操作指令を判別する。まず、判別部３は、画像データに人の手の像が含まれているか否かを判別する。例えば、記憶部１４２は、人の手の像の特徴を抽出したパターンデータを予め記憶している。判別部３は、そのパターンデータと画像データとを照合することによって、画像データに人の手の像が含まれているか否かを判別する。

【0031】

次に判別部３は、カメラ部１２０で撮像されたユーザのジェスチャが、操作指令に対応付けられたジェスチャに一致するか否かを判別する。例えば、判別部３は、ユーザのジェスチャとして、カメラ部１２０で撮像されたユーザの手のジェスチャが、操作指令に対応付けられたジェスチャに一致するか否かを判別する。判別部３は、手のジェスチャを判別するために、例えば、手の像の動きを認識する。この場合、判別部３は、随時、画像データ中の手の重心として、画像データ中の手の画像に対応する全画素の位置座標の平均を算出する。その重心が一定時間内に左右に所定の幅以上移動した場合、判別部３は、手が左右に素早く移動したと認識する。前記カメラで撮像された前記被写体の手の動きに基づいて、前記被写体からの操作指令を判別する、

【0032】

また、判別部３は、手の重心と画像データ中の全画素の位置座標の平均である画像の中心との距離を、逐次、算出してユーザの手の像の動きを認識するようにしてもよい。例えば、算出した距離が所定の閾値以上になったら、判別部３は、ユーザの手が移動したと認識する。このとき、手の重心と画像の中心とを結ぶ直線が、図６（Ａ）に示すように、左斜め下４５°から左斜め上４５°の範囲に入っていたら、判別部３は、手が左方向へ移動したと認識する。また、手の重心と画像の中心とを結ぶ直線が、図６（Ｂ）に示すように、左斜め上４５°から右斜め上４５°の範囲に入っていたら、判別部３は、手が上方向へ移動したと認識する。同様に、手の重心と画像の中心とを結ぶ直線が、右斜め上４５°から右斜め下４５°の範囲に入っていたら、判別部３は、手が右方向へ移動したと認識する。手の重心と画像の中心とを結ぶ直線が、右斜め下４５°から左斜め下４５°の範囲に入っていたら、判別部３は、手が下方向へ移動したと認識する。

【0033】

このようにしてユーザの手の動きを認識したら、判別部３は、コマンドテーブル１４２ｂを参照し、認識した手の動きに対応する操作コマンドを、ユーザからの操作指令として判別する。例えば、手が左右に素早く移動したと認識した場合、判別部３は、「手が左右に素早く移動」に対応付けられた操作コマンド「操作開始」をユーザからの操作指令として判別する。また、手が右に移動したと認識した場合、判別部３は、「手が右に移動」に対応付けられた操作コマンド「再生」をユーザからの操作指令として判別する。また、手が上に移動したと認識した場合、判別部３は、「手が上に移動」に対応付けられた操作コマンド「音量アップ」をユーザからの操作指令として判別する。

【0034】

ユーザからの操作指令を判別した場合、制御部１４３は、ユーザから操作指令を受け取ったことを示す情報として、例えば、イラストやメッセージを表示部１３０に表示する。

【0035】

実行部４は、判別部３によって判別された操作指令に応じた処理を実行する。実行部４は、操作コマンドを、音楽再生ソフトウェア等のアプリケーションソフトウェアにソフトウェアインターフェースを介して出力する。例えば、操作コマンドが「再生」の場合、実行部４は、音楽再生ソフトウェア等のアプリケーションソフトウェアを介して所定の音声データ等を再生する。これにより、音声出力部１５０は、音声データに対応する音声を出力する。また、操作コマンドが「音量アップ」の場合、実行部４は、音楽再生ソフトウェア等のアプリケーションソフトウェアを介して音量を上げる。これにより、音声出力部１５０は、出力する音声の音量を上げる。

【0036】

次に、入力装置１００の動作について説明する。以下、図７のフローチャートを参照して入力処理について説明する。

【0037】

制御部１４３は、画像記憶部１４１から最新の画像データを取得する（ステップＳ１０１）。

【0038】

判別部３は、画像データに人の手の像が含まれているか否かを判別する（ステップＳ１０２）。画像データに人の手の像が含まれていない場合（ステップＳ１０２：ＮＯ）、制御部１４３は、ステップＳ１０１に戻る。

【0039】

画像データに人の手の像が含まれている場合（ステップＳ１０２：ＹＥＳ）、取得部１は、画像データに対応する画像全体の面積に占める手の画像の面積の割合Ｒを取得する（ステップＳ１０３）。続いて、表示制御部２は、取得部１によって取得された画像データに対応する画像全体の面積に占める手の画像の面積の割合Ｒに基づいて、表示部１３０と撮像される手との距離を検出する（ステップＳ１０４）。

【0040】

次に、表示制御部２は、検出した距離に基づいて操作画面の大きさを設定する（ステップＳ１０５）。表示制御部２は、表示部１３０に設定された大きさの操作画面１３１を、表示部１３０を介して表示する（ステップＳ１０６）。

【0041】

表示制御部２は、画像記憶部１４１から最新の画像データを取得し、図５に示すように、操作画面１３１に、取得した画像データに対応する手の画像を表示する（ステップＳ１０７）。

【0042】

次に、判別部３は、ユーザのジェスチャを認識して、操作開始が指令されたか否かを判別する（ステップＳ１０８）。

【0043】

制御部１４３は、操作開始が指令されるまで待つ（ステップＳ１０８；Ｎｏ）。操作開始が指令された場合（ステップＳ１０８：ＹＥＳ）、制御部１４３は、ユーザから操作開始の指令を受け取ったことを示す情報として、例えば、イラストやメッセージ等の操作開始を示す画像を、表示部１３０を介して表示する（ステップＳ１０９）。

【0044】

判別部３は、画像データに対応する手の像が移動するまで待つ（ステップＳ１１０；ＮＯ）。手の像が移動すると（ステップＳ１１０；ＹＥＳ）、判別部３は、認識した手の像の移動した方向に対応付けられた操作コマンドに応じた処理を実行する（ステップＳ１１１）。

【0045】

本実施の形態によれば、ユーザが入力装置１００から遠い位置にいるときは、入力装置１００は、表示部１３０に大きな操作画面１３１ｂを表示するので、ユーザは遠い位置からでも確実に自分の動きを確認できる。そのため、ユーザは、自分の動作を確認しながら、容易にアプリケーションソフトウェア等の操作をすることができる。

【0046】

また、ユーザが入力装置１００の近くにいるときは、入力装置１００は、表示部１３０に小さな操作画面１３１ａを表示するので、ユーザは、アプリケーションソフトウェア等の操作中も、操作画面１３１に邪魔されることなく、有効に画面を使用することができる。

【0047】

なお、判別部３は、カメラ部１２０で撮像されたユーザのジェスチャの違いによって複数個の操作指令を判別してもよい。このとき、判別部３は、表示制御部２によって検出された距離が近くなるに従って、より多くの操作指令を判別するようにしてもよい。例えば、判別部３は、表示制御部２によって検出された距離が所定の閾値より短い場合は、図８（Ａ）に示すように、操作画面１３１ａを画面の中心から放射線状に８分割し、上下左右に、斜め方向を加えた８方向への手の動きを認識する。これに対して、表示制御部２によって検出された距離が所定の閾値より長い場合には、判別部３は、図８（Ｂ）に示すように、上下左右４方向への手の動きを認識する。これにより、手がカメラ部１２０の近くにあって細かな動きを捉えることができる場合は、より多くの動きに対応付けられた操作コマンドを判別できる。こうすることで、より多く操作入力が可能になる。また、手がカメラ部１２０から離れていて細かな動きを捉えることができない場合は、より少ない動きに対応付けられた操作コマンドを判別すればよい。こうすることで、認識する手の動きが絞られ、誤った操作入力を低減することが可能になる。

【0048】

また、本実施の形態では、表示制御部２は、操作画面１３１にカメラ部１２０で撮像したユーザの画像を表示するようにした。こうすることで、ユーザにユーザ自身の動きをフィードバックでき、ユーザは自身の動きを確認しながら操作入力を行うことができる。ここで、操作画面１３１に表示する画像は、カメラ部１２０で撮像した画像に限られない。表示制御部２は、操作画面１３１の中に図形を表示し、カメラ部１２０で撮像された撮像されたユーザの手の動きに同期して図形を変化させるようにしてもよい。例えば、図９に示すように、表示制御部２は、操作画面１３１ａの中に手の像の移動方向に対応する８種類の矢印を表示してもよい。この場合、ユーザの手が、例えば、左斜め上に移動したら、左斜め上の矢印の色または濃淡を変化させてもよい。また、例えば、図１０に示すように、表示制御部２は、操作画面１３１ａにユーザの手の代わりに黒丸を表示してもよい。この場合、表示制御部２は、ユーザの手が、例えば、右斜め下に移動したら、右斜め下に黒丸を移動させてもよい。その他、手の動きにあわせて黒丸を三角や四角に変化させることによって、ユーザにユーザ自身の動きをフィードバックしてもよい。このようにすることで、ユーザは簡略化された図形の動きによって自身の動きを捉えられるので、視認性が高まる。

【0049】

また、本実施の形態では、判別部３は、カメラ部１２０で撮像されたユーザの手の動きに基づいて、ユーザからの操作指令を判別した。本発明はこれに限らず、判別部３は、ユーザの手の形状に基づいて、ユーザからの操作指令を判別してもよい。
例えば、記憶部１４２が手を開いた形状のパターンデータ、手を握った形状のパターンデータ、人差し指と中指のみを立てた形状のパターンデータを記憶しておき、判別部３は、そのパターンデータに基づいて画像データ中の手の形状を認識する。そして、判別部３は、認識した手の形状に基づいて、例えば、手が開いた形状のときは“再生”コマンド、手を握った形状のときは“停止”コマンド、人差し指と中指のみを立てた形状のときは“スキップ”コマンド、を操作指令として判別する。こうすることで、手の形状によっても操作入力できるので、操作入力のバリエーションが増える。

【0050】

また、判別部３は、ジェスチャとして、ユーザの手以外の部位の動きが操作指令に対応付けられたジェスチャに一致するか否かを判別してもよい。例えば、一定時間内のユーザのまばたきの回数が操作指令に対応付けられたジェスチャに一致するか否かを判別してもよいし、体の動きが操作指令に対応付けられたジェスチャに一致するか否か判別してもよい。体の動きとしては、例えば、立ったり、座ったり、手を挙げたりする動作がある。

【0051】

また、表示制御部２は、取得部１によって取得された画像データに対応する画像全体の面積に占める手の画像の面積の割合Ｒに基づいて、表示部１３０とユーザとの距離を検出したが、他の手法を使用して距離を検出してもよい。例えば、取得部１が画像データ中のユーザの顔を認識し、認識した顔から目と目の間距離（以下「目間距離」という）を取得する。このとき、表示制御部２は、取得部１によって取得された目間距離に基づいて、表示部１３０とユーザとの距離を検出してもよい。また、表示部１３０に赤外線センサや超音波センサ等の距離計測用のセンサを取り付けて、取得部１が距離計測用のセンサの計測値を取得するようにした場合、表示制御部２は、距離計測用のセンサの計測値に基づいて、表示部１３０とユーザとの距離を検出してもよい。また、入力装置１００に２つのカメラを備えておき、表示制御部２は、取得部１によって取得された２台のカメラの画像の差から、例えば、三角法によって表示部１３０とユーザとの距離を検出してもよい。

【0052】

また、操作画面情報１４２ａに保持される操作画面１３１の大きさは、小さな操作画面１３１ａと大きな操作画面１３１ｂとの２通りに限られず、例えば、３通り以上の大きさの異なる操作画面１３１であってもよい。また、表示制御部２は、随時、表示部１３０とユーザとの距離を検出し、その検出した距離に応じて、表示制御部２は、例えば、距離を操作画面１３１の縦の辺の長さ又は横の辺の長さに変換する等して、操作画面１３１を、拡大又は縮小するようにしてもよい。

【0053】

本実施の形態の入力装置１００は、専用のシステムにより実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールして、上述の処理を実行することによって入力装置１００を構成してもよい。また、インターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、例えばコンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）とアプリケーションソフトウェアとの共同により実現してもよい。この場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。

【0054】

上記プログラムを記録する記録媒体としては、ＵＳＢメモリ、フレキシブルディスク、ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）、ＭＯ、ＳＤカード、メモリースティック（登録商標）、その他、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、磁気テープ等のコンピュータ読取可能な記録媒体を使用することができる。また、ハードディスクやＳＳＤ（ソリッドステートドライブ）等、通常、システム又は装置に固定して使用する記録媒体を使用することもできる。

【0055】

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

【0056】

上記の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0057】

（付記１）
表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報を取得する取得部と、
前記取得部によって取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御部と、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別部と、
を備える入力装置。

【0058】

（付記２）
前記表示制御部は、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に応じて操作画面を変化させる、
ことを特徴とする付記１に記載の入力装置。

【0059】

（付記３）
前記表示制御部は、
前記取得部で取得された情報によって示される距離が遠くなるに従って操作画面をより大きくする、
ことを特徴とする付記１又は２に記載の入力装置。

【0060】

（付記４）
前記判別部は、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方の違いによって複数個の操作指令を判別し、
前記取得部で取得された情報によって示される距離が近くなるに従って、より多くの操作指令を判別する、
ことを特徴とする付記１乃至３のいずれか一つに記載の入力装置。

【0061】

（付記５）
前記表示制御部は、
操作画面の中に図形を表示し、
前記カメラで撮像された前記被写体の動きに同期して前記図形を変化させる、
ことを特徴とする付記１乃至４のいずれか一つに記載の入力装置。

【0062】

（付記６）
前記表示制御部は、
前記表示装置又はカメラと前記カメラで撮像される前記被写体の手との距離を検出し、
前記判別部は、
前記カメラで撮像された前記被写体の手の動きに基づいて、前記被写体からの操作指令を判別する、
ことを特徴とする付記１乃至５のいずれか一つに記載の入力装置。

【0063】

（付記７）
前記判別部は、
前記カメラで撮像される前記被写体の手の形状に基づいて、前記被写体からの操作指令を判別する、
ことを特徴とする付記６に記載の入力装置。

【0064】

（付記８）
表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報を取得する取得ステップと、
前記取得ステップにおいて取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御ステップと、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別ステップと、
を含む入力方法。

【0065】

（付記９）
コンピュータを、
表示装置又はカメラと前記カメラで撮像される被写体との距離を示す情報を取得する取得部、
前記取得部によって取得された情報に基づいて大きさを設定した操作画面を、表示装置の表示画面内に表示する表示制御部、
前記カメラで撮像された前記被写体の動き及び形状の少なくとも一方に基づいて、被写体からの操作指令を判別する判別部、
として機能させるプログラムを記録した記録媒体。

【0066】

本発明は、２０１１年４月２７日に出願された日本国特許出願２０１１−１００２１６号に基づく。本明細書中に日本国特許出願２０１１−１００２１６号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

【産業上の利用可能性】

【0067】

本発明は、ユーザのジェスチャによってデータを入力する入力装置、入力方法及び記録媒体に好適である。

【符号の説明】

【0068】

１ 取得部
２ 表示制御部
３ 判別部
４ 実行部
１００ 入力装置
１１０ 操作部
１２０ カメラ部
１３０ 表示部
１４０ 本体部
１４１ 画像記憶部
１４２ 記憶部
１４３ 制御部
１４２ａ 操作画面情報
１４２ｂ コマンドテーブル
１５０ 音声出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】