特許 5709227 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5709227

(24)【登録日】2015年3月13日

(45)【発行日】2015年4月30日

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20150409BHJP

【ＦＩ】

   G06F3/01 310C

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2013-512493(P2013-512493)

(86)(22)【出願日】2012年4月27日

(86)【国際出願番号】JP2012061470

(87)【国際公開番号】WO2012147960

(87)【国際公開日】20121101

【審査請求日】2013年10月23日

(31)【優先権主張番号】特願2011-101894(P2011-101894)

(32)【優先日】2011年4月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】黒河 尊文

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２０１１−１９２０８１（ＪＰ，Ａ）

【文献】 特開２００４−３５６８１９（ＪＰ，Ａ）

【文献】 特開２００３−１３１７８５（ＪＰ，Ａ）

【文献】 特開２００１−２１６０６９（ＪＰ，Ａ）

【文献】 特開２００２−１９６８５５（ＪＰ，Ａ）

【文献】 特開平０９−１８５４５６（ＪＰ，Ａ）

【文献】 特開２０１０−２５７０９３（ＪＰ，Ａ）

【文献】 特開平０８−３１５１５４（ＪＰ，Ａ）

【文献】 特開２０１１−０５４１１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３− ３／０４１

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／１４− ３／１５３

(57)【特許請求の範囲】

【請求項1】

カメラで撮像された被写体の撮像画像を入力する入力部と、
前記カメラと前記被写体との距離を示す情報を取得する取得部と、
前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部と、
前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部と、
前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部と、
を備える情報処理装置。

【請求項2】

前記記憶部は、
前記カメラと前記被写体との距離が近くなるほど、より多くの態様を特定するための基準データを記憶する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記記憶部は、
前記被写体としての手の動きと形状と傾きとを、前記態様として特定するための基準データを記憶する、
ことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記特定部は、
前記入力部によって入力された撮像画像における被写体の画像を抽出し、
抽出した被写体の画像が表す被写体の態様を、前記選択部で選択された基準データに基づいて特定する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。

【請求項5】

前記取得部は、
前記カメラによって撮像された画像データを解析して、前記カメラと前記被写体との距離を示す情報を取得する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。

【請求項6】

前記カメラで撮像された被写体の撮像画像を表示する表示部をさらに備える、
ことを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。

【請求項7】

前記表示部は、
前記選択部で選択された基準データに基づいて特定される前記被写体の態様及びその態様に対応する入力データを表示する、
ことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

カメラで撮像された被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶ステップと、
前記カメラで撮像された被写体の撮像画像を入力する入力ステップと、
前記カメラと前記被写体との距離を示す情報を取得する取得ステップと、
前記記憶ステップで記憶された前記基準データの中から、前記取得ステップで取得された情報によって示される距離に対応する基準データを選択する選択ステップと、
前記選択ステップで選択された基準データを参照して、前記入力ステップで入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定ステップと、
を含む情報処理方法。

【請求項9】

コンピュータを、
カメラで撮像された被写体の撮像画像を入力する入力部、
前記カメラと前記被写体との距離を示す情報を取得する取得部、
前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部、
前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部、
前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

ユーザをカメラで撮像し、撮像されたユーザのジェスチャによって操作指令を入力する情報処理装置が提案されている。

【0003】

例えば、特許文献１には、撮像した画像におけるユーザの手の輪郭を求め、その手の動き及び形状変化に対応して、表示部の仮想スイッチへのカーソル移動及び仮想スイッチの選択を行うインタフェース装置が開示されている。

【0004】

特許文献２には、撮像した画像からユーザの手の形状を認識し、第１の形状を認識した場合に、実行可能な複数の機能のメニューを表示する情報処理装置が開示されている。当該情報処理装置は、画像における認識した形状の位置に従って実行可能な機能を選択し、第２の形状が認識されると、選択された機能を実行する。

【0005】

また、特許文献３には、カメラで撮像したユーザの手の平の画像の一部をマスクして、マスクした画像によって手の平の動きを検出し、その手の動きに対応したコマンドを認識する情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００４−７８９７７号公報

【特許文献2】特開２００８−１４６２４３号公報

【特許文献3】特開２００２−８３３０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１〜３に記載された情報処理装置は、いずれも、ユーザの手を撮像し、撮像した画像中の手の画像を抽出し、さらに、手の動き又は形状を認識する。しかし、ユーザの手の画像の抽出、さらに手の動き又は形状を認識することは容易ではない。例えば、ユーザとカメラとの距離が離れるに従って、手の画像が小さくなり、抽出処理に時間がかかるうえ、認識率が低下する。このため、適切な操作指令を入力することが困難となる。

【0008】

本発明は、上記事情に鑑みてなされたものであり、撮像された被写体の態様に基づいて、より適切なデータを入力することができる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の第１の観点に係る情報処理装置は、
カメラで撮像された被写体の撮像画像を入力する入力部と、
前記カメラと前記被写体との距離を示す情報を取得する取得部と、
前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部と、
前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部と、
前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部と、
を備える。

【0010】

本発明の第２の観点に係る情報処理方法は、
カメラで撮像された被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶ステップと、
前記カメラで撮像された被写体の撮像画像を入力する入力ステップと、
前記カメラと前記被写体との距離を示す情報を取得する取得ステップと、
前記記憶ステップで記憶された前記基準データの中から、前記取得ステップで取得された情報によって示される距離に対応する基準データを選択する選択ステップと、
前記選択ステップで選択された基準データを参照して、前記入力ステップで入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定ステップと、
を含む。

【0011】

本発明の第３の観点に係るプログラムは、
コンピュータを、
カメラで撮像された被写体の撮像画像を入力する入力部、
前記カメラと前記被写体との距離を示す情報を取得する取得部、
前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部、
前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部、
前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部、
として機能させる。

【発明の効果】

【0012】

本発明によれば、撮像された被写体の態様に基づいて、より適切なデータを入力することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態に係る情報処理装置の斜視図である。

【図2】図１の情報処理装置の機能ブロック図である。

【図3】遠距離用のジェスチャとしての手の動きの例を示す図である。

【図4】（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、中距離用のジェスチャとしての手の形状の例を示す図である。

【図5】（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、近距離用のジェスチャとしての手の傾きの例を示す図である。

【図6】カメラとユーザとの距離を示す情報を取得する方法を説明するための図である。

【図7】実施の形態における入力処理を説明するためのフローチャートである。

【図8】表示部における手の画像及びメッセージの表示の例を示す図である。

【図9】表示部における手の画像及び特定可能なジェスチャの表示の例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態に係る情報処理装置について図面を参照して説明する。なお、図面中同一又は相当する部分には同一符号を付す。

【0015】

本実施の形態に係る情報処理装置１００は、被写体としての手２００の動きと形状と傾き等に現れるジェスチャ（態様）を特定し、特定したジェスチャに対応するコマンド等の入力データを入力するジェスチャ入力機能を備える。図１に示すように、情報処理装置１００は、操作部１、撮像部としてのカメラ２、表示部３を備えている。

【0016】

情報処理装置１００は、一般的に用いられるコンピュータである。情報処理装置１００は、手２００のジェスチャに対応する入力データ及び操作部１の操作により入力されたデータを処理する。

【0017】

操作部１は、キーボード、マウス等を備える。操作部１は、ユーザの操作入力に対応するデータを情報処理装置１００に入力する。

【0018】

カメラ２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を備える。カメラ２は、視野内に位置する被写体として、例えば、情報処理装置１００のユーザの手２００を撮像する。ユーザは、手２００をカメラ２の視野内で移動させ、手２００の形状を変化させることにより、種々のデータを入力する。

【0019】

表示部３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等を備える。表示部３は、情報処理装置１００で実行中のアプリケーションに関連する画像を表示する。また、表示部３は、常時或いは所定の操作に応答して、ジェスチャ入力支援用ウインドウ３Ｗを表示する。ジェスチャ入力支援用ウインドウ３Ｗには、メニュー項目、ファイル、アイコン等の選択対象Ｓと選択用のカーソルＣとが表示される。

【0020】

図２は、情報処理装置１００の機能構成を示す。情報処理装置１００は、上記の操作部１、カメラ２、表示部３の他に、記憶部４と、制御部５とを備える。

【0021】

記憶部４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やハードディスク等の記憶装置等を備える。記憶部４は、各種データを記憶する。例えば、記憶部４は、手２００によるユーザのジェスチャを特定するための基準データとそのジェスチャに対応する入力データとを、カメラ２と手２００との距離ごとに記憶する。このため、記憶部４は、遠距離用基準データ記憶部４１と、中距離用基準データ記憶部４２と、近距離用基準データ記憶部４３とを備える。基準データは、図３乃至図５に示すような手２００の移動、形状、傾き等で現されるジェスチャ（ハンドジェスチャ操作パターンともいう）を特定するためのデータである。

【0022】

遠距離用基準データ記憶部４１は、遠距離からでも特定できる手２００によるユーザの単純なジェスチャを特定するための基準データを記憶する。遠距離用基準データ記憶部４１は、例えば、図３に例示するような、手２００の形状と、手２００の左、右、上、下方向への動きを特定するための基準データを記憶する。手２００の形状を特定するための基準データは、例えば、手の形状をデータ化したパターンデータ等である。手２００の左、右、上、下方向への動きを特定するための基準データは、例えば、手の重心の単位時間当たりの移動量に関するデータや手が移動した際の重心の軌跡をデータ化したパターンデータ等である。遠距離用基準データ記憶部４１に記憶される基準データは、カメラ２と手２００との距離が遠くて画像データにおける手２００の領域が小さい場合における手２００によるユーザのジェスチャの特定に用いられる。

【0023】

中距離用基準データ記憶部４２は、相対的に特定が難しい手２００によるユーザのジェスチャを特定するための基準データを記憶する。中距離用基準データ記憶部４２は、例えば、図４に例示するような、手２００の形状を特定するための基準データを記憶する。図４（Ａ）は、全ての指を伸ばした手の形状である。図４（Ｂ）は、人差し指を伸ばして残りの指を折り曲げた手の形状である。図４（Ｃ）は、人差し指と中指とを伸ばして残りの指を折り曲げた手の形状である。図４（Ｄ）は、人差し指と中指と薬指とを伸ばして残りの指を折り曲げた手の形状である。

【0024】

近距離用基準データ記憶部４３は、相対的にさらに特定が難しい手２００によるユーザのジェスチャを特定するための基準データを記憶する。近距離用基準データ記憶部４３は、例えば、図５に例示するような、手２００の形状を特定するための基準データを記憶する。図５（Ａ）乃至図５（Ｄ）は、いずれも手自体の形状は同一であるが、手２００の傾きが異なる例である。近距離用基準データ記憶部４３に記憶される基準データは、カメラ２と手２００との距離が近くて画像データにおける手２００が大きい場合における手２００のジェスチャの特定に用いられる。

【0025】

なお、中距離用基準データ記憶部４２は、遠距離用基準データ記憶部４１によって記憶されている基準データも記憶する。また、近距離用基準データ記憶部４３は、遠距離用基準データ記憶部４１によって記憶されている基準データ及び中距離用基準データ記憶部４２によって記憶されている基準データも記憶している。換言すると、基準データは、手のジェスチャの特定の難しさに応じて階層化されており、近距離用基準データ記憶部４３を上位、遠距離用基準データ記憶部４１を下位とすると、上位の基準データは、下位の基準データを含む。このようにして、記憶部４は、カメラ２と手２００との距離が近くなるほど、より多くのジェスチャを特定するための基準データを記憶する。

【0026】

また、記憶部４は、手２００によるユーザのジェスチャに対応付けられた入力データを、カメラ２と手２００との距離ごとに記憶する。手２００によるユーザのジェスチャにどのようなデータを対応付けるかは任意である。

【0027】

例えば、遠距離用基準データ記憶部４１は、記憶した基準データによって特定される図３に示す手２００の動きの方向と、ジェスチャ入力支援用ウインドウ３Ｗ内のカーソルＣをその方向に移動させるコマンドとを対応付けて記憶する。

【0028】

例えば、中距離用基準データ記憶部４２は、記憶した基準データによって特定される図４（Ａ）乃至図４（Ｄ）に示す手２００の伸ばした指の数と、ジェスチャ入力支援用ウインドウ３Ｗ内でその指の数と一致するメニューの番号を指定するコマンドとを対応付けて記憶する。この他、中距離用基準データ記憶部４２は、手２００の伸ばした指の数と、その指の数と一致する数値データを入力するコマンドとを対応付けて記憶してもよい。

【0029】

例えば、近距離用基準データ記憶部４３は、記憶した基準データによって特定される図５（Ａ）乃至図５（Ｄ）に示す手２００の形状と、ジェスチャ入力支援用ウインドウ３Ｗ内の画像をその形状における人差し指が示す方向にスクロールさせるコマンドとを対応付けて記憶する。この他、近距離用基準データ記憶部４３は、手２００の形状と、その形状における人差し指が指す方向にカーソルを移動させる等のコマンドとを対応付けて記憶してもよい。

【0030】

制御部５は、プロセッサ（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を備える。プロセッサは、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置等の補助記憶装置と、ワークメモリであるＲＡＭ等を有する。プロセッサは、ＥＥＰＲＯＭに格納されたプログラムに従って、画像データ及びその他のデータをＲＡＭに一時的に記憶して、情報処理のアルゴリズムを実行する。

【0031】

制御部５は、入力部５１と、取得部５２と、選択部５３と、特定部５４と、実行部５５とを備える。制御部５は、記憶部４に記憶されているプログラムに従って動作し、ユーザによって入力されたコマンド等の入力データに応じて種々の処理を実行する。

【0032】

入力部５１は、カメラ２で撮像された手２００の撮像画像を入力する。入力部５１は撮像画像のアナログ信号をデジタル信号に変換して、フレーム単位の画像データを生成する。入力部５１は、フレーム単位の画像データを表示部３に出力してスルー画像として表示させる。

【0033】

取得部５２は、カメラ２（撮像部）と手２００との距離を示す情報を取得する。取得部５２は、カメラ２によって撮像された画像データを解析して、カメラ２と手２００との距離を示す情報を取得する。取得部５２は、カメラ２と手２００との距離を示す情報として、図６に示すような、撮像されたユーザの顔の領域におけるこめかみ間の長さＬ１、目の間隔の長さＬ２、手２００の甲の幅Ｌ３又は手首の幅Ｌ４（以下、こめかみの長さＬ１等）を取得する。例えば、取得部５２は、後述する特定部５４によって生成される画像解析データからこめかみの長さＬ１等を取得する。こめかみの長さＬ１等は、個人差の影響をあまりうけずに、カメラ２とユーザとの距離に相関する。このため、こめかみの長さＬ１等が短ければ短いほど、カメラ２と手２００との距離は近いと言える。

【0034】

選択部５３は、取得部５２で取得されたＬ１等によって示される距離に対応する基準データを選択する。選択部５３は、取得部５２によって取得されたＬ１等に基づいて、カメラ２とユーザの手２００との距離Ｄを検出する。例えば、距離Ｄの検出では、まず、選択部５３は、Ｌ１等を、これらの長さ及びカメラ２とユーザとの距離の関係式に代入することにより、カメラ２とユーザとの距離を求める。カメラ２とユーザとの距離は、カメラ２と手２００との距離Ｄにほぼ一致するため、選択部５３は、求めた距離をカメラ２と手２００との距離Ｄとして検出する。

【0035】

例えば、選択部５３は、検出した距離Ｄが基準値Ｄ１以下である場合、近距離用基準データ記憶部４３に記憶された基準データを選択する。選択部５３は、距離Ｄが基準値Ｄ１より大きい基準値Ｄ２以下である場合、中距離用基準データ記憶部４２に記憶された基準データを選択する。選択部５３は、距離Ｄが基準値Ｄ２より大きい場合、遠距離用基準データ記憶部４１に記憶された基準データを選択する。

【0036】

特定部５４は、選択部５３で選択された基準データを参照して、入力部５１に入力された撮像画像における手２００によるユーザのジェスチャを特定し、特定されたジェスチャに対応する入力データを特定する。手２００によるユーザのジェスチャの特定においては、例えば、特定部５４は、入力部５１によって生成されたフレーム単位の画像データから手２００を抽出して画像解析データを生成する。

【0037】

ここで、画像解析データの生成について詳細に説明する。特定部５４は、複数のフレームの画像データを記憶するメモリを備える。特定部５４は、今回撮像されたフレームの画像と以前撮像されたフレームの画像間との差分画像を求める。さらに、特定部５４は、得られた差分画像を二値化し、二値化した画像上の各白画素の周囲８近傍の画素値があらかじめ設定した閾値よりも大きければ、その白画素の領域を拡張する。こうすることで、特定部５４は、白領域を連結して拡張する拡張処理を実行する。また、特定部５４は、二値化した画像上の各黒画素の周囲８近傍の画素値があらかじめ設定した閾値よりも小さければ、その黒画素の領域を縮小する。こうすることで、ノイズとなる黒ドットを除去する縮小処理を実行する。このようにして特定部５４は、画像データから動きのある物体として手２００の画像を抽出することにより画像解析データを生成する。

【0038】

また、特定部５４は、上記差分画像を用いて、手２００の重心の単位時間当たりの移動量に関するデータや手２００が移動した際の重心の軌跡をデータ化したパターンデータ等を画像解析データに含めるようにしてもよい。こうして生成された画像解析データは、取得部５２によるカメラ２とユーザとの距離を示す情報の取得に用いられる。なお、特定部５４は、画像データについて肌色度情報や輝度情報等を解析することによって手２００の画像を抽出し、画像解析データを生成するようにしてもよい。

【0039】

特定部５４は、入力部５１によって入力された撮像画像における手２００の画像を抽出し、抽出した手２００の画像が表す手２００によるユーザのジェスチャを、選択部５３で選択された基準データに基づいて特定する。より具体的には、特定部５４は、生成した画像解析データから手２００に対応するデータを抽出し、抽出したデータと選択部５３によって選択された基準データと比較する。画像解析データに含まれる手２００によるユーザのジェスチャが基準データに一致する場合、特定部５４は、一致した基準データに対応する手２００のジェスチャを特定する。特定部５４は、特定したジェスチャに対応付けられた入力データを記憶部４から読み出し、実行部５５に入力する。

【0040】

実行部５５は、特定部５４によって特定された手２００によるユーザのジェスチャに対応付けられた入力データに応じた処理を実行する。例えば、実行部５５は、遠距離用基準データ記憶部４１、中距離用基準データ記憶部４２、近距離用基準データ記憶部４３を参照し、特定部５４によって特定された手２００のジェスチャに対応付けられたコマンドを実行する。例えば、カーソルＣを移動させるコマンドの場合、実行部５５は、カーソルＣの移動指示を表示部３に出力する。これにより、表示部３のジェスチャ入力支援用ウインドウ３Ｗ内のカーソルＣが移動する。

【0041】

次に、情報処理装置１００による入力処理のフローを説明する。
情報処理装置１００は、種々のアプリケーションソフトウェアを実行可能である。情報処理装置１００は、アプリケーションソフトウェアへの入力のために、操作部１からの入力処理に加えて、以下に説明するように、ユーザがジェスチャで入力した場合の入力処理を行う。

【0042】

制御部５は、図７に示す入力処理を、例えば、時分割で実行する。なお、制御部５は、入力処理の開始に伴いジェスチャ入力支援用ウインドウ３Ｗを表示してもよく、或いは、ジェスチャ或いは操作部１からの入力によりジェスチャ入力支援用ウインドウ３Ｗの表示及び非表示を切り換えるようにしてもよい。

【0043】

入力処理を開始すると、まず、特定部５４は、入力部５１から出力されたフレームの画像データを記憶する（ステップＳ１）。

【0044】

次に特定部５４は、画像解析データを生成する（ステップＳ２）。画像解析データの解析において手２００の画像が抽出されなかった場合（ステップＳ３；ＮＯ）、制御部５は、ステップＳ１に戻る。一方、画像解析データの解析において手２００の画像が抽出された場合（ステップＳ３；ＹＥＳ）、取得部５２は、こめかみの長さＬ１等を取得する（ステップＳ４）。続いて、選択部５３は、こめかみの長さＬ１等に基づいて、距離Ｄを検出する（ステップＳ５）。

【0045】

検出した距離Ｄが基準値Ｄ１以下である場合（ステップＳ６；ＹＥＳ）、選択部５３は、近距離用基準データ記憶部４３に記憶された基準データを選択する（ステップＳ７）。

【0046】

検出した距離Ｄが基準値Ｄ１より大きい場合であって（ステップＳ６；ＮＯ）、かつ検出した距離Ｄが、基準値Ｄ２以下である場合（ステップＳ８；ＹＥＳ）、選択部５３は、中距離用基準データ記憶部４２に記憶された基準データを選択する（ステップＳ９）。

【0047】

検出した距離ＤがＤ２より大きい場合（ステップＳ８；ＮＯ）、選択部５３は、遠距離用基準データ記憶部４１に記憶された基準データを選択する（ステップＳ１０）。

【0048】

選択部５３によって基準データが選択されると、特定部５４は、生成した画像解析データと選択部５３によって選択された基準データとを比較し、手２００のジェスチャが基準データに一致するか否かを判定する（ステップＳ１１）。

【0049】

手２００のジェスチャが基準データに一致しない場合（ステップＳ１１；ＮＯ）、制御部５は、ステップＳ１に戻る。一方、手２００のジェスチャが基準データに一致した場合（ステップＳ１１；ＹＥＳ）、特定部５４は、手２００のジェスチャ及び特定したジェスチャに対応付けられたコマンドを特定する（ステップＳ１２）。

【0050】

続いて、実行部５５は、特定部５４によって特定された手２００のジェスチャに対応付けられたコマンドを実行する（ステップＳ１３）。そして、制御部５は、入力処理を終了する。

【0051】

以上詳細に説明したように本実施の形態によれば、カメラ２と手２００との距離に応じて、手２００によるユーザのジェスチャを特定するための基準データが選択される。これにより、カメラ２と手２００との距離で特定可能な手２００によるユーザのジェスチャが特定されるため、カメラ２で撮像された手２００によるユーザのジェスチャに基づいて、より適切なデータを入力することができる。

【0052】

また、上記実施の形態では、記憶部４は、カメラ２と手２００との距離が近くなるほど、より多くのジェスチャを特定するための基準データを記憶するようにした。こうすることで、カメラ２と手２００との距離が近い場合は、より多くのジェスチャを特定できるため、多様なコマンド等の入力データを入力できる。

【0053】

カメラ２と手２００とが中距離に位置する場合は、近距離の場合と比較して、特定可能な手２００によるユーザのジェスチャの数は減少するが、特定できないジェスチャの基準パターンと画像解析データとが比較されないので処理負担及び誤特定を軽減することができる。

【0054】

カメラ２と手２００との距離が遠い場合は、近距離、中距離の場合と比較して、特定可能な手２００によるユーザのジェスチャの数はさらに減少するが、特定できないジェスチャの基準パターンと画像解析データとが比較されないので処理負担及び誤特定をさらに軽減することができる。また、カメラ２と手２００との距離が遠い場合でも特定可能なジェスチャの基準パターンと画像解析データとが比較されるので、手２００によるユーザのジェスチャに対応付けられた入力データを確実に入力することができる。

【0055】

なお、上記実施の形態では、記憶部４は、被写体としての手２００の動きと形状と傾きとを、態様として特定するための基準データを記憶するようにした。これにより、ユーザは、多様なジェスチャを表現することができる手２００の動作（ハンドジェスチャ）によってデータを入力できるので多くの種別のデータを入力できる。

【0056】

また、上記実施の形態では、前記入力部５１によって入力された撮像画像における手２００の画像を抽出し、抽出した手２００の画像が表す手２００によるユーザのジェスチャを、選択部５３で選択された基準データに基づいて特定するようにした。こうすることで、情報処理装置１００は、ユーザのジェスチャをリアルタイムで特定して、迅速にデータを入力することができる。

【0057】

また、上記実施の形態では、取得部５２は、カメラ２によって撮像された画像データを解析してカメラ２とユーザとの距離を示す情報を取得するようにした。これにより、光学センサ等を用いる場合と比べて、装置構成を簡単にできる。

【0058】

また、表示部３は、カメラ２によって撮像された画像データに対応する画像を表示するようにしてもよい。この場合、例えば、図８に示すように、ジェスチャ入力支援用ウインドウ３Ｗ内に、画像データから抽出された手２００の画像が表示される。こうすることで、ユーザは、手２００のジェスチャを確認しながら操作入力できるので、より確実にデータを入力できる。さらに、表示部３は、検出された距離Ｄと、その距離で特定可能なコマンドの種類を報知するメッセージとをウインドウ３ｉを表示してもよい。これにより、ユーザは、どのようなコマンドがジェスチャで入力できるかを把握することができる。

【0059】

また、表示部３は、選択部５３によって選択された基準データに基づいて特定される手２００のジェスチャ及び手２００のジェスチャに対応付けられたコマンド等を表示するようにしてもよい。例えば、表示部３は、図９に示すように、手２００の画像を表示するジェスチャ入力支援用ウインドウ３Ｗに加えて、手２００とカメラ２との現在の距離において特定可能な中距離用基準データ記憶部４２に記憶された基準データに対応する手２００のジェスチャと、そのジェスチャが特定されたときに入力されるメニューの番号を指定するコマンドとをウインドウ３ｉに表示する。これにより、ユーザは、特定され得る手２００によるジェスチャとそれに対してどのようなコマンドが入力できるかを把握することができる。

【0060】

なお、本実施の形態では、カメラ２とユーザとの距離を示す情報を、画像データから求める例を示したが、例えば、取得部５２は、赤外線発光部を備え、赤外線発光部から発光された赤外線が手２００で反射された反射光によってカメラ２とユーザとの距離を示す情報を取得するようにしてもよい。また、カメラを複数台配置し、取得部５２は、複数のカメラからのステレオ画像を取得し、視差に基づいて、カメラ２とユーザとの距離を示す情報を求めるようにしてもよい。その他、取得部５２は、カメラ２とユーザとの距離を示す情報の取得に光学センサ等の各種センサを用いてもよい。

【0061】

また、情報処理装置１００は、カメラ２として赤外線カメラ等を用いて、手２００を撮像してもよい。また、光学カメラ、赤外線カメラ等に限らず、例えば、情報処理装置１００は、手２００の撮像に深度センサ等を用いてもよい。

【0062】

なお、本実施の形態においては、カメラ２と手２００との距離を３段階に分けたが、２段階に分けても、４段階以上に分けてもよい。

【0063】

また、図３乃至図５に示した手２００の動き、形状、傾き等に現れるユーザのジェスチャは一例であって、これらに限定されるものではない。例えば、特定部５４は、左手又は右手によるジェスチャを特定してもよいし、両手を用いたジェスチャを特定してもよい。

【0064】

また、高速の動きを伴うジェスチャは、動きが無いジェスチャに比べて、遠距離での特定が困難である。このため、例えば、カメラ２と手２００との距離Ｄが所定の距離より遠い場合には、手が静止している状態においてのみ、特定部５４は、手の形状を特定するようにしてもよい。ここで、距離Ｄが所定の距離より近い場合には、特定部５４は、手２００の形状と移動とを組み合わせたジェスチャを特定するようにしてもよい。

【0065】

また、本実施の形態では、手２００によるジェスチャにより入力を行う例を示したが、例えば、情報処理装置１００は、目、口、瞼、舌等を撮像し、これらによるジェスチャや態様（例えば、相対位置、動き、向き、開度、閉度等）に基づいて入力できるようにしてもよい。

【0066】

なお、本実施の形態においては、記憶部４は、距離ごとに基準データを記憶したが、これに限定されない。例えば、記憶部４は、基準データに全距離用、近距離用、中距離用、遠距離用を識別する識別子を付して記憶してもよい。この場合、選択部５３によって検出された距離Ｄに応じて、その距離に対応する識別子が付された基準データを読み出し、画像解析データに含まれる手２００のジェスチャと一致するか否かを判定してもよい。

【0067】

また、本実施の形態では、情報処理装置１００とカメラ２とを一体に構成したが、例えば、カメラ２を情報処理装置１００から独立させて設置することもできる。この場合、カメラ２が通信ネットワークを介して画像データを情報処理装置１００に送信することによって、ユーザは情報処理装置１００に手２００のジェスチャによる操作入力を行う。こうすることで、ユーザは、カメラ２が情報処理装置１００本体と離して設置されたような遠隔操作の仕様であっても、適切なデータを入力することができる。

【0068】

本実施の形態の情報処理装置１００は、専用のシステムにより実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールして、上述の処理を実行することによって入力装置１００を構成してもよい。また、インターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、例えばコンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）とアプリケーションソフトウェアとの共同により実現してもよい。この場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。

【0069】

上記プログラムを記録する記録媒体としては、ＵＳＢメモリ、フレキシブルディスク、ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）、ＭＯ、ＳＤカード、メモリースティック（登録商標）、その他、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、磁気テープ等のコンピュータ読取可能な記録媒体を使用することができる。また、ハードディスクやＳＳＤ（ソリッドステートドライブ）等、通常、システム又は装置に固定して使用する記録媒体を使用することもできる。

【0070】

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

【0071】

上記の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0072】

（付記１）
カメラで撮像された被写体の撮像画像を入力する入力部と、
前記カメラと前記被写体との距離を示す情報を取得する取得部と、
前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部と、
前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部と、
前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部と、
を備える情報処理装置。

【0073】

（付記２）
前記記憶部は、
前記カメラと前記被写体との距離が近くなるほど、より多くの態様を特定するための基準データを記憶する、
ことを特徴とする付記１に記載の情報処理装置。

【0074】

（付記３）
前記記憶部は、
前記被写体としての手の動きと形状と傾きとを、前記態様として特定するための基準データを記憶する、
ことを特徴とする付記１又は２に記載の情報処理装置。

【0075】

（付記４）
前記特定部は、
前記入力部によって入力された撮像画像における被写体の画像を抽出し、
抽出した被写体の画像が表す被写体の態様を、前記選択部で選択された基準データに基づいて特定する、
ことを特徴とする付記１乃至３のいずれか一つに記載の情報処理装置。

【0076】

（付記５）
前記取得部は、
前記撮像部によって撮像された画像データを解析して、前記カメラと前記被写体との距離を示す情報を取得する、
ことを特徴とする付記１乃至４のいずれか一つに記載の情報処理装置。

【0077】

（付記６）
前記カメラで撮像された被写体の撮像画像を表示する表示部をさらに備える、
ことを特徴とする付記１乃至５のいずれか一つに記載の情報処理装置。

【0078】

（付記７）
前記表示部は、
前記選択部で選択された基準データに基づいて特定される前記被写体の態様及びその態様に対応する入力データを表示する、
ことを特徴とする付記６に記載の情報処理装置。

【0079】

（付記８）
カメラで撮像された被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶ステップと、
前記カメラで撮像された被写体の撮像画像を入力する入力ステップと、
前記カメラと前記被写体との距離を示す情報を取得する取得部と、
前記記憶ステップで記憶された前記基準データの中から、前記取得ステップで取得された情報によって示される距離に対応する基準データを選択する選択ステップと、
前記選択ステップで選択された基準データを参照して、前記入力ステップで入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定ステップと、
を含む情報処理方法。

【0080】

（付記９）
コンピュータを、
カメラで撮像された被写体の撮像画像を入力する入力部、
前記カメラと前記被写体との距離を示す情報を取得する取得部、
前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部、
前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部、
前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部、
として機能させるプログラムを記録した記録媒体。

【0081】

本発明は、２０１１年４月２８日に出願された日本国特許出願２０１１−１０１８９４号に基づく。本明細書中に日本国特許出願２０１１−１０１８９４号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

【産業上の利用可能性】

【0082】

本発明は、ユーザのジェスチャによってデータを入力する情報処理装置、情報処理方法及び記録媒体に好適である。

【符号の説明】

【0083】

１ 操作部
２ カメラ
３ 表示部
３Ｗ ジェスチャ入力支援用ウインドウ
３ｉ ウインドウ
４ 記憶部
５ 制御部
４１ 遠距離用基準データ記憶部
４２ 中距離用基準データ記憶部
４３ 近距離用基準データ記憶部
５１ 入力部
５２ 取得部
５３ 選択部
５４ 特定部
５５ 実行部
１００ 情報処理装置
２００ 手

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】