特許 7602977 入力装置、入力方法、及び入力プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-11

(45)【発行日】2024-12-19

(54)【発明の名称】入力装置、入力方法、及び入力プログラム

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20241212BHJP

   G06F 3/04842 20220101ALI20241212BHJP

   G06F 3/01 20060101ALI20241212BHJP

【ＦＩ】

G06F3/0346 422

G06F3/04842

G06F3/01 570

【請求項の数】 10

(21)【出願番号】P 2021114051

(22)【出願日】2021-07-09

(65)【公開番号】P2023010138

(43)【公開日】2023-01-20

【審査請求日】2024-03-21

【新規性喪失の例外の表示】特許法第３０条第２項適用 １．リテールテック ＪＡＰＡＮ ２０２１ 令和３年３月９日発表 ２．シャープドキュメントサークル 令和３年４月２２日発表

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100167302

【弁理士】

【氏名又は名称】種村 一幸

(74)【代理人】

【識別番号】100135817

【弁理士】

【氏名又は名称】華山 浩伸

(72)【発明者】

【氏名】松岡 輝彦

(72)【発明者】

【氏名】石倉 知弥

(72)【発明者】

【氏名】高島 真彦

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２０１７－４１００２（ＪＰ，Ａ）

【文献】特開２０１７－３３１４４（ＪＰ，Ａ）

【文献】国際公開第２０１５／０１５８４３（ＷＯ，Ａ１）

【文献】特開２０１８－５６６３（ＪＰ，Ａ）

【文献】特開２０１２－１０８７６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８１２

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置であって、
前記ユーザーを撮像した撮像画像を取得する取得処理部と、
前記取得処理部により取得される前記撮像画像から前記ユーザーの手を検出する検出処理部と、
前記検出処理部により検出される前記ユーザーの手の形状を判定する判定処理部と、
前記検出処理部により検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する基準点設定処理部と、
前記検出処理部により検出される前記ユーザーの手の形状が所定の形状である場合に、前記基準点設定処理部により設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力処理部と、
を備える入力装置。

【請求項2】

前記基準点設定処理部は、前記特定領域の下辺における一方の端部から他方の端部までの間を所定の比率で分割した位置を前記基準点に設定する、
請求項１に記載の入力装置。

【請求項3】

前記基準点設定処理部は、前記特定領域の下辺の中心位置を前記基準点に設定する、
請求項２に記載の入力装置。

【請求項4】

前記基準点設定処理部は、前記特定領域の下辺における前記ユーザーの手の小指側の端部から１：２の比率の位置を前記基準点に設定する、
請求項２に記載の入力装置。

【請求項5】

前記基準点設定処理部は、前記特定領域に含まれる複数の画素のうち前記ユーザーの手の色を表示する特定画素を特定し、前記特定領域の上辺から下辺に向かう列方向の画素列ごとの前記特定画素の合計画素数を算出し、前記下辺のうち前記合計画素数が閾値を超える前記画素列の範囲に対応する部分辺の中心位置を前記基準点に設定する、
請求項２に記載の入力装置。

【請求項6】

前記表示画面の下端から所定幅だけ内側に設定された入力可能領域内において、前記基準点に対応する前記入力位置に入力操作用アイコンを表示させる表示処理部をさらに備える、
請求項１から請求項５のいずれか１項に記載の入力装置。

【請求項7】

前記入力処理部は、前記検出処理部により検出される前記ユーザーの手の形状が第１形状である場合に、前記基準点の移動に応じて、前記表示画面に表示される入力操作用アイコンを移動させる移動処理を実行し、前記検出処理部により検出される前記ユーザーの手の形状が前記第１形状から第２形状に変化した場合に、前記基準点に対応する前記入力操作用アイコンの表示位置における選択対象の選択処理を実行する、
請求項１から請求項６のいずれか１項に記載の入力装置。

【請求項8】

前記特定領域は、前記ユーザーの手を囲む矩形領域である、
請求項１から請求項７のいずれか１項に記載の入力装置。

【請求項9】

ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力方法であって、
一又は複数のプロセッサーが、
前記ユーザーを撮像した撮像画像を取得する取得ステップと、
前記取得ステップにより取得される前記撮像画像から前記ユーザーの手を検出する検出ステップと、
前記検出ステップにおいて検出される前記ユーザーの手の形状を判定する判定ステップと、
前記検出ステップにおいてより検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する設定ステップと、
前記検出ステップにより検出される前記ユーザーの手の形状が所定の形状である場合に、前記設定ステップにより設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力ステップと、
を実行する入力方法。

【請求項10】

ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力プログラムであって、
前記ユーザーを撮像した撮像画像を取得する取得ステップと、
前記取得ステップにより取得される前記撮像画像から前記ユーザーの手を検出する検出ステップと、
前記検出ステップにおいて検出される前記ユーザーの手の形状を判定する判定ステップと、
前記検出ステップにおいてより検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する設定ステップと、
前記検出ステップにより検出される前記ユーザーの手の形状が所定の形状である場合に、前記設定ステップにより設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力ステップと、
を一又は複数のプロセッサーに実行させるための入力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置、入力方法、及び入力プログラムに関する。

【背景技術】

【0002】

従来、表示パネルの表示画面に対してジェスチャー操作による入力（画面操作）を行なうことが可能な入力装置が知られている。例えば、特許文献１には、仮想空間内のユーザーの手を撮像した画像から手の形状、動き、及び位置の少なくともいずれかを把握して、入力情報を判定する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０００－７５９９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、前記入力装置は、例えばユーザーの手によるジェスチャー操作により指示された表示画面上の位置（入力位置）を、手の位置に基づいて特定する。例えば、前記入力装置は、ユーザーの指の関節の位置や、ジェスチャー操作時の手を投影した全体領域の中心（重心）位置などを入力位置として特定する。しかし、この方法では、例えばユーザーが手を開く操作（第１ジェスチャー操作）から手を閉じる（握る）操作（第２ジェスチャー操作）に変化させた場合に前記入力位置がユーザーの意図しない方向に変化する問題が生じる。

【0005】

本発明の目的は、ユーザーのジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置においてユーザーのジェスチャー操作の変化によって入力位置がユーザーの意図しない方向に変化することを防止することが可能な入力装置、入力方法、及び入力プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の一の態様に係る入力装置は、ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置であって、前記ユーザーを撮像した撮像画像を取得する取得処理部と、前記取得処理部により取得される前記撮像画像から前記ユーザーの手を検出する検出処理部と、前記検出処理部により検出される前記ユーザーの手の形状を判定する判定処理部と、前記検出処理部により検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する基準点設定処理部と、前記検出処理部により検出される前記ユーザーの手の形状が所定の形状である場合に、前記基準点設定処理部により設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力処理部と、を備える装置である。

【0007】

本発明の他の態様に係る入力方法は、ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力方法であって、一又は複数のプロセッサーが、前記ユーザーを撮像した撮像画像を取得する取得ステップと、前記取得ステップにより取得される前記撮像画像から前記ユーザーの手を検出する検出ステップと、前記検出ステップにおいて検出される前記ユーザーの手の形状を判定する判定ステップと、前記検出ステップにおいてより検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する設定ステップと、前記検出ステップにより検出される前記ユーザーの手の形状が所定の形状である場合に、前記設定ステップにより設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力ステップと、を実行する方法である。

【0008】

本発明の他の態様に係る入力プログラムは、前記ユーザーを撮像した撮像画像を取得する取得ステップと、前記取得ステップにより取得される前記撮像画像から前記ユーザーの手を検出する検出ステップと、前記検出ステップにおいて検出される前記ユーザーの手の形状を判定する判定ステップと、前記検出ステップにおいてより検出される前記ユーザーの手を囲む特定領域の下辺の所定位置に基準点を設定する設定ステップと、前記検出ステップにより検出される前記ユーザーの手の形状が所定の形状である場合に、前記設定ステップにより設定される前記基準点に対応する前記入力位置に対して前記入力処理を実行する入力ステップと、を一又は複数のプロセッサーに実行させるためのプログラムである。

【発明の効果】

【0009】

本発明によれば、ユーザーのジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う入力装置においてユーザーのジェスチャー操作の変化によって入力位置がユーザーの意図しない方向に変化することを防止することが可能な入力装置、入力方法、及び入力プログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の実施形態に係る表示装置の構成を示すブロック図である。

【図2】図２は、本発明の実施形態に係る表示装置における表示画面１３Ａの一例を示す模式図である。

【図3】図３は、本発明の実施形態に係る表示装置に表示される撮像画像の一例を示す図である。

【図4】図４は、本発明の実施形態に係る第１設定方法による基準点の設定方法を示す図である。

【図5】図５は、本発明の実施形態に係る表示装置に表示される撮像画像の一例を示す図である。

【図6】図６は、本発明の実施形態に係る第１設定方法による基準点の設定方法を示す図である。

【図7】図７は、本発明の実施形態に係る第２設定方法による基準点の設定方法を示す図である。

【図8】図８は、本発明の実施形態に係る第３設定方法による基準点の設定方法を示す図である。

【図9】図９は、本発明の実施形態に係る表示装置に表示される撮像画像内の矩形領域の一例を示す図である。

【図10】図１０は、本発明の実施形態に係る表示装置に表示される撮像画像内の操作領域の一例を示す図である。

【図11】図１１は、本発明の実施形態に係る表示装置に表示される撮像画像内の操作領域の一例を示す図である。

【図12】図１２は、本発明の実施形態に係る第１算出方法による入力位置の算出方法を示す図である。

【図13】図１３は、本発明の実施形態に係る第２算出方法による入力位置の算出方法を示す図である。

【図14】図１４は、本発明の実施形態に係る第３算出方法による入力位置の算出方法を示す図である。

【図15】図１５は、本発明の実施形態に係る表示装置で実行される表示制御処理の手順の一例を説明するためのフローチャートである。

【図16】図１６は、本発明の実施形態に係る第１設定方法による基準点設定処理の手順の一例を説明するためのフローチャートである。

【図17】図１７は、本発明の実施形態に係る第２設定方法による基準点設定処理の手順の一例を説明するためのフローチャートである。

【図18】図１８は、本発明の実施形態に係る第３設定方法による基準点設定処理の手順の一例を説明するためのフローチャートである。

【図19】図１９は、本発明の実施形態に係る第１算出方法による入力位置算出処理の手順の一例を説明するためのフローチャートである。

【図20】図２０は、本発明の実施形態に係る第２算出方法による入力位置算出処理の手順の一例を説明するためのフローチャートである。

【図21】図２１は、本発明の実施形態に係る第３算出方法による入力位置算出処理の手順の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

【0012】

図１に示すように、本発明の実施形態に係る表示装置１は、制御部１１と、記憶部１２と、表示パネル１３と、操作部１４と、カメラ１５とを備えている。図２には、表示装置１の模式図を示している。カメラ１５は、表示パネル１３の上部に設置され、表示パネル１３の前方の所定エリアを撮像する。表示装置１は、本発明の入力装置の一例である。本発明の入力装置は、表示装置に限定されず、表示パネル１３及びカメラ１５とデータ通信可能なサーバーなどの情報処理装置であってもよい。

【0013】

表示装置１は、表示画面１３Ａに対するユーザーの非接触による入力操作を受け付ける。例えば、表示装置１は、カメラ１５の前方においてユーザーのジェスチャーによる入力操作（ジェスチャー操作）を検出すると、表示画面１３Ａに対するユーザーの前記入力操作に応じた入力処理を実行する。例えば、ユーザーがカメラ１５の前方で手を閉じる操作（グーの状態）をした場合に、表示装置１は、表示画面１３Ａ上のマウスカーソルＭ１の位置においてタッチ入力を受け付ける。以下、表示装置１の具体的構成について説明する。

【0014】

カメラ１５は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ１５は、所定のフレームレートで画像を撮像し、デジタル画像データを制御部１１に順次出力する。カメラ１５は、１台であってもよいし複数台であってもよい。具体的には、カメラ１５は、表示パネル１３の上部に設置され、表示パネル１３の前方の所定エリアを撮像する。

【0015】

表示パネル１３は、表示画面１３Ａに画像を表示するディスプレイであり、例えば液晶ディスプレイである。操作部１４は、マウス、キーボードなどの操作機器である。なお、操作部１４は、タッチパネルで構成されてもよい。

【0016】

表示パネル１３は、制御部１１の指示に従って各種の画像を表示する。例えば図２に示すように、表示パネル１３は、ユーザーの手に追従して移動するマウスカーソルＭ１（本発明の入力操作用アイコンの一例）、ユーザーの手による所定のジェスチャー操作に応じてタッチ入力を受け付ける操作ボタン（ここでは「Ｙｅｓ」ボタン、「Ｎｏ」ボタン）、カメラ１５が撮像した撮像画像Ｗｐ（ワイプ画面）などを表示する。図３には、撮像画像Ｗｐの拡大図を示している。詳細は後述するが、撮像画像Ｗｐには、ユーザーの手を囲む矩形領域Ａ１（本発明の特定領域の一例）の外枠を表す枠画像と、表示画面１３Ａにおける入力可能な入力可能領域Ｆ１（図２参照）に対応する操作領域Ａ１１の外枠を表す枠画像とが表示される。ユーザーは、表示画面１３Ａに重ねて表示される撮像画像Ｗｐを見ながら、マウスカーソルＭ１の位置を移動させたり、マウスカーソルＭ１により操作ボタンを選択（クリック）したりする。例えば、ユーザーは、手を開いた状態（パーの状態）（図３参照）で動かすことによりマウスカーソルＭ１の表示位置を移動させ、マウスカーソルＭ１が「Ｙｅｓ」ボタンに重なる位置にある場合に手を閉じた状態（グーの状態）（図５参照）にすることにより「Ｙｅｓ」ボタンを選択（クリック）する。手を開く操作は本発明の第１ジェスチャー操作の一例であり、手を閉じる操作は本発明の第２ジェスチャー操作の一例である。

【0017】

記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。記憶部１２には、制御部１１に後述の表示制御処理（図１５等参照）を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、表示装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。なお、前記表示制御プログラムは、クラウドサーバーから配信されて記憶部１２に記憶されてもよい。

【0018】

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより表示装置１を制御する。

【0019】

ところで、従来の技術では、例えばユーザーが手を開く操作（図３参照）から手を閉じる操作（図５参照）に変化させた場合に表示画面１３Ａに対する入力位置がユーザーの意図しない方向に変化する問題が生じる。以下、この問題の具体例を説明する。

【0020】

図４には、手を開いた状態の拡大図を示し、図６には、手を閉じた状態の拡大図を示している。従来の技術では、ジェスチャー操作時の手を投影した全体領域（矩形領域Ａ１）の中心位置Ｐ０を入力位置として特定しているため、手を開いた状態から閉じた状態に変化させた場合に、図６に示すように中心位置Ｐ０が矩形領域Ａ２の中心位置Ｐ０´に移動してしまう。このため、ユーザーが手を開いた状態から閉じた状態に変化させた場合に、中心位置Ｐ０に対応するマウスカーソルＭ１の位置も移動してしまい、ユーザーが意図した操作、例えば「Ｙｅｓ」ボタンの選択操作を正しく行うことができなくなる。これに対して、本実施形態に係る表示装置１では、以下に示すように、ユーザーのジェスチャー操作の変化によって入力位置がユーザーの意図しない方向に変化することを防止することが可能である。

【0021】

具体的に、制御部１１は、図１に示すように、表示処理部１１１、取得処理部１１２、検出処理部１１３、判定処理部１１４、基準点設定処理部１１５、操作領域設定処理部１１６、仮想入力可能領域設定処理部１１７、及び入力処理部１１８などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記表示制御プログラム及びに従った各種の処理を実行することによって各処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0022】

表示処理部１１１は、各種情報を表示パネル１３に表示させる。表示処理部１１１は、各種アプリケーションの実行に従って各種画像を表示させる。例えば、表示処理部１１１は、図２に示す表示画面１３Ａを表示パネル１３に表示させる。また、表示処理部１１１は、撮像画像Ｗｐを表示画面１３Ａの端部（隅部）に表示させる。撮像画像Ｗｐは、カメラ１５により撮像された所定エリアの撮像画像のうち、検出されたユーザーの顔画像を含む特定の範囲の部分画像である。表示処理部１１１は、表示画面１３Ａの隅部の小画面に撮像画像Ｗｐを表示させる。また、表示処理部１１１は、カメラ１５から取得される撮像画像に応じて撮像画像Ｗｐをリアルタイムで更新する。また、表示処理部１１１は、表示画面１３Ａにおいて、撮像画像Ｗｐを表示させるとともに、操作領域Ａ１１に対応する枠画像（本発明の操作領域画像の一例）を撮像画像Ｗｐに重ねて表示させる。なお、撮像画像Ｗｐの表示位置は限定されない。また表示処理部１１１は、ユーザーの顔又は手が検出されたことを条件として撮像画像Ｗｐを表示させてもよい。

【0023】

また、表示処理部１１１は、表示画面１３Ａの下端から所定幅だけ内側に設定された入力可能領域Ｆ１内において、基準点Ｐ１に対応する入力位置にマウスカーソルＭ１（入力操作用アイコン）を表示させる。前記所定幅は、例えば撮像画像Ｗｐの縦幅に設定される。ユーザーは、入力可能領域Ｆ１内においてマウスカーソルＭ１を移動させることが可能である。表示処理部１１１は、本発明の表示処理部の一例である。

【0024】

取得処理部１１２は、ユーザーを撮像した撮像画像を取得する。具体的には、取得処理部１１２は、カメラ１５が所定のフレームレートで撮像した画像のデジタル画像データをカメラ１５から順次取得する。取得処理部１１２は、本発明の取得処理部の一例である。

【0025】

検出処理部１１３は、取得処理部１１２により取得される前記撮像画像からユーザー（例えば顔）を検出する。また、検出処理部１１３は、前記撮像画像からユーザーの手を検出する。ユーザーの顔及び手を検出する方法は、周知の方法を適用することができる。例えば、検出処理部１１３は、デジタル画像データに対してクロップ、リサイズ、反転、回転などの処理を実行し、ユーザーの顔及び手を検出する。検出処理部１１３は、手を検出すると、手の動きをトラッキング（追跡）する。検出処理部１１３は、本発明の検出処理部の一例である。

【0026】

判定処理部１１４は、検出処理部１１３により検出されるユーザーの手の形状を判定する。例えば、判定処理部１１４は、ユーザーの手が開いた状態（パーの状態）（図３参照）であるか、又は、閉じた状態（グーの状態）（図５参照）であるかを判定する。また、判定処理部１１４は、検出処理部１１３により検出されるユーザーの手が右手であるか、又は、左手であるかを判定する。判定処理部１１４は、本発明の判定処理部の一例である。

【0027】

基準点設定処理部１１５は、検出処理部１１３により検出されるユーザーの手を囲む矩形領域Ａ１の下辺の所定位置に基準点Ｐ１を設定する。具体的には、基準点設定処理部１１５は、矩形領域Ａ１の下辺における一方の端部Ｅ１から他方の端部Ｅ２までの間を所定の比率で分割した位置を基準点Ｐ１に設定する。基準点設定処理部１１５は、本発明の基準点設定処理部の一例である。

【0028】

基準点Ｐ１は、表示画面１３Ａにおける入力位置に対応する仮想空間の位置である。入力処理部１１８は、基準点Ｐ１に対応する入力位置に対して入力処理を実行する。具体的には、入力処理部１１８は、検出処理部１１３により検出されるユーザーの手の形状が所定の形状である場合に、基準点設定処理部１１５により設定される基準点Ｐ１に対応する入力位置に対して入力処理を実行する。例えば、入力処理部１１８は、表示画面１３Ａにおいて、基準点Ｐ１を表示画面１３Ａに対応する領域にマッピングした位置にマウスカーソルＭ１を表示させる。入力処理部１１８は、本発明の入力処理部の一例である。

【0029】

以下、基準点Ｐ１の具体的な設定方法を説明する。ここでは、前記設定方法の具体例として、第１設定方法、第２設定方法、及び第３設定方法を挙げる。

【0030】

［第１設定方法］
図４には、第１設定方法の一例を示している。図４に示すように、基準点設定処理部１１５は、矩形領域Ａ１の下辺Ｌ１の中心位置を基準点Ｐ１に設定する。ここで、矩形領域Ａ１は、手が開いた状態で手の最外端部に接する矩形の領域であり、基準点Ｐ１は手が開いた状態における矩形領域Ａ１の下辺Ｌ１の中心位置である。このため、図６に示すように、手を閉じた状態にした場合でも、基準点Ｐ１の位置は変化しない。このように、基準点設定処理部１１５は、手の形状の変化に関わらず、手が開いた状態における矩形領域Ａ１の下辺Ｌ１の中心位置を基準点Ｐ１に設定する。なお、基準点設定処理部１１５は、手が閉じた状態における矩形領域Ａ１の下辺Ｌ１の中心位置を基準点Ｐ１に設定してもよい。

【0031】

第１設定方法では、入力処理部１１８は、矩形領域Ａ１の下辺Ｌ１の中心位置の座標を入力位置の座標として算出する。例えば、矩形領域Ａ１の横幅をＷ１、縦幅をＨ１、左上端部Ｅ０を原点［ｘ，ｙ］とした場合に、入力処理部１１８は、基準点Ｐ１の座標として、［ｘ＋（Ｗ１）／２，ｙ＋Ｈ１］を算出する。入力処理部１１８は、算出した基準点Ｐ１の座標に基づいてマウスカーソルＭ１の位置座標を算出する。表示処理部１１１は、表示画面１３Ａにおいて、算出された位置座標にマウスカーソルＭ１を表示させる。

【0032】

［第２設定方法］
図７には、第２設定方法の一例を示している。図７に示すように、基準点設定処理部１１５は、矩形領域Ａ１の下辺Ｌ１におけるユーザーの手の小指側の端部から１：２の比率の位置を基準点Ｐ１に設定する。ここで、手を開いた状態（図４参照）から手を閉じた状態（図６参照）に変化させると、中心位置Ｐ０の横方向位置は小指側に移動する。この移動量は、親指の面積及び移動量の影響を受け易い。そこで、基準点設定処理部１１５は、矩形領域Ａ１のうち親指側から１／３の領域を親指の領域と仮定し、親指の領域を除く掌の領域（矩形領域Ａ１のうち小指側の２／３の領域）を抽出し、当該掌の領域の下辺Ｌ１の中心位置を基準点Ｐ１に設定する。すなわち、基準点設定処理部１１５は、矩形領域Ａ１の下辺Ｌ１におけるユーザーの手の小指側の端部Ｅ１から１：２の比率の位置を基準点Ｐ１に設定する。

【0033】

第２設定方法では、入力処理部１１８は、矩形領域Ａ１の下辺Ｌ１におけるユーザーの手の小指側の端部Ｅ１から１：２の比率の座標を入力位置の座標として算出する。例えば、入力処理部１１８は、基準点Ｐ１の座標として、［ｘ＋（Ｗ１）／３，ｙ＋Ｈ１］を算出する。入力処理部１１８は、算出した基準点Ｐ１の座標に基づいてマウスカーソルＭ１の位置座標を算出する。表示処理部１１１は、表示画面１３Ａにおいて、算出された位置座標にマウスカーソルＭ１を表示させる。

【0034】

［第３設定方法］
図８には、第３設定方法の一例を示している。図８に示すように、基準点設定処理部１１５は、矩形領域Ａ１に含まれる複数の画素のうちユーザーの手の色を表示する特定画素を特定し、矩形領域Ａ１の上辺から下辺Ｌ１に向かう列方向の画素列ごとの前記特定画素の合計画素数を算出し、下辺Ｌ１のうち前記合計画素数が閾値Ｃｔｈを超える前記画素列の範囲に対応する部分辺の中心位置Ｘｃを基準点Ｐ１に設定する。図８に示すグラフは、画素列ごとの前記特定画素の合計画素数を示している。基準点設定処理部１１５は、合計画素数が閾値Ｃｔｈを超える画素列の最小位置Ｘｍｉｎ及び最大位置Ｘｍａｘを算出し、最小位置Ｘｍｉｎから最大位置Ｘｍａｘまでの部分辺の中心位置Ｘｃを算出する。そして、基準点設定処理部１１５は、算出した中心位置Ｘｃを基準点Ｐ１に設定する。

【0035】

第３設定方法では、入力処理部１１８は、下辺Ｌ１のうち前記合計画素数が閾値Ｃｔｈを超える前記画素列の範囲に対応する部分辺の中心位置Ｘｃの座標を入力位置の座標として算出する。例えば、前記最小位置の座標を［Ｘｍｉｎ，ｙ＋Ｈ１］とした場合に、入力処理部１１８は、基準点Ｐ１の座標として、［Ｘｍｉｎ＋（Ｘｍａｘ－Ｘｍｉｎ）／２，ｙ＋Ｈ１］を算出する。入力処理部１１８は、算出した基準点Ｐ１の座標に基づいてマウスカーソルＭ１の位置座標を算出する。表示処理部１１１は、表示画面１３Ａにおいて、算出された位置座標にマウスカーソルＭ１を表示させる。

【0036】

基準点設定処理部１１５は、上述の第１設定方法、第２設定方法、及び第３設定方法のいずれかの方法により基準点Ｐ１を設定する。

【0037】

前記各設定方法によれば、基準点Ｐ１を矩形領域Ａ１の下辺Ｌ１上に設定することにより、縦方向の位置ズレを生じ難くすることができる。また、手を開いた状態（第１ジェスチャー操作）の形状の矩形領域Ａ１の情報を使用することにより、手を閉じた状態（第２ジェスチャー操作）の形状の矩形領域Ａ２（図６参照）に変化した場合であっても、マウスカーソルＭ１の位置ズレを防止することができる。

【0038】

また、前記第１設定方法によれば、基準点Ｐ１を下辺Ｌ１の中心に固定することができるため、入力位置の計算量を少なくすることができる。よって、ＣＰＵの処理能力が低い場合や、処理の高速化が必要とされる場合に有効である。

【0039】

また、前記第２設定方法によれば、親指の領域が手の矩形領域Ａ１の約１／３の領域と想定することにより、領域の変化の少ない掌の領域に着目して基準点Ｐ１を設定することができる。よって、横方向の入力位置を高精度かつ安定的に算出することができる。

【0040】

また、前記第３設定方法によれば、親指の領域を除外することにより、掌の領域に絞り込んで基準点Ｐ１を設定することができる。よって、横方向の入力位置をより高精度かつ安定的に算出することができる。

【0041】

入力処理部１１８は、基準点設定処理部１１５により上述したいずれかの設定方法により設定される基準点Ｐ１に対応する入力位置に対して入力処理を実行する。具体的には、入力処理部１１８は、検出処理部１１３により検出されるユーザーの手の形状が手を開いた形状（第１形状）である場合に、基準点Ｐ１の移動に応じて、表示画面１３Ａに表示されるマウスカーソルＭ１を移動させる移動処理を実行する。また、入力処理部１１８は、検出処理部１１３により検出されるユーザーの手の形状が手を開いた形状から閉じた形状（第２形状）に変化した場合に、基準点Ｐ１に対応するマウスカーソルＭ１の表示位置における選択対象（例えば図２の「Ｙｅｓ」ボタン又は「Ｎｏ」ボタン）の選択処理を実行する。

【0042】

ここで、表示装置１は、例えばユーザーの手によるジェスチャー操作により指示された表示画面１３Ａ上の位置（入力位置）を、手の位置に基づいて特定する。ユーザーは、表示画面１３Ａに表示されるマウスカーソルＭ１を見ながら手を動かしたり手の形状を変化させたりすることによって入力操作を行う。しかし、従来の技術では、ユーザーは、自身の手を動かす範囲と、ユーザーの手の動きに応じて表示画面１３Ａ上で移動するマウスカーソルＭ１の表示画面１３Ａ内で移動可能な範囲との対応関係を把握し難い問題が生じる。例えばユーザーは、自身の手を所定距離だけ動かした場合に、表示画面１３Ａ上のマウスカーソルＭ１がどの程度移動するのかを把握し難い。このように、従来の技術では、ユーザーにとって操作性が低い問題がある。これに対して、本実施形態に係る表示装置１では、以下に示すように、表示装置１の操作性を向上させることが可能である。

【0043】

具体的には、操作領域設定処理部１１６は、検出処理部１１３により検出されるユーザーの手を含む領域であって、表示画面１３Ａ内のジェスチャー操作により入力可能な入力可能領域Ｆ１（図２参照）に対応するジェスチャー操作の操作領域Ａ１１を設定する。具体的には、操作領域設定処理部１１６は、検出処理部１１３がユーザーの手を検出すると手の外形を囲む矩形領域Ａ１を設定し（図９参照）、予め設定されたマージンを用いて矩形領域Ａ１よりも大きい操作領域Ａ１１を設定する（図１０参照）。例えば、操作領域設定処理部１１６は、撮像画像Ｗｐのうち前記検出された手の矩形領域Ａ１を含む部分画像（Ｗ×３／５の領域）において、予め設定された上下左右のマージンｍ１～ｍ４（図１０参照）の位置に操作領域Ａ１１を設定する。また、操作領域設定処理部１１６は、左手又は右手を判定して、操作領域Ａ１１を設定する方向（左側又は右側）を決定する。なお、マージンｍ１～ｍ４は、ユーザーが操作領域Ａ１１内の全領域において左右方向及び上下方向に手を移動させた場合に、マウスカーソルＭ１を入力可能領域Ｆ１（図２参照）内の全領域において左右方向及び上下方向に移動させることが可能となる値に設定される。

【0044】

また例えば、操作領域設定処理部１１６は、矩形領域Ａ１の横幅Ｗ１の半分の長さ（Ｗ１）／２を矩形領域Ａ１の小指側に加算し、矩形領域Ａ１の縦幅Ｈ１の半分の長さ（Ｈ１）／２を矩形領域Ａ１の上側に加算し、矩形領域Ａ１の縦幅Ｈ１の長さを矩形領域Ａ１の下側に加算した領域を操作領域Ａ１１に設定してもよい。操作領域設定処理部１１６は、本発明の第１設定処理部の一例である。

【0045】

ここで、手の矩形領域Ａ１の下辺の位置（基準点Ｐ１）をマウスカーソルＭ１の位置に対応付けているため、基準点Ｐ１を基準として操作領域Ａ１１を設定するとユーザーが手を上方に動かした場合に手が操作領域Ａ１１より上側にはみ出る状態まで動かさないとマウスカーソルＭ１を表示画面１３Ａの上端まで移動させることができず、ユーザーに違和感を与えてしまう。そこで、操作領域Ａ１１を実際の位置よりも上側に表示させることにより、ユーザーが違和感なく操作領域Ａ１１内でマウスカーソルＭ１を移動させることを可能にする。具体的には、表示処理部１１１は、表示画面１３Ａにおいて、撮像画像Ｗｐを表示させるとともに、操作領域Ａ１１の外枠を表す枠画像を撮像画像Ｗｐに対して実際の位置よりも上側にずらして表示させる。例えば図１１に示すように、表示処理部１１１は、表示画面１３Ａにおいて、操作領域Ａ１１の外枠を表す枠画像を撮像画像Ｗｐに対して、矩形領域Ａ１の上下方向の半分の幅ｈ（（Ｈ１）／２）分だけ実際の位置（図１１の点線枠）よりも上側にずらして表示させる。これにより、ユーザーは、掌の中心位置がマウスカーソルＭ１の位置に対応する感覚で、手の動作に応じたマウスカーソルＭ１を移動させることが可能となる。

【0046】

仮想入力可能領域設定処理部１１７は、入力可能領域Ｆ１よりも大きい仮想入力可能領域Ｆ２（仮想画面）を設定する。例えば図１２に示すように、表示画面１３Ａの横幅をＷ２、縦幅をＨ２とした場合に、仮想入力可能領域設定処理部１１７は、表示画面１３Ａの横幅Ｗ２の半分の長さ（（Ｗ２）／２）を表示画面１３Ａの右側及び左側のそれぞれに加算し、表示画面１３Ａの縦幅Ｈ２の半分の長さ（（Ｈ２）／２）を表示画面１３Ａの上側及び下側のそれぞれに加算した領域（入力可能領域Ｆ１の縦横２倍の領域）を仮想入力可能領域Ｆ２に設定する。仮想入力可能領域設定処理部１１７は、本発明の第２設定処理部の一例である。

【0047】

入力処理部１１８は、操作領域Ａ１１、入力可能領域Ｆ１、及び仮想入力可能領域Ｆ２を利用して、表示画面１３Ａにおける入力位置を算出して入力処理を実行する。

【0048】

以下、入力位置の具体的な算出方法を説明する。ここでは、前記算出方法の具体例として、第１算出方法、第２算出方法、及び第３算出方法を挙げる。

【0049】

［第１算出方法］
図１２には、第１算出方法の一例を示している。図１２に示すように、表示処理部１１１は、操作領域Ａ１１の外枠の枠画像を撮像画像Ｗｐ内に表示させる。また、入力処理部１１８は、基準点Ｐ１に対応する操作領域Ａ１１内の位置を仮想入力可能領域Ｆ２内に対応付けた位置を、前記入力位置として算出する。具体的には、入力処理部１１８は、操作領域Ａ１１の基準点Ｐ１を仮想入力可能領域Ｆ２にマッピングする。そして、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１内に収まっている場合は、入力処理部１１８は、当該位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。一方、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１外にはみ出る場合には、入力処理部１１８は、入力可能領域Ｆ１内に再マッピングして、入力可能領域Ｆ１の端部の位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。

【0050】

このように、第１算出方法では、入力処理部１１８は、操作領域Ａ１１と入力可能領域Ｆ１とをマッピングする際に、操作領域Ａ１１を実際の表示画面１３Ａの画面サイズに対して縦横２倍の仮想入力可能領域Ｆ２に対してマッピングを行い、入力可能領域Ｆ１外にマウスカーソルＭ１がマッピングされた場合には入力可能領域Ｆ１内に再マッピングする。

【0051】

［第２算出方法］
図１３には、第２算出方法の一例を示している。図１３に示すように、表示処理部１１１は、操作領域Ａ１１よりも大きい仮想操作領域Ｂ１の外枠の枠画像を撮像画像Ｗｐ内に表示させる。例えば、表示処理部１１１は、操作領域Ａ１１の横幅の半分の長さを操作領域Ａ１１の右側及び左側のそれぞれに加算し、操作領域Ａ１１の縦幅の半分の長さを操作領域Ａ１１の上側及び下側のそれぞれに加算した拡張領域（仮想操作領域Ｂ１）の枠画像を撮像画像Ｗｐ内に表示させる。すなわち、表示処理部１１１は、撮像画像Ｗｐにおいて、操作領域Ａ１１の枠画像を表示させず、操作領域Ａ１１を拡張した仮想の仮想操作領域Ｂ１の枠画像を表示させる。これにより、ユーザーは、撮像画像Ｗｐ内に表示される仮想操作領域Ｂ１の枠画像を見ながら手を動かす。

【0052】

入力処理部１１８は、基準点Ｐ１に対応する操作領域Ａ１１内の位置を入力可能領域Ｆ１内に対応付けた位置を、前記入力位置として算出する。具体的には、入力処理部１１８は、操作領域Ａ１１の基準点Ｐ１を入力可能領域Ｆ１にマッピングする。そして、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１内に収まっている場合は、入力処理部１１８は、当該位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。一方、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１外にはみ出る場合には、入力処理部１１８は、入力可能領域Ｆ１内に再マッピングして、入力可能領域Ｆ１の端部の位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。

【0053】

このように、第２算出方法では、操作領域Ａ１１の大きさに対して縦横２倍の仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐ内に表示させつつ、入力処理部１１８は、操作領域Ａ１１を入力可能領域Ｆ１にマッピングを行い、入力可能領域Ｆ１外にマウスカーソルＭ１がマッピングされた場合には入力可能領域Ｆ１内に再マッピングする。

【0054】

［第３算出方法］
図１４には、第３算出方法の一例を示している。図１４に示すように、表示処理部１１１は、前記第２算出方法と同様に、操作領域Ａ１１よりも大きい仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐ内に表示させる。すなわち、表示処理部１１１は、撮像画像Ｗｐにおいて、操作領域Ａ１１の枠画像を表示させず、仮想操作領域Ｂ１の枠画像を表示させる。また、入力処理部１１８は、基準点Ｐ１に対応する仮想操作領域Ｂ１内の位置を仮想入力可能領域Ｆ２内に対応付けた位置を、前記入力位置として算出する。具体的には、入力処理部１１８は、仮想操作領域Ｂ１の基準点Ｐ１を仮想入力可能領域Ｆ２にマッピングする。そして、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１内に収まっている場合は、入力処理部１１８は、当該位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。一方、マッピングした位置（マウスカーソルＭ１の位置）が入力可能領域Ｆ１外にはみ出る場合には、入力処理部１１８は、入力可能領域Ｆ１内に再マッピングして、入力可能領域Ｆ１の端部の位置を入力位置に決定し、当該入力位置にマウスカーソルＭ１を表示させる。

【0055】

このように、第３算出方法では、操作領域Ａ１１の大きさに対して縦横２倍の仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐ内に表示させつつ、入力処理部１１８は、仮想操作領域Ｂ１を仮想入力可能領域Ｆ２にマッピングを行い、入力可能領域Ｆ１外にマウスカーソルＭ１がマッピングされた場合には入力可能領域Ｆ１内に再マッピングする。

【0056】

入力処理部１１８は、上述の第１算出方法、第２算出方法、及び第３算出方法のいずれかの方法により入力位置を算出する。

【0057】

前記第１算出方法によれば、操作領域Ａ１１を入力可能領域Ｆ１に対して比較的狭く取ることになるため、ユーザーは、小さな手の動きによりマウスカーソルＭ１を移動させることができ、小さい領域内における手の動きにより表示画面１３Ａ全体にマウスカーソルＭ１を移動させることが可能となる。

【0058】

また、前記第２算出方法によれば、操作領域Ａ１１を入力可能領域Ｆ１に対して広めに取ることができるため、ユーザーは、前記第１算出方法よりも手の細かい動きをマウスカーソルＭ１の移動に反映させることができる。

【0059】

また、前記第３算出方法によれば、操作領域Ａ１１を入力可能領域Ｆ１に対して適度な大きさに取ることができるため、前記第１算出方法よりも手の細かい動きをマウスカーソルＭ１の移動に反映させることができ、かつ、前記第２算出方法ほど手や腕を動かさなくても、表示画面１３Ａ全体にマウスカーソルＭ１を移動させることが可能となる。

【0060】

また、前記各算出方法によれば、マウスカーソルＭ１が表示画面１３Ａからはみ出たり、表示画面１３Ａの下側の撮像画像Ｗｐ（ワイプ画面）にマウスカーソルＭ１が移動して誤動作を引き起こしたりすることを防止することができる。

【0061】

以上のように、表示装置１は、カメラ１５の撮像画像からユーザーの手を検出すると、手の矩形領域Ａ１の下辺Ｌ１上に所定の設定方法（前記第１～第３設定方法）により基準点Ｐ１を設定し、基準点Ｐ１を所定の算出方法（前記第１～第３算出方法）により入力可能領域Ｆ１における入力位置を算出して、算出した入力位置において、ユーザーのジェスチャー操作に応じた入力処理を実行する。

【0062】

［表示制御処理］
以下、図１５を参照しつつ、表示装置１の制御部１１によって実行される表示制御処理について説明する。

【0063】

なお、本発明は、前記表示制御処理に含まれる一又は複数のステップを実行する表示制御方法（本発明の入力方法の一例）の発明として捉えることができ、ここで説明する表示制御処理に含まれる一又は複数のステップが適宜省略されてもよい。なお、前記表示制御処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記表示制御処理における各ステップを実行する場合を例に挙げて説明するが、複数のプロセッサーが当該表示制御処理における各ステップを分散して実行する表示制御方法も他の実施形態として考えられる。

【0064】

先ずステップＳ１において、制御部１１は、カメラ１５から撮像画像を取得したか否かを判定する。制御部１１がカメラ１５から撮像画像を取得すると（Ｓ１：Ｙｅｓ）、処理はステップＳ２に移行する。

【0065】

ステップＳ２において、制御部１１は、ユーザーを検出したか否かを判定する。制御部１１がユーザーを検出すると（Ｓ２：Ｙｅｓ）、処理はステップＳ３に移行する。

【0066】

ステップＳ３において、制御部１１は、ユーザーの顔及び手を検出したか否かを判定する。制御部１１がユーザーの顔及び手を検出すると（Ｓ３：Ｙｅｓ）、処理はステップＳ４に移行する。

【0067】

ステップＳ４において、制御部１１は、撮像画像Ｗｐ（ワイプ画面）を表示画面１３Ａに表示させる。具体的には、制御部１１は、カメラ１５により撮像された所定エリアの撮像画像のうち、検出したユーザーの顔及び手を含む特定の範囲の部分画像（撮像画像Ｗｐ）を表示画面１３Ａの端部（隅部）に表示させる（図２参照）。また、制御部１１は、撮像画像Ｗｐに、ユーザーの手を囲む矩形領域Ａ１を表す枠画像と、表示画面１３Ａの入力可能領域Ｆ１（図２参照）に対応する操作領域Ａ１１の枠画像（操作領域画像）とを重ねて表示させる（図３参照）。なお、表示処理部１１１は、操作領域Ａ１１の枠画像を撮像画像Ｗｐに対して実際の位置よりも上側にずらして表示させてもよい（図１１参照）。

【0068】

ステップＳ５において、制御部１１は、基準点Ｐ１を設定する処理（基準点設定処理）を実行する。制御部１１は、前記第１設定方法、前記第２設定方法、及び前記第３設定方法のいずれかの方法に対応する基準点設定処理を実行する。

【0069】

図１６には、前記第１設定方法に対応する基準点設定処理の具体例を示している。具体的には、ステップＳ１１において、制御部１１は、カメラ１５から取得した撮像画像から検出した手の検出結果を取得する。次にステップＳ１２において、制御部１１は、手の形状を判定する。例えば、制御部１１が、手が開いた状態（パーの状態）の形状（第１形状）を判定した場合、処理はステップＳ１３に移行する。一方、制御部１１が、手が閉じた状態（グーの状態）の形状（第２形状）を判定した場合、処理はステップＳ１２１に移行する。

【0070】

ステップＳ１３では、制御部１１は、矩形領域Ａ１の下辺Ｌ１の中心位置（図４参照）を基準点Ｐ１に設定する。ステップＳ１３の後、処理はステップＳ６に移行する。

【0071】

ステップＳ１２１では、制御部１１は、前回算出した第１形状（パーの状態）の位置（図６参照）を基準点Ｐ１に設定する。ステップＳ１２１の後、処理はステップＳ６に移行する。

【0072】

図１７には、前記第２設定方法に対応する基準点設定処理の具体例を示している。具体的には、ステップＳ２１において、制御部１１は、カメラ１５から取得した撮像画像から検出した手の検出結果を取得する。次にステップＳ２２において、制御部１１は、手の形状を判定する。例えば、制御部１１が、手が開いた状態（パーの状態）の形状（第１形状）を判定した場合、処理はステップＳ２３に移行する。一方、制御部１１が、手が閉じた状態（グーの状態）の形状（第２形状）を判定した場合、処理はステップＳ２２１に移行する。

【0073】

ステップＳ２３では、制御部１１は、矩形領域Ａ１の下辺Ｌ１におけるユーザーの手の小指側の端部から１：２の比率の位置（図７参照）を基準点Ｐ１に設定する。ステップＳ２３の後、処理はステップＳ６に移行する。

【0074】

ステップＳ２２１では、制御部１１は、前回算出した第１形状（パーの状態）の位置を基準点Ｐ１に設定する。ステップＳ２２１の後、処理はステップＳ６に移行する。

【0075】

図１８には、前記第３設定方法に対応する基準点設定処理の具体例を示している。具体的には、ステップＳ３１において、制御部１１は、カメラ１５から取得した撮像画像から検出した手の検出結果を取得する。次にステップＳ３２において、制御部１１は、手の形状を判定する。例えば、制御部１１が、手が開いた状態（パーの状態）の形状（第１形状）を判定した場合、処理はステップＳ３３に移行する。一方、制御部１１が、手が閉じた状態（グーの状態）の形状（第２形状）を判定した場合、処理はステップＳ３２１に移行する。

【0076】

ステップＳ３３では、制御部１１は、矩形領域Ａ１に含まれる複数の画素のうちユーザーの手の色を表示する特定画素を特定し、矩形領域Ａ１の上辺から下辺Ｌ１に向かう列方向の画素列ごとの前記特定画素の合計画素数を算出する（図８参照）。次にステップＳ３４において、制御部１１は、下辺Ｌ１のうち前記合計画素数が閾値Ｃｔｈを超える前記画素列を抽出する。次にステップＳ３５において、制御部１１は、抽出した画素列に対応する部分辺の最小位置Ｘｍｉｎ及び最大位置Ｘｍａｘの座標を算出する。次にステップＳ３６において、制御部１１は、最小位置Ｘｍｉｎ及び最大位置Ｘｍａｘの中心位置Ｘｃを基準点Ｐ１に設定する。ステップＳ３６の後、処理はステップＳ６に移行する。

【0077】

ステップＳ３２１では、制御部１１は、前回算出した第１形状（パーの状態）の位置を基準点Ｐ１に設定する。ステップＳ３２１の後、処理はステップＳ６に移行する。

【0078】

ステップＳ６（図１５参照）では、制御部１１は、基準点Ｐ１に対応する入力位置を算出する処理（入力位置算出処理）を実行する。制御部１１は、前記第１算出方法、前記第２算出方法、及び前記第３算出方法のいずれかの方法に対応する入力位置算出処理を実行する。

【0079】

図１９には、前記第１算出方法に対応する入力位置算出処理の具体例を示している。なお、前記第１算出方法では、制御部１１は、ステップＳ４（図１５参照）において、操作領域Ａ１１の枠画像を撮像画像Ｗｐに表示させる（図１２参照）。

【0080】

ステップＳ４１において、制御部１１は、入力可能領域Ｆ１よりも大きい仮想入力可能領域Ｆ２を設定する（図１２参照）。次にステップＳ４２において、制御部１１は、操作領域Ａ１１の基準点Ｐ１を仮想入力可能領域Ｆ２にマッピングする。

【0081】

次にステップＳ４３において、制御部１１は、仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっているか否かを判定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ４３：Ｙｅｓ）、処理はステップＳ４５に移行する。一方、仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ４３：Ｎｏ）、処理はステップＳ４４に移行する。

【0082】

ステップＳ４４では、制御部１１は、入力可能領域Ｆ１内に再マッピングする。その後、処理はステップＳ４５に移行する。

【0083】

ステップＳ４５では、制御部１１は、マッピングした位置を入力位置に決定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ４３：Ｙｅｓ）、制御部１１は、当該位置を入力位置に決定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ４３：Ｎｏ）、制御部１１は、入力可能領域Ｆ１の端部の位置を入力位置に決定する。その後、処理はステップＳ７に移行する。

【0084】

図２０には、前記第２算出方法に対応する入力位置算出処理の具体例を示している。なお、前記第２算出方法では、制御部１１は、ステップＳ４（図１５参照）において、操作領域Ａ１１よりも大きい仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐに表示させる（図１３参照）。

【0085】

ステップＳ５１において、制御部１１は、操作領域Ａ１１の基準点Ｐ１を入力可能領域Ｆ１にマッピングする。

【0086】

次にステップＳ５２において、制御部１１は、入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっているか否かを判定する。入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ５２：Ｙｅｓ）、処理はステップＳ５４に移行する。一方、入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ５２：Ｎｏ）、処理はステップＳ５３に移行する。

【0087】

ステップＳ５３では、制御部１１は、入力可能領域Ｆ１内に再マッピングする。その後、処理はステップＳ５４に移行する。

【0088】

ステップＳ５４では、制御部１１は、マッピングした位置を入力位置に決定する。入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ５２：Ｙｅｓ）、制御部１１は、当該位置を入力位置に決定する。入力可能領域Ｆ１にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ５２：Ｎｏ）、制御部１１は、入力可能領域Ｆ１の端部の位置を入力位置に決定する。その後、処理はステップＳ７に移行する。

【0089】

図２１には、前記第３算出方法に対応する入力位置算出処理の具体例を示している。なお、前記第３算出方法では、制御部１１は、ステップＳ４（図１５参照）において、仮想操作領域Ｂ１の枠画像を撮像画像Ｗｐに表示させる（図１４参照）。

【0090】

ステップＳ６１において、制御部１１は、入力可能領域Ｆ１よりも大きい仮想入力可能領域Ｆ２を設定する（図１４参照）。次にステップＳ６２において、制御部１１は、仮想操作領域Ｂ１の基準点Ｐ１を仮想入力可能領域Ｆ２にマッピングする。

【0091】

次にステップＳ６３において、制御部１１は、仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっているか否かを判定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ６３：Ｙｅｓ）、処理はステップＳ６５に移行する。一方、仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ６３：Ｎｏ）、処理はステップＳ６４に移行する。

【0092】

ステップＳ６４では、制御部１１は、入力可能領域Ｆ１内に再マッピングする。その後、処理はステップＳ６５に移行する。

【0093】

ステップＳ６５では、制御部１１は、マッピングした位置を入力位置に決定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっている場合（Ｓ６３：Ｙｅｓ）、制御部１１は、当該位置を入力位置に決定する。仮想入力可能領域Ｆ２にマッピングした位置が入力可能領域Ｆ１内に収まっていない場合（Ｓ６３：Ｎｏ）、制御部１１は、入力可能領域Ｆ１の端部の位置を入力位置に決定する。その後、処理はステップＳ７に移行する。

【0094】

ステップＳ７（図１５参照）では、制御部１１は、決定した入力位置に基づいて入力処理を実行する。具体的には、制御部１１は、決定した入力位置にマウスカーソルＭ１を表示させる。また、例えば決定した入力位置が「Ｙｅｓ」ボタン上の位置であって、マウスカーソルＭ１が「Ｙｅｓ」ボタン上に位置する状態でユーザーが手を閉じる操作を行うと、制御部１１は、「Ｙｅｓ」ボタン操作を受け付けて所定の処理を実行する。

【0095】

ステップＳ８において、制御部１１は、ユーザーによる入力操作が終了したか否かを判定する。前記入力操作が終了した場合（Ｓ８：Ｙｅｓ）、制御部１１は前記表示制御処理を終了する。前記入力操作が終了しない場合（Ｓ８：Ｎｏ）、制御部１１はステップＳ１に戻る。以上のようにして、制御部１１は、前記表示制御処理を実行する。

【0096】

以上説明したように、本実施形態に係る表示装置１は、ユーザーの手によるジェスチャー操作を検出して表示画面の入力位置に対して入力処理を行う。具体的には、表示装置１は、ユーザーを撮像した撮像画像を取得し、取得した前記撮像画像からユーザーの手を検出し、ユーザーの手の形状を判定する。また、表示装置１は、検出したユーザーの手を囲む特定領域（矩形領域Ａ１）の下辺Ｌ１の所定位置に基準点Ｐ１を設定し、検出したユーザーの手の形状が所定の形状である場合に、設定した基準点Ｐ１を入力位置として入力処理を実行する。

【0097】

この構成によれば、手の形状（ジェスチャー操作）の変化（例えばパーの状態からグーの状態への変化）に関わらず、入力位置に対応する基準点Ｐ１を固定することができる。このため、ユーザーのジェスチャー操作の変化によって入力位置がユーザーの意図しない方向に変化することを防止することが可能となる。

【0098】

また、本実施形態に係る表示装置１は、ユーザーを撮像した撮像画像を取得し、取得した前記撮像画像からユーザーの手を検出し、検出したユーザーの手を含む領域であって、表示画面１３Ａ内のジェスチャー操作により入力可能な入力可能領域Ｆ１に対応するジェスチャー操作の操作領域Ａ１１を設定する。また表示装置１は、表示画面１３Ａにおいて、取得した撮像画像Ｗｐを表示させるとともに、設定した操作領域Ａ１１に対応する操作領域画像（枠画像）を撮像画像Ｗｐに重ねて表示させる。例えば、表示装置１は、操作領域Ａ１１の枠画像（図１２参照）、又は、仮想操作領域Ｂ１（図１３、図１４参照）を撮像画像Ｗｐに表示させる。

【0099】

この構成によれば、ユーザーは、撮像画像Ｗｐに表示される前記枠画像を確認することにより、自身の手を動かす範囲と、ユーザーの手の動きに応じて表示画面１３Ａ上で移動するマウスカーソルＭ１の表示画面１３Ａ内で移動可能な範囲との対応関係を把握し易くなる。よって、表示装置１の操作性を向上させることが可能となる。

【0100】

本発明は、上述した実施形態に示すように、前記第１～第３設定方法のいずれかを実行する処理と、前記第１～第３算出方法のいずれかを実行する処理とを備えた表示装置である。但し、本発明は上述の実施形態に限定されず、少なくとも前記第１～第３設定方法のいずれかを実行する処理を備えた表示装置であってもよい。また、本発明は、少なくとも前記第１～第３算出方法のいずれかを実行する処理を備えた表示装置であってもよい。

【0101】

なお、本発明の表示装置は、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。

【符号の説明】

【0102】

１ ：表示装置
１１ ：制御部
１２ ：記憶部
１３ ：表示パネル
１３Ａ ：表示画面
１４ ：操作部
１５ ：カメラ
１１１ ：表示処理部
１１２ ：取得処理部
１１３ ：検出処理部
１１４ ：判定処理部
１１５ ：基準点設定処理部
１１６ ：操作領域設定処理部
１１７ ：仮想入力可能領域設定処理部
１１８ ：入力処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】