特開 2024-138675 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024138675

(43)【公開日】2024-10-09

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06F 3/04847 20220101AFI20241002BHJP

   G06F 3/0346 20130101ALI20241002BHJP

【ＦＩ】

G06F3/04847

G06F3/0346 422

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023049271

(22)【出願日】2023-03-27

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】平井 敦士

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA09

5B087AD04

5B087CC01

5B087CC33

5B087DD03

5E555AA06

5E555AA23

5E555AA24

5E555AA25

5E555BA01

5E555BA19

5E555BA87

5E555BB01

5E555BB19

5E555BC17

5E555CA42

5E555CB07

5E555CB08

5E555CB40

5E555CB47

5E555CC05

5E555DA01

5E555DB22

5E555DB57

5E555DC05

5E555DC11

5E555DC13

5E555DC84

5E555DD06

5E555DD07

5E555EA07

5E555EA09

5E555EA14

5E555EA22

5E555FA00

(57)【要約】

【課題】ユーザにとって操作しやすい仮想操作領域を設定する。
【解決手段】本開示の一態様に係る情報処理装置では、画像取得部、設定部、検出部、操作部及び変更部を備える。画像取得部は、操作者となるユーザを撮像した画像を撮像部から取得する。設定部は、前記撮像部の撮像範囲内に、機器への操作を受け付ける仮想操作領域を設定する。検出部は、前記画像に基づいてユーザの手を検出する。操作部は、前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記機器を操作する。変更部は、前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する。
【選択図】図２

【特許請求の範囲】

【請求項1】

操作者となるユーザを撮像した画像を撮像部から取得する画像取得部と、
前記撮像部の撮像範囲内に、機器への操作を受け付ける仮想操作領域を設定する設定部と、
前記画像に基づいてユーザの手を検出する検出部と、
前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記機器を操作する操作部と、
前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する変更部と、
を備える情報処理装置。

【請求項2】

前記検出部は、前記ユーザの手を一方向に移動させるスワイプ操作を検出し、
前記変更部は、前記スワイプ操作により前記ユーザの手が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する、
請求項１に記載の情報処理装置。

【請求項3】

前記仮想操作領域は、前記操作が行われる方向の一端を示す操作最小位置と、他端を示す操作最大位置とで規定され、
前記変更部は、前記仮想操作領域の大きさを維持したまま、前記ユーザの手の位置に追従して、当該手の移動方向に対応する前記操作最小位置又は前記操作最大位置を変更する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記変更部は、前記スワイプ操作に対応するシーク操作において検出された前記手に基づいて、前記仮想操作領域を変更する、
請求項２に記載の情報処理装置。

【請求項5】

複数の機器が隣接して配置される場合、
前記変更部は、前記シーク操作において、前記複数の機器のうち、前記ユーザが最初に操作した機器の操作を優先して、前記仮想操作領域を変更する、
請求項４に記載の情報処理装置。

【請求項6】

前記操作最小位置及び前記操作最大位置は、絶対座標、あるいは、前記機器を基準とする相対座標のうち、少なくとも１つから設定される、
請求項３に記載の情報処理装置。

【請求項7】

前記仮想操作領域は、２次元又は３次元の領域である、
請求項３に記載の情報処理装置。

【請求項8】

前記検出部は、前記ユーザの指先の操作方向を検出し、
前記変更部は、前記操作方向が前記機器に向いており、かつ、前記指先が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、前記仮想操作領域を変更する、
請求項１に記載の情報処理装置。

【請求項9】

前記変更部は、前記仮想操作領域を変更後、前記手の動きに対応するリリース操作に基づいて、前記仮想操作領域を変更前に戻す、
請求項１に記載の情報処理装置。

【請求項10】

前記設定部は、前記撮像部の撮像範囲内に、仮想操作領域を包含する操作検出可能領域を設定し、
前記変更部は、前記操作検出可能領域内で、前記仮想操作領域の位置を変更する、
請求項１に記載の情報処理装置。

【請求項11】

前記設定部は、前記機器と、前記ユーザと、の位置関係に基づいて、前記仮想操作領域を設定し、
前記仮想操作領域は、前記ユーザに近いほど小さくなる、
請求項１に記載の情報処理装置。

【請求項12】

撮像部と、情報処理装置と、表示部とを備える情報処理システムであって、
前記撮像部は、操作者となるユーザを撮像し、
前記情報処理システムは、
前記撮像部が撮像した画像を取得する画像取得部と、
前記撮像部の撮像範囲内に、前記表示部への操作を受け付ける仮想操作領域を設定する設定部と、
前記画像に基づいて前記ユーザの手を検出する検出部と、
前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記表示部を操作する操作部と、
前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する変更部と、
を備える情報処理システム。

【請求項13】

情報処理装置で実行する情報処理方法であって、
操作者となるユーザを撮像した画像を撮像部から取得する画像取得ステップと、
前記撮像部の撮像範囲内に、機器への操作を受け付ける仮想操作領域を設定する設定ステップと、
前記画像に基づいてユーザの手を検出する検出ステップと、
前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記機器を操作する操作ステップと、
前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する変更ステップと、
を含む情報処理方法。

【請求項14】

コンピュータに、
操作者となるユーザを撮像した画像を撮像部から取得する画像取得ステップと、
前記撮像部の撮像範囲内に、機器への操作を受け付ける仮想操作領域を設定する設定ステップと、
前記画像に基づいてユーザの手を検出する検出ステップと、
前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記機器を操作する操作ステップと、
前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する変更ステップと、
を実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、様々な機器において、ユーザの手の動きを検出し、検出した手の動きに応じて動作制御するものがある（例えば、特許文献１参照）。例えば、操作機器等の操作対象について、ユーザが操作機器に直接触れることなく、ユーザの手の動きに応じて操作機器で表示している内容を変更するものが存在している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－２７２１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような技術において、ユーザの選択操作等を特定するため、手の動きを検出可能な領域を設定することが考えられる。手の動きを検出可能な領域を、以下、仮想操作領域ともいう。このような仮想操作領域は、例えば、操作機器の正面側の空間に所定の大きさの仮想操作領域を設定することで、ユーザは仮想操作領域内のみ操作機器を操作することが可能となり、操作可能領域外では操作機器を操作することが不可となる。そのため、ユーザにとって操作しやすいように仮想操作領域を設定されることが望まれる。

【0005】

本開示は、ユーザにとって操作しやすい仮想操作領域を設定することができる情報処理装置を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る情報処理装置では、画像取得部、設定部、検出部、操作部及び変更部を備える。画像取得部は、操作者となるユーザを撮像した画像を撮像部から取得する。設定部は、前記撮像部の撮像範囲内に、機器への操作を受け付ける仮想操作領域を設定する。検出部は、前記画像に基づいてユーザの手を検出する。操作部は、前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記機器を操作する。変更部は、前記ユーザの手の位置が前記仮想操作領域を超えた場合、当該手の位置に追従して前記仮想操作領域の位置を変更する。

【発明の効果】

【0007】

本開示に係る情報処理装置によれば、ユーザにとって操作しやすい仮想操作領域を設定することができることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、情報処理装置の一例を示す模式図である。

【図2】図２は、第１の実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。

【図3】図３は、第１の実施形態に係る仮想操作領域の一例を説明するための図である。

【図4】図４は、第１の実施形態に係る仮想操作領域の一例を説明するための図である。

【図5】図５は、第１の実施形態に係る仮想操作領域の一例を説明するための図である。

【図6】図６は、第１実施形態に係る制御装置１の処理手順を示すフローチャートである。

【図7】図７は、変形例１に係る仮想操作領域の一例を説明するための図である。

【図8】図８は、変形例２に係る仮想操作領域の一例を説明するための図である。

【図9】図９は、変形例２に係る仮想操作領域の一例を説明するための図である。

【図10】図１０は、変形例２に係る仮想操作領域の一例を説明するための図である。

【図11】図１１は、変形例３に係る仮想操作領域の一例を説明するための図である。

【図12】図１２は、変形例３に係る仮想操作領域の一例を説明するための図である。

【図13】図１３は、変形例３に係る仮想操作領域の一例を説明するための図である。

【図14】図１４は、変形例３に係る仮想操作領域の一例を説明するための図である。

【図15】図１５は、変形例４に係る仮想操作領域の一例を説明するための図である。

【図16】図１６は、変形例４に係る仮想操作領域の一例を説明するための図である。

【図17】図１７は、変形例５に係る仮想操作領域の一例を説明するための図である。

【図18】図１８は、変形例６に係る仮想操作領域の一例を説明するための図である。

【図19】図１９は、変形例６に係る仮想操作領域の一例を説明するための図である。

【図20】図２０は、変形例７に係る仮想操作領域の一例を説明するための図である。

【図21】図２１は、変形例８に係る仮想操作領域の一例を説明するための図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本開示に係る情報処理装置の実施形態について説明する。

【0010】

（第１の実施形態）
第１の実施形態に係る情報処理装置について説明する前に、ユーザの手の動きに基づいて動作する装置について説明する。

【0011】

図１に、ユーザの手の動きに基づいて動作する情報処理装置の例を示す。情報処理装置は、センサ５００及び操作機器６００を有する。センサ５００は、例えば、カメラである。センサ５００は、操作者となるユーザＵＲを撮像する。ユーザＵＲは、腕を有する。ここで、腕は、上腕、前腕だけでなく手も含む。手は、指先７２も含む。操作機器６００は、例えば表示装置である。情報処理装置は、ユーザＵＲの指先７２の位置に基づいて、操作機器６００が表示するデータを制御する。

【0012】

また、情報処理装置には、機器（例えば、操作機器６００）への操作を受け付けるための仮想操作領域ＡＲ１００と、ユーザＵＲの指先７２の動きを検出可能な領域である検出有効領域ＡＲ２００とが設定されている。検出有効領域ＡＲ２００は、センサ５００のセンシング範囲内に設定され、例えば、操作機器６００の表示面の前方に設定される。センサ５００がカメラである場合、センシング範囲のことを、撮像範囲と呼ぶことがある。仮想操作領域ＡＲ１００は、検出有効領域ＡＲ２００に包含され、例えば図１に示すように、操作機器６００の表示面と平行な平面として設定される。

【0013】

図１の構成において、指先７２が仮想操作領域ＡＲ１００よりも操作機器６００に近い範囲に入ると、情報処理装置は、操作機器６００に対する操作指示がなされたと判断して、当該操作指示に基づく処理を実行し、実行結果を操作機器６００へ表示する。

【0014】

なお、図１及び以下に説明する操作機器６００に係る図面において、互いに直交するＸ軸、Ｙ軸、Ｚ軸は、それぞれ、操作機器６００の左右方向、上下方向、前後方向を意味する。また、以下の説明において、単に、Ｘ方向、Ｙ方向又はＺ方向と記載した場合には、それぞれの軸方向を意味し、逆向きの２方向を含むものとする。

【0015】

また、Ｘ軸の正の方向と特定した場合には左側から右側への一方向であり、Ｙ軸の正の方向と特定した場合には下側から上側への一方向であり、Ｚ軸の正の方向と特定した場合には前側から後ろ側への一方向である。Ｘ軸の負の方向と特定した場合には右側から左側への一方向であり、Ｙ軸の負の方向と特定した場合には上側から下側への一方向であり、Ｚ軸の負の方向と特定した場合には後ろ側から前側への一方向である。

【0016】

図２は、第１の実施形態に係る情報処理装置である制御装置１を含む情報システムの概要構成を示す図である。第１の実施形態に係る情報処理装置は、センサ５００、操作機器６００及び制御装置１を備える。

【0017】

センサ５００は、例えば、カメラ装置である。センサ５００は、一例として、可視光カメラである。センサ５００は、ユーザＵＲを撮像した画像を制御装置１へ出力する。センサ５０は、撮像部の一例である。センサ５００は、継続して撮像処理を実行して、画像を制御装置１へ出力する。操作機器６００は、各種データを表示する表示部である。操作機器６００は、機器の一例である。操作機器６００は、例えば、液晶ディスプレイ等の表示装置である。なお、操作機器６００は、１台であるとする。

【0018】

制御装置１は、センサ５００を介して検出したユーザＵＲの指先７２の動きに応じて、操作機器６００に表示しているデータの処理を実行する。

【0019】

制御装置１は、制御部１０及び記憶部３０を備える。制御部１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として構成され、制御装置１の各部の動作を統括的に制御する。本実施形態に係る制御装置１は、図示しないＲＯＭ、ＲＡＭを有する。ＲＯＭは、各種プログラムを記憶する。ＲＡＭは、ＣＰＵによってプログラムを実行する際の作業領域である。

【0020】

ＣＰＵは、ＲＡＭを作業領域として用いて、ＲＯＭに記憶されるプログラムを実行することにより、図２に示すように、画像取得部１１、検出部１２、座標演算部１３、設定部１４、判定部１５、変更部１６、操作部１７及び表示出力部１８を実現する。このことを、制御装置１が、画像取得部１１、検出部１２、座標演算部１３、設定部１４、判定部１５、変更部１６、操作部１７及び表示出力部１８を備える、と言い換えてもよい。画像取得部１１、検出部１２、座標演算部１３、設定部１４、判定部１５、変更部１６、操作部１７及び表示出力部１８が、異なるハードウェアによって実現されてもよい。

【0021】

記憶部３０は、各種情報を記憶する。記憶部３０は、メモリ又はストレージのような、情報（言い換えるとデータ）を記憶するためのハードウェアにより実現される。具体的に、記憶部３０は、座標情報３１、検出有効領域情報３２、移動量情報３３、仮想操作領域情報３４及び機器操作量情報３５を記憶する。

【0022】

座標情報３１は、センサ５００の設置位置の３Ｄ座標、センサ５００の取付角度の情報、操作機器６００の位置の３Ｄ座標等である。検出有効領域情報３２は、検出有効領域の設定に係る座標情報である。検出有効領域は、上述した検出有効領域ＡＲ２００に対応するものであり、ユーザＵＲの指先７２の位置や動きを検出することが可能な領域である。検出有効領域は、後述する最小検出有効位置と最大検出有効位置とを規定するための情報を含む。

【0023】

移動量情報３３は、ユーザＵＲの指先７２が移動した移動量を示す情報である。仮想操作領域情報３４は、仮想操作領域の設定に係る座標情報である。仮想操作領域は、上述した仮想操作領域ＡＲ１００対応するものであり、ユーザＵＲの指先７２による操作を受け付けるための領域である。仮想操作領域は、後述する操作が行われる方向の一端を示す操作最小位置と他端を示す操作最大位置とを規定するための情報を含む。

【0024】

機器操作量情報３５は、ユーザＵＲの指先７２が移動した移動量に対応する操作機器６００の操作を示す情報である。操作機器６００の操作とは、例えば、操作機器６００におけるスライド操作である。以下、スライド操作のことをスワイプ操作とも呼ぶ。機器操作量情報３５は、例えば、操作機器６００がディスプレイである場合、ディスプレイに表示された動画を検出した指先７２がシーク操作し、それに対応する移動量を含む情報である。

【0025】

ここで、座標情報３１、検出有効領域情報３２、移動量情報３３、仮想操作領域情報３４及び機器操作量情報３５における座標系は、絶対座標である。なお、座標系は絶対座標に限定されない。例えば、座標系は、操作機器６００を基準とする、相対座標でも良い。言い換えると、座標系は、ユーザＵＲと、操作機器６００との位置関係に基づく、相対座標でも良い。

【0026】

画像取得部１１は、操作者となるユーザＵＲを撮像した画像をセンサ５００から取得する。検出部１２は、ユーザＵＲが撮像されている画像に基づいて、ユーザＵＲの手を検出する。例えば、検出部１２は、ユーザの手を一方向に移動させるスワイプ操作を検出する。

【0027】

座標演算部１３は、ユーザＵＲの指先７２の３次元座標を算出する。設定部１４は、センサ５００の撮像範囲内に、操作機器６００への操作を受け付ける仮想操作領域を設定する。

【0028】

判定部１５は、座標演算部１３により算出された３次元座標が仮想操作領域内に含まれるかを判定する。また、判定部１５は、ユーザＵＲによるシーク操作が継続しているかを判定する。さらに、判定部１５は、３次元座標が仮想操作領域外である場合、３次元座標が操作最大位置を上回るかを判定する。

【0029】

変更部１６は、ユーザの手の位置が仮想操作領域の内部から仮想操作領域の外部に移動した場合、当該手の位置に追従して仮想操作領域の位置を変更する。例えば、変更部１６は、スワイプ操作によりユーザＵＲの手が仮想操作領域の内部から仮想操作領域の外部に移動した場合、当該手の位置に追従して仮想操作領域の位置を変更する。また、例えば、変更部１６は、仮想操作領域の大きさを維持したまま、ユーザの手の位置に追従して、当該手の移動方向に対応する操作最小位置又は操作最大位置を変更する。

【0030】

さらに、例えば、変更部１６は、スワイプ操作や当該スワイプ操作に対応するシーク操作で検出される手の位置に応じて、仮想操作領域の設定位置を変更する。例えば、変更部１６は、仮想操作領域における操作最大位置を、シーク操作を行う指先７２の位置に追従して変更する。また、例えば、変更部１６は、仮想操作領域における操作最小位置を、シーク操作を行う指先７２の位置に追従して変更する。

【0031】

操作部１７は、ユーザＵＲの手が仮想操作領域で検出された場合、当該手の移動方向に応じて操作機器６００を操作する。具体的には、操作部１７は、ユーザＵＲの指先７２が移動した移動量を示す移動量情報３３と、仮想操作領域情報３４と、の位置関係を紐づけ、紐づけた結果から機器操作量情報３５を参照し、操作機器６００を操作する。

【0032】

例えば、操作部１７は、ユーザＵＲによるシーク操作が行われた場合、シーク操作における移動量と、仮想操作領域における指先７２の位置と、の位置関係を紐づけ、紐づけた結果から機器操作量情報３５を参照し、操作機器６００を操作する。表示出力部１８は、処理内容を実行した結果を操作機器６００へ表示させる。

【0033】

ここで、図３から図５を用いて、変更部１６が仮想操作領域を変更する動作例について説明する。図３から図５は、仮想操作領域の変更動作を説明するための図である。図３から図５では、操作機器６００の表示面に表示された映像に対する操作を行う場合を想定している。ここで６００は操作機器６００の表示面に映像が表示される例を説明するが、操作機器６００の表示面に画像が表示されてもよい。

【0034】

ここで、最小検出有効位置３１１は、検出有効領域の水平方向の一端に対応する位置である。図３に示される例において、最小検出有効位置３１１は、検出有効領域の水平方向の左端に対応する位置である。最大検出有効位置３１２は、検出有効領域の水平方向の他端に対応する位置である。図３に示される例において、最大検出有効位置３１２は、検出有効領域の水平方向の右端に対応する位置である。

【0035】

また、操作最小位置３３１は、仮想操作領域の水平方向の一端に対応する位置である。図３に示される例において、操作最小位置３３１は、仮想操作領域の水平方向の左端に対応する位置である。操作最大位置３３２は、仮想操作領域の水平方向の他端に対応する位置である。図３に示される例において、操作最大位置３３２は、仮想操作領域の水平方向の右端に対応する位置である。

【0036】

なお、図３に示す、操作最小位置３３１及び操作最大位置３３２は、初期状態の仮想操作領域における操作最小位置３３１及び操作最大位置３３２であるとする。

【0037】

図３において、例えば表示面に表示された映像を先に進めるため、指先７２により左方から右方にかけてスワイプ操作が行われたとする。図３に示される例において、スワイプ操作は映像に対するシーク操作に対応する。ここで、ユーザＵＲの指先７２の位置３２０が、操作最大位置３３２よりも右側に移動すると（図４参照）、判定部１５は、シーク操作が継続している状態で、指先７２が操作最大位置を超過したと判定する。

【0038】

この場合、変更部１６は、指先７２の移動に追従して、仮想操作領域の設定位置を変更する。具体的には、変更部１６は、指先７２が移動により仮想操作領域の操作最大位置３３２よりも右側に位置する場合、その指先７２の位置に追従して操作最大位置３３２を移動させることで、仮想操作領域の設定位置を変更する。

【0039】

図５は、仮想操作領域の設定位置を変更した後の状態を示す図である。図５に示すように、変更部１６は、仮想操作領域の大きさを維持したまま、指先７２に追従して仮想操作領域の設定位置を変更する。仮想操作領域が変更されたことで、ユーザＵＲは、操作機器６００を操作することができる。例えば、ユーザＵＲは、操作機器６００をシーク操作することができる。

【0040】

なお、指先７２が移動により仮想操作領域の操作最小位置３３１よりも左側に移動した場合は、変更部１６は、指先７２の位置に追従して操作最小位置３３１を移動させることで、仮想操作領域の設定位置を変更する。つまり、変更部１６は、シーク操作等の一方向への連続操作が行われた場合、指先７２の位置に追従して仮想操作領域を移動させる。

【0041】

続いて、図６を用いて、第１実施形態に係る制御装置１の処理手順を説明する。図６は、第１実施形態に係る制御装置１の処理手順を示すフローチャートである。なお、制御装置１は、事前に仮想操作領域を設定しているものとし、本処理は、シーク動作に関する制御処理の流れについて説明する。

【0042】

まず、画像取得部１１は、センサ５００からユーザＵＲを撮像した画像を取得する（ステップＳ６１）。続いて、検出部１２は、画像取得部１１が取得した画像に基づいて、ユーザＵＲの指先７２を検出する（ステップＳ６２）。続いて、座標演算部１３は、ユーザＵＲの指先７２の３次元座標を算出する（ステップＳ６３）。

【0043】

続いて、判定部１５は、座標演算部１３により算出された３次元座標が仮想操作領域内に含まれるかを判定する（ステップＳ６４）。ここで、判定部１５が、３次元座標が仮想操作領域外であると判定すると（ステップＳ６４：Ｎｏ）、制御装置１の処理は、ステップＳ６１へ進む。他方で、判定部１５が、３次元座標が仮想操作領域内に含まれると判定する（ステップＳ６４：Ｙｅｓ）と、制御装置１の処理は、ステップＳ６５に進む。

【0044】

ステップＳ６５において、操作部１７は、ユーザＵＲの指先７２と、仮想操作領域と、の位置関係に基づいて、操作機器６００の操作を受け付ける（ステップＳ６５）。なお、本処理では、操作部１７は、シーク位置を変更するシーク操作を受け付けたものとする。

【0045】

続いて、判定部１５は、ユーザＵＲによるシーク操作が継続しているかを判定する（ステップＳ６６）。ここで、判定部１５が、シーク操作が継続していないと判定した場合（ステップＳ６６：Ｎｏ）、制御装置１の処理は、ステップＳ６１に進む。他方で、判定部１５が、シーク操作が継続していると判定した場合（ステップＳ６６：Ｙｅｓ）、制御装置１の処理は、ステップＳ６７に進む。

【0046】

ステップＳ６７において、判定部１５は、座標演算部１３により変換された３次元座標の位置、つまりシーク操作を行う指先７２の位置が仮想操作領域内に含まれるかを判定する（ステップＳ６７）。ここで、判定部１５が、３次元座標が仮想操作領域内に含まれると判定する（ステップＳ６７：Ｙｅｓ）と、制御装置１の処理は、ステップＳ６５に進む。他方、判定部１５が、３次元座標が仮想操作領域外であると判定した場合（ステップＳ６７：Ｎｏ）、制御装置１の処理は、ステップＳ６８へ進む。

【0047】

ステップＳ６８において、判定部１５は、３次元座標が操作最大位置を上回るかを判定する（ステップＳ６８）。ここで、判定部１５が、３次元座標が操作最大位置を上回ると判定する（ステップＳ６８：Ｙｅｓ）と、制御装置１の処理は、ステップＳ６９へ進む。他方で、判定部１５が、３次元座標が操作最大位置を下回ると判定する（ステップＳ６８：Ｎｏ）と、制御装置１の処理は、ステップＳ７０へ進む。

【0048】

ステップＳ６９において、変更部１６は、仮想操作領域における操作最大位置を、シーク操作に対応する指先７２の位置に変更する（ステップＳ６９）。ステップＳ７０において、変更部１６は、仮想操作領域における操作最小位置を、シーク操作に対応する指先７２の位置に変更する（ステップＳ７０）。ステップＳ６９あるいはステップＳ７０の処理が終了すると、ステップＳ６１へ進み、本処理は、制御装置１が実行される間、継続して処理が行われる。

【0049】

以上説明したように、本開示の一態様に係る制御装置１は、操作者となるユーザＵＲを撮像した画像に基づいて、ユーザＵＲの手を検出する。また、制御装置１は、センサ５００の撮像範囲内に、操作機器６００への操作を受け付ける仮想操作領域を設定する。さらに、制御装置１は、ユーザの手が仮想操作領域で検出された場合、当該手の移動方向に応じて操作機器６００を操作し、ユーザの手の位置が仮想操作領域の内部から仮想操作領域の外部に移動した場合、当該手の位置に追従して仮想操作領域の位置を変更する。

【0050】

これにより、制御装置１は、例えば、ユーザＵＲの指先７２が仮想操作領域の内部から仮想操作領域の外部に移動した場合でも、指先７２に追従して仮想操作領域の位置を変更することで、ユーザＵＲは、初期の仮想操作領域に戻ることなく、継続した操作をすることができる。また、シーク動作の場合、動画の最終フレームから戻したい場合に、初期の仮想操作領域に戻ることなく、継続した操作をすることができる。

【0051】

なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。

【0052】

上述した実施形態では、操作機器６００が１台である形態について説明した。変形例１では、操作機器６００が複数存在する形態について説明する。

【0053】

（変形例１）
例えば、操作機器６００が複数存在する場合、それぞれの操作機器６００に対して、ユーザＵＲの指先７２を検出する必要がある。しかしながら、シーク操作は連続的な操作であるため、ユーザＵＲの指先７２がどのような状態であるかを検出する必要がある。そこで、変形例１に係る制御装置１は、シーク操作において、複数の機器のうち、ユーザＵＲが最初に操作した機器の操作を優先して、仮想操作領域を変更する。

【0054】

ここで、図７を用いて、変形例１に係る変更部１６が仮想操作領域を変更する動作例について説明する。図７は、仮想操作領域の変更動作を説明するための図である。

【0055】

図７には、複数の操作機器６００と、ユーザＵＲの指先７２の位置３２０と、操作機器６０１の仮想操作領域に含まれる、操作最小位置３３１と、操作最大位置３３２と、を示す。図７では、複数の操作機器６００として、操作機器６０１と操作機器６０２とが例示される。操作機器６０１及び操作機器６０２は、隣接した状態である。図７は、指先７２が、操作機器６０１のシーク操作をしている状態を示す。

【0056】

図７において、例えば、表示面に表示された映像を先に進めるため、指先７２により左方から右方にかけてスワイプ操作が行われたとする。ここで、スワイプ操作は映像のシーク操作に対応する。指先７２は、操作機器６０１の仮想操作領域外に存在し、隣接する操作機器６０２の仮想操作領域内に存在する。具体的には、指先７２は、操作最大位置３３２よりも右側に存在する。図７において、ユーザＵＲは、操作機器６０１のシーク操作をしている。つまり、操作機器６０２の仮想操作領域内に指先７２が存在しているが、ユーザＵＲは操作機器６０２をシーク操作している状態ではない。

【0057】

そこで、ユーザＵＲの指先７２の位置３２０が、操作最大位置３３２よりも右側に移動すると（図７参照）、判定部１５は、シーク操作が継続している状態で、操作最大位置を超過したと判定する。そして、変更部１６は、シーク操作において、複数の操作機器６００のうち、ユーザＵＲが最初に操作した操作機器６０１の操作を優先して、仮想操作領域を変更する。

【0058】

具体的には、判定部１５が、シーク操作が継続し、シーク操作に対応する指先７２の位置が最初に操作した操作機器６０１の仮想操作領域外であると判定されると、変更部１６は、ユーザＵＲが最初に操作した操作機器６０１の操作を優先して、仮想操作領域を変更する。

【0059】

これにより、制御装置１は、例えば、複数の操作機器６００が存在する場合でも、最初に操作した操作機器６００の操作について継続した操作をすることができる。

【0060】

（変形例２）
上述した実施形態では、操作機器６００におけるシーク操作について説明した。但し、操作内容はシーク操作に限るものではない。そこで、変形例２では、操作機器６００の表示面における輝度調整操作における仮想操作領域を変更する内容について、図８、図９及び図１０を用いて説明する。

【0061】

図８から図１０は、仮想操作領域を説明するための図である。図８から図１０には、操作機器６００と、ユーザＵＲの指先７２の位置３２０と、仮想操作領域に含まれる、操作最小位置３３１と、操作最大位置３３２と、を示す。本変形例において、指先７２が操作最小位置３３１に位置するとき、操作機器６００の表示面の輝度が最小となり、指先７２が操作最大位置３３２に位置するとき、操作機器６００の表示面の輝度が最大となる。

【0062】

図８から図１０において、指先７２は、Ｘ軸上において、スワイプ操作を行っている状態を示す。例えば、図８から図１０において、スワイプ操作は、輝度調整操作に対応する。図８は、初期状態の仮想操作領域を示す。図９は、ユーザＵＲの指先７２を検出後、指先７２が仮想操作領域の内部から仮想操作領域の外部に移動した状態の仮想操作領域を示す。図１０は、変更後の仮想操作領域を示す。

【0063】

図８において、指先７２は、仮想操作領域内に存在する。図９において、指先７２は、仮想操作領域外に存在する。図９の場合、ユーザＵＲは、仮想操作領域外に指先７２が存在するため、操作機器６００を輝度調整操作することができない。そこで、変更部１６は、指先７２が仮想操作領域の内部から仮想操作領域の外部に移動した場合、仮想操作領域を変更する。

【0064】

図１０は、変更部１６が仮想操作領域を変更した状態であり、具体的には、変更部１６は、仮想操作領域に含む、操作最大位置３３２を変更した状態である。仮想操作領域が変更されたことで、ユーザＵＲは、操作機器６００を輝度調整操作することができる。

【0065】

（変形例３）
上述した実施形態では、指先７２による一方向の操作として、水平方向のシーク操作等について説明した。しかしながら、指先７２による操作方向は水平方向に限るものではなく、垂直方向（言い換えると、上下方向）であってもよい。

【0066】

そこで、変形例３では、上下方向の操作例として、操作機器６００における画角調整操作における仮想操作領域を変更する動作例について、図１１、図１２、図１３及び図１４を用いて説明する。図１１から図１４は、仮想操作領域の変更動作を説明するための図である。図１１から図１４では、操作機器６００の表示面に表示された画角調整に対する操作を行う場合を想定している。なお、画角とは、例えば、操作機器６００の上下方向の位置や角度である。

【0067】

ここで、操作最小位置３３３は、仮想操作領域の垂直方向の一端に対応する位置である。図１１に示される例において、操作最小位置３３３は、仮想操作領域の垂直方向の下端に対応する位置である。操作最大位置３３４は、仮想操作領域の垂直方向の他端に対応する位置である。図１１に示される例において、操作最大位置３３４は、仮想操作領域の垂直方向の上端に対応する位置である。なお、図１１に示す、操作最小位置３３３及び操作最大位置３３４は、初期状態の仮想操作領域における操作最小位置３３３及び操作最大位置３３４であるとする。

【0068】

図１１において、例えば表示面に表示された画角を下げるため、指先７２により上方から下方にかけてスワイプ操作が行われたとする。ここで、スワイプ操作はここで、ユーザＵＲの指先７２の位置３２０が、操作最小位置３３３よりも下側に移動すると（図１２参照）、判定部１５は、シーク操作が継続している状態で、操作最小位置を超過したと判定する。

【0069】

この場合、変更部１６は、指先７２の移動に追従して、仮想操作領域の設定位置を変更する。具体的には、変更部１６は、指先７２が移動により仮想操作領域の操作最小位置３３３よりも下側に位置する場合、その指先７２の位置に追従して操作最小位置３３３を移動させることで、仮想操作領域の設定位置を変更する。

【0070】

図１３及び図１４は、仮想操作領域の設定位置を変更した後の状態を示す図である。図１３及び図１４に示すように、変更部１６は、仮想操作領域の大きさを維持したまま、指先７２に追従して仮想操作領域の設定位置を変更する。仮想操作領域が変更されたことで、ユーザＵＲは、操作機器６００を操作することができる。つまり、ユーザＵＲは、操作機器６００をシーク操作することができる。

【0071】

図１３の指先７２の位置と図１４の指先７２の位置を比較すると、図１４の指先７２の位置が、Ｙ軸の正の方向に位置する。その結果、図１４における操作機器６００の画角は、図１３における操作機器６００の画角より高い位置となる。

【0072】

なお、指先７２が移動により仮想操作領域の操作最大位置３３４よりも上側に位置する場合は、変更部１６は、指先７２の位置に追従して操作最大位置３３４を移動させることで、仮想操作領域の設定位置を変更する。つまり、変更部１６は、シーク操作等の一方向への連続操作が行われた場合、指先７２の位置に追従して仮想操作領域を移動させる。これにより、仮想操作領域が変更されたことで、ユーザＵＲは、操作機器６００を画角調整操作することができる。

【0073】

（変形例４）
上述した実施形態では、仮想操作領域を平面状の領域とした例を説明した。しかしながら、仮想操作領域は平面（つまり２次元の領域）に限るものではなく、奥行きを持つ３次元の領域としてもよい。そこで、変形例４に係る制御装置１では、仮想操作領域を３次元領域とした場合の動作例について、図１５及び図１６を用いて説明する。図１５及び図１６は、仮想操作領域を説明するための図である。

【0074】

図１５及び図１６には、操作機器６００と、ユーザＵＲの指先７２の位置３２０と、仮想操作領域３３７と、仮想操作領域３３７に含まれる、Ｘ軸上における、操作最小位置３３１と、操作最大位置３３２と、を示す。

【0075】

変形例４に係る仮想操作領域３３７は、操作機器６００の表示面と平行な平面とともに、奥行き方向に広がりを有する３次元の領域（以下、３次元領域と呼ぶ）である。仮想操作領域３３７は、例えば、直方体状の３次元領域として設定される。仮想操作領域３３７は、例えば、操作最小位置３３１と、操作最大位置３３２と、Ｙ軸方向の操作最小位置と、Ｙ軸方向の操作最大位置と、Ｚ軸方向の操作最小位置と、Ｚ軸方向の操作最大位置と、を含む。Ｙ軸方向の操作最小位置と、Ｙ軸方向の操作最大位置と、Ｚ軸方向の操作最小位置と、Ｚ軸方向の操作最大位置とは、例えばユーザが任意に設定可能である。図１５及び図１６において、指先７２は、Ｘ軸上において、スワイプ操作を行っている状態を示す。

【0076】

図１５において、指先７２は、仮想操作領域３３７内に存在する。図１６において、仮想操作領域３３７外に存在する。この状態は、ユーザＵＲは、操作機器６００を操作していないと考えられる。

【0077】

そこで、設定部１４は、所定の閾値から形成される３次元領域を仮想操作領域３３７として設定し、判定部１５は、座標演算部１３により変換された３次元座標が仮想操作領域３３７内に存在するかを判定する。そして、変更部１６は、判定部１５により、３次元座標が仮想操作領域３３７外に存在すると判定されると、仮想操作領域３３７を変更しない。

【0078】

これにより、制御装置１は、ユーザＵＲの意図しない操作による仮想操作領域３３７の変更を抑制することができる。ユーザＵＲの意図しない操作とは、例えば、ユーザＵＲが操作をする意思はないにもかかわらず、ユーザＵＲの指先７２が仮想操作領域３３７に入ってしまい、操作機器６００が操作されてしまうことである。

【0079】

（変形例５）
上述した実施形態では、仮想操作領域で指先７２が検出された場合、その指先７２の動作を操作として受け付ける形態を説明した。この場合、ユーザが意図せず仮想操作領域で手を動かしたりすると、その動作を操作機器６００に対する操作として受け付けることになる。そこで、変形例５では、指先７２の操作方向を検出することで、ユーザＵＲの意図しない操作に対応する内容について説明する。

【0080】

変形例５に係る制御装置１は、ユーザＵＲの指先７２の操作方向を検出し、検出した指先７２の操作方向に基づいて、仮想操作領域を変更する。ここで、指先７２の操作方向とは、仮想操作領域あるいは検出有効領域における指先７２の向き等の姿勢を意味する。具体的には、制御装置１は、ユーザＵＲの指先７２の操作方向を検出し、操作方向が操作機器６００に向いており、かつ、指先７２が仮想操作領域の内部から仮想操作領域の外部に移動した場合、仮想操作領域を変更する。

【0081】

ここで、図１７を用いて、変形例５に係る変更部１６が仮想操作領域を変更する内容について説明する。図１７は、仮想操作領域を説明するための図である。図１７には、操作機器６００と、ユーザＵＲの指先７２の位置３２０と、仮想操作領域に含まれる、操作最小位置３３１と、操作最大位置３３２と、を示す。図１７において、指先７２は、操作機器６００のシーク操作をしている状態である。

【0082】

図１７において、指先７２は、仮想操作領域外に存在する。また、指先７２の操作方向は、操作機器６００に向いていない。図１７において、ユーザＵＲの指先７２は、操作機器６００の仮想操作領域内に存在していても、指先７２の操作方向は、操作機器６０２を向いている状態ではない。この状態は、ユーザＵＲは、操作機器６００を操作していないと考えられる。

【0083】

そこで、検出部１２は、指先７２の操作方向を検出し、変更部１６は、検出した操作方向が操作機器６００に向いており、かつ、指先７２が仮想操作領域の内部から仮想操作領域の外部に移動した場合、仮想操作領域を変更する。図１７においては、変更部１６は、検出した操作方向が操作機器６００に向いていないため、指先７２が仮想操作領域の内部から仮想操作領域の外部に移動した場合でも、仮想操作領域を変更しない。

【0084】

これにより、制御装置１は、例えば、ユーザＵＲの意図しない操作による仮想操作領域の変更を抑制することができる。

【0085】

（変形例６）
続いて、変形例６に係る制御装置１について説明する。変形例６に係る制御装置１では、変更された仮想操作領域を変更前に戻す形態について、図１８及び図１９を用いて説明する。図１８及び図１９は、仮想操作領域を説明するための図である。

【0086】

図１８及び図１９には、操作機器６００と、仮想操作領域に含まれる、操作最小位置３３１と、操作最大位置３３２と、を示す。また、図１８には、ユーザＵＲの指先７２の位置３２０を示す。図１８において、指先７２は、Ｘ軸上において、スワイプ操作を行っている状態を示す。図１８は、変更後の仮想操作領域を示す。図１９は、変更された仮想操作領域が変更前の仮想操作領域に戻った状態を示す。

【0087】

図１９において、ユーザＵＲが指先７２を仮想操作領域内からリリース操作を行っている状態である。リリース操作とは、操作機器６００の操作を終了した操作である。そのため、ユーザＵＲの指先７２は、仮想操作領域内に存在しない。そこで、変更部１６は、仮想操作領域を変更後、指先７２の動きに対応するリリース操作に基づいて、仮想操作領域を変更前に戻す。これにより、制御装置１は、仮想操作領域内を初期状態に戻すことができる。

【0088】

（変形例７）
続いて、変形例７に係る制御装置１について説明する。変形例７に係る制御装置１では、ユーザＵＲの指先７２が検出有効領域の内部から検出有効領域の外部に移動した場合に、仮想操作領域を変更する形態について、図２０を用いて説明する。図２０は、仮想操作領域を説明するための図である。

【0089】

図２０には、操作機器６００と、検出有効領域に含まれる、最小検出有効位置３１１と、最大検出有効位置３１２と、仮想操作領域に含まれる、操作最小位置３３１と、操作最大位置３３２と、を示す。また、図２０には、ユーザＵＲの指先７２の位置３２０を示す。

【0090】

図２０に示すように、例えば、ユーザＵＲの指先７２が仮想操作領域の内部から仮想操作領域の操作最大位置３３２を超え、かつ、同一方向の検出有効領域の内部から最大検出有効位置３１２を超えた場合、変更部１６は、操作最大位置３３２を最大検出有効位置３１２として変更しても良い。

【0091】

また、ユーザＵＲの指先７２が仮想操作領域の内部から仮想操作領域の操作最小位置３３１を超え、かつ、同一方向の検出有効領域の内部から最小検出有効位置３１１を超えた場合、変更部１６は、操作最小位置３３１を最小検出有効位置３１１として変更しても良い。これは、仮に仮想操作領域について、検出有効領域を超えて領域を設定したとしても、指先７２を検出することができないためである。

【0092】

つまり、設定部１４は、センサ５００の撮像範囲内に、仮想操作領域を包含する操作検出可能領域を設定する。そして、変更部１６は、操作検出可能領域内で、仮想操作領域の位置を変更する。これにより、制御装置１は、ユーザＵＲの指先７２が検出有効領域の内部から検出有効領域の外部に移動した場合でも、仮想操作領域を変更することができる。

【0093】

さらに、図２０において、ユーザＵＲが指先７２を仮想操作領域内からリリース操作を行った場合、変更部１６は、仮想操作領域を変更後、指先７２の動きに対応するリリース操作に基づいて、仮想操作領域を変更前に戻してもよい。これにより、制御装置１は、仮想操作領域内を初期状態に戻すことができる。

【0094】

（変形例８）
続いて、変形例８に係る制御装置１について説明する。変形例８に係る制御装置１では、操作機器６００と、ユーザＵＲと、の位置関係に基づいて、仮想操作領域を設定する形態について、図２１を用いて説明する。図２１は、仮想操作領域を説明するための図である。

【0095】

図２１には、操作機器６００と、ユーザＵＲの指先７２１の位置３２１と、ユーザＵＲの指先７２２の位置３２２と、検出有効領域に含まれる、最小検出有効位置３１１と、最大検出有効位置３１２と、仮想操作領域に含まれる、操作最小位置３３１と、操作最大位置３３２と、を示す。図２１において、指先７２は、Ｘ軸上において、スワイプ操作を行っている状態を示す。

【0096】

設定部１４は、操作機器６００と、ユーザＵＲと、の位置関係に基づいて、仮想操作領域を設定し、仮想操作領域は、ユーザＵＲに近いほど小さくなる。例えば、図２１に示す仮想操作領域は、ユーザに近いほど小さくなる。言い換えると、図２１に示す仮想操作領域において、操作最小位置３３１と操作最大位置３３２の間の距離は、ユーザに近いほど小さくなる。

【0097】

図２１の場合、Ｚ軸方向によって、仮想操作領域や、検出有効領域の大きさや倍率を変更する。また、図２１の場合、ユーザＵＲに近いほど、検出有効領域に対して、仮想操作領域は小さくなる。したがって、Ｙ軸上において、同じ位置にある指先７２１と指先７２２に存在しても、変更部１６は、指先７２１の操作に対して、仮想操作領域を変更せず、指先７２２の操作に対して、仮想操作領域を変更する。

【0098】

これにより、制御装置１は、ユーザＵＲの視覚と、指先の操作が一致させ、ユーザＵＲにとって直感的に操作しやすいように仮想操作領域を設定することができる。

【0099】

（変形例９）
機器操作量情報３５は、動画操作に関する情報に限定されない。例えば、機器操作量情報３５は、車両に搭載された電子ミラーにおける、輝度調整や画面位置調整を含んでも良い。また、例えば、機器操作量情報３５は、車両における、エアコン操作、音量操作、照明操作等を含んでも良い。

【0100】

さらに、例えば、機器操作量情報３５は、車両の外部／内部に搭載されたカメラの撮像角度の調整、３６０度カメラの操作、カメラの拡大／拡縮に関する調整、フォーカス調整、絞り値（Ｆ値）の設定、シャッタースピードの調整、ＩＳＯ感度の設定等を含んでも良い。また、例えば、機器操作量情報３５は、Ｗｅｂページ等を表示したディスプレイにおいて、上下左右スライド操作や、拡大／拡縮に関する操作等を含んでも良い。

【0101】

（変形例１０）
センサ５００は、可視光カメラに限らず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ又はＲＧＢカメラであっても良い。また、センサ５００は、カメラ装置に限定されず、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ、赤外線センサであっても良い。

【0102】

（変形例１１）
検出部１２は、操作者となるユーザを撮像した画像に基づいてユーザの手及び指先を検出したが、これに限定されない。例えば、検出部１２は、ユーザの手のひらや腕を検出しても良い。

【0103】

以上、本開示の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態及びその変形は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらに、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせても良い。

【0104】

また、上述した実施の形態における「・・・部」という表記は、「・・・回路（circuitry）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されても良い。

【0105】

上記各実施形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

【0106】

また、上記各実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力端子と出力端子を備えても良い。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0107】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサ及びメモリを用いて実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブル プロセッサ（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ Ｐｒｏｃｅｓｓｏｒ）を利用しても良い。

【0108】

さらには、半導体技術の進歩又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化しても良い。バイオ技術の適用等が可能性としてありえる。

【0109】

また、本明細書に記載された実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があっても良い。

【0110】

（付記）
以上の実施の形態の記載により、下記の技術が開示される。
（技術１）
操作者となるユーザを撮像した画像を撮像部から取得する画像取得部と、
前記撮像部の撮像範囲内に、機器への操作を受け付ける仮想操作領域を設定する設定部と、
前記画像に基づいてユーザの手を検出する検出部と、
前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記機器を操作する操作部と、
前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する変更部と、
を備える情報処理装置。
（技術２）
前記検出部は、前記ユーザの手を一方向に移動させるスワイプ操作を検出し、
前記変更部は、前記スワイプ操作により前記ユーザの手が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する、
上記技術１に記載の情報処理装置。
（技術３）
前記仮想操作領域は、前記操作が行われる方向の一端を示す操作最小位置と、他端を示す操作最大位置とで規定され、
前記変更部は、前記仮想操作領域の大きさを維持したまま、前記ユーザの手の位置に追従して、当該手の移動方向に対応する前記操作最小位置又は前記操作最大位置を変更する、
上記技術１又は上記技術２に記載の情報処理装置。
（技術４）
前記変更部は、前記スワイプ操作に対応するシーク操作において検出された前記手に基づいて、前記仮想操作領域を変更する、
上記技術２に記載の情報処理装置。
（技術５）
複数の機器が隣接して配置される場合、
前記変更部は、前記シーク操作において、前記複数の機器のうち、前記ユーザが最初に操作した機器の操作を優先して、前記仮想操作領域を変更する、
上記技術４に記載の情報処理装置。
（技術６）
前記操作最小位置及び前記操作最大位置は、絶対座標、あるいは、前記機器を基準とする相対座標のうち、少なくとも１つから設定される、
上記技術３に記載の情報処理装置。
（技術７）
前記仮想操作領域は、２次元又は３次元の領域である、
上記技術３に記載の情報処理装置。
（技術８）
前記検出部は、前記ユーザの指先の操作方向を検出し、
前記変更部は、前記操作方向が前記機器に向いており、かつ、前記指先が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、前記仮想操作領域を変更する、
上記技術１から上記技術７のいずれか１つの技術に記載の情報処理装置。
（技術９）
前記変更部は、前記仮想操作領域を変更後、前記手の動きに対応するリリース操作に基づいて、前記仮想操作領域を変更前に戻す、
上記技術１から上記技術８のいずれか１つの技術に記載の情報処理装置。
（技術１０）
前記設定部は、前記撮像部の撮像範囲内に、仮想操作領域を包含する操作検出可能領域を設定し、
前記変更部は、前記操作検出可能領域内で、前記仮想操作領域の位置を変更する、
上記技術１から上記技術９のいずれか１つの技術に記載の情報処理装置。
（技術１１）
前記設定部は、前記機器と、前記ユーザと、の位置関係に基づいて、前記仮想操作領域を設定し、
前記仮想操作領域は、前記ユーザに近いほど小さくなる、
上記技術１から上記技術１０のいずれか１つの技術に記載の情報処理装置。
（技術１２）
撮像部と、情報処理装置と、表示部とを備える情報処理システムであって、
前記撮像部は、操作者となるユーザを撮像し、
前記情報処理システムは、
前記撮像部が撮像した画像を取得する画像取得部と、
前記撮像部の撮像範囲内に、前記表示部への操作を受け付ける仮想操作領域を設定する設定部と、
前記画像に基づいて前記ユーザの手を検出する検出部と、
前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記表示部を操作する操作部と、
前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する変更部と、
を備える情報処理システム。
（技術１３）
情報処理装置で実行する情報処理方法であって、
操作者となるユーザを撮像した画像を撮像部から取得する画像取得ステップと、
前記撮像部の撮像範囲内に、機器への操作を受け付ける仮想操作領域を設定する設定ステップと、
前記画像に基づいてユーザの手を検出する検出ステップと、
前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記機器を操作する操作ステップと、
前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する変更ステップと、
を含む情報処理方法。
（技術１４）
コンピュータに、
操作者となるユーザを撮像した画像を撮像部から取得する画像取得ステップと、
前記撮像部の撮像範囲内に、機器への操作を受け付ける仮想操作領域を設定する設定ステップと、
前記画像に基づいてユーザの手を検出する検出ステップと、
前記ユーザの手が前記仮想操作領域で検出された場合、当該手の移動方向に応じて前記機器を操作する操作ステップと、
前記ユーザの手の位置が前記仮想操作領域の内部から前記仮想操作領域の外部に移動した場合、当該手の位置に追従して前記仮想操作領域の位置を変更する変更ステップと、
を実行させる情報処理プログラム。

【符号の説明】

【0111】

１ 制御装置
１０ 制御部
１１ 画像取得部
１２ 検出部
１３ 座標演算部
１４ 設定部
１５ 判定部
１６ 変更部
１７ 操作部
１８ 表示出力部
３０ 記憶部
５００ センサ
６００ 操作機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】