(58)【調査した分野】(Int.Cl.,DB名)
前記領域判断部は、前記領域設定部による操作領域の設定後、前記カーソルの位置が前記第1のジェスチャが検出された際の前記カーソルの位置から径方向に閾値以上移動するまでは、当該閾値未満の領域については前記操作領域として認識しない
ことを特徴とする請求項1記載の画面操作装置。
【背景技術】
【0002】
従来から、モニタ(例えば展示会向けの大型ディスプレイ)に表示された画面に対し、操作者がジェスチャを行うことで、当該画面上のカーソルを動かして操作を行うシステムが知られている(例えば特許文献1参照)。
【0003】
このシステムでは、例えばモーションセンサ(特徴点検出センサ)を用い、ある決められた3次元空間において、操作者の特徴点(例えば手)の位置(空間座標値)を検出している。そして、この手の空間座標値を、モニタに表示された画面上の2次元座標(モニタ座標)に対応させることで、カーソルの位置を設定している。このようにしてカーソルの位置を設定することで、操作者が手を動かすことにより、モニタに表示された画面上のカーソルを動かすことができる。
【0004】
そして、画面操作を行う場合には、例えば
図9(a)に示すように、まず、操作者は、モーションセンサの前で手を動かして、画面上のカーソル104を目標地点105まで移動させる。そして、カーソル104が目標地点105上に位置すると、
図9(b)に示すように、目標地点105(カーソル104)の周囲に、画面に対する機能を表すアイコン102が表示される。次いで、操作者は、モーションセンサの前で手を動かして、画面上のカーソル104を、目的のアイコン102まで移動させる。そして、
図9(c)に示すように、カーソル104がアイコン102上に位置すると、アイコン102の表示が切り替わって選択状態(アイコン102b)となる。次いで、操作者は、モーションセンサの前で予め決められたジェスチャを行って、当該アイコン102bが表す機能を実行させる。
【発明を実施するための形態】
【0012】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
図1はこの発明の実施の形態1に係る画面操作装置3を含むシステム全体の構成を示す図である。
図1に示すシステムでは、モニタ1、モーションセンサ(特徴点検出センサ)2及び画面操作装置3が設けられている。
【0013】
モニタ1は、各種コンテンツ(画面)を表示するものである。
モーションセンサ2は、所定のサンプリング間隔で、3次元空間内における人の特徴点の位置(空間座標値)を検出するものであり、モニタ1に表示された画面を操作する操作者を検出することができる場所に設置される。このモーションセンサ2は、予め決められた空間内を撮像してカラー画像を取得するカメラと、上記空間内に存在する物体の深度を検出する深度センサとを有している。また、人のシルエットに対して各特徴点(頭、肩、手、腰、足等)の位置を示すモデルを保持するデータベースも有している。そして、モーションセンサ2では、カメラにより撮像されたカラー画像と深度センサによる検出結果から上記空間内に存在する物体のシルエットを抽出する。そして、このシルエットをデータベースに保持されたモデルとマッチングさせることで、人を検出し、当該人の特徴点の位置を検出する。
【0014】
画面操作装置3は、モーションセンサ2により検出された3次元空間における人の特徴点の位置を用いて、モニタ1に表示された画面の操作を行うものである。この画面操作装置3は、
図1に示すように、ジェスチャ検出部31、領域設定部32、領域判断部33及び機能実行部34を有している。なお、画面操作装置3は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
【0015】
ジェスチャ検出部31は、モーションセンサ2による検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するものである。すなわち、ジェスチャ検出部31は、モーションセンサ2による検出結果から操作者の特徴点の位置を検出する機能(操作者検出機能)と、その特徴点の位置の変化から操作者のジェスチャを検出する機能(ジェスチャ検出機能)とを有している。なお、ジェスチャ検出部31は、検出した操作者の特徴点の位置を逐一記憶する機能も有している。
【0016】
また、例えば展示会で本システムを用いる場合には、モーションセンサ2が検出を行う上記空間内に多くの人が存在することが想定される。そこで、ジェスチャ検出部31の操作者検出機能では、操作者と認識した人のみを追従するよう構成されている。
この機能では、上記空間内の所定位置(例えば真ん中)に来た人を操作者と認識して追従する。具体的には、まず、操作者を検出する範囲をモーションセンサ2の上記空間の一部の範囲(例えば真ん中)に限定する。そして、この検出範囲内に入った人を操作者として認識する。その後、検出範囲を上記空間全体に広げ、当該操作者の動きを追従し続ける。以後、他の人が検出範囲内に入ったとしても、操作者が検出範囲内にいる限りは、操作権を譲渡しない。その後、操作者が検出範囲の外に出た場合には、操作権を放棄したものとみなす。そして、再び検出範囲を狭め、新たな操作者の認識を待つ。
【0017】
また、上記検出範囲内で他の人に操作権を譲渡する機能を付加してもよい。この場合、操作者を認識後に他の人が検出範囲に入り、双方が予め決められたジェスチャ(握手、手を振る等)を行う。これにより、操作権の譲渡を認める。
【0018】
また、ジェスチャ検出部31のジェスチャ検出機能では、画面上に当該画面に対する機能を表す表示(アイコン等の表示)を指示するための第1のジェスチャと、当該機能の実行を指示するための第2のジェスチャとを検出する。なお、第1,2のジェスチャは、カーソル移動の際に操作者が行うジェスチャと区別することができるジェスチャであり、予め登録されている。
【0019】
領域設定部32は、ジェスチャ検出部31により第1のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示(アイコン等の表示)を行うものである。
【0020】
領域判断部33は、領域設定部32による操作領域の設定後、ジェスチャ検出部31により検出された操作者の特徴点の位置の変化方向から、画面上のカーソルの当該操作領域への移動を確認し、当該操作領域上の表示を選択状態に切替えるものである。
【0021】
機能実行部34は、領域判断部33により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部31により第2のジェスチャが検出された場合に、当該操作領域に対応する機能を実行するものである。
【0022】
次に、上記のように構成された画面操作装置3の動作について、
図2〜4を参照しながら説明する。なお以下では、操作者がモーションセンサ2の前で手を動かすことで、モニタ1に表示された画面上のカーソルを移動させる場合を例に説明を行う。また、モーションセンサ2は、所定のサンプリング間隔で、3次元空間における人の特徴点の位置を検出している。
【0023】
画面操作装置3の動作では、
図2に示すように、まず、ジェスチャ検出部31は、モーションセンサ2による検出結果から、操作者が第1のジェスチャを行ったかを検出する(ステップST1、ジェスチャ検出ステップ)。ここで、操作者が行う第1のジェスチャとしては、「ポーズをとる」、「手又は指を動かして模様を描く」、「手を握る又は開く等のハンドジェスチャ」等の動作が挙げられる。なお、操作者が第1のジェスチャの動作を覚えていない場合も考えられるため、画面上に第1のジェスチャの動作を示す説明文を表示するようにしてもよい。
【0024】
このステップST1においてジェスチャ検出部31が第1のジェスチャを検出した場合、領域設定部32は、その際の操作者の手の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示を行う(ステップST2,3、領域設定ステップ)。またこの際の手の位置(空間座標値)も記憶する。
この領域設定部32によるアイコン等の表示は画面上のいずれの位置でもよく、従来技術に対して操作性を改善できる。なお
図3の例では、操作者の手の位置に対応する画面上のカーソル(非表示)の位置を中心にして、放射状に等分割で6つの操作領域(非表示)を設定し、6つのアイコン102を表示した場合を示している。
【0025】
次いで、領域判断部33は、ジェスチャ検出部31により検出された操作者の特徴点の位置の変化方向から、画面上のカーソルの当該操作領域への移動を確認し、当該操作領域上の表示を選択状態に切替える(ステップST4〜6、領域判断ステップ)。すなわち、
図4に示すように、領域設定部32は、第1のジェスチャを行った際の手101の位置を基準位置(座標(1))とし、現在の手101bの位置(座標(2))を記憶する。そして、手101bが移動した方向(移動前後での手101,101bの位置を結ぶ線分と、基準軸(X軸)とのなす垂直方向の角度θ)から、どの操作領域上にカーソル(非表示)が位置するかを判断する。そして、該当する操作領域上の表示を選択状態に切替える。なお
図4の例では、操作者が手101bを右斜め上に移動させて、画面上の機能bを選択し、当該機能bのアイコン102を選択状態(アイコン102b)にした場合を示している。このように、アイコン102上ではなく、操作領域内にカーソルが位置するかを判断するようにしたので、従来のような厳密な操作を回避することができる。
【0026】
次いで、領域判断部33により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部31は、モーションセンサ2による検出結果から、操作者が第2のジェスチャを行ったかを検出する(ステップST7、ジェスチャ検出ステップ)。ここで、操作者が行う第2のジェスチャとしては、「ポーズをとる」、「手又は指を動かして模様を描く」、「手を握る又は開く等のハンドジェスチャ」等の動作が挙げられる(第1のジェスチャと同じである必要はない)。なお、操作者が第2のジェスチャの動作を覚えていない場合も考えられるため、画面上に第2のジェスチャの動作を示す説明文を表示するようにしてもよい。
【0027】
このステップST7においてジェスチャ検出部31が第2のジェスチャを検出した場合、機能実行部34は、該当する操作領域に対応する機能を実行する(ステップST8、操作実行ステップ)。例えば
図4に示すように、機能bが選択状態(アイコン102b)となっている状態で、操作者が第2のジェスチャを行うことで、機能bを実行することができる。
【0028】
ここで、従来では、
図9に示すように、画面操作を行うために、まず、予め決められた目標地点105までカーソル104を移動させて、アイコン102を表示させている。さらに、表示されたアイコン102のうち目的のアイコン102の場所へカーソル104を移動させて所定のジェスチャを行うことで、目的の機能を実行している。よって、目標地点105及びアイコン102上にカーソル104を正確に移動させる必要がある。
それに対し、本発明では、
図3,4に示すように、予め決められた第1のジェスチャを行うことで、画面上の任意の位置(ジェスチャを行った際のカーソル(非表示)の位置の周囲)にアイコン102を表示させている。そして、目的のアイコン102の方向へ手を動かして(この際、アイコン102上にカーソルを移動させる必要はない)、予め決められた第2のジェスチャを行うことで、目的の機能を実行している。よって、従来技術のような厳密なカーソル操作は不要であり、容易に画面操作を行うことができる。
【0029】
以上のように、この実施の形態1によれば、モーションセンサ2による検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出部31と、ジェスチャ検出部31により第1のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示を行う領域設定部32と、領域設定部32による操作領域の設定後、特徴点の位置の変化方向からカーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断部33と、領域判断部33により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部31により第2のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する機能実行部34とを備えたので、従来技術に対し、操作者のジェスチャ動作により容易に画面操作を行うことができる。
【0030】
なお上記では、領域設定部32が、カーソルの位置を中心にして円状に複数のアイコンを表示する場合について示した。しかしながら、これに限るものではなく、半円状や円弧状に複数のアイコンを表示してもよい。
また、画面に対する機能の数が多く、表示するアイコンの数が多くなるような場合には、階層を持たせるようにしてもよい。この場合、第1のジェスチャが行われた場合に、まず、上位階層のアイコンを表示する。そして、第2のジェスチャが行われて目的のアイコンが選択された後、当該アイコンの位置を中心にしてその周囲に下位階層のアイコンを表示する。
【0031】
また上記の領域設定部32では、カーソルの位置を中心にして放射状に操作領域を設定している。そのため、中心付近では各操作領域の範囲が狭く、わずかな手の動きで選択されるアイコンが目まぐるしく変わる。そこで、領域判断部33が、領域設定部32による操作領域の設定後、カーソルが第1のジェスチャが検出された際のカーソルの位置から径方向に閾値以上移動するまでは、当該閾値未満の領域については操作領域として認識しないように構成してもよい。すなわち、
図5(a)に示すように、第1のジェスチャ後、カーソル(手101b)が中心位置から径方向に閾値未満の領域内(
図5の領域103内)に位置する場合には、選択が誤る可能性があるとして、その領域103内の領域を操作領域として認識しない。その後、
図5(b),(c)に示すように、カーソル(手101b)が閾値以上移動した場合には、選択を誤る可能性は低く、また、却って操作性を損なう恐れがあるため、操作領域全体を認識対象とする。
【0032】
また上記では、特徴点検出センサとしてモーションセンサ2を用いた場合について示した。しかしながら、これに限るものではなく、3次元空間における操作者の特徴点の位置を検出することができるセンサであればよい。
【0033】
また上記では、展示会向けの大型ディスプレイ(モニタ1)の画面に対し、操作者がジェスチャを行うことで、画面上のカーソルを動かして操作を行うシステムを想定して説明を行った。しかしながら、これに限るものではなく、モニタ1の画面に対し、操作者がジェスチャを行うことで、画面上のカーソルを動かして操作を行うシステムであれば、本発明を適用可能であり、同様の効果を得ることができる。
【0034】
実施の形態2.
実施の形態1では、領域設定部32が、カーソルの位置を中心に操作領域を放射状に等分割で設定する場合について示した。これに対し、画面に対する機能に優先度を付与し、この優先度に応じて操作領域の設定範囲を変化させるようにしてもよい。
図6はこの発明の実施の形態2に係る画面操作装置3を含むシステム全体の構成を示す図である。
図6に示す実施の形態2に係る画面操作装置3は、
図1に示す実施の形態1に係る画面操作装置3に優先度設定部35を追加し、領域設定部32を領域設定部32bに変更したものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。
【0035】
優先度設定部35は、画面に対する機能の優先度を設定するものである。
また、領域設定部32bは、実施の形態1における領域設定部32に対し、優先度設定部35により設定された優先度に応じて操作領域の設定範囲を変化させるように構成したものである。
【0036】
この際、領域設定部32bは、例えば
図7に示すように、優先度が高い機能に対する操作領域を、優先度が低い機能に対する操作領域よりも広くする。
図7の例では、機能aよりも機能bの優先度が高い場合を示している。そして、
図7(a)では、操作領域の分割角度を変化させ、機能bに対する操作領域の分割角度θ
bを、機能aに対する操作領域の分割角度θ
aよりも広くした場合を示している。また、
図7(b)では中心付近の領域をすべて機能bに対する操作領域とした場合を示し、
図7(c)では曲線状に操作領域を変化させた場合を示している。
【0037】
また、
図8に示すように、カーソル(手101b)の中心(手101)からの径方向の距離に応じて操作領域を動的に変化させるようにしてもよい。
図8の例では、機能aよりも機能bの優先度が高い場合を示している。
図8(a)に示すように、カーソル(手101b)の中心(手101)からの径方向の距離が閾値以上離れている場合には、機能a,bの操作領域は等しい。一方、
図8(b)に示すように、カーソル(手101b)の中心(手101)からの径方向の距離が閾値未満の場合には、機能bに対する操作領域が、機能aに対する操作領域に対して広くなる。そして、(c)に示すように、カーソル(手101b)がさらに中心(手101)に近づくと、動的に機能bに対する操作領域が広くなる。
【0038】
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。