特開2024-131603 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ パナソニックオートモーティブシステムズ株式会社の特許一覧

特開2024-131603情報処理装置、情報処理システム、および情報処理方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
2
3
4A
4B
5A
5B
6A
6B
6C
7A
7B
7C
8A
8B
9A
9B
9C
9D
9E
10A
10B
11
12

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024131603

(43)【公開日】2024-09-30

(54)【発明の名称】情報処理装置、情報処理システム、および情報処理方法

(51)【国際特許分類】

G06F 3/01 20060101AFI20240920BHJP

G06F 3/0346 20130101ALI20240920BHJP

G06T 7/20 20170101ALI20240920BHJP

【ＦＩ】

G06F3/01 570

G06F3/0346 422

G06T7/20 300A

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023041971

(22)【出願日】2023-03-16

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】秦野峻

【テーマコード（参考）】

5B087

5E555

5L096

【Ｆターム（参考）】

5B087AA07

5B087AA09

5B087AB02

5B087AD02

5B087DD02

5B087DD03

5B087DD09

5E555AA11

5E555BA01

5E555BB01

5E555BC01

5E555CA42

5E555CB66

5E555CC01

5E555CC05

5E555EA14

5E555EA22

5E555FA00

5L096CA04

5L096HA03

5L096HA05

(57)【要約】

【課題】仮想操作面に対する操作を容易とする。
【解決手段】情報処理装置１０は、受付部３０Ｃと、操作制御部３０Ｆと、を備える。受付部３０Ｃは、機器１４に対する操作の判定に用いるための仮想操作面の設定を受付ける。操作制御部３０Ｆは、ユーザの身体の部位と仮想操作面との位置関係に基づいて機器１４を操作する。
【選択図】図３

【特許請求の範囲】

【請求項1】

機器に対する操作の判定に用いるための仮想操作面の設定を受付ける受付部と、
ユーザの身体の部位と前記仮想操作面との位置関係に基づいて前記機器を操作する操作制御部と、
を備える情報処理装置。

【請求項2】

前記受付部は、
前記機器の操作受付面に応じた形状の前記仮想操作面の設定を受付ける、
請求項１に記載の情報処理装置。

【請求項3】

前記受付部は、
ユーザの腕部における所定部位を支点として前記腕部における前記所定部位より指部側の部位を動かすことで設定された範囲の領域を、前記仮想操作面の設定として受付ける、
請求項１に記載の情報処理装置。

【請求項4】

前記受付部は、
実空間における部材の表面の前記仮想操作面の設定を受付ける、
請求項１に記載の情報処理装置。

【請求項5】

前記受付部は、
平面状または曲面状の前記仮想操作面の設定を受付ける、
請求項１に記載の情報処理装置。

【請求項6】

前記仮想操作面の設定の受付時に支点とされた支点位置情報と、前記仮想操作面を表す仮想操作面情報と、を対応付けて設定する設定部、
を備える請求項１に記載の情報処理装置。

【請求項7】

前記支点は、
ユーザの腕部における肘部および手首部の少なくとも一方である、
請求項６に記載の情報処理装置。

【請求項8】

ユーザの撮影画像を取得する画像取得部と、
前記撮影画像に基づいてユーザの身体の態様を検出する検出部と、
を備え、
前記操作制御部は、
ユーザの予め定められた身体の部位が前記仮想操作面に接触または前記仮想操作面の通過を判定したときに前記機器に対する操作開始を判定し、操作開始の判定後の身体の部位の動作態様に応じた操作を前記機器に対して実行する、
請求項１に記載の情報処理装置。

【請求項9】

前記操作制御部は、
前記仮想操作面を受付けた設定位置よりユーザの肘部側に再設定し、再設定した前記仮想操作面とユーザの身体の部位との位置関係に基づいて、前記機器を操作する、
請求項１に記載の情報処理装置。

【請求項10】

前記操作制御部は、
前記仮想操作面に対応するユーザの支点とする特定部位の移動を検出したときに、前記支点の移動に応じた位置姿勢に前記仮想操作面を再設定する、
請求項１に記載の情報処理装置。

【請求項11】

前記受付部は、
実空間における位置および範囲の少なくとも一方の異なる複数の前記仮想操作面の設定を受付ける、
請求項１に記載の情報処理装置。

【請求項12】

前記操作制御部は、
ユーザの身体の部位と複数の前記仮想操作面の各々との位置関係に基づいて前記機器を操作する、
請求項１１に記載の情報処理装置。

【請求項13】

撮影部と、機器と、情報処理装置と、を備える情報処理システムであって、
前記情報処理装置は、
ユーザの撮影画像を前記撮影部から取得する画像取得部と、
前記撮影画像に基づいて前記ユーザの身体の態様を検出する検出部と、
前記機器に対する操作の判定に用いるための仮想操作面の設定を受付ける受付部と、
前記ユーザの身体の部位と前記仮想操作面との位置関係に基づいて前記機器を操作する操作制御部と、
を備える情報処理システム。

【請求項14】

機器に対する操作の判定に用いるための仮想操作面の設定を受付けるステップと、
ユーザの身体の部位と前記仮想操作面との位置関係に基づいて前記機器を操作するステップと、
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システム、および情報処理方法に関する。

【背景技術】

【0002】

従来、ユーザの手の動きに応じて機器を動作制御するシステムが知られている（例えば、特許文献１参照）。例えば、ディスプレイなどの操作対象の機器について、ユーザがディスプレイに直接触れることなく、ユーザの手の動きに応じてディスプレイの表示内容を変更する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－３２０５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような技術において、機器に対する操作の判定に用いるための仮想操作面を実空間上に設定し、該仮想操作面に対する操作に応じて機器を動作制御することが考えられる。このような仮想操作面は、ユーザにとって操作容易であることが望まれる。

【0005】

本開示が解決しようとする課題は、仮想操作面に対する操作を容易とすることができる、情報処理装置、情報処理システム、および情報処理方法を提供することである。

【課題を解決するための手段】

【0006】

本開示にかかる情報処理装置は、受付部と、操作制御部と、を備える。受付部は、機器に対する操作の判定に用いるための仮想操作面の設定を受付ける。操作制御部は、ユーザの身体の部位と前記仮想操作面との位置関係に基づいて前記機器を操作する。

【発明の効果】

【0007】

本開示にかかる情報処理装置、情報処理システム、および情報処理方法によれば、仮想操作面に対する操作を容易とすることができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態の情報処理システムの模式図である。

【図1B】図１Ｂは、実施形態の情報処理システムの模式図である。

【図2】図２は、情報処理装置のハードウェア構成図である。

【図3】図３は、実施形態の情報処理システムの機能ブロック図である。

【図4A】図４Ａは、仮想操作面の設定の受付の説明図である。

【図4B】図４Ｂは、仮想操作面の設定の受付の説明図である。

【図5A】図５Ａは、仮想操作面の設定の受付の説明図である。

【図5B】図５Ｂは、仮想操作面の設定の受付の説明図である。

【図6A】図６Ａは、複数の仮想操作面の設定の受付の説明図である。

【図6B】図６Ｂは、複数の仮想操作面の設定の受付の説明図である。

【図6C】図６Ｃは、複数の仮想操作面の設定の受付の説明図である。

【図7A】図７Ａは、肘部を支点として仮想操作面に対して操作を行う説明図である。

【図7B】図７Ｂは、肘部を支点として仮想操作面に対して操作を行う説明図である。

【図7C】図７Ｃは、肘部を支点として仮想操作面に対して操作を行う説明図である。

【図8A】図８Ａは、肘部および手首部を支点として仮想操作面に対して操作を行う説明図である。

【図8B】図８Ｂは、肘部および手首部を支点として仮想操作面に対して操作を行う説明図である。

【図9A】図９Ａは、手首部を支点として仮想操作面に対して操作を行う説明図である。

【図9B】図９Ｂは、手首部を支点として仮想操作面に対して操作を行う説明図である。

【図9C】図９Ｃは、手首部を支点として仮想操作面に対して操作を行う説明図である。

【図9D】図９Ｄは、手首部を支点として仮想操作面に対して操作を行う説明図である。

【図9E】図９Ｅは、手首部を支点として仮想操作面に対して操作を行う説明図である。

【図10A】図１０Ａは、支点とする肘部の位置が移動した場面の説明図である。

【図10B】図１０Ｂは、支点とする手首部の位置が移動した場面の説明図である。

【図11】図１１は、仮想操作面情報登録処理の流れの一例を示すフローチャートである。

【図12】図１２は、操作実行処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、本開示に係る情報処理装置、情報処理システム、および情報処理方法の実施形態について説明する。

【0010】

図１Ａおよび図１Ｂは、本実施形態の情報処理システム１の一例の模式図である。図１Ａは、情報処理システム１の上面図である。図１Ｂは、情報処理システム１の側面図である。

【0011】

情報処理システム１は、情報処理装置１０と、撮影部１２と、機器１４と、を備える。

【0012】

情報処理装置１０と、撮影部１２と、機器１４とは、無線または有線により通信可能に接続されている。

【0013】

情報処理装置１０は、ユーザ２０の身体の態様に応じて機器１４を操作制御するためのコンピュータである。

【0014】

ユーザ２０の身体の態様は、ユーザ２０の身体の部位の態様を表す。詳細には、ユーザ２０の身体の態様は、ユーザ２０の身体の部位の実空間Ｓにおける位置、角度、形状、動作態様、等によって表される。

【0015】

撮影部１２は、ユーザ２０を検出するセンサの一例である。本実施形態では、撮影部１２は、撮影によってユーザ２０の写り込んだ撮影画像データを得る。以下では、撮影画像データを、単に撮影画像と称して説明する。

【0016】

機器１４は、ユーザ２０による操作に応じて動作する情報処理装置である。本実施形態では、機器１４は操作受付面１４Ａを備える。操作受付面１４Ａは、ユーザによる操作の受付面である。操作受付面１４Ａは、例えば、タッチパネル等のディスプレイである。本実施形態では、操作受付面１４Ａが、四角形状である形態を一例として説明する。

【0017】

本実施形態では、ユーザ２０は、操作受付面１４Ａを直接操作することなく、後述する仮想操作面ＡＲに対する操作を行う。情報処理システム１では、ユーザ２０による仮想操作面ＡＲに対する操作によって、該仮想操作面ＡＲに対して行われた操作に対応する操作が操作受付面１４Ａになされたものとし、機器１４を動作させる。

【0018】

仮想操作面ＡＲとは、機器１４に対する操作の判定に用いるための操作面であり、実空間Ｓ上に設定された仮想領域である。本実施形態では、仮想操作面ＡＲは、機器１４に対する操作開始の判定などに用いられる（詳細後述）。

【0019】

情報処理システム１では、ユーザ２０によって実空間Ｓ上の所望の領域に所望の仮想操作面ＡＲが設定される。本実施形態では、情報処理システム１は、椅子１６等に着座した状態のユーザ２０が腕部２０Ａを楽な状態とした姿勢で仮想操作面ＡＲを設定可能に構成されている。例えば、ユーザ２０の腕部２０Ａは、肘部２０Ａ１、手首部２０Ａ２、指部２０Ａ３等を含んで構成されている。本実施形態の情報処理装置１０では、肘部２０Ａ１および手首部２０Ａ２の少なくとも一方をユーザ２０が脇に固定または椅子１６の肘置部等に置いた状態で、仮想操作面ＡＲを介して機器１４に対する操作を行うことが可能に構成されている（詳細後述）。

【0020】

図２は、情報処理装置１０の一例のハードウェア構成図である。

【0021】

情報処理装置１０は、ＣＰＵ（Central Processing Unit）１１Ａ、ＲＯＭ（Read Only Memory）１１Ｂ、ＲＡＭ１１Ｃ、およびＩ／Ｆ１１Ｄ等がバス１１Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

【0022】

ＣＰＵ１１Ａは、本実施形態の情報処理装置１０を制御する演算装置である。ＲＯＭ１１Ｂは、ＣＰＵ１１Ａによる各種の処理を実現するプログラム等を記憶する。ＲＡＭ１１Ｃは、ＣＰＵ１１Ａによる各種の処理に必要なデータを記憶する。Ｉ／Ｆ１１Ｄは、データを送受信するためのインターフェースである。

【0023】

本実施形態の情報処理装置１０で実行される情報処理を実行するためのプログラムは、ＲＯＭ１１Ｂ等に予め組み込んで提供される。なお、本実施形態の情報処理装置１０で実行されるプログラムは、情報処理装置１０にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

【0024】

図３は、本実施形態の情報処理システム１の一例の機能ブロック図である。

【0025】

情報処理システム１は、情報処理装置１０と、撮影部１２と、機器１４と、入力部１８と、備える。

【0026】

入力部１８は、ユーザによる操作入力を受付けるための機構である。入力部１８は、例えば、マウス等のポインティングデバイス、キーボード、スイッチ等である。入力部１８と情報処理装置１０とは信号授受可能に接続されている。

【0027】

情報処理装置１０は、制御部３０と、記憶部３２と、を備える。制御部３０と記憶部３２とはデータおよび信号を授受可能に接続されている。

【0028】

記憶部３２は、各種のデータを記憶する。記憶部３２は、メモリまたはストレージのような、情報（言い換えるとデータ）を記憶するためのハードウェアにより実現される。本実施形態では、記憶部３２は、基準座標情報３２Ａと、仮想操作面管理情報３２Ｂと、を記憶する。

【0029】

基準座標情報３２Ａは、撮影部１２の設置位置の３Ｄ（three dimensions）位置座標、撮影部１２の取り付け角度の情報、実空間における機器１４および機器１４の操作受付面１４Ａの３Ｄ位置座標、等を含む。

【0030】

仮想操作面管理情報３２Ｂは、仮想操作面ＡＲを表す仮想操作面情報と、該仮想操作面ＡＲの設定の受付時に支点とされた支点位置情報と、を対応付けたデータベースである。仮想操作面管理情報３２Ｂのデータ形式は、テーブル等であってもよくデータベースに限定されない。仮想操作面情報は、実空間Ｓにおける仮想操作面ＡＲの３Ｄ位置座標によって表される。支点位置情報は、仮想操作面ＡＲの設定の受付時に支点とされた支点位置の、実空間Ｓにおける３Ｄ位置座標によって表される。仮想操作面管理情報３２Ｂは、制御部３０によって更新される。

【0031】

制御部３０は、各種の情報処理を実行する。例えば、ＣＰＵ１１Ａが、ＲＯＭ１１ＢからプログラムをＲＡＭ１１Ｃ上に読み出して実行することにより、制御部３０の後述する各機能部がコンピュータ上で実現される。

【0032】

制御部３０は、画像取得部３０Ａと、検出部３０Ｂと、受付部３０Ｃと、設定部３０Ｄと、２Ｄ（two dimensions）座標変換部３０Ｅと、操作制御部３０Ｆと、を有する。操作制御部３０Ｆは、判定部３０Ｇと、機能実行部３０Ｈと、表示出力部３０Ｉと、を有する。

【0033】

画像取得部３０Ａ、検出部３０Ｂ、受付部３０Ｃ、設定部３０Ｄ、２Ｄ座標変換部３０Ｅ、操作制御部３０Ｆ、判定部３０Ｇ、機能実行部３０Ｈ、および表示出力部３０Ｉの一部または全ては、例えば、ＣＰＵ１１Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。また、画像取得部３０Ａ、検出部３０Ｂ、受付部３０Ｃ、設定部３０Ｄ、２Ｄ座標変換部３０Ｅ、操作制御部３０Ｆ、判定部３０Ｇ、機能実行部３０Ｈ、および表示出力部３０Ｉの少なくとも１つを、ネットワークなどを介して情報処理装置１０と通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。

【0034】

画像取得部３０Ａは、撮影部１２から撮影画像を取得する。本実施形態では、撮影部１２は、機器１４の周辺に存在するユーザ２０を時系列に沿って順次撮影した撮影画像を、情報処理装置１０へ順次出力する。このため、画像取得部３０Ａは、撮影部１２で撮影された撮影画像を順次取得する。画像取得部３０Ａは、取得した撮影画像を、検出部３０Ｂへ順次出力する。すなわち、画像取得部３０Ａは、撮影部１２によって撮影された時系列に連続する複数の撮影画像からなる動画像を取得する。

【0035】

検出部３０Ｂは、撮影画像に基づいてユーザ２０の身体の態様を検出する。

【0036】

詳細には、検出部３０Ｂは、撮影画像を公知の画像解析方法により解析することで、撮影画像に写り込んだユーザ２０の特定部位であるランドマークを検出する。

【0037】

ランドマークとは、ユーザ２０の特定部位である。特定部位とは、ユーザ２０の身体Ｉの部位である。特定部位は、例えば、ユーザ２０の腕部２０Ａ、肘部２０Ａ１、手首部２０Ａ２、指部２０Ａ３、等である。また、検出部３０Ｂは、撮影画像の解析結果および基準座標情報３２Ａを用いて、特定した特定部位（例えば、腕部２０Ａ、肘部２０Ａ１、手首部２０Ａ２、指部２０Ａ３）の各々の実空間Ｓにおける３Ｄ位置座標を特定する。特定部位の３Ｄ位置座標の特定方法には、公知の方法を用いればよい。また、撮影部１２としてステレオカメラやデプスマップ（距離画像）を取得可能なカメラを用い、撮影画像における特定した特定部位までの位置および方向と、基準座標情報３２Ａと、を用いて、特定部位の３Ｄ位置座標を特定してもよい。

【0038】

受付部３０Ｃは、仮想操作面ＡＲの設定を受付ける。受付部３０Ｃは、ユーザ２０による操作によって表される仮想操作面ＡＲの設定を受付ける。例えば、受付部３０Ｃは、機器１４の操作受付面１４Ａに応じた形状の仮想操作面ＡＲの設定を受付ける。上述したように、本実施形態では、操作受付面１４Ａが四角形状である形態を一例として説明する。このため、本実施形態では、受付部３０Ｃは、四角形状の仮想操作面ＡＲの設定を受付ける形態を一例として説明する。

【0039】

また、受付部３０Ｃは、ユーザ２０の腕部２０Ａにおける所定部位を支点として、腕部２０Ａにおける支点とした所定部位より指部２０Ａ３側の部位を動かすことで設定された範囲の領域を、仮想操作面ＡＲの設定として受付ける。支点は、ユーザ２０による任意の身体の部位であればよい。本実施形態では、支点が、肘部２０Ａ１および手首部２０Ａ２の少なくとも一方である形態を一例として説明する。

【0040】

すなわち、ユーザ２０は、ユーザ２０の肘部２０Ａ１または手首部２０Ａ２等を支点として支点より指部２０Ａ３側を動かすことで、実空間Ｓ上の所望の位置および領域に所望のサイズの仮想操作面ＡＲの設定を入力する。

【0041】

図４Ａは、仮想操作面ＡＲの設定の受付の一例の説明図である。図４Ａには、ユーザ２０が肘部２０Ａ１を支点Ｆとして仮想操作面ＡＲの設定を入力する場面を示す。

【0042】

例えば、ユーザ２０は、ユーザ２０の肘部２０Ａ１を支点Ｆとし、機器１４の操作受付面１４Ａに応じた形状の仮想操作面ＡＲを設定する。本実施形態では、操作受付面１４Ａが四角形状である形態を一例として説明する。このため、例えば、ユーザ２０は、椅子１６に着座した状態で肘部２０Ａ１を支点Ｆとして手首部２０Ａ２および指部２０Ａ３等を動かし、四角形を構成する四辺の４つの頂点Ｐを実空間Ｓ上に指定し、決定操作を行う。決定操作は、例えば、入力部１８の別途の操作指示により行ってもよい。また、決定操作は、ユーザ２０による予め定められたジェスチャにより行ってもよい。

【0043】

受付部３０Ｃは、画像取得部３０Ａで取得した撮影画像の検出部３０Ｂによる特定部位の検出結果である特定部位の３Ｄ位置座標に基づいてユーザ２０の身体の態様を解析する。この解析処理により、受付部３０Ｃは、ユーザ２０による４つの頂点Ｐの指定を受付ける。そして、受付部３０Ｃは、受付けた４つの頂点Ｐの各々の実空間Ｓにおける３Ｄ位置座標と、これらの４つの頂点Ｐを結ぶラインによって表される四角形状の実空間Ｓにおける領域を表す情報を、仮想操作面ＡＲを表す仮想操作面情報として演算する。これらの処理により、受付部３０Ｃは、仮想操作面情報によって表される仮想操作面ＡＲの設定を受付ける。

【0044】

また、受付部３０Ｃは、仮想操作面ＡＲの設定の受付時に支点Ｆとされた支点位置情報を受付ける。支点位置情報は、仮想操作面ＡＲの設定時にユーザ２０が支点Ｆとした身体の部位および実空間Ｓにおける該部位の３Ｄ位置座標を表す情報である。

【0045】

受付部３０Ｃは、上記特定部位の３Ｄ位置座標に基づいたユーザ２０の態様の解析により、ユーザ２０の何れの部位が仮想操作面ＡＲの設定の受付時に支点Ｆとされたかを判別してもよい。また、受付部３０Ｃは、ユーザによる入力部１８の操作指示によって、仮想操作面ＡＲの設定の受付時に支点Ｆとした部位を表す情報を、支点位置情報として受付けてもよい。

【0046】

図４Ｂは、仮想操作面ＡＲの設定の受付の一例の説明図である。図４Ｂには、ユーザ２０が手首部２０Ａ２を支点Ｆとして仮想操作面ＡＲの設定を入力する場面を示す。

【0047】

例えば、ユーザ２０は、ユーザ２０の手首部２０Ａ２を支点Ｆとし、機器１４の操作受付面１４Ａに応じた形状の仮想操作面ＡＲを設定する。例えば、ユーザ２０は、椅子１６に着座した状態で手首部２０Ａ２を支点Ｆとして指部２０Ａ３を動かし、四角形を構成する四辺の４つの頂点Ｐを実空間Ｓ上に指定し、決定操作を行う。

【0048】

受付部３０Ｃは、画像取得部３０Ａで取得した撮影画像の検出部３０Ｂによる特定部位の検出結果である特定部位の３Ｄ位置座標に基づいてユーザ２０の身体の態様を解析することで、ユーザ２０による４つの頂点Ｐの指定を受付ける。そして、受付部３０Ｃは、上記と同様に、受付けた４つの頂点Ｐの各々の実空間Ｓにおける３Ｄ位置座標と、これらの４つの頂点Ｐを結ぶラインによって表される四角形状の実空間Ｓにおける領域を表す情報を、仮想操作面ＡＲを表す仮想操作面情報として演算する。これらの処理により、受付部３０Ｃは、仮想操作面情報によって表される仮想操作面ＡＲの設定を受付ける。

【0049】

また、受付部３０Ｃは、仮想操作面ＡＲの設定の受付時に支点Ｆとされた支点位置情報を上記と同様にして受付ける。

【0050】

受付部３０Ｃは、設定を受付けた仮想操作面ＡＲの仮想操作面情報と、該仮想操作面ＡＲの設定の受付時に支点Ｆとされた部位および該部位の３Ｄ位置座標を表す支点位置情報とを、設定部３０Ｄへ出力する。

【0051】

なお、受付部３０Ｃは、平面状または曲面状の仮想操作面ＡＲの設定を受付けてよい。

【0052】

例えば、受付部３０Ｃは、受付けた４つの頂点Ｐの各々の実空間Ｓにおける３Ｄ位置座標と、これらの４つの頂点Ｐを結ぶラインによって表される四角形状で且つ平面状の実空間Ｓにおける領域を表す情報を、仮想操作面ＡＲを表す仮想操作面情報として受付ければよい。

【0053】

また、受付部３０Ｃは、受付けた４つの頂点Ｐの各々の実空間Ｓにおける３Ｄ位置座標と、これらの４つの頂点Ｐを結ぶラインによって表される四角形状で且つ曲面状の実空間Ｓにおける領域を表す情報を、仮想操作面ＡＲを表す仮想操作面情報として受付けてもよい。曲面状の仮想操作面ＡＲとする場合、例えば、受付部３０Ｃは、仮想操作面ＡＲの設定時の支点Ｆを中心とし、該支点Ｆから頂点Ｐまでの長さを半径とした球面に沿った曲面状の領域を表す情報を、仮想操作面ＡＲを表す仮想操作面情報として受付ければよい。また、受付部３０Ｃは、仮想操作面ＡＲの設定の受付時のユーザ２０の目の位置を中心とし、該中心から頂点Ｐまでの長さを半径とした球面に沿った曲面状の領域を表す情報を、仮想操作面ＡＲを表す仮想操作面情報として受付けてもよい。

【0054】

また、受付部３０Ｃは、実空間Ｓにおける部材の表面の仮想操作面ＡＲの設定を受付けてもよい。この場合、ユーザ２０は、例えば、実空間Ｓにおける椅子１６等の部材の表面に対して仮想操作面ＡＲを設定する。

【0055】

図５Ａおよび図５Ｂは、仮想操作面ＡＲの設定の受付の一例の説明図である。図５Ａおよび図５Ｂには、椅子１６に着座した状態のユーザ２０が肘置部１６Ａに載置した腕部２０Ａの指部２０Ａ３を動かし、肘置部１６Ａの表面に対して仮想操作面ＡＲの設定を入力する場面を示す。図５Ｂは、図５Ａの一部領域Ａの拡大模式図である。

【0056】

例えば、椅子１６に着座した状態のユーザ２０は、肘置部１６Ａに腕部２０Ａを置いた状態で、指部２０Ａ３等によって肘置部１６Ａの表面を触る等の操作をすることで、肘置部１６Ａの表面に仮想操作面ＡＲを設定する。例えば、ユーザ２０は、椅子１６に着座した状態で指部２０Ａ３を動かし、四角形を構成する四辺の４つの頂点Ｐを肘置部１６Ａ上に指定し、決定操作を行う。

【0057】

受付部３０Ｃは、画像取得部３０Ａで取得した撮影画像の検出部３０Ｂによる特定部位の検出結果である特定部位の３Ｄ位置座標に基づいてユーザ２０の身体の態様を解析することで、ユーザ２０による４つの頂点Ｐの指定を受付ける。そして、受付部３０Ｃは、上記と同様に、受付けた４つの頂点Ｐの各々の実空間Ｓにおける３Ｄ位置座標と、これらの４つの頂点Ｐを結ぶラインによって表される四角形状の実空間Ｓにおける領域を表す情報を、仮想操作面ＡＲを表す仮想操作面情報として演算する。これらの処理により、受付部３０Ｃは、肘置部１６Ａ上に設定された仮想操作面ＡＲの設定を受付ける。

【0058】

この場合、受付部３０Ｃは、タッチパネル等の追加装備を情報処理システム１に別途設置することなく、実空間Ｓ上に載置された肘置部１６Ａ等の部材の表面を、仮想操作面ＡＲとして設定を受付けることができる。

【0059】

また、受付部３０Ｃは、実空間Ｓにおける位置および範囲の少なくとも一方の異なる複数の仮想操作面ＡＲの設定を受付けてもよい。

【0060】

図６Ａは、複数の仮想操作面ＡＲの設定の受付の一例の説明図である。図６Ａには、ユーザ２０が腕部２０Ａを支点Ｆとして２つの仮想操作面ＡＲ（仮想操作面ＡＲａ、仮想操作面ＡＲｂ）の設定を入力する場面を示す。

【0061】

例えば、ユーザ２０は、ユーザ２０の肘部２０Ａ１を支点とし、機器１４の操作受付面１４Ａに応じた形状の仮想操作面ＡＲを上記と同様にして設定し、決定操作を行う。このとき、ユーザ２０は、実空間Ｓにおける位置、領域、および範囲の少なくとも１つの異なる複数の仮想操作面ＡＲを設定してよい。

【0062】

受付部３０Ｃは、画像取得部３０Ａで取得した撮影画像の検出部３０Ｂによる特定部位の検出結果である特定部位の３Ｄ位置座標に基づいてユーザ２０の身体の態様を解析することで、複数の仮想操作面ＡＲの各々を表す仮想操作面情報によって表される仮想操作面ＡＲの設定を受付ける。また、受付部３０Ｃは、上記と同様にして複数の仮想操作面ＡＲの各々の設定時の支点Ｆの支点位置情報を特定する。

【0063】

そして、受付部３０Ｃは、上記と同様にして、設定を受付けた複数の仮想操作面ＡＲの仮想操作面情報と、複数の該仮想操作面ＡＲの各々の設定の受付時に支点Ｆとされた身体の部位およびＤにおける該部位の３Ｄ位置座標を表す支点位置情報とを、設定部３０Ｄへ出力すればよい。

【0064】

図６Ｂは、複数の仮想操作面ＡＲの設定の受付の一例の説明図である。図６Ｂには、ユーザ２０が手首部２０Ａ２を支点Ｆとして２つの仮想操作面ＡＲ（仮想操作面ＡＲｃ、仮想操作面ＡＲｄ）の設定を入力する場面を示す。

【0065】

例えば、ユーザ２０は、ユーザ２０の手首部２０Ａ２を支点とし、機器１４の操作受付面１４Ａに応じた形状の仮想操作面ＡＲを上記と同様にして設定し、決定操作を行う。このとき、ユーザ２０は、実空間Ｓにおける位置、領域、および範囲の少なくとも１つの異なる複数の仮想操作面ＡＲを設定してよい。

【0066】

受付部３０Ｃは、画像取得部３０Ａで取得した撮影画像の検出部３０Ｂによる特定部位の検出結果である特定部位の３Ｄ位置座標に基づいてユーザ２０の身体の態様を解析することで、複数の仮想操作面ＡＲの各々を表す仮想操作面情報によって表される仮想操作面ＡＲ（仮想操作面ＡＲｃ、仮想操作面ＡＲｄ）の設定を受付ける。

【0067】

そして、受付部３０Ｃは、上記と同様にして、設定を受付けた複数の仮想操作面ＡＲの各々の仮想操作面情報と、複数の該仮想操作面ＡＲの各々の設定の受付時に支点Ｆとされた身体の部位および実空間Ｓにおける該部位の３Ｄ位置情報を表す支点位置情報と、を設定部３０Ｄへ出力すればよい。

【0068】

図６Ｃは、複数の仮想操作面ＡＲの設定の受付の一例の説明図である。図６Ｃには、ユーザ２０が左右双方の腕部２０Ａの各々の肘部２０Ａ１を支点Ｆとして、右手用および左手用の各々用の２つの仮想操作面ＡＲ（仮想操作面ＡＲｅ、仮想操作面ＡＲｆ）の設定を入力する場面を示す。

【0069】

例えば、ユーザ２０は、ユーザ２０の左右の腕部２０Ａの各々の肘部２０Ａ１を支点Ｆとし、機器１４の操作受付面１４Ａに応じた形状の仮想操作面ＡＲを上記と同様にして設定し、決定操作を行う。

【0070】

受付部３０Ｃは、画像取得部３０Ａで取得した撮影画像の検出部３０Ｂによる特定部位の検出結果である特定部位の３Ｄ位置座標に基づいてユーザ２０の身体の態様を解析することで、複数の仮想操作面ＡＲの各々を表す仮想操作面情報によって表される仮想操作面ＡＲ（仮想操作面ＡＲｅ、仮想操作面ＡＲｆ）の設定を受付ける。

【0071】

【0072】

図３に戻り説明を続ける。

【0073】

設定部３０Ｄは、仮想操作面ＡＲの設定の受付時に支点Ｆとされた支点位置情報と、仮想操作面ＡＲを表す仮想操作面情報と、を対応付けて仮想操作面管理情報３２Ｂに登録する。

【0074】

２Ｄ座標変換部３０Ｅは、検出部３０Ｂによって特定された、撮影画像に写り込んだユーザ２０の身体の部位の各々の３Ｄ位置座標を、機器１４の操作受付面１４Ａ上の２Ｄ位置座標に変換する。特定部位の３Ｄ位置座標を操作受付面１４Ａ上の２Ｄ位置座標に変換する座標変換処理には、公知の方法を用いればよい。

【0075】

操作制御部３０Ｆは、ユーザ２０の身体の部位と、仮想操作面ＡＲとの位置関係に基づいて、機器１４を操作する。

【0076】

操作制御部３０Ｆは、ユーザ２０の予め定められた身体の部位が仮想操作面ＡＲに接触または仮想操作面ＡＲの通過を判定したときに、機器１４に対する操作開始を判定し、操作開始の判定後の身体の部位の動作態様に応じた操作を機器１４に対して実行する。

【0077】

ユーザ２０の予め定められた身体の部位は、腕部２０Ａにおける、肘部２０Ａ１より指部２０Ａ３側の部位、手首部２０Ａ２より指部２０Ａ３側の部位、指部２０Ａ３、等である。仮想操作面ＡＲに対する操作判定に用いるユーザ２０の身体の部位は予め定めればよく、これらの部位に限定されない。本実施形態では、仮想操作面ＡＲに対する操作判定に用いるユーザ２０の身体の部位が、少なくとも腕部２０Ａにおける肘部２０Ａ１より指部２０Ａ３側の部位である形態を想定して説明する。

【0078】

ユーザ２０の予め定められた身体の部位が仮想操作面ＡＲを通過するとは、ユーザ２０の予め定められた身体の部位が仮想操作面ＡＲより機器１４側の領域に位置された状態を意味する。また、詳細を後述するが、ユーザ２０の予め定められた身体の部位が仮想操作面ＡＲの通過状態から解除されるとは、ユーザ２０の予め定められた身体の部位が仮想操作面ＡＲよりユーザ２０の本体側に位置された状態を意味する。

【0079】

詳細には、操作制御部３０Ｆは、判定部３０Ｇと、機能実行部３０Ｈと、表示出力部３０Ｉと、を備える。

【0080】

判定部３０Ｇは、仮想操作面ＡＲと、ユーザ２０の身体の態様の検出部３０Ｂによる検出結果と、を用いて、仮想操作面ＡＲに対するユーザ２０の身体の部位の位置関係および機器１４に対する処理内容を判定する。処理内容は、例えば、タッチダウン、タッチアップ、フリック、ドラッグ等であるがこれらに限定されない。

【0081】

機能実行部３０Ｈは、判定部３０Ｇの判定結果によって表される処理内容を実行する。表示出力部３０Ｉは、処理内容を実行した結果を機器１４の操作受付面１４Ａへ表示させる。

【0082】

操作制御部３０Ｆによる処理について詳細に説明する。

【0083】

図７Ａ～図７Ｃは、椅子１６等に着座した状態のユーザ２０が肘部２０Ａ１を支点Ｆとして仮想操作面ＡＲに対して操作を行う場合の一例の説明図である。

【0084】

図７Ａは、ユーザ２０の指部２０Ａ３が一定速度以上で振り下ろされて停止または振り上げられた動作による、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0085】

図７Ａに示すように、例えば、ユーザ２０が肘部２０Ａ１を支点Ｆとして肘部２０Ａ１より指部２０Ａ３側を一定速度以上で動かして振り下ろし、指部２０Ａ３が仮想操作面ＡＲを通過した状態で停止した場面を想定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、仮想操作面管理情報３２Ｂに記憶されている仮想操作面情報によって特定される仮想操作面ＡＲをユーザ２０の指部２０Ａ３が通過したことを判定すると、機器１４に対する操作開始を判定する。

【0086】

また、操作制御部３０Ｆは、該指部２０Ａ３の通過した仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。このため、ユーザ２０が実空間Ｓに対して任意の動作を行うことで、仮想操作面管理情報３２Ｂに登録されている１または複数の仮想操作面情報によって特定される複数の仮想操作面ＡＲの内、ユーザ２０の指部２０Ａ３の通過を判定された１または複数の仮想操作面ＡＲが、機器１４の操作に用いる仮想操作面ＡＲとして特定される。

【0087】

このとき、操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、ユーザ２０が支点Ｆとしている身体の部位を特定する。ここでは、操作制御部３０Ｆが肘部２０Ａ１を支点Ｆとして特定した場面を想定する。操作制御部３０Ｆは、指部２０Ａ３の通過した仮想操作面ＡＲの仮想操作面情報として、複数の仮想操作面情報が仮想操作面管理情報３２Ｂに記憶されている場合、支点Ｆとして特定した身体の部位を表す支点位置情報に対応付けられている仮想操作面情報によって表される仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。

【0088】

そして、操作制御部３０Ｆは、ユーザ２０の、特定した仮想操作面ＡＲおよび仮想操作面ＡＲより機器１４側に位置されている指部２０Ａ３の動作態様に応じた操作を機器１４に対して実行する。

【0089】

詳細には、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で停止したときに、タッチダウン操作がなされたと判定する。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲを通過した状態で停止した指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0090】

そして、操作制御部３０Ｆは、操作受付面１４Ａにおける特定した操作位置Ｌに対するダッチダウン操作に応じた操作を、機器１４に対して実行する。

【0091】

また、例えば、ユーザ２０が肘部２０Ａ１を支点Ｆとして肘部２０Ａ１より指部２０Ａ３側を動かして振り上げ、指部２０Ａ３が仮想操作面ＡＲの通過状態から解除された場面を想定する。この場合、操作制御部３０Ｆは、タッチアップ操作がなされたと判定する。そして、操作制御部３０Ｆは、操作受付面１４Ａにおける上記特定した操作位置Ｌに対するタッチアップ操作に応じた操作を、機器１４に対して実行する。

【0092】

図７Ｂは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で摘み動作を行った場合の、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0093】

図７Ｂに示すように、例えば、ユーザ２０が肘部２０Ａ１を支点Ｆとして肘部２０Ａ１より指部２０Ａ３側を一定速度以上で動かし、指部２０Ａ３が仮想操作面ＡＲを通過した状態で指部２０Ａ３により仮想物体を摘まむような摘み動作を行った場面を想定する。

【0094】

操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、仮想操作面管理情報３２Ｂに記憶されている仮想操作面情報によって特定される仮想操作面ＡＲをユーザ２０の指部２０Ａ３が通過したことを判定すると、機器１４に対する操作開始を判定する。

【0095】

また、上記と同様に、操作制御部３０Ｆは、該指部２０Ａ３の通過した仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。また、上記と同様に、操作制御部３０Ｆは、ユーザ２０が支点Ｆとしている身体の部位を特定する。そして、操作制御部３０Ｆは、ユーザ２０の、特定した仮想操作面ＡＲおよび仮想操作面ＡＲより機器１４側に位置されている指部２０Ａ３の動作態様に応じた操作を機器１４に対して実行する。

【0096】

詳細には、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で摘み動作を行った時に、タッチダウン操作がなされたと判定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を用いて摘み動作を行ったか否かを判定すればよい。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲを通過した状態で指部２０Ａ３による摘み動作の行われた地点の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該摘み動作の行われた地点の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0097】

【0098】

また、例えば、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で指を開き、摘み動作が解除された場面を想定する。この場合、操作制御部３０Ｆは、タッチアップ操作がなされたと判定する。そして、操作制御部３０Ｆは、操作受付面１４Ａにおける上記特定した操作位置Ｌに対するタッチアップ操作に応じた操作を、機器１４に対して実行する。

【0099】

なお、操作制御部３０Ｆは、仮想操作面ＡＲを受付けた設定位置よりユーザ２０の肘部２０Ａ１側に再設定し、再設定した仮想操作面ＡＲとユーザ２０の身体の部位との位置関係に基づいて、機器１４を操作してもよい。

【0100】

図７Ｃは、操作制御部３０Ｆが、機器１４の操作に用いる仮想操作面ＡＲとして特定した仮想操作面ＡＲの位置をユーザ２０の手首部２０Ａ２より肘部２０Ａ１側に再設定し、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で摘み動作を行った場合の、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0101】

図７Ｃに示すように、例えば、操作制御部３０Ｆは、仮想操作面ＡＲを受付けた設定位置よりユーザ２０の肘部２０Ａ１側に再設定する。図７Ｃには、仮想操作面ＡＲが肘部２０Ａ１と手首部２０Ａ２との間の位置に再設定された状態を一例として示す。

【0102】

そして、例えば、ユーザ２０が肘部２０Ａ１を支点Ｆとして肘部２０Ａ１より指部２０Ａ３側を一定速度以上で動かし、指部２０Ａ３が仮想操作面ＡＲを通過した状態で指部２０Ａ３により仮想物体を摘まむような摘み動作を行った場面を想定する。

【0103】

操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、再設定した仮想操作面ＡＲをユーザ２０の腕部２０Ａが通過したことを判定すると、機器１４に対する操作開始を判定する。

【0104】

そして、図７Ｂを用いて説明したパタンと同様に、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で摘み動作を行った時に、タッチダウン操作がなされたと判定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を用いて摘み動作を行ったか否かを判定すればよい。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲを通過した状態で指部２０Ａ３による摘み動作の行われた時の、腕部２０Ａと仮想操作面ＡＲとの交点を特定する。そして、操作制御部３０Ｆは、特定した該交点の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該交点の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0105】

【0106】

【0107】

図８Ａ～図８Ｂは、椅子１６等に着座した状態のユーザ２０が肘部２０Ａ１および手首部２０Ａ２を支点Ｆとして仮想操作面ＡＲに対して操作を行う場合の一例の説明図である。

【0108】

図８Ａは、ユーザ２０の指部２０Ａ３が一定速度以上で振り下ろされて停止または振り上げられた動作による、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0109】

図８Ａに示すように、例えば、ユーザ２０が肘部２０Ａ１を支点Ｆとして肘部２０Ａ１より指部２０Ａ３側を一定速度以上で動かして振り下ろし、指部２０Ａ３が仮想操作面ＡＲに接触した状態で停止した場面を想定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、仮想操作面管理情報３２Ｂに記憶されている仮想操作面情報によって特定される仮想操作面ＡＲにユーザ２０の指部２０Ａ３が接触したことを判定すると、機器１４に対する操作開始を判定する。

【0110】

また、操作制御部３０Ｆは、該指部２０Ａ３の接触した仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。このため、ユーザ２０が実空間Ｓに対して任意の動作を行うことで、仮想操作面管理情報３２Ｂに登録されている１または複数の仮想操作面情報によって特定される複数の仮想操作面ＡＲの内、ユーザ２０の指部２０Ａ３の接触を判定された１または複数の仮想操作面ＡＲが、機器１４の操作に用いる仮想操作面ＡＲとして特定される。また、上記と同様に、操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、ユーザ２０が支点Ｆとしている身体の部位を特定する。

【0111】

そして、操作制御部３０Ｆは、特定した機器１４の操作に用いる仮想操作面ＡＲとユーザ２０の指部２０Ａ３の動作態様に応じた操作を機器１４に対して実行する。

【0112】

詳細には、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲに接触した状態で停止したときに、タッチダウン操作がなされたと判定する。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲに接触した状態で停止した指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0113】

【0114】

また、例えば、ユーザ２０が肘部２０Ａ１を支点Ｆとして手首部２０Ａ２および指部２０Ａ３を動かし、指部２０Ａ３の仮想操作面ＡＲへの接触状態が解除された場面を想定する。この場合、操作制御部３０Ｆは、タッチアップ操作がなされたと判定する。そして、操作制御部３０Ｆは、操作受付面１４Ａにおける上記特定した操作位置Ｌに対するタッチアップ操作に応じた操作を、機器１４に対して実行する。

【0115】

図８Ｂは、ユーザ２０の手首部２０Ａ２および指部２０Ａ３が仮想操作面ＡＲを通過した状態で手首部２０Ａ２および指部２０Ａ３を伸ばすまたは手首部２０Ａ２および指部２０Ａ３を縮ませる動作を行った場合の、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0116】

図８Ｂに示すように、例えば、ユーザ２０が肘部２０Ａ１を支点Ｆとして肘部２０Ａ１より指部２０Ａ３側を一定速度以上で動かし、指部２０Ａ３が仮想操作面ＡＲを通過した状態で、手首部２０Ａ２および指部２０Ａ３を伸ばす動作を行った場面を想定する。

【0117】

操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、仮想操作面管理情報３２Ｂに記憶されている仮想操作面情報によって特定される仮想操作面ＡＲをユーザ２０の手首部２０Ａ２および指部２０Ａ３が通過したことを判定すると、機器１４に対する操作開始を判定する。

【0118】

また、上記と同様に、操作制御部３０Ｆは、該手首部２０Ａ２および指部２０Ａ３の通過した仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。また、上記と同様に、操作制御部３０Ｆは、ユーザ２０が支点Ｆとしている身体の部位を特定する。そして、操作制御部３０Ｆは、ユーザ２０の、特定した仮想操作面ＡＲおよび仮想操作面ＡＲより機器１４側に位置されている指部２０Ａ３の動作態様に応じた操作を機器１４に対して実行する。

【0119】

詳細には、操作制御部３０Ｆは、ユーザ２０の手首部２０Ａ２および指部２０Ａ３が仮想操作面ＡＲを通過した状態で、これらの手首部２０Ａ２および指部２０Ａ３を伸ばす動作が行われた時に、タッチダウン操作がなされたと判定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を用いて、手首部２０Ａ２および指部２０Ａ３の関節角度を監視し、これらの関節角度が手首部２０Ａ２および指部２０Ａ３が伸びていると判別するための閾値以上である場合、手首部２０Ａ２および指部２０Ａ３を伸ばす動作が行われたと判定すればよい。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲを通過した状態で伸ばされた状態の指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0120】

【0121】

また、例えば、ユーザ２０の手首部２０Ａ２および指部２０Ａ３が仮想操作面ＡＲを通過した状態で縮められた場面を想定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を用いて、手首部２０Ａ２および指部２０Ａ３の関節角度を監視し、これらの関節角度が手首部２０Ａ２および指部２０Ａ３が縮められたと判別するための閾値未満である場合、手首部２０Ａ２および指部２０Ａ３を縮める動作が行われたと判定すればよい。

【0122】

この場合、操作制御部３０Ｆは、タッチアップ操作がなされたと判定する。そして、操作制御部３０Ｆは、操作受付面１４Ａにおける上記特定した操作位置Ｌに対するタッチアップ操作に応じた操作を、機器１４に対して実行する。

【0123】

図９Ａ～図９Ｅは、椅子１６等に着座した状態のユーザ２０が手首部２０Ａ２を支点Ｆとして仮想操作面ＡＲに対して操作を行う場合の一例の説明図である。

【0124】

図９Ａは、ユーザ２０が手首部２０Ａ２を支点Ｆとして仮想操作面ＡＲに接触または接触を解除する動作による、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0125】

図９Ａに示すように、例えば、ユーザ２０が手首部２０Ａ２を支点Ｆとして手首部２０Ａ２より指部２０Ａ３側を動かし、仮想操作面ＡＲに接触した場面を想定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、仮想操作面管理情報３２Ｂに記憶されている仮想操作面情報によって特定される仮想操作面ＡＲにユーザ２０の指部２０Ａ３が接触したことを判定すると、機器１４に対する操作開始を判定する。

【0126】

また、操作制御部３０Ｆは、該指部２０Ａ３の接触した仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。また、上記と同様に、操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、ユーザ２０が支点Ｆとしている身体の部位を特定する。ここでは、操作制御部３０Ｆが手首部２０Ａ２を支点Ｆとして特定した場面を想定する。

【0127】

そして、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲに接触したときに、タッチダウン操作がなされたと判定する。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲに接触した指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。

【0128】

【0129】

また、例えば、ユーザ２０が手首部２０Ａ２を支点Ｆとして手首部２０Ａ２より指部２０Ａ３側の部分を縮ませ、指部２０Ａ３が仮想操作面ＡＲへの接触状態から解除された場面を想定する。この場合、操作制御部３０Ｆは、タッチアップ操作がなされたと判定する。そして、操作制御部３０Ｆは、操作受付面１４Ａにおける上記特定した操作位置Ｌに対するタッチアップ操作に応じた操作を、機器１４に対して実行する。

【0130】

図９Ｂは、ユーザ２０が手首部２０Ａ２を支点Ｆとして仮想操作面ＡＲを指部２０Ａ３が通過した状態または通過した状態を解除する動作による、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0131】

図９Ｂに示すように、例えば、ユーザ２０が手首部２０Ａ２を支点Ｆとして手首部２０Ａ２より指部２０Ａ３側を動かし、指部２０Ａ３が仮想操作面ＡＲを通過した場面を想定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、仮想操作面管理情報３２Ｂに記憶されている仮想操作面情報によって特定される仮想操作面ＡＲをユーザ２０の指部２０Ａ３が通過したことを判定すると、機器１４に対する操作開始を判定する。

【0132】

また、操作制御部３０Ｆは、該指部２０Ａ３の通過した仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。また、上記と同様に、操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、ユーザ２０が支点Ｆとしている身体の部位を特定する。ここでは、操作制御部３０Ｆが手首部２０Ａ２を支点Ｆとして特定した場面を想定する。

【0133】

そして、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で、手首部２０Ａ２および指部２０Ａ３を伸ばす動作が行われた時に、タッチダウン操作がなされたと判定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を用いて、手首部２０Ａ２および指部２０Ａ３の関節角度を監視し、これらの関節角度が手首部２０Ａ２および指部２０Ａ３が伸びていると判別するための閾値以上である場合、手首部２０Ａ２および指部２０Ａ３を伸ばす動作が行われたと判定すればよい。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲを通過した状態で伸ばされた状態の指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0134】

【0135】

また、例えば、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で縮められた場面を想定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を用いて、手首部２０Ａ２および指部２０Ａ３の関節角度を監視し、これらの関節角度が指部２０Ａ３の縮められた動作と判別するための閾値未満である場合、指部２０Ａ３を縮める動作が行われたと判定すればよい。

【0136】

【0137】

図９Ｃは、ユーザ２０が手首部２０Ａ２を支点Ｆとして仮想操作面ＡＲを指部２０Ａ３が通過した状態または指部２０Ａ３を振り上げる動作による、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0138】

ユーザ２０が手首部２０Ａ２を支点Ｆとし、指部２０Ａ３側を一定速度以上で動かして振り下ろし、指部２０Ａ３が仮想操作面ＡＲを通過した状態で停止した場面を想定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を解析することで、仮想操作面管理情報３２Ｂに記憶されている仮想操作面情報によって特定される仮想操作面ＡＲをユーザ２０の指部２０Ａ３が通過したことを判定すると、機器１４に対する操作開始を判定する。

【0139】

また、操作制御部３０Ｆは、該指部２０Ａ３の通過した仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。また、操作制御部３０Ｆは、上記と同様にして、ユーザ２０が支点Ｆとしている身体の部位を特定する。ここでは、検出部３０Ｂが手首部２０Ａ２を支点Ｆとして特定した場面を想定する。

【0140】

そして、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で停止したときに、タッチダウン操作がなされたと判定する。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲを通過した状態で停止した指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0141】

【0142】

また、例えば、ユーザ２０が手首部２０Ａ２を支点Ｆとして手首部２０Ａ２および指部２０Ａ３を動かして指部２０Ａ３Ｂを振り上げた場面を想定する。この場合、操作制御部３０Ｆは、タッチアップ操作がなされたと判定する。そして、操作制御部３０Ｆは、操作受付面１４Ａにおける上記特定した操作位置Ｌに対するタッチアップ操作に応じた操作を、機器１４に対して実行する。

【0143】

図９Ｄは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で摘み動作を行った場合の、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0144】

図９Ｄに示すように、例えば、ユーザ２０が手首部２０Ａ２を支点Ｆとして指部２０Ａ３を一定速度以上で動かし、指部２０Ａ３が仮想操作面ＡＲを通過した状態で仮想物体を摘まむような摘み動作を行った場面を想定する。

【0145】

【0146】

また、上記と同様に、操作制御部３０Ｆは、該指部２０Ａ３の通過した仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する。また、上記と同様に、操作制御部３０Ｆは、ユーザ２０が支点Ｆとしている身体の部位を特定する。そして、操作制御部３０Ｆは、特定した機器１４の操作に用いる仮想操作面ＡＲとユーザ２０の、仮想操作面ＡＲおよび仮想操作面ＡＲより機器１４側に位置されている指部２０Ａ３の動作態様に応じた操作を機器１４に対して実行する。

【0147】

詳細には、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で摘み動作を行った時に、タッチダウン操作がなされたと判定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を用いて摘み動作を行ったか否かを判定すればよい。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲを通過した状態で指部２０Ａ３による摘み動作の行われた地点の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0148】

【0149】

【0150】

図９Ｅは、操作制御部３０Ｆが、機器１４の操作に用いる仮想操作面ＡＲとして特定した仮想操作面ＡＲの位置をユーザ２０の肘部２０Ａ１側に再設定し、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で摘み動作を行った場合の、操作制御部３０Ｆによる操作実行処理の一例の説明図である。

【0151】

図９Ｅに示すように、例えば、操作制御部３０Ｆは、仮想操作面ＡＲを受付けた設定位置よりユーザ２０の肘部２０Ａ１側に再設定する。図９Ｅには、指部２０Ａ３の先端部に相当する位置に配置されていた仮想操作面ＡＲが手首部２０Ａ２側の位置に再設定された状態を一例として示す。

【0152】

そして、例えば、ユーザ２０が手首部２０Ａ２を支点Ｆとして指部２０Ａ３を一定速度以上で動かし、指部２０Ａ３が再設定された仮想操作面ＡＲを通過した状態で仮想物体を摘まむような摘み動作を行った場面を想定する。

【0153】

【0154】

【0155】

詳細には、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３が仮想操作面ＡＲを通過した状態で摘み動作を行った時に、タッチダウン操作がなされたと判定する。操作制御部３０Ｆは、検出部３０Ｂによる検出結果を用いて摘み動作を行ったか否かを判定すればよい。また、操作制御部３０Ｆは、検出部３０Ｂによって検出された、仮想操作面ＡＲを通過した状態で指部２０Ａ３による摘み動作の行われた地点の実空間Ｓにおける３Ｄ位置座標を、機器１４の操作受付面１４Ａに対する操作位置Ｌとして特定する。詳細には、操作制御部３０Ｆは、該指部２０Ａ３の実空間Ｓにおける３Ｄ位置座標を２Ｄ座標変換部３０Ｅにより変換した２Ｄ位置座標を、操作受付面１４Ａ上の操作位置Ｌとして特定する。

【0156】

【0157】

【0158】

なお、図７Ｂ、図７Ｃ、図９Ｄ、および図９Ｅ等を用いて説明した摘み動作に基づく判定はあくまでも一例であり、機器１４に対する処理内容を表すユーザ２０の動作は、摘み動作に限定されない。例えば、操作制御部３０Ｆは、ユーザ２０の指部２０Ａ３の上下やユーザ２０によるその他のハンドジェスチャ等の動作に基づいて、タッチアップ、タッチダウン、などの処理内容を表す操作がなされたと判定してもよい。この場合、例えば、記憶部３２は、ユーザ２０の動作を表す動作情報と、該動作情報によって表される処理内容と、を対応付けて予め記憶すればよい。処理内容は、上述したように、例えば、タッチダウン、タッチアップ、フリック、ドラッグ等であるがこれらに限定されない。そして、操作制御部３０Ｆは、検出部３０Ｂによる検出結果によって表される動作の動作情報に対応する処理内容を記憶部３２から特定することで、該処理内容によって表される操作がなされたと判定すればよい。そして、操作制御部３０Ｆは、判定した操作を機器１４に対して実行すればよい。

【0159】

図７Ａ～図９Ｅを用いて説明したように操作制御部３０Ｆは、ユーザ２０の予め定められた身体の部位が仮想操作面ＡＲに接触または仮想操作面ＡＲの通過を判定したときに、機器１４に対する操作開始を判定し、操作開始の判定後の身体の部位の動作態様に応じた操作を機器１４に対して実行する。

【0160】

ここで、仮想操作面ＡＲに対して操作中のユーザ２０の腕部２０Ａが動かされ、支点Ｆ位置が移動する場合がある。そこで、操作制御部３０Ｆは、仮想操作面ＡＲに対応するユーザ２０の支点Ｆとする特定部位の移動を検出したときに、支点Ｆの移動に応じた位置姿勢に仮想操作面ＡＲを再設定することが好ましい。

【0161】

図１０Ａは、肘部２０Ａ１を支点Ｆとして設定された仮想操作面ＡＲに対するユーザ２０の操作時に、ユーザ２０の支点Ｆとする肘部２０Ａ１の位置が支点Ｆ’の位置に移動した場面の一例の説明図である。

【0162】

この場合、操作制御部３０Ｆは、ユーザ２０の特定部位である支点Ｆの移動に応じて、移動前の支点Ｆから移動後の支点Ｆ’への各支点Ｆの支点位置情報によって特定される支点Ｆの位置移動に追従させて、機器１４に対する仮想操作面ＡＲとして特定した仮想操作面ＡＲの実空間Ｓにおける位置姿勢を移動変更することで、仮想操作面ＡＲを再設定する。図１０Ａには、支点Ｆから支点Ｆ’への支点Ｆの水平移動に応じて仮想操作面ＡＲを水平移動させた後の仮想操作面ＡＲ’を、仮想操作面ＡＲとして用いる場面の一例の説明図である。

【0163】

図１０Ｂは、手首部２０Ａ２を支点Ｆとして設定された仮想操作面ＡＲに対するユーザ２０の操作時に、ユーザ２０の支点Ｆとする手首部２０Ａ２の位置が移動した場面の一例の説明図である。

【0164】

この場合、操作制御部３０Ｆは、ユーザ２０の特定部位である支点Ｆの移動に応じて、該支点Ｆの支点位置情報によって特定される支点Ｆの位置移動に追従させて、機器１４に対する仮想操作面ＡＲとして特定した仮想操作面ＡＲの実空間Ｓにおける位置姿勢を移動変更することで、仮想操作面ＡＲを再設定する。図１０Ｂには、支点Ｆから支点Ｆ’への水平方向に対して交差する方向への移動に応じて仮想操作面ＡＲを移動させた後の仮想操作面ＡＲ’を、仮想操作面ＡＲとして用いる場面の一例の説明図である。

【0165】

なお、操作制御部３０Ｆは、支点Ｆの移動および姿勢の変動に追従させて、仮想操作面ＡＲの実空間Ｓにおける位置および姿勢（角度）を変更し再設定すればよい。

【0166】

なお、図６Ａ～図６Ｃを用いて説明したように、複数の仮想操作面ＡＲが設定される場合がある。この場合であっても、操作制御部３０Ｆは、仮想操作面管理情報３２Ｂに登録されている複数の仮想操作面情報の内、ユーザ２０の腕部２０Ａが接触または通過したと判定した仮想操作面情報によって表される仮想操作面ＡＲを用いて、上記操作実行処理を実行すればよい。すなわち、操作制御部３０Ｆは、ユーザ２０の身体の部位と複数の仮想操作面ＡＲの各々との位置関係に基づいて、機器１４を操作すればよい。

【0167】

このため、例えば、ユーザ２０が右腕および左腕の双方などを用いて複数の仮想操作面ＡＲに接触または通過した場合、操作制御部３０Ｆは、これらの接触または通過を判定した複数の仮想操作面ＡＲを、機器１４に対する操作を受付けるための仮想操作面ＡＲとして特定し、上記と同様にして操作処理を実行すればよい。

【0168】

次に、本実施形態の情報処理装置１０が実行する情報処理の流れの一例を説明する。

【0169】

図１１は、仮想操作面情報登録処理の流れの一例を示すフローチャートである。

【0170】

例えば、情報処理装置１０は、仮想操作面設定開始指示を受付けると、図１１に示す仮想操作面情報登録処理を実行する。例えば、情報処理装置１０は、ユーザ２０のジェスチャの撮影画像の解析、またはユーザ２０による入力部１８の操作指示によって仮想操作面設定開始指示の受付けを判断すると、図１１に示す仮想操作面情報登録処理を実行する。なお、撮影部１２は時系列に沿ってユーザ２０を順次撮影し、撮影によって得られた撮影画像を順次画像取得部３０Ａへ出力するものとする。

【0171】

情報処理装置１０の検出部３０Ｂは、画像取得部３０Ａで取得した撮影画像に含まれる、ユーザ２０の特定部位であるランドマークの検出を開始する（ステップＳ１００）。検出部３０Ｂは、ユーザ２０の腕部２０Ａ、肘部２０Ａ１、手首部２０Ａ２、指部２０Ａ３、等のランドマークである特定部位の特定、および特定した特定部位の各々の実空間Ｓにおける３Ｄ位置座標の特定を開始する。

【0172】

受付部３０Ｃは、仮想操作面ＡＲの設定を受付ける（ステップＳ１０２）。例えば、ユーザ２０は、ユーザ２０の肘部２０Ａ１を支点Ｆとし、機器１４の操作受付面１４Ａに応じた形状の仮想操作面ＡＲを設定する。具体的には、上述したように、ユーザ２０は、椅子１６に着座した状態で肘部２０Ａ１または手首部２０Ａ２等を支点Ｆとして手首部２０Ａ２および指部２０Ａ３等を動かし、４つの頂点Ｐを実空間Ｓ上に指定する。これらの４つの頂点Ｐの指定を受付けることで、受付部３０Ｃは、仮想操作面ＡＲの設定を受付ける。

【0173】

受付部３０Ｃは、決定指示を受付けたか否かを判断する（ステップＳ１０４）。受付部３０Ｃは、ユーザ２０による入力部１８の操作指示、またはユーザ２０による予め定められたジェスチャを判定したときに、決定指示を受付けたと判断する。ステップＳ１０４で否定判断すると（ステップＳ１０４：Ｎｏ）、上記ステップＳ１０２へ戻る。ステップＳ１０４で肯定判断すると（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０６へ進む。

【0174】

ステップＳ１０６では、４つの頂点Ｐが設定済であるか否かを判断する（ステップＳ１０６）。ステップＳ１０６で否定判断すると（ステップＳ１０６：Ｎｏ）、上記ステップＳ１０２へ戻る。ステップＳ１０６で肯定判断すると（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０８へ進む。

【0175】

ステップＳ１０８では、受付部３０Ｃは、仮想操作面ＡＲの設定の受付時に支点Ｆとされた支点位置情報を受付ける（ステップＳ１０８）。受付部３０Ｃは、ユーザ２０の身体の態様の解析により、ユーザ２０の何れの部位が仮想操作面ＡＲの設定の受付時に支点Ｆとされたかを判別してもよい。また、受付部３０Ｃは、ユーザによる入力部１８の操作指示によって入力された支点位置情報を受付けてもよい。

【0176】

そして、設定部３０Ｄは、受付部３０Ｃで受付けた仮想操作面ＡＲの仮想操作面情報と、該仮想操作面ＡＲの設定の受付時に支点Ｆとされた身体の部位および実空間Ｓにおける該部位の３Ｄ位置座標を表す支点位置情報と、を対応付けて仮想操作面管理情報３２Ｂへ登録する（ステップＳ１１０）。そして、本ルーチンを終了する。

【0177】

図１２は、操作実行処理の流れの一例を示すフローチャートである。

【0178】

例えば、情報処理装置１０は、操作実行開始指示を受付けると、図１２に示す操作実行処理を実行する。例えば、情報処理装置１０は、ユーザ２０のジェスチャの撮影画像の解析、またはユーザ２０による入力部１８の操作指示によって操作実行開始指示の受付けを判断すると、図１２に示す操作実行処理を実行する。なお、撮影部１２は時系列に沿ってユーザ２０を順次撮影し、撮影によって得られた撮影画像を順次画像取得部３０Ａへ出力するものとする。

【0179】

情報処理装置１０の検出部３０Ｂは、画像取得部３０Ａで取得した撮影画像に含まれる、ユーザ２０の特定部位であるランドマークの検出を開始する（ステップＳ２００）。検出部３０Ｂは、ユーザ２０の腕部２０Ａ、肘部２０Ａ１、手首部２０Ａ２、指部２０Ａ３、等のランドマークである特定部位の特定、および特定した特定部位の各々の実空間Ｓにおける３Ｄ位置座標の特定を開始する。

【0180】

操作制御部３０Ｆは、ユーザ２０の手首部２０Ａ２、指部２０Ａ３、等の予め定められた身体の部位が仮想操作面ＡＲに接触または仮想操作面ＡＲの通過を判定したときに、機器１４に対する操作開始を判定する（ステップＳ２０２）。

【0181】

また、操作制御部３０Ｆは、ステップＳ２０２の操作開始の判定の用いた仮想操作面ＡＲを、機器１４の操作に用いる仮想操作面ＡＲとして特定する（ステップＳ２０４）。

【0182】

そして、操作制御部３０Ｆは、ユーザ２０の、ステップＳ２０４で特定した仮想操作面ＡＲおよび仮想操作面ＡＲより機器１４側に位置されている腕部２０Ａの動作態様に応じた操作を特定する（ステップＳ２０６）。腕部２０Ａの動作態様は、上述したように、仮想操作面ＡＲへの接触、接触解除、指部２０Ａ３の摘み動作、摘み動作の解除、指部２０Ａ３を縮める動作、縮める動作の解除、などである。操作制御部３０Ｆは、例えば、複数種類の動作態様の各々に対応する操作を表す操作情報を予め記憶し、判定した動作態様に対応する操作情報を読み取ることで、該操作情報によって表される操作を特定すればよい。

【0183】

そして、操作制御部３０Ｆは、ステップＳ２０６で特定した操作を機器１４に対して実行する（ステップＳ２０８）。

【0184】

次に、情報処理装置１０は、操作を終了するか否かを判断する（ステップＳ２１０）。例えば、情報処理装置１０は、ユーザ２０による入力部１８の操作指示またはユーザ２０のジェスチャにより操作終了が指示されたか否かを判断する。ステップＳ２１０で否定判断すると（ステップＳ２１０：Ｎｏ）、上記ステップＳ２０６へ戻る。ステップＳ２１０で肯定判断すると（ステップＳ２１０：Ｙｅｓ）、本ルーチンを終了する。

【0185】

以上説明したように、本実施形態の情報処理装置１０は、受付部３０Ｃと、操作制御部３０Ｆと、を備える。受付部３０Ｃは、機器１４に対する操作の判定に用いるための仮想操作面ＡＲの設定を受付ける。操作制御部３０Ｆは、ユーザ２０の身体の部位と仮想操作面ＡＲとの位置関係に基づいて機器１４を操作する。

【0186】

ここで、機器１４に対する操作はユーザ２０にとって操作容易であることが望まれる。例えば、ユーザ２０の目と指先とを通る直線と機器１４の操作受付面１４Ａとの交点を操作受付面１４Ａの操作位置とすることが考えられる。しかしながら、ユーザ２０が脇を締めた状態や肘置部１６Ａに肘部２０Ａ１を置いた状態など、身体の一部を固定した楽な姿勢で操作を行う場合、指先の可動範囲が限定される。このため、従来技術では、ユーザ２０の目と指先とを通る直線と機器１４の操作受付面１４Ａとの交点の取りうる範囲が限定され、機器１４を容易に操作することは困難となる場合があった。

【0187】

一方、本実施形態の情報処理装置１０では、受付部３０Ｃが、機器１４に対する操作の判定に用いるための仮想操作面ＡＲのユーザ２０による設定を受付ける。このため、ユーザ２０は、自身の操作しやすい身体の状態で任意の仮想操作面ＡＲを実空間Ｓ上に設定することができる。例えば、椅子１６等に着座したユーザ２０は、腕部２０Ａ等を肘置部１６Ａに載置した疲労し難い楽な任意の姿勢で操作可能となるように、所望の仮想操作面ＡＲを実空間Ｓ上に設定することができる。そして、操作制御部３０Ｆは、ユーザ２０の身体の部位と仮想操作面ＡＲとの位置関係に基づいて機器１４を操作する。

【0188】

このため、本実施形態の情報処理装置１０は、実空間Ｓ上の任意の領域に設定されたユーザ２０にとって操作容易な限定された操作領域を、機器１４に対する操作の判定に用いるための仮想操作面ＡＲとして設定することができる。よって、ユーザ２０は、実空間Ｓにおける限定された操作領域である仮想操作面ＡＲを操作することで、機器１４を容易に操作することが可能となる。

【0189】

従って、本実施形態の情報処理装置１０は、仮想操作面ＡＲに対する操作を容易とすることができる。

【0190】

また、本実施形態の情報処理装置１０の受付部３０Ｃは、ユーザ２０の腕部２０Ａにおける所定部位を支点Ｆとし該腕部２０Ａにおける該所定部位より指部２０Ａ３側の部位を動かすことで設定された範囲の領域を、仮想操作面ＡＲの設定として受付けることができる。また、受付部３０Ｃは、実空間Ｓにおける肘置部１６Ａなどの部材の表面の仮想操作面ＡＲの設定を受付けることができる。

【0191】

このため、本実施形態の情報処理装置１０は、ユーザ２０によって実空間Ｓ上の任意の領域に設定されたユーザ２０にとって操作容易な限定された操作領域を、機器１４に対する操作の判定に用いるための仮想操作面ＡＲとして設定することができる。

【0192】

よって、本実施形態の情報処理装置１０は、上記効果に加えて、ユーザ２０の楽な姿勢による仮想操作面ＡＲに対する操作、およびユーザ２０の疲労軽減を図るとすることができる。

【0193】

なお、本技術は以下のような構成も取ることができる。
（１）
機器に対する操作の判定に用いるための仮想操作面の設定を受付ける受付部と、
ユーザの身体の部位と前記仮想操作面との位置関係に基づいて前記機器を操作する操作制御部と、
を備える情報処理装置。
（２）
前記受付部は、
前記機器の操作受付面に応じた形状の前記仮想操作面の設定を受付ける、
（１）に記載の情報処理装置。
（３）
前記受付部は、
ユーザの腕部における所定部位を支点として前記腕部における前記所定部位より指部側の部位を動かすことで設定された範囲の領域を、前記仮想操作面の設定として受付ける、
（１）または（２）に記載の情報処理装置。
（４）
前記受付部は、
実空間における部材の表面の前記仮想操作面の設定を受付ける、
（１）～（３）の何れか１つに記載の情報処理装置。
（５）
前記受付部は、
平面状または曲面状の前記仮想操作面の設定を受付ける、
（１）～（４）の何れか１つに記載の情報処理装置。
（６）
前記仮想操作面の設定の受付時に支点とされた支点位置情報と、前記仮想操作面を表す前記仮想操作面情報と、を対応付けて設定する設定部、
を備える（１）～（５）の何れか１つに記載の情報処理装置。
（７）
前記支点は、
ユーザの腕部における肘部および手首部の少なくとも一方である、
（６）に記載の情報処理装置。
（８）
ユーザの撮影画像を取得する画像取得部と、
前記撮影画像に基づいてユーザの身体の態様を検出する検出部と、
を備え、
前記操作制御部は、
ユーザの予め定められた身体の部位が前記仮想操作面に接触または前記仮想操作面の通過を判定したときに前記機器に対する操作開始を判定し、操作開始の判定後の身体の部位の動作態様に応じた操作を前記機器に対して実行する、
（１）～（７）の何れか１つに記載の情報処理装置。
（９）
前記操作制御部は、
前記仮想操作面を受付けた設定位置よりユーザの肘部側に再設定し、再設定した前記仮想操作面とユーザの身体の部位との位置関係に基づいて、前記機器を操作する、
（１）～（８）の何れか１つに記載の情報処理装置。
（１０）
前記操作制御部は、
前記仮想操作面に対応するユーザの支点とする特定部位の移動を検出したときに、前記支点の移動に応じた位置姿勢に前記仮想操作面を再設定する、
（１）～（９）の何れか１つに記載の情報処理装置。
（１１）
前記受付部は、
実空間における位置および範囲の少なくとも一方の異なる複数の前記仮想操作面の設定を受付ける、
（１）～（１０）の何れか１つに記載の情報処理装置。
（１２）
前記操作制御部は、
ユーザの身体の部位と複数の前記仮想操作面の各々との位置関係に基づいて前記機器を操作する、
（１１）に記載の情報処理装置。
（１３）
撮影部と、機器と、情報処理装置と、を備える情報処理システムであって、
前記情報処理装置は、
ユーザの撮影画像を前記撮影部から取得する画像取得部と、
前記撮影画像に基づいて前記ユーザの身体の態様を検出する検出部と、
前記機器に対する操作の判定に用いるための仮想操作面の設定を受付ける受付部と、
前記ユーザの身体の部位と前記仮想操作面との位置関係に基づいて前記機器を操作する操作制御部と、
を備える情報処理システム。
（１４）
機器に対する操作の判定に用いるための仮想操作面の設定を受付けるステップと、
ユーザの身体の部位と前記仮想操作面との位置関係に基づいて前記機器を操作するステップと、
を含む情報処理方法。

【0194】

なお、上記には、実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態は、発明の範囲または要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0195】

１情報処理システム
１０情報処理装置
１２撮影部
３０Ａ画像取得部
３０Ｂ検出部
３０Ｃ受付部
３０Ｄ設定部
３０Ｆ操作制御部

【図1A】