特許 7392512 情報処理装置、情報処理方法、プログラム、および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】情報処理装置、情報処理方法、プログラム、および情報処理システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231129BHJP

   G06F 3/0346 20130101ALI20231129BHJP

   G06T 13/20 20110101ALI20231129BHJP

【ＦＩ】

G06F3/01 570

G06F3/0346 422

G06T13/20

【請求項の数】 18

(21)【出願番号】P 2020027272

(22)【出願日】2020-02-20

(65)【公開番号】P2021131764

(43)【公開日】2021-09-09

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】山根 大明

【審査官】菅原 浩二

(56)【参考文献】

【文献】特開２０１７－０６７８７６（ＪＰ，Ａ）

【文献】特開２０１４－０７８０７３（ＪＰ，Ａ）

【文献】特開２０１５－０４１３２５（ＪＰ，Ａ）

【文献】特開２００３－３２５９６７（ＪＰ，Ａ）

【文献】特開２０００－２３１６２５（ＪＰ，Ａ）

【文献】特開２０１９－１３９４２４（ＪＰ，Ａ）

【文献】特開２０１６－０５７９４７（ＪＰ，Ａ）

【文献】特開２０１８－０１４１１９（ＪＰ，Ａ）

【文献】特表２０１４－５０９４２９（ＪＰ，Ａ）

【文献】特表２０１０－５３４８９５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００９２００４（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０８７４９１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｔ １３／２０

(57)【特許請求の範囲】

【請求項1】

ユーザからセンシングした身体情報を取得し、所定の判定基準に基づいて前記ユーザの身体情報に対応付けられる１以上の身体形状を判定する身体形状判定部と、
直近に判定された前記ユーザの過去の判定身体形状を記憶部から取得し、また、前記身体形状判定部で判定された現在の判定身体形状を前記記憶部に記憶する記憶管理部と、
前記過去の判定身体形状と前記現在の判定身体形状に共通する共通判定形状を抽出する共通判定形状取得部と、
前記共通判定形状取得部で抽出された共通判定形状に基づいて、仮想空間の対象物との位置関係を示す表示であるガイド物体を決定するガイド物体決定部と、
を備える、情報処理装置。

【請求項2】

前記ガイド物体は、前記ユーザからセンシングされた情報に基づいて前記ユーザの手の動きを反映するジェスチャ画像と、前記対象物である仮想物体との位置関係を示す画像である、請求項１に記載の情報処理装置。

【請求項3】

前記ガイド物体決定部は、前記共通判定形状に予め対応付けられた所定のガイド物体に決定する、請求項２に記載の情報処理装置。

【請求項4】

前記所定のガイド物体は、遠方型ガイド物体、近傍型ガイド物体、または近接型ガイド物体である、請求項３に記載の情報処理装置。

【請求項5】

各共通判定形状に対応付けられた各所定のガイド物体は、ガイド物体により示すことが可能な奥行方向の長さが異なる、請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

前記身体情報には、前記ユーザの腕の状態が含まれる、請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記身体情報は、前記ユーザの前腕と上腕の間の角度である、請求項６に記載の情報処理装置。

【請求項8】

前記所定の判定基準は、１つの身体情報に２つの身体形状が対応付けられた基準を含む、請求項１～７のいずれか１項に記載の情報処理装置。

【請求項9】

前記情報処理装置は、
前記身体情報の変化に応じて、前記判定基準を変更する判定基準変更部をさらに備える、請求項１～８のいずれか１項に記載の情報処理装置。

【請求項10】

前記情報処理装置は、
前記ユーザからセンシングされた情報に基づいて生成される前記ユーザの手の動きを反映するジェスチャ画像の前記仮想空間における未検出時間に応じて、前記判定基準を変更する判定基準変更部をさらに備える、請求項１～９のいずれか１項に記載の情報処理装置。

【請求項11】

前記情報処理装置は、
前記ガイド物体決定部により決定されたガイド物体の情報を、仮想空間に関する処理を行う外部装置に出力する、請求項１～１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記情報処理装置は、
前記ガイド物体決定部による決定に基づいて、前記ガイド物体の表示を生成するガイド物体生成部をさらに備える、請求項１～１０のいずれか１項に記載の情報処理装置。

【請求項13】

前記情報処理装置は、
前記生成したガイド物体の表示を、仮想空間に関する処理を行う外部装置に出力する、請求項１２に記載の情報処理装置。

【請求項14】

前記情報処理装置は、
前記生成したガイド物体を仮想空間に配置するガイド物体配置部をさらに備える、請求項１２に記載の情報処理装置。

【請求項15】

前記情報処理装置は、
前記ユーザからセンシングされた情報に基づいて生成される前記ユーザの手の動きを反映するジェスチャ画像と、前記ジェスチャ画像と前記対象物との位置関係を示すガイド物体が表示された仮想空間の画像を表示する表示部をさらに備える、請求項１～１４のいずれか１項に記載の情報処理装置。

【請求項16】

プロセッサが、
ユーザからセンシングした身体情報を取得し、所定の判定基準に基づいて前記ユーザの身体情報に対応付けられる１以上の身体形状を判定することと、
直近に判定された前記ユーザの過去の判定身体形状を記憶部から取得し、また、前記判定された現在の判定身体形状を前記記憶部に記憶することと、
前記過去の判定身体形状と前記現在の判定身体形状に共通する共通判定形状を抽出することと、
前記抽出された共通判定形状に基づいて、仮想空間の対象物との位置関係を示す表示であるガイド物体を決定することと、
を含む、情報処理方法。

【請求項17】

コンピュータを、
ユーザからセンシングした身体情報を取得し、所定の判定基準に基づいて前記ユーザの身体情報に対応付けられる１以上の身体形状を判定する身体形状判定部と、
直近に判定された前記ユーザの過去の判定身体形状を記憶部から取得し、また、前記身体形状判定部で判定された現在の判定身体形状を前記記憶部に記憶する記憶管理部と、
前記過去の判定身体形状と前記現在の判定身体形状に共通する共通判定形状を抽出する共通判定形状取得部と、
前記共通判定形状取得部で抽出された共通判定形状に基づいて、仮想空間の対象物との位置関係を示す表示であるガイド物体を決定するガイド物体決定部と、
として機能させるための、プログラム。

【請求項18】

ユーザからセンシングした身体情報を取得し、所定の判定基準に基づいて前記ユーザの身体情報に対応付けられる１以上の身体形状を判定する身体形状判定部と、
直近に判定された前記ユーザの過去の判定身体形状を記憶部から取得し、また、前記身体形状判定部で判定された現在の判定身体形状を前記記憶部に記憶する記憶管理部と、
前記過去の判定身体形状と前記現在の判定身体形状に共通する共通判定形状を抽出する共通判定形状取得部と、
前記共通判定形状取得部で抽出された共通判定形状に基づいて、仮想空間の対象物との位置関係を示す表示であるガイド物体を決定するガイド物体決定部と、
前記ガイド物体決定部により決定されたガイド物体の表示を生成するガイド物体生成部と、
前記生成したガイド物体を仮想空間に配置するガイド物体配置部と、
を備える、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラム、および情報処理システムに関する。

【背景技術】

【0002】

従来、作業者が存在する拠点および指示者が存在する拠点の間でネットワークを介して音声および映像を送受信することで、指示者が作業者側の映像を見ながら作業者に対して作業を指示するためのシステムが提案されている。

【0003】

指示者から作業者への指示は、作業者側の端末が音声または表示を出力することにより行われ得る。また、特許文献１には、作業者側で操作されるべき操作位置をレーザーポインターにより指示する装置が開示されている。

【0004】

また、近年、ＣＧ（コンピューターグラフィックス）や３ＤＣＧ（３次元ＣＧ）により生成された仮想空間が様々なシーンに活用されている。例えば下記特許文献２では、ＨＭＤ（Head-Mounted Device）を装着したユーザの身体の動きをトラッキングし、仮想空間に表示したアバターに反映させる技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第４０８９８５４号公報

【文献】特許第６２７５８９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、仮想空間に表示されたユーザの身体のグラフィックスにより仮想物体（仮想空間に表示されるユーザの身体のグラフィックス以外の画像）に対して何らかのアプローチ（距離を縮める、掴む、触る、弾くなど）を行おうとした場合に、仮想物体との位置関係（特に距離）が把握し難い場合がある。

【0007】

このような仮想物体との位置関係を認識し易くするためのガイド物体の表示が考えられるが、どのような形態のガイド物体を表示した方が位置関係をより認識し易くできるかは仮想物体との位置関係により異なり、ガイド物体の形態の切り替え作業が発生すると利便性を損ねる可能性がある。

【0008】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、仮想空間に表示するガイド物体の利便性を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラム、および、情報処理システムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のある観点によれば、ユーザからセンシングした身体情報を取得し、所定の判定基準に基づいて前記ユーザの身体情報に対応付けられる１以上の身体形状を判定する身体形状判定部と、直近に判定された前記ユーザの過去の判定身体形状を記憶部から取得し、また、前記身体形状判定部で判定された現在の判定身体形状を前記記憶部に記憶する記憶管理部と、前記過去の判定身体形状と前記現在の判定身体形状に共通する共通判定形状を抽出する共通判定形状取得部と、前記共通判定形状取得部で抽出された共通判定形状に基づいて、仮想空間の対象物との位置関係を示す表示であるガイド物体を決定するガイド物体決定部と、を備える、情報処理装置が提供される。

【0010】

前記ガイド物体は、前記ユーザからセンシングされた情報に基づいて前記ユーザの手の動きを反映するジェスチャ画像と、前記対象物である仮想物体との位置関係を示す画像であってもよい。

【0011】

前記ガイド物体決定部は、前記共通判定形状に予め対応付けられた所定のガイド物体に決定してもよい。

【0012】

前記所定のガイド物体は、遠方型ガイド物体、近傍型ガイド物体、または近接型ガイド物体であってもよい。

【0013】

各共通判定形状に対応付けられた各所定のガイド物体は、ガイド物体により示すことが可能な奥行方向の長さが異なってもよい。

【0014】

前記身体情報には、前記ユーザの腕の状態が含まれてもよい。

【0015】

前記身体情報は、前記ユーザの前腕と上腕の間の角度であってもよい。

【0016】

前記所定の判定基準は、１つの身体情報に２つの身体形状が対応付けられた基準を含んでもよい。

【0017】

前記情報処理装置は、前記身体情報の変化に応じて、前記判定基準を変更する判定基準変更部をさらに備えてもよい。

【0018】

前記情報処理装置は、前記ユーザからセンシングされた情報に基づいて生成される前記ユーザの手の動きを反映するジェスチャ画像の前記仮想空間における未検出時間に応じて、前記判定基準を変更する判定基準変更部をさらに備えてもよい。

【0019】

前記情報処理装置は、前記ガイド物体決定部により決定されたガイド物体の情報を、仮想空間に関する処理を行う外部装置に出力してもよい。

【0020】

前記情報処理装置は、前記ガイド物体決定部による決定に基づいて、前記ガイド物体の表示を生成するガイド物体生成部をさらに備えてもよい。

【0021】

前記情報処理装置は、前記生成したガイド物体の表示を、仮想空間に関する処理を行う外部装置に出力してもよい。

【0022】

前記情報処理装置は、前記生成したガイド物体を仮想空間に配置するガイド物体配置部をさらに備えてもよい。

【0023】

また、前記情報処理装置は、前記ユーザからセンシングされた情報に基づいて生成される前記ユーザの手の動きを反映するジェスチャ画像と、前記ジェスチャ画像と前記対象物との位置関係を示すガイド物体が表示された仮想空間の画像を表示する表示部をさらに備えてもよい。

【0024】

また、上記課題を解決するために、本発明の別の観点によれば、プロセッサが、ユーザからセンシングした身体情報を取得し、所定の判定基準に基づいて前記ユーザの身体情報に対応付けられる１以上の身体形状を判定することと、直近に判定された前記ユーザの過去の判定身体形状を記憶部から取得し、また、前記判定された現在の判定身体形状を前記記憶部に記憶することと、前記過去の判定身体形状と前記現在の判定身体形状に共通する共通判定形状を抽出することと、前記抽出された共通判定形状に基づいて、仮想空間の対象物との位置関係を示す表示であるガイド物体を決定することと、を含む、情報処理方法が提供される。

【0025】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、ユーザからセンシングした身体情報を取得し、所定の判定基準に基づいて前記ユーザの身体情報に対応付けられる１以上の身体形状を判定する身体形状判定部と、直近に判定された前記ユーザの過去の判定身体形状を記憶部から取得し、また、前記身体形状判定部で判定された現在の判定身体形状を前記記憶部に記憶する記憶管理部と、前記過去の判定身体形状と前記現在の判定身体形状に共通する共通判定形状を抽出する共通判定形状取得部と、前記共通判定形状取得部で抽出された共通判定形状に基づいて、仮想空間の対象物との位置関係を示す表示であるガイド物体を決定するガイド物体決定部と、として機能させるための、プログラムが提供される。

【0026】

また、上記課題を解決するために、本発明の別の観点によれば、ユーザからセンシングした身体情報を取得し、所定の判定基準に基づいて前記ユーザの身体情報に対応付けられる１以上の身体形状を判定する身体形状判定部と、直近に判定された前記ユーザの過去の判定身体形状を記憶部から取得し、また、前記身体形状判定部で判定された現在の判定身体形状を前記記憶部に記憶する記憶管理部と、前記過去の判定身体形状と前記現在の判定身体形状に共通する共通判定形状を抽出する共通判定形状取得部と、前記共通判定形状取得部で抽出された共通判定形状に基づいて、仮想空間の対象物との位置関係を示す表示であるガイド物体を決定するガイド物体決定部と、前記ガイド物体決定部により決定されたガイド物体の表示を生成するガイド物体生成部と、前記生成したガイド物体を仮想空間に配置するガイド物体配置部と、を備える、情報処理システムが提供される。

【発明の効果】

【0027】

以上説明したように本発明によれば、仮想空間に表示するガイド物体の利便性を向上させることを可能とする。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施形態による情報処理システムの全体構成の一例を示す図である。

【図2】比較例による仮想空間における仮想物体との接触ミスについて説明する図である。

【図3】本実施形態によるガイド物体の一例を示す図である。

【図4】本実施形態によるガイド物体の他の例を示す図である。

【図5】本実施形態によるガイド物体の他の例を示す図である。

【図6】本実施形態によるガイド物体決定装置の構成の一例を示すブロック図である。

【図7】本実施形態による身体情報の一例である肘角度を示す図である。

【図8】本実施形態の肘角度に基づく身体形状の判定について説明する図である。

【図9】本実施形態による情報処理システムの動作処理の全体の流れの一例を示すフローチャートである。

【図10】本実施形態に係る第１の変形例によるガイド物体決定装置の構成の一例を示すブロック図である。

【図11】本実施形態に係る第１の変形例による判定基準の変更の一例について説明する図である。

【図12】本実施形態に係る第１の変形例による動作処理の流れの一例を示すフローチャートである。

【図13】本実施形態に係る第２の変形例による情報処理システムの全体構成の一例を示すブロック図である。

【図14】本実施形態に係る第２の変形例によるガイド物体決定装置の構成の一例を示すブロック図である。

【図15】本実施形態に係る第２の変形例による動作処理の流れの一例を示すフローチャートである。

【図16】本実施形態に係る遠隔作業支援システムへの応用例について説明する図である。

【図17】本実施形態に係るガイド物体決定装置を具現する情報処理装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0029】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0030】

＜１．情報処理システムの概要＞
本発明の一実施形態は、仮想空間に表示された仮想物体（画像）と、ユーザの身体の一部を示す仮想物体との位置関係を認識し易くするためのガイド物体（仮想物体）を表示するシステムに関する。まず、図１を参照して、本発明の一実施形態による情報処理システムの全体構成について説明する。

【0031】

図１は、本発明の一実施形態による情報処理システムの全体構成の一例を示す図である。図１に示すように、情報処理システム１は、ジェスチャ画像生成装置１００、ガイド物体決定装置２００、仮想空間処理装置３００、および表示装置４００を有する。

【0032】

ジェスチャ画像生成装置１００、ガイド物体決定装置２００、および表示装置４００は、本システムを利用するユーザの周囲に配置される。仮想空間処理装置３００はネットワーク上のサーバであってもよいし、ユーザの周囲に配置されてもよいし、ユーザが装着または所持していてもよい。仮想空間処理装置３００は、ジェスチャ画像生成装置１００、ガイド物体決定装置２００、および表示装置４００と通信接続し、データの送信または受信を行うことが可能である。また、本システムは、ジェスチャ画像生成装置１００、ガイド物体決定装置２００、仮想空間処理装置３００、および表示装置４００が別体で構成される例に限られず、例えばガイド物体決定装置２００および仮想空間処理装置３００が１つの情報処理装置により構成される構成や、さらに表示装置４００を含む構成であってもよい。

【0033】

仮想空間処理装置３００は、仮想空間の生成や呈示を行う情報処理装置である。仮想空間は、例えばＣＧまたは３ＤＣＧにより生成される。また、仮想空間の生成や呈示に用いられる仮想空間情報は、仮想空間ＤＢ３０１に記憶される。仮想空間処理装置３００は、仮想空間ＤＢ３０１に記憶されている仮想空間情報に基づいて、仮想空間における所定のユーザ視点（仮想カメラの位置）から見える画像（仮想空間の画像）を生成し、表示装置４００に出力する。

【0034】

表示装置４００には、仮想空間処理装置３００から出力された仮想空間の画像が表示される。ここで、本実施形態では、表示装置４００に表示される仮想物体（仮想空間に在る物体、すなわち画像）の操作を実空間でのジェスチャ（手や指の動き）により行うことが可能な場合について説明する。具体的には、まずジェスチャ画像生成装置１００によりユーザのジェスチャを検出してジェスチャ画像を生成し、仮想空間処理装置３００により仮想空間の画像にジェスチャ画像を重畳した重畳画像が生成され、重畳画像が表示装置４００に表示される。これにより、ユーザは、実際に手を動かして仮想物体を掴む、触る、弾くといったアプローチを直感的に行うことができる。

【0035】

ジェスチャ画像生成装置１００は、センサ部１０１およびジェスチャ画像生成部１０２を有する情報処理装置である。センサ部１０１は、ユーザの手や指の動き、すなわちジェスチャを検出する。具体的には、例えばセンサ部１０１は、手、指、手首等の位置情報（例えば３次元位置。以下、ジェスチャに関する位置情報とも称す）を検出し得る。また、センサ部１０１は、１以上の赤外線センサやカメラ（距離を測れるステレオカメラなど）など、三次元位置（手、手首、手の平、指、関節の三次元位置など）を検知できるセンサにより実現されてもよい。なお、センサ部１０１は赤外線センサやカメラなどの光学式センサに限定されず、例えば音波式や磁気式のセンサであってもよい。また、センサ部１０１は、非接触計測センサに限定されず、手指にセンサを取り付けて計測する接触計測センサであってもよい。ジェスチャ画像生成部１０２は、センサ部１０１による検出結果からジェスチャ画像をＣＧ（Computer Graphics）または３ＤＣＧなどで生成する。生成されたジェスチャ画像は、ジェスチャに関する位置情報と共に、仮想空間処理装置３００に出力される。ジェスチャ画像生成装置１００は、例えば小型の筐体により形成され、表示装置４００の周辺に載置されてもよい。ユーザは、ジェスチャ画像生成装置１００に設けられたセンサ部１０１の検出範囲内で手を動かし、手の動きが反映されるジェスチャ画像５０（表示装置４００に表示される）により、仮想空間の仮想物体（表示装置４００に表示される）に対してアプローチを行うことが可能となる。

【0036】

（課題の整理）
ここで、比較例による仮想空間における仮想物体との接触ミスについて図２を参照して説明する。図２では、３ＤＣＧで生成された仮想物体８２、８４、８６と、ユーザのジェスチャに対応するジェスチャ画像８０を示す。図２に示すように、仮想物体との位置関係の目安となる仮想の平面（例として、方眼付きの仮想の床が挙げられる）が配置されない状況では、ジェスチャ画像８０と仮想物体８２との位置関係が把握し難く、接触ミスが多発する可能性がある。例えば図２に示す例では、ジェスチャ画像８０の手前に仮想物体８２が位置しているためアプローチできない（触れない、掴めない等）といった接触ミスが起こっている。

【0037】

また、仮想のレーザーポインターインターフェースを用いて、レーザーポインターから出力されるレーザー光の太さの変化（遠くにいくほど細くなる）や方向によって仮想物体との位置関係（特に距離）を認識させることも考えられるが、仮想物体に対してジェスチャのように直感的なアプローチは難しい。

【0038】

そこで、仮想空間に表示する仮想物体とジェスチャ画像との位置関係を認識し易くするためのガイド物体（画像）をさらに表示することが考え得る。

【0039】

（ガイド物体）
ガイド物体の一例を図３に示す。図３では、仮想物体６１、６２、６３、６４と、本実施形態によるガイド物体として、ジェスチャ画像５０の位置から面積の小さい（例えばジェスチャ画像５０以下の大きさ）仮想面を遠方に向けて多数配列するガイド物体７０が示されている。ガイド物体７０と仮想物体が３次元仮想空間内において接触する部分（断面）６１１がハイライト表示などで強調表示されることで、ガイド物体７０との接触が明示され、ユーザは、仮想物体６１との位置関係（距離）を把握することが可能となる。ガイド物体７０は、ジェスチャ画像５０に付随して表示され、ガイド物体７０の方向もジェスチャ画像５０の向き（例えば手の指先の方向など）に対応するよう表示される。これによりユーザは手を動かすだけで任意の方向にガイド物体７０を向けることができる。

【0040】

なお、ガイド物体の形態（形状）は１つに限定されない。例えば図３に示すガイド物体７０は、遠方に位置する仮想物体との位置関係を認識し易くするのに適切な形態（遠方型と称する）であるが、その他、近傍に位置する仮想物体との位置関係を認識し易くするのに適切な形態等も考え得る。

【0041】

図４に、本実施形態によるガイド物体の他の例を示す。図４では、仮想物体６１、６２、６３、６４と、本実施形態によるガイド物体として面積の大きい（例えばジェスチャ画像５０の３つ分の大きさなど）仮想面をジェスチャ画像５０の位置に１以上配置したガイド物体７２が示されている。ガイド物体７２は、ジェスチャ画像５０の位置に対応して表示され、ジェスチャ画像５０に付随して移動する。また、図４に示す例においても、ガイド物体７２と仮想物体が３次元仮想空間内において接触する部分（断面）６２１、６３１がハイライト表示などで強調表示されることで、ガイド物体７２との接触が明示される。これによりユーザは、仮想物体６２、６３が手元に位置することを直感的に把握することが可能となる。また、仮想物体６４はガイド物体７２とは接触していない（ハイライト表示がされていない）ため、ジェスチャ画像５０の位置よりも遠くに位置していることが分かる。

【0042】

なお、図４に示したように、ジェスチャ画像５０においても、仮想面と接触する部分５０１（断面）をハイライト表示することで、仮想物体とジェスチャ画像５０との位置関係を把握し易くしてもよい。

【0043】

図４に示すようなガイド物体７２は、手元の仮想物体との位置関係を認識し易くするのに適切な形態（近傍型と称する）と言える。

【0044】

さらにガイド物体の他の例を図５に示す。図５では、仮想物体６６と、ガイド物体としてジェスチャ画像５０の各所から法線方向に向けて１以上の光線７４１を配置したガイド物体７４が示されている。光線７４１と仮想物体６６とが接触する部分７４２には、所定の大きさのハイライト表示が表示される。図５に示すガイド物体７２は、アプローチ対象となる仮想物体が手（ジェスチャ画像５０）の近くにある場合に、手の各所との位置関係が明確に示されるため、より近くの仮想物体との位置関係を認識し易くするのに適切な形態（近接型と称する）と言える。

【0045】

このようにガイド物体を用いて仮想物体との位置関係を認識し易くすることで、実空間の手の動きを反映させたジェスチャ画像５０で仮想物体に対してアプローチ（例えば把持など）する際の接触ミスを軽減することが可能となる。

【0046】

以上説明したガイド物体の各形態は、本実施形態で用いるガイド物体の一例であって、本実施形態はこれに限定されない。上述した例では、対象物（仮想物体）との位置関係（特に距離）を示すことが可能な奥行方向が異なる遠方型、近傍型、近接型のガイド物体を示したが、例えば遠方型と近傍型の間の距離を明示するのに適切な中距離型のガイド物体があってもよい。また、ガイド物体が仮想物体に接触する部分の表現もハイライト表示に限定されず、何らかの強調表示であればよい。また、ガイド物体と接触する断面の強調表示に限定されず、仮想物体全体を強調表示してもよい。

【0047】

また、仮想物体との位置関係（特に距離）によって適切なガイド物体の形態が異なるが、ガイド物体の形態の切り替え作業（ユーザによる明示的なボタン操作など）が発生すると、ガイド物体の利便性を損ねる可能性がある。

【0048】

本件発明者は、上記事情を一着眼点にして本発明の一実施形態を創作するに至った。本発明の一実施形態は、仮想空間に表示する仮想物体との位置関係を認識し易くするためのガイド物体の利便性を向上させることを可能とする。

【0049】

具体的には、ユーザの実空間における身体の動き（腕の曲げ伸ばし具合や、上体の屈曲度合といった身体の形状）に応じて適切なガイド物体の形態に切り替えることで、ユーザの追加操作なしに、自然な身体動作によってガイド物体の形態を切り替えることを可能とする。例えば、腕を伸ばす動作は遠くの仮想物体にアプローチしようとしていることが推定され、遠方型のガイド物体を表示することで遠くの仮想物体との位置関係を把握し易くすることが可能となる。また、腕を曲げる動作は近くの仮想物体にアプローチしようとしていることが推定され、近傍型または近接型のガイド物体を表示することで近くの仮想物体との位置関係を把握し易くすることが可能となる。

【0050】

このようなガイド物体の形態の決定は、図１に示す本実施形態によるガイド物体決定装置２００により行われ得る。ガイド物体決定装置２００は、ユーザの身体の形状に応じてガイド物体（の形態）を決定し、ガイド物体決定情報を仮想空間処理装置３００に出力する。仮想空間処理装置３００のガイド物体生成部３０２は、ガイド物体決定装置２００から取得したガイド物体決定情報に基づいてガイド物体（画像）を生成する。また、仮想空間処理装置３００の仮想物体情報取得部３０３は、仮想空間ＤＢ３０１から仮想物体情報（ジェスチャ画像５０を含む各仮想物体の３ＤＣＧデータや位置情報、姿勢情報など、仮想空間の生成に用いられる情報）を取得する。次いで、仮想空間処理装置３００の重畳画像生成部３０４は、仮想空間の画像（ユーザ視点の仮想空間画像）にガイド物体を重畳した画像を生成する。ガイド物体は、ジェスチャ画像５０の位置に合わせて重畳表示される。そして、表示制御部３０５は、重畳画像を表示装置４００に出力する。

【0051】

ユーザの身体の形状が変化した場合は、ガイド物体決定装置２００によりガイド物体の形態の切り替えが行われる（ガイド物体決定情報の更新）。すなわち、ガイド物体決定装置２００が新たにガイド物体決定情報（ガイド物体の形態の切り替え情報とも言える）を仮想空間処理装置３００に送信すると、仮想空間処理装置３００はガイド物体の切り替えを行い（新たなガイド物体の生成）、切り替えたガイド物体を重畳表示した画像を、表示装置４００に出力する。なお、表示制御部３０５による仮想空間の表示制御はリアルタイムで継続的に行われ得る。これにより、ユーザがジェスチャにより仮想空間の仮想物体に対してアプローチを行った場合には、表示装置４００の画面上においてリアルタイムでフィードバックされ、また、ガイド物体の切り替えもリアルタイムで行われ得る。

【0052】

このように、本実施形態では、ユーザの自然な身体動作によってガイド物体の形態を切り替えることが可能となる。

【0053】

以下、このような本発明の一実施形態による身体動作（具体的には、身体の形状）に応じてガイド物体の決定を行うガイド物体決定装置２００の構成および動作について、順次詳細に説明する。

【0054】

＜２．構成例＞
図２は、本実施形態によるガイド物体決定装置の構成の一例を示すブロック図である。図２に示すように、ガイド物体決定装置２００は、制御部２１０と、通信部２２０と、センサ部２３０と、記憶部２４０と、を有する。

【0055】

（センサ部２３０）
センサ部２３０は、ユーザの身体の形に関する情報（身体情報）を取得する機能を有する。例えばセンサ部２３０は、赤外線センサやカメラにより実現されてもよい。また、センサ部２３０は、２Ｄ情報に限定されず３Ｄ情報（深度情報）の取得が可能なセンサであってもよい。また、センサ部２３０は、身体の骨格や関節各部位を検出できるセンサであってもよい。また、センサ部２３０は、非接触計測センサであってもよいし、接触計測センサであってもよい。また、センサ部２３０は、表示装置４００を見ているユーザの正面方向に設けられていてもよいし、ユーザの上方や横方向に設けられていてもよい。また、センサ部２３０は、１又は複数設けられてもよい。身体形状の取得には、既存のモーションキャプチャシステムを用いてもよい。

【0056】

（制御部２１０）
制御部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を中心に構成されており、各種プログラムに従ってガイド物体決定装置２００の各機能を制御する。特に、本実施形態による制御部２１０は、身体形状判定部２１１、記憶管理部２１２、共通判定形状取得部２１３、およびガイド物体決定部２１４としての機能を有する。

【0057】

身体形状判定部２１１は、センサ部２３０により検出された身体情報に基づいて、ユーザの身体形状を判定する。身体情報とは、身体の形に関する情報であって、例えば腕の状態や、姿勢が挙げられる。さらに具体的には、身体情報として、例えば前腕（肘から下）と上腕（肘から上）の間の角度や、前腕と上腕の長さの合計に対する肩と手の距離の割合や、地面に対する背骨の角度（上体の屈曲度合い）などが挙げられる。また、身体形状の判定は、判定基準ＤＢ２４１に記憶された判定基準に基づいて行われ得る。判定基準ＤＢ２４１に記憶された判定基準は、例えば下記表１に示すようなデータテーブルにより生成されていてもよい。身体形状判定部２１１は、かかる判定基準に基づいて、検出された身体情報に対応付けられた１以上の身体形状を判定する。なお下記表１に示す例では、センサ部２３０により検出される身体情報の一例として前腕と上腕の角度（以下、肘角度と称する）を用いて、身体形状の判定を行っている。

【0058】

【表1】

【0059】

上記判定に用いる肘角度について図７を参照して説明する。図７は、本実施形態による身体情報の一例である肘角度を示す図である。図７では、所定部位（手２１１１、前腕２１１２、肘２１１３、上腕２１１４、肩（右肩）２１１５、肩（左肩）２１１７、および頭部２１１６）の形状の検出結果（骨格情報）が示されている。身体形状判定部２１１は、このような検出結果から、前腕２１１２と上腕２１１４の角度である肘角度２２００を取得し得る。

【0060】

次いで、身体形状判定部２１１は、上記表１に示すような判定基準を用いて身体形状の判定を行う。ここで、本実施形態では、判定基準の閾値近辺でガイド物体の切り替えが頻繁に起きてしまうことや、同じ身体情報であっても適切なガイド物体が異なる場合を考慮して、１つの判定基準に２つ以上の判定結果（判定身体形状）を含ませる基準も用意する。これにより、後述する共通判定形状取得部２１３により直近の過去の判定結果と共通する判定結果を共通判定形状として抽出し、かかる共通判定形状に応じたガイド物体に決定することができ（ユーザが切り替えを意図していないと推定し、直近の過去のガイド物体の形態を優先する）、閾値付近での頻繁なガイド物体の切り替えや適切でないガイド物体への切り替え（ユーザの無意識的な腕の曲げ伸ばしによる微妙な角度の変化によって生じる恐れのある切り替え）を抑制することが可能となる。

【0061】

続いて、上記表１を用いた判定結果の一例について図８を参照して説明する。図８には、上記表１に示した各判定範囲１～５と、その判定身体形状が示されている。図８に示すように、例えば肘角度が120°で判定範囲４の範囲に含まれる場合、身体形状判定部２１１は、「形状２」および「形状３」といった、複数の身体形状を判定結果として出力する。

【0062】

身体形状判定部２１１による判定結果（判定身体形状）は、記憶管理部２１２により判定結果ＤＢ２４２に蓄積される。

【0063】

次に、共通判定形状取得部２１３は、直近の判定結果（過去の判定身体形状）を判定結果ＤＢ２４２から取得し、現在の判定結果（現在の判定身体形状）と共通する判定身体形状（共通判定形状）を抽出する。例えば、直近の肘角度が140°で判定結果が「形状３」であり、現在の判定結果が「形状２、形状３」であった場合、「形状３」が共通判定形状として抽出される。

【0064】

ガイド物体決定部２１４は、共通判定形状取得部２１３により抽出（取得）された共通判定形状に応じてガイド物体を決定する。形状とガイド物体（の形態）は改め対応付けられている。例えば、ガイド物体決定部２１４は、形状１であれば「近接型」のガイド物体（図５参照）、形状２であれば「近傍型」のガイド物体（図４参照）、形状３であれば「遠方型」のガイド物体（図３参照）に決定する。直近の過去の判定結果と共通する形状を優先することで、閾値付近でガイド物体の切り替えが頻繁に起きることを抑制し、また、無意識的な行動によるガイド物体の切り替えも抑制することが可能となり、ガイド物体の利便性がさらに向上する。

【0065】

ガイド物体決定部２１４による決定情報は、通信部２２０から仮想空間処理装置３００に出力され、仮想空間処理装置３００におけるガイド物体の生成に用いられる。なお、ガイド物体の生成までをガイド物体決定装置２００で行い、ガイド物体決定装置２００は生成したガイド物体の画像を仮想空間処理装置３００に出力する構成であってもよい。

【0066】

また、上記表１に示す判定範囲および各判定範囲に対応する判定身体形状は一例であって、本実施形態はこれに限定されない。例えば、下記表２に示すような判定基準を用いてもよい。

【0067】

【表2】

【0068】

上記表２に示す判定基準の場合、例えば形状１であれば「近傍型」のガイド物体が生成され、形状２であれば「遠方型」のガイド物体が生成される。

【0069】

より具体的には、ユーザが腕を伸ばして肘角度が155°となった場合、身体形状判定部２１１は、上記表２を参照して「形状２」と判定し、記憶管理部２１２は判定基準ＤＢ２４１にその判定結果を記録する。また、表示装置４００に表示される仮想空間の画像では、画像内に表示されるユーザの手の動きに追従するジェスチャ画像の傍に、遠方型のガイド物体が呈示される。

【0070】

その後、ユーザの無意識的な行動により肘角度が130°になってしまった場合について説明する。身体形状判定部２１１は、上記表２を参照して「形状１、形状２」と判定する。共通判定形状取得部２１３は、判定結果ＤＢ２４２から過去の判定結果「形状２」を取得し、現在の判定結果「形状１、形状２」と比較して「形状２」を共通判定結果として抽出する。なお、現在の判定結果「形状１、形状２」も、記憶管理部２１２により判定結果ＤＢ２４２に記憶される。

【0071】

抽出された共通判定結果は仮想空間処理装置３００に出力され、仮想空間処理装置３００のガイド物体生成部３０２は、共通判定結果「形状２」に対応する遠方型のガイド物体を生成し、重畳画像生成部３０４により、遠方型のガイド物体がジェスチャ画像５０の傍に配置され、表示装置４００で表示される。なお、形状の変化がない場合はガイド物体決定装置２００から決定情報を送信しないようにしてもよい。また、仮想空間処理装置３００は、ガイド物体決定装置２００から送信される情報に基づいて、形状（判定結果）の変化がないと判断した場合には、ガイド物体の新たな生成は行わずに現在のガイド物体の表示を維持するようにしてもよい。

【0072】

以上、本実施形態による共通判定形状の抽出と共通判定形状に応じたガイド物体の決定について具体的に説明した。

【0073】

これにより、閾値周辺での頻繁な切り替わりや意図しない切り替わりを抑制することができる。例えば、ユーザが遠方の仮想物体にアプローチしようと腕を伸ばしたときに呈示される遠方型のガイド物体の方向を、任意の方向に向けようと腕を動かした際に無意識に腕を曲げて肘角度が多少（例えば155°から130°に）変化しても、ユーザの意図に反して近傍型のガイド物体等に切り替わることを抑制できる。

【0074】

（通信部２２０）
通信部２２０は、外部装置と通信接続し、データの送受信を行い得る。例えば通信部２２０は、ネットワーク（例えば専用回線）を介して、仮想空間処理装置３００と通信接続し、ガイド物体決定情報を送信したり、仮想空間の画像を受信したりしてもよい。

【0075】

（記憶部２４０）
記憶部２４０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から実現され、ガイド物体決定装置２００の動作を制御するための制御プログラムや各種パラメータ、データ等を格納する。例えば、記憶部２４０は、判定基準ＤＢ２４１および判定結果ＤＢ２４２を記憶する。

【0076】

以上、本実施形態によるガイド物体決定装置２００の構成について具体的に説明した。なお、図６に示すガイド物体決定装置２００の構成は一例であって、本実施形態はこれに限定されない。例えば、ガイド物体決定装置２００の各構成のうち、少なくとも一部が別体により構成されていてもよい。また、ガイド物体決定装置２００は、図１に示すガイド物体生成部３０２の構成をさらに有していてもよい。

【0077】

＜３．動作処理＞
続いて、本実施形態による情報処理システム１の動作処理（具体的には、ガイド物体決定装置２００によるガイド物体決定処理）について、図９を参照して説明する。図９は、本実施形態による情報処理システム１の動作処理の全体の流れの一例を示すフローチャートである。

【0078】

図９に示すように、まず、ガイド物体決定装置２００は、センサ部２３０によりユーザの身体情報を取得する（ステップＳ１０３）。

【0079】

次に、身体形状判定部２１１は、身体情報に基づいて、判定基準を参照し、現在の身体形状を判定する（ステップＳ１０６）。

【0080】

次いで、記憶管理部２１２は、直近の過去の判定身体形状を記憶部（判定結果ＤＢ２４２）から取得し（ステップＳ１０９）、また、現在の判定身体形状を記憶部（判定結果ＤＢ２４２）に記憶する（ステップＳ１１２）。

【0081】

次に、共通判定形状取得部２１３は、過去の判定身体形状と現在の判定身体形状に共通する判定身体形状を抽出する（ステップＳ１１５）。

【0082】

次いで、ガイド物体決定部２１４は、共通判定形状に基づいて、ガイド物体（の形態）を決定する（ステップＳ１１８）。

【0083】

次に、ガイド物体決定装置２００は、決定されたガイド物体の情報を、仮想空間処理装置３００に送信する（ステップＳ１２１）。

【0084】

以上、本実施形態によるガイド物体決定処理の一例について説明した。

【0085】

＜４．変形例＞
続いて、本実施形態による情報処理システムの変形例について説明する。

【0086】

＜４－１．第１の変形例＞
ユーザの腕の曲げ伸ばしの変化など身体情報の時間変化（単位時間当たりの変化量）が速い場合は、無意識的な変化ではなくユーザが意識的に行っている変化である可能性が高いため、過去の判定身体形状を考慮せずに現在の判定身体形状のみに基づいてガイド物体を呈示することが好ましい。

【0087】

過去の判定身体形状を考慮しないことで、処理負担の軽減も図れる。

【0088】

また、過去の判定身体形状を考慮しないことで、共通する判定形状が抽出できないといった事態を回避することも可能となる（例えば肘角度が瞬時に変化し、現在の判定結果が「形状３」、直近の過去の判定結果が「形状１」となった場合など）。

【0089】

過去の判定身体形状を考慮しない場合、判定基準には１の判定結果（判定身体形状）が含まれている状態とすることが望ましい。従って、本変形例では、身体形状の判定に用いる判定基準を、身体の動きの変化に応じて変更することで、ガイド物体の利便性をさらに向上させることを可能とする。

【0090】

（４－１－１．構成例）
図１０は、第１の変形例によるガイド物体決定装置２００ａの構成の一例を示すブロック図である。図１０に示すように、ガイド物体決定装置２００ａは、制御部２１０ａ、通信部２２０、センサ部２３０、および記憶部２４０を有する。通信部２２０、センサ部２３０、および記憶部２４０は、図６を参照して説明した同符号の構成と同様であるため、ここでの説明は省略する。

【0091】

制御部２１０ａは、身体形状判定部２１１、記憶管理部２１２、共通判定形状取得部２１３、ガイド物体決定部２１４、身体情報変化算出部２１５、および判定基準変更部２１６を有する。身体情報変化算出部２１５は、センサ部２３０により検出されたユーザの身体情報の変化を算出する。例えば身体情報が肘角度の場合、身体情報変化算出部２１５は、肘角度の時間変化を算出する。

【0092】

そして、判定基準変更部２１６は、身体情報変化算出部２１５により算出された身体情報の変化（すなわち身体の形の変化）に基づいて、身体形状判定部２１１で身体形状の判定が行われる際に用いられる判定基準を変更する処理を行う。

【0093】

具体的には、判定基準変更部２１６は、身体情報の変化が所定値を越えている場合（例えば肘角度の時間変化が所定値を越えている、すなわち腕の動きが速い場合）、複数の判定結果を含む判定範囲が無い判定基準に変更する処理を行う。ここで、図１１に、判定基準の変更の一例を示す。

【0094】

複数の判定結果を含む判定範囲の無い判定基準に変更する場合、例えば図１１右に示すように、複数の判定結果を含む判定範囲（重複範囲と称する）をnullにすると共に、重複範囲の前後の判定範囲を修正し、判定範囲に漏れがないようにする。

【0095】

身体形状判定部２１１は、このように変更された判定基準に基づいて現在の身体形状を判定し、さらに、ガイド物体決定部２１４は、過去の判定結果を考慮せずに（共通判定形状取得部２１３による共通判定形状の抽出は行わずに）、現在の身体形状のみに基づいてガイド物体（の形態）を決定し、仮想空間処理装置３００にガイド物体決定情報を送信する。

【0096】

（４－１－２．動作処理例）
続いて、本変形例による判定処理について図１２を参照して説明する。図１２は、第１の変形例による動作処理の流れの一例を示すフローチャートである。

【0097】

図１２に示すように、まず、ガイド物体決定装置２００ａは、センサ部２３０によりユーザの身体情報を取得する（ステップＳ２０３）。

【0098】

次に、身体情報変化算出部２１５は、身体情報の変化を算出する（ステップＳ２０６）。

【0099】

次いで、身体情報の変化（時間変化）が所定値より大きい場合（ステップＳ２０９／Ｙｅｓ）、判定基準変更部２１６が判定基準の変更を行い、身体形状判定部２１１は変更された判定基準を参照して身体形状の判定を行う（ステップＳ２１２）。図１２では図示していないが、変更された判定基準を参照して身体形状の判定が行われた場合、ガイド物体決定部２１４は、当該判定の結果（現在の判定身体形状）のみに基づいて（過去の判定の結果を参照せずに）ガイド物体の決定を行う。また、現在の判定身体形状は、判定結果ＤＢ２４２に記憶される。

【0100】

一方、身体情報の変化（時間変化）が所定値以下の場合（ステップＳ２０９／Ｎｏ）、判定基準変更部２１６による判定基準の変更は行わず、通常通り、身体形状判定部２１１による身体形状の判定が行われる（ステップＳ２１５）。身体情報の時間変化が所定値以下の場合とは、すなわち身体がゆっくり変化している（例えば腕をゆっくり伸ばしたり曲げたりしている）場合であり、このような場合はユーザが仮想物体の形態の変化を望んでいないこと（仮想物体に対して何らかのアプローチを行っている最中であるなど）が予想される。したがって、閾値付近でガイド物体の切り替えが頻繁に起こらないよう、上述した実施形態と同様の処理が行われることが望ましい。ガイド物体決定部２１４は、上述した実施形態と同様に、共通判定形状取得部２１３により抽出された直近過去と共通する判定身体形状（共通判定形状）に基づいてガイド物体の決定を行う。

【0101】

以上、第１の変形例について説明した。

【0102】

なお、ガイド物体決定装置２００は、ユーザの操作履歴を蓄積して機械学習を行い、形状１から形状３に飛びがちといったユーザの操作傾向を把握することで、共通判定形状が抽出できないといった状態を回避（補完）するようにしてもよい。

【0103】

また、ガイド物体決定装置２００ａは、判定基準の変更が行われた場合、判定結果ＤＢ２４２に記憶した過去の判定身体形状を削除する処理を行ってもよい。

【0104】

また、ガイド物体決定装置２００ａは、判定基準変更部２１６により変更された判定基準を、所定時間経過後、または身体情報の変化が所定値以下となった場合に、元に戻すようにしてもよい。

【0105】

＜４－２．第２の変形例＞
ジェスチャ画像の生成を行うジェスチャ画像生成装置１００のセンサ部１０１によるセンシングが不安定になった場合や、ユーザの手がセンサ部１０１のセンシング範囲から外れた場合は、ジェスチャ画像生成部１０２によりジェスチャ画像が生成されないため、仮想空間処理装置３００において、ジェスチャ画像が未検出となる。この場合、仮想空間処理装置３００は、ジェスチャ画像の位置に合わせて表示していたガイド物体も連動して非表示とするよう制御する。

【0106】

かかるジェスチャ画像の未検出時間（非表示の時間）が長い場合、次にガイド物体を表示する際には、過去の判定結果を考慮せずに現在の判定身体形状に応じたガイド物体を表示することが望ましい。

【0107】

過去の判定身体形状を考慮しないことで、処理負担の軽減も図れる。

【0108】

また、過去の判定身体形状を考慮しないことで、共通する判定形状が抽出できないといった事態を回避することも可能となる。

【0109】

（４－２－１．構成例）
図１３は、第２の変形例による情報処理システム１ｂの全体構成の一例を示す図である。図１３に示すように、情報処理システム１ｂは、ジェスチャ画像生成装置１００、ガイド物体決定装置２００ｂ、仮想空間処理装置３００ｂ、および表示装置４００を有する。ジェスチャ画像生成装置１００および表示装置４００は、図１を参照して説明した同符号の構成と同様であるため、ここでの説明は省略する。

【0110】

仮想空間処理装置３００ｂは、図１を参照して説明した仮想空間処理装置３００の構成に加えて、ジェスチャ画像未検出時間取得部３０６をさらに有する。ジェスチャ画像未検出時間取得部３０６は、仮想空間におけるジェスチャ画像の未検出時間を取得し、（Ｉ／Ｆ部を介して）ガイド物体決定装置２００ｂに出力する。

【0111】

ガイド物体決定装置２００ｂの構成例について図１４を参照して説明する。図１４は、第２の変形例によるガイド物体決定装置２００ｂの構成の一例を示すブロック図である。図１４に示すように、ガイド物体決定装置２００ｂは、制御部２１０ｂ、通信部２２０、センサ部２３０、および記憶部２４０を有する。通信部２２０、センサ部２３０、および記憶部２４０は、図６を参照して説明した同符号の構成と同様であるため、ここでの説明は省略する。

【0112】

制御部２１０ｂは、身体形状判定部２１１、記憶管理部２１２、共通判定形状取得部２１３、ガイド物体決定部２１４、および判定基準変更部２１６ｂを有する。判定基準変更部２１６ｂは、通信部２２０を介して仮想空間処理装置３００から受信したジェスチャ画像未検出時間に基づいて、身体形状判定部２１１で身体形状の判定が行われる際に用いられる判定基準を変更する処理を行う。

【0113】

具体的には、判定基準変更部２１６ｂは、ジェスチャ画像の未検出時間が閾値を越えている場合（すなわち、ジェスチャ画像が仮想空間から消えている時間が閾値を越えている場合）、複数の判定結果を含む判定範囲が無い判定基準に変更する処理を行う。判定基準の変更例は、第１の変形例で用いた図１１に示す例と同様である。判定基準変更部２１６ｂは、例えば図１１右に示すように、複数の判定結果を含む判定範囲（重複範囲と称する）をnullにすると共に、重複範囲の前後の判定範囲を修正し、判定範囲に漏れがないようにする。

【0114】

次いで、ジェスチャ画像が再び検出されジェスチャ画像に付随するガイド物体の表示が可能となった場合（ジェスチャ画像の検出通知が仮想空間処理装置３００からガイド物体決定装置２００ｂに対して行われてもよいし、ジェスチャ画像の検出有無に関わらずガイド物体決定装置２００ｂからはガイド物体決定情報を送信し続けていてもよい）、身体形状判定部２１１は、変更された判定基準に基づいて現在の身体形状を判定する。そして、ガイド物体決定部２１４は、過去の判定結果を考慮せずに（共通判定形状取得部２１３による共通判定形状の抽出は行わずに）、現在の身体形状のみに基づいてガイド物体（の形態）を決定し、仮想空間処理装置３００にガイド物体決定情報を送信する。

【0115】

（４－２－２．動作処理例）
続いて、本変形例による判定基準変更処理について図１５を参照して説明する。図１５は、第２の変形例による動作処理の流れの一例を示すフローチャートである。

【0116】

図１５に示すように、まず、ガイド物体決定装置２００ｂは、仮想空間処理装置３００からジェスチャ画像の未検出時間を取得する（ステップＳ３０３）。

【0117】

次に、未検出時間が閾値を越えた場合（ステップＳ３０６／Ｙｅｓ）、記憶管理部２１２は、判定結果ＤＢ２４２に記憶する過去の判定結果を削除する（ステップＳ３０９）。

【0118】

次いで、判定基準変更部２１６ｂは、判定基準の変更（重複範囲をnullとし、重複範囲の前後の判定範囲を修正する変更）を行う（ステップＳ３１２）。

【0119】

以上、第２の変形例による判定基準の変更処理について説明した。身体形状判定部２１１は、このように変更された判定基準に基づいて現在の身体形状を判定する。さらに、ガイド物体決定部２１４は、過去の判定結果を考慮せずに、現在の身体形状のみに基づいてガイド物体（の形態）を決定し、仮想空間処理装置３００にガイド物体決定情報を送信する。

【0120】

これにより、ジェスチャ画像の未検出時間が長い場合は過去の判定身体形状と関係なく、現在の判定身体形状のみに基づいてガイド物体を決定することが可能となる。

【0121】

なお、身体形状判定部２１１は、共通判定形状取得部２１３による共通判定形状の抽出を行わないことで、過去の判定結果を考慮しないようにしてもよい。また、上記ステップＳ３０９に示すように判定結果ＤＢ２４２に記憶する判定結果を削除する処理を行っておくことで、共通判定形状取得部２１３による共通判定形状の抽出をスキップするようにしてもよい。

【0122】

また、ジェスチャ画像の未検出時間が閾値以下の場合は、ガイド物体の呈示継続が望ましいため（無意図的に一瞬だけジェスチャ画像が未検出となった場合等が想定される）、判定基準の変更は行わず、上述した実施形態と同様の処理（図９参照）が行われる。

【0123】

また、仮想空間処理装置３００からは未検出時間の通知ではなく、ジェスチャ画像が未検出（非表示）となったことが通知され、ガイド物体決定装置２００ｂ側で未検出時間をカウントするようにしてもよい。

【0124】

また、ガイド物体決定装置２００ｂは、判定基準変更部２１６により変更された判定基準を、ジェスチャ画像が検出されて所定時間が経過した場合（すなわち検出時間が所定の閾値を越えた場合）に元に戻すようにしてもよい。

【0125】

また、第１の変形例と組み合わせてもよい。例えば、判定基準変更部２１６ｂは、ジェスチャ画像の未検出時間と、身体情報の変化とに応じて、判定基準を変更するようにしてもよい。例えば、ジェスチャ画像の未検出時間が閾値以下かつ身体情報の変化が所定値以下の場合以外は（すなわち、ジェスチャ画像の未検出時間が閾値を超える、または、身体情報の変化が所定値を超える場合に）、判定基準の変更（重複範囲をnullとし、重複範囲の前後の判定範囲を修正する変更）を行うようにしてもよい。

【0126】

＜５．応用例＞
以上説明した情報処理システム１は、第１のユーザである指示者が、第２のユーザである遠隔地に居る作業者に対して作業を指示する際に用いられる遠隔作業支援システムに応用することも可能である。以下、図１６を参照して説明する。

【0127】

図１６は、本実施形態に係る遠隔作業支援システムへの応用例について説明する図である。図１６には、第１のユーザとして指示者Ｕ１を示し、指示者Ｕ１から離れた遠隔地に存在する第２のユーザとして作業者Ｕ２を示している。遠隔作業支援システム１０は、例えば遠隔地で何らかの作業を行っている作業者Ｕ２に対して、作業者Ｕ２の視界方向を撮像した映像（作業者Ｕ２の作業対象を含む画角の映像）に基づいて仮想空間処理装置３００により生成される仮想空間の画像（例えば作業対象の部品を仮想物体で表示するなど、実空間の一部をＣＧなどで生成して呈示した画像）を見ながら、リアルタイムで指示者Ｕ１が作業者Ｕ２に対して作業等に関する指示を行う場合に用いられる。なお、ここでは「遠隔地」と表現したが、指示者Ｕ１と作業者Ｕ２が遠く離れた場所に存在する場合に限られず、指示者Ｕ１と作業者Ｕ２は同じ建物の別フロアに存在してもよいし、指示者Ｕ１と作業者Ｕ２は同一フロアの別部屋に存在してもよい。

【0128】

図１６に示したように、遠隔作業支援システム１０は、ジェスチャ画像生成装置１００と、マイク１３０と、ガイド物体決定装置２００ｃと、仮想空間処理装置３００ｃと、表示装置４００と、作業者端末５００と、カメラ５１０と、表示装置５２０（作業者に装着されるＡＲグラスなど）と、を有する。

【0129】

仮想空間処理装置３００ｃは、ガイド物体決定装置２００ｃおよび作業者端末５００と、ネットワークを介して接続されている。ネットワークは、ネットワークに接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワークは、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワークは、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

【0130】

ここで、指示者Ｕ１側に表示される画像において、指示者Ｕ１の手の動きを反映させたジェスチャ画像が重畳表示され、さらに、ジェスチャ画像と仮想物体との位置関係を認識し易くするための、本実施形態によるガイド物体が表示される。かかるガイド物体は、上述した実施形態および各変形例と同様に、センサ部２３０により検出される指示者Ｕ１の身体情報（肘角度など）に基づいて適宜切り替えられる。

【0131】

指示者Ｕ１は、マイク１３０により収音される音声と、ジェスチャ画像生成装置１００により生成されるジェスチャ画像により、作業者Ｕ２に対して指示を行うことができる。具体的には、ジェスチャ画像が重畳された画像（仮想空間画像）が、作業者Ｕ２の表示装置５２０に表示される。また、収音された指示者Ｕ１の音声も併せて作業者Ｕ２側で出力される（例えば作業者Ｕ２が装着するヘッドホン等から）。

【0132】

以上、本実施形態に係る応用例について説明した。なお、ここでは作業者Ｕ２の視界方向を撮像した映像（実空間の映像）から仮想空間処理装置３００ｃにより仮想空間の画像を生成して（仮想物体の生成）、指示者ＵＩ側で表示する場合について説明しているが、本応用例はこれに限定されない。例えば、仮想空間処理装置３００ｃは、作業者Ｕ２の視界方向を撮像した映像（実空間の映像）にジェスチャ画像やガイド物体を重畳表示するようにしてもよい。

【0133】

＜６．ハードウェア構成例＞
続いて、本実施形態に係るガイド物体決定装置２００（２００ａ、２００ｂ、２００ｃ）のハードウェア構成について説明する。上記の動作は、ソフトウェアと、以下に説明するガイド物体決定装置２００のハードウェアとの協働により実現される。

【0134】

図１７は、本実施形態に係るガイド物体決定装置２００を具現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力機器９０８と、出力機器９０９と、ストレージ機器９１０と、ドライブ９１１と、通信機器９１３と、を備える。

【0135】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。当該ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、ガイド物体決定装置２００の制御部２１０が実現される。

【0136】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0137】

入力機器９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチまたはマイクロフォン等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力機器９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力機器９０８により、ガイド物体決定装置２００のセンサ部２３０が実現される。

【0138】

出力機器９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

【0139】

ストレージ機器９１０は、データ格納用の機器である。ストレージ機器９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。当該ストレージ機器９１０により、ガイド物体決定装置２００の記憶部２４０が実現される。

【0140】

ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に外付けされる。ドライブ９１１は、装着される磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１２に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１２に情報を書き込むこともできる。

【0141】

通信機器９１３は、通信を行うための通信デバイス等で構成された通信インタフェースである。当該通信機器９１３により、ガイド物体決定装置２００の通信部２２０が実現される。

【0142】

なお、情報処理装置９００のハードウェア構成は、図１７に示す構成に限られない。例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して通信を行う場合には、通信機器９１３を備えていなくてもよい。また、情報処理装置９００は、例えば、入力機器９０８または出力機器９０９等を備えなくてもよい。また、例えば、図１７に示す構成の一部または全部は、１または２以上のＩＣ（Integrated Circuit）で実現されてもよい。

【0143】

また、図１７に示すハードウェア構成を、ジェスチャ画像生成装置１００、仮想空間処理装置３００、表示装置４００、または作業者端末５００に適用してもよい。ジェスチャ画像生成装置１００、仮想空間処理装置３００、表示装置４００、または作業者端末５００の動作は、ソフトウェアとハードウェアとの協働により実現され得る。

【0144】

＜７．まとめ＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0145】

例えば、応用例の一つとして、遠隔地での作業（例えば工場や倉庫などでの作業）を支援する遠隔作業支援システムへの応用について説明したが、本実施形態は作業支援への応用に限定されず、例えば、様々な分野における教育支援に用いてもよい。

【0146】

また、ジェスチャ画像生成装置１００、ガイド物体決定装置２００、仮想空間処理装置３００、表示装置４００、または作業者端末５００に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ジェスチャ画像生成装置１００、ガイド物体決定装置２００、仮想空間処理装置３００、表示装置４００、または作業者端末５００の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体も提供される。

【符号の説明】

【0147】

１ 情報処理システム
１００ ジェスチャ画像生成装置
１０１ センサ部
１０２ ジェスチャ画像生成部
２００ ガイド物体決定装置
２１０ 制御部
２１１ 身体形状判定部
２１２ 記憶管理部
２１３ 共通判定形状取得部
２１４ ガイド物体決定部
２１５ 身体情報変化算出部
２１６ 判定基準変更部
２２０ 通信部
２３０ センサ部
２４０ 記憶部
２４１ 判定基準ＤＢ（データベース）
２４２ 判定結果ＤＢ（データベース）
３００ 仮想空間処理装置
３０１ 仮想空間ＤＢ（データベース）
３０２ ガイド物体生成部
３０３ 仮想物体情報取得部
３０４ 重畳画像生成部
３０５ 表示制御部
３０６ ジェスチャ画像未検出時間取得部
４００ 表示装置
５００ 作業者端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】