知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024114228
(43)【公開日】2024-08-23
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06F 3/04815 20220101AFI20240816BHJP
G06T 19/00 20110101ALI20240816BHJP
【ＦＩ】
G06F3/04815
G06T19/00 A
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023019865
(22)【出願日】2023-02-13
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】松宮 正太
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050BA13
5B050EA09
5B050EA27
5B050FA02
5B050FA05
5E555AA04
5E555BA08
5E555BB08
5E555BC17
5E555BE16
5E555CA42
5E555CB66
5E555CC03
5E555CC24
5E555CC25
5E555CC26
5E555CC27
5E555DC26
5E555DC27
5E555FA00
(57)【要約】
【課題】より直感的かつ簡易的な三次元空間における視点指定操作を可能とする技術が提供されることが望まれる。
【解決手段】センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出する算出部と、前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成する生成部と、を備える、情報処理装置が提供される。
【選択図】図１
【解決手段】センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出する算出部と、前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成する生成部と、を備える、情報処理装置が提供される。
【選択図】図１
【特許請求の範囲】
【請求項1】
センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出する算出部と、
前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成する生成部と、
を備える、情報処理装置。
前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成する生成部と、
を備える、情報処理装置。
【請求項2】
前記算出部は、前記センサ座標系の位置と前記三次元空間の位置との関係と、前記センサ座標系における前記所定部位の位置とに基づいて、前記三次元空間における前記仮想カメラの位置を算出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記三次元空間における前記仮想カメラの位置は、前記センサ座標系における前記所定部位の位置に対応する前記三次元空間における前記所定部位の位置と一致する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記三次元空間における前記仮想カメラの位置を示すパラメータは、前記センサ座標系における前記所定部位の位置に対応する前記三次元空間における前記所定部位の位置を示すパラメータに定数を乗じて得られるパラメータである、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記オブジェクトのスケールが大きいほど、前記定数は大きい、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項6】
前記算出部は、前記センサ座標系の姿勢と前記三次元空間の姿勢との関係と、前記センサ座標系における前記所定部位の姿勢とに基づいて、前記三次元空間における前記仮想カメラの姿勢を算出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項7】
前記三次元空間における前記仮想カメラの姿勢は、前記三次元空間における前記仮想カメラの撮像方向と前記三次元空間における前記所定部位の所定方向とが一致するように、前記三次元空間における前記所定部位の姿勢が回転した姿勢である、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記算出部は、前記三次元空間における前記仮想カメラの位置から前記オブジェクトの位置への方向を算出し、前記方向に従って前記三次元空間における前記仮想カメラの姿勢を補正する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項9】
前記算出部は、前記三次元空間における前記所定部位の姿勢と前記仮想カメラの姿勢との差分が閾値以下であることに基づいて、前記三次元空間における前記仮想カメラの姿勢を補正する、
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項10】
前記算出部は、前記ユーザによる所定の開始ジェスチャが検出されたことに基づいて、前記三次元空間における前記仮想カメラの位置および姿勢を算出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項11】
前記所定部位は、前記ユーザの手部である、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項12】
センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出することと、
前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成することと、
を含む、コンピュータにより実行される情報処理方法。
前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成することと、
を含む、コンピュータにより実行される情報処理方法。
【請求項13】
コンピュータを、
センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出する算出部と、
前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成する生成部と、
として機能させるプログラム。
センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出する算出部と、
前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成する生成部と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、３Ｄ ＣＡＤ（３ Ｄｉｍｅｎｓｉｏｎ Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）などを代表として、ディスプレイに三次元空間およびオブジェクト（例えば、三次元オブジェクト）の映像を出力するソフトウェアが数多く存在する。
【0003】
一般的に、このような三次元空間およびオブジェクトを操作するソフトウェアでは、ディスプレイに映像を出力するにあたって、三次元空間内のある一つの位置に仮想カメラが配置され、配置された仮想カメラを視点とする映像が出力される。ユーザは、仮想カメラの位置および姿勢を操作することが可能であるため、様々な視点からの三次元空間およびオブジェクトの映像を見ることが可能である。
【0004】
しかし、仮想カメラの位置および姿勢を指定する操作（以下、「視点指定操作」とも言う。）によく使用されるマウスなどの入力機器は、二次元的な操作を前提とした機器であるため、三次元空間における視点指定操作には必ずしも適していない。したがって、二次元的な操作により三次元空間における視点を自由に指定するには、このような視点指定操作に対する慣れが必要であり、このような視点指定操作は初学者にとって難しい。
【0005】
そのため、より直感的な視点指定操作を可能とする技術として、特許文献１に開示された技術が提案されている。特許文献１に開示された技術では、マウスなどのポインティングデバイスによって制御するカーソルの形状を、座標系の３つの軸（Ｘ，Ｙ，Ｚ）を表す形状にすることにより、直感的な操作を実現している。
【0006】
より具体的に、特許文献１に開示された技術では、この形状のカーソルを移動させるドラッグ操作により、カーソルの移動方向に最も近い軸が操作軸として自動的に選択される。そして、選択された操作軸に沿った拡大または縮小、平行移動、回転といった処理のいずれか一つが実行され得る。これにより、操作軸を選択する操作を別途入力しなくても、簡単なドラッグ操作により視点指定操作が可能となり、高速かつ直感的な視点指定操作が可能となる。
【0007】
また、このような視点指定操作に使用される入力機器として３Ｄマウスが挙げられる。３Ｄマウスを使用する場合には、一般的なマウスを使用する場合とは異なり、ユーザは二次元的な操作（すなわち、２自由度の操作）ではなく、一例として６自由度の操作を入力することができる。６自由度の操作は、３方向の平行移動および３方向の回転それぞれを指定するための視点指定操作に割り当てることができる。そのため、３Ｄマウスを使用すれば、一般的なマウスを使用した場合よりも、入力と出力との対応付けを理解しやすい方法によって視点指定を行うことが可能となる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１８－１０６７１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、特許文献１に開示された技術では、ディスプレイに表示されたカーソルを動かす操作（例えば、ドラッグ操作など）によって三次元空間における視点指定操作を行う必要がある。カーソルを動かす操作は、マウスなどのポインティングデバイスを二次元的に動かす操作によって実現される。そのため、二次元的な操作により三次元空間における視点を指定することに対する慣れがやはり必要であり、このような視点指定操作は初学者にとってやはり難しい。
【0010】
また、上記したように、３Ｄマウスを使用する場合には、ユーザは、一例として６自由度の操作を入力することができる。そのため、３Ｄマウスを使用する場合には、一般的なマウスなどのポインティングデバイスを使用する場合と比較して、入力の自由度が大きくなってしまう。したがって、３Ｄマウスを使用して三次元空間における視点を指定することに対する慣れがやはり必要となってしまう。
【0011】
そこで、本発明は上記の問題点を解決するものであり、より直感的かつ簡易的な三次元空間における視点指定操作を可能とする技術が提供されることが望まれる。
【課題を解決するための手段】
【0012】
上記課題を解決するために、本発明のある観点によれば、センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出する算出部と、前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成する生成部と、を備える、情報処理装置が提供される。
【0013】
前記算出部は、前記センサ座標系の位置と前記三次元空間の位置との関係と、前記センサ座標系における前記所定部位の位置とに基づいて、前記三次元空間における前記仮想カメラの位置を算出してもよい。
【0014】
前記三次元空間における前記仮想カメラの位置は、前記センサ座標系における前記所定部位の位置に対応する前記三次元空間における前記所定部位の位置と一致してもよい。
【0015】
前記三次元空間における前記仮想カメラの位置を示すパラメータは、前記センサ座標系における前記所定部位の位置に対応する前記三次元空間における前記所定部位の位置を示すパラメータに定数を乗じて得られるパラメータであってもよい。
【0016】
前記オブジェクトのスケールが大きいほど、前記定数は大きいことでもよい。
【0017】
前記算出部は、前記センサ座標系の姿勢と前記三次元空間の姿勢との関係と、前記センサ座標系における前記所定部位の姿勢とに基づいて、前記三次元空間における前記仮想カメラの姿勢を算出してもよい。
【0018】
前記三次元空間における前記仮想カメラの姿勢は、前記三次元空間における前記仮想カメラの撮像方向と前記三次元空間における前記所定部位の所定方向とが一致するように、前記三次元空間における前記所定部位の姿勢が回転した姿勢であってもよい。
【0019】
前記算出部は、前記三次元空間における前記仮想カメラの位置から前記オブジェクトの位置への方向を算出し、前記方向に従って前記三次元空間における前記仮想カメラの姿勢を補正してもよい。
【0020】
前記算出部は、前記三次元空間における前記所定部位の姿勢と前記仮想カメラの姿勢との差分が閾値以下であることに基づいて、前記三次元空間における前記仮想カメラの姿勢を補正してもよい。
【0021】
前記算出部は、前記ユーザによる所定の開始ジェスチャが検出されたことに基づいて、前記三次元空間における前記仮想カメラの位置および姿勢を算出してもよい。
【0022】
前記所定部位は、前記ユーザの手部であってもよい。
【0023】
また、上記課題を解決するために本発明の別の観点によれば、センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出することと、前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成することと、を含む、コンピュータにより実行される情報処理方法が提供される。
【0024】
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、センサデータに基づいて計測された、センサ座標系におけるユーザの身体の所定部位の位置および姿勢に基づいて、オブジェクトが存在する三次元空間における仮想カメラの位置および姿勢を算出する算出部と、前記三次元空間における前記オブジェクトの位置と、前記仮想カメラの位置および姿勢とに基づいて、前記オブジェクトが前記仮想カメラによって撮像されて得られる画像を生成する生成部と、として機能させるプログラムが提供される。
【発明の効果】
【0025】
以上説明したように本発明によれば、より直感的かつ簡易的な三次元空間における視点指定操作を可能とする技術が提供される。
【図面の簡単な説明】
【0026】
【図1】本発明の第１の実施形態に係る情報処理システムの機能構成例を示す図である。
【図2】本発明の第１の実施形態に係る制御部１２０の動作例の概要について説明するための図であり、現実空間における手部計測センサ部２０と手部との位置姿勢の関係、および、三次元空間におけるオブジェクトと仮想カメラとの位置姿勢の関係の例を示す図である。
【図3】本発明の第１の実施形態に係る制御部１２０の動作例の概要について説明するための図であり、仮想カメラ映像出力部３０によって表示される映像の例を示す図である。
【図4】本発明の第１の実施形態における情報処理システム１の全体的な動作例を示すフローチャートである。
【図6】本発明の第１の実施形態および本発明の第２の実施形態それぞれに係る制御部１２０の動作例の違いについて説明するための図であり、現実空間における手部計測センサ部２０と手部との位置姿勢の関係、および、三次元空間におけるオブジェクトと仮想カメラとの位置姿勢の関係の例を示す図である。
【図7】本発明の第１の実施形態および本発明の第２の実施形態それぞれに係る制御部１２０の動作例の違いについて説明するための図であり、仮想カメラ映像出力部３０によって表示される映像の例を示す図である。
【図8】本発明の第２の実施形態における情報処理システム１の全体的な動作例を示すフローチャートである。
【図11】行列Ｒｏ
ｖｃを回転行列に変換するための補正の例について説明するための図である。
【図12】本発明の実施形態に係る情報処理装置１０の例としての情報処理装置９００のハードウェア構成を示す図である。
【発明を実施するための形態】
【0027】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0028】
（０．概要）
以下に説明するように、本発明の実施形態においては、より直感的かつ簡易的な三次元空間における視点指定操作を可能とする技術について主に提案する。なお、三次元空間は、コンピュータ内の三次元空間を意味し得る。例えば、本発明の実施形態には、以下に説明する、本発明の第１の実施形態および本発明の第２の実施形態が含まれ得る。
以下に説明するように、本発明の実施形態においては、より直感的かつ簡易的な三次元空間における視点指定操作を可能とする技術について主に提案する。なお、三次元空間は、コンピュータ内の三次元空間を意味し得る。例えば、本発明の実施形態には、以下に説明する、本発明の第１の実施形態および本発明の第２の実施形態が含まれ得る。
【0029】
本発明の第１の実施形態においては、センサから得られるユーザの身体の所定部位の位置および姿勢に基づいて、仮想カメラの位置および姿勢が決定される。そして、オブジェクトが存在する三次元空間に、仮想カメラの位置および姿勢に従って仮想カメラが配置され、三次元空間に配置された仮想カメラによる撮像によって得られた映像が画面に出力される。
【0030】
これにより、ユーザの身体の所定部位の動きにより、三次元空間における視点指定操作が行われ得る。このような視点指定操作により、視点指定操作の高速化が実現され得るとともに、ユーザは、自身の身体の所定部位に三次元空間に存在するオブジェクトを撮像させているかのように、直感的かつ簡易的な視点指定操作を行うことが可能となる。
【0031】
本発明の第２の実施形態においては、仮想カメラによる撮像方向を三次元空間に存在するオブジェクトに向かせる処理が追加される。これによって、画面に表示される映像内にオブジェクトを常に位置させることが可能となる。
【0032】
なお、以下の説明においては、所定部位が手部である場合を主に想定する。しかし、所定部位は、ユーザの身体を構成する部位であればどの部位であってもよい。例えば、所定部位は、ユーザの顔であってもよいし、ユーザの目であってもよいし、ユーザの足などであってもよい。
【0033】
また、オブジェクトは、三次元空間に存在する三次元オブジェクトであってよい。三次元オブジェクトは、三次元的な仮想オブジェクトであってよく、仮想オブジェクトは、「仮想物体」とも換言され得る。また、以下の説明においては、映像が動画像である場合を主に想定する。しかし、映像は、静止画像であってもよい。また、以下の説明においては、「位置および姿勢」を単に「位置姿勢」と表記する場合がある。
【0034】
（１．第１の実施形態）
続いて、本発明の第１の実施形態について説明する。
続いて、本発明の第１の実施形態について説明する。
【0035】
（１－１．情報処理システムの構成）
まず、図１を参照しながら、本発明の第１の実施形態に係る情報処理システムの構成例について説明する。図１は、本発明の第１の実施形態に係る情報処理システムの機能構成例を示す図である。図１に示されるように、情報処理システム１は、情報処理装置１０と、手部計測センサ部２０と、仮想カメラ映像出力部３０とを有する。
まず、図１を参照しながら、本発明の第１の実施形態に係る情報処理システムの構成例について説明する。図１は、本発明の第１の実施形態に係る情報処理システムの機能構成例を示す図である。図１に示されるように、情報処理システム１は、情報処理装置１０と、手部計測センサ部２０と、仮想カメラ映像出力部３０とを有する。
【0036】
（手部計測センサ部２０）
手部計測センサ部２０は、物理的なセンサを有しており、物理的なセンサによりユーザの手部のセンサデータを検出する。さらに、手部計測センサ部２０は、センサデータに基づいて手部計測センサ部２０による現実空間の検知範囲を規定する座標系（以下、「センサ座標系」とも言う。）におけるユーザの手部の位置姿勢を計測する処理を行う。また、手部計測センサ部２０は、センサデータに基づいて手部の形状が所定の形状にされていることを所定のジェスチャとして検出する。
手部計測センサ部２０は、物理的なセンサを有しており、物理的なセンサによりユーザの手部のセンサデータを検出する。さらに、手部計測センサ部２０は、センサデータに基づいて手部計測センサ部２０による現実空間の検知範囲を規定する座標系（以下、「センサ座標系」とも言う。）におけるユーザの手部の位置姿勢を計測する処理を行う。また、手部計測センサ部２０は、センサデータに基づいて手部の形状が所定の形状にされていることを所定のジェスチャとして検出する。
【0037】
ここで、所定のジェスチャは、ユーザが片手で簡易に作ることが可能であるのが望ましいが、ユーザが両手で作ることが可能であってもよい。例えば、所定のジェスチャには、視点移動開始ジェスチャおよび視点移動終了ジェスチャが含まれる。視点移動開始ジェスチャと視点移動終了ジェスチャとは、同じジェスチャであってもよいし、異なるジェスチャであってもよい。
【0038】
手部計測センサ部２０は、情報処理装置１０と通信インタフェースを介して接続されており、センサ座標系におけるユーザの手部の位置姿勢を、通信インタフェースを介して情報処理装置１０に出力する。さらに、手部計測センサ部２０は、ジェスチャを検出した場合に、ジェスチャが検出されたことを、通信インタフェースを介して情報処理装置１０に出力する。
【0039】
ここで、センサの種類は特に限定されない。例えば、センサは、赤外線センサであってもよい。例えば、センサは、赤外線ステレオカメラであり、複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）によって手部に照射された赤外線の反射を、センサデータとして赤外線ステレオカメラによって検出してもよい。あるいは、センサは、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）カメラなどであってもよい。
【0040】
ユーザの手部の位置姿勢を計測する手法も特に限定されない。例えば、手部計測センサ部２０は、センサデータに基づいて、手部の骨格の各位置を示す三次元座標（以下、「手部の三次元骨格情報」とも言う。）を検出し得る。
【0041】
具体的に、三次元座標が検出される手部の骨格の各位置には、指先、指関節、手のひらを構成する多角形の頂点、手のひらを構成する頂点群の重心それぞれの位置が含まれ得る。手部計測センサ部２０は、このような手部の三次元骨格情報に基づいて、センサ座標系におけるユーザの手部の位置姿勢を計測してもよい。
【0042】
手部の位置は、センサ座標系における三次元情報によって表現される。ここでは、手部の位置が、一例として手のひらを構成する頂点群の重心位置のセンサ座標系における三次元座標（Ｘ，Ｙ，Ｚ）によって表現される場合を主に想定する。しかし、手部の位置は、手部の骨格の他の位置のセンサ座標系における三次元座標によって表現されてもよい。
【0043】
手部の姿勢は、センサ座標系における三次元情報によって表現される。ここでは、手部の姿勢が、一例として手部の姿勢に沿った３方向（ｘ軸方向、ｙ軸方向、ｚ軸方向）のセンサ座標系における座標軸（Ｘ軸、Ｙ軸、Ｚ軸）に対する回転行列によって表現される場合を主に想定する。しかし、手部の姿勢は、後にも説明するように、他の形式によって表現されてもよい。
【0044】
手部の姿勢に沿った３方向は、互いに直交し合う３方向であってよい。以下の説明においては、手のひらの向く方向がｚ軸方向であり、ｚ軸方向と直交するとともに互いに直交する２方向のうち、一方がｘ軸方向であり、他方がｙ軸方向である場合を主に想定する。しかし、手部の姿勢に沿った３方向は、このような３方向に限定されない。
【0045】
（情報処理装置１０）
情報処理装置１０は、コンピュータによって実現される。図１に示されるように、情報処理装置１０は、制御部１２０と記憶部１３０とを備える。情報処理装置１０は、手部計測センサ部２０と通信インタフェースを介して有線または無線により接続されており、手部計測センサ部２０から、通信インタフェースを介して、手部の位置姿勢と、ジェスチャの検出結果とを取得し得る。さらに、情報処理装置１０は、仮想カメラ映像出力部３０とも通信インタフェースを介して有線または無線により接続されている。
情報処理装置１０は、コンピュータによって実現される。図１に示されるように、情報処理装置１０は、制御部１２０と記憶部１３０とを備える。情報処理装置１０は、手部計測センサ部２０と通信インタフェースを介して有線または無線により接続されており、手部計測センサ部２０から、通信インタフェースを介して、手部の位置姿勢と、ジェスチャの検出結果とを取得し得る。さらに、情報処理装置１０は、仮想カメラ映像出力部３０とも通信インタフェースを介して有線または無線により接続されている。
【0046】
（制御部１２０）
制御部１２０は、各種の演算処理を行う。例えば、制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
制御部１２０は、各種の演算処理を行う。例えば、制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【0047】
演算装置による演算に必要なデータは、記憶部１３０によって適宜記憶される。図１に示されるように、制御部１２０は、初期化部１２１と、仮想カメラ位置姿勢計算部１２２と、仮想カメラ配置部１２３と、仮想カメラ映像生成部１２４とを備える。
【0048】
（初期化部１２１）
初期化部１２１は、三次元空間に存在するオブジェクトと手部計測センサ部２０との位置姿勢の関係の初期化を行う。さらに、初期化部１２１は、三次元空間に存在するオブジェクトと仮想カメラとの位置姿勢の関係の初期化を行う。初期化のさらに具体的な処理については後に説明する。なお、オブジェクトは、三次元空間における所定の位置および所定の姿勢に配置される。したがって、オブジェクトの位置姿勢を基準とする座標系（以下、「オブジェクト座標系」とも言う。）は、三次元空間を規定する座標系にも該当し得る。
初期化部１２１は、三次元空間に存在するオブジェクトと手部計測センサ部２０との位置姿勢の関係の初期化を行う。さらに、初期化部１２１は、三次元空間に存在するオブジェクトと仮想カメラとの位置姿勢の関係の初期化を行う。初期化のさらに具体的な処理については後に説明する。なお、オブジェクトは、三次元空間における所定の位置および所定の姿勢に配置される。したがって、オブジェクトの位置姿勢を基準とする座標系（以下、「オブジェクト座標系」とも言う。）は、三次元空間を規定する座標系にも該当し得る。
【0049】
（仮想カメラ位置姿勢計算部１２２）
仮想カメラ位置姿勢計算部１２２は、手部計測センサ部２０によって計測された手部の位置姿勢に基づいて、オブジェクト座標系における仮想カメラの位置姿勢を算出する。
仮想カメラ位置姿勢計算部１２２は、手部計測センサ部２０によって計測された手部の位置姿勢に基づいて、オブジェクト座標系における仮想カメラの位置姿勢を算出する。
【0050】
例えば、センサ座標系の位置を基準としたオブジェクト座標系の相対位置があらかじめ決められている場合が想定される。このとき、仮想カメラ位置姿勢計算部１２２は、かかる相対位置とセンサ座標系における手部の位置とに基づいて、オブジェクト座標系における仮想カメラの位置を算出する。オブジェクト座標系における仮想カメラの位置の具体的な算出例については後に説明する。
【0051】
また、例えば、センサ座標系の姿勢を基準としたオブジェクト座標系の相対姿勢があらかじめ決められている場合が想定される。このとき、仮想カメラ位置姿勢計算部１２２は、かかる相対姿勢とセンサ座標系における手部の姿勢とに基づいて、オブジェクト座標系における仮想カメラの姿勢を算出する。オブジェクト座標系における仮想カメラの姿勢の具体的な算出例については後に説明する。
【0052】
（仮想カメラ配置部１２３）
仮想カメラ配置部１２３は、仮想カメラ位置姿勢計算部１２２によって算出された、オブジェクト座標系における仮想カメラの位置姿勢に従って、三次元空間に仮想カメラを配置する。なお、仮想カメラの位置姿勢を基準とする座標系は、「カメラ座標系」とも表記される。
仮想カメラ配置部１２３は、仮想カメラ位置姿勢計算部１２２によって算出された、オブジェクト座標系における仮想カメラの位置姿勢に従って、三次元空間に仮想カメラを配置する。なお、仮想カメラの位置姿勢を基準とする座標系は、「カメラ座標系」とも表記される。
【0053】
仮想カメラの位置は、オブジェクト座標系における三次元情報によって表現される。ここでは、仮想カメラの位置が、一例として仮想カメラの焦点位置のオブジェクト座標系における三次元座標（Ｘ，Ｙ，Ｚ）によって表現される場合を主に想定する。しかし、仮想カメラの位置は、仮想カメラの焦点位置以外の位置のオブジェクト座標系における三次元座標によって表現されてもよい。
【0054】
仮想カメラの姿勢は、オブジェクト座標系における三次元情報によって表現される。ここでは、仮想カメラの姿勢が、一例として仮想カメラの姿勢に沿った３方向（ｘ軸方向、ｙ軸方向、ｚ軸方向）のオブジェクト座標系における座標軸（Ｘ軸、Ｙ軸、Ｚ軸）に対する回転行列によって表現される場合を主に想定する。しかし、仮想カメラの姿勢は、後にも説明するように、他の形式によって表現されてもよい。
【0055】
仮想カメラの姿勢に沿った３方向は、互いに直交し合う３方向であってよい。以下の説明においては、仮想カメラの撮像方向（すなわち、光軸方向）がｚ軸方向であり、ｚ軸方向と直交するとともに互いに直交する２方向のうち、一方がｘ軸方向であり、他方がｙ軸方向である場合を主に想定する。しかし、仮想カメラの姿勢に沿った３方向は、このような３方向に限定されない。
【0056】
（仮想カメラ映像生成部１２４）
仮想カメラ映像生成部１２４は、オブジェクトが仮想カメラによって撮像されて得られる映像を生成する。より具体的に、仮想カメラ映像生成部１２４は、オブジェクト座標系におけるオブジェクトに関する情報と、オブジェクト座標系における仮想カメラの位置姿勢とに基づいて、オブジェクトが仮想カメラによって撮像されて得られる映像を生成する。オブジェクトに関する情報は、オブジェクトの位置、姿勢、サイズおよび形状の少なくともいずれか一つを含んでもよい。
仮想カメラ映像生成部１２４は、オブジェクトが仮想カメラによって撮像されて得られる映像を生成する。より具体的に、仮想カメラ映像生成部１２４は、オブジェクト座標系におけるオブジェクトに関する情報と、オブジェクト座標系における仮想カメラの位置姿勢とに基づいて、オブジェクトが仮想カメラによって撮像されて得られる映像を生成する。オブジェクトに関する情報は、オブジェクトの位置、姿勢、サイズおよび形状の少なくともいずれか一つを含んでもよい。
【0057】
例えば、仮想カメラ映像生成部１２４によって生成される映像は、オブジェクトの二次元映像であってもよい。このとき、仮想カメラ映像生成部１２４は、オブジェクトに関する情報に基づいて、三次元空間におけるオブジェクトの三次元的な領域を判定し、オブジェクトの三次元的な領域をあらかじめ決められた射影式によって射影することによって、オブジェクトの二次元映像を生成する。例えば、かかる射影式は、正射影（平行投影）を示す式であってよい。
【0058】
あるいは、仮想カメラ映像生成部１２４によって生成される映像は、オブジェクトの三次元映像であってもよい。このとき、仮想カメラ映像生成部１２４は、オブジェクトに関する情報と、仮想カメラの位置姿勢とに基づいて、仮想カメラを基準としたオブジェクトの見え方を算出し、算出した見え方に基づいて、オブジェクトの三次元映像を生成してもよい。
【0059】
（記憶部１３０）
記憶部１３０は、制御部１２０を動作させるためのプログラムおよびデータを記憶することが可能なメモリである。また、記憶部１３０は、制御部１２０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶部１３０は、不揮発性メモリであってよい。
記憶部１３０は、制御部１２０を動作させるためのプログラムおよびデータを記憶することが可能なメモリである。また、記憶部１３０は、制御部１２０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶部１３０は、不揮発性メモリであってよい。
【0060】
（仮想カメラ映像出力部３０）
仮想カメラ映像出力部３０は、物理的なディスプレイによって構成され、仮想カメラ映像生成部１２４によって生成された映像の表示を行う機能を有する。
仮想カメラ映像出力部３０は、物理的なディスプレイによって構成され、仮想カメラ映像生成部１２４によって生成された映像の表示を行う機能を有する。
【0061】
例えば、仮想カメラ映像出力部３０は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよい。また、仮想カメラ映像出力部３０は、ユーザの頭部に装着されるヘッドマウントディスプレイであってもよいし、設置型のディスプレイであってもよい。
【0062】
例えば、仮想カメラ映像出力部３０は、二次元ディスプレイによって構成されてもよい。このとき、仮想カメラ映像生成部１２４によって生成されたオブジェクトの二次元映像を表示し得る。あるいは、仮想カメラ映像出力部３０は、三次元ディスプレイによって構成されてもよい。このとき、仮想カメラ映像生成部１２４によって生成されたオブジェクトの三次元映像を表示し得る。
【0063】
以上、本発明の第１の実施形態に係る情報処理システム１の構成例について説明した。
【0064】
（１－２．情報処理システムの動作）
本発明の第１の実施形態に係る情報処理システム１は、ユーザが三次元空間における仮想カメラの位置姿勢を映像の視点として指定し、その視点からの映像を視認しながら、モデリング作業を行ったり、映像を楽しんだりするために用いられ得る。そのため、本発明の第１の実施形態に係る情報処理システム１は、三次元空間における映像の視点を指定することが求められる様々なシステムに適用される。
本発明の第１の実施形態に係る情報処理システム１は、ユーザが三次元空間における仮想カメラの位置姿勢を映像の視点として指定し、その視点からの映像を視認しながら、モデリング作業を行ったり、映像を楽しんだりするために用いられ得る。そのため、本発明の第１の実施形態に係る情報処理システム１は、三次元空間における映像の視点を指定することが求められる様々なシステムに適用される。
【0065】
本項、すなわち「１－２．情報処理システムの動作」の項においては、制御部１２０の動作例について主に説明する。より詳細には、本項においては、三次元空間における映像の視点がユーザによって指定される場合における情報処理システム１の動作例について主に説明する。まず、図２および図３を参照しながら、本発明の第１の実施形態に係る制御部１２０の動作例の概要について説明する。
【0066】
図２は、本発明の第１の実施形態に係る制御部１２０の動作例の概要について説明するための図であり、現実空間における手部計測センサ部２０と手部との位置姿勢の関係、および、三次元空間におけるオブジェクトと仮想カメラとの位置姿勢の関係の例を示す図である。図２を参照すると、現実空間における手部計測センサ部２０の位置が「センサ位置Ｓ」として示されている。なお、図２に示された例では、センサ位置Ｓに存在する円柱形状の立体が手部計測センサ部２０であるが、手部計測センサ部２０の形状は特に限定されない。
【0067】
手部計測センサ部２０は、現実空間においてユーザの手部の位置姿勢を計測する。図２に示された例において、位置姿勢Ｈ１～Ｈ４それぞれは、手部計測センサ部２０によって計測された手部の位置姿勢である。一例として、位置姿勢Ｈ１～Ｈ４それぞれは、センサ位置Ｓを原点とするセンサ座標系における手部の位置および姿勢であり、６次元のベクトルによって表現される。センサ位置Ｓは、センサ座標系の原点である。
【0068】
また、図２を参照すると、三次元空間におけるオブジェクトの位置が「オブジェクト位置Ｏ」として示されている。なお、図２に示された例では、オブジェクト位置Ｏに存在する直方体形状の立体がオブジェクトであるが、オブジェクトの形状は特に限定されない。
【0069】
制御部１２０は、センサ座標系における手部の位置姿勢と、センサ座標系における手部と三次元空間における仮想カメラとの位置姿勢の関係に基づいて、三次元空間における仮想カメラの位置姿勢を算出する。そして、制御部１２０は、算出した仮想カメラの位置姿勢に仮想カメラを配置する。一例として、位置姿勢Ｃ１～Ｃ４それぞれは、オブジェクト座標系における仮想カメラの位置および姿勢であり、６次元のベクトルによって表現される。オブジェクト位置Ｏは、オブジェクト座標系の原点である。
【0070】
図２に示された例において、センサ座標系における手部の位置姿勢が位置姿勢Ｈ１である場合における、オブジェクト座標系における仮想カメラの位置姿勢は位置姿勢Ｃ１である。同様に、センサ座標系における手部の位置姿勢が位置姿勢Ｈ２である場合における、オブジェクト座標系における仮想カメラの位置姿勢は位置姿勢Ｃ２である。
【0071】
さらに、センサ座標系における手部の位置姿勢が位置姿勢Ｈ３である場合における、オブジェクト座標系における仮想カメラの位置姿勢は位置姿勢Ｃ３である。センサ座標系における手部の位置姿勢が位置姿勢Ｈ４である場合における、オブジェクト座標系における仮想カメラの位置姿勢は位置姿勢Ｃ４である。
【0072】
センサ座標系における手部とオブジェクト座標系における仮想カメラとの位置姿勢の関係は、あらかじめ決められている。一例として、オブジェクト座標系における仮想カメラの位置姿勢Ｃ１～Ｃ４は、センサ座標系における手部の位置姿勢Ｈ１～Ｈ４と一致してもよい。これにより、センサ位置Ｓと手部の位置姿勢Ｈ１～Ｈ４との位置姿勢の関係と、オブジェクト位置Ｏと仮想カメラの位置姿勢Ｃ１～Ｃ４との位置姿勢の関係とが同一となる。
【0073】
図３は、本発明の第１の実施形態に係る制御部１２０の動作例の概要について説明するための図であり、仮想カメラ映像出力部３０によって表示される映像の例を示す図である。仮想カメラ映像出力部３０は、制御部１２０によって配置された仮想カメラにより三次元空間に存在するオブジェクトが撮像されて得られる映像を表示する。
【0074】
図３（および図２）に示された例において、オブジェクト座標系における位置姿勢Ｃ１に配置された仮想カメラによってオブジェクトが撮像されて得られる映像は映像Ｄ１である。同様に、オブジェクト座標系における位置姿勢Ｃ２に配置された仮想カメラによってオブジェクトが撮像されて得られる映像は映像Ｄ２である。
【0075】
さらに、オブジェクト座標系における位置姿勢Ｃ３に配置された仮想カメラによってオブジェクトが撮像されて得られる映像は映像Ｄ３である。オブジェクト座標系における位置姿勢Ｃ４に配置された仮想カメラによってオブジェクトが撮像されて得られる映像は映像Ｄ４である。
【0076】
例えば、ユーザが現実空間において位置姿勢Ｈ１から位置姿勢Ｈ２に手部を移動させた場合を想定する。かかる場合には、現実空間における手部の移動に伴って、仮想カメラが三次元空間において位置姿勢Ｃ１から位置姿勢Ｃ２に移動する。そして、三次元空間における仮想カメラの移動に伴って、仮想カメラの位置姿勢を視点とする映像は、映像Ｄ１から映像Ｄ２に変更される。
【0077】
このように、ユーザは手部の位置を変更することによって、映像の視点の位置を変更し、様々な位置を視点とする映像を視認することが可能である。
【0078】
続いて、ユーザが現実空間において手部をセンサ位置Ｓに近づけ、手部を位置姿勢Ｈ２から位置姿勢Ｈ３に移動させた場合を想定する。かかる場合には、現実空間における手部の移動に伴って、仮想カメラが三次元空間においてオブジェクト位置Ｏに近づき、位置姿勢Ｃ２から位置姿勢Ｃ３に移動する。そして、三次元空間における仮想カメラの移動に伴って、仮想カメラの位置姿勢を視点とする映像は、映像Ｄ２から映像Ｄ３に拡大される。
【0079】
このように、ユーザは手部の位置をセンサ位置Ｓに近づけることによって、映像を拡大させることが可能である。同様に、ユーザは手部の位置をセンサ位置Ｓから遠ざけることによって、映像を縮小させることが可能である。
【0080】
一方、ユーザが手部をセンサ位置Ｓに近づけるのではなく、手部の姿勢を変更した場合を想定する。かかる場合には、現実空間における手部の姿勢の変更に伴って、仮想カメラの姿勢が変化し、仮想カメラの位置姿勢が、三次元空間において位置姿勢Ｃ１から位置姿勢Ｃ４に変更される。そして、三次元空間における仮想カメラの姿勢の変更に伴って、仮想カメラの位置姿勢を視点とする映像は、映像Ｄ１から映像Ｄ４に回転する。
【0081】
このように、ユーザは手部の姿勢を変更することによって、映像の視点の向きを変更することが可能である。
【0082】
図２および図３を参照しながら説明したように、本発明の第１の実施形態に係る情報処理システム１によれば、ユーザは、自身の手部の動きのみによって、映像の視点位置の変更、映像の拡大または縮小、映像の回転といった、映像の視点変更操作を行うことが可能となる。続いて、図４および図５を参照しながら、映像の視点がユーザによって指定される場合における情報処理システム１の動作例について説明する。
【0083】
【0084】
ユーザは、三次元空間に存在する１または複数のオブジェクトのうち、視認したいオブジェクトを選択する操作を入力する。そして、制御部１２０は、かかる操作に従ってオブジェクトを選択する（Ｓ１１１）。ここでは、オブジェクト位置Ｏ（図２）に存在するオブジェクトがユーザによって選択されたとする。なお、オブジェクトを選択する操作は限定されない。一例として、オブジェクトを選択する操作は、マウスなどのポインティングデバイスを用いてカーソルを動かし、カーソルの位置に存在するオブジェクトを選択する操作によって実現されてもよい。
【0085】
続いて、初期化部１２１は、選択したオブジェクトの位置姿勢とセンサ座標系の位置姿勢との関係を設定する（Ｓ１１２）。本発明の第１の実施形態においては、センサ座標系におけるユーザの手部の動きに応じて、選択されたオブジェクトを基準として仮想カメラを動かすことによって、映像の視点移動を実現することを想定する。そのため、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との関係を設定する必要がある。
【0086】
例えば、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との関係を示すパラメータがあらかじめ記憶されている場合が想定される。かかる場合には、初期化部１２１は、パラメータが示す関係を満たすように、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との関係を設定する。これにより、パラメータが示す関係を満たすように、センサ座標系がオブジェクト座標系に配置される。
【0087】
例えば、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との関係として、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との一致を示すパラメータが記憶されている場合、オブジェクト座標系の位置姿勢と一致する位置姿勢に従って、センサ座標系がオブジェクト座標系に配置される。
【0088】
なお、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との関係を示すパラメータは、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との一致を示さなくてもよい。一例として、パラメータは、オブジェクト位置Ｏから離れた位置へのセンサ座標系のオブジェクト座標系への配置を示してもよいし、オブジェクト座標系の姿勢と異なった姿勢に従ったセンサ座標系のオブジェクト座標系への配置を示してもよい。
【0089】
オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との関係は、どのような形式で表現されてもよい。例えば、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢との関係は、オブジェクト座標系の位置姿勢を基準としたセンサ座標系の相対的な位置姿勢により表現されてもよいし、センサ座標系の位置姿勢を基準としたオブジェクト座標系の相対的な位置姿勢により表現されてもよい。
【0090】
以下の説明においては、説明を簡略化するため、オブジェクト座標系の位置姿勢と一致する位置姿勢に従って、センサ座標系がオブジェクト座標系に配置されることを前提として説明を続ける。
【0091】
なお、センサ座標系における手部の位置は、センサ座標系における三次元座標（Ｘ，Ｙ，Ｚ）によって表現されてもよい。また、センサ座標系における手部の姿勢は、手部の姿勢に沿った３方向（ｘ軸方向、ｙ軸方向、ｚ軸方向）のセンサ座標系における座標軸（Ｘ軸、Ｙ軸、Ｚ軸）に対する回転行列によって表現される場合を主に想定する。しかし、センサ座標系における手部の姿勢は、後にも説明するように、他の形式によって表現されてもよい。
【0092】
続いて、初期化部１２１は、オブジェクト座標系における仮想カメラの位置姿勢の初期化を行う（Ｓ１１３）。より詳細に、オブジェクト座標系における仮想カメラの初期段階の位置姿勢を示すパラメータがあらかじめ記憶されている場合には、初期化部１２１は、オブジェクトが選択されたことに基づいて、オブジェクト座標系におけるパラメータが示す位置姿勢に仮想カメラの初期段階の位置姿勢を設定する。なお、この仮想カメラの初期段階の位置姿勢は、後に仮想カメラ位置姿勢計算部１２２によって仮想カメラの位置姿勢が算出されるときにも用いられる。
【0093】
例えば、オブジェクトの正面に仮想カメラの位置が設定され、仮想カメラの撮像方向が仮オブジェクトに向くように仮想カメラの姿勢が設定された場合、オブジェクトが選択された後、仮想カメラ映像出力部３０によって最初に表示される映像はオブジェクトを正面から見た映像となる。
【0094】
オブジェクト座標系における仮想カメラの初期段階の位置姿勢は、どのような形式で表現されてもよい。例えば、オブジェクト座標系における仮想カメラの初期段階の位置姿勢は、オブジェクト座標系の位置姿勢を基準としたカメラ座標系の相対的な位置姿勢により表現されてもよいし、カメラ座標系の位置姿勢を基準としたオブジェクト座標系の相対的な位置姿勢により表現されてもよい。
【0095】
なお、オブジェクト座標系における仮想カメラの初期段階の位置は、オブジェクト座標系における三次元座標（Ｘ，Ｙ，Ｚ）によって表現されてもよい。また、オブジェクト座標系における仮想カメラの初期段階の姿勢は、仮想カメラの姿勢に沿った３方向（ｘ軸方向、ｙ軸方向、ｚ軸方向）のオブジェクト座標系における座標軸（Ｘ軸、Ｙ軸、Ｚ軸）に対する回転行列によって表現される場合を主に想定する。しかし、オブジェクト座標系における仮想カメラの初期段階の姿勢は、後にも説明するように、他の形式によって表現されてもよい。
【0096】
その後、手部計測センサ部２０によって視点移動開始ジェスチャが検出されない限り（Ｓ１１４において「ＮＯ」）、仮想カメラ映像出力部３０は、仮想カメラ映像生成部１２４によって生成された、固定した位置姿勢からの映像を表示し続ける（Ｓ１１５）。一方、手部計測センサ部２０によって視点移動開始ジェスチャが検出された場合（Ｓ１１４において「ＹＥＳ」）、視点移動処理に動作が移行される（Ｓ１１６）。
【0097】
すなわち、視点移動開始ジェスチャが検出されなければ、手部計測センサ部２０による検知範囲内においてユーザが手部を移動させたとしても、視点変更は行われず、固定した位置姿勢からの映像が表示され続ける。例えば、視点移動開始ジェスチャは、手部の形状が所定の形状にされていることであってよく、所定の形状は、片手の全指をすべて曲げた形状であってもよいし、人差し指を伸ばして他の指を曲げた形状などであってもよい。ただし、所定の形状はどのような形状であってもよい。
【0098】
図５を参照しながら、視点移動開始ジェスチャが検出された場合に実行される視点移動処理の詳細な動作例について説明する。
【0099】
まず、仮想カメラ位置姿勢計算部１２２は、手部計測センサ部２０によって計測された手部の位置姿勢を取得する（Ｓ１２１）。続いて、仮想カメラ位置姿勢計算部１２２は、手部計測センサ部２０によって計測された手部の位置姿勢に基づいて、オブジェクト座標系における仮想カメラの位置姿勢を算出する（Ｓ１２２）。
【0100】
例えば、センサ座標系における手部の位置姿勢と、オブジェクト座標系における仮想カメラの位置姿勢との関係が、あらかじめ決められている場合が想定される。このとき、仮想カメラ位置姿勢計算部１２２は、かかる関係とセンサ座標系における手部の位置姿勢とに基づいて、オブジェクト座標系における仮想カメラの位置姿勢を算出する。
【0101】
センサ座標系における手部の位置姿勢と、オブジェクト座標系における仮想カメラの位置姿勢との関係は、どのような関係であってもよい。ただし、より直感的な視点指定操作を実現するためには、オブジェクト座標系における仮想カメラの姿勢は、オブジェクト座標系における手部の所定方向と、オブジェクト座標系における仮想カメラの撮像方向とが一致するように、オブジェクト座標系における手部の姿勢が回転した姿勢であるのが望ましい。
【0102】
オブジェクト座標系における仮想カメラの位置姿勢との関係がこのような関係であれば、ユーザ自身で仮想カメラを動かしながら仮想カメラにオブジェクトを撮像させるような視点指定操作が実現され得る。
【0103】
例えば、手部の所定方向は、手のひらの向く方向であってよく、手部の姿勢に沿った方向であってよい。一方、仮想カメラの撮像方向は、仮想カメラの姿勢に沿った方向であってよい。図２に示された例では、手部の位置姿勢Ｈ１～Ｈ４に対応する手のひらの向く方向（ｚ軸方向）と、仮想カメラの位置姿勢Ｃ１～Ｃ４に対応する撮像方向（ｚ軸方向）とが一致している。
【0104】
ここで、仮想カメラの位置姿勢の算出例として、以下に回転行列を用いた例を示す。
【0105】
オブジェクト座標系における仮想カメラの位置は、センサ座標系における手部の位置に対応する三次元空間における手部の位置と一致してもよい。あるいは、オブジェクト座標系における仮想カメラの位置を示すパラメータは、センサ座標系における手部の位置に対応するオブジェクト座標系における手部の位置を示すパラメータに定数を乗じて得られるパラメータであってもよい。
【0106】
すなわち、オブジェクト座標系における仮想カメラの位置Ｐｖｃ＝［Ｘｖｃ，Ｙｖｃ，Ｚｖｃ］Ｔは、定数ｓとオブジェクト座標系における手部の位置Ｐｈｃ＝［Ｘｈｃ，Ｙｈｃ，Ｚｈｃ］Ｔとを用いて、下記の式（１）により算出される。
【0107】
Ｐｖｃ＝ｓＰｈｃ ・・・（１）
【0108】
定数ｓは、手部の移動のスケールと仮想カメラの移動のスケールとの関係を調節するためのパラメータに該当する。例えば、ｓ＝０．１に設定されている場合には、仮想カメラの移動のスケールは、手部の移動のスケールの１／１０になる。ｓは、任意に設定可能であり、選択されたオブジェクトのスケールに応じて変化してもよい。一例として、選択されたオブジェクトのスケールが大きいほど、ｓは大きくてもよい。
【0109】
オブジェクト座標系における仮想カメラの姿勢を算出するためのパラメータＲｏ
ｖｃ（回転行列）は、センサ座標系における手部の姿勢を算出するためのパラメータＲｏ
ｈ（回転行列）と、あらかじめ設定されたセンサ座標系とオブジェクト座標系との関係を示すパラメータＲｈ
ｖｃ（回転行列）を用いて、下記の式（２）により算出される。
【0110】
Ｒｏ
ｖｃ＝Ｒｏ
ｈＲｈ
ｖｃ ・・・（２）
【0111】
なお、上記したように、センサ座標系とオブジェクト座標系との関係を示すパラメータＲｈ
ｖｃは、オブジェクト座標系における手部の所定方向（例えば、手のひらの向く方向）と、オブジェクト座標系における仮想カメラの撮像方向とが一致するように設定されているのが望ましい。これにより、ユーザは、手のひらが向く方向を変化させることによって、仮想カメラの撮像方向を変化させることが可能となる。
【0112】
続いて、仮想カメラ配置部１２３は、仮想カメラ位置姿勢計算部１２２によって算出された、オブジェクト座標系における仮想カメラの位置姿勢に従って、三次元空間に仮想カメラを移動する（Ｓ１２３）。そして、仮想カメラ映像生成部１２４は、仮想カメラの配位置姿勢からの映像を生成し、仮想カメラ映像出力部３０は、生成された映像を表示する（Ｓ１２４）。
【0113】
制御部１２０は、手部計測センサ部２０によって視点移動終了ジェスチャが検出されたかを判定する（Ｓ１２５）。
【0114】
制御部１２０は、視点移動終了ジェスチャが検出されていないと判定した場合には（Ｓ１２５において「ＮＯ」）、Ｓ１２１に戻り、視点移動処理を継続する。例えば、視点移動終了ジェスチャは、視点移動開始ジェスチャと同様に、手部の形状が所定の形状にされていることであってよい。上記したように、視点移動開始ジェスチャと視点移動終了ジェスチャとは、同じジェスチャであってもよいし、異なるジェスチャであってもよい。
【0115】
一方、制御部１２０は、視点移動終了ジェスチャが検出されたと判定した場合には（Ｓ１２５において「ＹＥＳ」）、仮想カメラの位置姿勢を固定し（Ｓ１２６）、Ｓ１１４に動作を移行させる（Ｓ１２６）。すなわち、ユーザは、視点移動終了ジェスチャを行うことによって、映像の視点を固定することが可能である。
【0116】
以上、本発明の第１の実施形態に係る情報処理システム１の動作例について説明した。
【0117】
（１－３．効果）
以上により、本発明の第１の実施形態によれば、コンピュータ内の三次元空間上の仮想カメラの位置姿勢を、現実空間で計測した手部の位置姿勢から計算することによって、手部の動きのみで映像の視点指定操作が可能である。これにより、ユーザ自身が対象のオブジェクトをカメラで撮像しているように視点指定操作を行うことが可能となり、より直感的な視点指定操作が実現され得る。
以上により、本発明の第１の実施形態によれば、コンピュータ内の三次元空間上の仮想カメラの位置姿勢を、現実空間で計測した手部の位置姿勢から計算することによって、手部の動きのみで映像の視点指定操作が可能である。これにより、ユーザ自身が対象のオブジェクトをカメラで撮像しているように視点指定操作を行うことが可能となり、より直感的な視点指定操作が実現され得る。
【0118】
また、一般的には、マウスに対するクリック操作と、カーソル位置を移動させるドラッグ操作との組み合わせにより視点指定操作が実現される。一方、本発明の第１の実施形態によれば、手部の移動のみによって視点変更操作が実現されるため、より連続的な視点変更操作が可能となり、かつ、視点変更操作が高速化されることが期待され得る。
【0119】
以上、本発明の第１の実施形態に係る情報処理システム１が奏する効果について説明した。
【0120】
（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態においては、手部の位置姿勢を計測し、計測した手部の位置姿勢に基づいて仮想カメラを動かすことによって、手部の動きのみで視点指定操作が可能となった。しかし、かかる本発明の第１の実施形態には、改善すべき点がある。図６および図７を参照しながら、本発明の第１の実施形態が備える改善すべき点について説明する。
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態においては、手部の位置姿勢を計測し、計測した手部の位置姿勢に基づいて仮想カメラを動かすことによって、手部の動きのみで視点指定操作が可能となった。しかし、かかる本発明の第１の実施形態には、改善すべき点がある。図６および図７を参照しながら、本発明の第１の実施形態が備える改善すべき点について説明する。
【0121】
図６は、本発明の第１の実施形態および本発明の第２の実施形態それぞれに係る制御部１２０の動作例の違いについて説明するための図であり、現実空間における手部計測センサ部２０と手部との位置姿勢の関係、および、三次元空間におけるオブジェクトと仮想カメラとの位置姿勢の関係の例を示す図である。
【0122】
図６に示された例において、位置姿勢Ｈ５～Ｈ６それぞれは、センサ位置Ｓを原点とするセンサ座標系における位置および姿勢であり、６次元のベクトルによって表現される。また、位置姿勢Ｃ５～Ｃ６それぞれは、オブジェクト座標系における仮想カメラの位置および姿勢であり、６次元のベクトルによって表現される。
【0123】
図６には、本発明の第１の実施形態において、センサ座標系における手部の位置姿勢が位置姿勢Ｈ５である場合における、オブジェクト座標系における仮想カメラの位置姿勢が位置姿勢Ｃ５として示されている。また、本発明の第２の実施形態において、センサ座標系における手部の位置姿勢が位置姿勢Ｈ６である場合における、オブジェクト座標系における仮想カメラの位置姿勢が位置姿勢Ｃ６として示されている。
【0124】
図７は、本発明の第１の実施形態および本発明の第２の実施形態それぞれに係る制御部１２０の動作例の違いについて説明するための図であり、仮想カメラ映像出力部３０によって表示される映像の例を示す図である。仮想カメラ映像出力部３０は、制御部１２０によって配置された仮想カメラにより三次元空間に存在するオブジェクトが撮像されて得られる映像を表示する。
【0125】
図７（および図６）には、本発明の第１の実施形態において、オブジェクト座標系における位置姿勢Ｃ５に配置された仮想カメラによってオブジェクトが撮像されて得られる映像が映像Ｄ５として示されている。また、本発明の第２の実施形態において、オブジェクト座標系における位置姿勢Ｃ６に配置された仮想カメラによってオブジェクトが撮像されて得られる映像が映像Ｄ６として示されている。
【0126】
ここで、図６の上図に示すように、本発明の第１の実施形態においては、手部の位置姿勢Ｈ５および仮想カメラの位置姿勢Ｃ５を参照すると、手のひらの向きがセンサ位置Ｓに向いていないため、仮想カメラの撮像方向もオブジェクト位置Ｏに向いていない。これにより、オブジェクトＢが映像Ｄ５からも外れてしまう。また、映像Ｄ５からは、オブジェクトＢが上方向に外れているが、手部の姿勢によっては、オブジェクトＢが映像Ｄ５の左右方向または下方向に外れてしまう可能性もある。
【0127】
本発明の第１の実施形態が備える、このような改善すべき点を克服するために、本発明の第２の実施形態においては、手部の位置姿勢Ｈ６および仮想カメラの位置姿勢Ｃ６に示されるように、手のひらの向きがセンサ位置Ｓに向いていないとしても、常にオブジェクトに仮想カメラが向くような処理を新たに加える。この処理を加えることにより、常にオブジェクトＢが映像Ｄ６の中央に位置するようになる。
【0128】
（２－１．情報処理システムの構成）
続いて、本発明の第２の実施形態に係る情報処理システムの構成例について説明する。本発明の第２の実施形態に係る情報処理システムの全体的な構成は、本発明の第１の実施形態に係る情報処理システムの全体的な構成と変わらない。しかし、仮想カメラ位置姿勢計算部１２２によって実行される処理が変化する。
続いて、本発明の第２の実施形態に係る情報処理システムの構成例について説明する。本発明の第２の実施形態に係る情報処理システムの全体的な構成は、本発明の第１の実施形態に係る情報処理システムの全体的な構成と変わらない。しかし、仮想カメラ位置姿勢計算部１２２によって実行される処理が変化する。
【0129】
本発明の第１の実施形態においては、仮想カメラの位置姿勢は、式（２）に示されるように、あらかじめ設定されたセンサ座標系とオブジェクト座標系との関係を示すパラメータＲｈ
ｖｃを用いて計算される例について説明した。本発明の第２の実施形態においては、仮想カメラがオブジェクトを常に向くように仮想カメラの位置姿勢が計算される。
【0130】
より詳細には、仮想カメラ位置姿勢計算部１２２は、オブジェクト座標系における仮想カメラの位置からオブジェクトの位置への方向を算出し、算出した方向に従ってオブジェクト座標系における仮想カメラの姿勢を補正する。なお、所定の条件が満たされる場合には、仮想カメラの姿勢は補正されてもよく、所定の条件が満たされない場合には、仮想カメラの姿勢は補正されなくてもよい。
【0131】
例えば、仮想カメラ位置姿勢計算部１２２は、オブジェクト座標系における手部の姿勢と仮想カメラの姿勢との差分が閾値以下である場合には、オブジェクト座標系における仮想カメラの姿勢を補正してもよい。一方、仮想カメラ位置姿勢計算部１２２は、オブジェクト座標系における手部の姿勢と仮想カメラの姿勢との差分が閾値を上回る場合には、オブジェクト座標系における仮想カメラの姿勢を補正しなくてもよい。
【0132】
仮想カメラの位置姿勢のさらに具体的な計算方法および処理手順については、「２－２．情報処理システムの動作」の項において説明する。
【0133】
以上、本発明の第２の実施形態に係る情報処理システム１の構成例について説明した。
【0134】
（２－２．情報処理システムの動作）
本発明の第２の実施形態における全体的な動作例は、本発明の第１の実施形態における全体的な動作例と変わらない。ただし、本発明の第２の実施形態においては、本発明の第１の実施形態における、仮想カメラの位置姿勢の算出Ｓ１２２（図５）に相当する処理方法が変わる。したがって、本項においては、本発明の第２の実施形態における仮想カメラの位置姿勢の算出方法について詳細に説明する。
本発明の第２の実施形態における全体的な動作例は、本発明の第１の実施形態における全体的な動作例と変わらない。ただし、本発明の第２の実施形態においては、本発明の第１の実施形態における、仮想カメラの位置姿勢の算出Ｓ１２２（図５）に相当する処理方法が変わる。したがって、本項においては、本発明の第２の実施形態における仮想カメラの位置姿勢の算出方法について詳細に説明する。
【0135】
図８は、本発明の第２の実施形態における情報処理システム１の全体的な動作例を示すフローチャートである。また、図９は、図８に示された視点移動処理の詳細な動作例を示すフローチャートである。図１０は、図９に示した仮想カメラ移動処理の詳細な動作例を示す図である。なお、フローチャートにおいて、本発明の第１の実施形態におけるステップと共通するステップには同一の符号を付し、そのステップの詳細説明を省略する。
【0136】
図８を参照すると、本発明の第２の実施形態においては、本発明の第１の実施形態における視点移動処理Ｓ１１６（図４）が視点移動処理Ｓ１１８に置き換わっている。視点移動処理Ｓ１１８の詳細な動作例が、図９に示されている。図９を参照すると、Ｓ１２２およびＳ１２３（図５）が仮想カメラ移動処理Ｓ１２８に置き換わっている。そこで、本発明の第２の実施形態の特徴の一つである仮想カメラ移動処理Ｓ１２８について詳細に説明する。
【0137】
まず、仮想カメラ位置姿勢計算部１２２は、オブジェクト座標系における仮想カメラの位置の算出を行う（Ｓ２０１）。本発明の第２の実施形態においても、仮想カメラ位置姿勢計算部１２２は、本発明の第１の実施形態と同様に、オブジェクト座標系における仮想カメラの位置を算出し得る。より詳細に、仮想カメラ位置姿勢計算部１２２は、上記の式（１）を用いてオブジェクト座標系における仮想カメラの位置を算出してよい。
【0138】
続いて、仮想カメラ位置姿勢計算部１２２は、仮想カメラの姿勢の算出を行う。本発明の第１の実施形態においては、下記の式（３）に示すように仮想カメラの姿勢を算出するためのパラメータＲｏ
ｖｃが回転行列によって表現される例について説明した。
【0139】
【数1】
【0140】
ここで、ａ、ｂ、ｃそれぞれは、Ｒｏ
ｖｃの各列の成分であり、三次元のベクトルである。回転行列の性質よりａ、ｂ、ｃは、手部に設定された座標系の座標軸（ｘ，ｙ，ｚ）を表し、上記の式（２）によって算出される。しかし、上記したように、Ｒｏ
ｖｃを用いたとしても、仮想カメラの姿勢が必ずしもオブジェクトの方向に向くように算出されるとは限らない。したがって、仮想カメラ位置姿勢計算部１２２は、Ｒｏ
ｖｃを補正して、常に仮想カメラがオブジェクトに向くような処理を行う。
【0141】
より詳細に、仮想カメラ位置姿勢計算部１２２は、オブジェクト座標系における仮想カメラの位置を基準としたオブジェクトの方向を向く、正規化された方向ベクトルＶｏｚ＝［Ｘｏｚ，Ｙｏｚ，Ｚｏｚ］Ｔを算出する（Ｓ２０２）。なお、本発明の実施形態において「正規化」は、ベクトルの大きさを１にする処理を意味し得る。
【0142】
ここで、Ｖｏｚは仮想カメラを基準としたオブジェクトの方向を示している。また、上記したように、本発明の実施形態においては、仮想カメラの撮像方向がｚ軸方向である場合を主に想定している。したがって、仮想カメラ位置姿勢計算部１２２は、Ｖｏｚの方向に仮想カメラのｚ軸を向けることにより、常に仮想カメラがオブジェクトに向く状態にすることが可能となる。
【0143】
ここで、仮想カメラ位置姿勢計算部１２２は、センサ座標系における手部の位置Ｐｈｃに対応するオブジェクト座標系における手部の位置に「－１」を乗算し、乗算した結果に対して正規化を施すことにより、オブジェクト座標系における仮想カメラの位置を基準としたオブジェクトの方向を向く、正規化された方向ベクトルＶｏｚを得る。
【0144】
なお、Ｓ１１２において、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢とを一致させた場合が想定される。かかる場合には、仮想カメラ位置姿勢計算部１２２は、センサ座標系における手部の位置Ｐｈｃに「－１」を乗算して得られる「－Ｐｈｃ」をＶｏｚとして得ればよい。
【0145】
一方、Ｓ１１２において、オブジェクト座標系の位置姿勢とセンサ座標系の位置姿勢とを一致させなかった場合も想定される。かかる場合には、仮想カメラ位置姿勢計算部１２２は、センサ座標系を基準としたオブジェクト座標系の相対的な位置姿勢を「－Ｐｈｃ」に足すことによりＶｏｚを得ればよい。
【0146】
次に、仮想カメラ位置姿勢計算部１２２は、Ｖｏｚと実際のセンサデータであるＣとの成す角を計算する。そして、仮想カメラ位置姿勢計算部１２２は、ＶｏｚとＣとの成す角が閾値を上回る場合には（Ｓ２０３において「ＮＯ」）、Ｓ２０１およびＳ２０２において算出した仮想カメラの位置姿勢を保持し、Ｓ２０４およびＳ２０５における仮想カメラの位置姿勢の算出を行わない。
【0147】
すなわち、オブジェクト座標系において手部の所定方向（例えば、手のひらの向く方向）と仮想カメラの撮像方向との誤差が大きい場合には、仮想カメラが固定され（すなわち、視点移動が行われずに）、映像が表示される。このような制御は、オブジェクト座標系において手部の所定方向（例えば、手のひらの向く方向）と仮想カメラの撮像方向との誤差が大きい場合に、回転行列の補正Ｓ２０５による誤差も大きくなり、直感的な操作が不可能となることを防ぐために行われる。なお、この閾値は任意に設定可能である。
【0148】
一方、仮想カメラ位置姿勢計算部１２２は、ＶｏｚとＣとの成す角が閾値以下である場合には（Ｓ２０３において「ＹＥＳ」）、Ｖｏｚを用いて仮想カメラがオブジェクトに向くような姿勢を表現する行列を算出する（Ｓ２０４）。
【0149】
より詳細に、本発明の第２の実施形態において、仮想カメラの姿勢は、以下に説明するように回転行列により表現される。ここで、本発明の第１の実施形態では、ａ、ｂ、ｃから構成される回転行列Ｒｏ
ｖｃは、オブジェクト座標系における手部の姿勢であった。一方、本発明の第２の実施形態では、手部の姿勢に依らず、仮想カメラは常にオブジェクトに向いていなければならない。したがって、仮想カメラ位置姿勢計算部１２２は、仮想カメラの撮像方向をｚ軸方向とする場合には、式（３）中のｃを置き換える。
【0150】
ここで、式（３）中の、Ｒｏ
ｖｃにおけるｃは、仮想カメラのｚ軸方向のオブジェクト座標系における方向ベクトルを表している。また、上記したように、Ｖｏｚは、オブジェクト座標系における仮想カメラの位置を基準としたオブジェクトの方向を向く、正規化された方向ベクトルである。そこで、仮想カメラ位置姿勢計算部１２２が、ｃをＶｏｚに置き換える。これによりＲｏ
ｖｃ＝［ａ，ｂ，Ｖｏｚ］となり、仮想カメラのｚ軸方向は、常にオブジェクトに向くことになる。これにより、常に仮想カメラによって撮像される映像の中心にオブジェクトが位置するようになる。
【0151】
なお、仮想カメラの撮像方向が仮想カメラのｚ軸方向ではない場合も想定される。例えば、仮想カメラ位置姿勢計算部１２２は、仮想カメラの撮像方向が仮想カメラのｘ軸方向である場合には、ｃではなくａをＶｏｚに置き換えればよい。同様に、仮想カメラ位置姿勢計算部１２２は、仮想カメラの撮像方向が仮想カメラのｙ軸方向である場合には、ｃではなくｂをＶｏｚに置き換えればよい。
【0152】
次に、仮想カメラ位置姿勢計算部１２２は、求めるべき行列が回転行列であるという条件に則り、Ｒｏ
ｖｃを補正する（Ｓ２０５）。Ｓ２０４においてｃをＶｏｚに置き換えたことにより、Ｒｏ
ｖｃ＝［ａ，ｂ，Ｖｏｚ］は回転行列ではなくなる。そこで、Ｒｏ
ｖｃを回転行列に変換するための補正を行う必要があるが、Ｖｏｚは仮想カメラが常にオブジェクトに向くように設定された値であるため、Ｖｏｚを変えることはできない。したがって、仮想カメラ位置姿勢計算部１２２は、ａ、ｂを、Ｖｏｚに合わせて補正する。
【0153】
図１１は、Ｒｏ
ｖｃを回転行列に変換するための補正の例について説明するための図である。まず、仮想カメラ位置姿勢計算部１２２は、ｂをＶｏｙに補正する。より詳細に、Ｖｏｙは、回転行列の性質より、Ｖｏｚと垂直である必要がある。そこで、仮想カメラ位置姿勢計算部１２２は、図１１に示されるように、Ｖｏｚを法線とする平面に、ｂを射影することにより、ｂを補正する。これにより、仮想カメラ位置姿勢計算部１２２は、ｂの成分のうちＶｏｚと垂直な方向の成分を抜き出すことができる。
【0154】
Ｖｏｚを法線とする平面にｂが射影されて得られる方向ベクトルｂ’は、下記の式（４）に示されるように表現される。
【0155】
ｂ’＝ｂ－（ｂ・Ｖｏｚ）Ｖｏｚ ・・・（４）
【0156】
さらに、仮想カメラ位置姿勢計算部１２２は、ｂ’を正規化することにより、ｂの補正後のベクトルであるＶｏｙを得る。
【0157】
続いて、仮想カメラ位置姿勢計算部１２２は、ａをＶｏｘに補正する。より詳細に、Ｖｏｘは、回転行列の性質から、ＶｏｙとＶｏｚとの外積となるため、下記の式（５）により算出され得る。
【0158】
Ｖｏｘ＝Ｖｏｙ×Ｖｏｚ ・・・（５）
【0159】
仮想カメラ位置姿勢計算部１２２は、上記のように算出されたＶｏｘにより、上記の式（３）のａを置き換え、上記のように算出されたＶｏｙにより、上記の式（３）のｂを置き換える補正によって、仮想カメラの姿勢を表現する回転行列Ｒｏ
ｖｃを得る。Ｒｏ
ｖｃは、下記の式（６）に示される通りとなる
【0160】
Ｒｏ
ｖｃ＝［Ｖｏｚ，Ｖｏｚ，Ｖｏｚ］ ・・・（６）
【0161】
以上の処理により、Ｒｏ
ｖｃの各成分は補正され、仮想カメラの撮像方向（ｚ軸方向）がオブジェクト位置Ｏに常に向くようになる。そして、仮想カメラ配置部１２３は、本発明の第１の実施形態と同様に、仮想カメラ位置姿勢計算部１２２によって算出された仮想カメラの位置姿勢に従って、仮想カメラを移動させる（Ｓ２０６）。
【0162】
以上、本発明の第２の実施形態に係る情報処理システム１の動作例について説明した。
【0163】
（２－３．効果）
以上により、本発明の第２の実施形態によれば、仮想カメラが常にオブジェクトに向くような処理を加えることにより、オブジェトを常に映像の中央に配置しながら視点指定操作を行うことが可能となる。
以上により、本発明の第２の実施形態によれば、仮想カメラが常にオブジェクトに向くような処理を加えることにより、オブジェトを常に映像の中央に配置しながら視点指定操作を行うことが可能となる。
【0164】
本発明の第１の実施形態においては、計測される手部の姿勢によっては、映像からオブジェクトが外れてしまう状況が生じ得る。そのため、ユーザは、映像の中央にオブジェクトを配置するには、常に手のひらをセンサに向けつつ視点指定操作を行う必要がある。
【0165】
一方、本発明の第２の実施形態においては、手部の姿勢によらず、常に映像の中央にオブジェクトが配置された状態で、視点変更操作が可能となった。これにより、ユーザは意識して手のひらをセンサに向ける必要がなくなり、より簡単に視点指定操作を行うことが可能である。
【0166】
以上、本発明の第２の実施形態に係る情報処理システム１が奏する効果について説明した。
【0167】
（３．ハードウェア構成例）
続いて、本発明の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。
続いて、本発明の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。
【0168】
以下では、本発明の実施形態に係る情報処理装置１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、情報処理装置１０のハードウェア構成の一例に過ぎない。したがって、情報処理装置１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
【0169】
図１２は、本発明の実施形態に係る情報処理装置１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。
【0170】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。
【0171】
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【0172】
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0173】
出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。
【0174】
ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【0175】
通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。
【0176】
以上、本発明の実施形態に係る情報処理装置１０のハードウェア構成例について説明した。
【0177】
（４．まとめ）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0178】
例えば、本発明の第１の実施形態においては、上記の式（２）に示されるように、仮想カメラの姿勢が回転行列によって表現される場合について主に想定した。しかし、仮想カメラの姿勢の表現には、オイラー角（三次元）、クォータニオン（四次元）といった、他の回転表現が用いられてもよい。かかる場合には、上記の式（２）は、その回転表現に適した式に適宜変更されてよい。
【0179】
また、本発明の第２の実施形態においては、センサから得られる手部の姿勢が回転行列によって算出される場合について主に想定した。しかし、他の姿勢表現であっても回転行列に変換可能な姿勢表現であれば、手部の姿勢の表現に適用され得る。例えば、手部の姿勢の表現には、オイラー角（三次元）、クォータニオン（四次元）といった、他の回転表現が用いられてもよい。
【0180】
また、本発明の第２の実施形態においては、手のひらの向く方向と仮想カメラの向きとが一致する場合について主に想定した。しかし、上記の式（２）におけるＲｏ
ｖｃの値によっては、手のひらの向く方向と仮想カメラの向きとが一致しなくてもよい。
【符号の説明】
【0181】
１ 情報処理システム
１０ 情報処理装置
１２０ 制御部
１２１ 初期化部
１２２ 仮想カメラ位置姿勢計算部
１２３ 仮想カメラ配置部
１２４ 仮想カメラ映像生成部
１３０ 記憶部
２０ 手部計測センサ部
３０ 仮想カメラ映像出力部
１０ 情報処理装置
１２０ 制御部
１２１ 初期化部
１２２ 仮想カメラ位置姿勢計算部
１２３ 仮想カメラ配置部
１２４ 仮想カメラ映像生成部
１３０ 記憶部
２０ 手部計測センサ部
３０ 仮想カメラ映像出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】