7553853オブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-10
(45)【発行日】2024-09-19
(54)【発明の名称】オブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240911BHJP
G06F 3/04815 20220101ALI20240911BHJP
G06F 3/0488 20220101ALI20240911BHJP
【ＦＩ】
G06T19/00 A
G06F3/04815
G06F3/0488
【請求項の数】
3
(21)【出願番号】P 2023077396
(22)【出願日】2023-05-09
(62)【分割の表示】P 2019057267の分割
【原出願日】2019-03-25
(65)【公開番号】P2023099603
(43)【公開日】2023-07-13
【審査請求日】2023-05-30
(73)【特許権者】
【識別番号】500033117
【氏名又は名称】株式会社ＭＩＸＩ
(72)【発明者】
【氏名】小林 一希
【審査官】渡部 幸和
(56)【参考文献】
【文献】特開２０１９－０４０３４０（ＪＰ，Ａ）
【文献】特開２０１２－０６９１２６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００ － １９／２０
Ｇ０６Ｔ １３／４０
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ａ６３Ｆ １３／００ － １３／９８
(57)【特許請求の範囲】
【請求項1】
情報処理装置に、仮想空間に配置されたオブジェクトを表示部に表示させる機能と、
前記表示部に表示される前記オブジェクトに対するタッチ操作に基づいて前記オブジェクトの第１対象部位と第２対象部位をそれぞれ設定する機能と、
前記情報処理装置の動きに関する情報に基づいて、前記第２対象部位を基準として前記第１対象部位を移動させて表示させる機能と、
を実行させるプログラム。
【請求項2】
情報処理装置が備えるプロセッサが、仮想空間に配置されたオブジェクトを表示部に表示させ、
前記表示部に表示される前記オブジェクトに対するタッチ操作に基づいて前記オブジェクトの第１対象部位と第２対象部位をそれぞれ設定し、
前記情報処理装置の動きに関する情報に基づいて、前記第２対象部位を基準として前記第１対象部位を移動させて表示させる、
情報処理方法。
【請求項3】
プロセッサを備える情報処理装置であって、前記プロセッサが、
仮想空間に配置されたオブジェクトを表示部に表示させ、
前記表示部に表示される前記オブジェクトに対するタッチ操作に基づいて前記オブジェクトの第１対象部位と第２対象部位をそれぞれ設定し、
前記情報処理装置の動きに関する情報に基づいて、前記第２対象部位を基準として前記第１対象部位を移動させて表示させる、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はオブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システムに関する。
【背景技術】
【0002】
近年、電子機器の発展により、高精細の静止画および動画をスマートフォンやパーソナルコンピュータなどの端末に表示することが可能となった。さらに、情報処理技術の研究開発も進展しており、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を用いて仮想空間と現実空間を融合させた表示技術も実用可能になりつつある。例えば、特許文献１には情報端末の表示領域に仮想空間に配置されたオブジェクトを表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－４１１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、表示領域に表示されたオブジェクトの姿勢の制御は、対象となる部位を指定するうえで、入力処理が複雑となる場合がある。
【0005】
このような課題に鑑み、本発明の目的の一つは、仮想空間に配置されたオブジェクトの姿勢を容易に制御することにある。
【課題を解決するための手段】
【0006】
本発明の一実施形態によれば、情報処理装置に、仮想空間に配置された、複数の連動する部位を有するオブジェクトを表示部に表示し、前記情報処理装置の動きに関する情報に基づいて、複数の連動する部位のうち一部の対象部位を移動するように前記オブジェクトの姿勢を制御することを実行させるためのオブジェクト姿勢制御プログラムが提供される。
【0007】
上記オブジェクト姿勢制御プログラムにおいて、前記情報処理装置は、設定部を有し、前記設定部は、前記表示部に表示されたオブジェクトの一部がタッチ操作されたときに入力された情報に基づいて、前記複数の連動する部位のうち一部の対象部位を設定してもよい。
【0008】
上記オブジェクト姿勢制御プログラムにおいて、前記設定部は、前記複数の連動する部位のうち前記一部であって、前記オブジェクトの移動可能な第１対象部位を設定し、前記複数の連動する部位のうち第２対象部位は、設定された前記第１対象部位に基づいて前記設定部により設定され、前記第１対象部位は、前記第２対象部位を基準として移動してもよい。
【0009】
上記オブジェクト姿勢制御プログラムにおいて、前記第１対象部位が可動領域の限界点に到達したときに、前記第２対象部位に連結し、前記第２対象部位に対して前記第１対象部位の反対側に設けられた第３対象部位を設定し、前記第３対象部位を基準にして前記オブジェクトの前記第２対象部位が移動することを含んでもよい。
【0010】
上記オブジェクト姿勢制御プログラムにおいて、前記表示部に表示された前記オブジェクトにおいて、前記第１対象部位または前記第２対象部位を設定するときに複数の部位が重畳する部分が指定されたとき、前記オブジェクトの表示される方向を変更してもよい。
【0011】
上記オブジェクト姿勢制御プログラムにおいて、前記表示部に表示されたオブジェクトにおいて、前記第１対象部位または前記第２対象部位を設定するときに複数の部位が重畳する部分が指定されたとき、所定の条件を満たす部位を前記第１対象部位または前記第２対象部位として設定してもよい。
【0012】
上記オブジェクト姿勢制御プログラムにおいて、前記表示部に表示された前記オブジェクトにおいて、前記第１対象部位または前記第２対象部位を設定するときに複数の部位が重畳する部分が指定されたとき、前記重畳する部分に対する所定の操作に基づいて、前記第１対象部位または前記第２対象部位を設定してもよい。
【0013】
上記オブジェクト姿勢制御プログラムにおいて、前記第１対象部位および前記第２対象部位とは異なる、前記オブジェクトの移動可能な第４対象部位を設定し、前記第４対象部位に連結された第５対象部位を設定し、前記情報処理装置の動きに関する情報に基づいて、前記第２対象部位を基準として前記オブジェクトの前記第１対象部位が移動し、前記第５対象部位を基準として前記第４対象部位が移動してもよい。
【0014】
上記オブジェクト姿勢制御プログラムにおいて、前記オブジェクトの前記第１対象部位が移動して、前記第１対象部位および前記第２対象部位とは異なる移動可能な部位に接触したときに第４対象部位として設定し、前記第４対象部位に連結された第５対象部位を設定し、前記第１対象部位の移動に基づき、前記第５対象部位を基準として前記第４対象部位が移動してもよい。
【0015】
上記オブジェクト姿勢制御プログラムにおいて、前記第１対象部位または前記第２対象部位がタッチされた状態で、前記情報処理装置が移動したときに、前記表示されたオブジェクトが静止した状態で、前記仮想空間上の前記オブジェクトの前記第２対象部位を基準として前記第１対象部位が移動してもよい。
【0016】
本発明の一実施形態によれば、仮想空間に配置されたオブジェクトの姿勢を制御するオブジェクト姿勢制御システムであって、複数の連動する部位を有する前記オブジェクトを表示部に表示し、情報処理装置の動きに関する情報に基づいて、前記複数の連動する部位のうち一部を移動するように前記オブジェクトの姿勢を制御する、オブジェクト姿勢制御システムが提供される。
【0017】
本発明の一実施形態によれば、仮想空間に配置されたオブジェクトの姿勢を制御する情報処理装置であって、複数の連動する部位を有する前記オブジェクトを表示部に表示し、前記情報処理装置の動きに関する情報に基づいて、前記複数の連動する部位のうち一部の対象部位を移動するように前記オブジェクトの姿勢を制御する、情報処理装置が提供される。
【発明の効果】
【0018】
本発明の一実施形態を用いることにより、オブジェクトの姿勢を容易に制御することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の第１実施形態に係るオブジェクト姿勢制御システムにおけるハード ウェアの構成を示す図である。
【図2】本発明の第１実施形態に係るオブジェクト姿勢制御部の機能ブロック図であ る。
【図3】本発明の第１実施形態に係るオブジェクト姿勢制御処理のフロー図である。
【図4】本発明の第１実施形態に係る第１オブジェクト姿勢制御処理のフロー図であ る。
【図5】本発明の第１実施形態に係る第１オブジェクト姿勢制御処理における仮想空 間の座標と情報処理装置に表示される座標との位置合わせの一例である。
【図6】本発明の第１実施形態に係るオブジェクトの各部位の座標の一例である。
【図7】本発明の第１実施形態に係る第１オブジェクト姿勢制御処理における情報処 理装置の表示部に表示されたユーザインターフェースの一例である。
【図8】本発明の第１実施形態に係る第２オブジェクト姿勢制御処理のフロー図であ る。
【図9】本発明の第１実施形態に係る第２オブジェクト姿勢制御処理における情報処 理装置の表示部に表示されたユーザインターフェースの一例である。
【図10】本発明の第１実施形態に係る第２オブジェクト姿勢制御処理における情報 処理装置の表示部に表示されたユーザインターフェースの一例である。
【図11】本発明の第１実施形態に係る第３オブジェクト姿勢制御処理のフロー図で ある。
【図12】本発明の第１実施形態に係る第３オブジェクト姿勢制御処理における情報 処理装置の位置を変更させたときの一例である。
【図13】本発明の第１実施形態に係る第３オブジェクト姿勢制御処理における、端 末の移動前、移動後の位置座標およびオブジェクトの位置座標である。
【図14】本発明の第１実施形態に係る第３オブジェクト姿勢制御処理における情報 処理装置の表示部に表示されたユーザインターフェースの一例である。
【図15】本発明の第２実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図16】本発明の第２実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図17】本発明の第３実施形態に係るオブジェクト姿勢制御部の機能ブロック図で ある。
【図18】本発明の第３実施形態に係る第３オブジェクト姿勢制御処理のフロー図で ある。
【図19】各部位の可動領域を示すデータ構造である。
【図20】本発明の第３実施形態に係る第３オブジェクト姿勢制御処理における情報 処理装置の表示部に表示されたユーザインターフェースの一例である。
【図21】本発明の第３実施形態に係る第３オブジェクト姿勢制御処理における情報 処理装置の表示部に表示されたユーザインターフェースの一例である。
【図22】本発明の第４実施形態に係るオブジェクト姿勢制御部の機能ブロック図で ある。
【図23】本発明の第４実施形態に係る第２オブジェクト姿勢制御処理のフロー図で ある。
【図24】本発明の第４実施形態に係る第２オブジェクト姿勢制御処理における情報 処理装置の表示部に表示されたユーザインターフェースの変形例の一例である。
【図25】本発明の第４実施形態に係る第３オブジェクト姿勢制御処理のフロー図で ある。
【図26】本発明の第４実施形態に係る第３オブジェクト姿勢制御処理における情報 処理装置の位置を変更させたときの一例である。
【図27】本発明の第４実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図28】本発明の第５実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図29】本発明の第５実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図30】本発明の第５実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図31】本発明の第６実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図32】本発明の第６実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図33】本発明の第７実施形態に係る端末の移動前後のオブジェクトの第１対象部 位の座標のデータ構造である。
【図34】本発明の第７実施形態に係る情報処理装置の表示部に表示されたユーザイ ンターフェースの一例である。
【図35】本発明の第１実施形態に係るオブジェクト姿勢制御システムにおけるハー ドウェアの構成の変形例である。
【発明を実施するための形態】
【0020】
以下、本発明の実施の形態を、図面等を参照しながら説明する。但し、本発明は多くの異なる態様で実施することが可能であり、以下に例示する実施の形態の記載内容に限定して解釈されるものではない。図面は説明をより明確にするため、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、各要素に対する「第１」、「第２」と付記された文字は、各要素を区別するために用いられる便宜的な標識であり、特段の説明がない限りそれ以上の意味を有さない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字ｘｘｘにＡ，Ｂを付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。また、構成の一部が図面から省略されたりする場合がある。その他、本発明の属する分野における通常に知識を有する者であれば認識できるものである場合、特段の説明を行わないものとする。
【0021】
本発明の一実施形態において記載される「対象部位」とは、オブジェクトが有する移動可能な部位をいい、複数の対象部位を組み合わせることにより連動する部位が構成される。第１対象部位は、連動する部位のうち移動する部位に相当する。第２対象部位は、連動する部位のうち設定された第１対象部位に基づいて第１対象部位の動きの支点となる部位に相当する。
【0022】
＜第１実施形態＞
本発明の第１実施形態に係るオブジェクト姿勢制御システムについて、図面を参照しながら詳細に説明する。
本発明の第１実施形態に係るオブジェクト姿勢制御システムについて、図面を参照しながら詳細に説明する。
【0023】
（１－１．オブジェクト姿勢制御システムのハードウェア構成）
図１に、オブジェクト姿勢制御システム１のハードウェア構成および機能ブロック図を示す。図１に示すように、オブジェクト姿勢制御システム１は、端末１０およびサーバ２０を含む。端末１０およびサーバ２０を合わせて情報処理装置という場合がある。
図１に、オブジェクト姿勢制御システム１のハードウェア構成および機能ブロック図を示す。図１に示すように、オブジェクト姿勢制御システム１は、端末１０およびサーバ２０を含む。端末１０およびサーバ２０を合わせて情報処理装置という場合がある。
【0024】
端末１０は、コンピュータの一つであり、表示部１１、制御部１２、記憶部１３、操作部１４、通信部１５、センサ部１６、カメラ部１７、およびマイク部１８を有する。この例では、端末１０としてスマートフォンが用いられる。なお、スマートフォンに限定されず、携帯電話（フィーチャーフォン）、タブレット型端末、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＩｏＴデバイス（電源機構、通信機能および情報記憶機構を備えた機器）などでもよく、ネットワークを通じてサーバ２０と通信可能なものであれば適用可能である。
【0025】
表示部１１は、液晶ディスプレイまたは有機ＥＬディスプレイなどの表示デバイスであって、制御部１２から入力される信号により表示内容が制御される。
【0026】
制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ
（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｌｅｘｉｂｅ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を備えることで実現される。制御部１２は、表示部１１および操作部１４の操作に基づいて、記憶部１３に記憶されたオブジェクト姿勢制御プログラムを含むアプリケーションを実行させる。
（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｌｅｘｉｂｅ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を備えることで実現される。制御部１２は、表示部１１および操作部１４の操作に基づいて、記憶部１３に記憶されたオブジェクト姿勢制御プログラムを含むアプリケーションを実行させる。
【0027】
記憶部１３は、オブジェクト姿勢制御用プログラム、およびオブジェクト姿勢制御用プログラムで用いられる空間情報を記憶するデータベースとしての機能を有する。記憶部１３には、メモリ、ＳＳＤ、または記憶可能な素子が用いられる。
【0028】
操作部１４は、コントローラー、ボタン、またはスイッチを含む。操作部１４は、上下左右への移動、押圧、または回転などの動作がなされることにより、その動作に基づく情報が制御部１２に送信される。本実施形態では、端末１０がタッチセンサを有する表示装置（タッチパネル）であることにより、表示部１１と操作部１４とが、同じ場所に配置されてもよい。これにより、オブジェクトを表示しながら、オブジェクトの対象部位を指定することができるため、オブジェクトの姿勢制御が容易となる。
【0029】
通信部１５は、サーバ２０と送受信する機能を有する。通信部１５には、ＬＡＮ送受信機（例えばＷｉ－Ｆｉ送受信機）が用いられる。なお、送受信機は、ＬＡＮ送受信機に限定されない。端末が携帯型の端末の場合には、携帯端末用通信（例えばＬＴＥ通信）用の送受信機が設けられてもよいし、近距離無線通信用の送受信機が設けられてもよい。端末１０は、ネットワーク５０を介してサーバ２０と接続される。
【0030】
センサ部１６は、端末の位置情報を検出する機能を有する。センサ部１６には、ＧＰＳ
（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎａｌ Ｓｙｓｔｅｍ）、加速度センサ、ジャイロセンサ（角速度センサ）を含む。
（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎａｌ Ｓｙｓｔｅｍ）、加速度センサ、ジャイロセンサ（角速度センサ）を含む。
【0031】
カメラ部１７は、環境画像を撮影する機能を有し、オブジェクトを表示する上でのマーカー部が設けられた物体を撮影する。カメラ部１７には、例えばＣＭＯＳイメージセンサが用いられる。
【0032】
マイク部１８は、ユーザから発せされた口頭の情報を取り込み、制御部１２または記憶部１３に入力する機能を有する。
【0033】
サーバ２０は、通信部２１、記憶部２２、制御部２３および表示部２４を有する。サーバ２０は、データベースおよびアプリケーションサーバとして機能する。なお、あらかじめ端末１０にオブジェクト姿勢制御用プログラムに関連するすべての情報が搭載されている場合にはサーバ２０を必ずしも用いなくてもよい。
【0034】
通信部２１は、送受信機を有し、ネットワーク５０を介して端末１０とオブジェクトの制御情報の情報通信を行う。通信部２１には、イントラネット用のＬＡＮ送受信機が用いられる。なお、送受信機は、イントラネット用のＬＡＮ送受信機に限定されず、端末１０と同様に通信可能な装置が用いられる。
【0035】
記憶部２２は、ハードディスク、およびＳＳＤを用いることで、オブジェクト姿勢制御用プログラムで用いられる情報のデータベースとしての機能を有する。
【0036】
制御部２３は、ＣＰＵ、ＲＡＭ、ＡＳＩＣ、またはＦＰＧＡを用いて、オブジェクト姿勢制御プログラムの処理を制御する。また、制御部２３からの命令によって、オブジェクト姿勢制御プログラムを実行するためのユーザインターフェースが表示部２４に提供される場合がある。
【0037】
（１－２．オブジェクト姿勢制御部１００の構成）
図２は、オブジェクト姿勢制御システム１における端末１０の各構成要素およびサーバ２０の各構成によって構成され、オブジェクト姿勢制御機能を実現させるプログラム（オブジェクト姿勢制御プログラム）を制御するオブジェクト姿勢制御部１００の機能ブロック図を示す。この例では、オブジェクト姿勢制御プログラムが端末に設けられている例を説明する。
図２は、オブジェクト姿勢制御システム１における端末１０の各構成要素およびサーバ２０の各構成によって構成され、オブジェクト姿勢制御機能を実現させるプログラム（オブジェクト姿勢制御プログラム）を制御するオブジェクト姿勢制御部１００の機能ブロック図を示す。この例では、オブジェクト姿勢制御プログラムが端末に設けられている例を説明する。
【0038】
オブジェクト姿勢制御部１００は、撮影画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、第１対象部位設定部１５０、第２対象部位設定部１６０、連動部位判定部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０を含む。
【0039】
撮影画像取得部１１０は、カメラ部１７において撮影された実空間の環境画像を取得する機能を有する。
【0040】
マーカー検出部１２０は、撮影画像取得部１１０によって取得された画像からマーカーを検出する機能を有する。この例では、マーカーの情報は、あらかじめ記憶部１３に記憶されている。なお、マーカーの情報は、必ずしも記憶部１３に記憶されていなくてもよく、撮影された画像からマーカーとなりうる特徴点を抽出してもよい。
【0041】
空間定義部１３０は、仮想空間と表示部１１の座標との位置合わせを行う機能を有する。本実施形態では、空間定義部１３０は、マーカーベース位置合わせ法を用い、検出されたマーカーを基準に仮想空間と表示部１１の座標とを位置合わせする。
【0042】
オブジェクト表示部１４０は、仮想空間上に配置された姿勢を制御する対象となるオブジェクトを表示部１１に表示する機能を有する。
【0043】
第１対象部位設定部１５０は、複数の連動する部位のうち移動可能な第１対象部位を設定する機能を有する。第２対象部位設定部１６０は、設定された第１対象部位に基づいて第２対象部位を設定する機能を有する。本実施形態では、第１対象部位設定部１５０および第２対象部位設定部１６０を合わせて設定部ということができ、設定部は、オブジェクトの複数の連動する部位を設定する機能部の総称とする。第１対象部位設定部１５０および第２対象部位設定部１６０を分けて記載する必要がないときは、設定部として説明する。
【0044】
連動部位判定部１７０は、設定部において設定された複数の部位が連動するかどうかを判定する機能を有する。連動するかどうかの判定は、あらかじめオブジェクト姿勢制御プログラムに組み込まれた情報を用いてもよいし、ユーザからの入力された信号に基づいて行われてもよい。
【0045】
移動情報取得部１８０は、センサ部１６から入力された端末１０の移動前後の座標にもとづいた移動情報を取得する機能を有する。
【0046】
オブジェクト座標変更部１９０は、表示部１１に移動後のオブジェクトを表示するために、連動する部位のうち一部の対象部位の座標を変更し記録するとともに、その位置情報をオブジェクト表示部１４０に送信する機能を有する。移動情報取得部１８０、オブジェクト座標変更部１９０およびオブジェクト表示部１４０は、１秒あたり６０回にわたってオブジェクトにおける対象部位の移動情報を取得し、対象部位の空間座標および表示画面上の座標を変更することにより、オブジェクトの動き（姿勢の変化）を静止画または動画として表示することができる。
【0047】
（１－３．オブジェクト姿勢制御処理）
次に、オブジェクト姿勢制御部１００におけるオブジェクト姿勢制御プログラムによる命令に基づいたオブジェクト姿勢制御処理について説明する。図３は、オブジェクト姿勢制御処理のフロー図である。図３に示すように、オブジェクト姿勢制御処理は、第１オブジェクト姿勢制御処理Ｓ１００、第２オブジェクト姿勢制御処理Ｓ２００、および第３オブジェクト姿勢制御処理Ｓ３００を含む。
次に、オブジェクト姿勢制御部１００におけるオブジェクト姿勢制御プログラムによる命令に基づいたオブジェクト姿勢制御処理について説明する。図３は、オブジェクト姿勢制御処理のフロー図である。図３に示すように、オブジェクト姿勢制御処理は、第１オブジェクト姿勢制御処理Ｓ１００、第２オブジェクト姿勢制御処理Ｓ２００、および第３オブジェクト姿勢制御処理Ｓ３００を含む。
【0048】
第１オブジェクト姿勢制御処理Ｓ１００は、撮影画像の取得・表示処理、マーカー情報検出処理、空間定義処理、および撮影画像・オブジェクト重畳表示処理を含む。第２オブジェクト姿勢制御処理Ｓ２００は、移動モード判定処理、第１対象部位情報入力処理、第１対象部位設定処理、第２対象部位情報入力処理、第２対象部位設定処理、および連動する部位かどうかの判定処理を含む。第３オブジェクト姿勢制御処理Ｓ３００は、端末移動量取得処理、オブジェクトの座標変更処理、移動後のオブジェクトの表示処理、および端末の移動が終了したかどうかの判定処理を含む。それぞれのオブジェクト姿勢制御処理を分けて説明する。
【0049】
（１－３－１．第１オブジェクト姿勢制御処理Ｓ１００）
図４に、第１オブジェクト姿勢制御処理Ｓ１００を示す。第１オブジェクト姿勢処理Ｓ１００は、オブジェクト姿勢制御プログラムを含むアプリケーションを起動させることをきっかけとして、開始される。
図４に、第１オブジェクト姿勢制御処理Ｓ１００を示す。第１オブジェクト姿勢処理Ｓ１００は、オブジェクト姿勢制御プログラムを含むアプリケーションを起動させることをきっかけとして、開始される。
【0050】
第１オブジェクト姿勢処理Ｓ１００において、撮影画像取得部１１０は実空間の環境画像の撮影を行い、その撮影された画像を取得し（Ｓ１１０）、端末１０の表示部１１に撮影された画像を表示する。
【0051】
図５は、端末１０で実空間を撮影するときの一例である。図５において、実際の空間には、端末１０とともに、テーブル６０、およびシート７０が配置されている。シート７０には、４つのマーカー７５が含まれている。この例では、端末１０により４つのマーカー７５を含むように、テーブル６０の一部およびシート７０が撮影される。
【0052】
図４に戻って説明する。次に、マーカー検出部１２０は、マーカー検出処理を行う（Ｓ１２０）。この例では、オブジェクト姿勢制御プログラムには、あらかじめ４つのマーカーの情報が登録されている。マーカーの情報は、マーカーの形態および配置に関するものである。４つのマーカーが検出されないとき（Ｓ１２０；Ｎｏ）、撮影画像の取得・表示処理に戻る。
【0053】
次に、４つのマーカーを検出した場合には（Ｓ１２０；Ｙｅｓ）、空間定義部１３０は、マーカーベース位置合わせ法を用いて、実空間と仮想空間との座標の位置合わせ（空間定義）を行う（Ｓ１３０）。このとき、空間定義部１３０は、表示部１１に表示された実空間上のマーカー７５と、オブジェクト姿勢制御プログラムに記憶された仮想空間上のマーカーとを照合し、仮想空間の座標を実空間の座標として表示部１１に表示可能となるように調整を行う。例えば、マーカー７５－１の位置座標は、実空間の位置座標が（Ｘr75-1，Ｙｒ75-1，Ｚr75-1）、表示部１１における位置座標が（Ｘd75-1，Ｙd75-1）、仮想空間の位置座標が（Ｘv75-1，Ｙv75-1，Ｚv75-1）として定義される。
【0054】
次に、空間定義部１３０は、仮想空間におけるオブジェクト座標の取得処理を行う（Ｓ１４０）。図６は、オブジェクトの各部位の仮想空間上の座標である。図６に示すように、オブジェクトの各部位の座標情報は、４つのマーカーの座標に基づいて設定された原点に対して設定される。上記処理により、マーカー７５の表示部１１における情報が取得されることにより、オブジェクトの各部位の座標が取得される。
【0055】
次に、オブジェクト表示部１４０は、撮影された画像にオブジェクトの画像を重畳して表示する（Ｓ１５０）。図７は、端末１０の表示部１１に表示されたオブジェクトのユーザインターフェースである。図７において、オブジェクト８０は、シート７０上に配置されて表示されている。この例では、オブジェクト８０は、人型の体形を有し、複数の部位８１および複数のボーン８２を有する。部位８１は、移動可能な部位であり、人間の関節に相当する。部位８１（部位８１ａ）は、隣接する部位８１（部位８１ｂ）と、ボーン８２を介して接続されている。つまり、部位８１ａおよび部位８１ｂは連動する部位であるということができる。なお、オブジェクト８０を表示する際に、シート７０は表示されなくてもよい。以上により、第１オブジェクト姿勢制御処理Ｓ１００は終了となる。
【0056】
（１－３－２．第２オブジェクト姿勢制御処理Ｓ２００）
図８に、第２オブジェクト姿勢制御処理Ｓ２００のフロー図を示す。第２オブジェクト姿勢制御処理Ｓ２００は、第１オブジェクト姿勢制御処理Ｓ１００の終了をきっかけとして行われる。
図８に、第２オブジェクト姿勢制御処理Ｓ２００のフロー図を示す。第２オブジェクト姿勢制御処理Ｓ２００は、第１オブジェクト姿勢制御処理Ｓ１００の終了をきっかけとして行われる。
【0057】
まず、移動モードであるかどうかの判定がなされる（Ｓ２１０）。移動モードであるかどうかは、センサ部１６が端末１０の動きを検知するかどうかで判定してもよいし、ユーザからの入力に基づいて判定してもよい。移動モードである場合には（Ｓ２１０；Ｙｅｓ）、第２オブジェクト姿勢制御処理は、終了となる。
【0058】
移動モードでない場合（Ｓ２１０；Ｎｏ）、連動する部位の一部の対象部位として、第１対象部位の情報が第１対象部位設定部１５０に入力される（Ｓ２２０）。図９は、第１対象部位の情報を入力するときの一例を示すユーザインターフェースである。図９に示すように、第１対象部位の情報を入力する際に、表示画面上に「第１対象部位をタッチしてください。」と表示してもよい。この例では、第１対象部位の情報を入力する際に、ユーザが表示部１１に表示されたオブジェクトうち、部位８１ａに相当する部分がタッチ操作される。部位８１ａは、オブジェクト８０の手首の関節に相当する。上述した通り、端末１０はタッチパネルを有しており、部位８１ａがタッチ操作されることにより、部位８１ａの位置情報が第１対象部位設定部１５０に入力される。
【0059】
なお、部位８１ａの情報を入力する際に、部位８１ａに相当する部分を囲むようになぞってもよいし、部位８１ａに相当する部分を複数の指で囲むようにしてもよい。
【0060】
図８に戻って説明する。次に、入力された情報に基づいて、第１対象部位設定部１５０は、タッチ操作された部位８１ａを第１対象部位として設定する（Ｓ２３０）。
【0061】
次に、第２対象部位の情報が第２対象部位設定部１６０に入力される（Ｓ２２０）。図１０は、第２対象部位の情報を入力するときの一例を示すユーザインターフェースである。図１０に示すように、第２対象部位の情報を入力する際に、第１対象部位の場合と同様に、「第２対象部位をタッチしてください。」と表示され、ユーザが表示部１１に表示されたオブジェクトうち、第２対象部位となる部位８１ｂに相当する部分がタッチ操作される。部位８１ｂは、オブジェクト８０の肘の関節に相当する。このとき、部位８１ａと同様に、部位８１ｂがタッチ操作されることにより、部位８１ｂの位置情報が第２対象部位設定部１６０に入力される。
【0062】
図８に戻って説明する。次に、入力された情報をもとに、第２対象部位設定部１６０は、タッチ操作された部位８１ｂを第２対象部位として設定する（Ｓ２５０）。
【0063】
次に、連動部位判定部１７０は、部位８１ａと、部位８１ｂとが連動して移動するかを判定する。部位８１ａと、部位８１ｂとが、連動する部位ではないと判定されると（Ｓ２６０；Ｎｏ）、第１対象部位の情報を再度入力する（Ｓ２２０）。この例では、部位８１ａと、部位８１ｂとが、ボーン８２ａを介して接続されていることから、連動する部位であると判定される（Ｓ２６０；Ｙｅｓ）。以上により、第２オブジェクト姿勢制御処理Ｓ２００は終了となる。
【0064】
（１－３－３．第３オブジェクト姿勢制御処理Ｓ３００）
図１１は、第３オブジェクト姿勢制御処理Ｓ３００のフロー図である。第３オブジェクト姿勢制御処理Ｓ３００は、第２オブジェクト姿勢制御処理Ｓ２００の終了をきっかけに開始される。
図１１は、第３オブジェクト姿勢制御処理Ｓ３００のフロー図である。第３オブジェクト姿勢制御処理Ｓ３００は、第２オブジェクト姿勢制御処理Ｓ２００の終了をきっかけに開始される。
【0065】
第３オブジェクト姿勢制御処理Ｓ３００において、はじめに、移動情報取得部１８０は、端末１０の移動量（動きに関する情報ともいう）を取得する（Ｓ３１０）。この例では、端末１０の位置情報の変化に伴うオブジェクトの姿勢の追跡は、Ｖ－ＳＬＡＭ（Ｖｉｓｕａｌ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）法により行われる。図１２は、端末１０ユーザ９０の動きに合わせて移動したときの一例である。端末１０を移動するときに、ユーザは端末１０の表示部１１に接触していなくてもよい。センサ部１６を用いて計測され、移動情報取得部１８０において取得される。センサ部１６には、ＧＰＳ、加速度センサ、または角速度センサが用いられる。図１３
（Ａ）は、初期値（移動前）、時間ｔ１後（移動後）の端末１０の位置座標、および移動前後の座標より求められる端末１０の移動量を示すデータ構造である。
（Ａ）は、初期値（移動前）、時間ｔ１後（移動後）の端末１０の位置座標、および移動前後の座標より求められる端末１０の移動量を示すデータ構造である。
【0066】
次に、取得された移動量をもとに、オブジェクト座標変更部１９０は、オブジェクト８０のうち移動対象部位である第１対象部位（部位８１ａ）の座標を変更し、記録する（Ｓ３２０）。図１３（Ｂ）は、時間ｔ１後のオブジェクトの第１対象部位（部位８１ａ）の仮想空間上の座標および表示部１１における座標のデータ構造である。図１３（Ｂ）に示すように、端末１０の移動情報に基づいて仮想空間におけるオブジェクト８０の第１対象部位（部位８１ａ）の情報、および表示部１１におけるオブジェクト８０の第１対象部位
（部位８１ａ）の座標の情報が変更され、変更後の座標の情報が記憶される（座標情報の書き換えがなされる）。
（部位８１ａ）の座標の情報が変更され、変更後の座標の情報が記憶される（座標情報の書き換えがなされる）。
【0067】
図１１に戻って説明する。次に、オブジェクト表示部１４０は、移動後（時間ｔ１後）の第１対象部位の情報を用いて表示部１１にオブジェクト８０を表示する（Ｓ３３０）。図１４は、表示部１１に第１対象部位の位置が変化したオブジェクト８０を表示したユーザインターフェースである。図１４に示すように、第１対象部位（部位８１ａ）は、図７で表示された位置から第２対象部位（部位８１ｂ）を基準として移動する。つまり、情報処理装置の動きに関する情報に基づいて、複数の連動する部位のうち一部の対象部位を移動することができる。上記処理は、端末１０が移動する限り（Ｓ３４０；Ｙｅｓ）繰り返し行われる。この例では、端末の移動量の取得は、１秒あたり６０回行われるため、オブジェクトの姿勢の変化が滑らかに表示される。端末１０の移動が終了したとき（Ｓ３４０；Ｎｏ）、第３オブジェクト姿勢制御処理Ｓ３００は、終了となる。
【0068】
上記に示した通り、本実施形態のオブジェクト姿勢制御プログラムを用いることにより、連動する部位の設定および端末の移動を用いて、複雑な制御を行うことなく容易にオブジェクトの姿勢制御を行うことができる。
【0069】
＜第２実施形態＞
本実施形態では、第１実施形態と異なるオブジェクト姿勢制御部およびオブジェクト姿勢制御方法について説明する。具体的には第１対象部位を移動させる際の支点が異なる例について説明する。なお、第１実施形態と同様の構成および方法については、適宜省略する場合がある。
本実施形態では、第１実施形態と異なるオブジェクト姿勢制御部およびオブジェクト姿勢制御方法について説明する。具体的には第１対象部位を移動させる際の支点が異なる例について説明する。なお、第１実施形態と同様の構成および方法については、適宜省略する場合がある。
【0070】
図１５は、第２対象部位の情報を入力するときの一例を示すユーザインターフェースである。図１５に示すように、部位８１ｃに相当する部分をタッチ操作し、第２対象部位の情報を入力し、第２対象部位として設定してもよい。この場合、部位８１ａと、部位８１ｃとは、離隔しているが、ボーン８２ａ、部位８１ｂ、およびボーン８２ｂを合わせて一つのボーンとみなすようにあらかじめプログラムに設定することにより、連動する部位として判定することができる。
【0071】
これにより、本実施形態を用いることにより、端末１０を移動させたときに、図１６に示すように、部位８１ｃを基準として部位８１ａを移動させることにより、オブジェクトの姿勢制御を行うことができる。
【0072】
なお、ボーン８２ａ、部位８１ｂ、およびボーン８２ｂを合わせて一つのボーンと固定されたものとしてみなさない場合には、部位８１ａの動きに連動して部位８１ｂを移動させてもよい。この場合、部位８１ｂは、制御されない状態となるため、部位８１ａが動きに合わせて同時に移動してもよいし、遅れて移動してもよい。
【0073】
＜第３実施形態＞
本実施形態では、第１実施形態と異なるオブジェクト姿勢制御部およびオブジェクト姿勢制御方法について説明する。具体的には、第３オブジェクト姿勢制御処理Ｓ３００を行う上で、第１対象部位の移動領域が限界点に到達したときに、第３対象部位を設定する処理について説明する。なお、第１実施形態および第２実施形態と同様の構成および方法については、適宜省略する場合がある。
本実施形態では、第１実施形態と異なるオブジェクト姿勢制御部およびオブジェクト姿勢制御方法について説明する。具体的には、第３オブジェクト姿勢制御処理Ｓ３００を行う上で、第１対象部位の移動領域が限界点に到達したときに、第３対象部位を設定する処理について説明する。なお、第１実施形態および第２実施形態と同様の構成および方法については、適宜省略する場合がある。
【0074】
（３－１．オブジェクト姿勢制御部１００Ａの構成）
図１７は、オブジェクト姿勢制御システム１Ａにおける、オブジェクト姿勢制御部１００Ａの機能ブロック図を示す。図１７に示すように、オブジェクト姿勢制御部１００Ａは、撮影画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、第１対象部位設定部１５０、第２対象部位設定部１６０、連動部位判定部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０に加えて、限界点検出部１９５、第３対象部位設定部２００を含む。
図１７は、オブジェクト姿勢制御システム１Ａにおける、オブジェクト姿勢制御部１００Ａの機能ブロック図を示す。図１７に示すように、オブジェクト姿勢制御部１００Ａは、撮影画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、第１対象部位設定部１５０、第２対象部位設定部１６０、連動部位判定部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０に加えて、限界点検出部１９５、第３対象部位設定部２００を含む。
【0075】
限界点検出部１９５は、第１対象部位の移動を検知し、第１対象部位が可動領域の限界点に到達したときに第３対象部位設定部２００に情報を入力する機能を有する。第３対象部位設定部２００は、限界点検出部１９５から入力された信号に基づいて、第３対象部位を設定する機能を有する。第３対象部位が設定されると、第２対象部位は支点から移動部位に切り替わるとともに、第３対象部位を基準として第２対象部位が移動する。
【0076】
（３－２．オブジェクト姿勢制御処理）
図１８に、オブジェクト姿勢制御部１００Ａにおけるオブジェクト姿勢制御プログラムによる命令に基づいた第２オブジェクト姿勢制御処理のフロー図（Ｓ３００Ａ）を示す。図１８に示すように、端末１０Ａを移動させ、端末１０Ａの移動量を取得し（Ｓ３１０）、第１対象部位（部位８１ａ）の仮想空間の座標および表示部１１における座標を変更する（Ｓ３２０）。
図１８に、オブジェクト姿勢制御部１００Ａにおけるオブジェクト姿勢制御プログラムによる命令に基づいた第２オブジェクト姿勢制御処理のフロー図（Ｓ３００Ａ）を示す。図１８に示すように、端末１０Ａを移動させ、端末１０Ａの移動量を取得し（Ｓ３１０）、第１対象部位（部位８１ａ）の仮想空間の座標および表示部１１における座標を変更する（Ｓ３２０）。
【0077】
図１９は、各部位の可動領域を示すデータ構造である。図１９に示すように、第１対象部位の可動領域として、第２対象部位に対する相対的な位置座標が設定される。このとき、限界点検出部１９５は、第１対象部位（この例では、部位８１ａ）の可動領域の限界点を超えるものではないと判定したとき（Ｓ３２５；Ｎｏ）、第１実施形態と同様にオブジェクトの表示を行う（Ｓ３３０）。一方、図２０に示すように、第１対象部位の可動領域の限界点を超えるものであると判定した場合（Ｓ３２５；Ｙｅｓ）、限界点検出部１９５は、第３対象部位設定部２００にその情報を入力する。第３対象部位設定部２００は、入力された情報に基づき、第２対象部位に連結し、第２対象部位に対して第１対象部位の反対側に設けられた部位を第３対象部位として設定する（Ｓ３５０）。この例では、第２対象部位に相当する部位８１ｂ（肘関節に相当）に対して、第１対象部位に相当する部位８１ａ（手首関節に相当）の反対側に設けられた部位８１ｃ（肩関節に相当）が第３対象部位として設定される。部位８１ｃは、部位８１ｂと、ボーン８２ｂを介して連結されている。本実施形態では、部位８１ｃは自動的に設定される。なお、自動的に設定されない場合には、第１対象部位と同様に、ユーザの操作によって、第３対象部位の情報を入力後、第３対象部位を設定してもよい。この場合、連動する部位であるかを判定してもよい。
【0078】
次に、第３対象部位設定後、端末１０の移動量を取得し（Ｓ３６０）、第２対象部位（部位８１ｂ）の座標を変更し（Ｓ３７０）、第２対象部位の変更された座標に基づいて、図２１に示すように第３対象部位（部位８１ｃ）を基準にして第２対象部位（部位８１ｂ）が移動したオブジェクトが表示される（Ｓ３８０）。以上より、本実施形態を用いることにより、移動部位が可動領域の限界に到達したときもオブジェクトの姿勢を容易に制御することができる。
【0079】
なお、上記と同様の処理は、固定部位を基準として移動する移動部位が可動領域の限界点を検出した場合、繰り返し行われてもよい。つまり、固定点となる第ｎ（ｎは２以上の自然数）対象部位を基準として第（ｎ－１）対象部位が移動したときに、第（ｎ－１）対象部位が可動領域の限界点に到達したとき、第ｎ対象部位に連結し、第（ｎ－１）対象部位の反対側に設けられた第（ｎ＋１）対象部位を設定してもよい。これにより、オブジェクトの姿勢をより滑らかに制御することができる。
【0080】
＜第４実施形態＞
本実施形態では、第１実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、複数の部位が一つの端末の移動に基づいて移動する例について説明する。なお、第１～第３実施形態と同様の構成および方法については、適宜省略する場合がある。
本実施形態では、第１実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、複数の部位が一つの端末の移動に基づいて移動する例について説明する。なお、第１～第３実施形態と同様の構成および方法については、適宜省略する場合がある。
【0081】
（４－１．サーバおよびオブジェクト姿勢制御部１００Ｂの構成）
図２２は、オブジェクト姿勢制御システム１Ｂにおける、オブジェクト姿勢制御部１００Ｂの機能ブロック図を示す。図２２に示すように、オブジェクト姿勢制御部１００Ｂは、撮影画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、第１対象部位設定部１５０、第２対象部位設定部１６０、連動部位判定部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０に加えて、連動部位追加部２１０、第４対象部位設定部２２０および第５対象部位設定部２３０を含む。
図２２は、オブジェクト姿勢制御システム１Ｂにおける、オブジェクト姿勢制御部１００Ｂの機能ブロック図を示す。図２２に示すように、オブジェクト姿勢制御部１００Ｂは、撮影画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、第１対象部位設定部１５０、第２対象部位設定部１６０、連動部位判定部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０に加えて、連動部位追加部２１０、第４対象部位設定部２２０および第５対象部位設定部２３０を含む。
【0082】
連動部位追加部２１０は、第１対象部位および第２対象部位を含む連動する部位（第１連動部位という場合ある）とは異なる連動する部位（第２連動部位という場合がある）を追加で設定する機能を有する。第４対象部位設定部２２０は、第４対象部位を設定する機能を有する。第４対象部位は、第２連動部位のうち移動する部位に相当する。第５対象部位設定部２３０は、第５対象部位を設定する機能を有する。第５対象部位は、第２連動部位のうち第４対象部位の動きの支点となる部位に相当する。
【0083】
（４－２．オブジェクト姿勢制御処理）
図２３に、オブジェクト姿勢制御部１００Ｂにおけるオブジェクト姿勢制御プログラムによる命令に基づいた第２オブジェクト姿勢制御処理Ｓ２００Ｂのフロー図を示す。図２３に示すように、第１対象部位および第２対象部位を設定し、連動する部位であると判定された後（Ｓ２５０；Ｙｅｓ）、連動部位追加部２１０は連動する部位を追加するかどうかを判定する（Ｓ２５５）。上記判定は、ユーザからの入力に基づいてなされてもよい。このとき、表示部１１に「連動する部位を追加しますか？」と表示されるとともに、「はい」および「いいえ」のボタンが表示されてもよい。ユーザが「はい」のボタンを押下したとき、連動する部位を追加するための信号が入力され、連動する部位を追加するモードに切り替わる（Ｓ２５５；Ｙｅｓ）。
図２３に、オブジェクト姿勢制御部１００Ｂにおけるオブジェクト姿勢制御プログラムによる命令に基づいた第２オブジェクト姿勢制御処理Ｓ２００Ｂのフロー図を示す。図２３に示すように、第１対象部位および第２対象部位を設定し、連動する部位であると判定された後（Ｓ２５０；Ｙｅｓ）、連動部位追加部２１０は連動する部位を追加するかどうかを判定する（Ｓ２５５）。上記判定は、ユーザからの入力に基づいてなされてもよい。このとき、表示部１１に「連動する部位を追加しますか？」と表示されるとともに、「はい」および「いいえ」のボタンが表示されてもよい。ユーザが「はい」のボタンを押下したとき、連動する部位を追加するための信号が入力され、連動する部位を追加するモードに切り替わる（Ｓ２５５；Ｙｅｓ）。
【0084】
次に、図２４に示すように、部位８１ｄがタッチ操作されることにより、部位８１ｄの位置情報が第４対象部位設定部２２０に入力される（Ｓ２６０）。入力された情報に基づいて、第４対象部位設定部２２０は、タッチ操作された部位８１ｄを第４対象部位として設定する（Ｓ２６５）。
【0085】
次に、図２４に示す部位８１ｅがタッチ操作されることにより、部位８１ｅの位置情報が第５対象部位設定部２３０に入力される（Ｓ２７０）。入力された情報に基づいて、第５対象部位設定部２３０は、タッチ操作された部位８１ｅを第５対象部位として設定する
（Ｓ２７５）。
（Ｓ２７５）。
【0086】
次に、連動部位判定部１７０は、第１対象部位および第２対象部位と同様に、第４対象部位および第５対象部位とが連動する部位であるかを判定する（Ｓ２８０）。設定された第４対象部位と第５対象部位とが、連動する部位であると判定された場合（Ｓ２８０；Ｙｅｓ）、第２オブジェクト姿勢制御処理Ｓ２００Ｂが終了となる。
【0087】
図２５は、第３オブジェクト制御処理Ｓ３００Ｂのフロー図である。端末１０Ｂの移動に伴うオブジェクトの移動は第１実施形態と同様の方法で実現されるが、本実施形態の場合、図２６に示すように、端末１０Ｂを寝かせた状態から立たせた状態に位置を変更したときに、この移動量に基づいて、第１対象部位、第４対象部位の座標変更が変更され（Ｓ３２２）、図２７に示すように第２対象部位（部位８１ｂ）を基準にして第１対象部位（部位８１ａ）が移動するのと同時に、第５対象部位（部位８１ｅ）を基準にして第４対象部位（部位８１ｄ）が移動したオブジェクトが表示される（Ｓ３３０）。つまり、一つの端末が移動したときに、複数の連動部位を動かし、オブジェクトの姿勢を制御することができる。
【0088】
＜第５実施形態＞
本実施形態では、第１実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、複数の部位が重畳して表示されている場合に対象部位を設定する例について説明する。なお、第１～第４実施形態と同様の構成および方法については、適宜省略する場合がある。
本実施形態では、第１実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、複数の部位が重畳して表示されている場合に対象部位を設定する例について説明する。なお、第１～第４実施形態と同様の構成および方法については、適宜省略する場合がある。
【0089】
図２８は、複数の部位が重畳して表示されている場合を示すユーザインターフェースである。図２８に示すように、ユーザの部位８１ａ（手首の関節に相当）は、部位８１ｇ（腰の関節に相当）と重畳して表示されている。このとき、重畳する部分がタッチ操作されることにより指定されたときに、表示部１１におけるオブジェクト８０の表示方向を変更してもよい。例えば、重畳する部分がタッチ操作されたとき、図２９に示すように、「オブジェクトの表示方向を変更しますか？」と表示部１１に表示し、「はい」および「いいえ」のボタンを表示してもよい。「はい」ボタンが押下されたとき、図３０に示すように、オブジェクト８０をシート７０に対して時計回りに９０度回転して表示してもよい。これにより、重複していた部位８１ａおよび部位８１ｇが別々に表示され、特定の部位を設定することができる。
【0090】
なお、重畳する部分における特定の部位を設定する方法は、上記方法に限定されない。例えば、所定の条件を満たす部位を特定したい部位（第１対象部位または第２対象部位）として設定してもよい。具体的には、重畳する部分に対してタッチ操作を行うなどして指定した場合、最前面に表示された部位を特定したい部位として設定してもよい。
【0091】
また、別の方法として、重畳する部分に対する所定の操作に基づいて特定したい部位を設定してもよい。具体的には、重畳する部分に対して短い時間（例えば１ｓｅｃ）でタッチ操作する場合には、前面の部位を特定したい部位と設定し、長い時間（例えば５ｓｅｃ）でタッチ操作するときには、後面の部位を特定したい部位として設定してもよい。
【0092】
＜第６実施形態＞
本実施形態では、第１～第５実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、第１対象部位の移動により、第１対象部位および第２対象部位とは異なる移動可能な部位に接触したときに新たな連結する部位を設定する例について説明する。なお、第１～第５実施形態と同様の構成および方法については、適宜省略する場合がある。
本実施形態では、第１～第５実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、第１対象部位の移動により、第１対象部位および第２対象部位とは異なる移動可能な部位に接触したときに新たな連結する部位を設定する例について説明する。なお、第１～第５実施形態と同様の構成および方法については、適宜省略する場合がある。
【0093】
図３１は、第１対象部位が異なる部位に接触した例を示すユーザインターフェースである。図３１に示すように、ユーザの部位８１ａ（左手首の関節に相当）は、部位８１ｅ（右肘の関節に相当）と接触して表示される。このとき、部位８１ｅは、移動可能な部位としてあらかじめ入力されていれば、第４対象部位として設定してもよい。このとき、部位８１ｅと、部位８１ｆとは、ボーン８２ｅを介して連動する部位であるため、部位８１ｆは、第５対象部位として設定されてもよい。
【0094】
上記において、第１対象部位である部位８１ａが第２対象部位である８１ｂを基準として移動するとき、図３２に示すように、部位８１ａの移動に基づき第４対象部位である部位８１ｅが第５対象部位である部位８１ｆを基準として移動してもよい。
【0095】
本実施形態を用いることにより、一の連動する部位の動きにより干渉され、他の連動する部位の姿勢を制御することができる。
【0096】
なお、上記制御は、一の連動する部位の姿勢に限定されない。例えば、オブジェクト８０とは異なる対象物によって他の連動する部位の姿勢が制御されてもよい。つまり、ユーザによる操作ではなく、受動的に連動する部位を設定することができる。
【0097】
＜第７実施形態＞
本実施形態では、第１～第５実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、Ｘ座標、Ｙ座標、Ｚ座標に加えて角度θを用いてオブジェクトの姿勢を制御する例について説明する。なお、第１～第６実施形態と同様の構成および方法については、適宜省略する場合がある。
本実施形態では、第１～第５実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、Ｘ座標、Ｙ座標、Ｚ座標に加えて角度θを用いてオブジェクトの姿勢を制御する例について説明する。なお、第１～第６実施形態と同様の構成および方法については、適宜省略する場合がある。
【0098】
図３３は、端末の移動前後のオブジェクトの第１対象部位（部位８１ａ）の仮想空間上の座標および表示部１１における座標のデータ構造である。図３３に示すように、端末１０の移動情報において、Ｘ座標、Ｙ座標、Ｚ座標だけではなく角度θを用いてもよい。この場合、Ｘ座標、Ｙ座標、Ｚ座標のいずれかが用いられなくてもよい。端末１０の動きに合わせて仮想空間におけるオブジェクト８０の第１対象部位（部位８１ａ）の情報、および表示部１１におけるオブジェクト８０の第１対象部位（部位８１ａ）の座標の情報が変更され、変更後の座標の情報が記憶される（座標情報の書き換えがなされる）。
【0099】
図３４は、表示部１１に表示された姿勢が変化した後のオブジェクトのユーザインターフェースの一例である。図３４に示すように、本実施形態を用いることにより、オブジェクトの姿勢において、特にひねりの姿勢を制御することができる。
【0100】
なお、本発明の思想の範疇において、当業者であれば、各種の変更例および修正例に想到し得るものであり、それら変更例および修正例についても本発明の範囲に属するものと了解される。例えば、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
【0101】
（変形例）
本発明の第１実施形態では、タッチ操作により第１対象部位の情報を入力し、第１対象部位が設定されるとともに、タッチ操作により第２対象部位の情報を入力し、第２対象部位が設定される例を示したが、これに限定されない。例えば、第２対象部位は、第１対象部位が設定される場合に、自動的に設定されてもよい。このとき、第２対象部位は、第１対象部位の上位となる部位が自動で設定されてもよい。
本発明の第１実施形態では、タッチ操作により第１対象部位の情報を入力し、第１対象部位が設定されるとともに、タッチ操作により第２対象部位の情報を入力し、第２対象部位が設定される例を示したが、これに限定されない。例えば、第２対象部位は、第１対象部位が設定される場合に、自動的に設定されてもよい。このとき、第２対象部位は、第１対象部位の上位となる部位が自動で設定されてもよい。
【0102】
本発明の第１実施形態では、ユーザがタッチ操作することにより、第１対象部位および第２対象部位の情報が入力される例を示したが、これに限定さない。例えば、端末１０のマイク部１８を用いて、対象部位の情報を口頭で入力してもよい。
【0103】
また、本発明の第１実施形態では、端末１０を移動させるとき、表示部１１に表示されたオブジェクトのうち第１対象部位または第２対象部位がタッチされた状態で端末の移動が行われてもよい。このとき、表示部１１に表示されたオブジェクト８０が静止された状態で仮想空間上の第１対象部位の座標のみ変更してもよい。仮想空間上では第２対象部位を基準として第１対象部位が移動する。端末１０の移動が終了したとき、表示部１１には第１対象部位の位置が変更されたオブジェクトが表示されてもよい。
【0104】
本発明の第１実施形態では、撮影された画像と、仮想空間のオブジェクトとをマーカーベース位置合わせ法により位置合わせされ、重畳表示された例を示したが、これに限定されない。オブジェクトを含む仮想空間と、撮影画像との位置合わせの方法として、マーカーベース位置合わせ手法のほかに、特定のマーカーを用いない自然特徴ベース位置合わせ手法、モデルベース位置合わせ手法などのビジョンベース位置合わせ手法、センサを用いたセンサベース位置合わせ手法などを適宜用いてもよい。また、必ずしも撮影画像と仮想空間のオブジェクトとは、位置合わせする必要はなく、仮想空間のオブジェクトの座標が設定できるものであれば、適宜最適な手法を用いればよい。
【0105】
また、本発明の第１実施形態では、拡張現実を用いてオブジェクトを表示する例を示したが、これに限定さない。本発明の一実施形態は、オブジェクトの座標が特定できれば、拡張現実以外にも仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、混合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）などに適用することも可能である。
【0106】
また、本発明の第１実施形態では、一つの端末を用いて、オブジェクトの表示およびオブジェクトの姿勢制御を行う例を示したが、これに限定さない。複数の端末をネットワーク５０で連携させて、オブジェクトの姿勢を制御してもよい。例えば、図３５に示すように一つの端末１０（端末１０－１）でオブジェクトの表示を行い、他の端末１０（端末１０－２）の位置を変動させることにより、オブジェクトとの姿勢を制御してもよい。これにより、一つの端末１０で固定してオブジェクトを表示し続けることができるので、オブジェクトの精細な姿勢制御を行うことができる。また、端末１０－１と端末１０－２とは、同種の端末でなくてもよい。例えば、表示するための端末としてゴーグル型の端末を用いてもよいし、姿勢制御用の端末として、時計型の端末を用いてもよい。
【符号の説明】
【0107】
１・・・オブジェクト姿勢制御システム，１０・・・端末，１１・・・表示部，１２・・・制御部，１３・・・記憶部，１４・・・操作部，１５・・・通信部，１６・・・センサ部，１７・・・カメラ部，１８・・・マイク部，２０・・・サーバ，２１・・・通信部，２２・・・記憶部，２３・・・制御部，２４・・・表示部，５０・・・ネットワーク，６０・・・テーブル，７０・・・シート，７５・・・マーカー，８０・・・オブジェクト，８１・・・部位，８２・・・ボーン，９０・・・ユーザ，１００・・・オブジェクト姿勢制御部，１１０・・・撮影画像取得部，１２０・・・マーカー検出部，１３０・・・空間定義部，１４０・・・オブジェクト表示部，１５０・・・第１対象部位設定部，１６０・・・第２対象部位設定部，１７０・・・連動部位判定部，１８０・・・移動情報取得部，１９０・・・オブジェクト座標変更部，１９５・・・限界点検出部，２００・・・第３対象部位設定部，２１０・・・連動部位追加部，２２０・・・第４対象部位設定部，２３０・・・第５対象部位設定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】