(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-23
(45)【発行日】2022-05-31
(54)【発明の名称】拡張現実空間に配置される3Dオブジェクトを生成する方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20220524BHJP
G06F 3/01 20060101ALI20220524BHJP
G06F 3/0481 20220101ALI20220524BHJP
G06F 3/04845 20220101ALI20220524BHJP
【FI】
G06T19/00 600
G06T19/00 A
G06F3/01 570
G06F3/0481
G06F3/0484 150
(21)【出願番号】P 2021130530
(22)【出願日】2021-08-10
(62)【分割の表示】P 2019004082の分割
【原出願日】2019-01-15
【審査請求日】2021-08-10
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】509325156
【氏名又は名称】株式会社Gugenka
(73)【特許権者】
【識別番号】518371995
【氏名又は名称】株式会社XR iPLAB
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip特許業務法人
(72)【発明者】
【氏名】三上 昌史
(72)【発明者】
【氏名】鬼山 洋
【審査官】岡本 俊威
(56)【参考文献】
【文献】国際公開第2019/087564(WO,A1)
【文献】特開2005-056251(JP,A)
【文献】特開2000-172875(JP,A)
【文献】米国特許出願公開第2018/0088663(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/00- 19/20
G06F 3/01
G06F 3/048- 3/04847
(57)【特許請求の範囲】
【請求項1】
ユーザ装置の表示部に表示される拡張現実空間に配置される
人型のキャラクタに係る3Dオブジェクトを生成する方法であって、
撮像された現実空間に3Dオブジェクトの画像を表示し、
前記拡張現実空間内におけるユーザの指で摘まむようなピンチ操作を検出し、
当該ピンチ操作に基づいて、前記
人型のキャラクタに係る3Dオブジェクトの
髪の姿勢を制御する、
方法。
【請求項2】
前記
人型のキャラクタに係る3Dオブジェクトの
髪の姿勢を制御することは、
前記拡張現実空間内に表示される3Dオブジェクト画像のうち、当該検出された位置座標を確認し、
当該検出された位置座標に対応する前記3Dオブジェクトの位置座標を確認し、
当該確認した3Dオブジェクトの位置座標に対応する当該3Dオブジェクトの
髪を特定し、
前記検出されたハンドジェスチャに基づいて、当該3Dオブジェクトの
髪の姿勢を変更する、ことを含む、
請求項1に記載の方法。
【請求項3】
ユーザ装置の表示部に表示される拡張現実空間に配置される
人型のキャラクタに係る3Dオブジェクトを生成する方法をコンピュータに実行させるプログラムであって、
前記方法は、
撮像された現実空間に3Dオブジェクトの画像を表示し、
前記拡張現実空間内におけるユーザの指で摘まむようなピンチ操作を検出し、
当該ピンチ操作に基づいて、前記
人型のキャラクタに係る3Dオブジェクトの
髪の姿勢を制御する、
プログラム。
【請求項4】
ユーザ装置の表示部に表示される拡張現実空間に配置される
人型のキャラクタに係る3Dオブジェクトを生成する方法を実行するコンピュータを含むシステムであって、
前記方法は、
撮像された現実空間に3Dオブジェクトの画像を表示し、
前記拡張現実空間内におけるユーザの指で摘まむようなピンチ操作を検出し、
当該ピンチ操作に基づいて、前記
人型のキャラクタに係る3Dオブジェクトの
髪の姿勢を制御する、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実空間に配置される3Dオブジェクトを生成する方法に関する。詳し
くは、スマートフォン等の携帯端末の表示部に表示される拡張現実空間に配置される3D
オブジェクトを生成する方法に関する。また、スマートグラス、ヘッドマウントディスプ
レイ等のウェアラブルデバイス等の表示部に表示される拡張現実空間に配置される3Dオ
ブジェクトを生成する方法に関する。
【背景技術】
【0002】
従来、二次元(2D)や三次元(3D)の静止画や動画(アニメーション)で表現され
るキャラクタを生成するため、様々な技術が提案されている。
【0003】
多くの場合、画像として表現する対象物を構成する部品に対してパラメータを設け、パ
ラメータを調整することで、各々の部品の状態を変化させる、といった手法が用いられる
。
【0004】
一例として、3次元オブジェクト(例えば、キャラクタ)の生成に当たり、その構成要
素(例えば、顔、口、眉等)に対して、各部品の状態の変化(例えば、口の開閉、目の開
閉、眉の縦移動、眉の横移動、目玉の縦移動、目玉 の横移動、怒りの度合、笑いの度合
、照れの度合)に関連するパラメータや、物体(例えば、顔)の回転角(-180~18
0)に関連するパラメータを設定する手法が開示されている(例えば、特許文献1)。
【0005】
昨今、現実世界に画像やアノテーション等の情報をウェアリングデバイスのディスプレ
イ等を通して付加することで、ユーザの現実空間を拡張する、という拡張現実空間を提供
するサービスが普及している。一例として、スマートフォンのカメラにより撮像された現
実空間上に、アニメキャラクタのようなデジタル画像を重畳させて表示する、といったサ
ービスが挙げられ、ユーザは、あたかもそのキャラクタが現実空間に実在しているかのよ
うな感覚を持つことができる。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、このような拡張現実空間を演出するキャラクタのようなデジタル画像は
、元々現実空間に配置されることを想定したものでない場合が多く、各々のユーザによっ
て異なる現実空間にマッチするキャラクタを提供することは難しい。上記特許文献の3D
オブジェクト生成技術は、二次元上のイラスト編集ツールの延長上にある技術であり、拡
張現実空間に配置されるキャラクタを生成することを想定したものではない。
【0008】
そこで、本発明は、拡張現実空間に配置される3Dオブジェクトを生成する技術を提供
することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一の実施形態において、ユーザ装置の表示部に表示される拡張現実空間に配置
される3Dオブジェクトを生成する方法であって、撮像された現実空間に3Dオブジェク
トの画像を表示し、前記拡張現実空間内におけるユーザのハンドジェスチャを検出し、当
該ハンドジェスチャに基づいて、前記3Dオブジェクトの姿勢を制御する、方法。
【発明の効果】
【0010】
本発明によれば、拡張現実空間に配置される3Dオブジェクトを生成する技術を提供す
ることを実現することができる。
【図面の簡単な説明】
【0011】
【
図1】第1の実施形態に係るシステム構成図を示す。
【
図2】第1の実施形態に係るサーバの機能構成図を示す。
【
図3】第1の実施形態に係るユーザ端末の機能構成図を示す。
【
図4】第1の実施形態に係る制御部の機能構成図を示す。
【
図5】第1の実施形態に係るストレージの詳細を示す。
【
図6】第1の実施形態に係る、3Dオブジェクトの生成方法のフローチャートを示す。
【
図7】第1の実施形態に係る、ユーザ端末の姿勢制御に伴う処理のフローチャートを示す。
【
図8】第1の実施形態に係る、3Dオブジェクトの生成画面の例を示す。
【0012】
<第1実施形態>
本発明の第1実施形態に係る3Dオブジェクトの生成方法の具体例を、以下に図面を参
照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の
範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれ
ることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を
付し、重複する説明を省略する。
【0013】
図1に、本発明の第1の実施形態に係るシステム構成図を示す。
図1に示すように、本
実施形態に係るシステムは、サーバ1と、サーバ1に、インターネット等のネットワーク
を介して接続される、ユーザ端末2Aとユーザ端末2Bとを含む。
図1には、説明の便宜
上ユーザ端末2A、2B(以下、ユーザ端末2と総称する)が図示されているが、任意の
数のユーザ端末がネットワークに接続可能である。
【0014】
サーバ1は、ユーザ端末2A、2Bに関連付けられるユーザに対し、現実空間に、例え
ば、アニメキャラクタのような、3Dオブジェクトを配置することによる拡張現実空間を
提供するサービスを提供することができる。例えば、サーバ1は、ユーザ端末2(例えば
、携帯電話端末やスマートフォン)内蔵のカメラにより撮像される現実空間に、キャラク
タ画像を重畳させることによる拡張現実空間を提供するサービスを提供する。
【0015】
より具体的には、ユーザは、ユーザの部屋を、例えばスマートフォン内蔵のカメラによ
り撮像し、ユーザはお気に入りのキャラクタ画像をその部屋の背景画像に重畳させて表示
させることができる。これにより、ユーザは、あたかも自分の部屋にお気に入りのキャラ
クタが同居しているかの感覚を覚えることができる。
【0016】
例えば、ユーザは、ユーザ端末2に、サーバ1または他のプラットフォームから本サービ
スアプリケーションをダウンロードし、アプリケーションを介して、サーバ1と本サービ
スに関するデータを送受信することができる。または、ユーザは、ユーザ端末2に内蔵さ
れたWebブラウザにより、サーバ1に格納されるWebアプリケーションにアクセスす
ることにより、本サービスに関するデータを送受信することもできる。以下の実施形態に
おいては、例示として、ダウンロードされたアプリケーションを介した本サービスの提供
方法について説明する。
【0017】
ユーザ端末2として、例えばスマートフォン、タブレット、携帯端末その他情報端末と
してもよいし、ワークステーションやパーソナルコンピュータのような汎用コンピュータ
であってもよい。さらに、スマートグラス、ヘッドマウントディスプレイ等の、ユーザの
身体に装着し得るウェアラブルデバイスであってもよい。
【0018】
図2は、第1実施形態に係るサーバの機能構成図を示す。なお、図示された構成は一例で
あり、これ以外の構成を有していてもよい。
【0019】
図示されるように、サーバ1は、データベース(図示せず)と接続されシステムの一部を
構成する。サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎
用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に
実現されてもよい。
【0020】
サーバ1は、少なくとも、制御部10、メモリ11、ストレージ12、送受信部13、
入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
【0021】
制御部10は、サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御
、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。
例えば制御部10はCPU(Central Processing Unit)であり
、ストレージ12に格納されメモリ11に展開されたプログラム等を実行して各情報処理
を実施する。
【0022】
メモリ11は、DRAM(Dynamic Random Access Memor
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
11は、プロセッサ10のワークエリア等として使用され、また、サーバ1の起動時に実
行されるBIOS(Basic Input/Output System)、及び各種
設定情報等を格納する。
【0023】
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベース(図示せず)がストレージ12に構築さ
れていてもよい。
【0024】
送受信部13は、サーバ1をネットワークに接続する。なお、送受信部13は、Blu
etooth(登録商標)及びBLE(Bluetooth Low Energy)の
近距離通信インターフェースを備えていてもよい。
【0025】
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。
【0026】
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
【0027】
図3は、第1実施形態に係るユーザ端末の機能構成図を示す。なお、図示された構成は一
例であり、これ以外の構成を有していてもよい。
【0028】
ユーザ端末2は、前述の通り、様々な情報端末や汎用コンピュータとすることができる
か、以下、スマートフォンを例に説明する。ユーザ端末2は、少なくとも、制御部20、
メモリ21、ストレージ22、送受信部23、入力部24等を備え、これらはバス25を
通じて相互に電気的に接続される。
【0029】
制御部20は、ユーザ端末2全体の動作を制御し、各要素間におけるデータの送受信の
制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置であ
る。例えば制御部20はCPU(Central Processing Unit)で
あり、ストレージ22に格納されメモリ21に展開されたプログラム等を実行して各情報
処理を実施する。
【0030】
メモリ21は、DRAM(Dynamic Random Access Memor
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
21は、制御部20のワークエリア等として使用され、また、ユーザ端末2の起動時に実
行されるBIOS(Basic Input/Output System)、及び各種
設定情報等を格納する。
【0031】
ストレージ22は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベース(図示せず)がストレージ22に構築さ
れていてもよい。
【0032】
送受信部23は、ユーザ端末2をネットワークに接続する。なお、送受信部23は、B
luetooth(登録商標)及びBLE(Bluetooth Low Energy
)の近距離通信インターフェースを備えていてもよい。
【0033】
入力部24は、タッチパネル等の情報入力機器である。
【0034】
バス25は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
【0035】
さらに、ユーザ端末2は、カメラ26を備える。カメラ26は、ユーザ端末2に内蔵され
、現実空間を撮像し、通常、ユーザ端末2を把持するユーザの視線方向と一致するように
備えられる。カメラ26はまた、ユーザのジェスチャをキャプチャするセンサ(例えば、
二次元/三次元カメラ、超音波、深度、IRセンサ等)としての機能を備える。
【0036】
カメラ26により撮像された現実空間の画像は、画像制御部27により、キャラクタ等の
3Dオブジェクトの画像と合成され、表示部28により、現実空間の画像に3Dオブジェ
クトの画像が重畳して表示される。画像制御部27は、例えば、GPU(Graphic
s Processing Unit)であり、主に画像処理に係る演算処理を実行する
。また、表示部28は、スマートフォンの場合、例えば、LCDまたは有機EL等のディ
スプレイである。表示部28は、カメラ26のファインダとして機能することもできる。
【0037】
GPS(Global Positioning System)29は、現在位置情報
を測位する。GPS29は、GPS衛星から測位用の電波を受信し、絶対位置となる緯度
経度情報を測位することができる。また、複数の携帯電話用の基地局から通信電波を受信
し、複数基地局測位機能によって現在位置情報を測位することもできる。
【0038】
加速度センサ30は、加速度(単位時間当たりの速度の変化)を検出する。加速度センサ
30は、3軸方向(x、y、z方向)の加速度を検出することができる。例えば、スマー
トフォンの前後方向をx軸、左右方向をy軸、上下方向をz軸とし、前方方向をx軸正方
向、左方向をy軸正方向、下方向をz軸方向とすると、加速度センサ30は、各方向の加
速度を検出するとともに、x軸回りの回転角(ロール角)、y軸回りの回転角(ピッチ角
)、z軸回りの回転角(ヨー角)を検出する。
【0039】
地磁気センサ31は、3軸方向(上記x、y、z軸方向)の地磁気の方向を検出し、水平
方向の方位を表示する。方位角は、地磁気センサにより検出され、算出された真北の方位
Nを基点とした時計回りの角度で示される。
【0040】
本例においては、スマートフォンを挙げて説明しているが、上述の通り、ユーザ端末とし
て、ウェアラブルデバイスを用いることもできる。この場合、ウェアラブルデバイスに、
本例におけるスマートフォンに内蔵される機能と同等の機能を備えることができる。
【0041】
図4は、第1の実施形態に係る制御部の機能構成図を示す。なお、本実施形態においては
、ユーザ端末2の制御部20の機能構成図の詳細について説明するが、同様の機能をサー
バ1の制御部10に備え、制御部10において処理することができる。以下、各機能構成
は、メモリ21、ストレージ12等に記憶されたプログラムを制御部20において実行す
ることで実現される。
【0042】
ジェスチャ検出部41は、例えば、ユーザの手のジェスチャを検出する。具体的には、ジ
ェスチャ検出部41は、ユーザ端末2(スマートフォン)のカメラ26がキャプチャした
、ユーザの手のジェスチャを含む画像をフィルタ除去等の手法により正規化し、正規化さ
れた画像のエッジ画像の各画素に対して、カメラの三次元座標系(x、y、z)における
位置及び方向を含むインデックスを付与し、付与されたインデックスを基に、ユーザ端末
外部のデータベースに格納された、予めインデックスが付与されたジェスチャ画像を検索
し、インデックスがマッチした手のジェスチャ画像を決定する。
【0043】
キャラクタ画像管理部42は、ストレージ22に格納されるキャラクタの3Dオブジェク
トを管理し、例えば、ジェスチャ検出に応じて、キャラクタの位置や姿勢を制御する。
【0044】
図5は、第1の実施形態に係るストレージの詳細を示す。なお、本実施形態においては
、ユーザ端末2のストレージ22の詳細について説明するが、同様の情報をメモリ21や
、サーバ1のメモリ11、ストレージ12等に格納することもできる。
【0045】
ストレージ12は、キャラクタ情報51を格納する。キャラクタ情報として、拡張現実空
間に表示されるキャラクタの3Dオブジェクトの生成に関連するデータ(例えば、キャラ
クタ画像データ、3D形状データ、テクスチャデータ、アニメーションデータ及び座標情
報、色情報等のそれらを構成するデータ)を所定の形式で格納する。また、キャラクタ情
報は、アニメーションデータとして、キャラクタの各々の部品(例えば、髪の毛、顔、首
、胴体、腕、手、脚等)が相互に動くために必要なボーンオブジェクト情報を有し、各々
の部品について、位置(x、y、z座標)、接続元/接続先の部品、質量/幅/高さ、回
転制限(x、y、z座標の最大値/最小値)、及び移動制限(x、y、z座標の最大値/
最小値)等の情報を有することができる。また、ユーザが複数の種類のキャラクタを選択
できるよう、複数のキャラクタ情報を格納することもできる。その他、ストレージ12は
、画像処理プログラムを始め各種プログラム、アプリケーション、オペレーションシステ
ム等を格納する。
【0046】
図6は、第1の実施形態に係る、3Dオブジェクトの生成方法のフローチャートを示す。
本3Dオブジェクトの生成方法に係る処理は、例えば、ユーザ端末2のメモリ22に展開
されるプログラムを制御部21において実行することで実現され得るが、他に、サーバ1
のメモリ12に展開されるプログラムを制御部11において実行することで実現すること
もでき、または、これらが協働して実行することで実現することも可能である。
【0047】
まず、制御部20のユーザ要求受付部41は、アプリケーション等を介して、ユーザ端末
2に関連づけられるユーザから拡張現実空間に表示するキャラクタの選択要求を受信する
(S101)。表示するキャラクタの種類が、1種類の場合は、本ステップを省略するこ
ともできる。
【0048】
続いて、表示制御部27は、ユーザが選択したキャラクタを拡張現実空間に表示する処理
を行う(S102)。例えば、表示制御部27は、ストレージ22に格納されたキャラク
タ情報を基に、3D形状データを所定の空間にマッピングし、キャラクタ画像データから
変換されたテクスチャデータに、テクスチャデータを3D形状にマッピングさせることで
、キャラクタの3Dオブジェクトを生成する。そして、カメラ26で撮像された現実空間
を、所定の空間の背景画像として設定することで、現実空間にキャラクタの3Dオブジェ
クトが重畳された画像が生成され、拡張現実空間が提供され、拡張現実空間がディスプレ
イに表示される。例えば、
図8に示すように、キャラクタの3Dオブジェクトは、拡張現
実空間において中央に表示され、正面を向いている。ここで、表示制御部72は、キャラ
クタの3Dオブジェクトの各構成要素(例えば、顏、眼、鼻、口、眉、耳、髪型等)の状
態を変化させるパラメータを調整するための複数のインジケータを表示し、ユーザからパ
ラメータを調整するためのインジケータを介した指示を受け付け、これに応じて、指定さ
れた構成要素の状態を変更する処理を行うことができる。また、表示制御部27は、拡張
現実空間におけるキャラクタの3Dオブジェクトのテクスチャの色の補正を行うためのイ
ンジケータを表示することもできる。ここで、色の補正とは、明るさ、彩度、色調、鮮明
さ、コントラスト等の補正を含む。
【0049】
続いて、制御部20のジェスチャ検出部41は、ジェスチャを検出したか、を確認する(
S103)。例えば、ユーザは、
図8(a)に示すように、自分の手を使って、ディスプ
レイに表示されるキャラクタのポージングを変えるよう試みる。ジェスチャ検出の一例と
して、ジェスチャ検出部41は、ユーザ端末2(スマートフォン)のカメラ26がキャプ
チャしたユーザの手のジェスチャを含む画像をフィルタ除去等の手法により正規化し、正
規化された画像のエッジ画像の各画素に対して、カメラの三次元座標系(x、y、z)に
おける位置及び方向を含むインデックスを付与し、付与されたインデックスを基に、ユー
ザ端末外部のデータベースに格納された、予めインデックスが付与されたジェスチャ画像
を検索し、インデックスがマッチしたジェスチャ画像を決定する。
図8の例においては、
ジェスチャ検出部41は、ユーザが指で何かを摘まんで(いわゆる、ピンチ操作)、所定
の方向に移動するジェスチャを検出する。
【0050】
ジェスチャ検出部41は、ユーザの手のジェスチャを検出すると、そのジェスチャに応
じて、制御部20及び画像制御部27は、キャラクタの姿勢(ポージング)を制御する(
S104)。本処理において、例えば、
図8(b)に示すように、画像制御部27は、キ
ャラクタの3Dオブジェクトの左手を持ち上げるよう制御する。本処理の詳細は、
図7に
おいて説明する。
【0051】
次に、画像制御部27は、姿勢制御後のキャラクタの3Dオブジェクトを拡張現実空間に
表示する(S105)。例えば、
図8(b)に示すように、表示されるオブジェクトの画
像は、左手を持ち上げるようアニメーション表示される。
【0052】
図7は、第1の実施形態に係る、キャラクタの姿勢制御に係る処理のフローチャートを示
す。まず、制御部20のジェスチャ検出部41は、ユーザに手のジェスチャを検出する(
S201)。ここで、ジェスチャ検出部41は、ユーザの手の動きに対応した動きを含め
たジェスチャ画像、すなわち、何かを指で摘まむ操作(ピンチ操作)をして、所定の方向
に移動するジェスチャに対応する画像を決定する。
【0053】
次に、ジェスチャ検出部41は、検出したジェスチャを基に、ユーザの手の座標を確認
する(S202)。前述のとおり、ここで、ジェスチャ検出部41は、キャプチャされ、
正規化された画像のエッジ画像の各画素に対して付与された、カメラの三次元座標(x、
y、z)における位置及び方向を参照する。
図8(a)及び
図8(b)に示すように、ジ
ェスチャ検出部41によって、ユーザの手の始点位置の三次元座標の位置及び方向とユー
ザの手の終点位置の三次元座標の位置及び方向が確認される。ここで、検出したジェスチ
ャによっては、本処理を進まずに、特定のジェスチャをトリガとして、本処理に進むこと
もできる。例えば、単にユーザが手をキャラクタの周辺にかざしている状態では何もアク
ションを取らずに、キャラクタの部位を指で摘まむ操作(ピンチ操作)を検出したことを
トリガとして、本処理以降に進むこととしてもよい。
【0054】
続いて、ジェスチャ検出部41は、検出したユーザの手の座標に対応する3Dオブジェク
トの座標を確認する(S203)。具体的には、
図8(a)及び
図8(b)に示すように
、検出されたユーザの手の始点位置に対応するキャラクタの3Dオブジェクトの三次元座
標を確認する。
【0055】
そして、ジェスチャ検出部41は、確認した3Dオブジェクトの座標に対応する、3Dオ
ブジェクトの部品を特定する(S204)。
図8(a)に示す例において、ユーザの手の
始点位置に対応するキャラクタの3Dオブジェクトの三次元座標は、キャラクタの左手で
あることが分かる。
【0056】
そして、表示制御部27は、キャラクタの3Dオブジェクトの部品の位置を変更するよう
制御する。例えば、表示制御部27は、
図8(a)及び
図8(b)に示す例においては、
検出した手のジェスチャに応じ、キャラクタの左手を振り上げる制御する。
【0057】
なお、上記の例によれば、ユーザの手の位置及び相対的なキャラクタの部品位置の特定に
カメラの三次元座標を使用しているが、ワールド座標やローカル座標を適用し、適宜座標
変換することもできる。また、三次元座標ではなく、二次元座標を提供することもできる
。また、検出されたユーザの手のジェスチャをジェスチャ画像として手の画像を表示する
ことで、ユーザは、感覚的にキャラクタのポージングの調整を図ることができるが、手の
画像を表示させないこともできる。
【0058】
以上のように、本実施形態によれば、拡張現実空間にキャラクタの3Dオブジェクトを配
置させたまま、ハンドトラッキングを使ってキャラクタのポージングを調整することがで
きるため、あたかも現実空間でキャラクタフィギュアのポージングを決めるかのように、
キャラクタの3Dオブジェクトを生成することができる。
【0059】
本実施形態によれば、単体のキャラクタの3Dオブジェクトを拡張現実空間に配置し、そ
の構成要素を変更させる処理を行うこととしているが、例えば、複数のキャラクタを同じ
拡張現実空間に配置させて、ユーザは、複数のキャラクタのうち、任意のキャラクタの3
Dオブジェクトのポージングを変更するよう、ハンドトラッキングを使って調整すること
ができる。これにより、ユーザは、あたかも現実空間において、複数の異なる容姿、背丈
のキャラクタが共存しているかのような感覚を覚えながら、お気に入りのキャラクタのポ
ージングを楽しむことができる。
【0060】
さらに、本実施形態において、サーバ1は、あるユーザ端末2Aに提供された拡張現実空
間を、ネットワークを介して、別のユーザ端末2Bに提供することができる。ここで、ユ
ーザ端末2Aは、自端末の表示部28に表示される拡張現実空間において配置される、キ
ャラクタの3Dオブジェクトに関する情報を、他の端末2Bに送信するようサーバ1に要
求を送信する。ユーザ端末2Bは、ユーザ端末2Aにおいて表示されたキャラクタの3D
オブジェクトに関する情報を受信すると、自端末2Bの表示部に表示される拡張現実空間
に、キャラクタを表示させる。このとき、拡張現実空間に表示される背景画像には、ユー
ザ端末2B内蔵のカメラにより撮像された現実空間を使用することができる。そして、ユ
ーザ端末2Bを操作するユーザは、ユーザ端末2Aが操作するユーザによって指示される
キャラクタの容姿の変更の様子を自端末の拡張現実空間の中でリアルタイムに楽しむこと
ができる。
【0061】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定
して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良
することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【0062】
1 サーバ
2 ユーザ端末