特許 7373090 情報処理システム、情報処理装置、プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-10-24

(45)【発行日】2023-11-01

(54)【発明の名称】情報処理システム、情報処理装置、プログラム及び情報処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231025BHJP

   G06T 13/20 20110101ALI20231025BHJP

   G06F 3/04815 20220101ALI20231025BHJP

【ＦＩ】

G06T19/00 600

G06T13/20

G06F3/04815

【請求項の数】 8

(21)【出願番号】P 2023075678

(22)【出願日】2023-05-01

【審査請求日】2023-05-01

【早期審査対象出願】

(73)【特許権者】

【識別番号】512294021

【氏名又は名称】株式会社アカツキ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】ロー ヒサン

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１４－０７１８５０（ＪＰ，Ａ）

【文献】特開２０１９－１３３５０７（ＪＰ，Ａ）

【文献】特開２０１５－２０４０７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １３／２０

Ｇ０６Ｆ ３／０４８１５

(57)【特許請求の範囲】

【請求項1】

仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
を実行し、
前記生成処理において、前記所定期間の中で前記端末装置が前記識別情報を認識できない期間の前記端末装置の動きを、前記端末装置が前記識別情報を認識している期間の情報に基づいて補完する補完処理を実行する、情報処理システム。

【請求項2】

前記第２位置情報算出処理は、
前記第１位置情報算出処理で算出した前記第１位置情報を座標変換処理することによって前記第２位置情報を算出する、
請求項１に記載の情報処理システム。

【請求項3】

前記所定期間は、前記端末装置を使用するユーザから受け付ける開始操作と終了操作の間の期間であり、
前記識別情報に関連づけられた前記仮想オブジェクトとしてのＡＲオブジェクトに関するＡＲオブジェクト情報と前記第２位置情報とに基づいて前記モーション情報を生成する、
請求項１または２に記載の情報処理システム。

【請求項4】

前記識別情報は、
前記仮想オブジェクトとしてのＡＲオブジェクトの情報が関連付けられたＡＲマーカである、
請求項１または２に記載の情報処理システム。

【請求項5】

前記端末装置の傾きを検出可能なセンサから取得するセンサ情報に基づいて、前記識別情報の傾き情報を算出する傾き情報算出処理と、
前記生成処理において前記モーション情報を生成する際に、前記傾き情報に基づいて傾きを補正する傾き補正処理と、を実行する、
請求項１または２に記載の情報処理システム。

【請求項6】

仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
を実行する制御部を備え、
前記生成処理において、前記所定期間の中で前記端末装置が前記識別情報を認識できない期間の前記端末装置の動きを、前記端末装置が前記識別情報を認識している期間の情報に基づいて補完する補完処理を実行する、情報処理装置。

【請求項7】

仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータに実行させ、
前記生成処理において、前記所定期間の中で前記端末装置が前記識別情報を認識できない期間の前記端末装置の動きを、前記端末装置が前記識別情報を認識している期間の情報に基づいて補完する補完処理をコンピュータに実行させる、プログラム。

【請求項8】

仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータが実行し、
前記生成処理において、前記所定期間の中で前記端末装置が前記識別情報を認識できない期間の前記端末装置の動きを、前記端末装置が前記識別情報を認識している期間の情報に基づいて補完する補完処理を実行する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置、プログラム及び情報処理方法に関する。

【背景技術】

【0002】

近年、ユーザが知覚可能な現実空間の映像にコンピュータグラフィックスによる映像を重ね合わせて現実空間と映像との調和を楽しむことが可能な、現実空間が拡張された拡張現実空間（ＡＲ空間）を提供する技術が提案されている。

【0003】

特許文献１には、端末装置でＡＲマーカを認識することによってＡＲマーカ上にＡＲオブジェクトを表示させ、そのＡＲオブジェクトを複数の視点の位置から撮像することによって、ＡＲオブジェクトが動作しているように描画することができる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－９５６４５公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＡＲオブジェクトを含むモーション情報を生成する場合は、複数のＡＲマーカが付着された物体（例えば人）の動作をカメラ（モーションキャプチャカメラ）で所定期間にわたって撮影して、取得した物体の動作を含む情報に基づいて、ＡＲオブジェクトを含むモーション情報を生成することになる。

【0006】

この場合、ＡＲマーカが付着された物体が動作するスペース（空間）を確保する必要があり、かつ物体の動作を取得するカメラを含めたモーションキャプチャシステムが高価であって導入が容易ではないことから、ＡＲオブジェクトを含むモーション情報の生成には困難が伴うことが懸念される。

【0007】

本発明は、上記事情に鑑みてなされたものであり、仮想オブジェクトに関するモーション情報を簡易に生成することができる情報処理システム、情報処理装置、プログラム及び情報処理方法を提供することを課題とするものである。

【課題を解決するための手段】

【0008】

上記課題を達成するための本発明に係る情報処理システムは、仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、を実行するものである。

【0009】

これによれば、端末装置で識別情報を認識させることで算出される第２位置情報に基づいて、モーション情報を生成することができることから、特殊な環境、設備、装置を確保したり、複雑な操作を行ったりすることなく、モーション情報を簡易に生成することができる。

【0010】

上記課題を達成するための本発明に係る情報処理装置は、前記生成処理において、前記所定期間の中で前記端末装置が前記識別情報を認識できない期間の前記端末装置の動きを、前記端末装置が前記識別情報を認識している期間の情報に基づいて補完する補完処理を実行する、
請求項１または２に記載の情報処理システム。 仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
を実行する制御部を備えるものである。

【0011】

上記課題を達成するための本発明に係るプログラムは、仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータに実行させるものである。

【0012】

上記課題を達成するための本発明に係る情報処理方法は、仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータが実行するものである。

【発明の効果】

【0013】

この発明によれば、仮想オブジェクトに関するモーション情報を簡易に生成することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施の形態に係る情報処理システムの構成の概略を説明するブロック図である。

【図2】同じく、本実施の形態に係る情報処理システムのユーザ端末の構成の概略を説明するブロック図である。

【図3】同じく、本実施の形態に係る情報処理システムのユーザ端末の機能の概略を説明するブロック図である。

【図4】同じく、本実施の形態に係る情報処理システムのユーザ端末の機能における処理の概略を説明するブロック図である。

【図5】同じく、本実施の形態に係る情報処理システムのユーザ端末の機能における処理の概略を説明するブロック図である。

【図6】同じく、本実施の形態に係る情報処理システムのユーザ端末の機能における処理の概略を説明するブロック図である。

【図7】同じく、本実施の形態に係る情報処理システムのサーバの構成の概略を説明するブロック図である。

【図8】同じく、本実施の形態に係る情報処理システムのサーバの機能の概略を説明するブロック図である。

【図9】同じく、本実施の形態に係る情報処理システムの仮想オブジェクト情報の概略を説明する図である。

【図10】同じく、本実施の形態に係る情報処理システムの処理の概略を説明するフローチャートである。

【発明を実施するための形態】

【0015】

次に、図１～図１０に基づいて、本発明の実施の形態に係る情報処理システムについて説明する。

【0016】

図１は、本発明の実施の形態に係る情報処理システムの構成の概略を説明するブロック図である。図示のように、情報処理システム１０は、識別情報であるＡＲマーカＭを認識する端末装置であるユーザ端末２０及び情報処理装置であるサーバ３０を主要構成として備える。

【0017】

この情報処理システム１０は、本実施の形態では、ユーザ端末２０がユーザ１に保有され、サーバ３０が事業者２に配備されて、これらがインターネット網等のネットワークＮを介して互いにアクセス可能に接続される。

【0018】

ＡＲマーカＭは、本実施の形態では、ＡＲオブジェクトＯ（仮想オブジェクト）を端末装置に表示させるための情報（例えば描画情報）が関連付けられた（記憶された）識別情報であって、ユーザ１が保有するユーザ端末２０に認識されると、ＡＲオブジェクトＯがユーザ端末２０に表示される。

【0019】

次に、本実施の形態のゲームシステム１０の各部の具体的な構成について説明する。

【0020】

ユーザ端末２０は、本実施の形態では、携帯型情報端末であるスマートフォンで実装されるが、例えばタブレット型のコンピュータ、デスクトップ型あるいはノート型のコンピュータによって実装されるものであってもよい。

【0021】

図２は、ユーザ端末２０の構成の概略を説明するブロック図である。図示のように、ユーザ端末２０は、制御部２１、カメラ２２、ディスプレイ２３及びセンサ類２４を主要構成として備える。

【0022】

制御部２１は、本実施の形態では、カメラ２２、ディスプレイ２３及びセンサ類２４等のユーザ端末２０の各部を制御するものであって、例えばプロセッサ、メモリ、ストレージ、送受信部等によって構成される。

【0023】

この制御部２１には、本実施の形態では、ユーザ端末２０上で起動する各種のアプリケーションが格納され、本実施の形態では、ＡＲマーカＭを認識して取得した情報を処理するアプリケーションが格納される。

【0024】

カメラ２２は、ユーザ１と対面するディスプレイ２３の反対側（ユーザ端末２０の裏面）に配置され、本実施の形態では、制御部２１に格納されたアプリケーションと協働してＡＲマーカＭを撮影することにより認識するインターフェースとして作動する。カメラ２２は、ユーザ端末２０の表面（ディスプレイ２３が設けられた面）、側面等に設けられてもよい。

【0025】

ディスプレイ２３には、本実施の形態では、ユーザ端末２０で実行されるアプリケーション等の画面インターフェース等が表示されるとともに、ＡＲマーカＭを認識することによってＡＲオブジェクトＯが描画される。

【0026】

このディスプレイ２３は、表示面への接触によって情報の入力を受け付けるいわゆるタッチパネルであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。

【0027】

ディスプレイ２３への情報の入力は、ディスプレイ３２に対するプレイヤ２の任意の動作（例えば画面をタップ、ダブルタップ、ロングタップ、マルチタッチ、ピンチイン、ピンチアウト、スライド、スワイプする動作や、画面に表示されるアイコン等をドラッグしてドロップする動作等）に基づいて入力される。

【0028】

センサ類２４は、本実施の形態では、ジャイロセンサ、加速度センサ、GPS等によって構成され、任意の空間におけるユーザ端末２０の座標位置や角度等を検知する。センサ類２４は、ユーザ端末２０の傾き（水平方向、鉛直方向に対する角度）を検出することができる。

【0029】

図３は、ユーザ端末２０の機能の概略を説明するブロック図である。図示のように、ユーザ端末２０は、本実施の形態では、第１位置情報算出部２０ａ、生成部２０ｂ、第２位置情報算出部２０ｃ及び送受信部２０ｄを備える。

【0030】

これら第１位置情報算出部２０ａ、生成部２０ｂ、第２位置情報算出部２０ｃ及び送受信部２０ｄは、制御部２１のメモリに記憶されたプログラムを制御部２１のプロセッサで実行することによって実現される。

【0031】

図４は、第１位置情報算出部２０ａの処理の概略を説明する図である。図示のように、ユーザ端末２０がカメラ２２を介してＡＲマーカＭを認識すると、第１位置情報算出部２０ａは、ユーザ端末２０を基準としたＡＲマーカＭが配置された空間における座標及び角度を含む位置情報を、第１位置情報Ｄ１として算出する（第１位置情報算出処理）。

【0032】

図５は、生成部２０ｂの処理の概略を説明する図である。生成部２０ｂは、本実施の形態では、第１位置情報算出処理で算出した第１位置情報Ｄ１とＡＲマーカＭに関連づけられた後述するＡＲオブジェクト情報とに基づいて、図示のように、ＡＲマーカＭに応じたＡＲオブジェクトＯをユーザ端末２０のディスプレイ２３に描画する（表示処理）。ディスプレイ２３には、ＡＲマーカＭの真上に位置し、ＡＲマーカＭの向きに応じた向き（例えば、ＡＲマーカの一方側がＡＲオブジェクトの正面となる向き）でＡＲオブジェクトＯが表示される。ユーザがユーザ端末２０を動かすと、ＡＲマーカＭとユーザ端末２０の相対的な位置関係（3次元の位置、方向）が変化し、その変化に応じてディスプレイ２３に表示されるＡＲオブジェクトＯも変化する。すなわち、例えば、ＡＲマーカＭの一方側からユーザ端末２０でＡＲマーカＭを認識すると、ＡＲオブジェクトＯの正面の画像が表示され、ＡＲマーカＭの逆側からユーザ端末２０でＡＲマーカＭを認識すると、ＡＲオブジェクトＯの背面の画像が表示される。なお、ＡＲマーカＭに対するＡＲオブジェクトＯの位置及び向きは基本的に一定であるが、予め記憶されたプログラムに応じて変化してもよい。

【0033】

図６は、第２位置情報算出部２０ｃの処理の概略を説明する図である。図示のように、第２位置情報算出部２０ｃは、表示処理で描画したＡＲオブジェクトＯの描画情報が記憶されたＡＲマーカＭを基準としたユーザ端末２０の空間における座標及び角度を含む位置情報を、第２位置情報Ｄ２として算出する（第２位置情報算出処理）。

【0034】

この第２位置情報算出部２０ｃは、本実施の形態では、第１位置情報算出処理で算出した第１位置情報Ｄ１を座標変換処理によって逆算することで、ＡＲマーカＭを基準とした場合のユーザ端末２０の相対的な座標及び相対的な角度を第２位置情報Ｄ２として算出する。具体的には、例えば、座標変換行列等を用いた公知の座標変換処理によって、ユーザ端末２０のカメラの位置及び向きを原点とする座標系を、ＡＲマーカＭの位置及び向きを基準とする座標系に変換することによって、第２位置情報Ｄ２を算出する。

【0035】

図３で示す送受信部２０ｄは、本実施の形態では、第２位置情報算出処理で算出した第２位置情報Ｄ２等の情報を、サーバ３０に送信する処理を実行する（送信処理）。送受信部２０ｄは、ユーザ端末２０をネットワークＮに接続する。この送受信部２０ｄは、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。なお、本実施の形態では、第１位置情報算出処理、表示処理、第２位置情報算出処理、送信処理を所定期間（例えば、０．１秒、０．５秒ごと等の一定期間）ごとに繰返し連続して行う。また、表示処理と第２位置情報算出処理の前後関係は限定されずどちらが時間的に先でもよく、また、同時でもよい。

【0036】

図１で示すサーバ３０は、本実施の形態では、デスクトップ型あるいはノート型のコンピュータによって実装される。

【0037】

図７は、サーバ３０の構成の概略を説明するブロック図である。図示のように、サーバ３０は、プロセッサ３１、メモリ３２、ストレージ３３、送受信部３４、及び入出力部３５を備え、これらが互いにバス３６を介して電気的に接続される。

【0038】

プロセッサ３１は、サーバ３０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。

【0039】

このプロセッサ３１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するストレージ３３に格納されてメモリ３２に展開されたアプリケーションプログラムを実行して各処理を行う。

【0040】

メモリ３２は、本実施の形態では、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置で実装される。

【0041】

このメモリ３２は、プロセッサ３１の作業領域として使用される一方、サーバ３０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。

【0042】

ストレージ３３は、プログラムや各種の処理に用いられる情報等が格納されている。

【0043】

送受信部３４は、サーバ３０をネットワークＮに接続する。この送受信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

【0044】

入出力部３５は、キーボードやマウス、あるいはディスプレイ等の入出力機器が接続されるインターフェースである。

【0045】

バス３６は、接続したプロセッサ３１、メモリ３２、ストレージ３３、送受信部３４及び入出力部３５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。

【0046】

図８は、サーバ３０の機能の概略を説明するブロック図である。図示のように、サーバ３０は、本実施の形態では、記憶部３０ａ、受信部３０ｂ及び生成部３０ｃを備える。

【0047】

記憶部３０ａは、ストレージ３３の記憶領域が区画されることによって実現される。この記憶部３０ａには、本実施の形態では、第２位置情報Ｄ２、ＡＲオブジェクト情報Ｄ３及びモーション情報Ｄ４が格納される。

【0048】

図９は、ＡＲオブジェクト情報Ｄ３の概略を説明する図である。図示のように、ＡＲオブジェクト情報Ｄ３は、本実施の形態では、ＡＲマーカの識別情報（識別番号等）がそれぞれ割り当てられた複数のＡＲオブジェクトによって構成されるデータベースあるいはライブラリである。ＡＲオブジェクトは、例えば３次元のキャラクタ、アイテム、建物、植物、動物、人物等の任意の対象物の画像であり、ＡＲオブジェクト情報は、３次元モデルデータ情報を含む。ＡＲオブジェクト情報は、静止したオブジェクトに限らず、動作するオブジェクトを含んでもよい。

【0049】

図８で示すモーション情報Ｄ４は、ＡＲオブジェクトＯを含む映像を記録した動画情報とすることができる。モーション情報Ｄ４は、ＡＲマーカを基準とする所定期間のユーザ端末（カメラ）の位置、角度を含むカメラ動作情報を含むようにしてもよい。モーション情報Ｄ４は、本実施の形態では、例えば、スマートフォン、ゲーム端末等のコンピュータで実行されるゲームにおけるキャラクタの映像処理を実現する素材として用いることができる。より具体的に、ゲームにおいてキャラクタを含む映像を生成する際に、ゲーム内の仮想カメラ（視点）の動作情報としてカメラ動作情報を用いることができる。

【0050】

受信部３０ｂ及び生成部３０ｃは、本実施の形態では、メモリ３２に記憶されたプログラムをプロセッサ３１で実行することによって実現される。

【0051】

受信部３０ｂは、本実施の形態では、ユーザ端末２０から送信される第２位置情報Ｄ２を受信する受信処理を実行する。

【0052】

生成部３０ｃは、本実施の形態では、ユーザ端末２０の第２位置情報算出処理で算出した第２位置情報Ｄ２に基づいて、任意のＡＲオブジェクトＯのモーション情報Ｄ４を生成する処理を実行する（生成処理）。

【0053】

この生成処理は、本実施の形態では、ＡＲマーカＭに関連づけられたＡＲオブジェクト情報Ｄ３と所定期間の第２位置情報Ｄ２とを関連づけて記録（録画）したデータを書き出す（適宜、データ形式を変換する）ことによって、ＡＲオブジェクトＯのモーション情報Ｄ４を生成する処理を実行する。

【0054】

次に、本実施の形態の情報処理システム１０の処理の概略について説明する。

【0055】

図１０は、本実施の形態に係る情報処理システム１０の処理の概略を説明するフローチャートである。図示のように、まず、ステップＳ１において、ユーザ１がユーザ端末２０のアプリケーションを起動してカメラ２２を介してＡＲマーカＭを認識させると、ユーザ端末２０を基準としたＡＲマーカＭが配置された空間における第１位置情報Ｄ１を算出する（第１位置情報算出処理）。

【0056】

この第１位置情報Ｄ１は、本実施の形態では、ＡＲマーカＭが配置された空間（現実空間）における座標及び角度を含む位置情報を含むものである。より具体的に、ユーザ端末２０の所定の一点を原点とするユーザ端末座標系上でのＡＲマーカＭの３次元座標、３次元方向（角度）の情報を含む。

【0057】

続くステップＳ２において、第１位置情報算出処理で算出した第１位置情報Ｄ１とＡＲオブジェクト情報Ｄ３とに基づいて、ＡＲマーカＭに対応するＡＲオブジェクトＯ（ＡＲキャラクタ）の画像データを生成し、ユーザ端末２０のディスプレイ２３に表示させる（表示処理）。ディスプレイ２３には、ＡＲマーカＭを含む現実空間にＡＲオブジェクトＯを重畳させたＡＲ画像が表示される。

【0058】

一方、ステップＳ３において、描画処理で描画したＡＲオブジェクトＯの描画情報が記憶されたＡＲマーカＭを基準としたユーザ端末２０の空間における第２位置情報Ｄ２を算出する（第２位置情報算出処理）。

【0059】

この第２位置情報算出部２０ｃは、本実施の形態では、ＡＲマーカＭを基準とした場合のユーザ端末２０の相対的な座標及び相対的な角度を含むものである。第２位置情報算出部２０ｃは、例えばＡＲマーカの中心点を原点とするＡＲマーカ座標系上での、ユーザ端末２０の３次元座標、３次元方向（角度）の情報を含む。

【0060】

第２位置情報Ｄ２を算出した後、ユーザ端末２０は、ステップＳ４において、算出した第２位置情報Ｄ２をサーバ３０に送信する（送信処理）。

【0061】

サーバ３０は、ユーザ端末２０から送信された第２位置情報Ｄ２を受信する（受信処理）と、ステップＳ５において、受信した第２位置情報Ｄ２とＡＲオブジェクト情報Ｄ３とを関連づけて記憶する。また、ステップＳ６において、受信したデータ（記憶したデータ）に基づいて、ＡＲオブジェクトＯに関するモーション情報Ｄ４を生成する（生成処理）。

【0062】

ユーザは、表示処理によってＡＲオブジェクトＯがユーザ端末２０に表示された状態で、任意の所定期間にわたってユーザ端末２０にＡＲマーカＭを認識させる。これにより、サーバ３０は所定期間にわたって第２位置情報算出処理を繰返し実行し、所定期間における第２位置情報が算出され、ＡＲマーカＭを基準とする（ＡＲマーカ座標系上での）ユーザ端末２０の動きに関するモーション情報を生成することができる。ユーザは、所定期間において、ユーザ端末２０をＡＲマーカ、すなわちＡＲオブジェクトに近づけたり、遠ざけたりして相対的な距離を変化させるようにしてもよいし、ＡＲマーカの周囲でユーザ端末２０を移動させて、様々な角度からＡＲマーカ、すなわちＡＲオブジェクトを撮影するようにしてもよい。これによれば、ＡＲマーカに対するユーザ端末の位置、角度の変化に応じてＡＲオブジェクトの表示サイズ（大きさ）や角度が変化するモーション情報が生成される。

【0063】

所定期間は、ユーザ端末２０を使用するユーザから受け付ける開始操作と終了操作の間の期間とすることができる。開始操作は、例えば、表示処理によってＡＲオブジェクトＯがユーザ端末２０に表示された状態で、ユーザがユーザ端末２０に表示される撮影開始アイコンを選択する操作とすることができる。そして、終了操作は、ユーザがユーザ端末２０に表示される撮影終了アイコンを選択する操作とすることができる。あるいは、所定期間は、ユーザがユーザ端末２０に表示される撮影アイコンを継続的に選択（長押し）し続けた期間とすることも可能である。その場合、撮影アイコンを選択開始する（タッチパネルへの接触を開始する）操作が、上記開始操作であり、撮影アイコンから指を離す操作が終了操作となる。

【0064】

生成されたモーション情報Ｄ４は、例えば、ゲームやアニメーション映画等の映像表現におけるキャラクタの映像処理等を実現する素材として用いることができる。

【0065】

このように、ユーザ端末２０でＡＲマーカＭを認識することを起因として算出される第２位置情報Ｄ２に基づいて、ＡＲオブジェクトＯのモーション情報Ｄ４を生成することができることから、特殊な設備を確保したり特殊な装置を導入したりすることなく、モーション情報Ｄ４を簡易に生成することができる。

【0066】

なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。

【0067】

上記実施の形態では、ユーザ端末２０及びサーバ３０に格納されたプログラムが、ＡＲオブジェクトに関する情報処理を実行する場合を説明したが、ユーザ端末２０とサーバ３０とで処理を分散させないでユーザ端末２０でＡＲオブジェクトに関する情報処理を実行するように構成してもよい。また、上記説明において、ユーザ端末２０で実行する情報処理の少なくとも一部をサーバ３０で実行してもよいし、サーバ３０で実行する情報処理の一部をユーザ端末２０で実行してもよい。

【0068】

また、本実施形態にあっては、ユーザ端末２０の傾きを検出可能なセンサ（センサ類２４）から取得するセンサ情報に基づいて、ＡＲマーカの傾き情報を算出する傾き情報算出処理を実行するようにしてもよい。その場合、生成処理においてモーション情報を生成する際に、傾き情報に基づいてＡＲオブジェクト及び仮想カメラの少なくとも何れかの傾きを補正する傾き補正処理を実行するようにしてもよい。これによれば、ＡＲマーカが水平面に対して傾斜した斜めの面に置かれていたとしても、水平面に置かれた場合と同じモーションデータを生成することができる。その結果、ＡＲマーカ上に表示されるＡＲオブジェクトが傾いて表示されることを抑制することができる。ＡＲマーカの傾き情報を算出する際には、ユーザ端末２０の水平方向（又は鉛直方向）に対する傾きと、ユーザ端末に対するＡＲマーカの相対的な角度の情報に基づいて、ＡＲマーカの水平方向（又は鉛直方向）に対する傾きを算出することができる。

【0069】

また、本実施形態にあっては、生成処理において、所定期間の中でユーザ端末２０がＡＲマーカを認識できない期間の端末装置の動きを、端末装置が識別情報を認識している期間の情報に基づいて補完する補完処理を実行するようにしてもよい。例えば、所定期間のうち、ＡＲマーカを認識できない期間の直前の端末装置の位置と、ＡＲマーカを認識できない期間の直後の端末装置の位置とを線で結ぶ（連続させる）処理により、ＡＲマーカを認識できない期間のモーション情報を補完することができる。これによれば、所定期間の中で一時的にＡＲマーカを認識できない期間があっても、モーション情報を生成することができる。

【0070】

本発明は、以下の構成を備える。
（項目１）
仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
を実行する情報処理システム。
（項目２）
前記第２位置情報算出処理は、
前記第１位置情報算出処理で算出した前記第１位置情報を座標変換処理することによって前記第２位置情報を算出する、
項目１に記載の情報処理システム。
（項目３）
前記所定期間は、前記端末装置を使用するユーザから受け付ける開始操作と終了操作の間の期間である、
前記識別情報に記憶された前記描画情報と関連づけられた前記仮想オブジェクトとしてのＡＲオブジェクトに関するＡＲオブジェクト情報と前記第２位置情報とに基づいて前記モーション情報を生成する、
項目１または２に記載の情報処理システム。
（項目４）
前記識別情報は、
前記仮想オブジェクトとしてのＡＲオブジェクトの情報が関連付けられたＡＲマーカである、
項目１または２に記載の情報処理システム。
（項目５）
前記端末装置の傾きを検出可能なセンサから取得するセンサ情報に基づいて、前記識別情報の傾き情報を算出する傾き情報算出処理と、
前記生成処理において前記モーション情報を生成する際に、前記傾き情報に基づいて傾きを補正する傾き補正処理と、を実行する、
項目１または２に記載の情報処理システム。
（項目６）
前記生成処理において、前記所定期間の中で前記端末装置が前記識別情報を認識できない期間の前記端末装置の動きを、前記端末装置が前記識別情報を認識している期間の情報に基づいて補完する補完処理を実行する、
項目１または２に記載の情報処理システム。
（項目７）
仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
を実行する制御部を備える情報処理装置。
（項目８）
仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータに実行させる、プログラム。
（項目９）
仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、
該第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、
該表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、
前記仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、
をコンピュータが実行する、情報処理方法。

【符号の説明】

【0071】

１ ユーザ
２ 事業者
１０ 情報処理システム
２０ ユーザ端末（端末装置）
３０ サーバ（情報処理装置）

【要約】

【課題】ＡＲオブジェクトのモーション情報を簡易に生成することができる情報処理システム、情報処理装置、プログラム及び情報処理方法を提供する。
【解決手段】仮想オブジェクトを端末装置に表示させるための情報が関連付けられた識別情報を前記端末装置が認識することにより前記端末装置を基準とした前記識別情報の座標及び角度を含む第１位置情報を算出する第１位置情報算出処理と、第１位置情報算出処理で算出した前記第１位置情報に基づいて前記識別情報に対応する前記仮想オブジェクトを前記端末装置に表示させる表示処理と、表示処理で表示した前記仮想オブジェクトが関連付けられた前記識別情報を基準とした前記端末装置の座標及び角度を含む第２位置情報を算出する第２位置情報算出処理と、仮想オブジェクトが表示された状態で所定期間にわたって前記端末装置に前記識別情報を認識させることにより得られる、前記所定期間における前記第２位置情報に基づいて、前記仮想オブジェクトに関するモーション情報を生成する生成処理と、を実行する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】