特許 7209474 情報処理プログラム、情報処理方法及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-12

(45)【発行日】2023-01-20

(54)【発明の名称】情報処理プログラム、情報処理方法及び情報処理システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230113BHJP

   G09G 5/00 20060101ALI20230113BHJP

   G09G 5/36 20060101ALI20230113BHJP

   G09G 5/377 20060101ALI20230113BHJP

   G09G 5/393 20060101ALI20230113BHJP

   G06F 3/0481 20220101ALI20230113BHJP

【ＦＩ】

G06T19/00 600

G09G5/00 510V

G09G5/00 555D

G09G5/36 510C

G09G5/36 520M

G09G5/36 510V

G09G5/36 530E

G06F3/0481

【請求項の数】 5

(21)【出願番号】P 2018068055

(22)【出願日】2018-03-30

(65)【公開番号】P2019179382

(43)【公開日】2019-10-17

【審査請求日】2021-03-17

(73)【特許権者】

【識別番号】308033283

【氏名又は名称】株式会社スクウェア・エニックス

(74)【代理人】

【識別番号】100188662

【弁理士】

【氏名又は名称】浅見 浩二

(72)【発明者】

【氏名】ドリアンクール レミ

【審査官】山口 大志

(56)【参考文献】

【文献】特表２０１３－５３８３７７（ＪＰ，Ａ）

【文献】特開２０１２－１６８７９８（ＪＰ，Ａ）

【文献】特表２０１６－５１１８５０（ＪＰ，Ａ）

【文献】特開２０１２－１６８６４６（ＪＰ，Ａ）

【文献】特開２００６－０９１３９０（ＪＰ，Ａ）

【文献】特開２０１１－０８１５５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０２６３１５４（ＵＳ，Ａ１）

【文献】特開２０１１－２２７６４４（ＪＰ，Ａ）

【文献】特開２０１７－０８４１００（ＪＰ，Ａ）

【文献】特開２０１３－１６４６９６（ＪＰ，Ａ）

【文献】特開２０１１－１５９１６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／３９３

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを複数のユーザそれぞれの端末装置のディスプレイに対して表示させる機能をサーバ装置に実現させるためのビデオゲーム処理プログラムであって、
前記サーバ装置に、
前記端末装置の位置情報を取得する端末位置情報取得機能と、
前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得機能と、
予め記憶手段に記憶された端末装置周辺の現実空間に関する３次元モデル情報と、前記位置情報とに基づいて、前記撮影画像データに含まれるオブジェクトであって前記３次元モデル情報と対応しているオブジェクトを対象オブジェクトとして特定する対象オブジェクト特定機能と、
ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報及び前記描画処理の入力位置の情報を取得し、前記撮影画像データと前記描画処理の入力位置との関係性から、前記描画処理が前記３次元モデル情報の何れの面の何れの位置に対する入力であるかを特定して前記描画情報に含ませて記憶させる描画情報取得機能と、
前記描画情報の付された対象オブジェクトを撮影する少なくとも１以上の端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力機能と、
現実空間に対応した前記３次元モデル情報を記憶済みのＡＲ空間のうちの所定範囲を、前記複数のユーザが描画可能な範囲としてのフィールドとして設定するフィールド設定機能とを
実現させるためのビデオゲーム処理プログラム。

【請求項2】

前記サーバ装置に、
複数のユーザを複数のグループに分類するグループ分類機能と、
所定の終了条件が満たされた時点での前記グループ毎の描画面積を集計する集計機能とを
実現させるための請求項１記載のビデオゲーム処理プログラム。

【請求項3】

前記描画情報取得機能は、前記描画処理の一手法として、前記ＡＲ空間に対する前記ユーザによるアイテムの配置、前記ＡＲ空間からの前記ユーザによる前記アイテムの取得を実行可能とすることで、前記複数のユーザ間での前記アイテムの共有を可能とする
請求項１記載のビデオゲーム処理プログラム。

【請求項4】

端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを複数のユーザそれぞれの端末装置のディスプレイに対して表示させる処理をサーバ装置に実現させるためのビデオゲーム処理方法であって、
前記端末装置の位置情報を取得する端末位置情報取得手順と、
前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得手順と、
予め記憶手段に記憶された端末装置周辺の現実空間に関する３次元モデル情報と、前記位置情報とに基づいて、前記撮影画像データに含まれるオブジェクトであって前記３次元モデル情報と対応しているオブジェクトを対象オブジェクトとして特定する対象オブジェクト特定手順と、
ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報及び前記描画処理の入力位置の情報を取得し、前記撮影画像データと前記描画処理の入力位置との関係性から、前記描画処理が前記３次元モデル情報の何れの面の何れの位置に対する入力であるかを特定して前記描画情報に含ませる描画情報取得手順と、
前記描画情報の付された対象オブジェクトを撮影する少なくとも１以上の端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力手順と、
現実空間に対応した前記３次元モデル情報を記憶済みのＡＲ空間のうちの所定範囲を、前記複数のユーザが描画可能な範囲としてのフィールドとして設定するフィールド設定手順と
を含むビデオゲーム処理方法。

【請求項5】

通信ネットワークと、サーバ装置と、少なくとも１以上の端末装置とを備え、端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを複数のユーザそれぞれの端末装置のディスプレイに対して表示させる機能を制御するビデオゲーム処理システムであって、
前記端末装置の位置情報を取得する端末位置情報取得手段と、
前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得手段と、
予め記憶手段に記憶された端末装置周辺の現実空間に関する３次元モデル情報と、前記位置情報とに基づいて、前記撮影画像データに含まれるオブジェクトであって前記３次元モデル情報と対応しているオブジェクトを対象オブジェクトとして特定する対象オブジェクト特定手段と、
ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報及び前記描画処理の入力位置の情報を取得し、前記撮影画像データと前記描画処理の入力位置との関係性から、前記描画処理が前記３次元モデル情報の何れの面の何れの位置に対する入力であるかを特定して前記描画情報に含ませて前記サーバ装置に記憶させる描画情報取得手段と、
前記描画情報の付された対象オブジェクトを撮影する少なくとも１以上の端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力手段と、
現実空間に対応した前記３次元モデル情報を記憶済みのＡＲ空間のうちの所定範囲を、前記複数のユーザが描画可能な範囲としてのフィールドとして設定するフィールド設定手段と
を含むビデオゲーム処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態の少なくとも１つは、現実世界において固定的に配置された実在のオブジェクトに対する仮想的処理を拡張現実技術によって複数のユーザで共有するための情報処理プログラム、情報処理方法及び情報処理システムに関する。

【背景技術】

【0002】

近年、拡張現実（ＡＲ：Augumented Reality）技術が提供され始めている。拡張現実は、現実空間の画像に対して平面や立体のオブジェクトを重畳表示することで現実空間に仮想オブジェクトを表示する技術である。

【0003】

また、拡張現実技術によって表示させるオブジェクトを複数のユーザで共有する技術も提案されている。複数のユーザで仮想的なオブジェクトを共有するものとしては、例えば、特許文献１が挙げられる。この特許文献１には、複数のユーザで共有したいオブジェクトについて共有ユーザの全員に見えやすい適切な位置を決定するための技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－２０３１７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の情報処理装置は、複数のユーザの全員が見やすい位置に仮想的なオブジェクトを配置することを特徴とするものであるが、現実世界において固定的に配置された実在のオブジェクトに対する仮想的処理を複数のユーザで共有する技術については開示されていない。

【0006】

本発明の少なくとも１つの実施形態の目的は、現実世界において固定的に配置された実在のオブジェクトに対する仮想的処理を拡張現実技術によって複数のユーザで共有するための情報処理プログラム、情報処理方法及び情報処理システムを提供することである。

【課題を解決するための手段】

【0007】

非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを少なくとも１以上の端末装置のディスプレイに対して表示させる機能をサーバ装置に実現させるための情報処理プログラムであって、前記サーバ装置に、前記端末装置の位置情報を取得する端末位置情報取得機能と、前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得機能と、前記撮影画像データに含まれる対象オブジェクトを特定する対象オブジェクト特定機能と、ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報を取得する描画情報取得機能と、前記描画情報の付された対象オブジェクトを撮影する端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力機能とを実現させることを特徴とする。

【0008】

非限定的な観点によると、本発明の一実施形態に係る情報処理方法は、端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを少なくとも１以上の端末装置のディスプレイに対して表示させるための情報処理方法であって、前記端末装置の位置情報を取得する端末位置情報取得手順と、前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得手順と、前記撮影画像データに含まれる対象オブジェクトを特定する対象オブジェクト特定手順と、ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報を取得する描画情報取得手順と、前記描画情報の付された対象オブジェクトを撮影する端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力手順とを含むことを特徴とする。

【0009】

非限定的な観点によると、本発明の一実施形態に係る情報処理システムは、通信ネットワークと、サーバ装置と、少なくとも１以上の端末装置とを備え、端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを少なくとも１以上の端末装置のディスプレイに対して表示させる機能を制御する情報処理システムであって、前記端末装置の位置情報を取得する端末位置情報取得手段と、前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得手段と、前記撮影画像データに含まれる対象オブジェクトを特定する対象オブジェクト特定手段と、ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報を取得する描画情報取得手段と、前記描画情報の付された対象オブジェクトを撮影する端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力手段とをとを含むことを特徴とする。

【発明の効果】

【0010】

本願の各実施形態により１または２以上の不足が解決される。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態の少なくとも一つに対応する情報処理システムの構成の例を示すブロック図である。

【図2】本発明の実施形態の少なくとも一つに対応するサーバ装置の構成を示すブロック図である。

【図3】本発明の実施形態の少なくとも一つに対応する情報処理システムを利用した複数ユーザによるＡＲ空間の共有の概念を表した説明図である。

【図4】本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。

【図5】本発明の実施形態の少なくとも一つに対応する情報処理におけるサーバ装置側の動作の例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

【0013】

［第１の実施形態］
図１は、本発明の一実施の形態における情報処理システム１００の構成の例を示すブロック図である。図１に示すように、情報処理システム１００は、サーバ装置１０と、情報処理システムのユーザが使用する端末装置２０１～２０ｎ（ｎは任意の整数）とを含む。なお、情報処理システム１００の構成はこれに限定されず、単一の端末装置を複数のユーザが使用する構成としてもよいし、複数のサーバ装置を備える構成としてもよい。

【0014】

サーバ装置１０と複数の端末装置２０１～２０ｎは、それぞれインターネットなどの通信ネットワーク３０に接続されている。なお、図示しないが、複数の端末装置２０１～２０ｎは、例えば、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク３０と接続する。

【0015】

情報処理システム１００は、サーバ装置１０と複数の端末装置２０１～２０ｎとを備えることにより、ユーザの操作に応じて各種処理を実行するための各種機能を実現する。

【0016】

サーバ装置１０は、情報処理システム１００の管理者によって管理され、複数の端末装置２０１～２０ｎに対して各種処理に関する情報を提供するための各種機能を有する。本例において、サーバ装置１０は、ＷＷＷサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。なお、サーバ装置１０は、制御部や通信部などコンピュータとして各種処理を行うための一般的な構成を備えるが、ここでの説明は省略する。また、情報処理システム１００においては、複数の端末装置２０１～２０ｎそれぞれにかかる処理負荷を軽減させるといった観点から、各種情報はサーバ装置１０が管理することが好ましい。ただし、各種情報を記憶する記憶部は、サーバ装置１０がアクセス可能な状態で記憶領域を備えていればよく、例えば専用の記憶領域をサーバ装置１０の外部に有する構成とされていてもよい。

【0017】

複数の端末装置２０１～２０ｎは、それぞれ、ユーザによって管理され、例えば携帯電話端末やＰＤＡ（Personal Digital Assistants）などの通信端末が挙げられ、ユーザが動画及び／又は静止画の撮影を行うためのカメラ装置を搭載しており、かつ、撮影画像データ等を表示するためのディスプレイを備えた構成である必要がある。端末装置の構成の他の例には、スマートウォッチなどの所謂ウェアラブルデバイスや、ウェアラブルデバイスと通信端末等との組み合わせがある。また、カメラ装置は、光学式カメラの他、３次元カメラ装置を併用するものであってもよい。また、端末装置２０１～２０ｎは、描画情報を入力するためのマウス、タッチパネル、タッチペン等の入力手段を備えている。

【0018】

また、複数の端末装置２０１～２０ｎは、それぞれ、通信ネットワーク３０に接続し、サーバ装置１０との通信を行うことにより各種処理を実行するためのハードウェアおよびソフトウェアを備える。なお、複数の端末装置２０１～２０ｎそれぞれは、サーバ装置１０を介さずに互いに直接通信を行うこともできる構成とされていてもよい。

【0019】

情報処理を行う過程においては、サーバ装置１０は適宜端末装置２０１～２０ｎに対して処理過程を送信するものとし、端末装置２０１～２０ｎ側では、受信した処理過程の内容に基づいた画面内容を表示装置の表示画面に表示させるものとする。画面内容の生成は、サーバ装置１０側で行ってもよいし、端末装置２０１～２０ｎ側で行ってもよい。

【0020】

図２は、サーバ装置１０の構成を示すブロック図である。図２に示すように、サーバ装置１０は、端末位置情報取得部１１と、撮影画像データ取得部１２と、対象オブジェクト特定部１３と、描画情報取得部１４と、描画情報重畳表示処理部１５と、記憶部１６とを少なくとも備える。

【0021】

端末位置情報取得部１１は、端末装置２０の位置情報を取得する機能を有する。位置情報を取得する手段はどのようなものであってもよい。例えば、ＧＰＳ信号を用いた位置情報の取得、複数のビーコン発信機からの無線信号の受信強度情報に基づく位置情報の取得などが挙げられる。端末装置２０において得た位置情報は、サーバ装置１０に送信され、この端末位置情報取得部１１において取得される。また、端末装置２０によって撮影された映像や画像に映っている対象オブジェクトや位置情報取得のために予め設置した特殊マーカーから端末装置２０の位置情報を取得するものであってもよい。対象オブジェクトや特殊マーカーがユニークであれば、その撮影角度や距離から端末装置２０の位置情報を取得することが可能となる。この場合には、端末装置２０で撮影した撮影画像データをサーバ装置１０で取得して、サーバ装置１０において端末装置２０の位置情報を特定するものであってもよい。

【0022】

撮影画像データ取得部１２は、端末装置２０で撮影された撮影画像データを取得する機能を有する。ＡＲ空間を共有しようとするユーザは、自身の端末装置２０に備えられたカメラ装置によって撮影を行い、その撮影画像データをサーバ装置１０に送信し、サーバ装置１０では端末装置２０からの撮影画像データを取得する。この撮影画像データは、静止画であってもよいし、動画であってもよい。また、端末装置２０に電子コンパス機能が備えられている場合には、サーバ装置１０において撮影方向の情報を併せて取得するようにしてもよい。加えて、端末装置２０にジャイロセンサ等の機能が備えられている場合には、サーバ装置１０において撮影角度の情報を併せて取得するようにしてもよい。これらの撮影方向の情報や撮影角度の情報を併せて取得することによって、後述する対象オブジェクト特定部１３における対象オブジェクトの特定処理が容易になる。

【0023】

対象オブジェクト特定部１３は、撮影画像データに含まれる対象オブジェクトを特定する機能を有する。ここで、対象オブジェクトとは、ユーザによる描画処理を受付可能なオブジェクトのことをいう。屋外においては、ビル等の建造物を一つの対象オブジェクトとする場合が考えられるし、屋内においては、窓ガラス、家具、ドアなど屋内に存在する要素を一つの対象オブジェクトとする場合が考えられる。ここで、サーバ装置１０は、端末装置周辺の現実空間に関する３次元モデル情報を予め記憶部１６に記憶させている。３次元モデル情報は、例えば、３次元ＣＡＤやＢＩＭ（Building Information Modeling）によって構築されているモデルである。すなわち、この対象オブジェクト特定部１３では、撮影画像データに含まれる対象オブジェクトが、３次元モデル情報におけるどのオブジェクトと対応するかを特定する。対象オブジェクトの特定方法はどのようなものであってもよい。例えば、撮影画像データに対して画像処理を適用して画像に含まれる対象オブジェクトを特定する手法が考えられる。画像処理の結果得られた特徴箇所を３次元モデル情報と照合することで対象オブジェクトを特定するものであってもよい。また、撮影画像データ取得部１２において、撮影画像データとともに撮影方向の情報や撮影角度の情報を併せて取得している場合には、端末装置２０の位置情報とともに、これらの撮影方向の情報や撮影角度の情報を用いることで、撮影画像データに含まれる対象オブジェクトの候補を絞り込むことができる。対象オブジェクトとして設定している対象物が疎らにしか存在しない場合には、端末位置情報、撮影方向の情報、撮影角度の情報によって、対象オブジェクトを一意に決定することができる場合もあり得る。対象オブジェクト特定部１３において対象オブジェクトを特定した場合には、撮影を行った端末装置２０に対して、特定した対象オブジェクトの情報を通知する。このとき、撮影画像データに重畳させる対象オブジェクトに関する３次元モデル情報を併せて送信する。

【0024】

描画情報取得部１４は、ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報を取得する機能を有する。ここで、ユーザによる描画処理とは、ＡＲ空間におけるオブジェクトの外観に視覚的な変化を生じさせる処理全般をいう。例えば、対象オブジェクトに対して、色を塗る行為、絵を描く行為、予め作成して登録しておいたイラストやスタンプ等を貼り付ける行為、仮想的物体を貼付、設置、配置等する行為などが一例として考えられる。これらのユーザによる描画処理を、例えば、撮影画像データを映した端末装置２０のディスプレイに対してマウス、タッチパネル等の入力デバイスによってユーザが操作することで描画処理を実行する。このときの描画処理の入力内容が、対象オブジェクトに関する３次元モデル情報の何れの箇所に対する入力であるかを把握する必要がある。このようにして入力された描画処理の入力内容を描画情報という。描画情報には、３次元モデル情報の何れの箇所に対する入力であるかの情報も含まれているものとする。なお、描画処理の入力が３次元モデル情報の何れの箇所に対する入力であるかの特定は、サーバ装置１０の描画情報取得部１４で描画情報を取得した後に行う手法であってもよい。この場合には、撮影画像データと描画情報の入力位置との関係性から３次元モデル情報の何れの箇所に対する入力であるかを特定するようにする。このようにして得られた描画情報は、３次元モデル情報と関連付けて記憶部１６において記憶される。

【0025】

重畳情報出力部１５は、描画情報の付された対象オブジェクトを撮影する端末装置２０に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する機能を有する。端末装置２０によって撮影されている撮影画像データには端末の現在位置の方向から対象オブジェクトを撮影した状態が映されており、その撮影角度の際に撮影画像データに映る描画情報を少なくとも端末装置２０に対して出力する必要がある。このとき端末装置２０に出力される描画情報は、当該端末装置２０を扱うユーザによって描画された描画情報のみならず、他の端末装置２０を扱うユーザによって描画された描画情報も含まれる。

【0026】

記憶部１６は、各部の処理に必要な各種データや、各部における処理の結果として得られたデータを記憶させる機能を有する。具体的には、現実空間に関する３次元モデル情報を予めこの記憶部１６に記憶させている。また、描画情報取得部１４で取得した描画情報は、３次元モデル情報と関連付けてこの記憶部１６において記憶される。

【0027】

図３は、本例の情報処理システム１００を利用した複数ユーザによるＡＲ空間の共有の概念を表した説明図である。この図３において、ユーザＡが右斜め前方に位置する対象オブジェクトの一例としてのビルを情報処理システム１００で共有する対象と定めたとする。その際、ユーザＡは、先ず、端末装置２０１において本例の情報処理システム１００を利用するためのソフトウェアを起動させる必要がある。ソフトウェアを起動させると、端末装置２０１の位置情報取得手段に基づいて端末の位置情報を取得して、サーバ装置１０に端末装置２０１の位置情報を送信する。次に、ユーザＡが右斜め前方に位置する対象オブジェクトの一例としてのビルを自身が所持する端末装置２０１の備えるカメラ装置で撮影を行って撮影画像データを得ると、この撮影画像データがサーバ装置１０に送信される。その際、端末位置からの撮影方向の情報、撮影角度の情報も併せて送信することが好ましい。サーバ装置１０では、得られた撮影画像データを含む各種情報に基づいて撮影画像データに含まれる対象オブジェクトを特定する。その際、予め作成して記憶させてある３次元モデル情報の何れのオブジェクトに該当するかの特定を行う。対象オブジェクトを特定した場合には、サーバ装置１０は、端末装置２０１に対して撮影画像データに含まれるビルが対象オブジェクトである旨を通知する。通知を受信した端末装置２０１では、例えば、タッチパネル式のディスプレイに表示された撮影画像データの上からタッチペン等を用いた描画処理を受付ける。例えば、ユーザＡが概略直方体形状のビルの一つの側面に白い星印を描画し、他の側面に黒の星印を描画したとする。これらの描画情報は、サーバ装置１０に送信され、サーバ装置１０において、当該ビルに関する３次元モデル情報と関連付けて登録されて記憶される。

【0028】

次に、図３において、ユーザＢが左斜め前方に位置する対象オブジェクトの一例としてのビルを情報処理システム１００で共有する対象と定めたとする。その際、ユーザＢは、先ず、端末装置２０２において本例の情報処理システム１００を利用するためのソフトウェアを起動させる必要がある。ソフトウェアを起動させると、端末装置２０２の位置情報取得手段に基づいて端末の位置情報を取得して、サーバ装置１０に端末装置２０２の位置情報を送信する。次に、ユーザＢが左斜め前方に位置するビル（ユーザＡが描画処理を行ったビル）を自身が所持する端末装置２０２の備えるカメラ装置で撮影を行って撮影画像データを得ると、この撮影画像データがサーバ装置１０に送信される。その際、端末位置からの撮影方向の情報、撮影角度の情報も併せて送信することが好ましい。サーバ装置１０では、撮影画像データに含まれる対象オブジェクトを特定する。対象オブジェクトを特定した場合には、サーバ装置１０は、端末装置２０２に対して撮影画像データに含まれるビルが対象オブジェクトである旨を通知する。そして、その対象オブジェクトに対して既に描画情報が登録されている場合には、端末装置２０２のディスプレイに表示された撮影画像データに対して登録されている描画情報を重畳表示させる。図３の例では、ビルの側面に描画された白い星印が重畳表示されている一方で、黒い星印は端末装置２０２の位置からは見えない側面であるため表示されていない。このように重畳表示を行った状態において、端末装置２０２では、例えば、タッチパネル式のディスプレイに表示された撮影画像データの上からタッチペン等を用いた描画処理を受付ける。

【0029】

次に、本例の情報処理システム１００において行われる情報処理の流れについて説明を行う。図４は、情報処理システム１００が実行する情報処理の例を示すフローチャートである。以下、サーバ装置１０と端末装置２０１と端末装置２０２とが、情報処理を実行する場合を例にして説明する。

【0030】

図４に示すように、情報処理は、先ず、端末装置２０１がサーバ装置１０に対して端末位置情報を送信することで開始される（ステップＳ１１）。例えば、端末装置２０１において本例の情報処理システム１００を利用するためのソフトウェアを起動させたことをトリガーとして位置情報の取得が行われてサーバ装置１０に対して位置情報の送信が実行される。サーバ装置１０は、端末装置２０１からの端末位置情報を受信する（ステップＳ１２）。続いて、端末装置２０１の備えるカメラ装置で撮影が行われて撮影画像データが得られると、この撮影画像データがサーバ装置１０に送信される。（ステップＳ１３）。このとき、端末位置からの撮影方向の情報、撮影角度の情報も併せて送信するようにしてもよい。サーバ装置１０は、端末装置２０１からの撮影画像データを受信する（ステップＳ１４）。サーバ装置１０では、受信した撮影画像データに対象オブジェクトが存在するか否かを判定し、存在する場合にはその対象オブジェクトを特定する（ステップＳ１５）。対象オブジェクトの特定は、撮影画像データに映っているオブジェクトが３次元モデル情報の何れのオブジェクトに該当するかの特定によって行われる。対象オブジェクトの特定が行われると、サーバ装置１０から端末装置２０１に対して、対象オブジェクトの通知が行われる（ステップＳ１６）。このとき、対象オブジェクトに関する３次元モデル情報も併せて端末装置２０１に送信するようにしてもよい。端末装置２０１は、サーバ装置１０からの対象オブジェクトの通知を受信後に、ユーザからの描画処理の入力を受付け、描画情報をサーバ装置１０に送信する（ステップＳ１７）。このとき、３次元モデル情報の何れの箇所に描画処理の入力がなされたかの情報も併せて送信するようにしてもよい。サーバ装置１０は、端末装置２０１からの描画情報を受信して３次元モデル情報と関連付けて登録する（ステップＳ１８）。端末装置２０１では、ディスプレイに対して撮影画像データに描画情報を重畳させた画像データを表示させる（ステップＳ１９）。

【0031】

次に、端末装置２０１とは異なる端末装置２０２において本例の情報処理システム１００を利用するためのソフトウェアを起動させたことをトリガーとして位置情報の取得が行われて、端末装置２０２からサーバ装置１０に対して位置情報を送信する（ステップＳ２０）。サーバ装置１０は、端末装置２０２からの端末位置情報を受信する（ステップＳ２１）。続いて、端末装置２０２の備えるカメラ装置で撮影が行われて撮影画像データが得られると、この撮影画像データがサーバ装置１０に送信される。（ステップＳ２２）。このとき、端末位置からの撮影方向の情報、撮影角度の情報も併せて送信するようにしてもよい。サーバ装置１０は、端末装置２０２からの撮影画像データを受信する（ステップＳ２３）。サーバ装置１０では、受信した撮影画像データに対象オブジェクトが存在するか否かを判定し、存在する場合にはその対象オブジェクトを特定する（ステップＳ２４）。対象オブジェクトの特定は、撮影画像データに映っているオブジェクトが３次元モデル情報の何れのオブジェクトに該当するかの特定によって行われる。対象オブジェクトの特定が行われると、サーバ装置１０から端末装置２０２に対して、対象オブジェクトの通知と、当該対象オブジェクトに対して既に描画情報が登録されている場合にはその描画情報の送信が行われる（ステップＳ２５）。このとき、対象オブジェクトに関する３次元モデル情報も併せて端末装置２０１に送信するようにしてもよい。端末装置２０２は、サーバ装置１０からの対象オブジェクトの通知及び描画情報の受信後に、ディスプレイに対して撮影画像データに描画情報を重畳させた画像データを表示させる（ステップＳ２６）。この後、ユーザからの描画処理の入力の受付に移行することも可能であるが、図４においては、端末装置２０２のディスプレイに対して撮影画像データに描画情報を重畳させた画像データを表示させた時点で処理を終了している。

【0032】

図５は、情報処理におけるサーバ装置１０側の動作の例を示すフローチャートである。ここでは、情報処理システム１００におけるサーバ装置１０の動作について説明する。

【0033】

サーバ装置１０は、端末装置２０からの端末位置情報を取得することで処理が開始される（ステップＳ１０１）。次に、サーバ装置１０は、端末装置２０の備えるカメラ装置で撮影された撮影画像データを取得する（ステップＳ１０２）。このとき、端末位置からの撮影方向の情報、撮影角度の情報も併せて取得するようにしてもよい。サーバ装置１０は、取得した撮影画像データに対象オブジェクトが存在するか否かを判定し、存在する場合にはその対象オブジェクトを特定する（ステップＳ１０３）。対象オブジェクトの特定は、撮影画像データに映っているオブジェクトが３次元モデル情報の何れのオブジェクトに該当するかの特定によって行われる。対象オブジェクトの特定が行われると、サーバ装置１０から端末装置２０に対して、対象オブジェクトの通知が行われ、端末装置２０において、ユーザからの描画処理の入力が受付けられる。なお、特定した対象オブジェクトに対して描画情報が関連付けて登録されていた場合には、サーバ装置１０から端末装置２０に対して当該描画情報も併せて送信し、端末装置２０において撮影画像データに含まれる対象オブジェクトに重畳表示するようにする。サーバ装置１０は、端末装置２０からの描画情報を取得して３次元モデル情報と関連付けて登録する（ステップＳ１０４）。サーバ装置１０は、端末装置２０のディスプレイに表示される撮影画像データに対して重畳表示するための描画情報を重畳情報として出力して（ステップＳ１０５）、処理を終了する。

【0034】

以上のように、本例の情報処理システム１００によれば、端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを少なくとも１以上の端末装置のディスプレイに対して表示させるために、端末装置の位置情報を取得し、端末装置で撮影された撮影画像データを取得し、撮影画像データに含まれる対象オブジェクトを特定し、ユーザによる対象オブジェクトに対する描画処理の内容を表した描画情報を取得し、描画情報の付された対象オブジェクトを撮影する端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに描画情報を重畳させて表示するための重畳情報を出力するようにしたので、現実世界において固定的に配置された実在のオブジェクトに対する描画処理等の仮想的処理を拡張現実技術によって複数のユーザで共有することが可能となる。

【0035】

第１の実施の形態における情報処理システム１００によれば、複数の端末装置２０１～２０ｎにおいて現実世界において固定的に配置された実在のオブジェクトに対する描画処理等の仮想的処理を拡張現実技術によって複数のユーザで共有する情報処理について説明をおこなったが、第１の実施の形態における情報処理システム１００をビデオゲームに適用することも可能である。

【0036】

例えば、屋外の路地における１ブロックの範囲内、体育館の中の範囲など、所定範囲をビデオゲームのフィールドとして設定した上で、複数のユーザを複数のグループに分類し、各グループの色を決定し、各ユーザは自身の所属するグループの色を用いて所定範囲内に含まれる対象オブジェクトに対して彩色を施す描画処理を実行し、予め定めた時間等の終了条件が満たされた時点での彩色面積をグループ毎に集計して、最も彩色面積の大きかったグループの勝利とするビデオゲームが考えられる。このようなビデオゲームは、ＡＲ空間での各ユーザの描画処理を複数のユーザで共有しながらビデオゲームを進行する制御を実行することで、現実世界において固定的に配置された実在のオブジェクトに対する着色等の描画処理を拡張現実技術によって複数のユーザで共有するビデオゲームを実現することが可能となる。

【0037】

また、他のビデオゲームの一例としては、ビルの壁面などの実在のオブジェクトに対して複数のユーザが協力して絵を描くビデオゲームが考えられる。その場合、複数のユーザにはそれぞれ異なる色が設定されたパレットが割り振られたり、異なる筆の太さが割り振られたりなど、異なる条件のユーザが複数人で絵を完成させることを目標とする。それらの完成した絵をＡＲ空間に所定期間描画した状態として、複数のユーザからの評価を得られるようにしてもよい。

【0038】

また、他のビデオゲームの一例としては、描画処理の一手法として、ＡＲ空間にユーザがアイテムを配置したり、ＡＲ空間からアイテムを取得したりする機能を本例の情報処理システム１００によって実現することで、複数のユーザがＡＲ空間を介してアイテムの交換、罠の配置、情報の交換などを実行可能とすることで、ゲーム性を持たせることが可能となる。

【0039】

以上に説明したように、本願の各実施形態により１または２以上の不足が解決される。なお、夫々の実施形態による効果は、非限定的な効果または効果の一例である。

【符号の説明】

【0040】

１００ 情報処理システム
１０ サーバ装置
１１ 端末位置情報取得部
１２ 撮影画像データ取得部
１３ 対象オブジェクト特定部
１４ 描画情報取得部
１５ 重畳情報出力部
１６ 記憶部
２０、２０１～２０ｎ 端末装置
３０ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】