特許 7533944 コンピュータプログラム、情報処理装置、情報処理システム及び拡張現実画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】コンピュータプログラム、情報処理装置、情報処理システム及び拡張現実画像表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240806BHJP

   G06F 3/01 20060101ALI20240806BHJP

   G06F 3/0346 20130101ALI20240806BHJP

   G06T 7/00 20170101ALI20240806BHJP

   H04N 21/431 20110101ALI20240806BHJP

   H04N 23/60 20230101ALI20240806BHJP

   H04N 23/63 20230101ALI20240806BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 570

G06F3/0346 422

G06T7/00 300

H04N21/431

H04N23/60 500

H04N23/63

【請求項の数】 9

(21)【出願番号】P 2020214078

(22)【出願日】2020-12-23

(65)【公開番号】P2021190082

(43)【公開日】2021-12-13

【審査請求日】2023-06-23

(31)【優先権主張番号】P 2020091502

(32)【優先日】2020-05-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】520185199

【氏名又は名称】株式会社ＭＡＧＩＣ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】齋藤 真介

(72)【発明者】

【氏名】山崎 大佑

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１９－０２０７３８（ＪＰ，Ａ）

【文献】特開２０２０－０１７１７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２１／４３１

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｇ０６Ｑ ３０／０６０１

(57)【特許請求の範囲】

【請求項1】

コンピュータに、実空間を撮影するカメラ及び画像を表示する表示部を有する眼鏡型のウェアラブルデバイスに対して拡張現実画像を表示する処理を行わせるコンピュータプログラムであって、
前記カメラが撮影した画像に基づいて、ライブ会場に設置されたマーカーを検出し、
ライブ中に検出したマーカーに応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する
処理を実行させる、コンピュータプログラム。

【請求項2】

前記カメラが撮影した画像に基づいて、前記ライブに出演する出演者の所定の動きを検出し、
検出した前記所定の動きに応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する、
請求項１に記載のコンピュータプログラム。

【請求項3】

前記カメラが撮影した画像に基づいて、前記ライブ会場に設置された表示装置に表示された所定の画像を検出し、
検出した前記所定の画像に応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する、
請求項１又は請求項２に記載のコンピュータプログラム。

【請求項4】

ライブ中の所定時点に至った場合に、前記所定時点に応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する、
請求項１から請求項３までのいずれか１つに記載のコンピュータプログラム。

【請求項5】

前記ライブに参加した複数の観客がそれぞれ自身から所定距離だけ離れた位置に見えるように、各観客のウェアラブルデバイスの前記表示部に所定の拡張現実画像を表示する、
請求項１から請求項４までのいずれか１つに記載のコンピュータプログラム。

【請求項6】

前記ライブに関連して支払った料金の金額に応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する、
請求項１から請求項５までのいずれか１つに記載のコンピュータプログラム。

【請求項7】

実空間を撮影するカメラ及び画像を表示する表示部を有する眼鏡型のウェアラブルデバイスに対して拡張現実画像を表示する処理を行う情報処理装置であって、
前記カメラが撮影した画像に基づいて、ライブ会場に設置されたマーカーを検出する検出部と、
ライブ中に検出したマーカーに応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する表示処理部と
を備える情報処理装置。

【請求項8】

ライブ会場に設置されたマーカーと、実空間を撮影するカメラ及び画像を表示する表示部を有する眼鏡型のウェアラブルデバイスに対して拡張現実画像を表示する処理を行う情報処理装置とを備える情報処理システムであって、
前記情報処理装置は、
前記カメラが撮影した画像に基づいて、ライブ会場に設置されたマーカーを検出する検出部と、
ライブ中に検出したマーカーに応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する表示処理部と
を有する、情報処理システム。

【請求項9】

情報処理装置が、実空間を撮影するカメラ及び画像を表示する表示部を有する眼鏡型のウェアラブルデバイスに対して拡張現実画像を表示する拡張現実画像表示方法であって、
前記カメラが撮影した画像に基づいて、ライブ会場に設置されたマーカーを検出し、
ライブ中に検出したマーカーに応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する
拡張現実画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザが装着して利用する眼鏡型のウェアラブルデバイスに拡張現実画像を表示するコンピュータプログラム、情報処理装置、情報処理システム及び拡張現実画像表示方法に関する。

【背景技術】

【0002】

ＡＲ（Augmented Reality；拡張現実）グラス、スマートグラス又はヘッドマウントディスプレイ等の眼鏡型のウェアラブルデバイスが普及し始めている。例えばＡＲグラスは、眼鏡のレンズに相当する部分に透過型（透光性）のディスプレイを備えており、このディスプレイに種々の文字又は画像等の情報表示を行うことができる。ＡＲグラスを装着したユーザは、透過型のディスプレイを透して実空間を視認することができ、且つ、ディスプレイに表示された種々の情報を得ることができる。またＡＲグラスには周囲の実空間を撮影するカメラ又はセンサ等が備えられており、ユーザが視認する実空間に対して適切な位置に画像表示を行うことにより、実空間に仮想的な情報を重畳してユーザに提供することができる。この技術は、拡張現実と呼ばれる技術であり、注目されている。

【0003】

特許文献１においては、ユーザの頭部に対する位置の変化を検出するセンサ群と、位置の変化を検出した場合に所定処理を実行する制御部とを備えるヘッドマウントディスプレイが提案されている。このヘッドマウントディスプレイは、眼鏡形状であり、ブリッジに設けられたタッチセンサとモーションセンサとをセンサ群として含む。ヘッドマウントディスプレイの制御部は、タッチセンサが接触を検知し、且つ、モーションセンサが動きを検出した場合に、所定処理を実行する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１４９５８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＡＲグラス等のウェアラブルデバイスを利用した拡張現実の技術は初期段階であり、この技術をどのように利用するのか、この技術を利用してどのようなサービスを提供するのかが模索されている段階である。

【0006】

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、拡張現実の技術を利用した新たなサービスを実現することが期待できるコンピュータプログラム、情報処理装置、情報処理システム及び拡張現実画像表示方法を提供することにある。

【課題を解決するための手段】

【0007】

本発明に係るコンピュータプログラムは、コンピュータに、実空間を撮影するカメラ及び画像を表示する表示部を有する眼鏡型のウェアラブルデバイスに対して拡張現実画像を表示する処理を行わせるコンピュータプログラムであって、前記カメラが撮影した画像に基づいて、ライブ会場に設置されたマーカーを検出し、ライブ中に検出したマーカーに応じた拡張現実画像を前記ウェアラブルデバイスの前記表示部に表示する処理を実行させる。

【発明の効果】

【0008】

本発明による場合は、拡張現実の技術を利用した新たなサービスを実現することが期待できる。

【図面の簡単な説明】

【0009】

【図1】本実施の形態に係る情報処理システムの概要を説明するための模式図である。

【図2】本実施の形態に係る情報処理システムの概要を説明するための模式図である。

【図3】ＡＲグラスの外観を示す模式図である。

【図4】本実施の形態に係る情報処理システムの構成を示すブロック図である。

【図5】本実施の形態に係る端末装置の構成を示すブロック図である。

【図6】本実施の形態に係るＡＲグラスの構成を示すブロック図である。

【図7】本実施の形態に係るサーバ装置の構成を示すブロック図である。

【図8】本実施の形態に係る端末装置が行う拡張現実データの取得処理の手順を示すフローチャートである。

【図9】本実施の形態に係るサーバ装置が行う拡張現実データの送信処理の手順を示すフローチャートである。

【図10】本実施の形態に係るサーバ装置が行うライブ管理処理の手順を示すフローチャートである。

【図11】本実施の形態に係る端末装置が行う拡張現実の画像の表示処理の手順を示すフローチャートである。

【図12】実施の形態２に係る情報処理システムがライブの準備段階で行う処理を説明するための模式図である。

【図13】端末装置が表示する拡張現実画像の表示位置の設定画面の一例を示す模式図である。

【図14】端末装置が表示する拡張現実画像の表示位置の設定画面の一例を示す模式図である。

【図15】実施の形態２に係る情報処理システムがライブの開催中に行う処理を説明するための模式図である。

【図16】実施の形態２に係る端末装置の構成を示すブロック図である。

【図17】実施の形態２に係るサーバ装置が行う処理の手順を示すフローチャートである。

【図18】実施の形態２に係る端末装置がライブの準備段階において行う処理の手順を示すフローチャートである。

【図19】実施の形態２に係る端末装置がライブ中に行う処理の手順を示すフローチャートである。

【図20】実施の形態２に係る端末装置が行う処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0011】

＜実施の形態１＞
＜システム概要＞
図１及び図２は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、例えば音楽のライブ又はコンサート等のイベントにて利用され得る。図１はライブ会場の様子を示すものであり、ステージ上には歌手又は演奏家等のアーティスト１がおり、ライブ会場には多数の観客２が集まっている。本実施の形態において観客２は、メガネ型のウェアラブルデバイスであるＡＲグラス１０（図３にて図示する）をそれぞれ装着してライブに参加する。

【0012】

ＡＲグラス１０には、ライブ会場に設置されたマーカー４、ライブ会場に設置されたディスプレイ装置５に表示されたマーカー５ａ、アーティスト１の動作、及び、ライブの進行状況等に応じて種々の画像（拡張現実画像）が表示される。またＡＲグラス１０からは、拡張現実画像と共に音声出力が行われてもよい。図２には、ＡＲグラス１０を通して見たライブ会場の様子を示してある。観客２は、ＡＲグラス１０を透過してステージ及びその上のアーティスト１等を視認することができると共に、ＡＲグラスに表示された画像３を視認することができる。これにより観客２は、ステージ及びアーティスト１等の実空間に画像３が重畳された拡張現実を体験することができる。

【0013】

図３は、ＡＲグラスの外観を示す模式図である。本実施の形態に係るＡＲグラス１０は、いわゆる眼鏡の形状であり、眼鏡のフレーム１１に表示部１２、カメラ１３及び音声出力部１７等が保持された構成である。表示部１２は眼鏡のレンズに相当する箇所に設けられており、ＡＲグラス１０は右目用及び左眼用の２つの表示部１２を備えている。表示部１２は、透過型（透光性）であり、ＡＲグラス１０を装着したユーザ（観客２）は、表示部１２を透過して周囲の景色を視認することができる。またカメラ１３は、例えばフレーム１１のブリッジ又はテンプル（つる）等の部分に適宜に配置される。カメラ１３は、ＡＲグラス１０を装着したユーザの前方を撮影し、例えばユーザの視野範囲を撮影する。音声出力部１７は、例えばフレーム１１のテンプル又はモダン等の部分、ＡＲグラス１０を装着した際にユーザの耳の近傍に位置する部分に配置される。音声出力部１７は、いわゆるスピーカであり、ＡＲグラス１０を装着したユーザが音声出力部１７からの音声と、周辺の音声との両方を聞くことができる構成であることが好ましい。音声出力部１７は、例えば骨伝導スピーカであってもよい。またＡＲグラス１０は、装着した観客２の周囲の音声等を取得するマイク（図示は省略する）を備えていてもよい。マイクは、例えばフレーム１１の適宜の部分に配置され得る。

【0014】

また、ＡＲグラス１０は、フレーム１１の端部に通信ケーブル１４が接続されている。通信ケーブル１４は、例えばスマートフォン又はタブレット型端末装置等の端末装置２０に接続される。これによりＡＲグラス１０は、通信ケーブル１４を介して端末装置２０との間でデータの送受信を行うことができる。ＡＲグラス１０は、端末装置２０から送信される画像を表示部１２に表示し、端末装置２０から送信される音声を音声出力部から出力すると共に、カメラ１３が撮影した画像及びマイクが取得した音声等のデータを端末装置２０へ送信する。端末装置２０は、ＡＲグラス１０から送信されたデータに基づいてユーザの周囲の実空間を認識する処理、及び、ＡＲグラス１０の表示部１２に拡張現実を実現するための画像を表示する処理を行う。

【0015】

図４は、本実施の形態に係る情報処理システムの構成を示すブロック図である。本実施の形態に係る情報処理システムは、ライブにおける拡張現実を制御するサーバ装置３０を備えている。サーバ装置３０は、例えば第４世代移動通信システム（４Ｇ）もしくは第５世代移動通信システム（５Ｇ）等の携帯電話通信網、又は、無線ＬＡＮ（Local Area Network）等の無線通信により端末装置２０との間でデータの送受信を行うことができる。サーバ装置３０は、多数の観客２がそれぞれ有する端末装置２０に対して、拡張現実を実現するための画像及び音声等のデータを送信する。

【0016】

本実施の形態においてサーバ装置３０から各端末装置２０への画像及び音声等のデータの送信は、ライブの開始前に予め行われる。例えばライブの開始前に一部又は全部のデータがサーバ装置３０から端末装置２０へ送信され、端末装置２０がこのデータをライブの終了まで保持している。サーバ装置３０は、例えば予め送信した画像を表示するタイミングの指示等を端末装置２０へ送信し、この指示等に応じて端末装置２０が予め記憶した画像及び音声等の出力を行うことができる。また更には表示のタイミング等の情報も予め端末装置２０に送信しておき、端末装置２０がこのタイミング情報に従って画像を表示してもよい。ただし、サーバ装置３０から端末装置２０へのデータの送信は、ライブの開始前に行うのではなく、ライブ中にリアルタイムで行われてもよい。

【0017】

本実施の形態に係る情報処理システムでは、例えば端末装置２０がＡＲグラス１０のカメラ１３の撮影画像からライブ会場に設置されたマーカーを検出する処理を行う。マーカーとは、拡張現実の画像を表示する契機となる目印であり、予め登録された文字、記号、図形、形状、模様、画像又は写真等の様々なものが用いられ得る。マーカーは２次元のもの又は３次元のもののいずれであってもよい。本例においては、例えばライブ会場のセット又はアーティスト１の衣装等をマーカーとして利用することができる。端末装置２０は、検出したマーカーに対して定められた画像を、このマーカーの位置を基準として相対的に定められる位置となるように、ＡＲグラス１０の表示部１２に表示する処理を行う。また端末装置２０は、マーカーに対して定められた音声を音声出力部１７から出力する処理を行ってもよい。

【0018】

また本実施の形態に係る情報処理システムでは、端末装置２０が検出するマーカーを、例えばライブ会場に設置された大型のディスプレイ装置５に表示することができる。例えばライブの運営者がマニュアル操作で、又は、サーバ装置３０等の装置が自動で、ライブ中にディスプレイ装置５に表示するマーカーを適宜に変更することによって、観客２のＡＲグラス１０に表示する拡張現実の画像を適宜に変更することができる。

【0019】

また本実施の形態に係る情報処理システムでは、ライブの舞台上のアーティスト１の所定の動き又はポーズ等をマーカーとして用いることができる。端末装置２０は、ＡＲグラス１０のカメラ１３が撮影した画像からアーティスト１の動きを検出し、アーティスト１の所定の動きに対して定められた拡張現実の画像をＡＲグラス１０の表示部１２に表示する。これによりアーティスト１が予め定められた動き又はポーズをとることで、観客２のＡＲグラス１０に所定の拡張現実の画像を表示することができる。例えば、アーティスト１が踊るダンス等における所定の振り付け又はポーズ等に対応してＡＲグラス１０に所定の拡張現実の画像を表示することができる。また例えば端末装置２０は、ＡＲグラス１０のカメラ１３が撮像した画像から人の顔を検出する顔検出処理と、検出した顔及び登録済の人物の顔が一致するか否かを判定する顔認証処理とを行ってもよい。この場合に端末装置２０は、顔認証処理に基づいてライブの舞台上に特定のアーティスト１が登場したことを判断し、このアーティスト１に対応付けられた拡張現実の画像を表示することができる。

【0020】

また本実施の形態に係る情報処理システムでは、所定の音楽又は音声等の検出に応じて端末装置２０が拡張現実の画像をＡＲグラス１０に表示することができる。これは、所定の音楽又は音声等をマーカーとして扱うものである。端末装置２０は、例えばＡＲグラス１０に設けられたマイク、又は、端末装置２０に設けられたマイクにより、観客２の周辺の音楽又は音声等を取得する。端末装置２０は、例えばマイクにて取得した音楽が所定の楽曲である場合に、この楽曲に対して定められた拡張現実の画像をＡＲグラス１０に表示する。また端末装置２０は、例えばマイクにて取得した音声に対して音声認識の処理を行い、アーティスト１が所定の言葉又はセリフ等を発した場合に、対応する拡張現実の画像をＡＲグラス１０に表示する。

【0021】

また本実施の形態に係る情報処理システムでは、例えばライブの開始から５分後、１０分後、１時間後…等の所定の時間経過に応じて、端末装置２０はＡＲグラス１０に所定の拡張現実の画像を表示することができる。画像の表示タイミングは、ライブの開始を基準とするのではなく、例えば時刻で定められてもよい。また画像の表示タイミングは、端末装置２０が判断してもよく、サーバ装置３０が表示タイミングを判断して端末装置２０へ表示命令等を与えてもよい。ライブ開始のタイミングをサーバ装置３０が端末装置２０に通知し、端末装置２０がこの通知に同期して表示タイミングを判断してもよい。また時間又は時刻等に応じた画像の表示は、マーカーの有無に関係なく行われてよく、又は、時間の条件及びマーカー検出の条件が揃った場合に行われてもよい。

【0022】

また本実施の形態に係る情報処理システムでは、マーカーの検出なしで端末装置２０がＡＲグラス１０に所定の拡張現実の画像を表示することができる。例えば端末装置２０は、上述の時間経過に応じた画像表示をマーカーの検出なしで行うことができる。また例えば端末装置２０は、サーバ装置３０から与えられる命令等に応じて、所定の画像を表示することができる。この場合にサーバ装置３０は、例えばライブの進行状況等に応じて、画像の表示命令又は表示する画像のデータ等を端末装置２０へ送信することができる。

【0023】

また例えば端末装置２０は、ＧＰＳ（Global Positioning System）の位置情報を取得し、所定の位置又は位置範囲内に存在する場合に、所定の画像を表示することができる。例えば複数の会場でライブが行われる音楽フェスティバルにおいて、ＧＰＳの位置情報に基づいてユーザがいずれの会場にいるかを端末装置２０が判断し、会場に対応付けられた拡張現実の画像をＡＲグラス１０に表示することができる。また例えばユーザが会場以外の場所にいる場合、端末装置２０は、会場の位置及び道順等の情報をＡＲグラス１０に表示してもよい。

【0024】

また本実施の形態に係る情報処理システムでは、例えばライブ会場に設置されたカメラ（図示は省略する）等でライブ会場内のステージ及び客席等を撮影してもよい。このカメラが撮影した画像はサーバ装置３０へ与えられ、サーバ装置３０は、この画像からライブの様子を判断して、ライブに参加している各ユーザの端末装置２０に対して拡張現実の画像を表示する命令等を与えてもよい。例えばサーバ装置３０は、ライブ会場内の多数の観客２のうちの８割以上がペンライトを振ったことをカメラの撮影画像から判断し、これに応じて特定の拡張現実の画像を表示する命令等を端末装置２０へ送信することができる。

【0025】

また本実施の形態に係る情報処理システムでは、ライブ中にＡＲグラス１０又は端末装置２０にて受け付けたユーザの操作に応じて、拡張現実の画像をＡＲグラス１０に表示してもよい。例えば端末装置２０は、ライブ中にこのライブに関する評価等を受け付け、受け付けた評価等をサーバ装置３０へ送信する。サーバ装置３０は、例えばライブに参加している観客２からの評価を集計し、８割以上の観客２から高評価が得られた場合に、所定の拡張現実の画像をＡＲグラス１０に表示することができる。

【0026】

また本実施の形態に係る情報処理システムでは、端末装置２０が録画機能を備えている。端末装置２０が録画する画像は、ＡＲグラス１０のカメラ１３が撮影した画像に、拡張現実の画像を重畳したものである。また端末装置２０は、マイクにて取得した音声に、拡張現実の音声を重畳したものを録音する機能を有していてよい。端末装置２０は、録画及び録音したデータを、例えば１つのファイルとしてメモリ等に記憶しておく。端末装置２０にて録画及び録音されたデータは、例えばＳＮＳ（Social Networking Service）等のサービスを利用して観客２が公開可能であってもよく、逆に著作権等の保護を目的として公開不可能とされてもよい。

【0027】

なお本実施の形態においては、ＡＲグラス１０に通信ケーブル１４を介して接続された端末装置２０が拡張現実の画像処理等を行うものとするが、これに限るものではなく、例えば端末装置２０を用いない構成、いわゆるスタンドアロン型のＡＲグラスが採用されてもよい。例えば端末装置２０の機能をＡＲグラス１０が備えてもよい。この場合にＡＲグラス１０は、サーバ装置３０との通信を行って画像を受信すると共に、マーカーの検出及び拡張現実を実現するための画像表示処理等を行ってもよい。また例えば、サーバ装置３０が端末装置２０の処理を行ってもよい。この場合にＡＲグラス１０は、カメラ１３の撮像画像をサーバ装置３０へ送信し、サーバ装置３０から送信される画像を表示部１２に表示する。サーバ装置３０は、複数のＡＲグラス１０に対して表示部１２に表示するための画像のデータを送信する。なおサーバ装置３０は、１つの装置ではなく、複数の装置の協働により実現されるサーバシステムであってよい。

【0028】

また本実施の形態においては、情報処理システムを音楽のライブに利用する例を説明するが、本情報処理システムの適用はライブに限らない。例えば製品発表会、演劇、サーカス又はスポーツ観戦等のように、観客２が参加する種々のイベントに本情報処理システムを適用することができる。本実施の形態に係る情報処理システムは、舞台又は競技場等の周囲に複数の観客２が集まるイベントに好適である。また更に、例えば美術館もしくは博物館、又は、美術作品を展示したイベント等に本情報処理システムを適用することができる。この場合には、例えば展示物の周囲にマーカーを配置するか、又は、展示物自体をマーカーとして用いて、ＡＲグラス１０に仮想現実の画像を表示することができる。

【0029】

＜装置構成＞
図５は、本実施の形態に係る端末装置２０の構成を示すブロック図である。本実施の形態に係る端末装置２０は、処理部（プロセッサ）２１、記憶部（ストレージ）２２、無線通信部（トランシーバ）２３、有線通信部（トランシーバ）２４、表示部（ディスプレイ）２５及び操作部２６等を備えて構成されている。端末装置２０は、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の汎用の情報処理装置を用いて構成され得る。

【0030】

処理部２１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）、及び、ＲＡＭ（Random Access Memory）等を用いて構成されている。処理部２１は、記憶部２２に記憶されたプログラム２２ａを読み出して実行することにより、ライブ会場に設置又は表示等されたマーカーを検出する処理、及び、拡張現実の画像を表示する処理等の種々の処理を行う。

【0031】

記憶部２２は、例えばフラッシュメモリ等の不揮発性のメモリ素子を用いて構成されている。記憶部２２は、処理部２１が実行する各種のプログラム、及び、処理部２１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部２２は、処理部２１が実行するプログラム２２ａと、ＡＲグラス１０の表示部１２に表示する拡張現実の拡張現実データ２２ｂとを記憶している。また記憶部２２は、端末装置２０により録画及び録音されたデータを記憶することができる。

【0032】

記憶部２２に記憶されるプログラム２２ａは、拡張現実を実現する画像表示を行うためのアプリケーションプログラム、いわゆるアプリである。本実施の形態においてプログラム２２ａは遠隔のサーバ装置等により配信され、これを端末装置２０が通信にて取得し、記憶部２２に記憶する。ただしプログラム２２ａは、例えば端末装置２０の製造段階において記憶部２２に書き込まれてもよい。例えばプログラム２２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム２２ａを端末装置２０が読み出して記憶部２２に記憶してもよい。例えばプログラム２２ａは、記録媒体９８に記録されたものを書込装置が読み出して端末装置２０の記憶部２２に書き込んでもよい。プログラム２２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。

【0033】

記憶部２２に記憶される拡張現実データ２２ｂは、ＡＲグラス１０の表示部１２に表示する拡張現実の画像のデータである。また拡張現実データ２２ｂには、拡張現実の音声として出力する音声データが含まれていてもよい。ただし以下においては、拡張現実として画像を表示する例を説明し、音声の出力については説明を省略する。端末装置２０は、例えばライブの開始前までに、サーバ装置３０が配信する拡張現実データ２２ｂをダウンロードして記憶部２２に記憶しておくことができる。また例えば端末装置２０は、ライブ中にリアルタイムで又はそれに近いタイミングで、サーバ装置３０から拡張現実データ２２ｂを取得して記憶部２２に記憶してもよい。拡張現実データ２２ｂに含まれる画像のデータは、２次元画像又は３次元画像のいずれであってもよく、静止画像又は動画像のいずれであってもよい。

【0034】

無線通信部２３は、例えば第４世代移動通信システム（４Ｇ）もしくは第５世代移動通信システム（５Ｇ）等の携帯電話通信網、又は、無線ＬＡＮ（Local Area Network）等の無線通信により、種々の装置との間で通信を行う。本実施の形態において無線通信部２３は、サーバ装置３０との間で無線によるデータの送受信を行う。無線通信部２３は、処理部２１から与えられたデータをサーバ装置３０へ送信すると共に、サーバ装置３０から受信したデータを処理部２１へ与える。

【0035】

有線通信部２４は、例えばＵＳＢ（Universal Serial Bus）の通信規格に従って、通信ケーブルを介して接続された他の装置との間で通信を行う。本実施の形態において有線通信部２４は、通信ケーブル１４を介して接続されたＡＲグラス１０との間でデータの送受信を行う。有線通信部２４は、処理部２１から与えられたデータをＡＲグラス１０へ送信すると共に、ＡＲグラス１０から受信したデータを処理部２１へ与える。なお本実施の形態においては、端末装置２０及びＡＲグラス１０が有線通信を行う構成とするが、これに限るものではなく、例えばBluetooth（登録商標）等の無線通信を行ってもよい。

【0036】

表示部２５は、液晶ディスプレイ等を用いて構成されており、処理部２１の処理に基づいて種々の画像及び文字等を表示する。

【0037】

操作部２６は、ユーザの操作を受け付け、受け付けた操作を処理部２１へ通知する。例えば操作部２６は、機械式のボタン又は表示部２５の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部２６は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置２０に対して取り外すことが可能な構成であってもよい。

【0038】

なお図示は省略するが、端末装置２０は、ＧＰＳ信号を受信するＧＰＳ受信部、及び、周辺の音声を取得するマイク等を備えてよい。

【0039】

また本実施の形態に係る端末装置２０は、記憶部２２に記憶されたプログラム２２ａを処理部２１が読み出して実行することにより、検出処理部２１ａ及び拡張現実処理部２１ｂ等がソフトウェア的な機能部として処理部２１に実現される。検出処理部２１ａは、ＡＲグラス１０のカメラ１３が撮影した画像に基づいて、ライブ会場に設置又は表示等されたマーカーを検出する処理を行う。例えば検出処理部２１ａは、予めマーカーとして記憶した画像とカメラ１３の撮影画像とを比較し、撮影画像中にマーカーの画像が含まれているか否か、及び、含まれている場合にはその位置等を検出する。検出処理部２１ａが検出するマーカーは、例えばライブ会場に設置された大道具、小道具、これらの一部分等とすることができる。また検出処理部２１ａが検出するマーカーは、例えばライブ会場に設置されたディスプレイ装置５に表示された画像又はこの画像の一部分等とすることができる。また検出処理部２１ａが検出するマーカーは、例えばアーティスト１の衣装、アーティスト１のポーズ、アーティスト１の動き等とすることができる。また例えば検出処理部２１ａは、ＡＲグラス１０又は端末装置２０が備えるマイクから取得した音楽又は音声等に基づいて、予めマーカーとして定められた音楽又は音声等を検出してもよい。

【0040】

拡張現実処理部２１ｂは、例えば検出処理部２１ａが検出したマーカー、ライブ開始からの時間経過、又は、サーバ装置３０からの命令等に応じて、ＡＲグラス１０の表示部１２に拡張現実の画像を表示する処理を行う。拡張現実処理部２１ｂは、例えば検出処理部２１ａが検出したマーカーに対応する拡張現実データを記憶部２２から読み出し、マーカーの位置等に応じて表示する画像の位置及び向き等を調整した画像をＡＲグラス１０へ送信することにより、ＡＲグラス１０の表示部１２にマーカーに応じた拡張現実の画像を表示することができる。この場合にＡＲグラス１０に表示される画像は、ＡＲグラス１０を装着する観客２とマーカーとの位置関係に応じて変化する。

【0041】

また拡張現実処理部２１ｂは、ライブ開始から所定時間が経過した場合又はサーバ装置３０から所定の表示命令を与えられた場合等に、時間経過又は表示命令等に応じた拡張現実データを記憶部２２から読み出し、ＡＲグラス１０へ表示すべき画像を送信することにより、ＡＲグラス１０の表示部１２に時間経過又は表示命令等に応じた拡張現実の画像を表示することができる。この場合に表示される画像は、マーカーの有無に関係なく表示されてもよく、マーカーに対応付けて表示されてもよい。端末装置２０がマーカーの有無に関係なく画像を表示する場合、ＡＲグラス１０に表示される画像は、観客２の位置等に関係なく表示されるため、全ての観客２が同じ画像をＡＲグラス１０を通して視認することができる。例えば自身から５ｍ先にキャラクタが存在するように見える拡張現実の画像をマーカーに関係なく端末装置２０が表示することによって、全ての観客２は自身から５ｍ先に存在するキャラクタをＡＲグラス１０を通して視認する。

【0042】

また拡張現実処理部２１ｂは、上記の画像表示と同様に、例えば検出処理部２１ａが検出したマーカー、ライブ開始からの経過時間、又は、サーバ装置３０からの命令等に応じて、拡張現実データに含まれる拡張現実の音声をＡＲグラス１０の音声出力部１７から出力する処理を行ってよい。

【0043】

また拡張現実処理部２１ｂは、観客２がＡＲグラス１０を通して見たライブの画像の録画、及び、ＡＲグラス１０を装着して聞いた音声の録音等の処理を行ってよい。拡張現実処理部２１ｂは、ＡＲグラス１０のカメラ１３が撮影した画像と、ＡＲグラス１０の表示部１２に表示した画像とを重畳した画像のデータを記憶部２２に記憶することで録画を行う。また拡張現実処理部２１ｂは、ＡＲグラス１０又は端末装置２０のマイクが取得した音声と、ＡＲグラス１０の音声出力部１７から出力した音声とを重畳した音声のデータを記憶部２２に記憶することで録音を行う。

【0044】

図６は、本実施の形態に係るＡＲグラス１０の構成を示すブロック図である。本実施の形態に係るＡＲグラス１０は、表示部１２、カメラ１３、処理部１５、有線通信部１６及び音声出力部１７等を備えて構成されている。表示部１２は、処理部１５から与えられる画像を表示する。図６においては表示部１２を１つ図示しているが、本実施の形態においてＡＲグラス１０は、右目用及び左目用の２つ表示部１２を有している。ただしＡＲグラス１０は、左右が一続きの表示部１２を有してもよい。また本実施の形態において表示部１２は、透過型（透光性）であり、観客２は表示部１２を通して実空間を視認することができる。ただし表示部１２は非透過型であってもよく、この場合には端末装置２０がカメラ１３にて撮影された実空間の画像に拡張現実の画像を重畳したものを表示部１２に表示すればよい。

【0045】

カメラ１３は、例えばレンズ及び撮像素子等を用いて構成されている。カメラ１３は、ＡＲグラス１０を装着した観客２の前方を撮影すべく、ＡＲグラス１０のフレーム１１に搭載されている。カメラ１３は、例えば１８０°又はそれ以上の画角を有するものであってよく、少なくとも観客２の視野範囲を撮影できるものであることが好ましい。なおＡＲグラス１０は、複数のカメラ１３を有していてもよい。カメラ１３は、撮影した画像を処理部１５へ与える。

【0046】

処理部１５は、例えばＣＰＵ又はＭＰＵ等の演算処理装置を用いて構成されている。処理部１５は、カメラ１３が撮影した画像を端末装置２０へ送信する処理、及び、端末装置２０から受信した拡張現実の画像を表示部１２に表示する処理等を行う。

【0047】

有線通信部１６は、例えばＵＳＢの通信規格に従って、通信ケーブル１４を介して接続された端末装置２０との間でデータの送受信を行う。有線通信部１６は、例えば処理部１５から与えられたカメラ１３の撮影画像を端末装置２０へ送信すると共に、端末装置２０から受信した拡張現実の画像を処理部１５へ与える。

【0048】

音声出力部１７は、いわゆるスピーカであり、処理部１５の処理に従って、種々の音声を出力する。

【0049】

なお図示は省略するが、ＡＲグラス１０は、ＧＰＳ信号を受信するＧＰＳ受信部、及び、周辺の音声を取得するマイク等を備えてよい。

【0050】

図７は、本実施の形態に係るサーバ装置３０の構成を示すブロック図である。本実施の形態に係るサーバ装置３０は、処理部３１、記憶部３２及び通信部３３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置３０にて処理が行われるものとして説明を行うが、複数のサーバ装置３０が分散して処理を行ってもよい。

【0051】

処理部３１は、ＣＰＵ、ＭＰＵ又はＧＰＵ（Graphics Processing Unit）等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部３１は、記憶部３２に記憶されたサーバプログラム３２ａを読み出して実行することにより、観客２の端末装置２０へ拡張現実の画像を送信する処理、及び、ライブを管理する処理等の種々の処理を行う。

【0052】

記憶部３２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するサーバプログラム３２ａと、端末装置２０へ送信する拡張現実の拡張現実データ３２ｂとを記憶している。

【0053】

本実施の形態においてサーバプログラム３２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置３０は記録媒体９９からサーバプログラム３２ａを読み出して記憶部３２に記憶する。ただし、サーバプログラム３２ａは、例えばサーバ装置３０の製造段階において記憶部３２に書き込まれてもよい。また例えばサーバプログラム３２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置３０が通信にて取得してもよい。例えばサーバプログラム３２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置３０の記憶部３２に書き込んでもよい。サーバプログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

【0054】

記憶部３２に記憶される拡張現実データ３２ｂは、各観客２の端末装置２０へ送信され、この端末装置２０に接続されたＡＲグラス１０の表示部１２に表示される拡張現実の画像及び音声出力部１７から出力される音声等のデータである。拡張現実データ３２ｂは、例えばライブの主催者等が予め作成してサーバ装置３０の記憶部３２に記憶しておく。なお拡張現実データ３２ｂの作成は、サーバ装置３０にて行われてもよく、別の装置で行われてもよい。

【0055】

通信部３３は、携帯電話通信網及びインターネット等を含むネットワークを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ライブに参加する複数の観客２の端末装置２０との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。

【0056】

なお記憶部３２は、サーバ装置３０に接続された外部記憶装置であってよい。またサーバ装置３０は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置３０は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

【0057】

また本実施の形態に係るサーバ装置３０の処理部３１には、記憶部３２に記憶されたサーバプログラム３２ａを処理部３１が読み出して実行することにより、データ送信処理部３１ａ及びライブ管理処理部３１ｂ等が、ソフトウェア的な機能部として処理部３１に実現される。

【0058】

データ送信処理部３１ａは、記憶部３２に記憶された拡張現実データ３２ｂを観客２の端末装置２０へ送信する処理を行う。本実施の形態においてデータ送信処理部３１ａは、ライブの開始前に予め端末装置２０へ拡張現実データ３２ｂを送信する。ライブのチケットに拡張現実データ３２ｂのダウンロードコード等が印刷されており、端末装置２０はこのコードの入力を受け付けた場合に、受け付けたコードを送信してサーバ装置３０へ拡張現実データ３２ｂの送信を要求する。サーバ装置３０のデータ送信処理部３１ａは、端末装置２０からの送信要求に応じて、コードに対応するライブの拡張現実データ３２ｂを記憶部３２から読み出し、読み出した拡張現実データ３２ｂを要求元の端末装置２０へ送信する。なお、上記の拡張現実データ３２ｂの送信方法及び送信タイミング等は一例であってこれに限るものではない。データ送信処理部３１ａは、例えばライブ中に必要な画像をリアルタイムで端末装置２０へ送信してもよい。

【0059】

ライブ管理処理部３１ｂは、ライブ中における拡張現実の画像の表示タイミング等を管理する処理を行う。ライブ管理処理部３１ｂは、例えばライブの開始及び終了を端末装置２０に通知する。またライブ管理処理部３１ｂは、例えばライブの開始後の時間の経過を計時し、所定時間が経過した場合に所定の拡張現実の画像の表示命令を端末装置２０へ与える。またライブ管理処理部３１ｂは、例えばライブの主催者等の操作に応じて拡張現実の画像の表示タイミングを判断し、画像を表示すべきタイミングに至ったと判断した場合に表示命令を端末装置２０へ送信する。またライブ管理処理部３１ｂは、例えばライブ会場に設置されたディスプレイ装置５に表示する画像を管理してもよい。なお拡張現実の音声出力を行う場合、ライブ管理処理部３１ｂは、同様にして拡張現実の音声出力タイミング等を管理してよい。

【0060】

またライブ管理処理部３１ｂは、例えば会場に設置されたカメラにて会場の舞台又は客席等を撮影した画像に基づいて、表示タイミング等を決定してもよい。例えばライブ管理処理部３１ｂは、会場の客席を撮影した画像からペンライトを振る観客２を検出する処理を行い、検出された観客２の人数が閾値を超える場合、又は、全観客数に対する検出された観客の人数が閾値を超える場合等に、所定の拡張現実の画像を表示するタイミングと判断することができる。

【0061】

またライブ管理処理部３１ｂは、ライブ中にＡＲグラス１０又は端末装置２０にて受け付けたユーザの操作に基づいて、表示タイミング等を決定してもよい。例えばライブ管理処理部３１ｂは、ライブに参加している観客２の端末装置２０からこのライブに関する評価の情報を取得し、取得した評価を集計する。ライブ管理処理部３１ｂは、評価の集計結果と予め定められた閾値とを比較し、閾値より高い評価が得られた場合に所定の拡張現実の画像を表示するタイミングと判断することができる。

【0062】

＜拡張現実処理＞
本実施の形態に係る情報処理システムでは、例えばライブのチケットを購入した観客２の端末装置２０へ、ライブに必要な拡張現実データをサーバ装置３０が予め送信する。例えばライブのチケットには拡張現実データのダウンロードコードが印刷されており、観客２は端末装置２０にてアプリ（プログラム２２ａ）を起動してコードの入力を行う。コードの入力を受け付けた端末装置２０は、このコードをサーバ装置３０へ送信して拡張現実データの送信を要求する。サーバ装置３０は、端末装置２０からの要求に応じて、コードに対応するライブに必要な拡張現実データを記憶部３２から読み出し、要求元の端末装置２０へ送信する。なおコードは、例えば電子メール等で送信されてもよく、また例えばバーコード又は２次元コード等で提供されてもよい。

【0063】

図８は、本実施の形態に係る端末装置２０が行う拡張現実データの取得処理の手順を示すフローチャートである。本実施の形態に係る端末装置２０の処理部２１は、ライブのチケット等に印刷されたライブのコードの入力をユーザから受け付ける（ステップＳ１）。処理部２１は、受け付けたコードをサーバ装置３０へ送信して、拡張現実の画像表示に必要な拡張現実データの送信を要求する（ステップＳ２）。

【0064】

その後、処理部２１は、サーバ装置３０から拡張現実データを受信したか否かを判定する（ステップＳ３）。拡張現実データを受信していない場合（Ｓ３：ＮＯ）、処理部２１は、拡張現実データを受信するまで待機する。拡張現実データを受信した場合（Ｓ３：ＹＥＳ）、処理部２１は、受信した拡張現実データを記憶部２２に記憶して（ステップＳ４）、処理を終了する。

【0065】

図９は、本実施の形態に係るサーバ装置３０が行う拡張現実データの送信処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３０の処理部３１のデータ送信処理部３１ａは、端末装置２０から拡張現実データの送信の要求が与えられたか否かを判定する（ステップＳ１１）。端末装置２０からの要求が与えられていない場合（Ｓ１１：ＮＯ）、データ送信処理部３１ａは、端末装置２０から拡張現実データの送信を要求されるまで待機する。拡張現実データの送信の要求が与えられた場合（Ｓ１１：ＹＥＳ）、データ送信処理部３１ａは、端末装置２０から要求と共に送信されるコードに対応するライブにて用いられる拡張現実の拡張現実データを記憶部３２から読み出す（ステップＳ１２）。データ送信処理部３１ａは、読み出した拡張現実データを、要求元の端末装置２０へ送信し（ステップＳ１３）、処理を終了する。

【0066】

ライブ当日。観客２は、ライブ会場を訪れた後、端末装置２０にＡＲグラス１０を接続して装着するとともに、上記のコードを端末装置２０に入力してライブの開始を待つ。サーバ装置３０は、ライブの開始時刻に至った場合、全ての観客２の端末装置２０（正しいコードが入力された端末装置２０）に対して、ライブの開始を通知する。この通知を受けた端末装置２０は、ＡＲグラス１０の表示部１２に拡張現実の画像を表示する処理を開始する。

【0067】

端末装置２０は、ＡＲグラス１０のカメラ１３にて撮影された画像を取得し、この撮影画像に含まれるマーカーの検出を行う。また端末装置２０は、ＡＲグラス１０のマイク又は自身のマイクが取得した音声に含まれるマーカーの検出を行ってもよい。本実施の形態において端末装置２０が検出するマーカーは、例えば以下のものが挙げられる。
（１）会場に設置された大道具、小道具もしくはアーティスト１が着用している衣装等、又は、これらに描かれている文字、記号もしくは画像等。
（２）会場に設置されたディスプレイ装置５等の表示装置に表示された文字、記号又は画像等。
（３）アーティスト１の動き又はポーズ等。
（４）所定の音楽又は音声等

【0068】

上記（１）及び（２）について、端末装置２０は、予めマーカーとして登録された画像と、カメラ１３の撮影画像（又はその一部分）とが一致する場合に、マーカーが存在すると判断することができる。上記（３）について、端末装置２０は、カメラ１３の撮影画像に映された人（アーティスト１）を抽出し、抽出した人の動き又はポーズを判定する。端末装置２０は、判定した動き又はポーズと、マーカーとして登録された動き又はポーズとが一致する場合に、マーカーが存在すると判断することができる。上記（４）について、端末装置２０は、マイクにて取得した音声を基に音声認識等の処理を行い、予め定められた楽曲又は言葉等が音声に含まれる場合に、音声のマーカーが存在すると判断することができる。

【0069】

端末装置２０は、カメラ１３の撮影画像からマーカーを検出した場合、検出したマーカーに対応付けられた拡張現実の画像を記憶部２２の拡張現実データ２２ｂから読み出す。端末装置２０は、検出したマーカーの位置及び大きさ等に応じて、表示する拡張現実の画像の向き及び大きさ等を調整して表示用の画像を生成し、生成した画像をＡＲグラス１０へ送信する。ＡＲグラス１０は、端末装置２０からの画像を受信し、拡張現実の画像を表示部１２に表示する。マーカーに応じて表示される拡張現実の画像は、ライブ会場における観客２の位置等に応じて、観客２毎にそれぞれ向き又は大きさ等が異なる画像となり得る。また端末装置２０は、検出したマーカーに対応付けられた拡張現実の音声をＡＲグラス１０の音声出力部１７から出力してよい。

【0070】

また本実施の形態において端末装置２０は、マーカーの検出なしで所定の拡張現実の画像をＡＲグラス１０に表示することができる（拡張現実の音声出力についても同様である）。例えば端末装置２０は、ライブ開始からの時間経過で予め定められたタイミングで所定の画像をＡＲグラス１０に表示する。また例えば端末装置２０は、サーバ装置３０からの命令に応じて所定の画像をＡＲグラス１０に表示する。マーカーの検出なしで表示される拡張現実の画像はライブ会場における各観客２の位置等に関係なく表示され、全ての観客２のＡＲグラス１０に同じ拡張現実の画像が表示される。即ち、端末装置２０が例えばマーカーに関係なく５ｍ先にキャラクタが存在するように見える拡張現実の画像をＡＲグラス１０に表示した場合、全ての観客２のＡＲグラス１０に自身から５ｍ先に存在するキャラクタの画像が表示される。

【0071】

図１０は、本実施の形態に係るサーバ装置３０が行うライブ管理処理の手順を示すフローチャートである。なお本フローチャートでは、拡張現実の画像を表示する場合について説明し、拡張現実の音声を出力する場合については説明を省略する。本実施の形態に係るサーバ装置３０の処理部３１のライブ管理処理部３１ｂは、例えばライブの主催者等による操作、又は、ライブの開始時刻に至ったこと等に応じて、ライブに参加する観客２の端末装置２０へライブ開始を通知する（ステップＳ２１）。ライブ管理処理部３１ｂは、自身のタイマ機能等を利用して、ライブ開始からの経過時間の計時を開始する（ステップＳ２２）。

【0072】

ライブ管理処理部３１ｂは、予め定められたライブのスケジュールと、経過時間の計時結果とに基づいて、拡張現実の画像を表示すべきタイミングに至ったか否かを判定する（ステップＳ２３）。なおライブのスケジュールは、例えばライブの主催者等が予め作成し、サーバ装置３０にスケジュールのデータを記憶しておく。拡張現実の画像の表示タイミングに至った場合（Ｓ２３：ＹＥＳ）、ライブ管理処理部３１ｂは、観客２の端末装置２０に対して、例えば表示すべき画像を識別する情報を付した表示命令を送信し（ステップＳ２４）、ステップＳ２３へ処理を戻す。

【0073】

拡張現実の画像の表示タイミングに至っていない場合（Ｓ２３：ＮＯ）、ライブ管理処理部３１ｂは、予め定められたライブのスケジュールと、経過時間の計時結果とに基づいて、ライブの終了のタイミングに至ったか否かを判定する（ステップＳ２５）。ライブの終了タイミングに至っていない場合（Ｓ２５：ＮＯ）、ライブ管理処理部３１ｂは、ステップＳ２３へ処理を戻す。ライブの終了タイミングに至った場合（Ｓ２５：ＹＥＳ）、ライブ管理処理部３１ｂは、観客２の端末装置２０に対して、ライブの終了を通知し（ステップＳ２６）、処理を終了する。

【0074】

図１１は、本実施の形態に係る端末装置２０が行う拡張現実の画像の表示処理の手順を示すフローチャートである。なお本フローチャートでは、拡張現実の画像を表示する場合について説明し、拡張現実の音声を出力する場合については説明を省略する。本実施の形態に係る端末装置２０の処理部２１は、サーバ装置３０からライブの開始を通知されたか否かを判定する（ステップＳ４１）。ライブの開始を通知されていない場合（Ｓ４１：ＮＯ）、処理部２１は、ライブの開始を通知されるまで待機する。

【0075】

ライブの開始を通知された場合（Ｓ４１：ＹＥＳ）、処理部２１の検出処理部２１ａは、ＡＲグラス１０のカメラ１３が撮影した画像を取得してマーカーの検出処理を行い、撮影画像の中に所定のマーカーが存在するか否かを判定する（ステップＳ４２）。マーカーが存在する場合（Ｓ４２：ＹＥＳ）、処理部２１の拡張現実処理部２１ｂは、検出されたマーカーに対応する拡張現実の拡張現実データを記憶部２２から読み出す（ステップＳ４３）。拡張現実処理部２１ｂは、検出されたマーカーの位置等に応じて、ＡＲグラス１０の表示する拡張現実の画像の位置、向き及び大きさ等を調整する（ステップＳ４４）。拡張現実処理部２１ｂは、調整後の拡張現実の画像をＡＲグラス１０へ送信して（ステップＳ４５）、ＡＲグラス１０に拡張現実の画像の表示し、ステップＳ４９へ処理を進める。

【0076】

撮影画像の中にマーカーが存在しない場合（Ｓ４２：ＮＯ）、拡張現実処理部２１ｂは、サーバ装置３０から拡張現実の画像の表示命令が与えられたか否かを判定する（ステップＳ４６）。表示命令が与えられていない場合（Ｓ４６：ＮＯ）、拡張現実処理部２１ｂは、ステップＳ４９へ処理を進める。表示命令が与えられた場合（Ｓ４６：ＹＥＳ）、拡張現実処理部２１ｂは、サーバ装置３０からの表示命令に応じた拡張現実データを記憶部２２から読み出す（ステップＳ４７）。拡張現実処理部２１ｂは、読み出した拡張現実データに基づき、表示すべき拡張現実の画像をＡＲグラス１０へ送信して（ステップＳ４８）、ＡＲグラス１０に拡張現実の画像の表示し、ステップＳ４９へ処理を進める。

【0077】

処理部２１は、サーバ装置３０からライブの終了を通知されたか否かを判定する（ステップＳ４９）。ライブの終了を通知されていない場合（Ｓ４９：ＮＯ）、処理部２１は、ステップＳ４２へ処理を戻し、上述の処理を繰り返して行う。サーバ装置３０からライブの終了を通知された場合（Ｓ４９：ＹＥＳ）、処理部２１は、処理を終了する。

【0078】

＜まとめ＞
以上の構成の本実施の形態に係る端末装置２０は、ＡＲグラス１０のカメラ１３が撮影した画像に基づいて、ライブ会場に設置されたマーカーを検出し、ライブ中に検出したマーカーに応じた拡張現実の画像をＡＲグラス１０の表示部１２に表示する処理を行う。これによりライブ会場でＡＲグラス１０を装着した観客２は、例えばライブに出演するアーティスト１の周囲にキャラクタ等の画像が重畳された拡張現実を体験することができるため、本実施の形態に係る情報処理システムはライブの趣向性を向上することが期待でき、拡張現実の技術を利用した新たなライブのサービスを提供することが期待できる。

【0079】

また本実施の形態に係る端末装置２０は、ＡＲグラス１０のカメラ１３が撮影した画像に基づいて、ライブに出演するアーティスト１の所定の動き又はポーズ等をマーカーとして検出し、検出した動き又はポーズ等に応じた所定の拡張現実の画像をＡＲグラス１０の表示部１２に表示する。これにより情報処理システムは、ライブに出演するアーティスト１の動き又はポーズ等に連動して拡張現実の画像を表示することができ、ライブの趣向性をより向上することが期待できる。

【0080】

また本実施の形態に係る端末装置２０は、ＡＲグラス１０のカメラ１３が撮影した画像に基づいて、ライブ会場に設置されたディスプレイ装置５等に表示された所定の画像をマーカーとして検出し、検出したマーカーに応じた拡張現実の画像をＡＲグラス１０の表示部１２に表示する。これによりディスプレイ装置５等の表示の変更に応じてＡＲグラス１０の表示部１２に表示される拡張現実の画像を変更することができる。

【0081】

また本実施の形態に係る端末装置２０は、ライブの開始からの経過時間等に応じた所定の表示タイミングに至った場合に、サーバ装置３０から与えられる表示命令に応じて、この表示タイミングに応じた拡張現実の画像をＡＲグラス１０の表示部１２に表示する。なお表示タイミングに至ったか否かの判定は、サーバ装置３０ではなく、端末装置２０にて行ってもよい。これにより端末装置２０は、ライブの進行のスケジュール等に応じた拡張現実の画像をＡＲグラス１０に表示することができる。

【0082】

また本実施の形態に係る端末装置２０は、ライブに参加した複数の観客がそれぞれ装着するＡＲグラス１０において同じ配置となるように、マーカーの検出の有無に関わらず、所定の拡張現実の画像をＡＲグラス１０の表示部１２に表示する。これにより情報処理システムは、ライブ会場における各観客２の位置等に関わらず、各観客２のＡＲグラス１０に同じ拡張現実の画像を同じ配置で表示することができる。

【0083】

＜変形例＞
変形例に係る情報処理システムでは、観客２が支払った料金の価格に応じて、ＡＲグラス１０に表示する拡張現実の画像に差異が設けられている。例えばライブ会場の観客席にはＳ席、Ａ席及びＢ席等の区別があり、それぞれに価格が異なっている。又は、観客席の価格とは別に、拡張現実の料金が設定されてもよい。変形例に係る情報処理システムでは、高価格の支払いを行った観客２に対して、より程度の高い（例えば、より趣向性が高い、より迫力がある、より派手な、又は、より拡張現実の画像のデータ量が多い等々）拡張現実を提供する。

【0084】

変形例に係る情報処理システムでは、例えばライブの拡張現実に関する料金を支払った観客２に対して、支払った料金の価格に応じたチケットが配布される。チケットには拡張現実の拡張現実データをサーバ装置３０からダウンロードするためのコードが記載されているが、変形例に係る情報処理システムでは価格に応じたコードがチケットに記載される。このチケットに記載されたコードを端末装置２０から入力してサーバ装置３０から拡張現実データをダウンロードすることにより、端末装置２０には価格に応じた拡張現実の拡張現実データがダウンロードされる。サーバ装置３０は、価格に応じた複数の拡張現実データをコードに対応付けてデータベースに記憶しており、端末装置２０から拡張現実データの送信要求と共に与えられるコードに対応した拡張現実データを読み出して、要求元の端末装置２０へ送信する。

【0085】

これにより各端末装置２０には、観客２が支払った料金の価格に応じた拡張現実データが記憶される。ライブ中にはこの拡張現実データに基づいて拡張現実の画像の表示が行われるため、ＡＲグラス１０を装着した観客２は価格に応じた拡張現実のライブを体験することができる。

【0086】

なお、価格に応じた拡張現実のライブ体験を観客２に提供する方法は、本変形例にて説明したダウンロード用のコードを利用する方法に限らない。例えばライブ会場においてＡＲグラス１０を観客２に対して貸与するものとし、観客２が支払った価格に応じたＡＲグラス１０を貸与してもよい。この場合、例えば価格に応じた機能又は性能のＡＲグラス１０を観客２に貸与することができる。また例えば、同じ機能又は性能のＡＲグラス１０を観客２に貸与するが、各ＡＲグラス１０に対して価格に応じた個別のＩＤが設定され、このＩＤに応じてサーバ装置３０から端末装置２０（又はＡＲグラス１０）に価格に応じた拡張現実の画像を送信することができる。また例えば、ＡＲグラス１０が拡張現実データを記憶する構成の場合、又は、ＡＲグラス１０と共に端末装置２０を貸与する場合には、予め価格に応じた仮想現実の画像のデータをＡＲグラス１０又は端末装置２０にダウンロードしたものを貸与することができる。

【0087】

＜実施の形態２＞
実施の形態２に係る情報処理システムでは、例えばライブ会場等の実空間をＡＲグラス１０又は端末装置２０が認識し、認識した実空間に対応付けられた拡張現実の画像をＡＲグラス１０に表示する。これは、実空間をマーカーとみなして拡張現実の画像を表示する技術ということができ、例えばＶＰＳ（Virtual Positioning System）と呼ばれる画像から位置を特定する技術を用いて拡張現実の画像表示を行うものである。

【0088】

図１２は、実施の形態２に係る情報処理システムがライブの準備段階で行う処理を説明するための模式図である。ライブの準備段階において、例えばライブの主催者等は、アーティスト１及び観客２が存在しないライブ開催前のライブ会場を、カメラ４０にて撮影する。なおカメラ４０は、いわゆるビデオカメラ又はデジタルカメラ等の撮影専用の装置であってもよく、撮影機能付きのスマートフォン又はタブレット型端末装置等の装置であってもよい。カメラ４０にて撮影されたライブ会場の画像（動画像又は静止画像）は、通信によりサーバ装置３０へ送信される。

【0089】

実施の形態２に係るサーバ措置３０は、カメラ４０が撮影した画像に基づいて、ライブ会場を３次元仮想空間として再現した３次元情報を生成する。このときにサーバ装置３０は、例えばカメラ４０が撮影した２次元画像に対してエッジ又は角等を抽出する画像処理を行い、実空間に存在する物の角等の位置を示す３次元仮想空間上の点の座標を複数算出したものを３次元情報とすることができる。サーバ装置３０は、作成したライブ会場に対応する３次元情報を記憶部３２に記憶する。

【0090】

またライブの主催者等は、ライブの開催前に、ライブ中に表示する拡張現実の画像を作成すると共に、拡張現実の画像をライブ会場のいずれの位置に表示するかを設定する作業を行う。実施の形態２において主催者等は、この作業をパーソナルコンピュータ又はタブレット型端末装置等の端末装置５０を用いて行う。

【0091】

なお図１２においては、カメラ４０及び端末装置５０を別の装置としているが、これに限るものではなく、端末装置５０が撮影機能を備える装置であれば、ライブ会場の撮影を端末装置５０が行ってもよい。また図１２においては、カメラ４０がサーバ装置３０へ撮影した画像を直接的に送信しているが、これに限るものではなく、カメラ４０が撮影した画像を端末装置５０が取得し、端末装置５０がサーバ装置３０へ画像を送信してもよい。

【0092】

端末装置５０は、カメラ４０が撮影した画像に基づいてサーバ装置３０が生成したライブ会場の３次元情報を取得し、取得した３次元情報に基づいて、ライブ会場を再現した３次元仮想空間を表示部に表示する。また主催者等は、ライブ中に表示する仮想現実の画像を予め作成し、端末装置５０の記憶部に記憶しておく。端末装置５０は、表示した３次元仮想空間における座標の指定等の操作を主催者等から受け付け、受け付けた座標を拡張現実の画像を表示する位置とする。拡張現実の画像が複数存在する場合、端末装置５０は、画像毎に表示位置の受け付けを行ってよい。端末装置５０は、拡張現実の画像とその表示位置とを対応付けた表示位置設定を作成し、拡張現実の画像及び表示位置設定をサーバ装置３０へ送信する。

【0093】

図１３及び図１４は、端末装置５０が表示する拡張現実画像の表示位置の設定画面の一例を示す模式図である。なお図１３には拡張現実画像の配置前の状態を示し、図１４には拡張現実画像の配置後の状態を示している。端末装置５０が表示する設定画面には、仮想空間表示領域１０１、拡張現実画像選択領域１０２、演出選択領域１０３及びエフェクト選択領域１０４等が設けられている。

【0094】

設定画面の仮想空間表示領域１０１は、サーバ装置３０が生成したライブ会場の３次元情報に基づいて３次元仮想空間として再現されたライブ会場を表示する領域である。端末装置５０は、サーバ装置３０からライブ会場の３次元情報を取得し、取得した３次元情報に基づいてライブ会場の３次元仮想空間を再現する。

【0095】

設定画面の拡張現実画像選択領域１０２は、仮想空間表示領域１０１の下方に設けられ、予め作成された一又は複数の拡張現実の画像が一覧表示された領域である。ユーザは、拡張現実画像選択領域１０２に一覧表示された画像の中から、配置対象となる画像を選択することができる。

【0096】

設定画面の演出選択領域１０３は、仮想空間表示領域１０１の上方に、いわゆるタブの形式で設けられる。本例では、「オープニング演出」、「１曲目演出」、「アンコール煽り演出」等のラベルが付された複数のタブが演出選択領域１０３として設けられている。ユーザは、演出選択領域１０３のタブを選択することによって、表示位置を設定する拡張現実画像が表示されるのがライブのいずれのタイミングであるかを選択することができる。

【0097】

エフェクト選択領域１０４は、仮想空間表示領域１０１の右側に設けられ、拡張現実の画像を表示する際に付与するエフェクト（特殊効果）を選択するための領域である。エフェクト選択領域１０４には、エフェクトに対応する一又は複数のアイコンが並べて表示されている。ユーザはエフェクト選択領域１０４に表示されたアイコンを一又は複数選択することができ、選択されたアイコンに対応するエフェクトが拡張現実画像を表示する際に付与される。

【0098】

端末装置５０が設定画面を表示した状態において、ユーザは、配置対象の画像を選択した後、仮想空間表示領域１０１にて任意の表示位置を指定することで、選択した画像の表示位置を設定することができる。端末装置５０は、仮想空間表示領域１０１に対する表示位置（座標）の指定を受け付け、選択された拡張現実画像と表示位置とを対応付けて記憶する。端末装置５０は、図１４に示すように、表示位置が設定された拡張現実画像を、その表示位置に対応させて仮想空間表示領域１０１に表示する。また端末装置５０は、拡張現実画像及び表示位置を、演出選択領域１０３にて選択された演出、及び、エフェクト選択領域１０４にて選択されたエフェクト等の情報に対応付けて記憶してよい。

【0099】

なお、図１３及び図１４に示した設定画面は一例であって、これに限るものではない。

【0100】

上記の処理により、主催者等によるライブ中に表示する仮想現実の画像の準備がなされる。準備が完了した後、実施の形態２に係る情報処理システムでは、サーバ装置３０が、仮想現実の画像及びこの画像の表示位置設定等を含むデータを、予めライブの観客が使用する端末装置２０に配信する。端末装置２０は、サーバ装置３０から配信された情報を受信し、受信した情報を少なくともライブが終了するまで記憶部２２に記憶しておく。なお実施の形態２においては、拡張現実の画像及び表示位置設定等の情報を予め観客の端末装置２０に配信しておくものとしたが、これに限るものではなく、これらの情報をライブ中にリアルタイムで配信してもよい。

【0101】

図１５は、実施の形態２に係る情報処理システムがライブの開催中に行う処理を説明するための模式図である。実施の形態２に係る情報処理システムにおいては、ライブの開催中に観客２のＡＲグラス１０に拡張現実の画像を表示するタイミングは、主催者等による端末装置５０の操作により決定される。

【0102】

実施の形態２に係る端末装置５０は、例えば予め作成して記憶されたライブ中に表示する複数の拡張現実の画像を記憶部から読み出し、読み出した複数の画像を所定の順序で並べて表示部に一覧表示する。このときに複数の画像を並べる所定の順序は、例えばライブで表示する順序とすることができる。端末装置５０は、一覧表示した画像からの選択操作、及び、選択された画像の表示を指示する操作を、主催者等から受け付ける。

【0103】

端末装置５０は、拡張現実の画像の表示を指示する操作を受け付けた場合、拡張現実の画像の表示指示をサーバ装置３０へ送信する。この表示指示には、例えば拡張現実の画像に対して一意に付された画像ＩＤ等の情報が含まれ得る。端末装置５０から拡張現実の画像の表示指示を受信したサーバ装置３０は、ライブに参加している全ての観客２の端末装置２０へ、拡張現実の画像の表示指示を送信する。

【0104】

観客２が使用する端末装置２０は、ＡＲグラス１０のカメラ１３にてライブ会場の撮影を行い、撮影した画像に基づいてライブ会場を３次元仮想空間として再現する３次元情報を生成する。このときに端末装置２０が生成する３次元情報は、図１２に示したライブの準備段階においてサーバ装置３０がカメラ４０にて撮影された画像に基づいて生成するライブ会場の３次元情報と略同じものとなる。

【0105】

端末装置２０は生成した３次元情報をサーバ装置３０へ送信し、サーバ装置３０は自身が作成した３次元情報と端末装置２０が作成した３次元情報とが一致するか否かの判断を行う。なおこの際の判断は、２つの３次元情報が完全に一致することを要求するものではなく、同じ実空間に基づく３次元画像であると判断し得る程度に一致すればよい。

【0106】

３次元情報が一致したと判断した場合、サーバ装置３０は、その旨を端末装置２０へ通知すると共に、自身の３次元情報の座標と、端末装置２０の３次元情報の座標とを一致させるために必要な情報を送信する。このときに送信する情報には、例えば３次元仮想空間の座標の原点位置、ｘ軸方向、ｙ軸方向、ｚ軸方向等の情報が含まれ得る。この情報を受信した端末装置２０が自身の３次元情報について座標を修正する処理を行うことにより、サーバ装置３０が認識したライブ会場の３次元仮想空間と、端末装置２０が認識したライブ会場の３次元仮想空間とを同じ座標系で扱うことができる。

【0107】

ライブの開始後、サーバ装置３０から拡張現実の画像の表示指示を受信した観客２の端末装置２０は、受信した表示指示に含まれる画像ＩＤ等の情報に基づいて、予め記憶部２２に記憶しておいた拡張現実の画像の中から、表示すべき画像を読み出す。また端末装置２０は、この画像に対応付けられた表示位置設定を読み出す。端末装置２０は、読み出した画像と、表示位置設定に設定された座標情報とをＡＲグラス１０へ与える。ＡＲグラス１０は、端末装置２０から与えられた座標情報に基づいて、端末装置２０から与えられた画像を表示部１２に表示する。これによりＡＲグラス１０を装着したユーザは、ライブ会場に拡張現実の画像が重畳された拡張現実を体験することができる。

【0108】

図１６は、実施の形態２に係る端末装置５０の構成を示すブロック図である。実施の形態２に係る端末装置５０は、処理部（プロセッサ）５１、記憶部（ストレージ）５２、通信部（トランシーバ）５３、表示部（ディスプレイ）５４及び操作部５５等を備えて構成されている。端末装置５０は、例えばパーソナルコンピュータ又はタブレット型端末装置等の汎用の情報処理装置を用いて構成され得る。

【0109】

処理部５１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部５１は、記憶部５２に記憶されたプログラム５２ａを読み出して実行することにより、ライブ中に表示する拡張現実の画像の作成及び編集等の操作を受け付ける処理、拡張現実の画像の表示位置の設定を受け付ける処理、並びに、ライブ中に拡張現実の画像を表示する指示を受け付ける処理等の種々の処理を行う。

【0110】

記憶部５２は、例えばハードディスク又はフラッシュメモリ等の記憶装置を用いて構成されている。記憶部５２は、処理部５１が実行する各種のプログラム、及び、処理部５１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部５２は、処理部５１が実行するプログラム５２ａと、拡張現実の画像データ５２ｂとする。

【0111】

記憶部２２に記憶されるプログラム５２ａは、ライブの主催者等が拡張現実の画像の生成及び表示指示等の操作を行うためのアプリケーションプログラムである。実施の形態においてプログラム５２ａは遠隔のサーバ装置等により配信され、これを端末装置５０が通信にて取得し、記憶部５２に記憶する。ただしプログラム５２ａは、例えば端末装置５０の製造段階において記憶部５２に書き込まれてもよい。例えばプログラム５２ａは、メモリカード又は光ディスク等の記録媒体９７に記録されたプログラム５２ａを端末装置５０が読み出して記憶部５２に記憶してもよい。例えばプログラム５２ａは、記録媒体９７に記録されたものを書込装置が読み出して端末装置５０の記憶部５２に書き込んでもよい。プログラム５２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９７に記録された態様で提供されてもよい。

【0112】

記憶部５２に記憶される画像データ５２ｂは、ライブ中にＡＲグラス１０に表示する拡張現実の画像のデータである。これらの画像のデータは、端末装置５０に手作成されてもよく、別の装置にて作成されたものを端末装置５０が通信等により取得して記憶部５２に記憶してもよい。拡張現実の画像は、２次元画像又は３次元画像のいずれであってもよく、静止画像又は動画像のいずれであってもよい。

【0113】

通信部５３は、例えば第４世代移動通信システム（４Ｇ）もしくは第５世代移動通信システム（５Ｇ）等の携帯電話通信網、又は、無線ＬＡＮ（Local Area Network）等の無線通信により、種々の装置との間で通信を行う。本実施の形態において通信部５３は、サーバ装置３０との間で無線によるデータの送受信を行う。通信部５３は、処理部５１から与えられたデータをサーバ装置３０へ送信すると共に、サーバ装置３０から受信したデータを処理部５１へ与える。なお通信部５３は、無線通信ではなく、有線通信を行うものであってもよい。

【0114】

表示部５４は、液晶ディスプレイ等を用いて構成されており、処理部５１の処理に基づいて種々の画像及び文字等を表示する。なお液晶ディスプレイ等の表示装置が端末装置５０とは別に設けられてもよく、この場合に端末装置５０は表示部５４を備えず、別体の表示装置に画像信号等を出力して画像表示を行ってもよい。

【0115】

操作部５５は、ユーザの操作を受け付け、受け付けた操作を処理部５１へ通知する。例えば操作部５６は、キーボード又はマウス等の入力デバイスを用いて構成されてよく、これらの入力デバイスは端末装置５０に対して取り外すことが可能な構成であってよい。また操作部５５は、表示部５４の表面に設けられたタッチパネル等の入力デバイスであってもよい。

【0116】

また本実施の形態に係る端末装置５０は、記憶部５２に記憶されたプログラム５２ａを処理部５１が読み出して実行することにより、設定処理部５１ａ及び表示指示部５１ｂ等がソフトウェア的な機能部として処理部５１に実現される。

【0117】

設定処理部５１ａは、拡張現実の画像の表示位置の設定を受け付ける処理を行う。設定処理部５１ａは、サーバ装置３０からライブ会場の３次元情報を取得し、取得した３次元情報に基づいてライブ会場を再現した３次元仮想空間の画像を表示部５４に表示する。また設定処理部５１ａは、ライブ会場の３次元仮想空間の表示領域の近傍に、記憶部５２に画像データ５２ｂとして記憶された一又は複数の画像を一覧表示する。設定処理部５１ａは、一覧表示した画像の中から設定対象の画像の選択を受け付けると共に、表示した３次元仮想空間のライブ会場における表示位置の指定を受け付ける。設定処理部５１ａは、選択された画像に対して指定された表示位置の３次元座標の情報を対応付けた表示位置設定を作成して記憶部５２に記憶すると共に、サーバ装置３０へ送信する。

【0118】

表示指示部５１ｂは、ライブ中に観客のＡＲグラス１０に拡張現実の画像を表示する指示を、ライブの主催者等から受け付ける処理を行う。表示指示部５１ｂは、例えばライブ中に表示する拡張現実の画像を記憶部５２から読み出して表示部５４に一覧表示すると共に、各画像の表示指示を受け付けるボタン等を表示する。表示指示部５１ｂは、操作部５５に対する操作を受け付けることにより画像の表示指示を受け付けて、表示する画像のＩＤ等の情報を含む表示指示をサーバ装置３０へ送信する。

【0119】

図１７は、実施の形態２に係るサーバ装置３０が行う処理の手順を示すフローチャートである。実施の形態２に係るサーバ装置３０の処理部３１は、カメラ４０が撮影したライブ会場を撮影した画像を、例えば通信により取得する（ステップＳ６１）。処理部３１は、取得した画像に基づいて、ライブ会場を３次元仮想空間として再現した３次元情報を生成する（ステップＳ６２）。処理部３１は、生成したライブ会場の３次元情報を記憶部３２に記憶する（ステップＳ６３）。

【0120】

その後、処理部３１は、ライブの主催者等が使用する端末装置５０から、ライブ会場を３次元仮想空間として再現した画像を表示するために、３次元情報の送信が要求されたか否かを判定する（ステップＳ６４）。要求されていない場合（Ｓ６４：ＮＯ）、処理部３１は、端末装置５０からの要求がなされるまで待機する。要求がなされた場合（Ｓ６４：ＹＥＳ）、処理部３１は、記憶部３２に記憶したライブ会場の３次元情報を要求元の端末装置５０へ送信する（ステップＳ６５）。

【0121】

その後、処理部３１は、３次元情報を送信した端末装置５０から、拡張現実の画像とその表示位置とを対応付けた設定情報を受信したか否かを判定する（ステップＳ６６）。設定情報を受信していない場合（Ｓ６６：ＮＯ）、処理部３１は、設定情報を受信するまで待機する。仮想現実の画像の表示位置に関する設定情報を受信した場合（Ｓ６６：ＹＥＳ）、処理部３１は、受信した設定情報を記憶部３２に記憶して（ステップＳ６７）、処理を終了する。

【0122】

図１８は、実施の形態２に係る端末装置５０がライブの準備段階において行う処理の手順を示すフローチャートである。実施の形態２に係る端末装置５０の処理部５１の設定処理部５１ａは、３次元仮想空間として再現されたライブ会場を表示するための３次元情報をサーバ装置３０に要求する（ステップＳ８１）。設定処理部５１ａは、ステップＳ８１の要求に応じてサーバ装置３０から送信されるライブ会場の３次元情報を受信したか否かを判定する（ステップＳ８２）。３次元情報を受信していない場合（Ｓ８２：ＮＯ）、設定処理部５１ａは、３次元情報を受信するまで待機する。

【0123】

サーバ装置３０から３次元情報を受信した場合（Ｓ８２：ＹＥＳ）、設定処理部５１ａは、拡張現実の画像の表示位置の設定を受け付けるための設定画面を表示部５４に表示する（ステップＳ８３）。この設定画面には、例えばライブ会場を３次元仮想空間として再現した画像と、予め作成された一又は複数の拡張現実の画像とが並べて表示される。

【0124】

設定処理部５１ａは、表示部５４に表示した設定画面において、操作部５５に対する操作に基づき、設定対象となる拡張現実の画像の選択を受け付ける（ステップＳ８４）。また設定処理部５１ａは、選択された画像の表示位置を、３次元仮想空間の座標情報として受け付ける（ステップＳ８５）。設定処理部５１ａは、拡張現実の画像を識別するＩＤ等と、この画像を表示する位置の座標情報とを対応付けた表示位置設定をサーバ装置３０へ送信し（ステップＳ８６）、処理を終了する。

【0125】

図１９は、実施の形態２に係る端末装置５０がライブ中に行う処理の手順を示すフローチャートである。実施の形態２に係る端末装置５０の処理部５１の表示指示部５１ｂは、例えばライブ中に表示する拡張現実の画像とこれを表示する操作を受け付けるボタンとが並べられた表示指示受付画面を表示部５４に表示する（ステップＳ１０１）。

【0126】

表示指示部５１ｂは、例えば表示指示受付画面において画像と共に表示されたボタンに対する操作の有無を判定することにより、拡張現実の画像を表示する操作がなされたか否かを判定する（ステップＳ１０２）。拡張現実の画像を表示する操作がなされていない場合（Ｓ１０２：ＮＯ）、表示指示部５１ｂは、操作がなされるまで待機する。拡張現実の画像を表示する操作がなされた場合（Ｓ１０２：ＹＥＳ）、表示指示部５１ｂは、例えば表示する画像のＩＤ等の情報を含む表示指示をサーバ装置３０へ送信する（ステップＳ１０３）。

【0127】

表示指示部５１ｂは、例えばライブが終了して表示指示受付画面の表示を終了する操作を受け付けたか否かに基づき、表示指示の受け付けを終了するか否かを判定する（ステップＳ１０４）。終了しない場合（Ｓ１０４：ＮＯ）、表示指示部５１ｂは、ステップＳ１０２へ処理を戻す。終了する場合（Ｓ１０４：ＹＥＳ）、表示指示部５１ｂは、例えば表示指示受付画面を非表示として、処理を終了する。

【0128】

図２０は、実施の形態２に係る端末装置２０が行う処理の手順を示すフローチャートである。実施の形態２に係る端末装置２０の処理部２１は、例えばライブが開始する前の時点において、サーバ装置３０が配信する拡張現実の画像及びその表示位置設定を取得する（ステップＳ１１１）。処理部２１は、取得した拡張現実の画像及び表示位置設定を記憶部２２に記憶する（ステップＳ１１２）。

【0129】

その後、例えばライブの開始前又はライブ中において、処理部２１は、ＡＲグラス１０のカメラ１３が撮影した画像を取得する（ステップＳ１１３）。処理部２１は、取得した撮影画像に基づいて、ライブ会場を３次元仮想空間として再現した３次元情報を生成する（ステップＳ１１４）。処理部２１は、例えば生成した３次元情報をサーバ装置３０へ送信し、サーバ装置３０からの応答を受信することによって、自身が３次元仮想空間として認識したライブ会場の３次元座標系と、サーバ装置３０が３次元仮想空間として認識したライブ会場の３次元座標系とを一致させる座標合わせを行う（ステップＳ１１５）。

【0130】

例えばライブの開始後において、処理部２１は、サーバ装置３０から拡張現実の画像の表示指示を受信したか否かを判定する（ステップＳ１１６）。表示指示を受信していない場合（Ｓ１１６：ＮＯ）、処理部２１は、表示指示を受信するまで待機する。表示指示を受信した場合（Ｓ１１６：ＹＥＳ）、処理部２１は、表示を指示された拡張現実の画像を記憶部２２から読み出す（ステップＳ１１７）。処理部２１は、読み出した画像に対応する表示位置設定に基づいて、この画像の表示位置を決定する（ステップＳ１１８）。処理部２１は、読み出した画像をＡＲグラス１０へ与えると共に、決定した表示位置をＡＲグラス１０へ通知することにより、ＡＲグラス１０の表示部１２に拡張現実の画像を設定された表示位置となるように表示する（ステップＳ１１９）。

【0131】

処理部２１は、例えばライブが終了して拡張現実の画像の表示を終了する操作を受け付けたか否かに基づき、拡張現実の画像の表示を終了するか否かを判定する（ステップＳ１２０）。終了しない場合（Ｓ１２０：ＮＯ）、処理部２１は、ステップＳ１１６へ処理を戻す。終了する場合（Ｓ１２０：ＹＥＳ）、処理部２１は、例えばＡＲグラス１０へ拡張現実の画像の表示の終了を指示して、処理を終了する。

【0132】

以上の構成の実施の形態２に係る情報処理システムでは、カメラ４０がライブ会場を撮影した画像に基づいて、サーバ装置３０がライブ会場に対応する３次元仮想空間の情報を生成する。サーバ装置３０は、生成した３次元情報をライブの主催者等が使用する端末装置５０へ送信し、端末装置５０を介して３次元仮想空間に対する拡張現実の画像の表示位置の設定を受け付けて、受け付けた表示位置設定を記憶部３２に記憶する。これにより実施の形態２に係る情報処理システムでは、ライブの準備段階において、拡張現実の画像の表示位置の設定をライブの主催者等が容易に行うことが期待できる。

【0133】

また実施の形態２に係る情報処理システムでは、端末装置５０がライブ中に仮想現実の画像を表示する指示を受け付け、サーバ装置３０へ表示指示を送信する。これに応じてサーバ装置３０は、ライブの観客が使用する全ての端末装置２０へ表示指示を送信する。これによりライブの主催者等は、ライブの進行に合わせて拡張現実の画像の表示を操作することができる。

【0134】

また実施の形態２に係る情報処理システムでは、観客のＡＲグラス１０のカメラ１３が撮影した画像に基づいて、端末装置２０がライブ会場に対応する３次元仮想空間の情報を生成する。端末装置２０は、拡張現実の画像及びこの画像の表示位置の設定情報をサーバ装置３０から取得する。端末装置２０は、生成した３次元仮想空間の情報と、取得した表示位置の設定情報とに基づいて、取得した拡張現実の画像をＡＲグラス１０の表示部１２に表示する処理を行う。これにより端末装置２０は、ライブ会場に対応する３次元仮想空間に対して表示位置が設定された拡張現実の画像を適切に表示することができる。

【0135】

また実施の形態２に係る情報処理システムでは、観客が使用する端末装置２０は、ライブの主催者等が使用する端末装置５０からの表示指示を、サーバ装置３０を介して受信する。端末装置２０は、受信した表示指示に応じて、拡張現実の画像をＡＲグラス１０の表示部１２に表示する。これにより、ライブの進行に合わせた主催者等の操作に応じて、観客のＡＲグラス１０に拡張現実の画像を表示することができる。

【0136】

なお実施の形態２においては、ライブの主催者等が端末装置５０を用いて種々の操作を行う構成としたが、これに限るものではなく、サーバ装置３０に表示部及び操作部等が備えられている場合には、主催者等がサーバ装置３０を用いて種々の操作を行ってもよい。即ち、サーバ装置３０及び端末装置５０は１つの装置であってもよい。またサーバ装置３０及び端末装置５０の役割分担は、実施の形態２に示したものに限らず、適宜に変更され得る。また観客の端末装置２０は、ＡＲグラス１０のカメラ１３が撮影した画像を基にライブ会場に対応する３次元情報を生成する構成としたが、これに限るものではなく、撮影画像を端末装置２０がサーバ装置３０へ送信し、サーバ装置３０が受信した画像に基づいて３次元情報を生成して端末装置２０へ送信してもよい。

【0137】

また実施の形態２においては、ライブ中に主催者等が端末装置５０を操作することで観客のＡＲグラス１０に拡張現実の画像を表示するタイミングを制御しているが、これに限るものではない。例えば予め定められた時刻又は時間経過等に応じて拡張現実の画像を表示させてもよく、また例えばライブの進行状況をサーバ装置３０が判断して拡張現実の画像を表示させてもよい。

【0138】

また実施の形態２に係る情報処理システムは、実施の形態１に係る情報処理システムが行うマーカーの検出に応じた仮想現実の画像の表示を併用してもよい。この場合に情報処理システムは、例えば３次元仮想空間の情報に基づいて表示位置が設定された仮想現実の画像を、マーカーを検出したタイミングで表示してもよい。

【0139】

また実施の形態２に係る情報処理システムでは、ライブの準備段階においてカメラ４０にてライブ会場を撮影し、撮影した画像に基づいてライブ会場に対応する３次元仮想空間の情報を生成しているが、これに限るものではない。例えば、以前のライブ等においてライブ会場に対応する３次元仮想空間の情報を生成済みであり、この情報を再利用できる場合には、ライブの準備段階においてカメラ４０によるライブ会場の撮影を行わなくてもよい。サーバ装置３０は、ライブ会場に対応する３次元仮想空間の情報をデータベースに蓄積し、これを必要とするライブの主催者等へ配信してよい。

【0140】

また、実施の形態２に係る情報処理システムのその他の構成は、実施の形態１に係る情報処理システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0141】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0142】

１ アーティスト
２ 観客
３ 画像（拡張現実画像）
４ マーカー
５ ディスプレイ装置
５ａ マーカー
１０ ＡＲグラス
１１ フレーム
１２ 表示部
１３ カメラ
１４ 通信ケーブル
１５ 処理部
１６ 有線通信部
２０ 端末装置
２１ 処理部
２１ａ 検出処理部
２１ｂ 拡張現実処理部（表示処理部）
２２ 記憶部
２２ａ プログラム
２２ｂ 拡張現実データ
２３ 無線通信部
２４ 有線通信部
２５ 表示部
２６ 操作部
３０ サーバ装置
３１ 処理部
３１ａ データ送信処理部
３１ｂ ライブ管理処理部
３２ａ サーバプログラム
３２ｂ 拡張現実データ
３３ 通信部
４０ カメラ
５０ 端末装置
５１ 処理部
５１ａ 設定処理部
５１ｂ 表示指示部
５２ 記憶部
５２ａ プログラム
５２ｂ 画像データ
５３ 通信部
５４ 表示部
５５ 操作部
９７，９８，９９ 記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】