ホーム > 特許ランキング > ソニーグループ株式会社
特開2023-181567情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181567
(43)【公開日】2023-12-25
(54)【発明の名称】情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法
(51)【国際特許分類】
G06F 3/048 20130101AFI20231218BHJP
A63F 13/65 20140101ALI20231218BHJP
A63F 13/53 20140101ALI20231218BHJP
A63F 13/54 20140101ALI20231218BHJP
A63G 31/16 20060101ALI20231218BHJP
A63J 99/00 20090101ALI20231218BHJP
G06F 3/01 20060101ALI20231218BHJP
G06F 3/0487 20130101ALI20231218BHJP
H04N 5/93 20060101ALI20231218BHJP
H04N 5/92 20060101ALI20231218BHJP
G10H 1/00 20060101ALI20231218BHJP
【ＦＩ】
G06F3/048
A63F13/65
A63F13/53
A63F13/54
A63G31/16
A63J99/00 Z
G06F3/01 570
G06F3/0487
H04N5/93
H04N5/92 010
G10H1/00 102Z
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2020188554
(22)【出願日】2020-11-12
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100104215
【弁理士】
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100196575
【弁理士】
【氏名又は名称】高橋 満
(74)【代理人】
【識別番号】100168181
【弁理士】
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100160989
【弁理士】
【氏名又は名称】関根 正好
(74)【代理人】
【識別番号】100117330
【弁理士】
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100168745
【弁理士】
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【弁理士】
【氏名又は名称】金山 慎太郎
(74)【代理人】
【識別番号】100197398
【弁理士】
【氏名又は名称】千葉 絢子
(74)【代理人】
【識別番号】100197619
【弁理士】
【氏名又は名称】白鹿 智久
(72)【発明者】
【氏名】高橋 正宏
(72)【発明者】
【氏名】西出 幸子
(72)【発明者】
【氏名】白川 実祐樹
(72)【発明者】
【氏名】津田 崇基
【テーマコード（参考）】
5C053
5D478
5E555
【Ｆターム（参考）】
5C053GB06
5C053HA01
5C053HA21
5C053JA22
5C053LA01
5C053LA11
5C053LA14
5D478GG03
5E555AA25
5E555AA46
5E555AA57
5E555AA64
5E555AA76
5E555BA02
5E555BA04
5E555BB04
5E555BC04
5E555BE17
5E555CA42
5E555CA44
5E555CA45
5E555CB21
5E555CB48
5E555CB66
5E555DA02
5E555DA23
5E555DB41
5E555DB53
5E555DB57
5E555DC09
5E555DC13
5E555DC84
5E555DC85
5E555EA05
5E555FA00
(57)【要約】 （修正有）
【課題】音による拡張現実の体験を共有することが可能な情報処理装置、情報処理方法、情報処理システム及びデータ生成方法を提供する。
【解決手段】サーバ装置及び各端末装置は、ネットワークを介して通信可能に接続される情報処理システムにおいて、端末装置（情報処理装置）は、取得部（端末データ管理部）と、生成部（ライブコンテンツ生成部）と、を具備する。取得部は、ユーザが音による拡張現実を体験中に発生したイベントＥごとに、イベントＥで提示される音データを含む視聴覚データがタイムライン６に沿って記録されたイベント情報１０を取得する。生成部は、イベント情報１０に基づいて、タイムライン６を基準に視聴覚データを再生する再生データを生成する。
【選択図】図３
【解決手段】サーバ装置及び各端末装置は、ネットワークを介して通信可能に接続される情報処理システムにおいて、端末装置（情報処理装置）は、取得部（端末データ管理部）と、生成部（ライブコンテンツ生成部）と、を具備する。取得部は、ユーザが音による拡張現実を体験中に発生したイベントＥごとに、イベントＥで提示される音データを含む視聴覚データがタイムライン６に沿って記録されたイベント情報１０を取得する。生成部は、イベント情報１０に基づいて、タイムライン６を基準に視聴覚データを再生する再生データを生成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示される音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得する取得部と、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する生成部と
情報処理装置。
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する生成部と
情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、
前記視聴覚データは、前記イベントに関連する視覚データを含む
情報処理装置。
前記視聴覚データは、前記イベントに関連する視覚データを含む
情報処理装置。
【請求項3】
請求項２に記載の情報処理装置であって、
前記視覚データは、前記音データの内容を視覚的に表すデータである
情報処理装置。
前記視覚データは、前記音データの内容を視覚的に表すデータである
情報処理装置。
【請求項4】
請求項２に記載の情報処理装置であって、
前記視覚データは、前記イベントが発生した際に収音された音声又は環境音の内容を視覚的に表すデータである
情報処理装置。
前記視覚データは、前記イベントが発生した際に収音された音声又は環境音の内容を視覚的に表すデータである
情報処理装置。
【請求項5】
請求項１に記載の情報処理装置であって、
前記イベント情報は、前記タイムラインにおける前記イベントを発生させるトリガの検出タイミングを含む
情報処理装置。
前記イベント情報は、前記タイムラインにおける前記イベントを発生させるトリガの検出タイミングを含む
情報処理装置。
【請求項6】
請求項５に記載の情報処理装置であって、
前記イベント情報は、前記イベントにおける前記視聴覚データの提示タイミングを含み、
前記生成部は、前記視聴覚データの提示タイミングを基準に、前記再生データにおいて前記視聴覚データが再生されるタイミングを設定する
情報処理装置。
前記イベント情報は、前記イベントにおける前記視聴覚データの提示タイミングを含み、
前記生成部は、前記視聴覚データの提示タイミングを基準に、前記再生データにおいて前記視聴覚データが再生されるタイミングを設定する
情報処理装置。
【請求項7】
請求項６に記載の情報処理装置であって、
前記視聴覚データの提示タイミングは、前記トリガの検出タイミングに対する相対的な時間として記録される
情報処理装置。
前記視聴覚データの提示タイミングは、前記トリガの検出タイミングに対する相対的な時間として記録される
情報処理装置。
【請求項8】
請求項１に記載の情報処理装置であって、
前記イベント情報は、前記イベントにおける前記視聴覚データの提示位置を含み、
前記生成部は、前記視聴覚データの提示位置を基準に、前記再生データにおいて前記視聴覚データが再生される位置を設定する
情報処理装置。
前記イベント情報は、前記イベントにおける前記視聴覚データの提示位置を含み、
前記生成部は、前記視聴覚データの提示位置を基準に、前記再生データにおいて前記視聴覚データが再生される位置を設定する
情報処理装置。
【請求項9】
請求項１に記載の情報処理装置であって、
前記視聴覚データは、前記イベントが発生した際の状況を表す状況情報に基づいて生成されたデータ、又は前記状況情報に基づいて選択されたデータである
情報処理装置。
前記視聴覚データは、前記イベントが発生した際の状況を表す状況情報に基づいて生成されたデータ、又は前記状況情報に基づいて選択されたデータである
情報処理装置。
【請求項10】
請求項９に記載の情報処理装置であって、
前記状況情報は、前記ユーザの周辺環境、前記ユーザのステータス、及び前記ユーザの動作内容の少なくとも１つに関する情報を含む
情報処理装置。
前記状況情報は、前記ユーザの周辺環境、前記ユーザのステータス、及び前記ユーザの動作内容の少なくとも１つに関する情報を含む
情報処理装置。
【請求項11】
請求項１に記載の情報処理装置であって、
前記取得部は、第１のユーザを対象とするイベントに関する前記イベント情報を取得し、
前記生成部は、前記再生データとして、前記第１のユーザとは異なる第２のユーザに対して、前記第１のユーザを対象とするイベントを視聴可能なように提示する共有データを生成する
情報処理装置。
前記取得部は、第１のユーザを対象とするイベントに関する前記イベント情報を取得し、
前記生成部は、前記再生データとして、前記第１のユーザとは異なる第２のユーザに対して、前記第１のユーザを対象とするイベントを視聴可能なように提示する共有データを生成する
情報処理装置。
【請求項12】
請求項１１に記載の情報処理装置であって、
前記生成部は、前記第１のユーザ及び前記第２のユーザの相対距離、又は前記第１のユーザ及び前記第２のユーザの所属の少なくとも一方が所定の条件を満たした場合に、前記共有データを生成する
情報処理装置。
前記生成部は、前記第１のユーザ及び前記第２のユーザの相対距離、又は前記第１のユーザ及び前記第２のユーザの所属の少なくとも一方が所定の条件を満たした場合に、前記共有データを生成する
情報処理装置。
【請求項13】
請求項１１に記載の情報処理装置であって、
前記生成部は、前記第１のユーザを対象とするイベントにおける前記音データの提示位置と前記第２のユーザの位置との相対的な位置関係に基づいて、前記共有データにおける前記音データの再生音量又は再生方位の少なくとも一方を調整する
情報処理装置。
前記生成部は、前記第１のユーザを対象とするイベントにおける前記音データの提示位置と前記第２のユーザの位置との相対的な位置関係に基づいて、前記共有データにおける前記音データの再生音量又は再生方位の少なくとも一方を調整する
情報処理装置。
【請求項14】
請求項１に記載の情報処理装置であって、
前記生成部は、前記再生データとして、前記タイムラインに沿って前記イベントを再現する再現コンテンツを生成する
情報処理装置。
前記生成部は、前記再生データとして、前記タイムラインに沿って前記イベントを再現する再現コンテンツを生成する
情報処理装置。
【請求項15】
請求項１４に記載の情報処理装置であって、
前記取得部は、前記ユーザが前記音による拡張現実を体験する際に撮影された体験画像を取得し、
前記生成部は、前記タイムラインに沿って、前記体験画像に前記視聴覚データによる演出を加えることで前記再現コンテンツを生成する
情報処理装置。
前記取得部は、前記ユーザが前記音による拡張現実を体験する際に撮影された体験画像を取得し、
前記生成部は、前記タイムラインに沿って、前記体験画像に前記視聴覚データによる演出を加えることで前記再現コンテンツを生成する
情報処理装置。
【請求項16】
請求項１５に記載の情報処理装置であって、
前記体験画像は、前記ユーザを含む前記音による拡張現実の体験者が携帯するカメラ、又は前記体験者の周辺に配置されたカメラの少なくとも一方により撮影された画像である
情報処理装置。
前記体験画像は、前記ユーザを含む前記音による拡張現実の体験者が携帯するカメラ、又は前記体験者の周辺に配置されたカメラの少なくとも一方により撮影された画像である
情報処理装置。
【請求項17】
請求項１５に記載の情報処理装置であって、
前記生成部は、前記イベントにおける前記音データの提示位置と前記体験画像の撮影位置との相対的な位置関係に基づいて、前記再現コンテンツにおける前記音データの再生音量又は再生方位の少なくとも一方を調整する
情報処理装置。
前記生成部は、前記イベントにおける前記音データの提示位置と前記体験画像の撮影位置との相対的な位置関係に基づいて、前記再現コンテンツにおける前記音データの再生音量又は再生方位の少なくとも一方を調整する
情報処理装置。
【請求項18】
ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得し、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する
ことをコンピュータシステムが実行する情報処理方法。
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する
ことをコンピュータシステムが実行する情報処理方法。
【請求項19】
ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データをタイムラインに沿って記録してイベント情報を生成する記録部と、
前記イベント情報を取得する取得部と、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する生成部と
を具備する情報処理システム。
前記イベント情報を取得する取得部と、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する生成部と
を具備する情報処理システム。
【請求項20】
ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得し、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する
ことをコンピュータシステムが実行するデータ生成方法。
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する
ことをコンピュータシステムが実行するデータ生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、拡張現実のコンテンツを提供可能な情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法に関する。
【背景技術】
【0002】
特許文献１には、ユーザの体の動きに応じて、リアルタイムにコンテンツを提供するシステムが記載されている。このシステムでは、ユーザの移動動作における所定状態のタイミングが予測され、この予測されたタイミングでコンテンツが再生される。これにより、例えば仮想的な足音いったコンテンツを、ユーザの歩行に合わせて適正なタイミングで再生することが可能となる（特許文献１の明細書段落［００１６］［００２０］［００２８］［００３６］図１、図４等）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２０／０９０２２３号
【発明の概要】
【発明が解決しようとする課題】
【0004】
引用文献１のように、音を再生することで現実感を拡張する方法が開発されている。このような音による拡張現実（ＡＲ：Augmented Reality）は、ユーザが個別に体験できる一方で、その体験内容を他者に伝えることが難しい場合がある。このため、音による拡張現実の体験を共有することが可能な技術が求められている。
【0005】
以上のような事情に鑑み、本技術の目的は、音による拡張現実の体験を共有することが可能な情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、生成部とを具備する。
前記取得部は、ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示される音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得する。
前記生成部は、前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する。
前記取得部は、ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示される音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得する。
前記生成部は、前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する。
【0007】
この情報処理装置では、音による拡張現実の体験中に生じたイベントを記録したイベント情報が取得される。イベント情報には、各イベントで提示される音データを含む視聴覚データがタイムラインに沿って記録されている。このイベント情報をもとに、タイムライン上で視聴覚データを再生する再生データが生成される。これにより、ユーザの体験内容を再現することが可能となり、音による拡張現実の体験を共有することが可能となる。
【0008】
前記視聴覚データは、前記イベントに関連する視覚データを含んでもよい。
【0009】
前記視覚データは、前記音データの内容を視覚的に表すデータであってもよい。
【0010】
前記視覚データは、前記イベントが発生した際に収音された音声又は環境音の内容を視覚的に表すデータであってもよい。
【0011】
前記イベント情報は、前記タイムラインにおける前記イベントを発生させるトリガの検出タイミングを含んでもよい。
【0012】
前記イベント情報は、前記イベントにおける前記視聴覚データの提示タイミングを含んでもよい。この場合、前記生成部は、前記視聴覚データの提示タイミングを基準に、前記再生データにおいて前記視聴覚データが再生されるタイミングを設定してもよい。
【0013】
前記視聴覚データの提示タイミングは、前記トリガの検出タイミングに対する相対的な時間として記録されてもよい。
【0014】
前記イベント情報は、前記イベントにおける前記視聴覚データの提示位置を含んでもよい。この場合、前記生成部は、前記視聴覚データの提示位置を基準に、前記再生データにおいて前記視聴覚データが再生される位置を設定してもよい。
【0015】
前記視聴覚データは、前記イベントが発生した際の状況を表す状況情報に基づいて生成されたデータ、又は前記状況情報に基づいて選択されたデータであってもよい。
【0016】
前記状況情報は、前記ユーザの周辺環境、前記ユーザのステータス、及び前記ユーザの動作内容の少なくとも１つに関する情報を含んでもよい。
【0017】
前記取得部は、第１のユーザを対象とするイベントに関する前記イベント情報を取得してもよい。この場合、前記生成部は、前記再生データとして、前記第１のユーザとは異なる第２のユーザに対して、前記第１のユーザを対象とするイベントを視聴可能なように提示する共有データを生成してもよい。
【0018】
前記生成部は、前記第１のユーザ及び前記第２のユーザの相対距離、又は前記第１のユーザ及び前記第２のユーザの所属の少なくとも一方が所定の条件を満たした場合に、前記共有データを生成してもよい。
【0019】
前記生成部は、前記第１のユーザを対象とするイベントにおける前記音データの提示位置と前記第２のユーザの位置との相対的な位置関係に基づいて、前記共有データにおける前記音データの再生音量又は再生方位の少なくとも一方を調整してもよい。
【0020】
前記生成部は、前記再生データとして、前記タイムラインに沿って前記イベントを再現する再現コンテンツを生成してもよい。
【0021】
前記取得部は、前記ユーザが前記音による拡張現実を体験する際に撮影された体験画像を取得してもよい。この場合、前記生成部は、前記タイムラインに沿って、前記体験画像に前記視聴覚データによる演出を加えることで前記再現コンテンツを生成してもよい。
【0022】
前記体験画像は、前記ユーザを含む前記音による拡張現実の体験者が携帯するカメラ、又は前記体験者の周辺に配置されたカメラの少なくとも一方により撮影された画像であってもよい。
【0023】
前記生成部は、前記イベントにおける前記音データの提示位置と前記体験画像の撮影位置との相対的な位置関係に基づいて、前記再現コンテンツにおける前記音データの再生音量又は再生方位の少なくとも一方を調整してもよい。
【0024】
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得することを含む。
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データが生成される。
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データが生成される。
【0025】
本技術の一形態に係る情報処理システムは、記録部と、取得部と、生成部とを有する。
前記記録部は、ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データをタイムラインに沿って記録してイベント情報を生成する。
前記取得部は、前記イベント情報を取得する。
前記生成部は、前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する。
前記記録部は、ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データをタイムラインに沿って記録してイベント情報を生成する。
前記取得部は、前記イベント情報を取得する。
前記生成部は、前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する。
【0026】
本技術の一形態に係るデータ生成方法は、コンピュータシステムにより実行されるデータ生成方法であって、ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得することを含む。
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データが生成される。
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データが生成される。
【図面の簡単な説明】
【0027】
【図1】本技術の第１の実施形態に係る情報処理システムの構成例を示す模式図である。
【図2】音によるＡＲの概要を示す模式図である。
【図3】イベント情報の生成フローを示す模式図である。
【図5】複数のユーザの間でイベントを共有させる処理の一例を示すフローチャートである。
【図6】共有データを用いて共有される共有イベントの一例を示す模式図である。
【図7】共有イベントに伴うイベント情報の一例を示す模式図である。
【図8】共有イベントに伴うイベント情報の一例を示す模式図である。
【図9】比較例として挙げるイベントの一例を示す模式図である。
【図10】第２の実施形態に係る情報処理システムの構成例を示す模式図である。
【図11】音によるＡＲの再現コンテンツの一例を示す模式図である。
【図13】再現コンテンツの生成方法の一例を示すフローチャートである。
【図14】再現コンテンツの生成に用いるイベント情報の一例を示す模式図である。
【図15】ユーザが一人で参加するアトラクションの流れを示す模式図である。
【図16】ユーザが一人で体験するセッションの一例を示す模式図である。
【図17】ユーザがグループで体験するセッションの一例を示す模式図である。
【図18】ユーザ同士が撮影した撮影映像をベースとする再現コンテンツについて説明するための模式図である。
【図19】コンテキストに応じた再現コンテンツの生成例を示す模式図である。
【図20】収音データを用いた再現コンテンツの生成例を示す模式図である。
【発明を実施するための形態】
【0028】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0029】
＜第１の実施形態＞
［情報処理装置の構成］
図１は、本技術の第１の実施形態に係る情報処理システムの構成例を示す模式図である。
情報処理システム１００は、複数のユーザ１を対象として音によるＡＲ（サウンドＡＲ）の体験を提供するシステムである。情報処理システム１００は、サーバ装置２０と、少なくとも１つの端末装置３０とを有する。サーバ装置２０は、音によるＡＲ体験全体を管理する装置である。端末装置３０は、各ユーザ１が携帯して使用する装置である。サーバ装置２０及び各端末装置３０は、ネットワーク５０を介して通信可能に接続される。
ネットワーク５０としては、例えばインターネットや、プライベートネットワーク等を利用した接続回線が用いられる。
［情報処理装置の構成］
図１は、本技術の第１の実施形態に係る情報処理システムの構成例を示す模式図である。
情報処理システム１００は、複数のユーザ１を対象として音によるＡＲ（サウンドＡＲ）の体験を提供するシステムである。情報処理システム１００は、サーバ装置２０と、少なくとも１つの端末装置３０とを有する。サーバ装置２０は、音によるＡＲ体験全体を管理する装置である。端末装置３０は、各ユーザ１が携帯して使用する装置である。サーバ装置２０及び各端末装置３０は、ネットワーク５０を介して通信可能に接続される。
ネットワーク５０としては、例えばインターネットや、プライベートネットワーク等を利用した接続回線が用いられる。
【0030】
図２は、音によるＡＲの概要を示す模式図である。
音によるＡＲとは、音声や効果音等の音（ＡＲサウンド３）を実世界に重ねて再生することで、ユーザ１に仮想的なオブジェクトやインタラクションを知覚させる拡張現実（ＡＲ）である。
音によるＡＲは、例えばテーマパークや各種の体験型イベント等のアトラクションとして提供される。アトラクションに参加したユーザ１は、例えば図２に示すようにイヤホン２が付属した端末装置３０を携帯して会場内を移動する。
イヤホン２としては、例えば外部の音が聞こえるように構成されたオープン型のイヤホンが用いられる。あるいは、外部の音を取り込み可能なクローズ型のイヤホンが用いられてもよい。これにより、再生したいＡＲサウンド３を、実世界の音に重畳して提示することが可能となる。また、外部の音が遮断されないため、安全性を高めることができる。またイヤホン２に代えて、ヘッドホン等の再生装置が用いられてもよい。
音によるＡＲとは、音声や効果音等の音（ＡＲサウンド３）を実世界に重ねて再生することで、ユーザ１に仮想的なオブジェクトやインタラクションを知覚させる拡張現実（ＡＲ）である。
音によるＡＲは、例えばテーマパークや各種の体験型イベント等のアトラクションとして提供される。アトラクションに参加したユーザ１は、例えば図２に示すようにイヤホン２が付属した端末装置３０を携帯して会場内を移動する。
イヤホン２としては、例えば外部の音が聞こえるように構成されたオープン型のイヤホンが用いられる。あるいは、外部の音を取り込み可能なクローズ型のイヤホンが用いられてもよい。これにより、再生したいＡＲサウンド３を、実世界の音に重畳して提示することが可能となる。また、外部の音が遮断されないため、安全性を高めることができる。またイヤホン２に代えて、ヘッドホン等の再生装置が用いられてもよい。
【0031】
なお、音によるＡＲでは、ＡＲサウンド３のみならず、ＡＲビジュアルが再生されてもよい。ＡＲビジュアルは、例えば実世界の映像に重畳される仮想キャラクタや、実世界の映像に加えられる視覚効果等の視覚的な情報である。例えば、端末装置３０に搭載されたカメラが撮影した実世界の映像が端末装置３０のディスプレイに表示される。この時、実世界の映像にＡＲビジュアルが重畳される。
ＡＲビジュアルとしては、典型的にはＡＲサウンド３と関連する情報（例えばキャラクタ等）、あるいはＡＲサウンド３の内容を表す情報（例えば擬音を表すエフェクト等）が用いられる。なおＡＲビジュアルは、必ずしもＡＲサウンド３と関連する必要はない。
ＡＲビジュアルとしては、典型的にはＡＲサウンド３と関連する情報（例えばキャラクタ等）、あるいはＡＲサウンド３の内容を表す情報（例えば擬音を表すエフェクト等）が用いられる。なおＡＲビジュアルは、必ずしもＡＲサウンド３と関連する必要はない。
【0032】
アトラクションでは、ユーザ１の位置情報や行動が適宜検出される。例えば、ユーザ１の位置情報は、Bluetooth（登録商標）、ビーコン、ＧＰＳ等を用いて検出され、ユーザ１の行動は、ＩＭＵ（慣性計測装置）等のモーションセンサを用いて検出される。
このように検出されたユーザ１の位置情報や行動等をトリガとして、実世界にＡＲサウンド３を重ねて再生することで、ユーザ１の体験が演出される。従って、ユーザ１が体験する内容は、ユーザ１ごとに異なる内容となる。
このように検出されたユーザ１の位置情報や行動等をトリガとして、実世界にＡＲサウンド３を重ねて再生することで、ユーザ１の体験が演出される。従って、ユーザ１が体験する内容は、ユーザ１ごとに異なる内容となる。
【0033】
図２に示す例では、ＡＲサウンド３として、仮想的な足音３ａや仮想的な音声３ｂが再生される。ここでは、ＡＲサウンド（仮想的な足音３ａや仮想的な音声３ｂ）が音符を用いて模式的に図示されている。
【0034】
例えば、ユーザ１の移動動作に合わせて、仮想的な足音３ａ（効果音）が提示される。この場合、ユーザ１が足を着地させるたびに、その着地のタイミングにあわせて仮想的な足音３ａがイヤホン２から再生される。これにより、雪原や水溜まり等の仮想的な地面を歩くような感覚を知覚させることや、仮想的なキャラクタとして歩行しているような感覚を知覚させることが可能となる。
また例えば、実世界の所定の位置に定位させた仮想的な音声３ｂが提示される。ここでは、実世界に設置されたベンチ５１の上に定位させた仮想的な音声３ｂが再生される。従って、例えばベンチ５１がユーザ１の背後にある場合、仮想的な音声３ｂは、ユーザ１の背後から聞こえるように再生される。また仮想的な音声３ｂの音量は、ベンチ５１に近づくほど大きくなるように調整される。これにより、あたかもベンチ５１の上に目に見えないキャラクタが存在しているかのような感覚を体験させることが可能となる。
この他、音によるＡＲの内容は限定されず、音声、効果音、ＢＧＭ等のＡＲサウンドを利用した任意の内容を設計することが可能である。
また例えば、実世界の所定の位置に定位させた仮想的な音声３ｂが提示される。ここでは、実世界に設置されたベンチ５１の上に定位させた仮想的な音声３ｂが再生される。従って、例えばベンチ５１がユーザ１の背後にある場合、仮想的な音声３ｂは、ユーザ１の背後から聞こえるように再生される。また仮想的な音声３ｂの音量は、ベンチ５１に近づくほど大きくなるように調整される。これにより、あたかもベンチ５１の上に目に見えないキャラクタが存在しているかのような感覚を体験させることが可能となる。
この他、音によるＡＲの内容は限定されず、音声、効果音、ＢＧＭ等のＡＲサウンドを利用した任意の内容を設計することが可能である。
【0035】
以下では、シナリオ（筋書き）に沿って進行するアトラクションを例に挙げて、音によるＡＲの内容等を説明する。
ここでは、１つのシナリオに沿って得られる体験をセッションとして捉える。セッションとは、一連のシナリオの開始から終了までに生じるひとかたまりの事象を意味する。あるいは、シナリオの開始から終了までの期間を指してセッションと記載する場合もある。
ここでは、１つのシナリオに沿って得られる体験をセッションとして捉える。セッションとは、一連のシナリオの開始から終了までに生じるひとかたまりの事象を意味する。あるいは、シナリオの開始から終了までの期間を指してセッションと記載する場合もある。
【0036】
音によるＡＲでは、シナリオの進行中に、ユーザ１の位置情報や行動等をトリガとして少なくとも１つのイベントが発生する。このイベントに合わせてＡＲサウンド３が提示される。またイベントに合わせてＡＲビジュアルが提示されてもよい。
すなわち、イベントは、セッション中に発生し、ＡＲサウンド３やＡＲビジュアル等のデータを実世界に付加する一連の処理であると言える。またセッションは、少なくとも１つのイベントを含むイベントの集合となる。
すなわち、イベントは、セッション中に発生し、ＡＲサウンド３やＡＲビジュアル等のデータを実世界に付加する一連の処理であると言える。またセッションは、少なくとも１つのイベントを含むイベントの集合となる。
【0037】
例えば、図２に示す例では、ユーザ１の足が着地するたびに１つのイベントが発生し、仮想的な足音３ａが再生される。この場合、ユーザ１が着地動作を行った回数だけイベントが発生することになり、１つのセッションには多数のイベントが含まれることになる。
また例えば、ユーザ１の行動等をトリガとして１つのイベントが発生し、仮想的な音声３ｂが再生される。そのイベントが終了すると、シナリオに合わせた次の音声等を提示するイベントが開始可能となる。このようにして、シナリオに沿って設計された複数のイベントが、ユーザの行動等に応じて順次発生し、シナリオが進行することになる。この場合、順次発生するイベントの集合がセッションとなる。
また例えば、ユーザ１の行動等をトリガとして１つのイベントが発生し、仮想的な音声３ｂが再生される。そのイベントが終了すると、シナリオに合わせた次の音声等を提示するイベントが開始可能となる。このようにして、シナリオに沿って設計された複数のイベントが、ユーザの行動等に応じて順次発生し、シナリオが進行することになる。この場合、順次発生するイベントの集合がセッションとなる。
【0038】
また、アトラクションには、ユーザ１が単独で参加する場合、及びグループで参加する場合がある。さらに、アトラクションには、ガイドがつけられる場合がある。
従って、ユーザ１は、音によるＡＲの体験者（アトラクションの参加者）であるといえる。また、ガイドとは、ユーザ１と同じグループに入り、体験を共有しながらシナリオの進行を担当するスタッフである。グループとは、同一のセッションで体験を共有する複数のユーザ１を含む団体である。ガイドがつけられている場合には、ユーザ１及びガイドからなる団体がグループとなる。
従って、ユーザ１は、音によるＡＲの体験者（アトラクションの参加者）であるといえる。また、ガイドとは、ユーザ１と同じグループに入り、体験を共有しながらシナリオの進行を担当するスタッフである。グループとは、同一のセッションで体験を共有する複数のユーザ１を含む団体である。ガイドがつけられている場合には、ユーザ１及びガイドからなる団体がグループとなる。
【0039】
例えば、ユーザ１の動作をトリガとしてＡＲサウンド３（例えば仮想的な足音等）が提示されるようなイベントを考える。イベントが発生すると、ＡＲサウンド３がイヤホン２で再生され、動作を行ったユーザ１にだけＡＲサウンド３が提示される。この場合、同じセッションに参加する他のユーザ１には、イベントを発生させたユーザ１が体験している内容は知覚されない。
このように、音によるＡＲでは、同一のセッションに参加しているユーザ１の間でも、各ユーザ１の体験が共有されないといった場合が考えられる。
このように、音によるＡＲでは、同一のセッションに参加しているユーザ１の間でも、各ユーザ１の体験が共有されないといった場合が考えられる。
【0040】
そこで、本実施形態では、複数のユーザ１を含むグループがアトラクションに参加する場合に、各ユーザ１が互いの体験内容を共有するための技術について説明する。
この技術は、ユーザ１の実体験に適用される。実体験とは、今まさにリアルタイムで進行しているセッションを意味する。従って、本実施形態で説明する技術は、セッション（シナリオ）の進行中にリアルタイムに適用される技術であると言える。
この技術は、ユーザ１の実体験に適用される。実体験とは、今まさにリアルタイムで進行しているセッションを意味する。従って、本実施形態で説明する技術は、セッション（シナリオ）の進行中にリアルタイムに適用される技術であると言える。
【0041】
図３は、イベント情報の生成フローを示す模式図である。イベント情報１０とは、セッション中に発生するイベントＥの内容を記録した情報である。
本実施形態では、イベント情報１０を利用して、ユーザ１ごとに発生するイベントＥを、他のユーザ１が視聴できるように提示する処理が実行される。
ここでは図３を参照して、イベント情報１０の生成フローについて説明する。
本実施形態では、イベント情報１０を利用して、ユーザ１ごとに発生するイベントＥを、他のユーザ１が視聴できるように提示する処理が実行される。
ここでは図３を参照して、イベント情報１０の生成フローについて説明する。
【0042】
音によるＡＲでは、イベントＥごとにＡＲデータ１１が提示される。上記したように、ＡＲデータ１１には、実世界に重畳される聴覚データ（ＡＲサウンド３のデータ）が含まれる。またＡＲデータ１１には、イベントＥに関連する視覚データ（ＡＲビジュアル４のデータ）が含まれる。本実施形態では、ＡＲデータ１１は、視聴覚データに相当する。
図３には、セッション中に提示されるＡＲデータ１１のライブラリとしてサウンドライブラリ１３及びビジュアルライブラリ１４がそれぞれ模式的に図示されている。
図３には、セッション中に提示されるＡＲデータ１１のライブラリとしてサウンドライブラリ１３及びビジュアルライブラリ１４がそれぞれ模式的に図示されている。
【0043】
サウンドライブラリ１３は、あらかじめ制作されたＡＲサウンド３のデータが格納されたデータベースである。ＡＲサウンド３は、音によるＡＲにおいて、仮想空間に発生する音（サウンド）の総称である。以下では、ＡＲサウンド３のデータを指して、単にＡＲサウンド３と記載する場合がある。本実施形態では、ＡＲサウンド３のデータ（ＡＲサウンド３）は、音データに相当する。
【0044】
ＡＲサウンド３には、例えば効果音、ナレーション、ＢＧＭ等が含まれる。
効果音は、例えばセッション中に検出されたトリガに応じて再生される音である。図２を参照して説明した仮想的な足音は、効果音の一例である。
ナレーションは、例えばシナリオの進行等に用いられる言語による音声である。図２を参照して説明した仮想的な音声は、ナレーションの一例である。
ＢＧＭは、例えばトリガによらず再生される音である。また、トリガに応じてＢＧＭ
が変更されてもよい。ＢＧＭには、楽曲データや環境音等が用いられる。
効果音は、例えばセッション中に検出されたトリガに応じて再生される音である。図２を参照して説明した仮想的な足音は、効果音の一例である。
ナレーションは、例えばシナリオの進行等に用いられる言語による音声である。図２を参照して説明した仮想的な音声は、ナレーションの一例である。
ＢＧＭは、例えばトリガによらず再生される音である。また、トリガに応じてＢＧＭ
が変更されてもよい。ＢＧＭには、楽曲データや環境音等が用いられる。
【0045】
ビジュアルライブラリ１４は、あらかじめ制作されたＡＲビジュアル４のデータが格納されたデータベースである。ＡＲビジュアル４は、オブジェクト又はサウンドに対して仮想的に付加される視覚的な情報の総称であり、画像データや視覚効果を伴うエフェクトデータを含む。以下では、ＡＲビジュアル４のデータを指して、単にＡＲビジュアル４と記載する場合がある。本実施形態では、ＡＲビジュアル４のデータ（ＡＲビジュアル４）は、視覚データに相当する。
例えば、実行中のセッションでは、カメラ越しにリアルタイムで視認されるようにＡＲビジュアル４が提示される。
例えば、実行中のセッションでは、カメラ越しにリアルタイムで視認されるようにＡＲビジュアル４が提示される。
【0046】
ＡＲビジュアル４には、例えば仮想キャラクタのグラフィックデータ、発話や擬音等のテキストデータ、自然現象を模したエフェクトのデータ、デジタルエフェクトのデータ等が含まれる。
仮想キャラクタのグラフィックデータは、例えば仮想キャラクタを表す３Ｄモデルデータや、２次元的な画像データである。
発話や擬音等のテキストデータは、例えば発話内容を表すテキストや、効果音を擬音で表現するテキストを表示するデータ（フォントやアニメーション等）である。
自然現象を模したエフェクトのデータは、例えば雨、風、雷、雪、花びら、落ち葉といった自然現象を表現する画像データである。
デジタルエフェクトのデータは、例えば画像処理を指定するデータである。例えば画像をぼかす処理や、画面全体を振動させるといった視覚効果を指定するデータ等が用いられる。
仮想キャラクタのグラフィックデータは、例えば仮想キャラクタを表す３Ｄモデルデータや、２次元的な画像データである。
発話や擬音等のテキストデータは、例えば発話内容を表すテキストや、効果音を擬音で表現するテキストを表示するデータ（フォントやアニメーション等）である。
自然現象を模したエフェクトのデータは、例えば雨、風、雷、雪、花びら、落ち葉といった自然現象を表現する画像データである。
デジタルエフェクトのデータは、例えば画像処理を指定するデータである。例えば画像をぼかす処理や、画面全体を振動させるといった視覚効果を指定するデータ等が用いられる。
【0047】
なお、ＡＲサウンド３及びＡＲビジュアル４は、互いに関連づけて記憶される。例えば仮想的な足音を表すＡＲサウンド３が、その足音の擬音をテキストとして表すＡＲビジュアル４と対応付けて記憶される。あるいは、仮想的なキャラクタのＡＲビジュアル４とその音声を表すＡＲサウンド３とが対応付けて記憶される。このように、ＡＲビジュアル４には、ＡＲサウンド３の内容を視覚的に表すデータが含まれる。
【0048】
また図３には、映像ライブラリ１５及びイベントライブラリ１６がそれぞれ模式的に図示されている。映像ライブラリ１５及びイベントライブラリ１６は、セッション中に生成されるデータが格納されるデータベースであり、セッションの進行とともに逐次構築される。
【0049】
映像ライブラリ１５は、撮影映像５が格納されたデータベースである。撮影映像５は、ユーザ１が音によるＡＲを体験する際に撮影された映像である。すなわち撮影映像５は、セッションの進行中（ユーザの実体験中）に撮影される。
具体的には、撮影映像５は、ユーザ１を含む音によるＡＲの体験者が携帯するカメラ（以下携帯カメラと記載する）により撮影された映像である。携帯カメラは、例えば各ユーザ１が携帯する端末装置３０に設けられる。
あるいは、撮影映像５は、体験者の周辺に配置されたカメラ（以下定点カメラと記載する）により撮影された映像である。定点カメラは、街灯カメラのように固定されていてもよいし、移動可能であってもよい。
具体的には、撮影映像５は、ユーザ１を含む音によるＡＲの体験者が携帯するカメラ（以下携帯カメラと記載する）により撮影された映像である。携帯カメラは、例えば各ユーザ１が携帯する端末装置３０に設けられる。
あるいは、撮影映像５は、体験者の周辺に配置されたカメラ（以下定点カメラと記載する）により撮影された映像である。定点カメラは、街灯カメラのように固定されていてもよいし、移動可能であってもよい。
【0050】
このように、体験者の携帯カメラや定点カメラによって実体験時に撮影された映像が撮影映像５として用いられる。
なお撮影映像５には、動画像の他にも静止画像が含まれてもよい。また撮影映像５に映っているユーザ１は、ユーザ１の位置情報や被写体認識等により識別可能である。
本実施形態では、撮影映像５は、体験画像に相当する。
なお撮影映像５には、動画像の他にも静止画像が含まれてもよい。また撮影映像５に映っているユーザ１は、ユーザ１の位置情報や被写体認識等により識別可能である。
本実施形態では、撮影映像５は、体験画像に相当する。
【0051】
イベントライブラリ１６は、イベント情報１０が格納されたデータベースである。上記したように、イベント情報１０とは、セッション中に発生したイベントごとにその内容をタイムラインに沿って記録した情報である。
後述するように、本実施形態では、各端末装置３０によりイベント情報１０が生成される。そして各端末装置３０から送信されたイベント情報１０がイベントライブラリ１６に格納される。
後述するように、本実施形態では、各端末装置３０によりイベント情報１０が生成される。そして各端末装置３０から送信されたイベント情報１０がイベントライブラリ１６に格納される。
【0052】
音によるＡＲでは、イベントが発生するとＡＲサウンド３が提示される。
イベント情報には、このようにイベントで提示されたＡＲサウンド３が記録される。またイベント情報１０には、ＡＲサウンド３と関連するＡＲビジュアル４が記録される。なお、このＡＲビジュアル４は、イベント中に実際に提示されたものでなくてもよい。
イベント情報には、このようにイベントで提示されたＡＲサウンド３が記録される。またイベント情報１０には、ＡＲサウンド３と関連するＡＲビジュアル４が記録される。なお、このＡＲビジュアル４は、イベント中に実際に提示されたものでなくてもよい。
【0053】
さらに、イベント情報１０には、タイムライン６上の時間（時刻）を表す時間情報が付加される。図３では、太い黒色の矢印を用いてタイムライン６が模式的に図示されている。
ここでタイムライン６とは、例えば１つのセッションにおける時間軸である。例えばセッションの開始時刻をゼロとするタイムライン６が設定される。あるいは、タイムライン６として、アトラクションが行われる地域の標準時間等が用いられてもよい。いずれにしろ、セッション内の時間を記述する際の基準としてタイムライン６が用いられる。
ここでタイムライン６とは、例えば１つのセッションにおける時間軸である。例えばセッションの開始時刻をゼロとするタイムライン６が設定される。あるいは、タイムライン６として、アトラクションが行われる地域の標準時間等が用いられてもよい。いずれにしろ、セッション内の時間を記述する際の基準としてタイムライン６が用いられる。
【0054】
時間情報には、タイムライン６において、イベントＥが発生したタイミングを表す情報が含まれる。例えばユーザ１の行動等に応じたトリガの検出タイミングが、イベントＥが発生したタイミングとして記録される。
すなわち、イベント情報１０には、タイムライン６におけるイベントＥを発生させるトリガの検出タイミングが含まれる。これにより、各イベントＥを適正なタイミングで共有させるといったことが可能となる。
すなわち、イベント情報１０には、タイムライン６におけるイベントＥを発生させるトリガの検出タイミングが含まれる。これにより、各イベントＥを適正なタイミングで共有させるといったことが可能となる。
【0055】
また時間情報には、タイムライン６において、ＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）を提示する提示タイミングを表す情報が含まれる。すなわちイベント情報１０には、イベントＥにおけるＡＲデータ１１の提示タイミングが含まれる。
ＡＲデータ１１の提示タイミングは、例えばイベントＥが発生したタイミングと同時でもよい。また、イベントＥが発生してから一定の待機時間の後にＡＲデータ１１が提示される場合等には、待機時間が時間情報として記録されてもよい。このようにＡＲデータ１１の提示タイミングは、トリガ８の検出タイミングに対する相対的な時間として記録されてもよい。
従って、ＡＲデータ１１の提示タイミングは、実際にＡＲデータ１１が提示された時間であってもよいし、ＡＲデータ１１を提示する予定時間であってもよい。これにより、ＡＲデータ１１が再生されるタイミング等を自由に設定することが可能となる。
ＡＲデータ１１の提示タイミングは、例えばイベントＥが発生したタイミングと同時でもよい。また、イベントＥが発生してから一定の待機時間の後にＡＲデータ１１が提示される場合等には、待機時間が時間情報として記録されてもよい。このようにＡＲデータ１１の提示タイミングは、トリガ８の検出タイミングに対する相対的な時間として記録されてもよい。
従って、ＡＲデータ１１の提示タイミングは、実際にＡＲデータ１１が提示された時間であってもよいし、ＡＲデータ１１を提示する予定時間であってもよい。これにより、ＡＲデータ１１が再生されるタイミング等を自由に設定することが可能となる。
【0056】
このように、イベント情報は、ユーザ１が音によるＡＲを体験中に発生したイベントＥごとに、イベントＥで提示されるＡＲサウンド３を含むＡＲデータ１１がタイムラインに沿って記録された情報である。
なお、本開示においてデータを記録することは、対象のデータそのものを格納すること、及び、対象のデータを指定する情報を格納することの両方を含む。従って、イベント情報１０には、ＡＲサウンド３やＡＲビジュアル４のデータがそのまま格納されてもよいし、ＡＲサウンド３やＡＲビジュアル４を指定する情報（ＩＤ番号等）が格納されてもよい。
なお、本開示においてデータを記録することは、対象のデータそのものを格納すること、及び、対象のデータを指定する情報を格納することの両方を含む。従って、イベント情報１０には、ＡＲサウンド３やＡＲビジュアル４のデータがそのまま格納されてもよいし、ＡＲサウンド３やＡＲビジュアル４を指定する情報（ＩＤ番号等）が格納されてもよい。
【0057】
また、イベント情報１０には、イベントＥに関連する各種の位置情報７が付加される。図３では、場所を表すアイコンを用いて各位置情報７が模式的に図示されている。
位置情報７には、イベントＥが発生した時のユーザ１の場所（体験位置）が含まれる。ユーザ１の体験位置は、例えば端末装置３０に搭載された位置センサの出力や撮影映像５から算出される。
また位置情報７には、イベントＥにおいて、ＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）を提示する提示位置が含まれる。ＡＲデータ１１の提示位置は、イベントの種類等に応じて異なる。例えば仮想的な足音を提示するイベントＥでは、ＡＲデータ１１の提示位置は、ユーザ１の体験位置と一致する。また例えば仮想的な音声を実世界に定位して提示するイベントＥでは、ＡＲデータ１１の提示位置が予め設定されている。なおＡＲサウンド３やＡＲビジュアル４の提示位置は、同じ位置であるとは限らない。
位置情報７には、イベントＥが発生した時のユーザ１の場所（体験位置）が含まれる。ユーザ１の体験位置は、例えば端末装置３０に搭載された位置センサの出力や撮影映像５から算出される。
また位置情報７には、イベントＥにおいて、ＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）を提示する提示位置が含まれる。ＡＲデータ１１の提示位置は、イベントの種類等に応じて異なる。例えば仮想的な足音を提示するイベントＥでは、ＡＲデータ１１の提示位置は、ユーザ１の体験位置と一致する。また例えば仮想的な音声を実世界に定位して提示するイベントＥでは、ＡＲデータ１１の提示位置が予め設定されている。なおＡＲサウンド３やＡＲビジュアル４の提示位置は、同じ位置であるとは限らない。
【0058】
この他、イベント情報には、イベントの対象となるユーザを識別するＩＤや、ユーザの所属等を表す情報が含まれてもよい。
【0059】
図３に示すように、１つのセッションがタイムライン６に沿って進行している状態を考える。セッションの進行中は、セッションに参加したユーザ１（端末装置３０）ごとにトリガ８の有無が常時監視される。そしてトリガ８（イベントＥ）が検出されると、イベントＥに応じたＡＲデータ１１を提示する処理が実行される。
具体的には、検出されたトリガ８に従って、ＡＲサウンド３及びＡＲビジュアル４がそれぞれサウンドライブラリ１３及びビジュアルライブラリ１４から提供され、適切なタイミングで再生される。これにより、イベントＥに応じた音によるＡＲ体験を提供することが可能となる。
具体的には、検出されたトリガ８に従って、ＡＲサウンド３及びＡＲビジュアル４がそれぞれサウンドライブラリ１３及びビジュアルライブラリ１４から提供され、適切なタイミングで再生される。これにより、イベントＥに応じた音によるＡＲ体験を提供することが可能となる。
【0060】
またトリガ８が検出されると、そのイベントＥに対応するＡＲサウンド３及びＡＲビジュアル４が、イベント情報１０としてタイムライン６に沿って記録される。この時、ユーザ１の体験位置、ＡＲデータ１１の提示位置、ＡＲデータ１１の提示タイミング等がイベント情報１０に付加される。
【0061】
また、同時に携帯カメラや定点カメラを用いて撮影された撮影映像５が、その撮影位置や撮影方向を含む位置情報７とともに、映像ライブラリ１５に記録される。例えば携帯カメラにより撮影された撮影映像５は、ユーザ１の体験を主観的に撮影した映像となり、定点カメラにより撮影された撮影映像５は、ユーザ１の体験を客観的に撮影した映像となる。すなわち、セッション中のユーザ１の体験は、客観・主観の撮影映像５として映像ライブラリに記録される。
このように、本実施形態では、ユーザ１が音によるＡＲを体験している最中に、ユーザ１が体験するイベントＥのイベント情報１０と、体験の様子を撮影した撮影映像５とが並行して記録される。
このように、本実施形態では、ユーザ１が音によるＡＲを体験している最中に、ユーザ１が体験するイベントＥのイベント情報１０と、体験の様子を撮影した撮影映像５とが並行して記録される。
【0062】
【0063】
サーバ装置２０は、複数の端末装置３０から出力されたデータを収集管理するとともに、必要に応じて各端末装置３０に対してデータを出力する。すなわち、サーバ装置２０は、データサーバとして機能する。図４Ａに示すように、サーバ装置２０は、通信部２１と、記憶部２２と、サーバ制御部２３とを有する。
通信部２１は、ネットワーク５０を介して他のデバイスとの間でネットワーク通信を行う通信モジュールである。通信部２１は、例えばサーバ装置２０で生成されたデータを送信するデータ送信機能と、ネットワーク５０を介して他のデバイス（端末装置３０等）から送信されたデータを受信するデータ受信機能とを有する。
通信部２１の具体的な構成は限定されず、有線ＬＡＮ、無線ＬＡＮ、光通信等に対応した各種の通信モジュールが用いられてよい。
通信部２１は、ネットワーク５０を介して他のデバイスとの間でネットワーク通信を行う通信モジュールである。通信部２１は、例えばサーバ装置２０で生成されたデータを送信するデータ送信機能と、ネットワーク５０を介して他のデバイス（端末装置３０等）から送信されたデータを受信するデータ受信機能とを有する。
通信部２１の具体的な構成は限定されず、有線ＬＡＮ、無線ＬＡＮ、光通信等に対応した各種の通信モジュールが用いられてよい。
【0064】
記憶部２２は、不揮発性の記憶デバイスである。記憶部２２としては、例えばＳＳＤ（Solid State Drive）等の固体素子を用いた記録媒体や、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体が用いられる。この他、記憶部２２として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
記憶部２２には、サーバ制御プログラムが記憶される。サーバ制御プログラムは、例えばサーバ装置２０全体の動作を制御するプログラムである。
また図４Ａに示すように、記憶部２２には、上記したサウンドライブラリ１３、ビジュアルライブラリ１４、映像ライブラリ１５、及びイベントライブラリ１６が記憶される。
記憶部２２には、サーバ制御プログラムが記憶される。サーバ制御プログラムは、例えばサーバ装置２０全体の動作を制御するプログラムである。
また図４Ａに示すように、記憶部２２には、上記したサウンドライブラリ１３、ビジュアルライブラリ１４、映像ライブラリ１５、及びイベントライブラリ１６が記憶される。
【0065】
サーバ制御部２３は、サーバ装置２０の動作を制御する。サーバ制御部２３は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部２２に記憶されているサーバ制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。
本実施形態では、サーバ制御部２３が、サーバ制御プログラムを実行することで、機能ブロックとして、サーバデータ管理部２４が実現される。
本実施形態では、サーバ制御部２３が、サーバ制御プログラムを実行することで、機能ブロックとして、サーバデータ管理部２４が実現される。
【0066】
サーバデータ管理部２４は、サーバ装置２０が扱うデータを管理する。
例えば、サーバデータ管理部２４は、端末装置３０から送信されたデータを取得して、記憶部２２内の各ライブラリに適宜格納する。本実施形態では、端末装置３０により生成されたイベント情報１０がイベントライブラリ１６に格納される。また、端末装置３０（携帯カメラ）により撮影された撮影映像５が映像ライブラリ１５に格納される。
また例えば、サーバデータ管理部２４は、端末装置３０から送信されたコマンド等に応じて、記憶部２２内の各ライブラリを参照して必要なデータを読み込み、読み込んだデータを端末装置３０に送信する。本実施形態では、サーバデータ管理部２４を介して、各端末装置３０が生成したイベント情報１０が、端末装置３０の間で共有される。なおイベント情報１０を共有する処理は、リアルタイムで行われる。
例えば、サーバデータ管理部２４は、端末装置３０から送信されたデータを取得して、記憶部２２内の各ライブラリに適宜格納する。本実施形態では、端末装置３０により生成されたイベント情報１０がイベントライブラリ１６に格納される。また、端末装置３０（携帯カメラ）により撮影された撮影映像５が映像ライブラリ１５に格納される。
また例えば、サーバデータ管理部２４は、端末装置３０から送信されたコマンド等に応じて、記憶部２２内の各ライブラリを参照して必要なデータを読み込み、読み込んだデータを端末装置３０に送信する。本実施形態では、サーバデータ管理部２４を介して、各端末装置３０が生成したイベント情報１０が、端末装置３０の間で共有される。なおイベント情報１０を共有する処理は、リアルタイムで行われる。
【0067】
図４Ｂに示す端末装置３０は、ユーザ１に音声や映像を提示可能な携帯型の再生装置である。端末装置３０としては、例えばスマートフォンや携帯音楽プレーヤ等が用いられる。図４Ｂに示すように、端末装置３０は、音声出力部３１と、画像表示部３２と、撮影部３３と、センサ部３４と、通信部３５と、記憶部３６と、端末制御部４０とを有する。
【0068】
音声出力部３１は、イヤホン２に搭載されたスピーカを駆動する音声信号を出力する。例えば音声信号を有線で出力するオーディオアンプや、音声信号を無線で出力する通信モジュール等が、音声出力部３１として用いられる。この他、音声出力部３１の具体的な構成は限定されない。
例えば、ＡＲサウンド３等の音声データに基づいて、音声信号が生成されイヤホン２に出力される。この結果、イヤホン２からはＡＲサウンド３等の音声が再生され、ユーザ１は音による聴覚的なＡＲを体験することが可能となる。
例えば、ＡＲサウンド３等の音声データに基づいて、音声信号が生成されイヤホン２に出力される。この結果、イヤホン２からはＡＲサウンド３等の音声が再生され、ユーザ１は音による聴覚的なＡＲを体験することが可能となる。
【0069】
画像表示部３２は、画像を表示するディスプレイである。例えば、液晶ディスプレイや有機ＥＬディスプレイ等を備える表示モジュールが、画像表示部３２として用いられる。
例えば、後述する撮影部３３により撮影された映像（撮影映像５）にＡＲビジュアル４等が重畳されて画像表示部３２に出力される。これにより、ユーザ１は画像による視覚的なＡＲを体験することが可能となる。
例えば、後述する撮影部３３により撮影された映像（撮影映像５）にＡＲビジュアル４等が重畳されて画像表示部３２に出力される。これにより、ユーザ１は画像による視覚的なＡＲを体験することが可能となる。
【0070】
撮影部３３は、端末装置３０に設けられたカメラであり、端末装置３０から見た実世界の景色を撮影する。例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが撮影部３３として用いられる。
撮影部３３は、上記したユーザ１が携帯する携帯カメラとして機能する。また撮影部３３により撮影された映像は、撮影映像５として映像ライブラリ１５に適宜格納される。
撮影部３３は、上記したユーザ１が携帯する携帯カメラとして機能する。また撮影部３３により撮影された映像は、撮影映像５として映像ライブラリ１５に適宜格納される。
【0071】
センサ部３４は、端末装置３０に設けられた複数のセンサからなるセンサモジュールである。センサ部３４には、動作センサや位置センサ等の各種のセンサが含まれる。
動作センサは、端末装置３０の動作状態を検出するセンサである。動作センサとしては、例えば３軸加速度センサ、３軸ジャイロセンサ、及び３軸コンパスセンサからなる９軸センサが用いられる。
位置センサは、外部からの信号に基づいて端末装置３０の現在位置を検出するセンサである。位置センサとしては、ＧＰＳ（Global Positioning System）衛星からの電波を受信して現在位置を検出する測位モジュールが用いられる。あるいは所定の電波を利用したビーコンモジュールが位置センサとして用いられてもよい。
この他、センサ部３４の具体的な構成は限定されず、温度センサや照度センサ等が設けられてもよい。。
動作センサは、端末装置３０の動作状態を検出するセンサである。動作センサとしては、例えば３軸加速度センサ、３軸ジャイロセンサ、及び３軸コンパスセンサからなる９軸センサが用いられる。
位置センサは、外部からの信号に基づいて端末装置３０の現在位置を検出するセンサである。位置センサとしては、ＧＰＳ（Global Positioning System）衛星からの電波を受信して現在位置を検出する測位モジュールが用いられる。あるいは所定の電波を利用したビーコンモジュールが位置センサとして用いられてもよい。
この他、センサ部３４の具体的な構成は限定されず、温度センサや照度センサ等が設けられてもよい。。
【0072】
通信部３５は、ネットワーク５０を介して他のデバイスとの間でネットワーク通信を行う通信モジュールである。通信部３５は、例えば端末装置３０で生成されたデータを送信するデータ送信機能と、ネットワーク５０を介してサーバ装置２０から送信されたデータを受信するデータ受信機能とを有する。
通信部３５の具体的な構成は限定されず、有線ＬＡＮ、無線ＬＡＮ、光通信等に対応した各種の通信モジュールが用いられてよい。
通信部３５の具体的な構成は限定されず、有線ＬＡＮ、無線ＬＡＮ、光通信等に対応した各種の通信モジュールが用いられてよい。
【0073】
記憶部３６は、不揮発性の記憶デバイスである。記憶部３６としては、例えばＳＳＤ等の固体素子を用いた記録媒体や、ＨＤＤ等の磁気記録媒体が用いられる。この他、記憶部３６として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
記憶部３６には、端末装置３０全体の動作を制御する端末制御プログラムが記憶される。
また記憶部３６には、音によるＡＲで用いられるＡＲデータ１１のライブラリが記憶される。ＡＲデータ１１のライブラリは、例えば、サーバ装置２０の記憶部２２に記憶されたサウンドライブラリ１３及びビジュアルライブラリ１４に含まれるデータの全部又は一部を適宜ダウンロードして構築される。あるいは、予めＡＲデータ１１のライブラリ（サウンドライブラリ１３及びビジュアルライブラリ１４）が記憶部３６にインストールされてもよい。
記憶部３６には、端末装置３０全体の動作を制御する端末制御プログラムが記憶される。
また記憶部３６には、音によるＡＲで用いられるＡＲデータ１１のライブラリが記憶される。ＡＲデータ１１のライブラリは、例えば、サーバ装置２０の記憶部２２に記憶されたサウンドライブラリ１３及びビジュアルライブラリ１４に含まれるデータの全部又は一部を適宜ダウンロードして構築される。あるいは、予めＡＲデータ１１のライブラリ（サウンドライブラリ１３及びビジュアルライブラリ１４）が記憶部３６にインストールされてもよい。
【0074】
端末制御部４０は、端末装置３０の動作を制御する。端末制御部４０は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部３６に記憶されている端末制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。端末制御部４０は、本実施形態に係る情報処理装置に相当する。
【0075】
端末制御部４０として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また例えばＧＰＵ（Graphics Processing Unit）等のプロセッサが端末制御部４０として用いられてもよい。
【0076】
本実施形態では、端末制御部４０のＣＰＵが本実施形態に係るプログラム（制御プログラム）を実行することで、機能ブロックとして、端末データ管理部４１と、トリガ検出部４２と、共有イベント判定部４３と、ライブコンテンツ生成部４４とが実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法及びデータ生成方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。
【0077】
端末データ管理部４１は、端末装置３０が扱うデータを管理する。例えば端末データ管理部４１は、サーバ装置２０から送信されたデータを取得し、記憶部３６に格納する。あるいは、端末データ管理部４１は、サーバ装置２０から送信されたデータを端末装置３０の他の機能ブロックに出力する。また、端末データ管理部４１は、端末装置３０で生成されたデータや、記憶部３６に格納されたデータを、サーバ装置２０に適宜送信する。この他、記憶部３６に記憶されたデータの読み出し等が適宜実行される。
【0078】
本実施形態では、端末データ管理部４１により、端末ユーザを対象とするイベントＥに関するイベント情報１０が生成される。端末ユーザとは、端末装置３０を使用するユーザ１である。本実施形態では、端末ユーザは、第２のユーザに相当する。
例えば、端末装置３０において端末ユーザを対象とするイベントＥが発生すると、そのイベントＥに関するイベント情報１０が生成される。具体的には、発生したイベントＥの種類や発生タイミング、そのイベントＥで提示されるＡＲデータ（ＡＲサウンド・ＡＲビジュアル）の種類や提示タイミング等がタイムライン６に沿って記録される。
端末データ管理部４１により生成された端末ユーザのイベント情報１０は、サーバ装置２０に送信される、あるいは後述するライブコンテンツ生成部４４に出力される。
例えば、端末装置３０において端末ユーザを対象とするイベントＥが発生すると、そのイベントＥに関するイベント情報１０が生成される。具体的には、発生したイベントＥの種類や発生タイミング、そのイベントＥで提示されるＡＲデータ（ＡＲサウンド・ＡＲビジュアル）の種類や提示タイミング等がタイムライン６に沿って記録される。
端末データ管理部４１により生成された端末ユーザのイベント情報１０は、サーバ装置２０に送信される、あるいは後述するライブコンテンツ生成部４４に出力される。
【0079】
このように、情報処理システム１００では、各端末装置３０に設けられた端末データ管理部４１により、ユーザ１が音によるＡＲを体験中に発生したイベントＥごとに、イベントＥで提示されるＡＲサウンド３を含むＡＲデータ１１がタイムライン６に沿って記録されてイベント情報１０が生成される。
本実施形態では、各端末装置３０に設けられた端末データ管理部４１により、記録部が実現される。
本実施形態では、各端末装置３０に設けられた端末データ管理部４１により、記録部が実現される。
【0080】
また本実施形態では、端末データ管理部４１により、他のユーザを対象とするイベントＥに関するイベント情報１０が取得される。他のユーザとは、他の端末装置３０を使用するユーザ１である。本実施形態では、他のユーザは、第１のユーザに相当する。
例えば、他の端末装置３０では、その端末装置３０を使用する他のユーザを対象とするイベントＥが発生すると、そのイベントＥに関するイベント情報１０が生成されてサーバ装置２０に送信される。端末データ管理部４１は、他の端末装置３０がサーバ装置２０に送信した他のユーザのイベント情報１０を取得する。
同様に、サーバ装置２０に送信された端末ユーザのイベント情報１０は、他の端末装置３０に送信されることになる。これにより、各端末装置３０の間で、イベント情報１０（イベントライブラリ１６）が共有されることになる。
本実施形態では、端末データ管理部４１は、取得部として機能する。
例えば、他の端末装置３０では、その端末装置３０を使用する他のユーザを対象とするイベントＥが発生すると、そのイベントＥに関するイベント情報１０が生成されてサーバ装置２０に送信される。端末データ管理部４１は、他の端末装置３０がサーバ装置２０に送信した他のユーザのイベント情報１０を取得する。
同様に、サーバ装置２０に送信された端末ユーザのイベント情報１０は、他の端末装置３０に送信されることになる。これにより、各端末装置３０の間で、イベント情報１０（イベントライブラリ１６）が共有されることになる。
本実施形態では、端末データ管理部４１は、取得部として機能する。
【0081】
トリガ検出部４２は、ユーザ１（端末ユーザ）を対象とするイベントＥのトリガ８を検出する。
トリガ８としては、例えばユーザ１の動作が設定される。この場合、センサ部３４の動作センサの出力に基づいて、ユーザ１がトリガ８となる動作（歩行動作や所定のジェスチャ等）を行ったか否かが判定される。また例えばユーザ１の位置に応じたトリガ８が設定されてもよい。この場合、センサ部３４の位置センサの出力に基づいて、ユーザ１が所定の領域に侵入したか否かが判定される。また経過時間に応じたトリガ８等が設定されてもよい。この他、複数のトリガ８を組み合わせて１つのイベントＥのトリガ８として用いることも可能である。
トリガ８としては、例えばユーザ１の動作が設定される。この場合、センサ部３４の動作センサの出力に基づいて、ユーザ１がトリガ８となる動作（歩行動作や所定のジェスチャ等）を行ったか否かが判定される。また例えばユーザ１の位置に応じたトリガ８が設定されてもよい。この場合、センサ部３４の位置センサの出力に基づいて、ユーザ１が所定の領域に侵入したか否かが判定される。また経過時間に応じたトリガ８等が設定されてもよい。この他、複数のトリガ８を組み合わせて１つのイベントＥのトリガ８として用いることも可能である。
【0082】
本実施形態では、トリガ８が検出されると、そのトリガ８に応じたイベントＥが実行される。すなわち、トリガ８の検出タイミングがイベントＥの発生タイミングとなる。なお、複数のトリガ８が組み合わせて用いられる場合には、最後に検出されたトリガ８の検出タイミングがイベントＥの発生タイミングとなる。
上記したイベント情報１０は、典型的にはトリガ８が検出されると即座に生成され、他の端末装置３０と共有される。
上記したイベント情報１０は、典型的にはトリガ８が検出されると即座に生成され、他の端末装置３０と共有される。
【0083】
共有イベント判定部４３は、共有イベントが発生したか否かを判定する。
ここで、共有イベントとは、複数のユーザ１の間で共有されるイベントＥである。例えば、共有イベントでは、イベントＥの体験内容が複数のユーザ１にリアルタイムで共有されるようにＡＲデータ１１が提示される。
ここでは、端末ユーザとともに音によるＡＲを体験している他のユーザを対象として発生したイベントＥが、共有イベントに該当するか否かが判定される。この判定処理では、例えば各ユーザ１の位置や所属、イベントＥの種類等に関する条件が判定される。この点については、後に詳しく説明する。
ここで、共有イベントとは、複数のユーザ１の間で共有されるイベントＥである。例えば、共有イベントでは、イベントＥの体験内容が複数のユーザ１にリアルタイムで共有されるようにＡＲデータ１１が提示される。
ここでは、端末ユーザとともに音によるＡＲを体験している他のユーザを対象として発生したイベントＥが、共有イベントに該当するか否かが判定される。この判定処理では、例えば各ユーザ１の位置や所属、イベントＥの種類等に関する条件が判定される。この点については、後に詳しく説明する。
【0084】
ライブコンテンツ生成部４４は、音によるＡＲのライブコンテンツを生成する。ここで、ライブコンテンツとは、音によるＡＲを体験するユーザ１にリアルタイムで提供されるコンテンツである。
ライブコンテンツ生成部４４では、タイムライン６を基準にＡＲデータ１１を再生する再生データが生成される。再生データとしては、例えばＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）の種類、提示タイミング、及び提示位置等の再生パラメータを指定するデータが生成される。この再生データに従って、ＡＲデータ１１を再生することで、端末ユーザにライブコンテンツを提供することが可能である。すなわち、本実施形態では、再生データを生成することで、ライブコンテンツが生成される。
ライブコンテンツ生成部４４では、タイムライン６を基準にＡＲデータ１１を再生する再生データが生成される。再生データとしては、例えばＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）の種類、提示タイミング、及び提示位置等の再生パラメータを指定するデータが生成される。この再生データに従って、ＡＲデータ１１を再生することで、端末ユーザにライブコンテンツを提供することが可能である。すなわち、本実施形態では、再生データを生成することで、ライブコンテンツが生成される。
【0085】
例えば、ライブコンテンツ生成部４４では、端末装置３０を使用する端末ユーザを対象とする個別のイベントＥ（以下、個別イベントと記載する）のライブコンテンツが生成される。
例えば、個別イベントのトリガ８が検出された場合、その個別イベントに対応するＡＲデータ１１を再生する再生データが生成される。この再生データは、端末ユーザに個別イベントを体験させるデータとなる。
例えば、個別イベントのトリガ８が検出された場合、その個別イベントに対応するＡＲデータ１１を再生する再生データが生成される。この再生データは、端末ユーザに個別イベントを体験させるデータとなる。
【0086】
さらに、ライブコンテンツ生成部４４では、他のユーザのイベント情報１０に基づいて、再生データが生成される。
具体的には、再生データとして、他のユーザとは異なる端末ユーザに対して、他のユーザを対象とするイベントＥを視聴可能なように提示する共有データが生成される。
具体的には、再生データとして、他のユーザとは異なる端末ユーザに対して、他のユーザを対象とするイベントＥを視聴可能なように提示する共有データが生成される。
【0087】
上記したように、本実施形態では、他のユーザのイベント情報１０が取得される。この他のユーザのイベント情報１０に基づいて、他のユーザを対象とするイベントＥに対応するＡＲデータ１１をタイムライン６に沿って再生する再生データ（共有データ）が生成される。
この共有データに従ってＡＲデータ１１を再生することで、他のユーザが体験するイベントＥを、同一のタイムライン６に沿って端末ユーザに体験させることが可能となる。これにより、複数のユーザ１の間で音によるＡＲの体験を共有することが可能となる。
この共有データに従ってＡＲデータ１１を再生することで、他のユーザが体験するイベントＥを、同一のタイムライン６に沿って端末ユーザに体験させることが可能となる。これにより、複数のユーザ１の間で音によるＡＲの体験を共有することが可能となる。
【0088】
なお、共有データを生成する処理は、共有イベント判定部４３により、共有イベントと判定されたイベントに対して実行される。すなわち、他のユーザにとっての個別イベントが、端末ユーザから見て共有イベントとなる場合に、他のユーザの個別イベントが視聴可能に提示される。
この他、ライブコンテンツ生成部４４の具体的な動作については、後に詳しく説明する。
本実施形態では、ライブコンテンツ生成部４４は、生成部に相当する。
この他、ライブコンテンツ生成部４４の具体的な動作については、後に詳しく説明する。
本実施形態では、ライブコンテンツ生成部４４は、生成部に相当する。
【0089】
＜端末装置の動作＞
図５は、複数のユーザ１の間でイベントを共有させる処理の一例を示すフローチャートである。図５に示す処理は、セッションの進行中に端末装置３０において継続して実行されるループ処理である。
まず端末装置３０においてイベントライブラリ１６が同期される（ステップ１０１）。この処理は、他の端末装置３０で発生したイベントＥに関するイベント情報を共有する処理である。具体的には、端末データ管理部４１により、他の端末装置３０で生成されたイベント情報１０が、サーバ装置２０を経由して取得される。
図５は、複数のユーザ１の間でイベントを共有させる処理の一例を示すフローチャートである。図５に示す処理は、セッションの進行中に端末装置３０において継続して実行されるループ処理である。
まず端末装置３０においてイベントライブラリ１６が同期される（ステップ１０１）。この処理は、他の端末装置３０で発生したイベントＥに関するイベント情報を共有する処理である。具体的には、端末データ管理部４１により、他の端末装置３０で生成されたイベント情報１０が、サーバ装置２０を経由して取得される。
【0090】
次に、共有イベント判定部４３により、共有イベントが発生したか否かが判定される（ステップ１０２）。ここでは、ステップ１０１で取得したイベント情報１０に基づいて、他の端末装置３０で新たに発生したイベントＥが、共有イベントに該当するか否かが判定される。
【0091】
本実施形態では、共有イベントの判定処理として、他のユーザ及び端末ユーザの相対距離が所定の条件を満たしているか否かが判定される。具体的には、相対距離が閾値以下である場合、判定対象のイベントが、共有イベントであると判定される。これにより、十分に近くにいる他のユーザに発生したイベントＥを共有することが可能となる。
なお相対距離の閾値は、イベントＥの種類等に応じて適宜設定されてよい。例えば仮想的な音声を提示するイベントＥでは、閾値は５ｍ～１０ｍ程度に設定される。
なお相対距離の閾値は、イベントＥの種類等に応じて適宜設定されてよい。例えば仮想的な音声を提示するイベントＥでは、閾値は５ｍ～１０ｍ程度に設定される。
【0092】
また本実施形態では、共有イベントの判定処理として、他のユーザ及び端末ユーザの所属が所定の条件を満たしているか否かが判定される。具体的には、各ユーザの所属するグループが同一である場合、判定対象のイベントが、共有イベントであると判定される。これにより、同じグループに所属するユーザに発生したイベントＥを共有することが可能となる。
【0093】
また共有イベントの判定処理として、相対距離及び所属の両方が所定の条件を満たしているか否かが判定されてもよい。
判定対象のイベントが、共有イベントであると判定されると、共有データの生成処理が実行される（図５のステップ１０３）。
このように、本実施形態では、他のユーザ及び端末ユーザの相対距離、又は他のユーザ及び端末ユーザの所属の少なくとも一方が所定の条件を満たした場合に、共有データが生成される。これにより、体験を共有するべきユーザ１を適切に設定することが可能となり、違和感のない体験の共有を実現することが可能となる。
判定対象のイベントが、共有イベントであると判定されると、共有データの生成処理が実行される（図５のステップ１０３）。
このように、本実施形態では、他のユーザ及び端末ユーザの相対距離、又は他のユーザ及び端末ユーザの所属の少なくとも一方が所定の条件を満たした場合に、共有データが生成される。これにより、体験を共有するべきユーザ１を適切に設定することが可能となり、違和感のない体験の共有を実現することが可能となる。
【0094】
新たに発生したイベントＥが共有イベントであると判定された場合（ステップ１０２のＹｅｓ）、ライブコンテンツ生成部４４により、イベントＥを共有するための共有データが生成される（ステップ１０３）。この場合、端末装置３０を使用する端末ユーザには共有データに従ってＡＲデータ１１が提示される。これにより、他のユーザが体験するイベントを、端末ユーザに体験させることが可能となる。
なお、新たに発生したイベントＥが共有イベントではないと判定された場合（ステップ１０２のＮｏ）、再度ステップ１０１が実行されイベントライブラリ１６が改めて同期される。
なお、新たに発生したイベントＥが共有イベントではないと判定された場合（ステップ１０２のＮｏ）、再度ステップ１０１が実行されイベントライブラリ１６が改めて同期される。
【0095】
【0096】
このセッションでは、参加者の着地動作にあわせて仮想的な足音を表すＡＲサウンド３が提示される。また、参加者の足元を撮影した撮影映像５には、仮想的な足音に対応するＡＲビジュアル４（擬音や音符等）が重畳して提示される。
また、図６に示すセッションでは、１度の着地に対してイベントＥが１回発生する。従って、ユーザ１が着地動作を行った回数だけイベントＥが発生する。
また、図６に示すセッションでは、１度の着地に対してイベントＥが１回発生する。従って、ユーザ１が着地動作を行った回数だけイベントＥが発生する。
【0097】
以下では、図中左側のユーザ１ｂを端末ユーザとして、ユーザ１ｂが使用する端末装置３０ｂにおける共有データの生成処理を中心に説明する。この場合、図中右側のユーザ１ａは、ユーザ１ｂから見て他のユーザとなり、ユーザ１ａが使用する端末装置３０ａは、他の端末装置３０となる。
【0098】
＜共有データの生成処理＞
共有データの生成処理では、ライブコンテンツ生成部４４により、ＡＲデータ１１の提示タイミングを基準に、共有データにおいてＡＲデータ１１が再生されるタイミングが設定される。典型的には、ＡＲデータ１１の提示タイミングで、ＡＲデータ１１を再生させる共有データが生成される。
図６に示す例では、ユーザ１ａに再生されたＡＲサウンド３をユーザ１ｂに再生するための共有データが生成される。
共有データの生成処理では、ライブコンテンツ生成部４４により、ＡＲデータ１１の提示タイミングを基準に、共有データにおいてＡＲデータ１１が再生されるタイミングが設定される。典型的には、ＡＲデータ１１の提示タイミングで、ＡＲデータ１１を再生させる共有データが生成される。
図６に示す例では、ユーザ１ａに再生されたＡＲサウンド３をユーザ１ｂに再生するための共有データが生成される。
【0099】
例えばユーザ１ａの着地をトリガ８として検出する場合、ユーザ１ａの着地と同時にイベントＥが発生し、即座にＡＲサウンド３が再生される。この場合、イベント情報１０として記録されるトリガ８の検出タイミング及びＡＲサウンド３の提示タイミングは、互いに略同じタイミングとなる。
従って端末装置３０ｂでは、ライブコンテンツ生成部４４により、イベント情報１０の取得後、可能な限り早いタイミングでＡＲサウンド３を再生するように指示する共有データ が生成される。このような場合であっても、ユーザ１ａの動作に応じたＡＲサウンド３をユーザ１ｂに提示することが可能となる。
従って端末装置３０ｂでは、ライブコンテンツ生成部４４により、イベント情報１０の取得後、可能な限り早いタイミングでＡＲサウンド３を再生するように指示する共有データ が生成される。このような場合であっても、ユーザ１ａの動作に応じたＡＲサウンド３をユーザ１ｂに提示することが可能となる。
【0100】
また例えば、ユーザ１ａの着地を予測して、ユーザ１が着地を行う前にトリガ８が検出することも可能である（引用文献１参照）。この場合、着地が予測されるタイミングや、着地までの待機時間等がＡＲサウンド３の提示タイミングとして設定される。
従って端末装置３０ｂでは、着地が予測されるタイミングでＡＲサウンド３を再生するように指示する共有データが生成される。これにより、ユーザ１ａの動作に応じたＡＲサウンド３を遅滞なく提示することが可能となる。
従って端末装置３０ｂでは、着地が予測されるタイミングでＡＲサウンド３を再生するように指示する共有データが生成される。これにより、ユーザ１ａの動作に応じたＡＲサウンド３を遅滞なく提示することが可能となる。
【0101】
また共有データの生成処理では、ライブコンテンツ生成部４４により、ＡＲデータ１１の提示位置を基準に、共有データにおいてＡＲデータ１１が再生される位置が設定される。ここで、ＡＲデータ１１が再生される位置とは、ＡＲデータ１１を定位させる実空間上の位置である。典型的には、イベント情報１０で指定されたＡＲデータ１１の提示位置が、ＡＲデータ１１を再生させる位置に設定される。
【0102】
図６に示す例では、ユーザ１ａの足元からＡＲサウンド３が聞こえてくるように、ユーザ１ｂに再生するための共有データが生成される。具体的には、ユーザ１ａの足元からＡＲサウンド３が聞こえるように、ＡＲサウンド３の再生音量及び再生方位が調整される。
例えばユーザ１ａとの距離が離れているほど再生音量が小さく調整される。またユーザ１ｂから見てユーザ１ａがいる方位からＡＲサウンド３が聞こえるように再生方位が調整される。なお、再生音量及び再生方位のどちらか一方のみが調整されてもよい。
例えばユーザ１ａとの距離が離れているほど再生音量が小さく調整される。またユーザ１ｂから見てユーザ１ａがいる方位からＡＲサウンド３が聞こえるように再生方位が調整される。なお、再生音量及び再生方位のどちらか一方のみが調整されてもよい。
【0103】
例えばユーザ１ａがユーザ１ｂの左隣りにいる場合、ユーザ１ｂの左下方からＡＲサウンド３が聞こえるように再生される。逆に、ユーザ１ａがユーザ１ｂの右隣りにいる場合、ユーザ１ｂの右下方からＡＲサウンド３が聞こえるように再生される。すなわち、共有データに従って再生されるＡＲサウンド３は、ユーザ１ｂの位置に係わらず、一定の位置（ユーザ１ａの足元）から聞こえるように再生される。
【0104】
このように、本実施形態では、他のユーザ（ユーザ１ａ）を対象とするイベントにおけるＡＲサウンド３の提示位置と端末ユーザ（ユーザ１ｂ）の位置との相対的な位置関係に基づいて、共有データにおけるＡＲサウンド３の再生音量又は再生方位の少なくとも一方が調整される。
【0105】
例えば、図６では、ユーザ１ａの動作に伴い、イベントＥ１及びＥ２が発生する。このイベントＥ１及びＥ２に伴うＡＲデータ１１は、ユーザ１ａのみならずユーザ１ｂにも視聴可能に提示される。同様に、ユーザ１ｂの動作に伴い、イベントＥ３及びＥ４が発生した場合には、イベントＥ３及びＥ４に伴うＡＲデータ１１が、ユーザ１ｂのみならずユーザ１ａにも視聴可能に提示される。
このように、本実施形態では、グループでのＡＲ体験において、他のユーザが擬似空間上で体験したＡＲサウンド３やＡＲビジュアル４を、特定の距離内であれば自分（端末ユーザ）の空間に定位させて体験することが可能である。これにより、音によるＡＲの体験内容をリアルタイムで共有することが可能となり、優れたエンターテイメント性を発揮することが可能となる。
このように、本実施形態では、グループでのＡＲ体験において、他のユーザが擬似空間上で体験したＡＲサウンド３やＡＲビジュアル４を、特定の距離内であれば自分（端末ユーザ）の空間に定位させて体験することが可能である。これにより、音によるＡＲの体験内容をリアルタイムで共有することが可能となり、優れたエンターテイメント性を発揮することが可能となる。
【0106】
＜共有イベントの具体例＞
図７及び図８は、共有イベントに伴うイベント情報の一例を示す模式図である。図７Ａ～図７Ｃ及び図８Ａ～図８Ｃでは、ユーザ１ａを対象として発生したイベントＥが、ユーザ１ｂに共有される共有イベントとなる。すなわち、ユーザ１ａがトリガ８を発生させ、ユーザ１ｂは同じグループでそれを客観的に実体験している。
各図には、共有イベントに関するイベント情報１０が模式的に図示されている。以下では、各イベントにおけるシステムの動作と、想定されるシナリオの一例についてそれぞれ説明する。
図７及び図８は、共有イベントに伴うイベント情報の一例を示す模式図である。図７Ａ～図７Ｃ及び図８Ａ～図８Ｃでは、ユーザ１ａを対象として発生したイベントＥが、ユーザ１ｂに共有される共有イベントとなる。すなわち、ユーザ１ａがトリガ８を発生させ、ユーザ１ｂは同じグループでそれを客観的に実体験している。
各図には、共有イベントに関するイベント情報１０が模式的に図示されている。以下では、各イベントにおけるシステムの動作と、想定されるシナリオの一例についてそれぞれ説明する。
【0107】
図７Ａでは、ユーザ１ａを対象とするトリガ８が検出され、イベントＥが発生すると、ユーザ１ａにＡＲサウンド３が提示される。トリガ８の種類としては、ユーザ１のアクション（ジェスチャ）、エリアイン、時間経過等が挙げられる。
例えば、ユーザ１ａの端末装置３０では、トリガ８（イベントＥ）に対応するＡＲサウンド３がサウンドライブラリ１３から選択され、即時再生される。
この時、イベント情報１０には、ＡＲサウンド３の種類及び提示タイミング等が記録される。なお、図７Ａに示すイベント情報１０には、ＡＲサウンド３の提示位置に関する情報は記録されない。
ユーザ１ｂの端末装置３０では、イベント情報１０が取得され、そこに記録されたＡＲサウンド３が即時再生される。これにより、ユーザ１ａが体験しているイベントＥをほとんど同じタイミングでユーザ１ｂに体験させることが可能となる。
例えば、ユーザ１ａの端末装置３０では、トリガ８（イベントＥ）に対応するＡＲサウンド３がサウンドライブラリ１３から選択され、即時再生される。
この時、イベント情報１０には、ＡＲサウンド３の種類及び提示タイミング等が記録される。なお、図７Ａに示すイベント情報１０には、ＡＲサウンド３の提示位置に関する情報は記録されない。
ユーザ１ｂの端末装置３０では、イベント情報１０が取得され、そこに記録されたＡＲサウンド３が即時再生される。これにより、ユーザ１ａが体験しているイベントＥをほとんど同じタイミングでユーザ１ｂに体験させることが可能となる。
【0108】
図７Ａで想定されるシナリオの例として、仮想的な足音を再生するシナリオが挙げられる。例えばユーザ１が特定のエリアに入ると、ＢＧＭ等が切り替わってシナリオが開始される。このシナリオ（セッション）は一定の時間（例えば２分間等）で終了し、次のシナリオに切り替わる。
このシナリオでは、例えばユーザ１ａが歩くと、そのステップにあわせて仮想的な足音が聞こえるようにＡＲサウンド３が再生される。また、ユーザ１ａのステップに応じた仮想的な足音がユーザ１ｂにも聞こえるように再生される。
このシナリオでは、例えばユーザ１ａが歩くと、そのステップにあわせて仮想的な足音が聞こえるようにＡＲサウンド３が再生される。また、ユーザ１ａのステップに応じた仮想的な足音がユーザ１ｂにも聞こえるように再生される。
【0109】
図７Ｂでは、ユーザ１ａを対象とするトリガ８が検出され、イベントＥが発生すると、ユーザ１ａの位置に応じてＡＲサウンド３が提示される。
例えば、ユーザ１ａの端末装置３０では、トリガ８が検出されたときのユーザ１ａの位置（体験位置２５ａ）が検出される。またイベントＥに対応するＡＲサウンド３がサウンドライブラリ１３から選択される。そして、ＡＲサウンド３が再生されるべき音源の位置（提示位置２６ｓ）とユーザ１ａの位置（体験位置２５ａ）との相対位置に応じてＡＲサウンド３がユーザ１ａに再生される。
例えば、ユーザ１ａの端末装置３０では、トリガ８が検出されたときのユーザ１ａの位置（体験位置２５ａ）が検出される。またイベントＥに対応するＡＲサウンド３がサウンドライブラリ１３から選択される。そして、ＡＲサウンド３が再生されるべき音源の位置（提示位置２６ｓ）とユーザ１ａの位置（体験位置２５ａ）との相対位置に応じてＡＲサウンド３がユーザ１ａに再生される。
【0110】
この時、イベント情報１０には、ＡＲサウンド３の種類及び提示タイミングに加え、ＡＲサウンド３の提示位置２６ｓが記録される。
ユーザ１ｂの端末装置３０では、イベント情報１０が取得され、そこに記録されたＡＲサウンド３の提示位置２６ｓとユーザ１ｂの位置（体験位置２５ｂ）との相対位置に応じてＡＲサウンド３がユーザ１ｂに再生される。これにより、ユーザ１ａ及び１ｂの両者に対して、実世界の提示位置２６ｓから聞こえるようにＡＲサウンド３を提示することが可能となる。
ユーザ１ｂの端末装置３０では、イベント情報１０が取得され、そこに記録されたＡＲサウンド３の提示位置２６ｓとユーザ１ｂの位置（体験位置２５ｂ）との相対位置に応じてＡＲサウンド３がユーザ１ｂに再生される。これにより、ユーザ１ａ及び１ｂの両者に対して、実世界の提示位置２６ｓから聞こえるようにＡＲサウンド３を提示することが可能となる。
【0111】
図７Ｂで想定されるシナリオの例として、位置ごとに異なる効果音を再生するシナリオが挙げられる。このシナリオでは、例えばユーザ１ａがあるエリアでジャンプすると特定の効果音（ＡＲサウンド３）が再生される。またユーザ１ａが別のエリアでジャンプすると、別の効果音が再生される。また、ユーザ１ａのジャンプに応じた効果音は、ユーザ１ｂにも聞こえるように再生される。この時、効果音の提示位置２６ｓは、実世界上の所定の位置（例えばユーザ１ａの足元等）に設定され、ユーザ１ａ及び１ｂには、提示位置２６ｓから聞こえるように効果音が再生される。
【0112】
図７Ｃでは、ユーザ１ａを対象とするトリガ８が検出され、イベントＥが発生すると、ユーザ１ａの位置に応じてＡＲサウンド３及びＡＲビジュアル４が提示される。また、ユーザ１ａは、端末装置３０の携帯カメラ（撮影部３３）で、実世界の景色を撮影しているものとする。
例えば、ユーザ１ａの端末装置３０では、イベントＥが発生するとユーザ１ａの体験位置２５ａが検出される。またイベントＥに対応するＡＲサウンド３がサウンドライブラリ１３から選択される。そして、ＡＲサウンド３の提示位置２６ｓとユーザ１ａの体験位置２５ａとの相対位置に応じてＡＲサウンド３がユーザ１ａに再生される。
例えば、ユーザ１ａの端末装置３０では、イベントＥが発生するとユーザ１ａの体験位置２５ａが検出される。またイベントＥに対応するＡＲサウンド３がサウンドライブラリ１３から選択される。そして、ＡＲサウンド３の提示位置２６ｓとユーザ１ａの体験位置２５ａとの相対位置に応じてＡＲサウンド３がユーザ１ａに再生される。
【0113】
またＡＲサウンド３の再生と同時に、ＡＲサウンド３に対応するＡＲビジュアル４がビジュアルライブラリ１４から選択される。そして、ＡＲビジュアル４が表示されるべき位置（提示位置２６ｖ）とユーザ１ａの体験位置２５ａ（あるいは撮影映像５ａの撮影位置２７ａ）との相対位置に応じてＡＲビジュアル４がユーザ１ａに表示される。具体的には、撮影映像５ａに重畳してＡＲビジュアル４が提示される。
従って、ユーザ１ａが実体験としてカメラ越しに見ているときには、ＡＲサウンド３とＡＲビジュアル４の両方が、ユーザ１ａとの相対位置を再現して撮影映像５ａに重畳される。
従って、ユーザ１ａが実体験としてカメラ越しに見ているときには、ＡＲサウンド３とＡＲビジュアル４の両方が、ユーザ１ａとの相対位置を再現して撮影映像５ａに重畳される。
【0114】
この時、イベント情報１０には、ＡＲサウンド３の情報（種類、提示タイミング、提示位置２６ｓ）に加え、ＡＲビジュアル４の情報（種類、提示タイミング、提示位置２６ｖ）が記録される。また、ユーザ１ａが撮影した撮影映像５ａは、その撮影位置２７ａの情報とともに、映像ライブラリ１５に記録される。
ユーザ１ｂの端末装置３０では、イベント情報１０が取得され、そこに記録されたＡＲサウンド３の提示位置２６ｓとユーザ１ｂの位置（体験位置２５ｂ）との相対位置に応じてＡＲサウンド３がユーザ１ｂに再生される。
ユーザ１ｂの端末装置３０では、イベント情報１０が取得され、そこに記録されたＡＲサウンド３の提示位置２６ｓとユーザ１ｂの位置（体験位置２５ｂ）との相対位置に応じてＡＲサウンド３がユーザ１ｂに再生される。
【0115】
図７Ｃで想定されるシナリオの例として、実世界のオブジェクトが発話をするシナリオが挙げられる。このシナリオでは、例えばユーザ１ａが石像に近づくと、石像がしゃべりはじめる。この場合、石像の発話する音声がＡＲサウンド３として再生される。また、ユーザ１ａが石像にカメラを向けると、石像の表情を表すＡＲビジュアル４が撮影映像５に重畳されて表示される。ここでは、セリフに合わせて石像の口が動く等のアニメーションが再生される。この時、ユーザ１ａの端末装置３０では、提示位置２６ｖを基準にＡＲビジュアル４を重畳する処理が実行される。
この時、ユーザ１ｂには、石像のある方向からセリフが聞こえるように、ＡＲサウンド３が再生される。これにより、ユーザ１ａ発生させた石像がしゃべるイベントを、ユーザ１ｂも同時に体験することが可能となる。
この時、ユーザ１ｂには、石像のある方向からセリフが聞こえるように、ＡＲサウンド３が再生される。これにより、ユーザ１ａ発生させた石像がしゃべるイベントを、ユーザ１ｂも同時に体験することが可能となる。
【0116】
図８Ａでは、図７Ａと同様にユーザ１ａの位置に応じてＡＲサウンド３及びＡＲビジュアル４が提示される。また、ユーザ１ａに加えユーザ１ｂも、端末装置３０の携帯カメラで、実世界の景色を撮影しているものとする。以下では、ユーザ１ａ及びユーザ１ｂが撮影した画像を撮影映像５ａ及び５ｂと記載し、撮影映像５ａ及び５ｂが撮影された位置を撮影位置２７ａ及び２７ｂと記載する。
【0117】
例えば、ユーザ１ａの端末装置３０では、イベントＥに対応するＡＲサウンド３がサウンドライブラリ１３から選択される。そして、ＡＲサウンド３の提示位置２６ｓとユーザ１ａの体験位置２５ａとの相対位置に応じてＡＲサウンド３がユーザ１ａに再生される。
またＡＲサウンド３に対応するＡＲビジュアル４がビジュアルライブラリ１４から選択される。そして、ＡＲビジュアル４の提示位置２６ｖとユーザ１ａの体験位置２５ａ（あるいは撮影映像５ａの撮影位置２７ａ）との相対位置が再現されるように、撮影映像５ａにＡＲビジュアル４が重畳されて表示される。
この時、イベント情報１０には、ＡＲサウンド３の情報（種類、提示タイミング、提示位置２６ｓ）及び、ＡＲビジュアル４の情報（種類、提示タイミング、提示位置２６ｖ）が記録される。
またＡＲサウンド３に対応するＡＲビジュアル４がビジュアルライブラリ１４から選択される。そして、ＡＲビジュアル４の提示位置２６ｖとユーザ１ａの体験位置２５ａ（あるいは撮影映像５ａの撮影位置２７ａ）との相対位置が再現されるように、撮影映像５ａにＡＲビジュアル４が重畳されて表示される。
この時、イベント情報１０には、ＡＲサウンド３の情報（種類、提示タイミング、提示位置２６ｓ）及び、ＡＲビジュアル４の情報（種類、提示タイミング、提示位置２６ｖ）が記録される。
【0118】
同様にユーザ１ｂの端末装置３０では、イベント情報１０が取得され、そこに記録されたＡＲサウンド３の提示位置２６ｓとユーザ１ｂの体験位置２５ｂとの相対位置に応じてＡＲサウンド３がユーザ１ｂに再生される。
また、イベント情報１０に記録されたＡＲビジュアル４が、その提示位置２６ｖとユーザ１ｂの体験位置２５ｂ（あるいは撮影映像５ｂの撮影位置２７ｂ）との相対位置が再現されるように、撮影映像５ｂにＡＲビジュアル４が重畳されて表示される。
また、イベント情報１０に記録されたＡＲビジュアル４が、その提示位置２６ｖとユーザ１ｂの体験位置２５ｂ（あるいは撮影映像５ｂの撮影位置２７ｂ）との相対位置が再現されるように、撮影映像５ｂにＡＲビジュアル４が重畳されて表示される。
【0119】
また、ユーザ１ａが撮影した撮影映像５ａは、その撮影位置２７ａの情報とともに、映像ライブラリ１５に記録される。同様に、ユーザ１ｂが撮影した撮影映像５ｂは、その撮影位置２７ｂの情報とともに、映像ライブラリ１５に記録される。
【0120】
図８Ａで想定されるシナリオの例として、実世界のオブジェクトとのインタラクションを表現するようなシナリオが挙げられる。このシナリオでは、例えばユーザ１ａが石像の前で大きくジャンプすると、地鳴りの音（ＡＲサウンド３）が響きわたる。また石像が苦しみ始める声（ＡＲサウンド３）が再生される。
この時、ユーザ１ａ（ユーザ１ｂ）がカメラ越しに石像を見ると、撮影映像５ａ（撮影映像５ｂ）には、石像が崩れはじめている様子を表すＡＲビジュアル４が重畳される。
また、ユーザ１ｂがカメラ越しにユーザ１ａを見ると、撮影映像５ｂには、ユーザ１ａに光彩がかかりユーザ１ａがエネルギーを放出している様子を表すＡＲビジュアル４が重畳される。このように、一方のユーザ１にだけ見えるようなＡＲビジュアル４を提示することも可能である。
この時、ユーザ１ａ（ユーザ１ｂ）がカメラ越しに石像を見ると、撮影映像５ａ（撮影映像５ｂ）には、石像が崩れはじめている様子を表すＡＲビジュアル４が重畳される。
また、ユーザ１ｂがカメラ越しにユーザ１ａを見ると、撮影映像５ｂには、ユーザ１ａに光彩がかかりユーザ１ａがエネルギーを放出している様子を表すＡＲビジュアル４が重畳される。このように、一方のユーザ１にだけ見えるようなＡＲビジュアル４を提示することも可能である。
【0121】
図８Ｂでは、図８Ａと同様に、ユーザ１ａ及び１ｂがそれぞれ撮影映像５ａ及び５ｂを撮影している。また図８Ｂでは、さらに定点カメラ４６（固定カメラ）により、撮影位置２７ｃから撮影映像５ｃが撮影されている。
定点カメラ４６により撮影された撮影映像５ｃは、撮影位置２７ｃの情報とともに映像ライブラリ１５に記録される。
定点カメラ４６により撮影された撮影映像５ｃは、撮影位置２７ｃの情報とともに映像ライブラリ１５に記録される。
【0122】
また図８Ｂでは、定点カメラ４６により撮影された撮影映像５ｃが、ユーザ１ａ及びユーザ１ｂがいる場所とは別の会場に設けられたモニター等にリアルタイムで表示される。
この場合、ＡＲサウンド３及びＡＲビジュアル４が、定点カメラ４６の撮影位置２７ｃとの相対位置を再現して撮影映像５ｃに重畳される。これにより、ユーザ１ａ及び１ｂが体験するイベントＥを、その場にいない多数のユーザ１に視聴させることが可能となる。
この場合、ＡＲサウンド３及びＡＲビジュアル４が、定点カメラ４６の撮影位置２７ｃとの相対位置を再現して撮影映像５ｃに重畳される。これにより、ユーザ１ａ及び１ｂが体験するイベントＥを、その場にいない多数のユーザ１に視聴させることが可能となる。
【0123】
図８Ａで想定されるシナリオの例として、ユーザ１ａ及び１ｂが共同で進行させるシナリオが挙げられる。このシナリオでは、例えばユーザ１ａ及び１ｂがほぼ同時にジャンプすると、雷が鳴り響く音及びスコールが降り始める音を表すＡＲサウンド３が再生される。この時、ユーザ１ａ及び１ｂが撮影した撮影映像５ａ及び５ｂには、スコールを表すＡＲビジュアル４が重畳される。
また定点カメラ４６の撮影映像５ｃには、ユーザ１ａ及び１ｂがジャンプした後に、ユーザ１ａ及び１ｂから光が空に向かっていく様子を表すＡＲビジュアル４が重畳される。その後、撮影映像５ｃには、エリア全体にスコールが降っている様子を表すＡＲビジュアル４が重畳される。このように、体験の当事者以外に見えるようなＡＲビジュアル４を提示することも可能である。
また定点カメラ４６の撮影映像５ｃには、ユーザ１ａ及び１ｂがジャンプした後に、ユーザ１ａ及び１ｂから光が空に向かっていく様子を表すＡＲビジュアル４が重畳される。その後、撮影映像５ｃには、エリア全体にスコールが降っている様子を表すＡＲビジュアル４が重畳される。このように、体験の当事者以外に見えるようなＡＲビジュアル４を提示することも可能である。
【0124】
図８Ｃでは、イベントＥが発生した際の状況に応じたＡＲデータ１１が提示される。図８Ｃに示すイベントＥでは、図８Ｂと同様に、ＡＲサウンド３及びＡＲビジュアル４を含むＡＲデータ１１が提示され、撮影映像５ａ～５ｃが撮影されている。
【0125】
ここでは、ＡＲデータ１１として、イベントＥが発生した際の状況を表す状況情報に基づいて生成されたデータ、または状況情報に基づいて選択されたデータが用いられる。
従って、例えば同一のシナリオに従って設計されたイベントＥであっても、その発生状況によっては、提示されるＡＲデータ１１が変化する。これにより、実際の環境に合った体験を提供することが可能となり、エンターテイメント性を向上することが可能である。
本実施形態では、イベントＥに使用するＡＲデータ１１を設定する際に、そのイベントＥを検出した端末装置３０により状況情報が取得される。
従って、例えば同一のシナリオに従って設計されたイベントＥであっても、その発生状況によっては、提示されるＡＲデータ１１が変化する。これにより、実際の環境に合った体験を提供することが可能となり、エンターテイメント性を向上することが可能である。
本実施形態では、イベントＥに使用するＡＲデータ１１を設定する際に、そのイベントＥを検出した端末装置３０により状況情報が取得される。
【0126】
状況情報には、ユーザ１の周辺環境、ユーザ１のステータス、及びユーザ１の動作内容の少なくとも１つに関する情報が含まれる。
ユーザ１の周辺環境に関する情報とは、例えば天候、時間、季節、温度、イベントＥの開催位置（屋外・屋内）等の情報である。例えばネットワークを介して現在位置の天候の情報等が読み込まれる。
ユーザ１のステータスに関する情報とは、例えばユーザ１が所持しているアイテム、セッションにおけるユーザ１の役割、ユーザ１の身長・体重・体格・性別といった、各ユーザ１の状態（ステータス）を表す情報である。この情報は、例えばセッションが開始される前に入力されたユーザ１の情報等を参照して取得される。
ユーザ１の動作内容に関する情報とは、ユーザ１の動作の種類や規模（運動量）、ユーザ１の表情や声の大きさ等を表す情報である。この情報は、例えば端末装置３０に搭載された動作センサの出力や、ユーザを撮影した画像等に基づいて取得される。
この他、状況情報の具体的な内容や状況情報を取得する方法は限定されない。例えば、シナリオの進行状況等に関する情報が状況情報として用いられてもよい。
ユーザ１の周辺環境に関する情報とは、例えば天候、時間、季節、温度、イベントＥの開催位置（屋外・屋内）等の情報である。例えばネットワークを介して現在位置の天候の情報等が読み込まれる。
ユーザ１のステータスに関する情報とは、例えばユーザ１が所持しているアイテム、セッションにおけるユーザ１の役割、ユーザ１の身長・体重・体格・性別といった、各ユーザ１の状態（ステータス）を表す情報である。この情報は、例えばセッションが開始される前に入力されたユーザ１の情報等を参照して取得される。
ユーザ１の動作内容に関する情報とは、ユーザ１の動作の種類や規模（運動量）、ユーザ１の表情や声の大きさ等を表す情報である。この情報は、例えば端末装置３０に搭載された動作センサの出力や、ユーザを撮影した画像等に基づいて取得される。
この他、状況情報の具体的な内容や状況情報を取得する方法は限定されない。例えば、シナリオの進行状況等に関する情報が状況情報として用いられてもよい。
【0127】
また本実施形態では、状況情報に基づいて、共有データにより再生されるＡＲデータ１１が選択される。すなわち、共有イベントが発生した場合に、その時の天候やユーザ１のステータスによって、再生するＡＲデータ１１が選択される。
このように、本実施形態では、状況情報に応じて、ＡＲサウンド３やＡＲビジュアル４の内容を変えることや、再生を有効にすること（聞こえる/聞こえないの選択）が可能となる。
これにより、ＡＲデータ１１の再生条件等を細かく設定したイベントＥ等を設計することが可能となる。
このように、本実施形態では、状況情報に応じて、ＡＲサウンド３やＡＲビジュアル４の内容を変えることや、再生を有効にすること（聞こえる/聞こえないの選択）が可能となる。
これにより、ＡＲデータ１１の再生条件等を細かく設定したイベントＥ等を設計することが可能となる。
【0128】
例えば、図８Ｃでは、状況情報として、アイテム情報２８及び天候情報２９が用いられる。アイテム情報２８及び天候情報２９は、それぞれハートのマーク及び太陽のマークにより模式的に図示されている。
例えば、天候情報２９に基づいて、ＡＲサウンド３及びＡＲビジュアル４がそれぞれサウンドライブラリ１３及びビジュアルライブラリ１４から取得される。例えば晴天用、曇天用、雨天用等のＡＲデータ１１が予めライブラリに格納され、天候情報に応じて適宜選択される。あるいは、基本となるＡＲデータ１１に各天候用のエフェクトを作用させて、新たなＡＲデータ１１が生成されてもよい。
例えば、天候情報２９に基づいて、ＡＲサウンド３及びＡＲビジュアル４がそれぞれサウンドライブラリ１３及びビジュアルライブラリ１４から取得される。例えば晴天用、曇天用、雨天用等のＡＲデータ１１が予めライブラリに格納され、天候情報に応じて適宜選択される。あるいは、基本となるＡＲデータ１１に各天候用のエフェクトを作用させて、新たなＡＲデータ１１が生成されてもよい。
【0129】
また例えば、アイテム情報２８に基づいて、ＡＲサウンド３及びＡＲビジュアル４を再生するかどうかが選択される。ここでは、ユーザ１ａがアイテムを所持しているものとする。例えば、ＡＲサウンド３は、ユーザ１ａ及びユーザ１ｂの両方に再生される。一方で、ＡＲビジュアル４は、アイテムを所持しているユーザ１にのみ表示され、ユーザ１ｂには表示されない。逆に、アイテムを所持していないユーザ１ｂにのみＡＲビジュアル４が表示されてもよい。
【0130】
図８Ｃで想定されるシナリオの例として、アイテムや天候に合わせて進行するシナリオが挙げられる。例えば、ユーザ１ａがシナリオの中でアイテム（鈴）を入手していたとする。このとき、ユーザ１ａが実世界に配置された門をくぐると、アイテムの鈴が勝手に鳴り始める。鈴の音は、ユーザ１ａ及びユーザ１ｂに提示されるＡＲサウンド３である。
ユーザ１ｂがカメラを通してユーザ１ａを見ると、ユーザ１ａが頭から流血している様子を表すＡＲビジュアル４が撮影映像５ｂに重畳される。このＡＲビジュアル４はユーザ１ａには表示されないため、ユーザ１ａは自分がどうなっているかを知ることはできない。
ユーザ１ｂがカメラを通してユーザ１ａを見ると、ユーザ１ａが頭から流血している様子を表すＡＲビジュアル４が撮影映像５ｂに重畳される。このＡＲビジュアル４はユーザ１ａには表示されないため、ユーザ１ａは自分がどうなっているかを知ることはできない。
【0131】
さらに、鈴の音が徐々に低くなり、それに合わせたＡＲビジュアル４が撮影映像５ａ及び ｂに重畳される。このＡＲビジュアル４は、天候情報２９等に基づいて選択される。
例えば、イベントＥが発生した時間が昼間であれば、カメラ越しに夜の世界を表現するＡＲビジュアル４が選択される。また例えば、イベントＥが発生した時期が夏であれば、カメラ越しに雪が降り始める様子を表現するＡＲビジュアル４が選択される。
例えば、イベントＥが発生した時間が昼間であれば、カメラ越しに夜の世界を表現するＡＲビジュアル４が選択される。また例えば、イベントＥが発生した時期が夏であれば、カメラ越しに雪が降り始める様子を表現するＡＲビジュアル４が選択される。
【0132】
また、定点カメラ４６が撮影する撮影映像５ｃには、上記したセッション中に使用される全てのＡＲビジュアル４が重畳される。この結果、別会場に設けられたモニターには、ユーザ１ａが流血している様子に加え、景色が夜の世界に変化する様子が映しだされる。この場合、ユーザ１ａ及びユーザ１ｂにとっては、実体験の際に肉眼で見たものとは異なる光景が映し出されていることになる。
このように、ユーザ１ａ及び１ｂの体験内容を包括した映像等を、リアルタイムで他のユーザと共有することも可能である。
このように、ユーザ１ａ及び１ｂの体験内容を包括した映像等を、リアルタイムで他のユーザと共有することも可能である。
【0133】
以上、本実施形態に係る端末制御部４０では、音によるＡＲの体験中に生じたイベントＥを記録したイベント情報１０が取得される。イベント情報１０には、各イベントＥで提示されるＡＲサウンド３を含むＡＲデータ１１がタイムライン６に沿って記録されている。このイベント情報１０をもとに、タイムライン６上でＡＲデータ１１を再生する共有データが生成される。これにより、端末ユーザに対して他のユーザの体験内容を再現することが可能となり、音による拡張現実の体験を共有することが可能となる。
【0134】
図９は、比較例として挙げるイベントの一例を示す模式図である。図９では、２人のユーザ１ａ及びユーザ１ｂに仮想的な足音を表すＡＲサウンド３が提示される。ここでは、ユーザ１ａに提示されるＡＲサウンド３は、ユーザ１ｂには再生されず、ユーザ１ｂに提示されるＡＲサウンド３は、ユーザ１ａには再生されない。
この結果、各ユーザ１は自分の歩行動作に応じた仮想的な足音は聞けるものの、他のユーザ１がどのような足音を聞いているかはわからない。すなわち、音によるＡＲの体験は、各ユーザ１ごとに閉じており、互い共有されない。
この結果、各ユーザ１は自分の歩行動作に応じた仮想的な足音は聞けるものの、他のユーザ１がどのような足音を聞いているかはわからない。すなわち、音によるＡＲの体験は、各ユーザ１ごとに閉じており、互い共有されない。
【0135】
これに対し、本実施形態では、音によるＡＲを体験している最中に発生したイベントＥが、イベント情報１０として記録される。イベント情報１０には、ＡＲを体験する各ユーザ１を対象とするイベントＥで提示されるＡＲデータ１１が、タイムライン６に沿って記録されている。従って、イベント情報１０を用いることで、複数のユーザ１の間で、どのようなイベントＥが起こっているかといった情報を、同一のタイムラインでモニタリングすることが可能となる。これにより、イベントＥを共有させたいユーザ１に対して、そのイベントＥのＡＲデータ１１を略同時に提示するといったことが可能となり、音によるＡＲの体験内容をリアルタイムで共有することが可能となる。
【0136】
＜第２の実施形態＞
本技術に係る第２の実施形態の情報処理システムについて説明する。これ以降の説明では、上記の実施形態で説明した情報処理システム１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
本技術に係る第２の実施形態の情報処理システムについて説明する。これ以降の説明では、上記の実施形態で説明した情報処理システム１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【0137】
図１０は、第２の実施形態に係る情報処理システムの構成例を示す模式図である。情報処理システム２００は、音によるＡＲの体験内容を、体験中に生成されたイベント情報に基づいて再現コンテンツとして提供するシステムである。
情報処理システム２００は、サーバ装置２２０と、少なくとも１つの端末装置２３０と、少なくとも１つの再生装置２４０とを有する。サーバ装置２２０、端末装置２３０、及び再生装置２４０は、ネットワーク５０を介して通信可能に接続される。
このように、情報処理システム２００は、図１に示す情報処理システム１００に再生装置２４０を加えた構成となっていると言える。
情報処理システム２００は、サーバ装置２２０と、少なくとも１つの端末装置２３０と、少なくとも１つの再生装置２４０とを有する。サーバ装置２２０、端末装置２３０、及び再生装置２４０は、ネットワーク５０を介して通信可能に接続される。
このように、情報処理システム２００は、図１に示す情報処理システム１００に再生装置２４０を加えた構成となっていると言える。
【0138】
サーバ装置２２０は、音によるＡＲ体験全体を管理するとともに、再現コンテンツを生成する装置である。サーバ装置２２０の構成については図１２を参照して説明する。
端末装置２３０は、各ユーザ１が携帯して使用する装置である。端末装置２３０は、例えば図１に示す端末装置３０と同様に構成される。
再生装置２４０は、例えばＡＲ体験が終了した後に、ユーザ１が再現コンテンツを再生するために用いる装置である。ユーザ１は、再生装置２４０に表示された所定のＧＵＩ（Graphical User Interface）等を介して、再現コンテンツを要求することが可能である。再生装置２４０としては、例えばユーザ１が所持するスマートフォンやＰＣ等が用いられる。また端末装置２３０がそのまま再生装置２４０として用いられてもよい。
端末装置２３０は、各ユーザ１が携帯して使用する装置である。端末装置２３０は、例えば図１に示す端末装置３０と同様に構成される。
再生装置２４０は、例えばＡＲ体験が終了した後に、ユーザ１が再現コンテンツを再生するために用いる装置である。ユーザ１は、再生装置２４０に表示された所定のＧＵＩ（Graphical User Interface）等を介して、再現コンテンツを要求することが可能である。再生装置２４０としては、例えばユーザ１が所持するスマートフォンやＰＣ等が用いられる。また端末装置２３０がそのまま再生装置２４０として用いられてもよい。
【0139】
図１１は、音によるＡＲの再現コンテンツの一例を示す模式図である。
再現コンテンツ６０は、タイムラインに沿ってイベントＥを再現するように構成されたデータである。再現コンテンツ６０は、典型的には音声を含む映像データとして生成される。
本実施形態では、音によるＡＲの体験中に撮影された撮影映像５を、イベント情報１０に基づいて加工した映像が、再現コンテンツ６０として生成される。
なお再現コンテンツ６０は、音声データや画像データとして構成されてもよい。
再現コンテンツ６０は、タイムラインに沿ってイベントＥを再現するように構成されたデータである。再現コンテンツ６０は、典型的には音声を含む映像データとして生成される。
本実施形態では、音によるＡＲの体験中に撮影された撮影映像５を、イベント情報１０に基づいて加工した映像が、再現コンテンツ６０として生成される。
なお再現コンテンツ６０は、音声データや画像データとして構成されてもよい。
【0140】
ここでは、音によるＡＲを体験したユーザ１が、再生装置２４０を介してサーバ装置２２０にアクセスし、再現コンテンツ６０の生成を要求する場合を想定する。従って、再現コンテンツ６０を生成する際には、イベント情報１０が記録されたイベントライブラリ１６がサーバ装置２２０内にすでに構築されているものとする。
また生成された再現コンテンツ６０は、ユーザ１の後日の振り返り（追体験）に用いられる。あるいは、ユーザ１から第三者へ再現コンテンツ６０が共有され、音によるＡＲの体験をシェアするためのメディアとして用いられる。
また生成された再現コンテンツ６０は、ユーザ１の後日の振り返り（追体験）に用いられる。あるいは、ユーザ１から第三者へ再現コンテンツ６０が共有され、音によるＡＲの体験をシェアするためのメディアとして用いられる。
【0141】
図１１には、音によるＡＲを体験したユーザ１ａ及びユーザ１ｂが撮影された撮影映像５が模式的に図示されている。この撮影映像５は、あるイベントＥが発生した際に撮影された映像である。サーバ装置２２０では、このような撮影映像５に、イベントＥで提示されたＡＲサウンド３や、そのＡＲサウンド３に対応するＡＲビジュアル４を重畳することで、再現コンテンツ６０が生成される。
再現コンテンツ６０において、各ＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）を提示するタイミングは、イベント情報１０を記録する際に用いたタイムライン６を基準に設定される。これにより、ユーザ１が実際に体験した内容を忠実に再現することが可能となる。
再現コンテンツ６０において、各ＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）を提示するタイミングは、イベント情報１０を記録する際に用いたタイムライン６を基準に設定される。これにより、ユーザ１が実際に体験した内容を忠実に再現することが可能となる。
【0142】
例えば、イベントＥにおいてオブジェクト４ａの移動音（図６では虫の羽音）を表す効果音（ＡＲサウンド３）が提示されたとする。この場合、撮影映像５には、効果音に対応するオブジェクト４ａの映像や効果音を表す擬音等のＡＲビジュアル４が重畳される。
また例えば、イベントＥにおいてキャラクタ４ｂが発話するナレーション（ＡＲサウンド３）が提示されたとする。この場合、撮影映像５には、発話動作を行うキャラクタ４ｂの映像や、ナレーションの内容を表すテキスト４ｃ等のＡＲビジュアル４が重畳される。
なお、ＡＲビジュアル４は、体験時に提示されたものでもよいし、体験時には提示されなかったものでもよい。
また例えば、イベントＥにおいてキャラクタ４ｂが発話するナレーション（ＡＲサウンド３）が提示されたとする。この場合、撮影映像５には、発話動作を行うキャラクタ４ｂの映像や、ナレーションの内容を表すテキスト４ｃ等のＡＲビジュアル４が重畳される。
なお、ＡＲビジュアル４は、体験時に提示されたものでもよいし、体験時には提示されなかったものでもよい。
【0143】
このように、再現コンテンツ６０には、複数のイベントＥで提示されたＡＲサウンド３や、そのＡＲサウンド３に応じたＡＲビジュアル４を提示するコンテンツとなる。これにより、１つのシナリオに対応するセッションを復元することが可能となり、セッションの追体験が可能となる。
ここで追体験とは、記録したセッションを後から再生して、擬似的に体験するセッション、およびその一部のことである。追体験には、セッションを主観的に体験する主観体験、及びセッションを客観的に体験する客観体験の両方が含まれる。
ここで追体験とは、記録したセッションを後から再生して、擬似的に体験するセッション、およびその一部のことである。追体験には、セッションを主観的に体験する主観体験、及びセッションを客観的に体験する客観体験の両方が含まれる。
【0144】
例えば図１１に示す例では、ユーザ１ａ及びユーザ１ｂが客観的に撮影された撮影映像５を用いるため、客観的な追体験が可能となる。これに対し、例えばユーザ１ａ及びユーザ１ｂが自ら撮影した撮影映像５を用いた場合、主観的な追体験が可能となる。
このように、本実施形態では、映像ライブラリ１５は、追体験の際の動画のベースとなる撮影映像５のデータベースとなる。追体験のセッションでは、撮影映像５は、記録映像のように用いられることになる。
このように、本実施形態では、映像ライブラリ１５は、追体験の際の動画のベースとなる撮影映像５のデータベースとなる。追体験のセッションでは、撮影映像５は、記録映像のように用いられることになる。
【0145】
図１２は、図１０に示すサーバ装置２２０の機能的な構成例を示すブロック図である。
サーバ装置２２０は、複数の端末装置２３０から出力されたデータ（イベント情報１０や撮影映像５）を収集管理して、それらのライブラリ（イベントライブラリ１６及び映像ライブラリ１５）を生成する。またサーバ装置２２０は、再生装置２４０から送信された要求コマンドに応じて、再現コンテンツ６０を生成する。
図１２Ａに示すように、サーバ装置２２０は、通信部２２１と、記憶部２２２と、サーバ制御部２２３とを有する。通信部２２１及び記憶部２２２は、例えば図１に示すサーバ装置２０の通信部２１及び記憶部２２と同様に構成される。
サーバ装置２２０は、複数の端末装置２３０から出力されたデータ（イベント情報１０や撮影映像５）を収集管理して、それらのライブラリ（イベントライブラリ１６及び映像ライブラリ１５）を生成する。またサーバ装置２２０は、再生装置２４０から送信された要求コマンドに応じて、再現コンテンツ６０を生成する。
図１２Ａに示すように、サーバ装置２２０は、通信部２２１と、記憶部２２２と、サーバ制御部２２３とを有する。通信部２２１及び記憶部２２２は、例えば図１に示すサーバ装置２０の通信部２１及び記憶部２２と同様に構成される。
【0146】
サーバ制御部２２３は、サーバ装置２２０の動作を制御する。サーバ制御部２２３は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部２２２に記憶されているサーバ制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。サーバ制御部２２３は、本実施形態に係る情報処理装置に相当する。
【0147】
本実施形態では、サーバ制御部２２３のＣＰＵが本実施形態に係るプログラム（サーバ制御プログラム）を実行することで、機能ブロックとして、サーバデータ管理部２２４と、再現コンテンツ生成部２２５とが実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法及びデータ生成方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。
【0148】
サーバデータ管理部２２４は、サーバ装置２２０が扱うデータを管理する。
例えば、音によるＡＲのアトラクションが実行されている間、サーバデータ管理部２２４は、端末装置２３０から送信されたイベント情報１０及び撮影映像５を取得して、記憶部２２２内のイベントライブラリ１６及び映像ライブラリ１５にそれぞれ格納する。
また、音によるＡＲのアトラクションが終了すると、サーバデータ管理部２２４は、再生装置２４０から送信される要求コマンドを取得して、再現コンテンツ生成部２２５に出力する。
また、再現コンテンツ６０が生成される場合には、再現コンテンツ生成部２２５により要求されたイベント情報や撮影映像５を各ライブラリから読み出して、再現コンテンツ生成部２２５に出力する。
本実施形態では、サーバデータ管理部２２４は、取得部として機能する。
例えば、音によるＡＲのアトラクションが実行されている間、サーバデータ管理部２２４は、端末装置２３０から送信されたイベント情報１０及び撮影映像５を取得して、記憶部２２２内のイベントライブラリ１６及び映像ライブラリ１５にそれぞれ格納する。
また、音によるＡＲのアトラクションが終了すると、サーバデータ管理部２２４は、再生装置２４０から送信される要求コマンドを取得して、再現コンテンツ生成部２２５に出力する。
また、再現コンテンツ６０が生成される場合には、再現コンテンツ生成部２２５により要求されたイベント情報や撮影映像５を各ライブラリから読み出して、再現コンテンツ生成部２２５に出力する。
本実施形態では、サーバデータ管理部２２４は、取得部として機能する。
【0149】
再現コンテンツ生成部２２５は、イベント情報１０に基づいて、再現コンテンツ６０を生成する。再現コンテンツ６０は、図１１を参照して説明したように、タイムライン６を基準にＡＲデータ１１を再生する再生データである。
なお再現コンテンツ６０は、第１の実施形態で説明した共有データとは異なり、ユーザ１が音によるＡＲの体験を終えた後で生成され、ユーザ１が体験したイベントＥを再現する再生データである。
このように、再現コンテンツ生成部２２５は、再生データとして、タイムライン６に沿ってイベントＥを再現する再現コンテンツ６０を生成する。
本実施形態では、再現コンテンツ生成部２２５は、生成部に相当する。
なお再現コンテンツ６０は、第１の実施形態で説明した共有データとは異なり、ユーザ１が音によるＡＲの体験を終えた後で生成され、ユーザ１が体験したイベントＥを再現する再生データである。
このように、再現コンテンツ生成部２２５は、再生データとして、タイムライン６に沿ってイベントＥを再現する再現コンテンツ６０を生成する。
本実施形態では、再現コンテンツ生成部２２５は、生成部に相当する。
【0150】
具体的には、再現コンテンツ生成部２２５は、タイムライン６に沿って、撮影映像５にＡＲデータ１１による演出を加えることで再現コンテンツ６０を生成する。ここで、ＡＲデータ１１による演出を加える処理は、ＡＲデータ１１を用いて行われる撮影映像５の加工処理を意味する。
【0151】
例えば、ＡＲサウンド３を撮影映像５の音声として重畳する処理も、演出を加える処理である。
また例えば、ＡＲビジュアル４が画像データであった場合、画像データを撮影映像５に重畳する処理が実行される。また例えば、ＡＲビジュアル４がデジタルエフェクトを指定するデータであった場合、指定されたデジタルエフェクトを撮影映像５に適用する処理が実行される。この時、撮影映像５とともにデプス画像等が取得され、被写体認識やデプスセンシングを用いて、対象となる実物体を識別・計測してＡＲビジュアル４が重畳されてもよい。これにより、ＡＲビジュアル４が自然に重畳された再現コンテンツ６０を生成することが可能である。
再現コンテンツ生成部２２５では、これらのＡＲデータ１１が提示（再生）されるタイミングがタイムライン６に沿って設定される。この点については、後に詳しく説明する。
また例えば、ＡＲビジュアル４が画像データであった場合、画像データを撮影映像５に重畳する処理が実行される。また例えば、ＡＲビジュアル４がデジタルエフェクトを指定するデータであった場合、指定されたデジタルエフェクトを撮影映像５に適用する処理が実行される。この時、撮影映像５とともにデプス画像等が取得され、被写体認識やデプスセンシングを用いて、対象となる実物体を識別・計測してＡＲビジュアル４が重畳されてもよい。これにより、ＡＲビジュアル４が自然に重畳された再現コンテンツ６０を生成することが可能である。
再現コンテンツ生成部２２５では、これらのＡＲデータ１１が提示（再生）されるタイミングがタイムライン６に沿って設定される。この点については、後に詳しく説明する。
【0152】
＜サーバ装置の動作＞
図１３は、再現コンテンツ６０の生成方法の一例を示すフローチャートである。図１３に示す処理は、例えば再生装置２４０から送信された要求コマンドに応じてサーバ装置２２０で実行される処理である。あるいは、１つのセッションが終了した際に、図１３に示す処理が自動的に実行されてもよい。
図１３は、再現コンテンツ６０の生成方法の一例を示すフローチャートである。図１３に示す処理は、例えば再生装置２４０から送信された要求コマンドに応じてサーバ装置２２０で実行される処理である。あるいは、１つのセッションが終了した際に、図１３に示す処理が自動的に実行されてもよい。
【0153】
まず再現コンテンツ生成部２２５により、再現コンテンツ６０の対象（再現対象）が設定される（ステップ２０１）。再現対象とは、再現コンテンツ６０の生成対象となるセッション、またはイベントである。
例えばユーザ１が再生装置２４０に表示されたＧＵＩ画面等を介して、再現コンテンツ６０を生成するセッションや時間帯等を設定する。ここで設定された情報は、再現コンテンツ６０の生成を要求する要求コマンドとともにサーバ装置２２０に送信される。サーバ装置２２０では、サーバデータ管理部２２４により要求コマンドが取得され、再現コンテンツ生成部２２５に出力される。
再現コンテンツ生成部２２５では、例えばユーザが設定したセッションがそのまま再現対象のセッションとして設定される。あるいはユーザが設定した時間帯に含まれるイベントＥが再現対象として設定されてもよい。
例えばユーザ１が再生装置２４０に表示されたＧＵＩ画面等を介して、再現コンテンツ６０を生成するセッションや時間帯等を設定する。ここで設定された情報は、再現コンテンツ６０の生成を要求する要求コマンドとともにサーバ装置２２０に送信される。サーバ装置２２０では、サーバデータ管理部２２４により要求コマンドが取得され、再現コンテンツ生成部２２５に出力される。
再現コンテンツ生成部２２５では、例えばユーザが設定したセッションがそのまま再現対象のセッションとして設定される。あるいはユーザが設定した時間帯に含まれるイベントＥが再現対象として設定されてもよい。
【0154】
次に、サーバデータ管理部２２４により、イベントライブラリ１６が参照され、再現コンテンツ６０の生成に必要なイベント情報１０が取得される（ステップ２０２）。
具体的には、再現対象として設定されたイベントＥ（セッション）のイベント情報１０がイベントライブラリ１６から読み込まれる。この時、再現対象となるイベントＥを撮影した撮影映像５が映像ライブラリ１５から読み込まれる。なお映像ライブラリ１５には、同じタイミングで撮影された複数の撮影映像５が記録されている場合もある。この場合、必要な撮影映像５が適宜読み込まれる。
イベント情報１０及び撮影映像５は、再現コンテンツ生成部２２５に出力される。
具体的には、再現対象として設定されたイベントＥ（セッション）のイベント情報１０がイベントライブラリ１６から読み込まれる。この時、再現対象となるイベントＥを撮影した撮影映像５が映像ライブラリ１５から読み込まれる。なお映像ライブラリ１５には、同じタイミングで撮影された複数の撮影映像５が記録されている場合もある。この場合、必要な撮影映像５が適宜読み込まれる。
イベント情報１０及び撮影映像５は、再現コンテンツ生成部２２５に出力される。
【0155】
次に、再現コンテンツ生成部２２５により、再現対象となるイベント情報１０及びその撮影映像５に基づいて、再現コンテンツ６０が生成される（ステップ２０３）。具体的には、イベント情報１０に記録されたＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）を、対応する撮影映像５に付加する処理が実行される。撮影映像５が複数ある場合には、各撮影映像５に対してＡＲデータ１１が付加される。
生成された再現コンテンツ６０は、サーバデータ管理部２２４により、再生装置２４０に送信される。これにより、ユーザ１は所望の再現コンテンツ６０を視聴することが可能となる。
以下では、再現コンテンツ６０の生成処理について詳しく説明する。
生成された再現コンテンツ６０は、サーバデータ管理部２２４により、再生装置２４０に送信される。これにより、ユーザ１は所望の再現コンテンツ６０を視聴することが可能となる。
以下では、再現コンテンツ６０の生成処理について詳しく説明する。
【0156】
＜再現コンテンツの生成処理＞
図１４は、再現コンテンツ６０の生成に用いるイベント情報１０の一例を示す模式図である。ここでは、再現コンテンツ６０の生成に用いるイベント情報１０及び撮影映像５と、それらが記録されたときの状況が模式的に図示されている。
上記の実施形態で説明したように、イベント情報１０には、実体験の際に発生したイベントＥ及び実体験の際に撮影された撮影映像５が、同一のタイムライン６のタイムコードとともに保存されている。図１４に示すイベント情報１０及び撮影映像５は、例えば図８Ｃに示す実体験中に記録された情報である。
図１４は、再現コンテンツ６０の生成に用いるイベント情報１０の一例を示す模式図である。ここでは、再現コンテンツ６０の生成に用いるイベント情報１０及び撮影映像５と、それらが記録されたときの状況が模式的に図示されている。
上記の実施形態で説明したように、イベント情報１０には、実体験の際に発生したイベントＥ及び実体験の際に撮影された撮影映像５が、同一のタイムライン６のタイムコードとともに保存されている。図１４に示すイベント情報１０及び撮影映像５は、例えば図８Ｃに示す実体験中に記録された情報である。
【0157】
ここでは、イベント情報１０として、ＡＲサウンド３の情報（種類、提示タイミング、提示位置２６ｓ）及び、ＡＲビジュアル４の情報（種類、提示タイミング、提示位置２６ｖ）が記録される。
これらのＡＲデータ１１は、例えば天候情報２９やアイテム情報２８（状況情報）に応じて選択・生成されたデータであり、イベント情報１０には、これらの状況情報も記録される。
また、撮影映像５として、ユーザ１ａ及び１ｂにより撮影された撮影映像５ａ及び５ｂと、定点カメラ４６により撮影された撮影映像５ｃが記録される。
これらのＡＲデータ１１は、例えば天候情報２９やアイテム情報２８（状況情報）に応じて選択・生成されたデータであり、イベント情報１０には、これらの状況情報も記録される。
また、撮影映像５として、ユーザ１ａ及び１ｂにより撮影された撮影映像５ａ及び５ｂと、定点カメラ４６により撮影された撮影映像５ｃが記録される。
【0158】
まず、ＡＲデータ１１を再生するタイミングについて説明する。
再現コンテンツ６０の生成処理では、再現コンテンツ生成部２２５により、ＡＲデータ１１の提示タイミングを基準に、再現コンテンツ６０においてＡＲデータ１１が再生されるタイミングが設定される。
典型的には、ＡＲデータ１１の提示タイミングで、ＡＲデータ１１を再生させる再現コンテンツ６０が生成される。すなわち、再現コンテンツ６０となる撮影映像５において、ＡＲサウンド３を再生するタイミングやＡＲビジュアル４を重畳するタイミングは、イベント情報１０に記録された提示タイミングに設定される。
再現コンテンツ６０の生成処理では、再現コンテンツ生成部２２５により、ＡＲデータ１１の提示タイミングを基準に、再現コンテンツ６０においてＡＲデータ１１が再生されるタイミングが設定される。
典型的には、ＡＲデータ１１の提示タイミングで、ＡＲデータ１１を再生させる再現コンテンツ６０が生成される。すなわち、再現コンテンツ６０となる撮影映像５において、ＡＲサウンド３を再生するタイミングやＡＲビジュアル４を重畳するタイミングは、イベント情報１０に記録された提示タイミングに設定される。
【0159】
ここで、ＡＲサウンド３の提示タイミングと、ＡＲビジュアル４の提示タイミングとの関係について説明する。例えばＡＲサウンド３の提示タイミングは、実体験において実際にＡＲサウンド３が提示されたタイミングである。これに対して、ＡＲビジュアル４の提示タイミングは、ＡＲサウンド３の提示タイミングを基準にして設定されたタイミングである。
従って、ＡＲビジュアル４の提示タイミングは、ＡＲサウンド３の提示タイミングと一致していてもよいし、その前後に設定されていてもよい。
従って、ＡＲビジュアル４の提示タイミングは、ＡＲサウンド３の提示タイミングと一致していてもよいし、その前後に設定されていてもよい。
【0160】
例えばＡＲサウンド３が足音を表す効果音であり、ＡＲビジュアル４が足音の擬音を表す画像であるとする。この場合、擬音の提示タイミングは、足音の提示タイミングと一致するように設定される。すなわち、ＡＲビジュアル４は、ＡＲサウンド３と同期して提示される。従って、再現コンテンツ６０では足音と同時にその擬音が提示されることになる。
この他にも、例えば場所を指定するようなＡＲサウンド３の内容を表すＡＲビジュアル４（例えば、○○に行くといったテキスト）が用いられる場合に、提示タイミングが同期される。あるいは、ＡＲサウンド３とのインタラクションを表すＡＲビジュアル４が用いられる場合（例えば雨音に対応して傘をさす画像を表示する場合等）に、提示タイミングが同期される。
この他にも、例えば場所を指定するようなＡＲサウンド３の内容を表すＡＲビジュアル４（例えば、○○に行くといったテキスト）が用いられる場合に、提示タイミングが同期される。あるいは、ＡＲサウンド３とのインタラクションを表すＡＲビジュアル４が用いられる場合（例えば雨音に対応して傘をさす画像を表示する場合等）に、提示タイミングが同期される。
【0161】
また例えば、ＡＲサウンド３が雨音を表す効果音であり、ＡＲビジュアル４が雨雲を表す画像であるとする。この時、雨雲の提示タイミングが、雨音の提示タイミングよりも前に設定される。これにより、雨が降り出す前に雨雲が出現する様子等を表現することが可能となる。
また例えば、ＡＲサウンド３が雷鳴を表す効果音であり、ＡＲビジュアル４が雷を表す画像（あるいはエフェクト）であるとする。この時、雷の画像やエフェクトの提示タイミングが、雷鳴の提示タイミングよりも後に設定される。これにより、あえて雷鳴よりも後に雷が発生する様子等を表現することが可能となる。
このように、ＡＲビジュアル４の提示タイミングをＡＲサウンド３の提示タイミングからずらして設定することで、再現コンテンツ６０において様々な演出効果を発揮することが可能である。
また例えば、ＡＲサウンド３が雷鳴を表す効果音であり、ＡＲビジュアル４が雷を表す画像（あるいはエフェクト）であるとする。この時、雷の画像やエフェクトの提示タイミングが、雷鳴の提示タイミングよりも後に設定される。これにより、あえて雷鳴よりも後に雷が発生する様子等を表現することが可能となる。
このように、ＡＲビジュアル４の提示タイミングをＡＲサウンド３の提示タイミングからずらして設定することで、再現コンテンツ６０において様々な演出効果を発揮することが可能である。
【0162】
次に、再現コンテンツ６０に用いる撮影映像５について説明する。
再現コンテンツ６０（追体験の動画）は、少なくとも１つの撮影映像５をベースに生成される。すなわち、再現対象となるイベントＥを撮影した撮影映像５の全部又は一部にＡＲデータ１１を重畳して、再現コンテンツ６０が生成される。
再現コンテンツ６０（追体験の動画）は、少なくとも１つの撮影映像５をベースに生成される。すなわち、再現対象となるイベントＥを撮影した撮影映像５の全部又は一部にＡＲデータ１１を重畳して、再現コンテンツ６０が生成される。
【0163】
図１４に示す例では、再現コンテンツ６０は、撮影映像５ａ～５ｃを素材として構成される。例えば、ユーザ１ａを対象とする再現コンテンツ６０を生成する場合、完全主観の動画であればユーザ１ａ本人が撮影した撮影映像５ａを用いて再現コンテンツ６０が生成される。また、二人称の動画であればユーザ１ｂが撮影した撮影映像５ｂが用いられ、三人称の客観動画であれば定点カメラ４６により撮影された撮影映像５ｃが用いられる。また、ダイジェスト動画であれば各撮影映像５ａ～５ｃのシーンを適宜組み合わせて、再現コンテンツ６０が構成される。
これにより、ユーザ１が体験した内容を様々な視点で記録した再現コンテンツ６０を提供することが可能となる。
これにより、ユーザ１が体験した内容を様々な視点で記録した再現コンテンツ６０を提供することが可能となる。
【0164】
次に、再現コンテンツ６０におけるＡＲデータ１１の提示位置について説明する。
再現コンテンツ６０の各シーンでは、そのシーンを撮影したカメラの位置（撮影位置２７）を起点に、ＡＲデータ１１を再生する位置を相対的に配置して、ＡＲデータ１１が各カメラの撮影映像５に重畳される。
再現コンテンツ６０の各シーンでは、そのシーンを撮影したカメラの位置（撮影位置２７）を起点に、ＡＲデータ１１を再生する位置を相対的に配置して、ＡＲデータ１１が各カメラの撮影映像５に重畳される。
【0165】
例えば、ＡＲサウンド３は、撮影映像５の撮影位置２７から見てＡＲサウンド３の提示位置２６ｓが存在する方向から再生されるように重畳される。また再生音量は、撮影位置２７からＡＲサウンドの提示位置２６ｓまでの距離に応じて設定される。
このように、再現コンテンツ６０の生成処理では、イベントＥにおけるＡＲサウンド３の提示位置２６ｓと撮影映像５の撮影位置２７との相対的な位置関係に基づいて、再現コンテンツ６０におけるＡＲサウンド３の再生音量又は再生方位の少なくとも一方が調整される。
これにより、実体験で提示されたＡＲサウンド３の位置や方位を再現した再現コンテンツ６０を提供することが可能となる。
このように、再現コンテンツ６０の生成処理では、イベントＥにおけるＡＲサウンド３の提示位置２６ｓと撮影映像５の撮影位置２７との相対的な位置関係に基づいて、再現コンテンツ６０におけるＡＲサウンド３の再生音量又は再生方位の少なくとも一方が調整される。
これにより、実体験で提示されたＡＲサウンド３の位置や方位を再現した再現コンテンツ６０を提供することが可能となる。
【0166】
また例えば、ＡＲビジュアル４は、撮影映像５の撮影位置２７から見たＡＲビジュアル４の提示位置２６ｖに重畳される。この時、ＡＲビジュアル４の姿勢やサイズ等が、撮影位置２７からＡＲビジュアルの提示位置２６ｓまでの方向や距離に応じて適宜調整される。
このように、再現コンテンツ６０の生成処理では、イベントＥにおけるＡＲビジュアル４の提示位置２６ｖと撮影映像５の撮影位置２７との相対的な位置関係に基づいて、再現コンテンツ６０におけるＡＲビジュアル４の姿勢又はサイズの少なくとも一方が調整される。
これにより、実体験で提示されたＡＲビジュアル４の位置や方位を再現した再現コンテンツ６０を提供することが可能となる。
このように、再現コンテンツ６０の生成処理では、イベントＥにおけるＡＲビジュアル４の提示位置２６ｖと撮影映像５の撮影位置２７との相対的な位置関係に基づいて、再現コンテンツ６０におけるＡＲビジュアル４の姿勢又はサイズの少なくとも一方が調整される。
これにより、実体験で提示されたＡＲビジュアル４の位置や方位を再現した再現コンテンツ６０を提供することが可能となる。
【0167】
次に、再現コンテンツ６０における外部変数の調整について説明する。
再現コンテンツ６０の生成処理では、シナリオの進行に影響を及ぼさない範囲において、天候情報２９等の外部変数の内容を変更することも可能である。
例えば、雨天に体験した内容を、晴天での体験に変更するといったことや、夏に体験した内容を、冬の体験に変更するといったことが可能である。この場合、ＡＲデータ１１の選択等が変化し、実体験の時とは異なる演出を付けることも可能である。
この他、ユーザ１のステータス（アイテム情報２８や体格等）等が変更されてもよい。このように、ＡＲデータ１１の選択に係るパラメータを変更することで、実体験の内容を拡張して再現することが可能となる。
再現コンテンツ６０の生成処理では、シナリオの進行に影響を及ぼさない範囲において、天候情報２９等の外部変数の内容を変更することも可能である。
例えば、雨天に体験した内容を、晴天での体験に変更するといったことや、夏に体験した内容を、冬の体験に変更するといったことが可能である。この場合、ＡＲデータ１１の選択等が変化し、実体験の時とは異なる演出を付けることも可能である。
この他、ユーザ１のステータス（アイテム情報２８や体格等）等が変更されてもよい。このように、ＡＲデータ１１の選択に係るパラメータを変更することで、実体験の内容を拡張して再現することが可能となる。
【0168】
＜再現コンテンツの具体例＞
アトラクションに参加するユーザ１は、個人であるケースとグループであるケースとが考えられる。
個人のケースでは、一人のユーザ１の体験がイベント情報１０として記録され、ユーザ１の体験内容を再現する再現コンテンツ６０が生成される。またグループのケースでは、複数のユーザ１の体験がイベント情報１０として記録され、各ユーザの体験内容が一連の体験として再現する再現コンテンツ６０が生成される。
以下では、ユーザ１が実際に体験する内容とその再現コンテンツ６０の例について、個人のケースとグループのケースとに分けてそれぞれ説明する。
アトラクションに参加するユーザ１は、個人であるケースとグループであるケースとが考えられる。
個人のケースでは、一人のユーザ１の体験がイベント情報１０として記録され、ユーザ１の体験内容を再現する再現コンテンツ６０が生成される。またグループのケースでは、複数のユーザ１の体験がイベント情報１０として記録され、各ユーザの体験内容が一連の体験として再現する再現コンテンツ６０が生成される。
以下では、ユーザ１が実際に体験する内容とその再現コンテンツ６０の例について、個人のケースとグループのケースとに分けてそれぞれ説明する。
【0169】
図１５は、ユーザが一人で参加するアトラクションの流れを示す模式図である。
まず、アトラクションに参加するユーザ１は、音によるＡＲを提供するアプリケーションがインストールされた端末装置２３０を借り受ける。この時、ユーザ１は、スタッフ９からアトラクションについての説明（イントロダクション）を受け、体験がスタートする。
体験中のユーザ１は、端末装置２３０に接続されたイヤホン２を装着する。例えばユーザ１はガイダンスに従って移動しながら様々なシナリオに沿ったセッション（イベントＥ）を体験することになる。この間、サーバ装置２２０にはユーザ１に関するイベント情報１０が蓄積される。
体験が終了すると、端末装置２３０がスタッフ９に返却される。この時、端末装置２３０の返却と引き換えにＱＲコード（登録商標、以下同じ）４８が提示される。このＱＲコード４８は、再現コンテンツ６０を提供するサイトやアプリケーションへのリンクとして用いられる。ユーザ１は、自身のスマートフォン等を用いて、ＱＲコード４８のリンク先にアクセスすることで、自身の体験を再現した再現コンテンツを取得することが可能である。
まず、アトラクションに参加するユーザ１は、音によるＡＲを提供するアプリケーションがインストールされた端末装置２３０を借り受ける。この時、ユーザ１は、スタッフ９からアトラクションについての説明（イントロダクション）を受け、体験がスタートする。
体験中のユーザ１は、端末装置２３０に接続されたイヤホン２を装着する。例えばユーザ１はガイダンスに従って移動しながら様々なシナリオに沿ったセッション（イベントＥ）を体験することになる。この間、サーバ装置２２０にはユーザ１に関するイベント情報１０が蓄積される。
体験が終了すると、端末装置２３０がスタッフ９に返却される。この時、端末装置２３０の返却と引き換えにＱＲコード（登録商標、以下同じ）４８が提示される。このＱＲコード４８は、再現コンテンツ６０を提供するサイトやアプリケーションへのリンクとして用いられる。ユーザ１は、自身のスマートフォン等を用いて、ＱＲコード４８のリンク先にアクセスすることで、自身の体験を再現した再現コンテンツを取得することが可能である。
【0170】
【0171】
図１６Ａに示すセッションでは、端末装置２３０を通じてエリア（スポット）に応じたナレーション（ＮＡ）や空間音響等の効果音（ＳＥ）といったＡＲサウンド３が提示される。ここでは、セッション中に提示されるＡＲデータ１１は、ＡＲサウンド３のみであり、ＡＲビジュアル４は用いられない。この場合、ユーザ１は、肉眼では確認できないものの、あたかもその場に何かがいるような感覚を体験することになる。
また体験の様子は、定点カメラ４６により撮影される。
図１６Ａに示すセッションの再現コンテンツ６０は、定点カメラ４６が撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ナレーションや効果音等のＡＲサウンド３に加え、ナレーションを発話しているキャラクタ４ｂ等のＡＲビジュアル４が重畳される。従ってユーザ１は、再現コンテンツ６０を視聴することで、実体験中にはわからなかったキャラクタ４ｂの正体を知ることが可能となる。また撮影映像５には、効果音を表す擬音や音符等のＡＲビジュアル４が重畳される。これにより、効果音を視覚的に演出することが可能となり、リッチな追体験を提供することが可能となる。
また体験の様子は、定点カメラ４６により撮影される。
図１６Ａに示すセッションの再現コンテンツ６０は、定点カメラ４６が撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ナレーションや効果音等のＡＲサウンド３に加え、ナレーションを発話しているキャラクタ４ｂ等のＡＲビジュアル４が重畳される。従ってユーザ１は、再現コンテンツ６０を視聴することで、実体験中にはわからなかったキャラクタ４ｂの正体を知ることが可能となる。また撮影映像５には、効果音を表す擬音や音符等のＡＲビジュアル４が重畳される。これにより、効果音を視覚的に演出することが可能となり、リッチな追体験を提供することが可能となる。
【0172】
図１６Ｂに示すセッションでは、ユーザ１の周りで音（音源）が動き回るようなＡＲサウンド３が提示される。ここでは、セッション中に提示されるＡＲデータ１１は、ＡＲサウンド３のみであり、ＡＲビジュアル４は用いられない。この場合、ユーザ１は、肉眼では確認できない何かが自身の周りを移動しているかのような感覚を体験することになる。
また体験の様子は、定点カメラ４６により撮影される。
図１６Ｂに示すセッションの再現コンテンツ６０は、定点カメラ４６が撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ユーザ１の周りを動きまわるＡＲサウンド３に加え、その音源となるオブジェクト４ａ等のＡＲビジュアル４が重畳される。これによりユーザ１は、自身の周りを動きまわる音源の正体を視認することが可能となる。なお、音源の位置は、定点カメラ４６の撮影位置２７を基準に調整されてもよいし、ユーザ１に提示された際の位置がそのまま用いられてもよい。
また体験の様子は、定点カメラ４６により撮影される。
図１６Ｂに示すセッションの再現コンテンツ６０は、定点カメラ４６が撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ユーザ１の周りを動きまわるＡＲサウンド３に加え、その音源となるオブジェクト４ａ等のＡＲビジュアル４が重畳される。これによりユーザ１は、自身の周りを動きまわる音源の正体を視認することが可能となる。なお、音源の位置は、定点カメラ４６の撮影位置２７を基準に調整されてもよいし、ユーザ１に提示された際の位置がそのまま用いられてもよい。
【0173】
図１６Ｃに示すセッションでは、ユーザ１を誘導するナレーション等のＡＲサウンド３が提示される。ここでは、音による誘導により、音源となるキャラクタ４ｂを探すようなシナリオが進行する。例えば、ナレーションが聞こえる方にユーザ１が移動すると、ナレーションの声が大きくなる。また例えば、間違った方向にユーザ１が移動すると、方向が違う旨のナレーション等が再生される。そして、ユーザ１がナレーションの聞こえる方向を端末装置２３０（携帯カメラ）で撮影すると、撮影映像５に重畳してナレーションを発話するキャラクタ４ｂが提示される。
図１６Ｃに示すセッションの再現コンテンツ６０は、ユーザ１が端末装置２３０で撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ナレーションを発話するキャラクタ４ｂが重畳される。この時、ナレーションの内容等を表すテキストが新たなＡＲビジュアル４として追加されてもよい。
図１６Ｃに示すセッションの再現コンテンツ６０は、ユーザ１が端末装置２３０で撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ナレーションを発話するキャラクタ４ｂが重畳される。この時、ナレーションの内容等を表すテキストが新たなＡＲビジュアル４として追加されてもよい。
【0174】
図１６Ｄに示すセッションでは、ユーザ１の動作に応じたＡＲサウンド３が提示される。ここでは、ユーザ１の着地動作に合わせて仮想的な足音を表すＡＲサウンド３が再生される。この体験の様子は、定点カメラ４６で撮影される。
図１６Ｄに示すセッションの再現コンテンツ６０は、定点カメラ４６で撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ユーザ１のステップに合わせて再生される足音に加え、足音の擬音や足跡等を表すＡＲビジュアル４が重畳される。これにより、ユーザ１の体験した足音を音と画像の両方で再現することが可能となり、ユーザ１は自身の体験内容を、第３者と容易に共有することが可能となる。
図１６Ｄに示すセッションの再現コンテンツ６０は、定点カメラ４６で撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ユーザ１のステップに合わせて再生される足音に加え、足音の擬音や足跡等を表すＡＲビジュアル４が重畳される。これにより、ユーザ１の体験した足音を音と画像の両方で再現することが可能となり、ユーザ１は自身の体験内容を、第３者と容易に共有することが可能となる。
【0175】
図１７は、ユーザ１がグループで体験するセッションの一例を示す模式図である。
図１７Ａ～図１７Ｄには、二人のユーザ１ａ及びユーザ１ｂがグループとして体験するセッションの例がイラストを用いて模式的に図示されている。なお図１７Ａ～図１７Ｄに示すセッションは、図１６Ａ～図１６Ｄに示すセッションと同様である。
図１７Ａ～図１７Ｄには、二人のユーザ１ａ及びユーザ１ｂがグループとして体験するセッションの例がイラストを用いて模式的に図示されている。なお図１７Ａ～図１７Ｄに示すセッションは、図１６Ａ～図１６Ｄに示すセッションと同様である。
【0176】
グループでアトラクションに参加する場合、端末装置２３０がグループ内の各ユーザ１ａ及び１ｂにそれぞれ貸し出される。
アトラクションの体験中は、例えば第１の実施形態で説明したように、各ユーザ１ａ及び１ｂの共有イベントについて共有データが生成され、各ユーザ１ａ及び１ｂの体験が共有される。なお、体験を共有させる処理が行われない場合にも、本技術は適用可能である。
また体験の終了後は、端末装置２３０の返却と引き換えにＱＲコード４８が提示される。この時、グループ内の各ユーザ１ａ及び１ｂには、それぞれ個別のＱＲコード４８が提示される。
アトラクションの体験中は、例えば第１の実施形態で説明したように、各ユーザ１ａ及び１ｂの共有イベントについて共有データが生成され、各ユーザ１ａ及び１ｂの体験が共有される。なお、体験を共有させる処理が行われない場合にも、本技術は適用可能である。
また体験の終了後は、端末装置２３０の返却と引き換えにＱＲコード４８が提示される。この時、グループ内の各ユーザ１ａ及び１ｂには、それぞれ個別のＱＲコード４８が提示される。
【0177】
図１７Ａに示すセッションでは、ＡＲサウンド３として、エリアに応じたナレーションや効果音が提示される。またこのセッション中は、ＡＲビジュアル４は提示されない。ユーザ１ａ及びユーザ１ｂは、肉眼では確認できない音源が存在しているかのような感覚を体験する。この時、実世界における音源の位置は、ユーザ１ａ及びユーザ１ｂのいずれにとっても同じ位置となるようにＡＲサウンド３が再生される。また体験の様子は、定点カメラ４６により撮影される。
図１７Ａに示すセッションの再現コンテンツ６０は、定点カメラ４６が撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ナレーション及び効果音に加え、ナレーションを発話しているキャラクタ４ｂや効果音を表す擬音等のＡＲビジュアル４が重畳される。これにより、１つの再現コンテンツ６０で、ユーザ１ａ及びユーザ１ｂが二人で体験した内容を追体験することが可能となる。
図１７Ａに示すセッションの再現コンテンツ６０は、定点カメラ４６が撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ナレーション及び効果音に加え、ナレーションを発話しているキャラクタ４ｂや効果音を表す擬音等のＡＲビジュアル４が重畳される。これにより、１つの再現コンテンツ６０で、ユーザ１ａ及びユーザ１ｂが二人で体験した内容を追体験することが可能となる。
【0178】
図１７Ｂに示すセッションでは、ユーザ１ａ及び１ｂの周りで音（音源）が動き回るようなＡＲサウンド３が提示される。またこのセッション中は、ＡＲビジュアル４は提示されない。ここでは、ユーザ１ａ及び１ｂは、自分たちの周囲を動き回る音源が存在しているかのような感覚を体験する。また体験の様子は、定点カメラ４６により撮影される。
図１７Ｂに示すセッションの再現コンテンツ６０は、定点カメラ４６が撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ＡＲサウンド３とその音源となるオブジェクト４ａ等のＡＲビジュアル４とが重畳される。これにより、ユーザ１ａ及び１ｂは、音源の動きを視覚的に確認しながら、自分たちの体験を振り返るといったことが可能となる。
図１７Ｂに示すセッションの再現コンテンツ６０は、定点カメラ４６が撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ＡＲサウンド３とその音源となるオブジェクト４ａ等のＡＲビジュアル４とが重畳される。これにより、ユーザ１ａ及び１ｂは、音源の動きを視覚的に確認しながら、自分たちの体験を振り返るといったことが可能となる。
【0179】
図１７Ｃに示すセッションでは、各ユーザ１ａ及び１ｂを誘導するナレーション等のＡＲサウンド３が提示される。またユーザ１ａ及び１ｂがナレーションの聞こえる方向を端末装置２３０（携帯カメラ）で撮影すると、撮影映像５に重畳してナレーションを発話するキャラクタ４ｂが提示される。この時、ユーザ１ａ及び１ｂの撮影位置は互いに異なるため、それぞれの撮影映像５には異なる方向から撮影されたキャラクタ４ｂが重畳される。
図１７Ｃに示すセッションの再現コンテンツ６０は、ユーザ１ａ及び１ｂが各々の端末装置２３０で撮影した撮影映像５をベースに作成される。従って、ユーザ１ａ及び１ｂに提供される再現コンテンツ６０は、それぞれが選択した撮影位置からキャラクタ４ｂを撮影した映像となる。このように、ユーザ１ａ及び１ｂは、オリジナルの記録映像をそれぞれ取得することが可能である。
図１７Ｃに示すセッションの再現コンテンツ６０は、ユーザ１ａ及び１ｂが各々の端末装置２３０で撮影した撮影映像５をベースに作成される。従って、ユーザ１ａ及び１ｂに提供される再現コンテンツ６０は、それぞれが選択した撮影位置からキャラクタ４ｂを撮影した映像となる。このように、ユーザ１ａ及び１ｂは、オリジナルの記録映像をそれぞれ取得することが可能である。
【0180】
図１７Ｄに示すセッションでは、ユーザ１ａ及び１ｂの動作に応じた仮想的な足音を表すＡＲサウンド３が提示される。ここでは、ユーザ１ａ及び１ｂの体験が共有され、互いの着地動作に合わせた仮想的な足音が、それぞれの着地点から再生される。この体験の様子は、定点カメラ４６で撮影される。
図１７Ｄに示すセッションの再現コンテンツ６０は、定点カメラ４６で撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ユーザ１ａ及び１ｂのステップに合わせて再生される全ての足音と、それらに対応するＡＲビジュアル４とが重畳される。これにより、ユーザ１ａ及びユーザ１ｂが二人で体験した内容を音と画像の両方で再現することが可能となり、二人が共有した感覚を追体験するといったことが可能となる。
図１７Ｄに示すセッションの再現コンテンツ６０は、定点カメラ４６で撮影した撮影映像５をベースに作成される。この場合、撮影映像５には、ユーザ１ａ及び１ｂのステップに合わせて再生される全ての足音と、それらに対応するＡＲビジュアル４とが重畳される。これにより、ユーザ１ａ及びユーザ１ｂが二人で体験した内容を音と画像の両方で再現することが可能となり、二人が共有した感覚を追体験するといったことが可能となる。
【0181】
図１８は、ユーザ１同士が撮影した撮影映像５をベースとする再現コンテンツ６０について説明するための模式図である。図１８Ａ～図１８Ｃには、ユーザ１ａ及び１ｂが、二人で参加したセッションの再現コンテンツ６０を視聴するまでの流れが模式的に図示されている。ここでは、セッション中にユーザ１ａがユーザ１ｂを撮影した撮影映像５をベースとして、再現コンテンツ６０が生成される。
【0182】
このセッションでは、図１８Ａに示すように、実世界に配置されたベンチ５１の付近に定位したＡＲサウンド３（ナレーション、効果音、ＢＧＭ等）が各ユーザ１ａ及び１ｂに提示される。例えばユーザ１ｂがＡＲサウンド３の音源を推定し、ベンチ５１に移動して座ったとする。この場合、図１８Ｂに示すように、ベンチ５１に座ったユーザ１ｂには、耳元で聞こえるようにＡＲサウンド３が提示される。例えば、ユーザ１ｂが耳元で音声等が聞こえることに驚いて、その旨をユーザ１ａに伝える。また、ユーザ１ａは、ベンチ５１の近傍に目に見えない何かがいると考え、ベンチ５１に座るユーザ１ｂの様子を撮影する。
ここでは、ユーザ１ａが撮影中に視認する撮影映像５（スルー画像）には、ＡＲビジュアル４等が重畳されないものとする。
ここでは、ユーザ１ａが撮影中に視認する撮影映像５（スルー画像）には、ＡＲビジュアル４等が重畳されないものとする。
【0183】
図１８Ｃには、セッションの終了後、ユーザ１ａ及び１ｂが、再現コンテンツ６０を確認する様子が示されている。この再現コンテンツ６０は、図１８Ｂで、ユーザ１ａが撮影した撮影映像５をベースに、ユーザ１ｂが聞いたＡＲサウンド３と、そのＡＲサウンド３に対応するＡＲビジュアル４とが重畳された映像である。
この場合、各ユーザ１ａ及び１ｂは、ユーザ１ｂの隣にいた仮想的なキャラクタ４ｂの正体や、ユーザ１ｂの周辺で聞こえていた効果音の正体等を、再現コンテンツ６０を視聴することで初めて確認することが可能となる。このように、セッション中にユーザ１がグループで体験した内容を、後から補うような再現コンテンツ６０を提供することが可能である。これにより、ユーザ１は、アトラクションが終了した後でも、自分たちの体験内容を新しい要素とともに楽しむことができる。
なお、スルー画像の時点でキャラクタ４ｂが重畳して提示されてもよい。この場合、撮影中にキャラクタ４ｂとユーザ１とのインタラクション等が実現されてもよい。
この場合、各ユーザ１ａ及び１ｂは、ユーザ１ｂの隣にいた仮想的なキャラクタ４ｂの正体や、ユーザ１ｂの周辺で聞こえていた効果音の正体等を、再現コンテンツ６０を視聴することで初めて確認することが可能となる。このように、セッション中にユーザ１がグループで体験した内容を、後から補うような再現コンテンツ６０を提供することが可能である。これにより、ユーザ１は、アトラクションが終了した後でも、自分たちの体験内容を新しい要素とともに楽しむことができる。
なお、スルー画像の時点でキャラクタ４ｂが重畳して提示されてもよい。この場合、撮影中にキャラクタ４ｂとユーザ１とのインタラクション等が実現されてもよい。
【0184】
＜コンテキストに応じた再現コンテンツの生成＞
図１９は、コンテキストに応じた再現コンテンツ６０の生成例を示す模式図である。ここでは、実体験における、ユーザ１や環境などのコンテキストに合わせて、再現コンテンツ６０のエフェクトを変化させるケースについて説明する。コンテキストとは、例えばセッションの状況や流れを意味する。
図１９は、コンテキストに応じた再現コンテンツ６０の生成例を示す模式図である。ここでは、実体験における、ユーザ１や環境などのコンテキストに合わせて、再現コンテンツ６０のエフェクトを変化させるケースについて説明する。コンテキストとは、例えばセッションの状況や流れを意味する。
【0185】
図１９に示す例では、肉眼では見えないキャラクタ４ｂがナレーションでユーザ１を誘導するセッションが撮影される（図１９の左側）。またセッションの再現コンテンツ６０（図１９の右側）では、ユーザ１の表情や反応等に応じたエフェクトが重畳される。
この時、例えばユーザ１の表情や反応が喜びを表している場合には、ユーザ１が喜んでいるというコンテキストを表現するようなＡＲビジュアル４が重畳される。この例では、撮影映像５やその時の音声等に基づいて感情を識別する処理等を実行することで、コンテキストが判定される。
この時、例えばユーザ１の表情や反応が喜びを表している場合には、ユーザ１が喜んでいるというコンテキストを表現するようなＡＲビジュアル４が重畳される。この例では、撮影映像５やその時の音声等に基づいて感情を識別する処理等を実行することで、コンテキストが判定される。
【0186】
コンテキストを判定するための情報としては、図８Ｃ等を参照して説明した状況情報（天候情報やアイテム情報等）が参照される。
例えば、撮影映像５や環境音から、セッションの状況を表す状況情報が抽出される。なお環境音を収音する際には、バイノーラル録音等が用いられてもよい。バイノーラル録音では、例えばユーザ１の耳元で音声が録音される。これによりユーザ１の頭部での音響効果等が反映され音源の位置等を精度よく表現するデータを録音可能である。
例えば、撮影映像５や環境音から、セッションの状況を表す状況情報が抽出される。なお環境音を収音する際には、バイノーラル録音等が用いられてもよい。バイノーラル録音では、例えばユーザ１の耳元で音声が録音される。これによりユーザ１の頭部での音響効果等が反映され音源の位置等を精度よく表現するデータを録音可能である。
【0187】
また、予めユーザ１等により設定された情報が、ユーザ１のステータスを表す状況情報として用いられてもよいし、シナリオの進行状況等を表す情報（例えばシナリオの分岐等）が状況情報として用いられてもよい。
また、撮影映像５において各ユーザ１を特定した情報等が状況情報として用いられてもよい。この場合、例えば任意の個人認証技術等を用いて、撮影映像５に映るユーザ１がそれぞれ特定される。このように、各ユーザ１を特定することでＡＲデータ１１を詳細にカスタマイズすることが可能となる。
また、撮影映像５において各ユーザ１を特定した情報等が状況情報として用いられてもよい。この場合、例えば任意の個人認証技術等を用いて、撮影映像５に映るユーザ１がそれぞれ特定される。このように、各ユーザ１を特定することでＡＲデータ１１を詳細にカスタマイズすることが可能となる。
【0188】
本実施形態では、このように取得された状況情報に基づいて、コンテキストに合ったＡＲサウンド３やＡＲビジュアル４を選択する処理や、コンテキストに合った形にＡＲサウンド３やＡＲビジュアル４を変化させる処理（変化処理）が実行される。あるいは、コンテキストに合った形にＡＲサウンド３やＡＲビジュアル４を自動発生させる処理が実行されてもよい。これらの処理は、イベント情報１０を生成するときに実行されてもよいし、再現コンテンツ６０を生成するときに実行されてもよい。
以下では、ＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）のバリエーションと、各バリエーションについて想定される変化処理について説明する。なお以下で説明する変化処理は、ＡＲサウンド３及びＡＲビジュアル４の少なくとも一方を変化させる処理である。
以下では、ＡＲデータ１１（ＡＲサウンド３及びＡＲビジュアル４）のバリエーションと、各バリエーションについて想定される変化処理について説明する。なお以下で説明する変化処理は、ＡＲサウンド３及びＡＲビジュアル４の少なくとも一方を変化させる処理である。
【0189】
効果音の一例として"足音"、"ドアの開閉音"、"楽器演奏"について説明する。
"足音"に対応して"擬音の画像"が提示される場合、ユーザ１の体格に応じて音を変化させる変化処理が実行される。
"ドアの開閉音"に対応して"擬音の画像"が提示される場合、ユーザ１がドアを開閉する速度に連動するように音を変化させる変化処理が実行される。
"楽器演奏"に対応して"音符や楽譜の画像"が提示される場合、演奏の上手い下手に応じて音符や楽譜のデザインを変化させる変化処理が実行される。
"足音"に対応して"擬音の画像"が提示される場合、ユーザ１の体格に応じて音を変化させる変化処理が実行される。
"ドアの開閉音"に対応して"擬音の画像"が提示される場合、ユーザ１がドアを開閉する速度に連動するように音を変化させる変化処理が実行される。
"楽器演奏"に対応して"音符や楽譜の画像"が提示される場合、演奏の上手い下手に応じて音符や楽譜のデザインを変化させる変化処理が実行される。
【0190】
自然現象を表す音の一例として"雨の音"、"風の音"、"雷の音"について説明する。
"雨の音"に対応して"雨の画像"が提示される場合、時間に応じて雨の強さを変化させる変化処理が実行される。
"風の音"に対応して"擬音の画像"が提示される場合、場所に応じて風の強さを変化させる変化処理が実行される。
"雷の音"に対応して"デジタルエフェクト"が提示される場合、タイミングや場所に応じて雷の大きさやエフェクトの規模を変化させる変化処理が実行される。
"雨の音"に対応して"雨の画像"が提示される場合、時間に応じて雨の強さを変化させる変化処理が実行される。
"風の音"に対応して"擬音の画像"が提示される場合、場所に応じて風の強さを変化させる変化処理が実行される。
"雷の音"に対応して"デジタルエフェクト"が提示される場合、タイミングや場所に応じて雷の大きさやエフェクトの規模を変化させる変化処理が実行される。
【0191】
発話の一例として"話声"、"ナビゲーション"について説明する。
"話声"に対応して"テキスト"が提示される場合、話声のトーンや感情に合わせてテキストの色やフォントを変化させる変化処理が実行される。
"ナビゲーション"に対応して"テキスト"が提示される場合、ナビゲーションの音量に応じてテキストのサイズを変化させる変化処理が実行される。
"話声"に対応して"テキスト"が提示される場合、話声のトーンや感情に合わせてテキストの色やフォントを変化させる変化処理が実行される。
"ナビゲーション"に対応して"テキスト"が提示される場合、ナビゲーションの音量に応じてテキストのサイズを変化させる変化処理が実行される。
【0192】
空間音響の一例として"こだま"、"エコー"について説明する。
"こだま"に対応して"デジタルエフェクト"が提示される場合、場所に応じてこだまが戻ってくるタイミングを変化させる変化処理が実行される。
"エコー"に対応して"デジタルエフェクト"が提示される場合、空間の広さに応じてエコーの響きやエフェクトを変化させる変化処理が実行される。
"こだま"に対応して"デジタルエフェクト"が提示される場合、場所に応じてこだまが戻ってくるタイミングを変化させる変化処理が実行される。
"エコー"に対応して"デジタルエフェクト"が提示される場合、空間の広さに応じてエコーの響きやエフェクトを変化させる変化処理が実行される。
【0193】
ＢＧＭの一例として"歌曲"、"演奏"について説明する。
"歌曲"に対応して"テキスト"が提示される場合、歌曲の曲調に応じてテキストのフォントを変化させる変化処理が実行される。
"演奏"に対応して"音符や楽譜の画像"が提示される場合、演奏の曲調に応じて音符の動き量を変化させる変化処理が実行される。
ここで示した例は、あくまで一例であり、コンテキストに応じたＡＲデータ１１を選択・生成・調整する任意の処理が実行されてよい。
"歌曲"に対応して"テキスト"が提示される場合、歌曲の曲調に応じてテキストのフォントを変化させる変化処理が実行される。
"演奏"に対応して"音符や楽譜の画像"が提示される場合、演奏の曲調に応じて音符の動き量を変化させる変化処理が実行される。
ここで示した例は、あくまで一例であり、コンテキストに応じたＡＲデータ１１を選択・生成・調整する任意の処理が実行されてよい。
【0194】
＜収音データを用いた再現コンテンツの生成＞
図２０は、収音データを用いた再現コンテンツ６０の生成例を示す模式図である。ここでは、実体験中に収音された収音データを用いて、再現コンテンツ６０を生成する方ケースについて説明する。
収音データは、例えば、イベント発生時に収音された音声及び環境音を表すデータであり、例えば上記したバイノーラル録音等の手法を用いて収音される。この他、端末装置２３０を用いたステレオ録音やモノラル録音を用いて収音データが収音されてもよい。
図２０は、収音データを用いた再現コンテンツ６０の生成例を示す模式図である。ここでは、実体験中に収音された収音データを用いて、再現コンテンツ６０を生成する方ケースについて説明する。
収音データは、例えば、イベント発生時に収音された音声及び環境音を表すデータであり、例えば上記したバイノーラル録音等の手法を用いて収音される。この他、端末装置２３０を用いたステレオ録音やモノラル録音を用いて収音データが収音されてもよい。
【0195】
図２０に示す例では、実世界の景色（図では滝の景色）について説明するナレーションがＡＲサウンド３として再生される（図２０の左側）。またセッションの再現コンテンツ６０（図２０の右側）は、ユーザ１自身が景色を撮影した撮影映像５をベースに生成される。この再現コンテンツ６０には、ナレーションのテキストと、ナレーションを発話したキャラクタ４ｂとがＡＲビジュアル４として重畳される。
さらに、再現コンテンツ６０には、撮影時にユーザ１が発した音声（収音データ）を表すＡＲビジュアル４が提示される。図２０に示す例では、ユーザ１が発した「見えた」という音声が、吹き出しで囲まれたテキスト４ｃにより表現されている。
さらに、再現コンテンツ６０には、撮影時にユーザ１が発した音声（収音データ）を表すＡＲビジュアル４が提示される。図２０に示す例では、ユーザ１が発した「見えた」という音声が、吹き出しで囲まれたテキスト４ｃにより表現されている。
【0196】
このように、ＡＲビジュアル４として、イベントが発生した際に収音された音声又は環境音（収音データ）の内容を視覚的に表すデータが用いられてもよい。
収音データに対応するＡＲビジュアル４の生成処理には、例えば音検知や音声認識等の音声処理が用いられる。例えば、音検知により人間の音声が検知されて録音される。そして音声認識により、録音内容がテキストとして抽出され、そのテキストを含むビジュアルが自動生成される。
なお、人間の音声以外の環境音から、その環境を表すビジュアルが自動生成されてもよい。例えば波音から海を表現したビジュアル等を生成することも可能である。
このように、収音データを表すＡＲビジュアル４を再現コンテンツ６０に融合することで、
体験中にユーザ１が喋った声や環境音が追体験に融合される。これにより、ユーザ１の体験を拡張することが可能となる。
収音データに対応するＡＲビジュアル４の生成処理には、例えば音検知や音声認識等の音声処理が用いられる。例えば、音検知により人間の音声が検知されて録音される。そして音声認識により、録音内容がテキストとして抽出され、そのテキストを含むビジュアルが自動生成される。
なお、人間の音声以外の環境音から、その環境を表すビジュアルが自動生成されてもよい。例えば波音から海を表現したビジュアル等を生成することも可能である。
このように、収音データを表すＡＲビジュアル４を再現コンテンツ６０に融合することで、
体験中にユーザ１が喋った声や環境音が追体験に融合される。これにより、ユーザ１の体験を拡張することが可能となる。
【0197】
以上、本実施形態に係るサーバ制御部２２３では、音によるＡＲの体験中に生じたイベントＥを記録したイベント情報１０が取得される。イベント情報１０には、各イベントＥで提示されるＡＲサウンド３を含むＡＲデータ１１がタイムライン６に沿って記録されている。このイベント情報１０をもとに、タイムライン６上でＡＲデータ１１を再生する再現コンテンツ６０が生成される。これにより、ユーザ１の体験内容を再現することが可能となり、音による拡張現実の体験を共有することが可能となる。
【0198】
音によるＡＲを体験する場合、その体験には個人差が生じやすい。一般に音声は共通のスケールが設定しづらく体験した個人により感じ方が異なる。また、音声の種類も多様で、一意に感覚を対応づけて設定するといったことが難しい。また音声の感じ方は、体験する側の経験や感性に依存してしまうことが多い。このことが、音によるＡＲの体験を設計する際の難易度を高くし、また音によるＡＲを体験する際には設計意図とのミスマッチの原因となり、音によるＡＲを提供するシステムの普及・発展を阻害する恐れがある。
また、屋外や複数人で音によるＡＲを体験する場合には、ユーザに対して音声を聞き取りやすい環境を用意できないケースがあり得る。このような、環境的な要因も体験の設計や実装のハードルとなり得る。
また、音声は目に見えないため体験した内容を他者と共有するのが難しい。例えば音声を擬音化した際の文言やその強弱や受けた印象など、体験の支配的なインプットが体験者の感覚に依存する。このため、共通言語でのコミュニケーションだけで体験内容を十分に共有することは難しい。またＳＮＳ（social networking service）等の映像を主としたソーシャルメディアで、体験内容を第３者と共有するためには、各人の体験を適正に映像で残す仕組みが必要となる。
また、屋外や複数人で音によるＡＲを体験する場合には、ユーザに対して音声を聞き取りやすい環境を用意できないケースがあり得る。このような、環境的な要因も体験の設計や実装のハードルとなり得る。
また、音声は目に見えないため体験した内容を他者と共有するのが難しい。例えば音声を擬音化した際の文言やその強弱や受けた印象など、体験の支配的なインプットが体験者の感覚に依存する。このため、共通言語でのコミュニケーションだけで体験内容を十分に共有することは難しい。またＳＮＳ（social networking service）等の映像を主としたソーシャルメディアで、体験内容を第３者と共有するためには、各人の体験を適正に映像で残す仕組みが必要となる。
【0199】
これに対して、本実施形態では、音によるＡＲの音声（ＡＲサウンド３）に連動して、関係するＡＲビジュアル等のエフェクトを撮影映像５に重畳した再現コンテンツ６０が生成される。この再現コンテンツ６０を再生することで、ユーザ１が体験中に聴いたＡＲサウンド３が改めて提示されるとともに、音声内容やユーザ１の状況に応じたＡＲビジュアル４が体験中の映像に重畳して提示される。
また、ユーザ１が体験したＡＲサウンド３・ＡＲビジュアル４は、タイムライン６で管理されているためいつでも再現することが可能である。
また、ユーザ１が体験したＡＲサウンド３・ＡＲビジュアル４は、タイムライン６で管理されているためいつでも再現することが可能である。
【0200】
これにより、ユーザ１が実際に体験した内容を第３者に視聴させることが可能となる。これにより、ユーザ１が感じた効果を、そのまま他の人に伝えることが可能となる。
また、体験時に使用したデータを改めて組み合わせることで、体験内容をクリアに再現することが可能となる。これにより、例えば実際の体験では聴きにくかった内容等を改めて確認するといったことが可能となる。
さらに、再現コンテンツ６０は、独立したデータとして扱うことが可能である。これにより、ＳＮＳ等を介して音によるＡＲの体験を容易にシェアすることが可能となる。
また、体験時に使用したデータを改めて組み合わせることで、体験内容をクリアに再現することが可能となる。これにより、例えば実際の体験では聴きにくかった内容等を改めて確認するといったことが可能となる。
さらに、再現コンテンツ６０は、独立したデータとして扱うことが可能である。これにより、ＳＮＳ等を介して音によるＡＲの体験を容易にシェアすることが可能となる。
【0201】
また再現コンテンツ６０では、ＡＲビジュアル４等が付加されることで、追体験をリッチに演出することが可能となり、優れたエンターテイメント性を発揮することが可能となる。
またアトラクションの主催者やＡＲの体験の設計者には、更なる表現手段を与えることが可能であり、設計の自由度を向上するとともに、設計の難易度を下げる効果が期待される。さらに体験者にとっては実体験だけではなく、追体験もカバーすることで体験価値は大きく向上する。
またアトラクションの主催者やＡＲの体験の設計者には、更なる表現手段を与えることが可能であり、設計の自由度を向上するとともに、設計の難易度を下げる効果が期待される。さらに体験者にとっては実体験だけではなく、追体験もカバーすることで体験価値は大きく向上する。
【0202】
また本技術を用いることで、関連産業の拡大を図ることが可能である。例えば、音によるＡＲの体験が拡張されることで、リアリティを重視した実体験から、仮想的なキャラクタベースの疑似体験等、展開できるイベントが多種多様に発展する。また、テーマパークなどの実体験に加え、追体験をベースとしたリモート型のエンターテイメント等への展開も期待され、エンターテイメント産業の拡大が予想される。
また音声のみならず映像を扱うことで、ソフトウエアやクラウドサービス等の開発環境の更なる整備が必要とされ、周辺産業への発展も期待できる。さらに、追体験をサポートするためにカメラなどの映像装置、実体験をリッチにするためのスマートグラス等のハードウェア産業への貢献も大きい。
また音声のみならず映像を扱うことで、ソフトウエアやクラウドサービス等の開発環境の更なる整備が必要とされ、周辺産業への発展も期待できる。さらに、追体験をサポートするためにカメラなどの映像装置、実体験をリッチにするためのスマートグラス等のハードウェア産業への貢献も大きい。
【0203】
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【0204】
上記では、音によるＡＲのセッションをリアルタイムで共有させる共有データを生成する情報処理システム１００と、音によるＡＲのセッションを体験後に再現する再現コンテンツを生成する情報処理システム２００とを分けて記載した。これに限定されず、共有データ及び再現コンテンツの両方の再生データを生成可能なシステムが構築されてもよい。
【0205】
上記では、ユーザにより操作される端末装置及びサーバ装置等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらこれらのコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びデータ生成方法が実行されてもよい。
【0206】
すなわち本技術に係る情報処理方法、及びデータ生成方法は、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
【0207】
コンピュータシステムによる本技術に係る情報処理方法、及びデータ生成方法の実行は、例えば、イベント情報の取得、及び再生データの生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
【0208】
すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
【0209】
以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【0210】
本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
【0211】
なお、本技術は以下のような構成も採ることができる。
（１）ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示される音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得する取得部と、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する生成部と
情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記視聴覚データは、前記イベントに関連する視覚データを含む
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記視覚データは、前記音データの内容を視覚的に表すデータである
情報処理装置。
（４）（２）又は（３）に記載の情報処理装置であって、
前記視覚データは、前記イベントが発生した際に収音された音声又は環境音の内容を視覚的に表すデータである
情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記イベント情報は、前記タイムラインにおける前記イベントを発生させるトリガの検出タイミングを含む
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記イベント情報は、前記イベントにおける前記視聴覚データの提示タイミングを含み、
前記生成部は、前記視聴覚データの提示タイミングを基準に、前記再生データにおいて前記視聴覚データが再生されるタイミングを設定する
情報処理装置。
（７）（６）に記載の情報処理装置であって、
前記視聴覚データの提示タイミングは、前記トリガの検出タイミングに対する相対的な時間として記録される
情報処理装置。
（８）（１）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記イベント情報は、前記イベントにおける前記視聴覚データの提示位置を含み、
前記生成部は、前記視聴覚データの提示位置を基準に、前記再生データにおいて前記視聴覚データが再生される位置を設定する
情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記視聴覚データは、前記イベントが発生した際の状況を表す状況情報に基づいて生成されたデータ、又は前記状況情報に基づいて選択されたデータである
情報処理装置。
（１０）（９）に記載の情報処理装置であって、
前記状況情報は、前記ユーザの周辺環境、前記ユーザのステータス、及び前記ユーザの動作内容の少なくとも１つに関する情報を含む
情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
前記取得部は、第１のユーザを対象とするイベントに関する前記イベント情報を取得し、
前記生成部は、前記再生データとして、前記第１のユーザとは異なる第２のユーザに対して、前記第１のユーザを対象とするイベントを視聴可能なように提示する共有データを生成する
情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
前記生成部は、前記第１のユーザ及び前記第２のユーザの相対距離、又は前記第１のユーザ及び前記第２のユーザの所属の少なくとも一方が所定の条件を満たした場合に、前記共有データを生成する
情報処理装置。
（１３）（１１）又は（１２）に記載の情報処理装置であって、
前記生成部は、前記第１のユーザを対象とするイベントにおける前記音データの提示位置と前記第２のユーザの位置との相対的な位置関係に基づいて、前記共有データにおける前記音データの再生音量又は再生方位の少なくとも一方を調整する
情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、
前記生成部は、前記再生データとして、前記タイムラインに沿って前記イベントを再現する再現コンテンツを生成する
情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
前記取得部は、前記ユーザが前記音による拡張現実を体験する際に撮影された体験画像を取得し、
前記生成部は、前記タイムラインに沿って、前記体験画像に前記視聴覚データによる演出を加えることで前記再現コンテンツを生成する
情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
前記体験画像は、前記ユーザを含む前記音による拡張現実の体験者が携帯するカメラ、又は前記体験者の周辺に配置されたカメラの少なくとも一方により撮影された画像である
情報処理装置。
（１７）（１５）又は（１６）のうちいずれか１つに記載の情報処理装置であって、
前記生成部は、前記イベントにおける前記音データの提示位置と前記体験画像の撮影位置との相対的な位置関係に基づいて、前記再現コンテンツにおける前記音データの再生音量又は再生方位の少なくとも一方を調整する
情報処理装置。
（１８）ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得し、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する
ことをコンピュータシステムが実行する情報処理方法。
（１９）ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データをタイムラインに沿って記録してイベント情報を生成する記録部と、
前記イベント情報を取得する取得部と、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する生成部と
を具備する情報処理システム。
（２０）ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得し、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する
ことをコンピュータシステムが実行するデータ生成方法。
（１）ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示される音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得する取得部と、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する生成部と
情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記視聴覚データは、前記イベントに関連する視覚データを含む
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記視覚データは、前記音データの内容を視覚的に表すデータである
情報処理装置。
（４）（２）又は（３）に記載の情報処理装置であって、
前記視覚データは、前記イベントが発生した際に収音された音声又は環境音の内容を視覚的に表すデータである
情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記イベント情報は、前記タイムラインにおける前記イベントを発生させるトリガの検出タイミングを含む
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記イベント情報は、前記イベントにおける前記視聴覚データの提示タイミングを含み、
前記生成部は、前記視聴覚データの提示タイミングを基準に、前記再生データにおいて前記視聴覚データが再生されるタイミングを設定する
情報処理装置。
（７）（６）に記載の情報処理装置であって、
前記視聴覚データの提示タイミングは、前記トリガの検出タイミングに対する相対的な時間として記録される
情報処理装置。
（８）（１）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記イベント情報は、前記イベントにおける前記視聴覚データの提示位置を含み、
前記生成部は、前記視聴覚データの提示位置を基準に、前記再生データにおいて前記視聴覚データが再生される位置を設定する
情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記視聴覚データは、前記イベントが発生した際の状況を表す状況情報に基づいて生成されたデータ、又は前記状況情報に基づいて選択されたデータである
情報処理装置。
（１０）（９）に記載の情報処理装置であって、
前記状況情報は、前記ユーザの周辺環境、前記ユーザのステータス、及び前記ユーザの動作内容の少なくとも１つに関する情報を含む
情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
前記取得部は、第１のユーザを対象とするイベントに関する前記イベント情報を取得し、
前記生成部は、前記再生データとして、前記第１のユーザとは異なる第２のユーザに対して、前記第１のユーザを対象とするイベントを視聴可能なように提示する共有データを生成する
情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
前記生成部は、前記第１のユーザ及び前記第２のユーザの相対距離、又は前記第１のユーザ及び前記第２のユーザの所属の少なくとも一方が所定の条件を満たした場合に、前記共有データを生成する
情報処理装置。
（１３）（１１）又は（１２）に記載の情報処理装置であって、
前記生成部は、前記第１のユーザを対象とするイベントにおける前記音データの提示位置と前記第２のユーザの位置との相対的な位置関係に基づいて、前記共有データにおける前記音データの再生音量又は再生方位の少なくとも一方を調整する
情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、
前記生成部は、前記再生データとして、前記タイムラインに沿って前記イベントを再現する再現コンテンツを生成する
情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
前記取得部は、前記ユーザが前記音による拡張現実を体験する際に撮影された体験画像を取得し、
前記生成部は、前記タイムラインに沿って、前記体験画像に前記視聴覚データによる演出を加えることで前記再現コンテンツを生成する
情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
前記体験画像は、前記ユーザを含む前記音による拡張現実の体験者が携帯するカメラ、又は前記体験者の周辺に配置されたカメラの少なくとも一方により撮影された画像である
情報処理装置。
（１７）（１５）又は（１６）のうちいずれか１つに記載の情報処理装置であって、
前記生成部は、前記イベントにおける前記音データの提示位置と前記体験画像の撮影位置との相対的な位置関係に基づいて、前記再現コンテンツにおける前記音データの再生音量又は再生方位の少なくとも一方を調整する
情報処理装置。
（１８）ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得し、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する
ことをコンピュータシステムが実行する情報処理方法。
（１９）ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データをタイムラインに沿って記録してイベント情報を生成する記録部と、
前記イベント情報を取得する取得部と、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する生成部と
を具備する情報処理システム。
（２０）ユーザが音による拡張現実を体験中に発生したイベントごとに、前記イベントで提示された音データを含む視聴覚データがタイムラインに沿って記録されたイベント情報を取得し、
前記イベント情報に基づいて、前記タイムラインを基準に前記視聴覚データを再生する再生データを生成する
ことをコンピュータシステムが実行するデータ生成方法。
【符号の説明】
【0212】
Ｅ、Ｅ１～Ｅ４…イベント
１、１ａ、１ｂ…ユーザ
３…ＡＲサウンド
４…ＡＲビジュアル
５ａ～５ｃ…撮影映像
６…タイムライン
７…位置情報
８…トリガ
１０…イベント情報
１１…ＡＲデータ
２０、２２０…サーバ装置
２３、２２３…サーバ制御部
２４、２２４…サーバデータ管理部
２２５…再現コンテンツ生成部
３０、３０ａ、３０ｂ、２３０…端末装置
４０…端末制御部
４１…端末データ管理部
４４…ライブコンテンツ生成部
６０…再現コンテンツ
１００、２００…情報処理システム
１、１ａ、１ｂ…ユーザ
３…ＡＲサウンド
４…ＡＲビジュアル
５ａ～５ｃ…撮影映像
６…タイムライン
７…位置情報
８…トリガ
１０…イベント情報
１１…ＡＲデータ
２０、２２０…サーバ装置
２３、２２３…サーバ制御部
２４、２２４…サーバデータ管理部
２２５…再現コンテンツ生成部
３０、３０ａ、３０ｂ、２３０…端末装置
４０…端末制御部
４１…端末データ管理部
４４…ライブコンテンツ生成部
６０…再現コンテンツ
１００、２００…情報処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】