ホーム > 特許ランキング > 株式会社ワントゥーテン
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023123389
(43)【公開日】2023-09-05
(54)【発明の名称】コミュニケーションシステム
(51)【国際特許分類】
G06T 19/00 20110101AFI20230829BHJP
【ＦＩ】
G06T19/00 300B
G06T19/00 600
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023023799
(22)【出願日】2023-02-17
(31)【優先権主張番号】P 2022026831
(32)【優先日】2022-02-24
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 配布資料、パナソニック株式会社、令和３年２月２５日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 ＳＰＯＲＴＳ ＣＨＡＮＧＥ ＭＡＫＥＲＳプレイベント、パナソニックセンター東京、令和３年３月９日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｐｒｏｊｅｃｔ／ｓｍａｒｔ－ｓｏｌｕｔｉｏｎ、令和３年８月１９日 〔刊行物等〕 配布資料、パナソニック株式会社、令和３年８月１２日 〔刊行物等〕 ｈｔｔｐｓ：／／ｗｗｗ．ｐａｎａｓｏｎｉｃ．ｃｏｍ／ｇｌｏｂａｌ／ｏｌｙｍｐｉｃ／ｊａ／ｓｐｏｒｔｓｃｈａｎｇｅｍａｋｅｒｓ．ｈｔｍｌ、ｈｔｔｐｓ：／／ｃｈａｎｎｅｌ．ｐａｎａｓｏｎｉｃ．ｃｏｍ／ｊｐ／ｃｏｎｔｅｎｔｓ／３４７７３／、ｈｔｔｐｓ：／／ｃｈａｎｎｅｌ．ｐａｎａｓｏｎｉｃ．ｃｏｍ／ｊｐ／ｃｏｎｔｅｎｔｓ／３４７７４／、令和３年８月２３日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｎｅｗｓ、ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｗｐｄａｔａ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２１／１０／Ｓｍａｒｔ－Ｄｉｇｉｔａｌ－Ｆｉｅｌｄ＿２０２１１０１２＿．ｐｄｆ、ｈｔｔｐｓ：／／ｙｏｕｔｕ．ｂｅ／６Ａ１Ｙｊ４ＵｅＤＢＭ、令和３年１０月１２日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｎｅｗｓ、ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｗｐｄａｔａ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２２／０１／ＳＵＳＴＡＩＮＡＢＬＥ－ＣＯＮＥＣＴ２０２２＿プレスリリース＿２２０１２１．ｐｄｆ、ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｗｐｄａｔａ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２２／０１／続報ＳＵＳＴＡＩＮＡＢＬＥ－ＣＯＮＥＣＴ２０２２＿リリース＿２２０１２５．ｐｄｆ、ｈｔｔｐｓ：／／ｅｖｅｎｔｒｅｇｉｓｔ．ｃｏｍ／ｅ／Ｄ２０Ｂｓ５ＩｗＥ３ＴＧ、令和４年１月２１日、２５日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 ｈｔｔｐｓ：／／ｙｏｕｔｕ．ｂｅ／５ｊ３ＹＶＡＫ５Ｍｑ０、令和４年２月１日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｐｒｏｊｅｃｔ／ｑｕｒｉｏｓ、ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｗｐｄａｔａ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２２／０７／％Ｅ３％８３％９５％Ｅ３％８２％９Ａ％Ｅ３％８３％ＡＣ％Ｅ３％８２％Ｂ９％Ｅ３％８３％ＡＡ％Ｅ３％８３％ＡＡ％Ｅ３％８３％ＢＣ％Ｅ３％８２％Ｂ９＿ＱＵＲＩＯＳ％Ｅ４％ＢＡ％８Ｂ％Ｅ６％Ａ５％ＡＤ＿％Ｅ７％ＡＣ％ＡＣ１％Ｅ５％ＢＣ％ＢＥ＿．ｐｄｆ、ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００１２９．００００１６９４２．ｈｔｍｌ、令和４年７月１１日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 ｈｔｔｐｓ：／／ｗｗｗ．１－１０．ｃｏｍ／ｗｐｄａｔａ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２２／１１／％Ｅ３％８３％９５％Ｅ３％８２％９Ａ％Ｅ３％８３％ＡＣ％Ｅ３％８２％Ｂ９％Ｅ３％８３％ＡＡ％Ｅ３％８３％ＡＡ％Ｅ３％８３％ＢＣ％Ｅ３％８２％Ｂ９＿％Ｅ７％９Ｆ％Ｂ３％Ｅ８％Ａ６％８Ｂ％Ｅ９％８Ａ％８０％Ｅ５％Ｂ１％Ｂ１％Ｅ３％８３％Ａ１％Ｅ３％８２％ＢＦ％Ｅ３％８３％８Ｆ％Ｅ３％８２％９９％Ｅ３％８３％ＢＣ％Ｅ３％８２％Ｂ９％Ｅ３％８３％９５％Ｅ３％８２％９Ａ％Ｅ３％８３％ＡＤ％Ｅ３％８２％Ｂ７％Ｅ３％８２％９９％Ｅ３％８２％Ａ７％Ｅ３％８２％ＡＦ％Ｅ３％８３％８８＿２０２２１１１６．ｐｄｆ、ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００１４２．００００１６９４２．ｈｔｍｌ、令和４年１１月１６日 〔刊行物等〕 令和４年１１月２６日、石見銀山 茅葺き屋根の家「鄙舎」（島根県大田市大森町）
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 公益財団法人 東京観光財団、ＴＯＫＹＯ ＭＩＣＥテクノロジー導入ガイドライン、第１８頁、令和５年１月２７日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００１４７．００００１６９４２．ｈｔｍｌ、令和５年２月１日 〔刊行物等〕 Ｍｅｔａｖｅｒｓｅ Ｊａｐａｎ Ｓｕｍｍｉｔ ２０２３、令和５年２月２日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔刊行物等〕 営業案内一覧（別表）
(71)【出願人】
【識別番号】512130121
【氏名又は名称】株式会社ワントゥーテン
(74)【代理人】
【識別番号】110001069
【氏名又は名称】弁理士法人京都国際特許事務所
(72)【発明者】
【氏名】澤邊 芳明
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050BA12
5B050CA08
5B050DA01
5B050EA07
5B050EA19
5B050EA24
5B050EA27
5B050FA02
5B050FA06
5B050FA10
5B050FA14
(57)【要約】 （修正有）
【課題】実イベントと模擬イベントの参加者に一体感を感じさせることができるコミュニケーションシステムを提供する。
【解決手段】コミュニケーションシステム１は、模擬イベントの表示データ、現実イベント空間と仮想イベント空間の対応位置情報、実イベントに参加する第１ユーザと模擬イベントに参加する第２ユーザのアバター表示データが保存された記憶部、第１ユーザの位置に応じた視点で現実イベント空間の画像を取得する画像取得部及び表示部を備えた第１端末３０と、第１端末位置取得部と、入力部及び表示部を備えた第２端末５０と、を備える。第２端末はさらに、第２ユーザのアバターの位置情報を取得する第２ユーザ位置取得部と、第１ユーザのアバターを配置した模擬イベントの画像を自身の表示部に表示させる第２表示制御部とを有する。第１端末はまた、第２ユーザのアバターを配置した画像を自身の表示部に表示させる第１表示制御部を備える。
【選択図】図１
【解決手段】コミュニケーションシステム１は、模擬イベントの表示データ、現実イベント空間と仮想イベント空間の対応位置情報、実イベントに参加する第１ユーザと模擬イベントに参加する第２ユーザのアバター表示データが保存された記憶部、第１ユーザの位置に応じた視点で現実イベント空間の画像を取得する画像取得部及び表示部を備えた第１端末３０と、第１端末位置取得部と、入力部及び表示部を備えた第２端末５０と、を備える。第２端末はさらに、第２ユーザのアバターの位置情報を取得する第２ユーザ位置取得部と、第１ユーザのアバターを配置した模擬イベントの画像を自身の表示部に表示させる第２表示制御部とを有する。第１端末はまた、第２ユーザのアバターを配置した画像を自身の表示部に表示させる第１表示制御部を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
現実イベント空間で開催される実イベントに対応する模擬イベントを仮想イベント空間に表示するための表示データ、該現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、該現実イベント空間で前記実イベントに参加する第１ユーザのアバターの表示データ、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部と、
前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び表示部を備えた第１端末と、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
を備えることを特徴とするコミュニケーションシステム。
前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び表示部を備えた第１端末と、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
を備えることを特徴とするコミュニケーションシステム。
【請求項2】
前記記憶部に、さらに、前記現実イベント空間における基準位置情報が保存されており、
前記第１端末位置取得部は、前記画像取得部によって取得された前記現実イベント空間の画像を前記基準位置情報と照合することにより前記第１端末の位置の情報を取得する
ことを特徴とする請求項１に記載のコミュニケーションシステム。
前記第１端末位置取得部は、前記画像取得部によって取得された前記現実イベント空間の画像を前記基準位置情報と照合することにより前記第１端末の位置の情報を取得する
ことを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項3】
前記記憶部に、さらに、それぞれがユーザの感情を表現した画像である複数の感情画像のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情画像の1つを選択する操作を受け付ける感情画像選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情画像選択受付部が操作を受け付けた端末のユーザのアバターとともに前記選択された感情画像を表示させる感情画像表示部と
を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
さらに、
前記第１端末及び前記第２端末の一方において前記感情画像の1つを選択する操作を受け付ける感情画像選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情画像選択受付部が操作を受け付けた端末のユーザのアバターとともに前記選択された感情画像を表示させる感情画像表示部と
を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項4】
前記記憶部に、さらに、それぞれがユーザの感情を表現するアバターの動作である感情動作のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情動作の1つを選択する操作を受け付ける感情動作選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情動作選択受付部が操作を受け付けた端末のユーザのアバターに前記選択された感情動作を実行させた画像を表示させる感情動作実行部と
を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
さらに、
前記第１端末及び前記第２端末の一方において前記感情動作の1つを選択する操作を受け付ける感情動作選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情動作選択受付部が操作を受け付けた端末のユーザのアバターに前記選択された感情動作を実行させた画像を表示させる感情動作実行部と
を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項5】
前記記憶部に、さらに、前記現実イベント空間と前記仮想空間のそれぞれに配置される拡張表示対象、及び該拡張表示対象に対応付けられた拡張表示内容の情報が保存されており、
さらに、
前記第１端末位置取得部により取得された位置の情報に基づいて該第１端末のユーザの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第１端末の表示部に表示させる画像データを生成し、前記第２ユーザ位置取得部により取得された位置の情報に基づいて該第２ユーザのアバターの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第２端末の表示部に表示させる拡張表示部
を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
さらに、
前記第１端末位置取得部により取得された位置の情報に基づいて該第１端末のユーザの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第１端末の表示部に表示させる画像データを生成し、前記第２ユーザ位置取得部により取得された位置の情報に基づいて該第２ユーザのアバターの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第２端末の表示部に表示させる拡張表示部
を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項6】
前記記憶部に、さらに、前記現実イベント空間において投影される動画像のデータ、該動画像の投影場所、及び該動画像を投影するタイミングの情報が保存されており、
前記第２表示制御部は、前記タイミングで、前記仮想イベント空間における前記投映場所に対応する位置に前記動画像を投影した画像を前記第２端末の表示部に表示させる
ことを特徴とする請求項１に記載のコミュニケーションシステム。
前記第２表示制御部は、前記タイミングで、前記仮想イベント空間における前記投映場所に対応する位置に前記動画像を投影した画像を前記第２端末の表示部に表示させる
ことを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項7】
前記第２端末が複数存在する場合に、該複数の第２端末を複数のグループに分けてそれぞれに仮想イベント空間を設定し、
前記第１端末表示制御部が、前記複数のグループのいずれかに分類された前記第２端末のユーザのアバターのみを前記第１端末の表示部に表示させる
ことを特徴とする請求項１に記載のコミュニケーションシステム。
前記第１端末表示制御部が、前記複数のグループのいずれかに分類された前記第２端末のユーザのアバターのみを前記第１端末の表示部に表示させる
ことを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項8】
さらに、
前記第２端末から、前記第１ユーザの一人を指定して該第１ユーザとつながりを持つことを希望する要請を受け付け、該第１ユーザが所有する第１端末に対して第２端末の所有者である第２ユーザとのつながりの諾否を問い合わせ、該第１端末から許諾の操作が行われた場合に該第１端末と該第２端末の連携を設定するユーザ仲介部
を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
前記第２端末から、前記第１ユーザの一人を指定して該第１ユーザとつながりを持つことを希望する要請を受け付け、該第１ユーザが所有する第１端末に対して第２端末の所有者である第２ユーザとのつながりの諾否を問い合わせ、該第１端末から許諾の操作が行われた場合に該第１端末と該第２端末の連携を設定するユーザ仲介部
を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項9】
前記ユーザ仲介部が、さらに、前記連携が設定された第１端末と第２端末のみから書き込み及び閲覧可能なチャット画面を、該第１ユーザが使用する前記第１端末の表示部と、該第２ユーザが使用する前記第２端末の表示部のそれぞれに表示する
ことを特徴とする請求項８に記載のコミュニケーションシステム。
ことを特徴とする請求項８に記載のコミュニケーションシステム。
【請求項10】
前記ユーザ仲介部が、前記第１端末で取得された画像を、該第１端末との間で連携が設定された第２端末の表示部に表示する
ことを特徴とする請求項８に記載のコミュニケーションシステム。
ことを特徴とする請求項８に記載のコミュニケーションシステム。
【請求項11】
現実イベント空間で開催される実イベントの参加者である第１ユーザが使用する端末であって該第１ユーザの視点で捉えた前記現実イベント空間の画像を取得する画像取得部及び該画像取得部により取得される画像を表示する表示部を備えた第１端末と、
仮想イベント空間で開催される前記実イベントに対応する模擬イベントの参加者である第２ユーザが使用する端末であって入力部及び表示部を備えた第２端末と、
前記第１端末及び前記第２端末と通信可能に設けられ、前記模擬イベントを仮想イベント空間に表示するための表示データ、前記現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部を有するサーバ装置とを含み、
前記第２端末又は前記サーバ装置が前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部を有するコミュニケーションシステムにおいて、
前記第１端末を、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部
として動作させることを特徴とするプログラム。
仮想イベント空間で開催される前記実イベントに対応する模擬イベントの参加者である第２ユーザが使用する端末であって入力部及び表示部を備えた第２端末と、
前記第１端末及び前記第２端末と通信可能に設けられ、前記模擬イベントを仮想イベント空間に表示するための表示データ、前記現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部を有するサーバ装置とを含み、
前記第２端末又は前記サーバ装置が前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部を有するコミュニケーションシステムにおいて、
前記第１端末を、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部
として動作させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実空間で行われるイベントと、該イベントを模して仮想空間で行われる模擬イベントを連携するために用いられる技術に関する。
【背景技術】
【0002】
近年では、高速インターネット網の普及やデジタル技術の進歩に伴い、インターネット上に設けられた仮想空間で様々な態様のイベントを行うことができるシステムが用いられている。例えば、現実空間で行われる音楽ライブや仮装大会などのイベントを模した模擬イベントを仮想空間で行うことができるシステムがある。また、特許文献１には、教室を模した部屋を設けた仮想空間においてオンライン授業を行うことが記載されている。これらのシステムでは、ユーザが予め設定した自らのアバターを仮想空間に登場させて模擬イベントに参加する。模擬イベントの参加者は、自らのアバターを仮想空間内で移動させることにより、現実空間で行われるイベントに参加するのと同様の体験をすることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－８８８７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のようなシステムを用いれば、現実空間で行われるイベント（実イベント）と同時に進行するように、その実イベントを模した模擬イベントを仮想空間で開催することが可能である。しかし、従来のシステムでは、現実空間で行われる実イベントと仮想空間で行われる模擬イベントとがそれぞれ独立して進行するため、これらのイベントの参加者が共通のイベントに参加しているという一体感を感じることができないという問題があった。
【0005】
本発明が解決しようとする課題は、現実空間で行われるイベントの参加者と仮想空間で行われる模擬イベントの参加者に一体感を感じさせることができる技術を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために成された本発明に係るコミュニケーションシステムは、
現実イベント空間で開催される実イベントに対応する模擬イベントを仮想イベント空間に表示するための表示データ、該現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、該現実イベント空間で前記実イベントに参加する第１ユーザのアバターの表示データ、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部と、
前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び表示部を備えた第１端末と、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
を備えることを特徴とする。
現実イベント空間で開催される実イベントに対応する模擬イベントを仮想イベント空間に表示するための表示データ、該現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、該現実イベント空間で前記実イベントに参加する第１ユーザのアバターの表示データ、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部と、
前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び表示部を備えた第１端末と、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
を備えることを特徴とする。
【0007】
本発明に係るコミュニケーションシステムは、現実空間に設けられたイベント空間（現実イベント空間）においてイベント（実イベント）を開催するとともに、該現実イベント空間に対応する模擬イベントを仮想空間に設けられたイベント空間（仮想イベント空間）で開催する際に用いられる。このシステムでは、現実イベント空間で実イベントに参加する第１ユーザは、第１ユーザの位置に応じた視点で捉えた現実イベント空間の画像を取得する画像取得部と表示部とを備えた第１端末を使用する。また、仮想イベント空間で模擬イベントに参加する第２ユーザは、入力部と表示部を備えた第２端末を使用する。なお、第１ユーザの位置に応じた視点で捉えた画像は、第１ユーザが頭部に装着するMRグラス等のデバイスに前記画像取得部が設けられたものである場合には該第１ユーザの視点から捉えた画像であり、第１ユーザが使用するタブレット端末等のポータブルデバイスに前記画像取得部が設けられたものである場合には、そのタブレット端末の撮影部から捉えた画像である。
【0008】
第１ユーザが実イベントに参加している間、現実イベント空間内を移動する第１ユーザが使用する第１端末の位置の情報が、第１端末位置情報取得部により取得される。第１端末の位置の情報には、第１端末の向きに関する情報が含まれうる。第２ユーザは、第２端末の入力部を通じた操作により仮想イベント空間にアバターを登場させ、その中で自由に移動させることができる。第２ユーザが模擬イベントに参加している間、第２ユーザのアバターの位置の情報は第２ユーザ位置取得部により取得される。
【0009】
第１表示制御部は、記憶部に予め保存された対応位置情報に基づいて、第２ユーザのアバターの位置を現実イベント空間における位置に変換し、その位置に該第２ユーザのアバターを配置した画像を第１端末の表示部に表示させる。従って、第１ユーザは、現実イベント空間に第２ユーザのアバターが存在しているかのような画像を視認することができる。また、第２表示制御部は、前記対応位置情報に基づいて、第１端末の位置を前記仮想空間における位置に変換してその位置に第１ユーザのアバターを配置し、第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を第２端末の表示部に表示させる。従って、第２ユーザは、現実イベント空間にいる第１ユーザのアバターを含んだ仮想イベント空間の画像を視認することができる。なお、第２ユーザのアバターの位置に応じた視点とは、該アバターの視点そのものに限らず、アバターの後方からアバターを含めて仮想イベント空間を捉えるような視点などであってもよい。また、そうした複数の視点を切り替え可能にしてもよい。
【0010】
このように、本発明に係るコミュニケーションシステムでは、現実イベント空間で実イベントに参加する第１ユーザと、仮想イベント空間で模擬イベントに参加する第２ユーザのそれぞれが使用する端末に、お互いのアバターを表示させて、現実の空間で行われる実イベントの参加者と仮想空間で行われる模擬イベントの参加者に一体感を感じさせることができる。
【0011】
本発明に係るコミュニケーションシステムは、
前記記憶部に、さらに、前記現実イベント空間における基準位置情報が保存されており、
前記第１端末位置取得部は、前記画像取得部によって取得された前記現実イベント空間の画像を前記基準位置情報と照合することにより前記第１端末の位置の情報を取得する
ものとすることができる。
前記記憶部に、さらに、前記現実イベント空間における基準位置情報が保存されており、
前記第１端末位置取得部は、前記画像取得部によって取得された前記現実イベント空間の画像を前記基準位置情報と照合することにより前記第１端末の位置の情報を取得する
ものとすることができる。
【0012】
上記態様のコミュニケーションシステムでは、第１端末の画像取得部で撮影した画像を現実イベント空間の基準位置情報と照合することにより、高い精度で第１端末の位置及び向きの情報を取得することができる。
【0013】
前記第１端末には、例えば、MR (Mixed Reality) グラスを用いることができる。MRグラスはメガネ型のデジタルデバイスである。MRグラスには、使用者が着用するメガネ型のデバイスのレンズに3次元ホログラム等の画像を表示し、使用者自身の眼で直接捉えた現実空間とともに視認させるもの（光学シースルー型）と、デバイスに搭載されたセンサを通じて現実イベント空間を認識して画像化し、その画像に3次元ホログラム等の画像を重畳して表示部に表示するもの（ビデオシースルー型）がある。第１端末としてビデオシースルー型のMRグラスを用いる場合は、例えば、該MRグラスが有するセンサを通じて取得した現実イベント空間の画像に含まれる基準位置の情報を、予め用意された現実イベント空間の画像（例えば現実イベント空間の基準位置情報）と照合すればよい。また、第１端末として光学シースルー型のMRグラスを用いる場合は、例えば、予め現実イベント空間の複数の位置に配置されたセンサとの間で近距離通信を行い、その応答時間から第１端末の位置を特定し、加速度センサによって向きを特定するという構成を採ることができる。MRグラスは一般的なメガネと同様に装着するものであるため両手が自由になる。なお、タブレット端末などもビデオシースルー型の端末の一つである。
【0014】
本発明に係るコミュニケーションシステムでは、
前記記憶部に、さらに、それぞれがユーザの感情を表現した画像である複数の感情画像のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情画像の1つを選択する操作を受け付ける感情画像選択受付部と
を備え、
前記第１端末及び前記第２端末の他方の表示部に、前記感情画像選択受付部が操作を受け付けた端末のユーザのアバターとともに前記選択された感情画像を表示させる感情画像表示部と
を備えた構成を採ることができる。
前記記憶部に、さらに、それぞれがユーザの感情を表現した画像である複数の感情画像のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情画像の1つを選択する操作を受け付ける感情画像選択受付部と
を備え、
前記第１端末及び前記第２端末の他方の表示部に、前記感情画像選択受付部が操作を受け付けた端末のユーザのアバターとともに前記選択された感情画像を表示させる感情画像表示部と
を備えた構成を採ることができる。
【0015】
また、本発明に係るコミュニケーションシステムでは、
前記記憶部に、さらに、それぞれがユーザの感情を表現するアバターの動作である感情動作のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情動作の1つを選択する操作を受け付ける感情動作選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情動作選択受付部が操作を受け付けた端末のユーザのアバターに前記選択された感情動作を実行させた画像を表示させる感情動作実行部と
を備えた構成を採ることができる。
前記記憶部に、さらに、それぞれがユーザの感情を表現するアバターの動作である感情動作のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情動作の1つを選択する操作を受け付ける感情動作選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情動作選択受付部が操作を受け付けた端末のユーザのアバターに前記選択された感情動作を実行させた画像を表示させる感情動作実行部と
を備えた構成を採ることができる。
【0016】
上記2つの態様のコミュニケーションシステムでは、第１ユーザと第２ユーザの間で豊かな感情表現を行うことができる。
【発明の効果】
【0017】
本発明に係るコミュニケーションシステムを用いることにより、現実空間で行われるイベントの参加者と仮想空間で行われる模擬イベントの参加者に一体感を感じさせることができる。
【図面の簡単な説明】
【0018】
【図1】本発明に係るコミュニケーションシステムの一実施例の全体の概略構成図。
【図2】本実施例におけるサーバ装置の要部構成図。
【図3】本実施例における第１端末の要部構成図。
【図4】本実施例における第２端末の要部構成図。
【図5】本実施例の第１端末の表示部の一表示例。
【図6】本実施例の第２端末の表示部の一表示例。
【図7】本実施例の第１端末の表示部にアバターの動作を表示した表示例。
【図8】本実施例の第２端末の表示部にアバターの動作を表示した表示例。
【図9】本実施例の第１端末の表示部に説明文を拡張表示した表示例。
【図10】本実施例の第２端末の表示部に説明文を拡張表示した表示例。
【図11】本実施例の第２端末に映像を同期表示した表示例。
【図12】本実施例の第１端末の表示部の別の一表示例。
【図13】本実施例の第１端末の表示部にチャット画面を表示した例。
【図14】本実施例の第２端末の表示部の別の一表示例。
【図15】本実施例の第１端末又は第２端末の表示部に表示されるチャット画面の例。
【図16】本実施例の第１端末又は第２端末の表示部に表示される参加者一覧画面の例。
【図17】本実施例において第１端末で取得した画像を第２端末の表示部に表示させる態様を説明する図。
【図18】本実施例において第１端末で取得した画像を第２端末の表示部に全画面表示させた状態の例。
【図19】本実施例において第１端末で取得した画像を第２端末の表示部に小画面で表示させた状態の例。
【図20】本実施例において第１端末のインカメで取得した画像を第２端末の表示部に表示させた状態の例。
【図21】本実施例のコミュニケーションシステムで具現化されるデジタルツインを説明する図。
【図22】本実施例のコミュニケーションシステムを屋外のイベントに適用した一例。
【発明を実施するための形態】
【0019】
本発明に係るコミュニケーションシステムの一実施例について、以下、図面を参照して説明する。本実施例のコミュニケーションシステム１は、現実のイベント空間における実イベント、仮想のイベント空間における、実イベントを模した模擬イベントを同時に開催する際に用いられる。
【0020】
図１に、本実施例のコミュニケーションシステム１全体の概略構成を示す。本実施例のコミュニケーションシステム１は、サーバ装置１０、第１端末３０、及び第２端末５０を備えており、これらはインターネットを介して相互に接続されている。第１端末３０は、現実のイベント空間において実イベントに参加するユーザ（第１ユーザ）により用いられる。第２端末５０は、仮想のイベント空間において模擬イベントに参加するユーザ（第２ユーザ）により用いられる。図１には2つの第１端末３０と3つの第２端末５０を図示しているが、これらの数は任意に変更可能である。
【0021】
図２に、サーバ装置１０の要部構成を示す。サーバ装置１０は、記憶部１１のほかに、機能ブロックとして、ユーザ登録受付部２１、参加受付部２２、及びユーザ仲介部２３を備えている。本実施例のサーバ装置１０はクラウドサーバとして設けられている。サーバ装置１０は、第１端末３０及び第２端末５０との間で通信可能なコンピュータ装置であればよく、パーソナルコンピュータなどを用いることもできる。サーバ装置１０には、必要に応じて入力部や表示部を設けることができる。
【0022】
記憶部１１には、ユーザ情報記憶部１２とイベントデータ記憶部１３が設けられている、ユーザ情報記憶部１２には、ユーザ情報が保存されている。ユーザ情報には、各ユーザの識別情報（例えば識別番号）、ユーザ名とパスワードの情報、連絡先（メールアドレス等）、各ユーザが使用する端末の種別及び識別情報（例えば端末の型番と識別番号。複数の端末を所持している場合はそれぞれについての種別及び識別情報）、仮想イベント空間に表示させるために用いる各ユーザのアバターの表示データ、及び各ユーザと交流のあるユーザの識別情報が含まれうる。
【0023】
イベントデータ記憶部１３には、実イベントが行われる空間（現実イベント空間）の画像データと複数の基準位置のデータ、模擬イベントが行われる空間（仮想イベント空間）の表示データ、及び現実イベント空間内の位置と仮想イベント空間内の位置を対応付ける対応位置情報が保存されている。対応位置情報は、現実イベント空間に設けられた複数の基準位置と、該複数の基準位置のそれぞれに対応する仮想空間内の位置を対応づけた情報として保存されている。この情報は、例えば、各基準位置にARマーカーなどを用いたり、スマートフォンやタブレットに付属するカメラからの映像を解析して予め用意された3次元マップにおけるカメラの位置を特定するVPS（Visual Positioning Service/System）と呼ばれる技術を用いたりすることにより作成することができる。現実イベント空間内の基準位置には、例えば、その空間内に存在する物体の角部などの視覚的な特徴を有する位置（識別しやすい位置）が選択される。現実イベント空間に設けられた複数の基準位置の情報は、本発明における基準位置情報に相当する。なお、基準位置情報に含まれる現実イベント空間の複数の基準位置と、対応位置情報において用いる現実イベント空間の複数の基準位置は、同じであってもよく、異なっていてもよい。
【0024】
図３に第１端末３０の要部構成を示す。第１端末３０は、記憶部３１と画像取得部３２を備えている。また、第１端末３０は、機能ブロックとして、第１端末位置取得部３３、第１表示制御部３４、拡張表示部３５、感情画像選択受付部３６、及び感情動作選択受付部３７を備えている。これらの機能ブロックは、第１端末３０に予めインストールされている専用のアプリケーションを動作させるとともに、後述するスクリプトをサーバ装置１０からダウンロードして、第１端末用のプログラムをプロセッサで実行することにより具現化される。上記アプリケーションには、イベントの内容に関係なく共通して用いられるデータ（例えば、感情を表現するためのアイコン７３１やアクションボタン７３２等のデータ）や、それらのデータを記憶部３１から読み出して表示する機能が含まれる。一方、スクリプトは、イベント毎に作成され、イベント毎に固有の処理を行うプログラムである。
【0025】
第１端末３０にダウンロードされるスクリプトには、イベント記憶部１３に保存されている現実イベント空間の基準位置情報を用いて、現実イベント空間で撮影された画像から第１端末３０の位置及び向きを特定する処理や、対応位置情報を用いて仮想イベント空間における位置を現実イベント空間に変換する処理を行うプログラムが含まれる。このプログラムには、例えば、所定の時間間隔で、センサにより取得した現実イベント空間の画像に含まれる基準位置の情報をパラメータ化し、予めインデックス化された基準位置情報と照合して第１端末３０の位置及び向きをキャリブレーションするものを用いることができる。
【0026】
第１端末３０には、例えば、タブレット端末、スマートフォンなどのポータブルデバイスや、MRグラスなどの頭部装着型のデバイスが用いられ、画像取得部３２には、これらのデバイスが有するカメラが用いられる。第１端末３０には入力部４１と表示部４２も設けられている。本実施例では上記のように専用のアプリケーションに含まれるデータ及びプログラムとダウンロードしたスクリプトにより各機能ブロックを具現化する構成としたが、専用のアプリケーションのみ、又はスクリプトのみでこれらの機能ブロックを具現化してもよい。
【0027】
図４に第２端末５０の要部構成を示す。第２端末５０は、記憶部５１を備えている。また、第２端末５０は、機能ブロックとして、第２ユーザ位置取得部５２、第２表示制御部５３、拡張表示部５４、感情画像選択受付部５５、及び感情動作選択受付部５６を備えている。これらの機能ブロックは、第２端末５０に予めインストールされている専用のアプリケーションを動作させるとともに、後述するスクリプトをサーバ装置１０からダウンロードして、第２端末用のプログラムをプロセッサで実行することにより具現化される。このアプリケーションにも、イベントの内容に関係なく共通して用いられるデータ（例えば、感情を表現するためのアイコン７３１やアクションボタン７３２等のデータ）や、それらのデータを記憶部５１から読み出して表示したりする機能が含まれる。
【0028】
第２端末５０にダウンロードされるスクリプトには、イベント記憶部１３に保存されている対応位置情報を用いて現実イベント空間における位置を仮想イベント空間に変換する処理を行うプログラムが含まれる。スクリプトは、イベント毎に作成され、イベント毎に固有の処理を行うプログラムである。
【0029】
第２端末５０には、例えば、パーソナルコンピュータなどの据置型デバイス、タブレット端末、スマートフォンなどのポータブルデバイス、VRグラスなどの頭部装着型のデバイスが用いられる。第２端末５０にも入力部６１と表示部６２が設けられている。本実施例では上記のように専用のアプリケーションに含まれるデータ及びプログラムとダウンロードしたスクリプトにより各機能ブロックを具現化する構成としたが、専用のアプリケーションのみ、又はスクリプトのみでこれらの機能ブロックを具現化してもよい。
【0030】
次に、本実施例のコミュニケーションシステム１を用いて実イベントと模擬イベントを開催する際の流れを説明する。
【0031】
実イベント及び模擬イベントを開催する際には、予め実イベント及び模擬イベントの組（以下、これらをまとめて「イベントセット」とも呼ぶ。）を特定する情報（イベント名等）及び開催日時の情報をイベントデータ記憶部１３に保存しておく。また、実イベントが行われる空間（現実イベント空間）の画像データ、模擬イベントが行われる空間（仮想イベント空間）の表示データを用意してイベントデータ記憶部１３に保存しておく。さらに、現実イベント空間内の複数の位置を基準位置として設定し、それら複数の基準位置のそれぞれに対応する仮想空間内の位置（対応基準位置）を定め、両者を対応付けた対応位置情報を作成してイベントデータ記憶部１３に保存しておく。さらに、実イベント空間に配置されている展示物等の物品や壁面等の各部のうち、その物品等に関連する文章、画像、あるいは映像を表示させるもの（以下、「拡張表示対象」と呼ぶ。）について、当該物品等と文章等を対応づけたデータもイベントデータ記憶部１３に保存しておく。さらに、実イベントの開催中に現実イベント空間のスクリーン等に表示することが予定されている画像や映像のデータ、その表示場所、及び表示するタイミングの情報もイベントデータ記憶部１３に保存しておく。
【0032】
イベントデータ記憶部１３には、また、第１端末３０及び第２端末５０で実行するスクリプト（プログラム）も保存されている。第１端末３０において動作させるプログラムは、第１端末３０の画像取得部３２により取得される画像と現実イベント空間に設定された複数の基準位置のデータ（基準位置情報）を照合して第１端末３０の位置及び向きを特定し、その位置及び向きに応じて第２ユーザのアバターの表示データを生成するなどの処理を実行するものである。第２端末５０において動作させるプログラムは、第２端末５０の入力部６１を通じた操作により設定される第２ユーザの位置及び向きに応じて第１ユーザのアバターや他の第２ユーザのアバターの表示データを生成するなどの処理を実行するものである。第１端末３０及び第２端末５０における動作の詳細は後述する。
【0033】
これらの必要なデータをイベントデータ記憶部１３に保存する処理が完了すると、実イベント及び模擬イベントが開催可能な状態となる。
【0034】
参加受付部２２は、記憶部１１に保存されているイベントセットのうち、開催可能な状態となっているものを読み出して参加を受け付ける。参加受付部２２は、記憶部１１に保存されているユーザの連絡先に、参加を受け付けているイベントセットを記載したウェブサイトのアドレスを記載した電子メールを送信する。また、参加受付部２２は、既にユーザ登録されている者が所持している端末に予めインストールされているアプリケーションを通じて参加を受け付けているイベントセットの情報を通知する。電子メールや通知を受信したユーザは、受信した電子メール等に記載されているウェブサイトにアクセスし、自らのユーザ名及びパスワードを入力してログインした後、参加を希望するイベントセットの情報を確認する。そして、参加を希望するイベントセットについて、実イベントと模擬イベントのいずれに参加するかを選択する。ユーザが実イベントへの参加を選択した場合には、第１端末３０において動作させるスクリプトをダウンロードする画面が表示される。スクリプトがダウンロードされると、参加受付部２２は当該ユーザを当該イベントセットにおける第１ユーザに設定し、ユーザ情報記憶部１２に保存されている当該ユーザの端末を第１端末３０に設定して、これらの情報をイベントデータ記憶部１３に保存する。また、ユーザが模擬イベントへの参加を選択した場合には、第２端末５０において動作させるスクリプトをダウンロードする画面が表示される。スクリプトがダウンロードされると、参加受付部２２は当該ユーザを当該イベントセットにおける第２ユーザに設定し、ユーザ情報記憶部１２に保存されている当該ユーザの端末を第２端末５０に設定して、これらの情報をイベントデータ記憶部１３に保存する。
【0035】
イベントセットへの参加を受け付けるサイトには、新規ユーザ登録を行うことが可能な画面も設けられている。未登録者によって新規ユーザ登録を行う画面の表示が選択されると、ユーザ登録受付部２１は、連絡先（メールアドレス等）を入力させる。連絡先が入力されるとユーザ登録受付部２１は、その連絡先にユーザ登録を行うウェブサイトへのリンクを付した電子メールを送信し、ユーザ名とパスワードを設定させる。ユーザ名とパスワードが設定されると、新規のユーザとして新たな識別番号が付され、ユーザ情報記憶部１２に保存される。また、イベント参加者用プログラムをダウンロードすることによって上記同様に新規ユーザ登録を行うこともできる。
【0036】
ユーザとして登録された者には、ユーザ毎に設定ページが設けられ、そのページを通じて、当該ユーザの登録情報の変更、アバターの作成、使用する端末の情報の入力等を行うことができる。
【0037】
ここでは、ユーザ登録を行ったユーザを対象にイベントへの参加を受け付ける場合を説明したが、ユーザ登録を行うことなく、スクリプトをダウンロードしてユーザ名を設定するのみでイベントへの参加を可能としてもよい。
【0038】
イベントセットの開催日時になると、現実イベント空間では実イベントが開始される。これと同時に予め設定されたウェブサイト上で模擬イベントも開始される。これらの実イベントと模擬イベントは同期して進行する1組のイベントセットであり、実イベントに参加する第１ユーザと模擬イベントに参加する第２ユーザとの間での交流も可能になっている。従って、現実イベント空間と該現実イベント空間と対になるデジタルツインの空間で1つのイベントセットが実行される、と言い換えてもよい。第２ユーザとして参加する者は、ユーザ名及びパスワードを入力してこのウェブサイトにアクセスすることにより模擬イベントに参加する。模擬イベントへの参加開始時には当該第２ユーザのアバターが初期位置（例えば仮想イベント空間の入口）に配置されている。模擬イベントの開催中、第２ユーザは入力部を通じた操作によって自らのアバターを仮想イベント空間内の任意の位置に移動させることができる。
【0039】
現実イベント空間で実イベントに参加している第１ユーザが使用する第１端末３０では、画像取得部３２が所定の時間間隔で現実イベント空間の画像のデータを取得する。所定の時間間隔で取得する画像データには動画データも含まれうる。第１端末位置取得部３３は、先にダウンロードしたスクリプト（プログラム）によって、画像取得部３２が取得した画像のデータを、現実イベント空間における複数の基準位置のデータと照合して画像に含まれる基準位置を抽出し、抽出した基準位置に基づいて当該画像が取得された現実イベント空間における位置及び向き（即ち、現実イベント空間における第１端末３０の位置及び向き）の情報を取得する。この処理には、上記のVPSを好適に用いることができる。第１端末位置取得部３３は、第１端末３０の位置及び向きの情報を所定の時間間隔で（又はサーバ装置１０からのリクエストを受けて）サーバ装置１０に送信する。
【0040】
サーバ装置１０は、所定の時間間隔で第１端末３０に対し、その時点で収集されている第２ユーザのアバターの位置及び向きとアバターの表示データの情報を送信する。第１端末３０では、先にダウンロードしたスクリプト（プログラム）により、対応位置情報に基づいて、第２ユーザのアバターの仮想イベント空間における位置を現実イベント空間における位置に変換する。続いて、第１表示制御部３４が、そのアバターの3次元ホログラム画像を生成して各アバターにユーザ名を付した表示データを生成する。また、画像取得部３２により取得した現実イベント空間の画像データに生成した3次元ホログラム画像を含む表示データを重畳した画像を表示部４２に表示する（第１端末３０が光学シースルー型のMRグラスである場合は、3次元ホログラム画像のみを表示部４２に表示する）。なお、第１ユーザが複数存在し、画像取得部３２が取得した現実イベント空間の画像に他の第１ユーザが写っている場合は、該他の第１ユーザを含む現実イベント空間の画像に、第２ユーザのアバターの3次元ホログラム画像を重畳したものが第１端末３０の表示部４２に表示される。つまり、第１端末３０の表示部４２には、他の第１ユーザは実像として表示され、第２ユーザはアバターとして表示される。
【0041】
図５に、第１端末３０の表示部４２に表示される画面の一例を示す。第１ユーザが使用する第１端末３０の表示部４２には、実イベントに参加している他の第１ユーザの実像を含む現実イベント空間の画像に、模擬イベントに参加している第２ユーザのアバター７２及びそのユーザ名を重畳した画像が表示される。なお、図５に示す画面例には第１ユーザの実像は含まれず（即ち、現実イベント空間において第１ユーザが向いている方向に他の第１ユーザは存せず）、3人の第２ユーザのアバター７２が、実空間の背景に重畳して表示されている。
【0042】
仮想イベント空間で実イベントに参加している第２ユーザが使用する第２端末５０では、第２ユーザが入力部６１を通じて自らのアバターを移動させる毎に、その入力情報がサーバ装置１０に送信される。第２端末５０では、アバターが移動する毎に、第２ユーザ位置取得部５２が仮想イベント空間における第２ユーザのアバターの位置及び向きを特定し、順次、その情報をサーバ装置１０に送信する。
【0043】
また、サーバ装置１０は、所定の時間間隔で、イベントデータ記憶部１３に保存されている仮想イベント空間の表示データとともに、第１ユーザの位置及び向きと該ユーザのアバターの表示データと、他の第２ユーザのアバターの位置及び向きの情報と該アバターの表示データを第２端末５０に送信する。第２端末５０では、先にダウンロードしたスクリプト（プログラム）により、対応位置情報に基づいて、第１端末３０の現実イベント空間における位置を仮想イベント空間における位置に変換する。続いて、第２表示制御部５３が、該第２端末５０の使用者である第２ユーザのアバターから見た仮想イベント空間に第１端末３０の位置及び向きに応じて第１ユーザのアバターを配置し、さらに他の第２ユーザの位置及び向きに応じて他の第２ユーザのアバターを配置した画像を生成して表示部４２に表示する。このように、第２端末５０の表示部６２には、第１ユーザと他の第２ユーザはいずれもアバターとして表示される。ここでは第２ユーザのアバターの視点で捉えた仮想イベント空間の画像を表示するが、第２ユーザのアバターの後方から、該アバターを含めて仮想イベント空間を捉えた画像（第２ユーザ自身のアバターを含む画像）などを表示してもよい。また、そうした複数の視点で捉えた仮想イベント空間の画像を切り替え可能に表示してもよい。
【0044】
図６に、第２端末５０の表示部６２に表示される画面の一例を示す。図６に示すように、第２ユーザが使用する第２端末５０の表示部６２には、仮想イベント空間の画像とともに、実イベントに参加している第１ユーザのアバター７１と、模擬イベントに参加している他の第２ユーザのアバター７２が表示される。なお、表示設定を変更することにより、画面上に第１ユーザのユーザ名や第２ユーザのユーザ名を併せて表示させることもできる。
【0045】
図６に示す例では表示部６２の左下に補助画面７３を表示している。この補助画面７３には、自らの感情を表現するためのアイコンの表示／非表示を切り替える感情表示ボタン７３１及びアクションの表示／非表示を切り替えるアクション表示ボタン７３２が表示される。補助画面７３の表示は、所定の入力操作（例えば表示部６２の画面の左下の領域をダブルタップすること）によってON／OFFすることができる。図６は感情表示ボタン７３１をクリックした状態であり、これによって複数の感情表現に対応するアイコン７３１１が表示されている。本実施例におけるアイコン７３１１は画像データであるが、画像データに限らず修飾を施した文字データ等としてもよい。
【0046】
図６に示す画面では、第２ユーザがアイコン７３１１のいずれかを選択することにより、自らの感情を表現することができる。第２ユーザによりアイコン７３１１のいずれかを選択する操作が行われると、感情画像選択受付部５５により受け付けられ、選択されたアイコン７３１１の情報がサーバ装置１０に送信される。サーバ装置１０では、第２端末５０から受信した情報を蓄積しておき、第１端末３０に対して上記所定の時間間隔で第２ユーザのアバターの位置及び向きと表示データを送信する際に、第２端末５０から受信したアイコン７３１１の情報を付して第１端末３０に送信する。第２端末５０に対して他の第２ユーザのアバターの位置及び向きと表示データを送信する際も同様に、他の第２端末５０（上記他の第２ユーザが使用する第２端末５０）から受信したアイコン７３１１の情報を付して他の第２端末５０に送信する。
【0047】
第１端末３０では、第２ユーザの位置情報とともにアイコン７３１１の情報を受信すると、第１表示制御部３４が、そのアイコン７３１１を選択した第２端末５０のユーザのアバター７２の近傍にアイコン７３１１を表示する画像データを生成して表示部４２に表示する。第１端末３０では、図５に示すように、第２ユーザのアバター７２の上部にアイコン７３１１が表示される。また、第２表示制御部５３でも同様に、他の第２ユーザの位置情報とともにアイコン７３１１の情報を受信すると、第２表示制御部５３が、そのアイコン７３１１を選択した第２端末５０のユーザのアバター７２の近傍にアイコンを表示する画像データを生成して表示部６２に表示する。第２端末５０では、図６に示すように、アイコン７３１１が表示される。
【0048】
また、図６に示す画面において、第２ユーザがアクション表示ボタン７３２をクリックして表示されるアクションを選択することによっても自らの感情を表現することもできる。第２ユーザによりいずれかのアクションを選択する操作が行われると、感情動作選択受付部５６により受け付けられ、選択されたアクションの情報がサーバ装置１０に送信される。サーバ装置１０では、第２端末５０から受信した情報を蓄積しておき、第１端末３０に対して上記所定の時間間隔で第２ユーザのアバターの位置及び向きと表示データを送信する際に、第２端末５０から受信したアクションの情報を付して第１端末３０に送信する。第２端末５０に対して他の第２ユーザのアバターの位置及び向きと表示データを送信する際も同様に、他の第２端末５０（上記他の第２ユーザが使用する第２端末５０）から受信したアクションの情報を付して他の第２端末５０に送信する。
【0049】
第１端末３０では、第２ユーザの位置情報とともにアクションの情報を受信すると、第１表示制御部３４が、そのアクションを選択した第２端末５０のユーザのアバター７２に、そのアクションに応じた動作をさせる画像データを生成して表示部４２に表示する。第１端末３０では、図７に示すように、アバター７２１の動作を含む画像が表示部４２に表示される。また、第２表示制御部５３でも同様に、他の第２ユーザの位置情報とともにアクションの情報を受信すると、図８に示すように、その第２ユーザのアバター７２１に当該動作をさせる画像データを生成して表示部６２に表示する。
【0050】
ここでは、第２ユーザがアイコン７３１やアクションボタン７３２を選択する例を説明したが、第１ユーザも同様にアイコン７３１やアクションボタン７３２を選択することができ、第１端末３０の感情画像選択受付部３６と感情動作選択受付部３７が上記同様に機能する。図５に示した表示例の画面において所定の操作（例えば画面をダブルタップ）を行うと、図６と同様に、表示部４２に補助画面７３を表示することができる。補助画面７３の操作は第２ユーザと同様に行えばよく、サーバ装置１０でも第２ユーザによるアイコン７３１１やアクションの選択時と同様の処理がなされる。ただし、本実施例では、第１ユーザによってアイコン７３１１やアクションが選択されたときに、それらの選択に応じた画像データを生成して表示部６２に表示するのは第２表示制御部５３のみである。つまり、第１ユーザが視認する第１端末３０の表示部４２に表示する画像データはアクションの選択の前後で変更しない。これは、第１端末３０に表示される他の第１ユーザはアバターではなく実像であり、第１ユーザの実像に動作を付与することが不可能であるためである。ただし、実像で表示される第１ユーザの近傍にアイコン７３１１を表示することは可能であるため、第１ユーザがアイコン７３１１を選択した場合には、当該ユーザの実像の近傍にアイコン７３１１を表示してもよい。また、アクションが選択された場合に、第１ユーザの実像の近傍に選択されたアクションに対応する動きを付したアイコンを表示するようにしてもよい。
【0051】
実イベントの開催中、拡張表示部３５は、第１端末位置取得部３３が取得した第１端末３０の位置及び姿勢の情報に基づいて、第１ユーザの位置に応じた視線の方向（第１端末３０の画像取得部３２が捉えている方向）を特定する。そして、第１ユーザの視線の方向が予め設定された拡張表示対象７４に一定時間（例えば5秒）滞留していることを検出すると、当該拡張表示対象７４に対応する拡張表示情報をイベントデータ記憶部１３から読み出す。拡張表示情報が読み出されると、第１表示制御部３４が、図９に示すように、拡張表示対象７４の近傍に拡張表示７４１を重畳した画像を表示部４２に表示する。
【0052】
また、模擬イベントの開催中にも、拡張表示部５４は、第２ユーザのアバター７２の位置及び姿勢の情報に基づいて、第２ユーザのアバターの視線の方向を特定する。そして、第２ユーザのアバター７２の視線の方向が予め設定された拡張表示対象に一定時間（例えば5秒）滞留していることを検出すると、当該拡張表示対象に対応する拡張表示情報をイベントデータ記憶部１３から読み出す。拡張表示情報が読み出されると、第２表示制御部５３が、図１０に示すように、拡張表示対象７４の近傍に拡張表示７４１を重畳した画像を表示部６２に表示する。
【0053】
実イベントの開催中、事前に用意されたイベントの進行に従って、現実イベント空間に設けられたスクリーン等に映像などを投影する場合がある。このように事前に投影時間（イベント開始後の経過時間）と投影場所（スクリーン等）が決められている場合には、投影する動画像や音声のデータがイベントデータ記憶部１３に保存される。第２表示制御部５３は、模擬イベント開始後の経過時間が投影時間になると、イベントデータ記憶部１３に保存されている動画像の投影データ及び音声データを読み出し、仮想イベント空間のスクリーンに動画像を投影した画像を表示部６２に表示するとともに、音声データに基づく音声を出力する。これにより、図１１に示すように現実イベント空間（左図）で実イベントに参加する第１ユーザと仮想イベント空間（右図）で模擬イベントに参加する第２ユーザが同じ映像等の動画像を同時に視聴することができる。
【0054】
上記のように動画像がスクリーン等に投影され、音声が出力されている間、第２端末５０では、第２ユーザが自らのアバター７２をスクリーンに近づけることによって動画像の音量を大きくし、スクリーンから遠ざけることによって動画像の音量を小さくすることができる。
【0055】
本実施例のコミュニケーションシステム１では、第１ユーザと第２ユーザ、又は第２ユーザ間でのテキストチャット（オープンチャット及びプライベートチャット）及び音声通話や、第１ユーザから第２ユーザに対する画像や動画の配信を行うことができる。以下、これらについて説明する。なお、以下の動作においても、上記した動作と同様に、第１表示制御部３４が第１端末３０の表示部４２の画面表示を制御し、第２表示制御部５３が第２端末５０の表示部６２の画面表示を制御するが、説明が冗長になることを避けるため第１表示制御部３４及び第２表示制御部５３についての記載を省略する。
【0056】
オープンチャットは、実イベントの参加者である第１ユーザと、模擬イベントの参加者である第２ユーザの全てが書き込み及び閲覧可能なチャットである。プライベートチャットには、TORIMAKIチャットと、ダイレクトチャットがある。プライベートチャットについては後記する。
【0057】
図１２に、第１ユーザが使用する第１端末３０の表示部４２に表示される画面の一例を示す。画面の下部には、チャットボタン８１、配信開始ボタン８２、及び参加者ボタン８３が設けられている。また、この画面例では、上述のアイコン７３１１を呼び出すための感情表示ボタン７３１（エモティコン）とアクション表示ボタン（エモアクション）７３２を含む補助画面７３が画面左上に表示されている。
【0058】
チャットボタン８１を押すと、図１３に示すようなチャット画面８１１が表示される。チャット画面８１１にはOPENボタン８１２と、TORIMAKIボタン８１３が配置されており、OPENボタン８１２を押すとオープンチャットの画面が表示され、書き込み及び閲覧が可能になる。TORIMAKIボタン８１３を押すとTORIMAKIチャットの画面が表示される。また、チャット画面８１１が表示された状態（図１３）でチャットボタン８１を押すと、チャット画面が非表示に切り替えられる（図１２）。
【0059】
第２ユーザが、第２端末５０の表示部６２に表示されている第１ユーザのアバター７１のいずれかを選択する所定の操作（例えばアバター７１をダブルタップ）を行うと、図１４に示すように、該第１ユーザのアバター７１の近傍（図１４では上部）に“TORIMAKIになる”ボタン９２が表示される。
【0060】
第２ユーザが、表示部６２の“TORIMAKIになる”ボタン９２を押すと、サーバ装置１０では、そのボタンが押されたアバター７１に対応する第１ユーザをユーザ仲介部２３が特定する。そして、当該第１ユーザの第１端末３０に対して、第２ユーザからTORIMAKIのリクエストがあったことを通知し、その諾否を問い合わせる。第１ユーザがTORIMAKIのリクエストを許諾すると、その情報がサーバ装置１０に送信される。サーバ装置１０では、第１ユーザによって第２ユーザがTORIMAKIになることが許諾されたことを受信すると、ユーザ仲介部２３が、第１端末３０と、該第１端末３０の所有者である第１ユーザのTORIMAKIとして許諾された第２ユーザが所有する第２端末５０を連携させて、当該第１ユーザのTORIMAKIとして当該第２ユーザを登録（第１ユーザに対する第２ユーザのつながりを設定）する。また、両者がプライベートチャット（TORIMAKIチャット）を行うためのチャットルームを開設する。これにより、第１端末３０と、該第１端末３０の所有者である第１ユーザのTORIMAKIとして許諾された第２ユーザが所有する第２端末５０の間で連携が設定される。なお、本実施例では、一人の第１ユーザに対して1乃至複数の第２ユーザが同時にTORIMAKIになることができる。
【0061】
第１ユーザが図１３に示すチャット画面８１１に配置されたTORIMAKIボタン８１３を押すと、自らのTORIMAKIである第２ユーザとの間でプライベートチャットを行うための画面が表示される。また、第２ユーザが、TORIMAKIとして許諾された後にチャット画面９１でTORIMAKIボタン９１２を押すと（図１５参照）、自らと、自らがTORIMAKIとなった第１ユーザと、他のTORIMAKI（即ち、第１ユーザと、該第１ユーザの全てのTORIMAKI）の間でプライベートチャットを行うための画面が表示される。
【0062】
このチャット画面９１にはOPENボタン９１１、TORIMAKIボタン９１２、及びDIRECTボタン９１３が設けられている。図１５は、TORIMAKIボタン９１２が押され、TORIMAKIチャット画面が表示された例である。このTOROIMAKIチャットには、第１ユーザと、該第１ユーザのTORIMAKIとして許諾された第２ユーザのみが書き込み及び閲覧することができる。TORIMAKIチャットでは、第１ユーザ又は第２ユーザからテキスト情報が入力される毎に、サーバ装置１０のユーザ仲介部２３を介して互いの端末にテキスト情報が送信され、それぞれの表示部４２、６２に表示される。また、第１ユーザが第２ユーザからのTORIMAKIのリクエストを許諾すると、上記のプライベートチャットに加え、両者の間での音声通話を行うことも可能になる。この音声通話は、全てのTORIMAKIとの間で行うものと、TORIMAKIのうち一人のみと行うもののいずれであってもよい。また、それらを切り替え可能にしてもよい。
【0063】
また、図１４に示す画面で右下に表示される参加者一覧表示９３（図１６に拡大図を再掲）によって、実イベントに参加している第１ユーザ及び模擬イベントに参加している第２ユーザを確認することができる。この参加者一覧表示９３において第１ユーザ名９３１及び第２ユーザ名９３２の横に表示されるチャットボタン９３３のいずれかを押すことにより、当該ユーザと1対1でのダイレクトチャットが開始される。図１５に示すチャット画面９１でDIRECTボタン９１３を押すと、ダイレクトチャット画面が表示される。ダイレクトチャット中には、当該ユーザとの間で1対1の音声通話も可能である。第１ユーザの横に表示されるボタン９３４を押すと、上記“TORIMAKIになる”ボタン９２を押した場合と同様に、当該第１ユーザに対してTORIMAKIのリクエストが送信される。
【0064】
図１３に示した第１端末３０の表示部４２の画面例にはダイレクトチャットを表示していないが、第１端末３０においても第１ユーザ及び第２ユーザのいずれか一人を指定することによりダイレクトチャット及び音声通話を行うことができる。図１２及び図１３の画面例で左下に表示される参加者ボタン８３を押すと、図１６と同様に第１ユーザ及び第２ユーザの一覧が表示される。この一覧で一人のユーザを選択してチャットボタンを押すことによりダイレクトチャット及び音声通話が開始される。なお、現実空間で実イベントに参加中である第１ユーザ同士はその場で会話することが可能であるため、第１ユーザ同士でのダイレクトチャットを行わない構成としてもよいが、他の第１ユーザに対して秘密を保持したい事項について会話する場合などを考慮して、本実施例では第１ユーザ間でのダイレクトチャットも可能にしている。
【0065】
図１２及び図１３に示す配信開始ボタン８２は、第１ユーザが、自らが使用する第１端末５０の画像取得部３２で取得した画像（動画を含む）を、自らのTORIMAKIである第２ユーザに配信する処理を実行するボタンである。例えば、TORIMAKIである第２ユーザが、チャットや音声通話を通じて、現実空間において興味のある場所の撮影を第１ユーザにリクエストし、リクエストを受けた第１ユーザが自らの第１端末３０でリクエストされた場所を撮影した画像や動画をリアルタイムで自らのTORIMAKIである第２ユーザに配信することができる（図１７参照）。このとき、第１ユーザは、撮影中の画像や動画について口頭で説明を行うことにより、その音声データも同時にTORIMAKIに配信することができる。
【0066】
第１端末３０から配信される画像や動画、音声のデータは、サーバ装置１０のユーザ仲介部２３を介して、該第１端末３０の所有者である第１ユーザのTORIMAKIである第２ユーザが所有する第２端末５０に送信される。第２端末５０では、表示部６２に第１端末３０の画像取得部３２で撮影された画像や動画が全画面表示される（図１８参照）。これにより、第２ユーザは、自らがTORIMAKIとなった第１ユーザが使用する第１端末３０の画像取得部３２で捉えられた現実イベント空間の画像や動画をリアルタイムで共有することができる。第２端末５０の表示部６２における小画面の大きさは適宜に変更可能である。
【0067】
しかし、ある第２ユーザによるリクエストに応じて第１ユーザが配信した画像や動画が、全てのTORIMAKIにとって興味のある内容であるとは限らない。そこで、第２端末５０では、図１８に示す全画面表示の状態で、EXITボタン９４１を押すことによって第１端末３０から配信される画像や動画の表示を終了させたり、縮小ボタン９４２を押すことによって第１端末３０から配信される画像や動画を小画面９５に表示させたりすることができる（図１９参照）。
【0068】
図１７～図１９は、第１ユーザが第１端末３０で撮影した現実イベント空間の画像や動画を自らのTORIMAKIに配信する例であるが、第１端末３０の画像取得部３２の設定を変更する（インカメラを使用する設定に変更する）ことにより、第１ユーザ自らの画像をTORIMAKIに配信することもできる。これにより、第１ユーザは自らの画像を自らのTORIMAKIに話しかけるなどの配信を行うことができる。図２０は、第１ユーザがインカメを用いて自らの画像を配信した場合に第２端末５０の表示部６２に表示される画面の一例である。なお、第１ユーザがインカメラを用いて自らの画像を配信する際には、第１端末３０の表示部４２には、インカメラで取得した画像を全画面表示してもよく、アウトカメラで取得した画像の上に、インカメラで取得した画像を小画面で表示してもよい。
【0069】
また、ユーザ仲介部２３は、第１ユーザと、該第１ユーザがTORIMAKIとして承認した第２ユーザのそれぞれのユーザ情報に相互の識別情報を記入してユーザ情報記憶部１２に保存する。これにより、それぞれのユーザ情報に、TORIMAKIとして交流のあるユーザとしてお互いのユーザ情報が記録される。交流のあるユーザの一覧は、例えば、各ユーザがユーザ名とパスワードを使用してアクセス可能なユーザ情報設定部で確認することができる。あるいは、実イベント及び模擬イベントを終了する際、あるいは第１ユーザ又は第２ユーザがイベントから退出する際に、お互いにTORIMAKIとして交流があったユーザとして記録することの許諾を求め、双方から許諾が得られた場合にのみ、交流ユーザとして記録してもよい。また、ユーザ間の交流について、全てのユーザ情報をお互いに公開する、ユーザ名と連絡先情報のみを公開する、ユーザ名のみを公開する、といった複数の段階を設定し、お互いが許諾したレベルの情報を公開するような構成を採ることもできる。
【0070】
本実施例のコミュニケーションシステム１では、上記の構成を採ることによって、仮想空間（図２１の下部）に現実空間（図２１の上部）と同一の環境（デジタルツイン環境）を提供することができる。また、こうしたデジタルツイン環境で上記のTORIMAKIシステムを活用することによって、現実空間で取得した画像や動画を、仮想空間に参加している第２ユーザがリアルタイムで共有することができる。
【0071】
従来、現実空間を模した仮想空間において様々な体験をさせるものが存在しているが、仮想空間で現実空間を再現する場合には、そのデータ量や画像処理にかかる負荷などの観点から現実空間における情報の一部を割愛した仮想空間が形成されることが多い。そのため、仮想空間では現実空間のようなリアルさを体感することができないことが多い。これに対し、上記のTORIMAKIシステムでは現実空間において第１ユーザが撮影した、リアルな画像や動画を、該第１ユーザのTORIMAKIとなった第２ユーザが共有することができる。なお、上記はいずれも屋内の現実空間としたが、図２２に示すように屋外の現実空間に対してデジタルツインとなる仮想空間を提供することもできる。
【0072】
本実施例のコミュニケーションシステム１は、種々の場面での活用が考えられる。例えば、第１ユーザが著名人やインフルエンサーなどである場合にそのファンが該第１ユーザのTORIMAKIとなって、その活動をフォローすることが考えられる。あるいは、関係者以外の立ち入りが禁止されている場所について、当該場所の関係者が第１ユーザとなり、その場所に興味を持つ者がそのTORIMAKIとなって普段は見ることができない場所（バックヤード）や場面（動物の出産シーン）の画像やその場所の解説の配信をリクエストすることが考えられる。そのような場所として、例えば、遊園地、動物園、水族館、工場、飛行場のバックヤードや、寺院や美術館における重要文化財の設置場所などが挙げられる。さらには、アパレルブランド等のショップの店員が第１ユーザとなり、そのショップに興味がある者がそのTORIMAKIとなってそのショップの商品等の紹介をリクエストすることが考えられる。さらには、外出することが困難な障碍者や引きこもりである者が、自らが興味を持つ場所にいるツアーガイドや居住者のTORIMAKIとなり、興味を持つ場所の映像や解説の配信をリクエストすることも考えられる。さらには、遠隔地に住む者に対する教育の場を提供する目的で使用することもできる。
【0073】
以上、説明したように、本実施例のコミュニケーションシステム１では、現実イベント空間における実イベントと、仮想イベント空間における模擬イベントを同時に並行して行うだけでなく、予めイベントデータ記憶部１３に保存されている基準位置情報に基づいて第１端末３０の位置及び向きを特定し、また、対応位置情報に基づいて現実イベント空間と仮想イベント空間の位置情報を相互に変換する。これにより、現実イベント空間でイベントに参加する第１ユーザのアバター７１を仮想イベント空間に表示させて第２端末５０の表示部６２に表示することができる。また、第２ユーザのアバター７２の3次元ホログラム画像を第１端末３０の表示部４２に表示することもできる。また、実イベントにおいて投影される動画像を仮想イベント空間内の模擬イベントでも同時に投影することができるため、第１ユーザと第２ユーザが同じ動画像を同時に視聴することができる。
【0074】
本実施例のコミュニケーションシステム１では、第１ユーザと第２ユーザはそれぞれ、自らの感情を表現するアイコン７３１やアクションボタン７３２を選択することにより、他のユーザにアピールすることができる。また、第１ユーザと第２ユーザの間で、又は第２ユーザ間でプライベートチャットにより交流することもできる。
【0075】
さらに、本実施例のコミュニケーションシステム１では、現実空間で行われる実イベントに参加している第１ユーザのTORIMAKIとなることで、仮想空間で模擬イベントに参加している第２ユーザが、現実空間におけるリアルな画像や動画を共有することができる。
【0076】
上記実施例は一例であって、本発明の趣旨に沿って適宜に変更することができる。
【0077】
上記実施例では、サーバ装置１０の記憶部１１にイベントデータ記憶部１３を設け、そこにイベントの開催に必要な各種のデータを保存しておく構成としたが、イベントデータ記憶部１３に保存されるデータの一部又は全部を第１端末３０の記憶部３１や第２端末５０の記憶部５１に記憶させてもよい。また、上記実施例では、第１端末３０が第１端末位置取得部３３を備え、第２端末５０が第２ユーザ位置取得部５２を備え、また、第１端末３０において第１表示制御部３４が表示部４２に表示するデータを生成し、第２端末５０において第２表示制御部５３が表示部６２に表示するデータを生成する構成としたが、これらを含む機能ブロックの一部又は全部をサーバ装置１０に備えた構成を採ることもできる。
【0078】
上記実施例では、第１端末位置取得部３３が、第１端末３０の画像取得部３２が取得した画像データをイベントデータ記憶部１３に保存されている現実イベント空間における複数の基準位置のデータと照合することにより、第１端末３０の位置及び向きを特定したが、他の方法を採ることもできる。例えば、現実イベント空間の複数の位置に予めセンサを配置し、第１端末３０との間で近距離通信を行って各センサに対する応答時間を求めることにより第１端末３０の位置を特定し、第１端末３０が有する加速度センサによって第１端末の向きを特定することもできる。
【0079】
上記実施例では、投影時刻と投影場所が事前に決められた動画像データを用いたが、イベントの開催前に予定していなかった動画像が投影されることもあり得る。その場合には、例えば、適宜の時間間隔で、複数の第１端末３０の画像取得部３２により取得された画像データを統合することにより現実イベント空間の画像データを生成し、イベントデータ記憶部１３に保存されている現実イベント空間の画像データを照合することにより、両者の相違を検出し、相違が検出された場所の画像データから投影データを生成するように構成することができる。あるいは、現実イベント空間に、予め複数の画像取得部を配置しておき、各画像取得部により取得された画像の変化に基づいて事前に予定されていなかった動画像が投影されていることを検出した場合に、その動画像を検出した画像取得部のデータから投影データを生成するようにしてもよい。
【0080】
また、上記実施例では、第１ユーザのアバター７１と第２ユーザのアバター７２を全て仮想イベント空間に表示したが、仮想イベント空間で開催される模擬イベントに多数の第２ユーザが参加した場合、仮想イベント空間内に第２ユーザのアバター７２を表示しきれなくなることが考えられる。その場合には、仮想イベント空間を複数設け、第２ユーザを複数のグループに分け、それぞれをグループ毎に設けた仮想イベント空間に振り分けてアバター７２を表示すればよい。その場合には、第１端末３０の表示部４２には、いずれか1つの仮想イベント空間における第２ユーザのアバター７２のみを表示すればよい。また、どの仮想空間のアバターを第１端末３０の表示部４２に表示するかを第１ユーザに選択させてもよい。あるいは、当該第１ユーザと交流のある第２ユーザのアバター７２のみを第１端末３０の表示部４２に表示するようにしてもよい。
【0081】
また、著名人である第１ユーザのTORIMAKIになってイベントを楽しむ場合、TORIMAKIである第２ユーザは、他の第１ユーザや第２ユーザについて特に興味を持たないことが多く、TORIMAKIとなった第１ユーザ以外の第１ユーザのアバター７１や他の第２ユーザのアバター７２が仮想空間に表示されることが煩わしく感じやすい。こうした場合には、第２ユーザが所定の操作を行うことによって、自らがTORIMAKIとなっている第１ユーザのアバター７１のみを表示させる表示形態や、自らがTORIMAKIとなっている第１ユーザのアバター７１と、そのTORIMAKIである第２ユーザのアバター７２のみを表示させる表示形態に切り替え可能な構成を採るとよい。
【0082】
上記実施例のTORIMAKIシステムでは一人の第１ユーザに対して1乃至複数の第２ユーザがTORIMAKIとなる構成としたが、複数の第１ユーザに対して複数の第２ユーザがTORIMAKIとなり、TORIMAKIグループを形成するようにしてもよい。その場合には、第２端末５０の表示部６２に、複数の第１ユーザが同時に配信する画像や動画をそれぞれ表示する画面を個別に設けるとよい。
【0083】
上記実施例では、1つの現実イベント空間に対して1つの仮想イベント空間を対応付けたが、1つの現実イベント空間に対して互いに異なる複数の仮想イベント空間を対応付けてもよい。例えば、複数の異なる事業者のそれぞれが提供する仮想イベント空間を1つの現実イベントに対応付け、異なる事業者がそれぞれ作成した仮想空間をAPI（Application Programming Interface）連携させ、1つの現実イベント空間に対応して設けられた複数の仮想イベント空間の間でユーザが移動することを可能にしてもよい。あるいは、現実イベント空間に対応する仮想空間にEコマース（Electric Commerce）機能を設定するなどして、仮想イベント空間において、現実イベント空間よりも多くの体験を可能とするように構成することもできる。また、上記実施例では、現実イベント空間を模した仮想イベント空間としたが、仮想イベント空間は現実イベント空間に対応するものであって、相互の空間内の位置が対応付けられたものであればよく、必ずしも現実イベント空間を模したものである必要はない。例えば、現実イベント空間を適宜にデフォルメした仮想イベント空間を用いることができる。
【0084】
［態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。
【0085】
（第１項）
本発明の一態様に係るミュニケーションシステムは、
現実イベント空間で開催される実イベントに対応する模擬イベントを仮想イベント空間に表示するための表示データ、該現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、該現実イベント空間で前記実イベントに参加する第１ユーザのアバターの表示データ、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部と、
前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び表示部を備えた第１端末と、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
を備える。
本発明の一態様に係るミュニケーションシステムは、
現実イベント空間で開催される実イベントに対応する模擬イベントを仮想イベント空間に表示するための表示データ、該現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、該現実イベント空間で前記実イベントに参加する第１ユーザのアバターの表示データ、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部と、
前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び表示部を備えた第１端末と、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
を備える。
【0086】
（第１１項）
本発明の別の一態様に係るコミュニケーションシステム用プログラムは、
現実イベント空間で開催される実イベントの参加者である第１ユーザが使用する端末であって該第１ユーザの視点で捉えた前記現実イベント空間の画像を取得する画像取得部及び該画像取得部により取得される画像を表示する表示部を備えた第１端末と、
仮想イベント空間で開催される前記実イベントに対応する模擬イベントの参加者である第２ユーザが使用する端末であって入力部及び表示部を備えた第２端末と、
前記第１端末及び前記第２端末と通信可能に設けられ、前記模擬イベントを仮想イベント空間に表示するための表示データ、前記現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部を有するサーバ装置とを含み、
前記第２端末又は前記サーバ装置が前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部を有するコミュニケーションシステムにおいて、
前記第１端末を、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部
として動作させることを特徴とするプログラム。
本発明の別の一態様に係るコミュニケーションシステム用プログラムは、
現実イベント空間で開催される実イベントの参加者である第１ユーザが使用する端末であって該第１ユーザの視点で捉えた前記現実イベント空間の画像を取得する画像取得部及び該画像取得部により取得される画像を表示する表示部を備えた第１端末と、
仮想イベント空間で開催される前記実イベントに対応する模擬イベントの参加者である第２ユーザが使用する端末であって入力部及び表示部を備えた第２端末と、
前記第１端末及び前記第２端末と通信可能に設けられ、前記模擬イベントを仮想イベント空間に表示するための表示データ、前記現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部を有するサーバ装置とを含み、
前記第２端末又は前記サーバ装置が前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部を有するコミュニケーションシステムにおいて、
前記第１端末を、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部
として動作させることを特徴とするプログラム。
【0087】
第１項に係るコミュニケーションシステム、及び第１１項に係るプログラムを実行することにより具現化されるコミュニケーションシステムは、現実空間に設けられたイベント空間（現実イベント空間）においてイベント（実イベント）を開催するとともに、該現実イベント空間に対応する模擬イベントを仮想空間に設けられたイベント空間（仮想イベント空間）で開催する際に用いられる。このシステムでは、現実イベント空間で実イベントに参加する第１ユーザは、第１ユーザの位置に応じた視点で捉えた現実イベント空間の画像を取得する画像取得部と表示部とを備えた第１端末を使用する。また、仮想イベント空間で模擬イベントに参加する第２ユーザは、入力部と表示部を備えた第２端末を使用する。なお、第１ユーザの位置に応じた視点で捉えた画像は、第１ユーザが頭部に装着するMRグラス等のデバイスに前記画像取得部が設けられたものである場合には該第１ユーザの視点から捉えた画像であり、第１ユーザが使用するタブレット端末等のポータブルデバイスに前記画像取得部が設けられたものである場合には、そのタブレット端末の撮影部から捉えた画像である。
【0088】
第１ユーザが実イベントに参加している間、現実イベント空間内を移動する第１ユーザが使用する第１端末の位置の情報が、第１端末位置情報取得部により取得される。第１端末の位置の情報には、第１端末の向きに関する情報が含まれうる。第２ユーザは、第２端末の入力部を通じた操作により仮想イベント空間にアバターを登場させ、その中で自由に移動させることができる。第２ユーザが模擬イベントに参加している間、第２ユーザのアバターの位置の情報は第２ユーザ位置取得部により取得される。
【0089】
第１表示制御部は、記憶部に予め保存された対応位置情報に基づいて、第２ユーザのアバターの位置を現実イベント空間における位置に変換し、その位置に該第２ユーザのアバターを配置した画像を第１端末の表示部に表示させる。従って、第１ユーザは、現実イベント空間に第２ユーザのアバターが存在しているかのような画像を視認することができる。また、第２表示制御部は、前記対応位置情報に基づいて、第１端末の位置を前記仮想空間における位置に変換してその位置に第１ユーザのアバターを配置し、第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を第２端末の表示部に表示させる。従って、第２ユーザは、現実イベント空間にいる第１ユーザのアバターを含んだ仮想イベント空間の画像を視認することができる。なお、第２ユーザのアバターの位置に応じた視点とは、該アバターの視点そのものに限らず、アバターの後方からアバターを含めて仮想イベント空間を捉えるような視点などであってもよい。また、そうした複数の視点を切り替え可能にしてもよい。
【0090】
このように、上記コミュニケーションシステムでは、現実イベント空間で実イベントに参加する第１ユーザと、仮想イベント空間で模擬イベントに参加する第２ユーザのそれぞれが使用する端末に、お互いのアバターを表示させて、現実の空間で行われる実イベントの参加者と仮想空間で行われる模擬イベントの参加者に一体感を感じさせることができる。
【0091】
（第２項）
第２項に係るコミュニケーションシステムは、第１項に係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、前記現実イベント空間の画像データが保存されており、
前記第１端末位置取得部は、前記画像取得部によって取得された前記現実イベント空間の画像を前記画像データと照合することにより前記第１端末の位置の情報を取得する。
第２項に係るコミュニケーションシステムは、第１項に係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、前記現実イベント空間の画像データが保存されており、
前記第１端末位置取得部は、前記画像取得部によって取得された前記現実イベント空間の画像を前記画像データと照合することにより前記第１端末の位置の情報を取得する。
【0092】
第２項に係るコミュニケーションシステムでは、第１端末の画像取得部で撮影した画像を現実イベント空間の基準位置情報と照合することにより、高い精度で第１端末の位置及び向きの情報を取得することができる。
【0093】
（第３項）
第３項に係るコミュニケーションシステムは、第１項又は第２項に係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、それぞれがユーザの感情を表現した画像である複数の感情画像のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情画像の1つを選択する操作を受け付ける感情画像選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情画像選択受付部が操作を受け付けた端末のユーザのアバターとともに前記選択された感情画像を表示させる感情画像表示部と
を備える。
第３項に係るコミュニケーションシステムは、第１項又は第２項に係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、それぞれがユーザの感情を表現した画像である複数の感情画像のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情画像の1つを選択する操作を受け付ける感情画像選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情画像選択受付部が操作を受け付けた端末のユーザのアバターとともに前記選択された感情画像を表示させる感情画像表示部と
を備える。
【0094】
（第４項）
第４項に係るコミュニケーションシステムは、第１項から第３項のいずれかに係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、それぞれがユーザの感情を表現するアバターの動作である感情動作のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情動作の1つを選択する操作を受け付ける感情動作選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情動作選択受付部が操作を受け付けた端末のユーザのアバターに前記選択された感情動作を実行させた画像を表示させる感情動作実行部と
を備える。
第４項に係るコミュニケーションシステムは、第１項から第３項のいずれかに係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、それぞれがユーザの感情を表現するアバターの動作である感情動作のデータが保存されており、
さらに、
前記第１端末及び前記第２端末の一方において前記感情動作の1つを選択する操作を受け付ける感情動作選択受付部と、
前記第１端末及び前記第２端末の他方の表示部に、前記感情動作選択受付部が操作を受け付けた端末のユーザのアバターに前記選択された感情動作を実行させた画像を表示させる感情動作実行部と
を備える。
【0095】
第３項及び第４項に係るコミュニケーションシステムでは、第１ユーザと第２ユーザの間で豊かな感情表現を行うことができる。
【0096】
（第５項）
第５項に係るコミュニケーションシステムは、第１項から第４項のいずれかに係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、前記現実イベント空間と前記仮想空間のそれぞれに配置される拡張表示対象、及び該拡張表示対象に対応付けられた拡張表示内容の情報が保存されており、
さらに、
前記第１端末位置取得部により取得された位置の情報に基づいて該第１端末のユーザの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第１端末の表示部に表示させる画像データを生成し、前記第２ユーザ位置取得部により取得された位置の情報に基づいて該第２ユーザのアバターの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第２端末の表示部に表示させる拡張表示部
を備える。
第５項に係るコミュニケーションシステムは、第１項から第４項のいずれかに係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、前記現実イベント空間と前記仮想空間のそれぞれに配置される拡張表示対象、及び該拡張表示対象に対応付けられた拡張表示内容の情報が保存されており、
さらに、
前記第１端末位置取得部により取得された位置の情報に基づいて該第１端末のユーザの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第１端末の表示部に表示させる画像データを生成し、前記第２ユーザ位置取得部により取得された位置の情報に基づいて該第２ユーザのアバターの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第２端末の表示部に表示させる拡張表示部
を備える。
【0097】
第５項に係るコミュニケーションシステムでは、実イベント及び模擬イベントにおける展示物等に興味を持った第１ユーザや第２ユーザに限定して、その展示物等に関する詳細な説明などを提供することができる。また、そうした展示物等に興味を持たないユーザには表示されないため、そうしたユーザが余計な表示に煩わしさを感じることもない。
【0098】
（第６項）
第６項に係るコミュニケーションシステムは、第１項から第５項のいずれかに係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、前記現実イベント空間において投影される動画像のデータ、該動画像の投影場所、及び該動画像を投影するタイミングの情報が保存されており、
前記第２表示制御部は、前記タイミングで、前記仮想イベント空間における前記投映場所に対応する位置に前記動画像を投影した画像を前記第２端末の表示部に表示させる。
第６項に係るコミュニケーションシステムは、第１項から第５項のいずれかに係るコミュニケーションシステムにおいて、
前記記憶部に、さらに、前記現実イベント空間において投影される動画像のデータ、該動画像の投影場所、及び該動画像を投影するタイミングの情報が保存されており、
前記第２表示制御部は、前記タイミングで、前記仮想イベント空間における前記投映場所に対応する位置に前記動画像を投影した画像を前記第２端末の表示部に表示させる。
【0099】
第６項に係るコミュニケーションシステムでは、仮想イベント空間においても、現実イベント空間と同時にリアルタイムで動画像を閲覧することができる。
【0100】
（第７項）
第７項に係るコミュニケーションシステムは、第１項から第６項のいずれかに係るコミュニケーションシステムにおいて、
前記第２端末が複数存在する場合に、該複数の第２端末を複数のグループに分けてそれぞれに仮想イベント空間を設定し、
前記第１端末表示制御部が、前記複数のグループのいずれかに分類された前記第２端末のユーザのアバターのみを前記第１端末の表示部に表示させる
第７項に係るコミュニケーションシステムは、第１項から第６項のいずれかに係るコミュニケーションシステムにおいて、
前記第２端末が複数存在する場合に、該複数の第２端末を複数のグループに分けてそれぞれに仮想イベント空間を設定し、
前記第１端末表示制御部が、前記複数のグループのいずれかに分類された前記第２端末のユーザのアバターのみを前記第１端末の表示部に表示させる
【0101】
第７項に係るコミュニケーションシステムでは、模擬イベントに多数の第２ユーザが参加している場合でも、第１端末の表示部及び第２端末の表示部に表示されるアバターの数を制限して仮想空間に配置するため、第１ユーザ及び第２ユーザが多数のアバターの表示に煩わしさを感じることがない。
【0102】
（第８項）
第８項に係るコミュニケーションシステムは、第１項から第７項のいずれかに係るコミュニケーションシステムにおいて、
さらに、
前記第２端末から、前記第１ユーザの一人を指定して該第１ユーザとつながりを持つことを希望する要請を受け付け、該第１ユーザが所有する第１端末に対して第２端末の所有者である第２ユーザとのつながりの諾否を問い合わせ、該第１端末から許諾の操作が行われた場合に該第１端末と該第２端末の連携を設定するユーザ仲介部
を備える。
（第８項）
第８項に係るコミュニケーションシステムでは、リクエストを発した第２ユーザと、そのリクエストを承諾した第１ユーザとの間にプライベートなつながりを形成することができる。
第８項に係るコミュニケーションシステムは、第１項から第７項のいずれかに係るコミュニケーションシステムにおいて、
さらに、
前記第２端末から、前記第１ユーザの一人を指定して該第１ユーザとつながりを持つことを希望する要請を受け付け、該第１ユーザが所有する第１端末に対して第２端末の所有者である第２ユーザとのつながりの諾否を問い合わせ、該第１端末から許諾の操作が行われた場合に該第１端末と該第２端末の連携を設定するユーザ仲介部
を備える。
（第８項）
第８項に係るコミュニケーションシステムでは、リクエストを発した第２ユーザと、そのリクエストを承諾した第１ユーザとの間にプライベートなつながりを形成することができる。
【0103】
（第９項）
第９項に係るコミュニケーションシステムは、第８項に係るコミュニケーションシステムにおいて、
前記ユーザ仲介部が、さらに、前記連携が設定された第１端末と第２端末のみから書き込み及び閲覧可能なチャット画面を、該第１ユーザが使用する前記第１端末の表示部と、該第２ユーザが使用する前記第２端末の表示部のそれぞれに表示する。
第９項に係るコミュニケーションシステムは、第８項に係るコミュニケーションシステムにおいて、
前記ユーザ仲介部が、さらに、前記連携が設定された第１端末と第２端末のみから書き込み及び閲覧可能なチャット画面を、該第１ユーザが使用する前記第１端末の表示部と、該第２ユーザが使用する前記第２端末の表示部のそれぞれに表示する。
【0104】
第９項に係るコミュニケーションシステムでは、つながりが形成された第１ユーザと第２ユーザのみが書き込み及び閲覧可能なチャットを通じてプライベートな交流を持つことができる。
【0105】
（第１０項）
第１０項に係るコミュニケーションシステムは、第８項又は第９項に係るコミュニケーションシステムにおいて、
前記ユーザ仲介部が、前記第１端末で取得された画像を、該第１端末との間で連携が設定された第２端末の表示部に表示する。
第１０項に係るコミュニケーションシステムは、第８項又は第９項に係るコミュニケーションシステムにおいて、
前記ユーザ仲介部が、前記第１端末で取得された画像を、該第１端末との間で連携が設定された第２端末の表示部に表示する。
【0106】
第１０項に係るコミュニケーションシステムでは、模擬イベントに参加し、第１ユーザとの間でプライベートなつながりを形成した第２ユーザが、現実イベント空間において第１ユーザが取得した画像をリアルタイムで楽しむことができる。
【符号の説明】
【0107】
１…コミュニケーションシステム
１０…サーバ装置
１１…記憶部
１２…ユーザ情報記憶部
１３…イベントデータ記憶部
２１…ユーザ登録受付部
２２…参加受付部
２３…ユーザ仲介部
３０…第１端末
３１…記憶部
３２…画像取得部
３３…第１端末位置取得部
３４…第１表示制御部
３５…拡張表示部
３６…感情画像選択受付部
３７…感情動作選択受付部
４１…入力部
４２…表示部
５０…第２端末
５１…記憶部
５２…第２ユーザ位置取得部
５３…第２表示制御部
５４…拡張表示部
５５…感情画像選択受付部
５６…感情動作選択受付部
６１…入力部
６２…表示部
７１、７１１…第１ユーザのアバター
７２、７２１…第２ユーザのアバター
７３…補助画面
７３１…感情表示ボタン
７３１１…アイコン
７３２…アクション表示ボタン
７４…拡張表示対象
７４１…拡張表示
８１…チャットボタン
８１１…チャット画面
８１２…OPENボタン
８１３…TORIMAKIボタン
８２…配信開始ボタン
８３…参加者ボタン
９１…チャット画面
９１１…OPENボタン
９１２…TORIMAKIボタン
９１３…DIRECTボタン
９２…“TORIMAKIになる”ボタン
９３…参加者一覧表示
９３１…第１ユーザ名
９３２…第２ユーザ名
９３３…チャットボタン
９３４…ボタン
９４１…EXITボタン
９４２…縮小ボタン
９５…小画面
１０…サーバ装置
１１…記憶部
１２…ユーザ情報記憶部
１３…イベントデータ記憶部
２１…ユーザ登録受付部
２２…参加受付部
２３…ユーザ仲介部
３０…第１端末
３１…記憶部
３２…画像取得部
３３…第１端末位置取得部
３４…第１表示制御部
３５…拡張表示部
３６…感情画像選択受付部
３７…感情動作選択受付部
４１…入力部
４２…表示部
５０…第２端末
５１…記憶部
５２…第２ユーザ位置取得部
５３…第２表示制御部
５４…拡張表示部
５５…感情画像選択受付部
５６…感情動作選択受付部
６１…入力部
６２…表示部
７１、７１１…第１ユーザのアバター
７２、７２１…第２ユーザのアバター
７３…補助画面
７３１…感情表示ボタン
７３１１…アイコン
７３２…アクション表示ボタン
７４…拡張表示対象
７４１…拡張表示
８１…チャットボタン
８１１…チャット画面
８１２…OPENボタン
８１３…TORIMAKIボタン
８２…配信開始ボタン
８３…参加者ボタン
９１…チャット画面
９１１…OPENボタン
９１２…TORIMAKIボタン
９１３…DIRECTボタン
９２…“TORIMAKIになる”ボタン
９３…参加者一覧表示
９３１…第１ユーザ名
９３２…第２ユーザ名
９３３…チャットボタン
９３４…ボタン
９４１…EXITボタン
９４２…縮小ボタン
９５…小画面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
