知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-09
(45)【発行日】2024-05-17
(54)【発明の名称】映像表示システム及び映像表示方法
(51)【国際特許分類】
H04N 21/24 20110101AFI20240510BHJP
H04N 21/27 20110101ALI20240510BHJP
H04N 21/431 20110101ALI20240510BHJP
H04N 21/466 20110101ALI20240510BHJP
G06Q 50/10 20120101ALI20240510BHJP
【ＦＩ】
H04N21/24
H04N21/27
H04N21/431
H04N21/466
G06Q50/10
【請求項の数】
18
(21)【出願番号】P 2023514695
(86)(22)【出願日】2022-04-18
(86)【国際出願番号】 JP2022018089
(87)【国際公開番号】W WO2022220308
(87)【国際公開日】2022-10-20
【審査請求日】2023-09-27
(31)【優先権主張番号】63/176,004
(32)【優先日】2021-04-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】小塚 雅之
(72)【発明者】
【氏名】森 美裕
(72)【発明者】
【氏名】鈴木 淳也
(72)【発明者】
【氏名】柏木 吉一郎
(72)【発明者】
【氏名】山本 靖利
(72)【発明者】
【氏名】西尾 歳朗
【審査官】大西 宏
(56)【参考文献】
【文献】特開２００１－３５２５３４（ＪＰ，Ａ）
【文献】特開２００２－１６９９０１（ＪＰ，Ａ）
【文献】特開２００４－００７５６１（ＪＰ，Ａ）
【文献】特許第６７２７３８８（ＪＰ，Ｂ１）
【文献】米国特許出願公開第２０１０／０２８３８２９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０００３９６９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ －２１／８５８
Ｇ０６Ｑ ５０／００ －５０／２０
(57)【特許請求の範囲】
【請求項1】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムであって、前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末と、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部と、
前記ＶＲシステム、前記説明者端末、前記映像配信部、及び、前記音声会話部の少なくとも一つを制御する制御部とを備え、
前記制御部は、前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御し、
前記参加者は、複数であり、
前記映像表示システムは、前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
前記制御部は、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記説明者端末は、前記質問を受け付けるか否かを示す操作を受け付ける説明者用入力部を有し、
前記制御部は、
前記説明者用入力部が前記第１状態すなわち質問を受け付けない状態とする操作を受け付けた場合、前記第１状態を示す画像を前記複数のＶＲシステムの前記表示部に表示し、かつ、前記複数の参加者からの音声入力をミュートにするように、前記複数のＶＲシステムを制御し、
前記説明者用入力部が前記第２状態すなわち質問を受け付ける状態とする操作を受け付けた場合、前記第２状態を示す画像を前記複数のＶＲシステムの前記表示部に表示し、かつ、前記複数の参加者からの音声入力をミュートにするように、前記複数のＶＲシステムを制御する、
映像表示システム。
【請求項2】
前記複数のＶＲシステムのそれぞれは、対応する前記参加者から前記質問をしたいことの要求を示す操作を受け付ける参加者用入力部を有し、前記制御部は、前記複数のＶＲシステムのうちのいずれかの前記参加者用入力部が前記要求を示す操作を受け付けた場合、操作を受け付けた前記参加者用入力部に対応する前記ＶＲシステムについて、前記動作モードが前記第２状態にあるときには、前記第２状態に代えて前記第３状態を特定する情報を前記表示部に表示し、かつ、前記参加者からの音声入力のミュートを解除することで前記第３状態とするように、前記ＶＲシステムを制御する、
請求項１記載の映像表示システム。
【請求項3】
前記制御部は、前記参加者からの音声入力のミュートを解除するように、前記ＶＲシステムを制御した場合には、前記ＶＲシステムを除く他の前記ＶＲシステムについて、前記第１状態を示す画像を前記表示部に表示し、かつ、前記参加者からの音声入力をミュートすることで前記第１状態とするように、前記ＶＲシステムを制御する、請求項２記載の映像表示システム。
【請求項4】
前記説明者用入力部は、前記質問を受け付けることを示す操作と前記質問を受け付けないことを示す操作とを受け付ける一つのボタンを有する、請求項１記載の映像表示システム。
【請求項5】
前記参加者用入力部は、前記質問をしたいことの要求および前記質問をしている最中であることを示す操作と前記質問を終了したこと示す操作とを受け付ける一つのボタンを有する、請求項２記載の映像表示システム。
【請求項6】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムであって、
前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末と、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部と、
前記ＶＲシステム、前記説明者端末、前記映像配信部、及び、前記音声会話部の少なくとも一つを制御する制御部とを備え、
前記制御部は、前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御し、
前記参加者は、複数であり、
前記映像表示システムは、前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
前記制御部は、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記制御部は、前記複数の参加者のそれぞれについて前記説明者への質問をブロックするか否かを示す許否情報を含むブロック情報を有し、前記ブロック情報に基づいて、前記許否情報がブロックすることを示す前記参加者について、前記第１状態を示す画像を前記参加者に対応する前記ＶＲシステムの前記表示部に表示し、かつ、前記参加者からの音声入力をミュートにすることで前記第１状態とするように、前記ＶＲシステムを制御する、
映像表示システム。
【請求項7】
さらに、実世界を撮影することによって前記３６０度映像を生成する観測システムを備え、
前記観測システムは、前記説明者の音声を取得するマイクを有し、
前記音声会話部は、前記マイクで取得した前記説明者の音声を用いて、前記参加者と前記説明者との音声会話を支援する
請求項６記載の映像表示システム。
【請求項8】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムであって、
前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末と、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部と、
前記ＶＲシステム、前記説明者端末、前記映像配信部、及び、前記音声会話部の少なくとも一つを制御する制御部とを備え、
前記制御部は、前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御し、
前記参加者は、複数であり、
前記映像表示システムは、
前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
さらに、前記複数の参加者から選択された二人以上の参加者間でのグループ音声会話を支援するグループ音声会話部を備え、
前記制御部は、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記制御部は、前記複数の参加者のそれぞれについて所定のグループに属するか否かを示す属否情報を含むグループ情報を有し、前記グループ情報に基づいて、同一のグループに属する複数の前記参加者を対象として前記グループ音声会話を支援するように、前記グループ音声会話部を制御し、
前記制御部は、同一のグループに属する複数の前記参加者のいずれもが、対応する前記ＶＲシステムの前記動作モードが前記第１状態又は前記第２状態である場合に、前記グループ音声会話を支援するように、前記グループ音声会話部を制御し、
前記制御部は、同一のグループに属する複数の前記参加者のいずれかが、対応する前記ＶＲシステムの前記動作モードが前記第２状態から前記第３状態に遷移した場合に、前記グループ音声会話の支援を中断し、当該参加者を除く他の全ての前記参加者について、前記第１状態を示す画像を対応する前記ＶＲシステムの前記表示部に表示し、かつ、前記参加者からの音声入力をミュートするように、前記ＶＲシステムを制御する
映像表示システム。
【請求項9】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムであって、
前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末と、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部と、
前記ＶＲシステム、前記説明者端末、前記映像配信部、及び、前記音声会話部の少なくとも一つを制御する制御部とを備え、
前記制御部は、前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御し、
前記参加者は、複数であり、
前記映像表示システムは、
前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
さらに、前記複数の参加者から選択された二人以上の参加者間でのグループ音声会話を支援するグループ音声会話部を備え、
前記制御部は、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記制御部は、前記複数の参加者のそれぞれについて所定のグループに属するか否かを示す属否情報を含むグループ情報を有し、前記グループ情報に基づいて、同一のグループに属する複数の前記参加者を対象として前記グループ音声会話を支援するように、前記グループ音声会話部を制御し、
前記制御部は、前記グループ音声会話を支援しているときに、前記説明者から前記同一のグループに属する複数の前記参加者への音声、及び、前記グループ音声会話の音声の少なくとも一方の音量を調整するように、前記同一のグループに属する複数の前記参加者に対応する複数の前記ＶＲシステムを制御する、
映像表示システム。
【請求項10】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムであって、
前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末と、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部と、
前記ＶＲシステム、前記説明者端末、前記映像配信部、及び、前記音声会話部の少なくとも一つを制御する制御部とを備え、
前記制御部は、前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御し、
前記参加者は、複数であり、
前記映像表示システムは、前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
前記制御部は、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記説明者端末は、
前記説明を第１言語で行う第１説明者との音声による入出力を行う第１説明者端末と、
前記説明を第２言語で行う第２説明者との音声による入出力を行う第２説明者端末とを含み、
前記音声会話部は、
前記複数のＶＲシステム及び前記第１説明者端末を介して前記参加者と前記第１説明者との音声会話を支援する第１音声会話部と、
前記複数のＶＲシステム及び前記第２説明者端末を介して前記参加者と前記第２説明者との音声会話を支援する第２音声会話部とを含み、
前記制御部は、前記複数の参加者のそれぞれについて希望する前記説明の言語を対応づけた言語情報を有し、前記言語情報に基づいて、前記第１言語に対応づけられた前記参加者については、前記第１音声会話部によって前記参加者と前記第１説明者との音声会話を支援し、前記第２言語に対応づけられた前記参加者については、前記第２音声会話部によって前記参加者と前記第２説明者との音声会話を支援するように、前記第１音声会話部及び前記第２音声会話部を制御する、
映像表示システム。
【請求項11】
前記第２説明者は、前記第１言語と前記第２言語とを対象とする同時通訳者であり、前記第１音声会話部は、さらに、前記第１説明者からの音声を前記第２説明者に出力する、
請求項１０記載の映像表示システム。
【請求項12】
さらに、前記第２説明者からの音声を前記第２言語に対応づけられた前記参加者に出力することと、前記第１説明者及び前記第１言語に対応づけられた前記参加者に出力することとを切り替える音声切替部を備える、請求項１１記載の映像表示システム。
【請求項13】
さらに、前記第１言語と第２言語との間で機械翻訳をする機械翻訳部を備え、前記説明者は、前記説明を第１言語で行い、
前記制御部は、前記複数の参加者のそれぞれについて希望する前記説明の言語を対応づけた言語情報を有し、前記言語情報に基づいて、前記第１言語に対応づけられた前記参加者については、前記機械翻訳部を通さずに前記参加者と前記説明者とが音声会話をし、前記第２言語に対応づけられた前記参加者については、前記機械翻訳部を通して前記参加者と前記説明者とが音声会話をするように、前記機械翻訳部を制御する、
請求項１０記載の映像表示システム。
【請求項14】
さらに、複数の異なる言語間での翻訳をする複数の前記機械翻訳部を備え、前記制御部は、前記複数の機械翻訳部が扱う２つの言語を示す機械翻訳管理情報を有し、前記言語情報及び前記機械翻訳管理情報に基づいて、前記参加者ごとに、前記参加者に対応づけられた言語と前記第１言語との間で翻訳する機械翻訳部を前記複数の機械翻訳部から選択し、選択した前記機械翻訳部を通して前記参加者と前記説明者とが音声会話をするように、前記複数の機械翻訳部を制御する、
請求項１３記載の映像表示システム。
【請求項15】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムによる映像表示方法であって、前記映像表示システムは、
前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末とを備え、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部とを備え、
前記映像表示方法は、
前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御する制御ステップを含み、
前記参加者は、複数であり、
前記映像表示システムは、前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
前記制御ステップでは、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記制御ステップでは、前記複数の参加者のそれぞれについて前記説明者への質問をブロックするか否かを示す許否情報を含むブロック情報に基づいて、前記許否情報がブロックすることを示す前記参加者について、前記第１状態を示す画像を前記参加者に対応する前記ＶＲシステムの前記表示部に表示し、かつ、前記参加者からの音声入力をミュートにすることで前記第１状態とするように、前記ＶＲシステムを制御する、
映像表示方法。
【請求項16】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムによる映像表示方法であって、前記映像表示システムは、
前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末とを備え、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部とを備え、
前記映像表示方法は、
前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御する制御ステップを含み、
前記参加者は、複数であり、
前記映像表示システムは、前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
前記制御ステップでは、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記映像表示システムは、さらに、前記複数の参加者から選択された二人以上の参加者間でのグループ音声会話を支援するグループ音声会話部を備え、
前記制御ステップでは、前記複数の参加者のそれぞれについて所定のグループに属するか否かを示す属否情報を含むグループ情報を有し、前記グループ情報に基づいて、同一のグループに属する複数の前記参加者を対象として前記グループ音声会話を支援するように、前記グループ音声会話部を制御する、
映像表示方法。
【請求項17】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムによる映像表示方法であって、前記映像表示システムは、
前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末とを備え、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部とを備え、
前記映像表示方法は、
前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御する制御ステップを含み、
前記参加者は、複数であり、
前記映像表示システムは、前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
前記制御ステップでは、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記説明者端末は、
前記説明を第１言語で行う第１説明者との音声による入出力を行う第１説明者端末と、
前記説明を第２言語で行う第２説明者との音声による入出力を行う第２説明者端末とを含み、
前記音声会話部は、
前記複数のＶＲシステム及び前記第１説明者端末を介して前記参加者と前記第１説明者との音声会話を支援する第１音声会話部と、
前記複数のＶＲシステム及び前記第２説明者端末を介して前記参加者と前記第２説明者との音声会話を支援する第２音声会話部とを含み、
前記制御ステップでは、前記複数の参加者のそれぞれについて希望する前記説明の言語を対応づけた言語情報に基づいて、前記第１言語に対応づけられた前記参加者については、前記第１音声会話部によって前記参加者と前記第１説明者との音声会話を支援し、前記第２言語に対応づけられた前記参加者については、前記第２音声会話部によって前記参加者と前記第２説明者との音声会話を支援するように、前記第１音声会話部及び前記第２音声会話部を制御する、
映像表示方法。
【請求項18】
ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムによる映像表示方法であって、前記映像表示システムは、
前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、
前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末とを備え、
前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、
前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部とを備え、
前記映像表示方法は、
前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御する制御ステップを含み、
前記参加者は、複数であり、
前記映像表示システムは、前記複数の参加者のそれぞれに対応する複数の前記ＶＲシステムを備え、
前記制御ステップでは、前記複数のＶＲシステムのそれぞれに対応する前記動作モードを管理し、前記動作モードを特定する情報を、対応する前記ＶＲシステムの前記表示部に表示するように、前記複数のＶＲシステムを制御し、
前記説明者は、前記説明を第１言語で行い、
前記映像表示システムは、さらに、前記第１言語と第２言語との間で翻訳をする機械翻訳部を備え、
前記制御ステップでは、前記複数の参加者のそれぞれについて希望する前記説明の言語を対応づけた言語情報に基づいて、前記第１言語に対応づけられた前記参加者については、前記機械翻訳部を通さずに前記参加者と前記説明者とが音声会話をし、前記第２言語に対応づけられた前記参加者については、前記機械翻訳部を通して前記参加者と前記説明者とが音声会話をするように、前記機械翻訳部を制御する、
映像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像表示システム及び映像表示方法に関し、特に、ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムに関する。
【背景技術】
【0002】
従来、ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムとして、様々な技術が提案されている（例えば、特許文献１及び２参照）。
【0003】
特許文献１では、遠隔のユーザに、希望の観光地の現在の実際の状況を、リアルタイムの映像で提供することにより、遠隔のユーザがあたかもその観光地に実際に行っているような感動や臨場感を与えることができる在宅旅行システムを提案している。
【0004】
また、特許文献２では、ＶＲを用いた観光の参加者の視点制御に関する情報処理装置を提案している。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１２－１０４１８号公報
【文献】国際公開２０１９／１５０６７５号
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１及び２の技術では、参加者がＩＣＴ（情報通信技術）能力に長けていることが前提とされ、誰でも簡単に参加できるとは言えないという問題がある。
【0007】
そこで、本開示は、誰でも簡単に参加できる映像表示システム及び映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本開示の一形態に係る映像表示システムは、ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムであって、前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末と、前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部と、前記ＶＲシステム、前記説明者端末、前記映像配信部、及び、前記音声会話部の少なくとも一つを制御する制御部とを備え、前記制御部は、前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御する。
【0009】
上記目的を達成するために、本開示の一形態に係る映像表示方法は、ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムによる映像表示方法であって、前記映像表示システムは、前記体験に参加する参加者に前記ＶＲのための映像であるＶＲ空間を表示する表示部、及び、前記参加者との音声による入出力を行う音声処理部を有するＶＲシステムと、前記ＶＲ空間おいて前記参加者に向けて前記体験のための説明をする説明者との音声による入出力を行う説明者端末とを備え、前記ＶＲ空間を生成するための３６０度映像を前記ＶＲシステムに配信する映像配信部と、前記ＶＲシステム及び前記説明者端末を介して前記参加者と前記説明者との音声会話を支援する音声会話部とを備え、前記映像表示方法は、前記参加者から前記説明者への質問が不可能な第１状態、前記質問が可能な第２状態、及び、前記質問が行われている第３状態を選択的にとる動作モードを管理し、前記動作モードを特定する情報を前記表示部に表示するように、前記ＶＲシステムを制御する制御ステップを含む。
【発明の効果】
【0010】
本開示により、誰でも簡単に参加できる映像表示システム及び映像表示方法が提供される。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
（本発明者らが得た知見）
実際にその場所に行かなくても観光旅行、展示会見学、視察、工場見学、美術館・博物館・動物園・水族館見学等のバーチャル体験を実現するＶＲ観光サービスが盛んになってきた。
実際にその場所に行かなくても観光旅行、展示会見学、視察、工場見学、美術館・博物館・動物園・水族館見学等のバーチャル体験を実現するＶＲ観光サービスが盛んになってきた。
【0013】
ＶＲ観光サービスでは、複数の見学者がＶＲシステムを使って目的地のＶＲ空間内に参加し、実際の観光ツアーのように、人間（またはアバター）のツアーガイド（引率者）により、目的地の説明を聞いたり、ガイドに質問をしたりすることが観光体験という観点で重要である。単にガイドの説明を一方的に聞くだけであれば、Ｙｏｕｔｕｂｅ（登録商標）等の観光ＶＲ番組を視聴することと変わらない。このレベルのサービスでは、魅力が乏しいため有料化は困難となる。専門性を有したガイドや専門家から説明を聞き、質問に答えてもらえるというインタラクティブな旅行体験を提供することが、ＶＲ観光サービスにとって極めて重要である。
【0014】
ＶＲ観光サービスの参加者は高齢者から子供、外国人等、多彩な経験、ＩＣＴ能力、性格、言語等を有する人が参加するため下記のような要件を満たしたサービスを提供することが重要である。
【0015】
このため、（１）誰でも簡単に使えるユーザインターフェース、（２）マナーが悪い参加者の対応、（３）友達同士での私的会話、（４）複数言語対応、複数ガイド対応等のサポートが求められる。
【0016】
本開示に係るＶＲ観光システムは、上記４つの課題のそれぞれを解決するために、３６０度映像配信システムとデジタル音声会議部とを利用した上で、３つの状態をＶＲ観光参加者とガイドとが、それぞれ、ボタン１つの簡単なＵＩ（ユーザインターフェース）で操作できる手段を実現することで、誰でも簡単に参加できるＶＲ観光サービスを提供可能にするものである。つまり、上記（１）の課題を解決するＶＲ観光システムをベースとして、そのようなＶＲ観光システムの上に、各種付加機能を追加することで、上記（２）～（４）の課題を解決した。これにより、ＶＲ観光において、高齢者から子供まで、ＩＣＴの知識が無くても参加できる簡単なＵＩのサービスを実現できるため、ＶＲ観光を実際の観光のように楽しむことが可能になる。
【0017】
なお、本開示に係るＶＲ観光システムは、必ずしも、上記４つの課題のすべてを解決する必要はなく、誰でも簡単に参加できる映像表示システムとして、上記課題（１）～（４）の少なくとも一つを解決するものであればよい。
【0018】
（参考例に係るＶＲ観光システム）
図１Ａは、ガイドとの会話を可能にする参考例に係るＶＲ観光システム６５０の概念図である。参考例に係るＶＲ観光システム６５０では、現地において３６０度カメラで撮影した映像と音声（現場の環境音とガイド２０の音声等）を各ＶＲユーザ１０～１３へ送ることで、現地について、臨場感を持った疑似観光体験を可能にする。なお、「ＶＲユーザ」を、「ＶＲ観光ユーザ」、「参加者」、あるいは、単に「ユーザ」ともいう。
図１Ａは、ガイドとの会話を可能にする参考例に係るＶＲ観光システム６５０の概念図である。参考例に係るＶＲ観光システム６５０では、現地において３６０度カメラで撮影した映像と音声（現場の環境音とガイド２０の音声等）を各ＶＲユーザ１０～１３へ送ることで、現地について、臨場感を持った疑似観光体験を可能にする。なお、「ＶＲユーザ」を、「ＶＲ観光ユーザ」、「参加者」、あるいは、単に「ユーザ」ともいう。
【0019】
更にＶＲ観光体験を向上させるためには、ＶＲユーザ１０～１３が、ガイド２０の説明を一方的に聞くのではなく、ガイド２０との双方向の会話をＶＲシステム６００～６３０を装着したまま行なえることが重要である。そこで、参考例に係るＶＲ観光システム６５０では、図１Ａに示されるように、ＶＲクラウド８００において、３６０度映像配信部８２０に加えて、ＶＲ音声会議部８１０を適切に組み合わせることで、ＶＲ観光中にも、他のＶＲユーザ１０～１３と会話したりガイド２０と会話したりする機能を実現している。
【0020】
図１Ｂは、図１Ａに示されるＶＲ観光システム６５０の詳細な構成を示すブロック図である。ＶＲシステム６００等は、ＶＲ観光中の音声会話を可能にするＶＲ音声会議部６０５を備える。ＶＲ音声会議部６０５は、マイク１０８から出力される音声信号をデジタルの音声データに変換するＡ／Ｄ変換器１０８ａと、その音声データを圧縮するＡｕｄｉｏ圧縮部１０８ｂと、圧縮された音声データをＶＲクラウド８００に送信する／しないを制御するＭｕｔｅ部１０８ｃとで構成される。
【0021】
ＶＲクラウド８００が備えるＶＲ音声会議部８１０は、ＶＲシステム６００等から送信されてくる音声データを復号するＡｕｄｉｏ復号部３１４ａ～３１４ｄと、ガイド２０が使用するスマートフォン７１０から送信されてくる圧縮された音声データを復号するＡｕｄｉｏ復号部３１６と、Ａｕｄｉｏ復号部３１４ａ～３１４ｄからの音声データとＡｕｄｉｏ復号部３１６からの音声データとを混合して合成音声データを生成するＡｕｄｉｏ混合部３１３と、混合された合成音声データを圧縮してガイド２０のスマートフォン７１０に送信するＡｕｄｉｏ圧縮部３１７を備える。
【0022】
ＶＲクラウド８００が備える３６０度映像配信部８２０は、観測システム７００から送信されてくる３６０度映像を受信して映像データと音声データとに分離するＡＶ分離部３２１と、分離された音声データを復号するＡｕｄｉｏ復号部３２２と、復号された音声データとＶＲ音声会議部８１０から送られてくる合成音声データとを混合するＡｕｄｉｏ混合部３２３と、混合された音声データを圧縮するＡｕｄｉｏ圧縮部３２４と、圧縮された音声データとＡＶ分離部３２１で分離された映像データとを合成して３６０度映像としてＶＲシステム６００等に配信するＡＶ合成部３２５とを備える。
【0023】
ガイド用音声会議端末であるスマートフォン７１０は、ＶＲ音声会議部７５０として機能するハードウェア及びアプリ（ＡＰＰ）を有しており、具体的には、ヘッドセット７２０のマイクから出力される音声信号をデジタルの音声データに変換するＡ／Ｄ変換器２１３ａと、その音声データを圧縮するＡｕｄｉｏ圧縮部２１３ｂと、圧縮された音声データをＶＲクラウド８００に送信する／しないを制御するＭｕｔｅ部２１３ｃと、ＶＲクラウド８００から送信されてくる合成音声データを受信して復号するＡｕｄｉｏ復号部２１４ａと、復号された合成音声データをアナログの音声信号に変換してヘッドセット７２０のスピーカーに出力するＤ／Ａ変換器２１４ｂとで構成される。
【0024】
観測システム７００は、３６０度撮影用にカメラ２０３を制御したり、カメラ２０３及びリモコン２０４からの信号を取得したりする撮影部２０２と、撮影部２０２で取得された信号を３６０度映像としてＶＲクラウド８００に送信する通信部２０１とを備える。
【0025】
このように、参考例に係るＶＲ観光システム６５０では、３６０度映像配信部８２０を備える映像配信システムに、一般的なネット会議システムを組み合わせ、ＶＲユーザ１０～１３間とガイド２０との会話を実現するために、以下の機能追加（１）～（３）を行っている。
【0026】
（１）ＶＲシステム６００等にＶＲクラウド８００のＶＲ音声会議部８１０と接続するためのＶＲ音声会議部６０５を追加する。
【0027】
（２）ガイド２０にはスマートフォン等のＩＣＴ機器を経由し、マイク・イアホン等を装着したヘッドセット７２０からＶＲクラウド８００のＶＲ音声会議部８１０と接続するためのガイド用音声会議端末であるスマートフォン７１０を利用させる。
【0028】
（３）ＶＲクラウド８００のＶＲ音声会議部８１０においてＶＲユーザ１０等とガイド２０の声を混合させた合成音声データを、３６０度映像配信部８２０において、観測システムから送られてくる３６０度映像データから音声データのみを取り出し、混合したうえで、各ＶＲユーザ１０等のＶＲシステム６００等に送る。
【0029】
なおＭｕｔｅ部１０８ｃの位置は、マイク１０８でとらえた音声がＡｕｄｉｏ混合部３１３で混合されるまでにミュートできるものであれば図示されているものに限定されない。
【0030】
例えば、図１ＢのＶＲ音声会議部６０５において、Ｍｕｔｅ部１０８ｃは、Ａ／Ｄ変換部１０８ａとＡｕｄｉｏ圧縮部１０８ｂとの間あるいは、マイク１０８とＡ／Ｄ変換部１０８ａとの間にあってもよい。
【0031】
さらに、ＶＲクラウド８００にあるＶＲ音声会議部８１０のＡｕｄｉｏ復号部３１４ａ～３１４ｄの前（Ａｕｄｉｏ復号部３１４ａ～３１４ｄよりも入力側）、あるいはＡｕｄｉｏ復号部３１４ａ～３１４ｄとＡｕｄｉｏ混合部３１３との間にある構成としてもよい。
【0032】
（参考例に係るＶＲ観光システムにおける問題点）
Ｚｏｏｍ（登録商標）やＴｅａｍｓ（登録商標）等のネット会議システムの場合は、ビジネスでの利用であり、ユーザ層も一定のＩＣＴスキルを期待できるため、自分でミュートの設定・解除等の操作は可能である。しかしながら、ＶＲ観光ユーザは、高齢者から子供の広い年齢層、職業、教育レベル等のユーザである可能性があり、参加者全員がＩＣＴスキルを持つことを期待できない。このため、下記のような課題が発生する可能性がある。
Ｚｏｏｍ（登録商標）やＴｅａｍｓ（登録商標）等のネット会議システムの場合は、ビジネスでの利用であり、ユーザ層も一定のＩＣＴスキルを期待できるため、自分でミュートの設定・解除等の操作は可能である。しかしながら、ＶＲ観光ユーザは、高齢者から子供の広い年齢層、職業、教育レベル等のユーザである可能性があり、参加者全員がＩＣＴスキルを持つことを期待できない。このため、下記のような課題が発生する可能性がある。
【0033】
特に各ＶＲユーザは、自分が話さない時は、自分で自分のＶＲシステムのミュート機能を使って、ミュートしないと、雑音が混入したり、最悪、ハウリングが発生したりする等の不具合が生じる。しかし、Ｚｏｏｍ（登録商標）やＴｅａｍｓ（登録商標）のようなネット会議システムに不慣れなＶＲユーザが、ＶＲシステムで、ミュート操作を行うことや、この操作を覚えさせることは困難と考えられる。
【0034】
（解決すべき課題）
上述したように、参考例に係るＶＲ観光システムでは、下記の４つの解決すべき課題（１）～（４）がある。
上述したように、参考例に係るＶＲ観光システムでは、下記の４つの解決すべき課題（１）～（４）がある。
【0035】
（１）多様な参加者でもＶＲ観光サービスを利用可能にするシンプルなユーザインターフェースを持つ必要がある。
【0036】
ＶＲ観光ユーザは、業務・教育等で使うネット会議システムのユーザと異なり、色々な年齢層、ＩＣＴ技術の理解レベルの異なる人が参加する。また、ＶＲゴーグルを装着してＶＲ空間に入ることで視界が遮られる。このためコントローラ等を使った操作は、簡単で、単純な下記のような条件を満たすユーザインターフェースが必要となる。ユーザがミュートの概念や操作を覚える必要がないことも必要となる。操作を覚えられない人、操作方法を忘れた人、ルールを守らない人が参加してもＶＲ体験が悪化しないことも必要となる。さらに、ＶＲ体験の前にＶＲシステムの操作を説明が簡単に終えることができること等が重要となる。
【0037】
また、ガイド２０は、説明が主体業務であり、ネット会議システムの主催者のように、システム操作を行うことができない。説明業務に集中できるような、非常に簡単なユーザインターフェースがガイド２０に必要となる。
【0038】
（２）暴言や継続的な質問等でガイド２０の説明を妨害するマナーの悪いＶＲユーザを排除する必要がある。ネット会議システムでは、業務利用のため、マナーの悪い参加者を想定する必要がない。また、問題が発生した場合でも、システム管理者が強制ミュート等により発言をブロックすることが可能である。ＶＲ観光サービスの場合は、ガイド２０が問題発生時に簡単な操作で問題解決（会話をブロック）できる機能が必要である。
【0039】
（３）参加者について、一緒に旅行する友達間との私的な会話をサポートできることが必要となる。つまり、ガイド２０の説明を阻害しないで、且つ他のグループの参加者に聞かれない、グループ内での自由な会話をサポートすることが必要となる。
【0040】
（４）外国旅行や外国人に対応するため、ＶＲ観光の参加者への複数言語対応と複数ガイド対応が必要となる。つまり、同時に複数言語のユーザをサポートするため、複数のガイドや同時通訳者、機械翻訳等のサポートも必要になる。
【0041】
以下、上記４つの課題のそれぞれについて、実施の形態及び実施例を用いて、解決策を説明する。なお、以下で説明する実施の形態及び実施例は、いずれも本開示の一具体例を示す。以下の実施の形態及び実施例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【0042】
（実施の形態）
図２Ａは、実施の形態に係る映像表示システム１の構成を示すブロック図である。映像表示システム１は、ＶＲ（仮想現実）を体験するサービスを提供するシステムであって、参加者１０～１３が使用するＶＲシステム３０ａ～３０ｂ、説明者端末４０、観測システム５０、及び、クラウド６０を備える。ＶＲシステム３０ａ～３０ｂ、説明者端末４０、及び、観測システム５０は、通信ネットワークを介して、クラウド６０と接続される。
図２Ａは、実施の形態に係る映像表示システム１の構成を示すブロック図である。映像表示システム１は、ＶＲ（仮想現実）を体験するサービスを提供するシステムであって、参加者１０～１３が使用するＶＲシステム３０ａ～３０ｂ、説明者端末４０、観測システム５０、及び、クラウド６０を備える。ＶＲシステム３０ａ～３０ｂ、説明者端末４０、及び、観測システム５０は、通信ネットワークを介して、クラウド６０と接続される。
【0043】
ＶＲシステム３０ａ～３０ｂのそれぞれは、体験に参加する参加者１０～１３にＶＲのための映像であるＶＲ空間を表示する表示部３１、及び、参加者１０～１３との音声による入出力を行う音声処理部３２を有する。
【0044】
説明者端末４０は、ＶＲ空間おいて参加者１０～１３に向けて体験のための説明をする説明者２０との音声による入出力を行う端末であり、質問を受け付けるか否かを示す説明者２０からの操作を受け付ける説明者用入力部４１を有する。
【0045】
観測システム５０は、実世界を撮影することによって３６０度映像を生成し、クラウド６０の映像配信部６３に送信するシステムであり、カメラ５１及び説明者２０の音声を取得するマイク５２を有する。
【0046】
クラウド６０は、通信ネットワーク上のコンピュータであり、ＶＲ空間を生成するための３６０度映像をＶＲシステム３０ａ～３０ｂに配信する映像配信部６３と、ＶＲシステム３０ａ～３０ｂ及び説明者端末４０を介して参加者１０～１３と説明者２０との音声会話を支援する音声会話部６１と、ＶＲシステム３０ａ～３０ｂ、説明者端末４０、映像配信部６３、及び、音声会話部６１の少なくとも一つを制御する制御部６２とを備える。
【0047】
ここで、制御部６２は、参加者１０～１３から説明者２０への質問が不可能な第１状態、質問が可能な第２状態、及び、質問が行われている第３状態を選択的にとる動作モードを管理し、動作モードを特定する情報を表示部３１に表示するように、ＶＲシステム３０ａ～３０ｂを制御する。より詳しくは、制御部６２は、複数のＶＲシステム３０ａ～３０ｂのそれぞれに対応する動作モードを管理し、動作モードを特定する情報を、対応するＶＲシステム３０ａ～３０ｂの表示部３１に表示するように、複数のＶＲシステム３０ａ～３０ｂを制御する。
【0048】
これにより、参加者１０～１３は、表示部３１に表示される動作モードを特定する情報により、自分の状態について、質問が不可能な第１状態、質問が可能な第２状態、及び、質問が行われている第３状態のいずれであるかを即座に知ることができ、説明者２０への質問のための操作が簡素化され、上述した課題（１）（多様な参加者でもＶＲ観光サービスを利用可能にするシンプルなユーザインターフェースを持つ必要がある）が解決される。
【0049】
なお、映像表示システム１は、必ずしも観測システム５０を必要としない。クラウド６０の映像配信部６３は、実写又はＣＧ等によって予め作成されて保持されたストレージから３６０度映像を読み出してＶＲシステム３０ａ～３０ｂに配信してもよい。
【0050】
また、制御部６２は、クラウド６０を構成する一台のコンピュータに設けられる必要はなく、複数台のコンピュータ、ＶＲシステム３０ａ～３０ｂ、説明者端末４０等の他の装置に、制御部６２の全部又は一部が設けられてもよい。つまり、制御部６２は、複数の機能モジュールに分割され、複数の装置に分散して設けられてもよい。
【0051】
ここで、制御部６２は、説明者用入力部４１が第１状態すなわち質問を受け付けない状態とする操作を受け付けた場合、第１状態を示す画像を複数のＶＲシステム３０ａ～３０ｂの表示部３１に表示し、かつ、複数の参加者１０～１３からの第１の状態すなわち音声入力をミュートにするように、複数のＶＲシステム３０ａ～３０ｂを制御し、一方、説明者用入力部４１が第２状態すなわち質問を受け付ける状態とする操作を受け付けた場合、第２状態を示す画像を複数のＶＲシステム３０ａ～３０ｂの表示部３１に表示し第２の状態すなわち質問が可能な状態とし、かつ、複数の参加者１０～１３からの音声入力を第１の状態すなわち音声入力をミュートにするように、複数のＶＲシステム３０ａ～３０ｂを制御してもよい。これにより、説明者２０は、説明者用入力部４１を用いた簡単な操作で、複数の参加者１０～１３を対象に、質問を許可するか否かを制御できる。
【0052】
また、制御部６２は、複数のＶＲシステム３０ａ～３０ｂのうちのいずれかの参加者用入力部３３が質問をしたいとの要求を示す操作を受け付けた場合、操作を受け付けた参加者用入力部３３に対応するＶＲシステム３０ａ等について、動作モードが第２状態にあるときには、第２状態に代えて第３状態を特定する情報を表示部３１に表示し、かつ、その参加者からの音声入力のミュートを解除することで第３の状態とするように、ＶＲシステム３０ａ等を制御してもよい。これにより、参加者１０～１３は、参加者用入力部３３を用いた簡単な操作で、説明者２０に質問をすることができる。
【0053】
また、制御部６２は、参加者１０等からの音声入力のミュートを解除するすなわち第３の状態とするように、ＶＲシステム３０ａ等を制御した場合には、ＶＲシステム３０ａ等を除く他のＶＲシステム３０ｂ等について、第１状態を示す画像を表示部３１に表示し、かつ、対応する参加者１３等からの音声入力をミュートすることで第１の状態とするように、ＶＲシステム３０ａ等を制御してもよい。これにより、一人の参加者が説明者２０に質問をした場合に、他の参加者から質問が出されることが防止され、他の参加者は、その一人の参加者と説明者２０との会話を聞くことができる。
【0054】
ここで、説明者用入力部４１は、質問を受け付けることを示す操作と質問を受け付けないことを示す操作とを受け付ける一つのボタンであってもよい。これにより、一つのボタンを用いた簡易な操作により、説明者２０は、質問を受け付ける状態と、質問を受け付けない状態とを切り替えることができる。
【0055】
同様に、参加者用入力部３３は、質問をしたいことの要求および質問をしている最中であることを示す操作と質問を終了したこと示す操作とを受け付ける一つのボタンであってもよい。これにより、一つのボタンを用いた簡易な操作により、参加者１０～１３は、説明者２０に対して、質問を開始することができる。
【0056】
また、音声会話部６１は、説明者端末４０の説明者用入力部４１に代えて、あるいは、加えて、観測システム５０のマイク５２で取得した説明者２０の音声を用いて、参加者１０～１３と説明者２０との音声会話を支援してもよい。これにより、説明者２０は、観測システム５０のマイク５２を用いて、観光案内等の説明と、参加者１０～１３からの質問に対する回答等の会話とを行うことができる。
【0057】
図２Ｂは、図２Ａに示された映像表示システム１の変形例１に係る制御部６２ａの構成を示すブロック図である。本変形例では、制御部６２ａは、複数の参加者１０～１３のそれぞれについて説明者２０への質問をブロックするか否かを示す許否情報を含むブロック情報７０を有し、ブロック情報７０に基づいて、許否情報がブロックすることを示す参加者１０等について、第１状態を示す画像を参加者１０等に対応するＶＲシステム３０ａ等の表示部３１に表示し、かつ、参加者１０等からの音声入力をミュートにすることで第１の状態とするように、ＶＲシステム３０ａ等を制御する。これにより、上述した課題（２）（暴言や継続的な質問等でガイド２０の説明を妨害するマナーの悪いユーザを排除する必要がある）が解決される。
【0058】
図２Ｃは、図２Ａに示された映像表示システム１の変形例２に係るクラウド６０ａの構成を示すブロック図である。クラウド６０ａは、音声会話部６１、制御部６２ｂ、映像配信部６３、及び、グループ音声会話部６４を備える。グループ音声会話部６４は、複数の参加者１０～１３から選択された二人以上の参加者１０等間でのグループ音声会話を支援する。制御部６２ｂは、複数の参加者１０～１３のそれぞれについて所定のグループに属するか否かを示す属否情報を含むグループ情報７１を有し、グループ情報７１に基づいて、同一のグループに属する複数の参加者１０等だけを対象としてグループ音声会話を支援するように、グループ音声会話部６４を制御する。これにより、上述した課題（３）（一緒に旅行する友達間との私的な会話をサポートできることが必要となる）が解決される。
【0059】
より詳しくは、制御部６２ｂは、同一のグループに属する複数の参加者１０等のいずれもが、対応するＶＲシステム３０ａ等の動作モードが第１状態又は第２状態である場合に、グループ音声会話を支援するように、グループ音声会話部６４を制御する。
【0060】
また、制御部６２ｂは、同一のグループに属する複数の参加者１０等のいずれかが、対応するＶＲシステム３０ａ等の動作モードが第２状態から第３状態に遷移した場合に、グループ音声会話の支援を中断し、当該参加者１０等を除く他の全ての参加者１３等について、第１状態を示す画像を対応するＶＲシステム３０ｂ等の表示部３１に表示し、かつ、参加者１３等からの音声入力をミュートするように、ＶＲシステム３０ａ～３０ｂを制御する。これにより、グループ会話が行われているときに、一人の参加者が説明者２０への質問を開始した場合に、他の参加者は、その質問を聞くことができる。
【0061】
また、制御部６２ｂは、グループ音声会話を支援しているときに、説明者２０から同一のグループに属する複数の参加者１０等への音声、及び、グループ音声会話の音声の少なくとも一方の音量を調整するように、同一のグループに属する複数の参加者１０等に対応する複数のＶＲシステム３０ａ等を制御してもよい。これにより、グループ音声会話の参加者は、グループ音声会話と、説明者２０による説明との両方を混在させた形態で、聞くことができる。
【0062】
図２Ｄは、図２Ａに示された映像表示システム１の変形例３に係る映像表示システム１ａの構成を示すブロック図である。映像表示システム１ａは、図２Ａに示される映像表示システム１において、説明者端末４０に代えて第１説明者端末４０ａ及び第２説明者端末４０ｂを備え、クラウド６０に代えてクラウド６０ｂを備える。
【0063】
第１説明者端末４０ａは、説明を第１言語で行う第１説明者２０ａとの音声による入出力を行う端末である。第２説明者端末４０ｂは、説明を第２言語で行う第２説明者２０ｂとの音声による入出力を行う端末である。
【0064】
クラウド６０ｂは、音声会話部６１、制御部６２ｃ及び映像配信部６３を備える。音声会話部６１は、複数のＶＲシステム３０ａ～３０ｂ及び第１説明者端末４０ａを介して参加者１０～１３と第１説明者２０ａとの音声会話を支援する第１音声会話部６１ａと、複数のＶＲシステム３０ａ～３０ｂ及び第２説明者端末４０ｂを介して参加者１０～１３と第２説明者２０ｂとの音声会話を支援する第２音声会話部６１ｂとを含む。
【0065】
制御部６２ｃは、複数の参加者１０～１３のそれぞれについて希望する説明の言語を対応づけた言語情報７２を有し、言語情報７２に基づいて、第１言語に対応づけられた参加者１０等については、第１音声会話部６１ａによって参加者１０等と第１説明者２０ａとの音声会話を支援し、第２言語に対応づけられた参加者１３等については、第２音声会話部６１ｂによって参加者１３等と第２説明者２０ｂとの音声会話を支援するように、第１音声会話部６１ａ及び第２音声会話部６１ｂを制御する。これにより、上述した課題（４）（外国旅行や外国人に対応するため、ＶＲ観光参加者への複数言語対応と複数ガイド対応が必要となる）が解決される。
【0066】
なお、第２説明者２０ｂは、第１言語と第２言語とを対象とする同時通訳者であってもよい。そのときには、第１音声会話部６１ａは、さらに、第１説明者２０ａからの音声を第２説明者２０ｂに出力する。これにより、同時通訳者を含む場合にも対応する映像表示システムが実現される。
【0067】
図２Ｅは、図２Ｄに示された映像表示システム１ａの変形例１に係るクラウド６０ｃの構成を示すブロック図である。クラウド６０ｃは、音声会話部６１、制御部６２ｃ、映像配信部６３、及び、音声切替部６５を備える。音声切替部６５は、同時通訳者からの音声を第２言語に対応づけられた参加者１０等に出力することと、第１説明者２０ａ及び第１言語に対応づけられた参加者１３等に出力することを切り替える。これにより、第２説明者２０ｂが同時通訳者である場合に、同時通訳者は、参加者に話すことと、第１言語を話す第１説明者２０ａに話すこととを切り替えることができ、利便性が向上される。
【0068】
図２Ｆは、図２Ｄに示された映像表示システム１ａの変形例２に係るクラウド６０ｄの構成を示すブロック図である。クラウド６０ｄは、音声会話部６１、制御部６２ｄ、映像配信部６３、及び、機械翻訳部６６ａ～６６ｂを備える。機械翻訳部６６ａ～６６ｂは、異なる２つの言語（第１言語と第２言語等）の間で機械翻訳をする。
【0069】
制御部６２ｄは、複数の参加者１０～１３のそれぞれについて希望する説明の言語を対応づけた言語情報７２を有し、言語情報７２に基づいて、第１言語に対応づけられた参加者１０等については、機械翻訳部６６ａ～６６ｂを通さずに参加者１０等と説明者２０とが音声会話をし、第２言語に対応づけられた参加者１３等については、機械翻訳部６６ａ等を通して参加者１３等と説明者２０とが音声会話をするように、機械翻訳部６６ａ等を制御する。これにより、機械翻訳によるに複数言語対応が可能になる。
【0070】
また、制御部６２は、複数の機械翻訳部６６ａ～６６ｂが扱う２つの言語を示す機械翻訳管理情報７３を有し、言語情報７２及び機械翻訳管理情報７３に基づいて、参加者１０～１３ごとに、参加者１０～１３に対応づけられた言語とガイドが使用する第１言語との間で翻訳する機械翻訳部を複数の機械翻訳部６６ａ～６６ｂから選択し、選択した機械翻訳部６６ａ～６６ｂを通して参加者１０～１３と説明者２０とが音声会話をするように、複数の機械翻訳部６６ａ～６６ｂを制御してもよい。これにより、異なる複数の種類の機械翻訳に対応した、極めて多数の言語への対応が可能になる。
【0071】
なお、後述する実施例の動作フロー例に示されるように、本開示に係る映像表示方法は、ＶＲ（仮想現実）を体験するサービスを提供する映像表示システム１による映像表示方法であって、参加者１０～１３から説明者２０への質問が不可能な第１状態、質問が可能な第２状態、及び、質問が行われている第３状態を選択的にとる動作モードを管理し、動作モードを特定する情報を表示部３１に表示するように、ＶＲシステム３０ａ～３０ｂを制御する制御ステップを含む（図６）。より詳しくは、制御ステップでは、複数のＶＲシステム３０ａ～３０ｂのそれぞれに対応する動作モードを管理し、動作モードを特定する情報を、対応するＶＲシステム３０ａ～３０ｂの表示部３１に表示するように、複数のＶＲシステム３０ａ～３０ｂを制御する（図６、図２Ａ）。
【0072】
これにより、参加者１０～１３は、表示部３１に表示される動作モードを特定する情報により、自分の状態について、質問が不可能な第１状態、質問が可能な第２状態、及び、質問が行われている第３状態のいずれであるかを即座に知ることができ、説明者２０への質問のための操作が簡素化され、上述した課題（１）（多様な参加者でもＶＲ観光サービスを利用可能にするシンプルなユーザインターフェースを持つ必要がある）が解決される。
【0073】
また、制御ステップでは、複数の参加者１０～１３のそれぞれについて説明者２０への質問をブロックするか否かを示す許否情報を含むブロック情報７０に基づいて、許否情報がブロックすることを示す参加者１０～１３について、第１状態を示す画像を参加者１０～１３に対応するＶＲシステム３０ａ～３０ｂの表示部３１に表示し、かつ、参加者１０～１３からの音声入力をミュートにすることで第１の状態とするように、ＶＲシステム３０ａ～３０ｂを制御する（図１３、図２Ｂ）。これにより、上述した課題（２）（暴言や継続的な質問等でガイド２０の説明を妨害するマナーの悪いユーザを排除する必要がある）が解決される。
【0074】
また、制御ステップでは、複数の参加者１０～１３のそれぞれについて所定のグループに属するか否かを示す属否情報を含むグループ情報７１を有し、グループ情報７１に基づいて、同一のグループに属する複数の参加者１０～１３を対象としてグループ音声会話を支援するように、グループ音声会話部６４を制御する（図１３、図２Ｃ）。これにより、上述した課題（３）（一緒に旅行する友達間との私的な会話をサポートできることが必要となる）が解決される。
【0075】
また、制御ステップでは、複数の参加者１０～１３のそれぞれについて希望する説明の言語を対応づけた言語情報７２に基づいて、第１言語に対応づけられた参加者１０～１３については、第１音声会話部６１ａによって参加者１０～１３と第１説明者２０ａとの音声会話を支援し、第２言語に対応づけられた参加者１０～１３については、第２音声会話部６１ｂによって参加者１０～１３と第２説明者２０ｂとの音声会話を支援するように、第１音声会話部６１ａ及び第２音声会話部６１ｂを制御する（図２５、図２Ｄ）。これにより、上述した課題（４）（外国旅行や外国人に対応するため、ＶＲ観光参加者への複数言語対応と複数ガイド対応が必要となる）が解決される。
【0076】
また、制御ステップでは、複数の参加者１０～１３のそれぞれについて希望する説明の言語を対応づけた言語情報７２に基づいて、第１言語に対応づけられた参加者１０～１３については、機械翻訳部６６ａ～６６ｂを通さずに参加者１０～１３と説明者２０とが音声会話をし、第２言語に対応づけられた参加者１０～１３については、機械翻訳部６６ａ～６６ｂを通して参加者１０～１３と説明者２０とが音声会話をするように、機械翻訳部６６ａ～６６ｂを制御する（図３５、図２Ｆ）。これにより、上述した課題（４）（外国旅行や外国人に対応するため、ＶＲ観光参加者への複数言語対応と複数ガイド対応が必要となる）が解決される。
【0077】
以下、実施の形態の具体例として、上記課題（１）～（４）を解決する実施例１～４を説明する。いずれの実施例も、実施の形態に係る映像表示システムをＶＲ観光システムに適用した例として、説明する。
【0078】
（実施例１）
まず、上記課題（１）（多様な参加者でもＶＲ観光サービスを利用可能にするシンプルなユーザインターフェースを持つ必要がある）を解決する具体例として、実施例１を説明する。
まず、上記課題（１）（多様な参加者でもＶＲ観光サービスを利用可能にするシンプルなユーザインターフェースを持つ必要がある）を解決する具体例として、実施例１を説明する。
【0079】
図３は、実施例１に係るＶＲ観光システム２の概略構成図である。ＶＲ観光システム２は、Ａ）ＶＲユーザ１０～１３がＶＲ観光サービスを体験するためのＶＲシステム１００、１１０、１２０及び１３０と、Ｂ）ＶＲクラウド３００に設けられ、ＶＲシステム１００、１１０、１２０及び１３０内のＶＲ空間を生成するための３６０度映像を配信する３６０度映像配信部３２０と、Ｃ）ＶＲクラウド３００に設けられ、各ＶＲシステム１００、１１０、１２０及び１３０とガイド２０との音声会話を実現するためのＶＲ音声会議部３１０と、Ｄ）ガイド２０がＶＲユーザ１０～１３との音声会話を行うための、スマートフォン２１０、ヘッドセット２２０及びガイド用リモコン２３０で構成されるガイド用端末２１０等から構成される。
【0080】
より詳しくは、ＶＲシステム１００（１１０、１２０及び１３０）は、ディスプレイ１０１（１１１、１２１及び１３１）と、操作を受け付ける入力部１０２（１１２、１２２及び１３２）と、ＶＲクラウドと通信する通信部１０４（１１４、１２４及び１３４）と、ディスプレイ１０１（１１１、１２１及び１３１）に表示するＶＲ空間を生成するＶＲ空間生成部１０３（１１３、１２３及び１３３）とを備える。ＶＲ空間生成部１０３（１１３、１２３及び１３３）及びディスプレイ１０１（１１１、１２１及び１３１）は、実施の形態における表示部３１の一例であり、入力部１０２（１１０、１２０及び１３０）は、実施の形態における参加者用入力部３３の一例である。なお、本概略構成図では、実施の形態における音声処理部３２の図示は省略されている。
【0081】
ＶＲクラウド３００は、会話制御部３１１及び音声処理部３１２を有するＶＲ音声会議部３１０と、３６０度映像配信部３２０とを備える。ＶＲ音声会議部３１０は、実施の形態における音声会話部６１の一例であり、３６０度映像配信部３２０は、実施の形態における映像配信部６３の一例であり、会話制御部３１１は、実施の形態における制御部６２の一例である。
【0082】
観測システム２００は、通信部２０１と、撮影部２０２と、カメラ２０３と、リモコン２０４と、マイク２０５とを備える。カメラ２０３は、実施の形態におけるカメラ５１の一例であり、マイク２０５は、実施の形態におけるマイク５２の一例である。
【0083】
ガイド用端末２１０等は、実施の形態における説明者端末４０の一例であり、スマートフォン２１０と、ヘッドセット２２０と、実施の形態における説明者用入力部４１の一例であるガイド用リモコン２３０とで構成される。ガイド指示生成部２１１は、ガイド用リモコン２３０からガイド２０の指示を取得してＶＲ音声会議部３１０に出力する機能であり、実施の形態における制御部６２の機能のうち、説明者用入力部４１からガイド２０の指示を取得する機能の一例である。
【0084】
一般の音声会議システムでは、参加者は原則自由に発言できるが、このＶＲ観光システム２はＶＲ観光用のため、参加者が自由に発言できるのではなく、通常はガイド２０の説明を聞き、ガイド２０が許可した場合のみ、ＶＲユーザ１０～１３が発言（質問）できるようにすることで、ＶＲユーザ１０～１３、ガイド２０ともに、簡単なユーザインターフェースでＶＲ観光体験することができる。
【0085】
このために、ガイド２０がガイド用端末２１０等内のガイド指示生成部２１１を使って、ＶＲクラウド３００内の会話制御部３１１を操作することにより、各ＶＲユーザ１０～１３のＶＲシステム１００、１１０、１２０及び１３０の音声・表示制御（ミュート機能、ガイダンス表示等）を実現している。
【0086】
図４は、実施例１に係るＶＲ観光システム２の動作例を示す図である。より詳しくは、図４の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０での表示例、ガイド２０のスマートフォン２１０での音声制御アプリによる表示例２４０ａ及び２４０ｂ、ガイド用リモコン２３０の操作例、ＶＲユーザ１０等によるＶＲリモコン１０６の操作例を示す。
【0087】
図４の（ｂ）は、会話制御部３１１による動作モードの管理例を示す動作モード説明表４１０を示す。つまり、「ガイドの指示」が「質問不可」である場合には、ＶＲシステムの画面表示例４００の右下に「質問不可」４００ａが表示され（「ＶＲの表示状態」が「質問不可」の表示モード）、かつ、そのＶＲユーザに対してＭｕｔｅ中（「ＶＲシステムのミュート機能」が「Ｍｕｔｅ中」すなわち第１の状態）となり、一方、「ガイドの指示」が「質問可」である場合には、ＶＲシステムの画面表示例４０１の右下に「質問可」４０１ａが表示されている（「ＶＲの表示状態」が「質問可」の表示モードすなわち第２の状態）ときには、そのＶＲユーザに対してＭｕｔｅ中（「ＶＲシステムのミュート機能」が「Ｍｕｔｅ中」）となり、ＶＲシステムの画面表示例４０２の右下に「質問中」４０２ａが表示されている（「ＶＲの表示状態」が「質問中」の表示モードすなわち第３の状態）ときには、そのＶＲユーザに対してミュート解除状態（「ＶＲシステムのミュート機能」が「Ｍｕｔｅ解除」）となる。
【0088】
本図に示されるように、ＶＲシステム１００、１１０、１２０及び１３０での３つのガイダンス表示モードと、ガイド２０、ＶＲユーザ１０等ともに、１ボタンの単純なＵＩで表示モードの遷移を実現することにより、下記の４つことが実現される。
【0089】
（１）基本的にＶＲユーザ１０～１３の発言を常にＭｕｔｅ状態にするため、ＶＲユーザ１０～１３がミュートの概念・操作を覚える必要がない。
【0090】
（２）ＶＲユーザ１０～１３は質問してよい時とダメな時をＶＲ空間内のガイダンス表示で容易に理解できる（「質問可」と「質問不可」のガイダンス表示の遷移）。
【0091】
（３）ＶＲユーザ１０～１３が質問したい（ガイド２０に話しかけたい）時は、「質問可」のガイダンスが表示されている時に、１ボタン（質問ボタン）を押すことのみで対応できる。このため、覚えることが少なく、忘れにくい。なお、ＶＲシステムの装着時は視界が遮られるので簡単な操作が必須となり、この点は、重要なことである。
【0092】
（４）ガイド２０は、質問されたくない（つまり、説明を邪魔されてたくない）時には、何時でも「質問不可」指示の操作のみで（たとえ、質問中であっても）、ＶＲユーザ１０～１３に対して質問不可にできる。また質問を受付ける時は、「質問可」指示操作のみで、ＶＲユーザ１０～１３に対して質問可にできる。両操作をトグルボタン等の１ボタンの簡単な操作で行えるため、ガイド２０は、説明に集中できる。
【0093】
上記特徴から、Ａ）ＶＲユーザ１０～１３は、１つのボタン操作で簡単にガイド２０との会話を楽しむことができる。Ｂ）ガイド２０は、１つのボタン操作で簡単にＶＲシステム１００、１１０、１２０及び１３０を制御することができ、ＶＲユーザ１０～１３に邪魔されることなく円滑に説明を行うことができる。
【0094】
図５は、実施例１に係るＶＲ観光システム２の詳細な構成を示すブロック図である。ＶＲ観光システム２は、図１Ｂに示される参考例に係るＶＲ観光システム６５０の構成例において、ＶＲクラウド３００のＶＲ音声会議部３１０に、会話制御部３１１及びガイド指示記録部３１５が追加され、ＶＲシステム１００、１１０、１２０及び１３０のＶＲ音声会議部１０５に、会話制御部１０７及びガイダンス表示制御部１０９が追加され、ガイド用端末であるスマートフォン２１０のＶＲ音声会議部２５０に、入力部２１２及びガイド指示生成部２１１が追加されている。
【0095】
つまり、ガイド用端末２１０等内のＶＲ音声会議部２５０内に、ユーザの入力を受け付ける入力部２１２と、入力に基づきガイド２０の指示内容をＶＲクラウド３００内のＶＲ音声会議部３１０に伝えるガイド指示生成部２１１とを持つ。また、ＶＲクラウド３００内にガイド用端末２１０等から送られてくる、ガイド２０の指示を受け取り、その指示内容をガイド指示記録部３１５に記録すると同時に、ＶＲシステム１００、１１０、１２０及び１３０のＶＲ音声会議部１０５を制御するための制御指示を生成し、ＶＲシステム１００、１１０、１２０及び１３０に伝達する会話制御部１０７とを持つ。
【0096】
さらに、ＶＲシステム１００、１１０、１２０及び１３０のＶＲ音声会議部１０５内に、ＶＲクラウド３００から送られてくる制御指示の内容や、ユーザ入力に従ってＭｕｔｅ部１０８ｃのＭｕｔｅ状態を設定することと、ガイダンス表示制御部１０９に指示することで「質問可」等のガイダンス表示状態を変えることをつかさどる会話制御部１０７を持つ。
【0097】
【0098】
図６は、実施例１に係るＶＲ観光システム２の動作フロー例（つまり、映像表示方法の具体例）を示す図である。より詳しくは、図６の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０の動作フローを示し、図６の（ｂ）は、参照用として、図４の（ｂ）と同じ動作モード説明表４１０を示し、図６の（ｃ）は、ＶＲクラウド３００の動作フローを示す。
【0099】
ＶＲクラウド３００は、図６の（ｃ）に示されるように、ガイド用端末２１０等の入力部２１２及びガイド指示生成部２１１を介して、スマートフォン２１０のＡＰＰやガイド用リモコン２３０等から「ガイドの指示」（動作モードの遷移として、「質問可」への遷移、「質問不可」への遷移）を受け付けることができる（Ｓ１０）。
【0100】
そして、会話制御部３１１は、受け付けた「ガイドの指示」を判定し（Ｓ１１）、下記の２つの処理に振り分ける。つまり、「ガイドの指示」が「質問可」の場合は（Ｓ１１でＹ）、指示を「質問可」に設定し（Ｓ１３）、「ガイドの指示」が「質問不可」の場合は（Ｓ１１でＮ）、指示を「質問不可」に設定する（Ｓ１２）。
【0101】
そして、会話制御部３１１は、ガイド２０が新たな指示を行ったことを指示内容とともに、全てのＶＲシステム１００、１１０、１２０及び１３０に通知し（Ｓ１４）、ステップＳ１０に戻る。
【0102】
一方、各ＶＲシステム１００、１１０、１２０及び１３０は、ＶＲ観光配信サービスのメイン処理を行うが、図６の（ａ）に示されるように、下記の２つの割り込み処理（Ｓ３０～Ｓ４０及びＳ２０～Ｓ２４）があれば、その割り込み処理を行い、メイン処理に戻る。割り込み処理がなければ、ＶＲ観光配信サービスが終了するまで、ＶＲ観光サービスでの受信処理を継続する。
【0103】
なお、ＶＲシステム１００、１１０、１２０及び１３０のメイン処理とは、ＶＲシステム１００、１１０、１２０及び１３０がＶＲユーザ１０～１３にＶＲ観光のためのＶＲ空間を提供する処理であり、３６０度映像配信部３２０から送られてくる３６０度映像を受信し、受信した３６０度映像を映像データと音声データとに分離し、分離した音声データを復号した後に、ＶＲ観測システム２００の位置及び方位に依存した音声処理を行って音声としてスピーカーに出力し、一方、分離した映像データを復号した後に、３６０度球体映像にマッピングし、さらに、ＶＲ観測システム２００の位置及び方位に依存した映像切り出しを行って映像としてディスプレイに出力する処理である。
【0104】
一つ目の割り込み処理は、ＶＲシステム１００、１１０、１２０及び１３０のユーザ入力割り込み処理である。会話制御部１０７は、ＶＲリモコン１０６等からのＶＲユーザ入力を受信し（Ｓ３０）、受信したＶＲユーザ入力が「質問中」要求の場合は（Ｓ３１でＹ）、ガイド指示記録部３１５の情報を参照する（Ｓ３３）。
【0105】
その結果、ガイド指示の値が「質問不可」すなわち第１の状態の場合は（Ｓ３５でＮ）、処理を終了し、一方、ガイド指示の値が「質問可」で（Ｓ３５でＹ）、かつ、表示モードが「質問可」すなわち第２の状態の場合は（Ｓ３６でＮ）、ガイダンス表示制御部１０９は、表示モードを「質問中」に変え（Ｓ３７）、Ｍｕｔｅ部１０８ｃは、Ｍｕｔｅ解除に設定して（Ｓ３８）、すなわち第３の状態とし処理を終了する。
【0106】
一方、ガイド指示の値が「質問可」（Ｓ３５でＹ）、かつ、表示モードが「質問中」すなわち第３の状態の場合は（Ｓ３６でＹ）、ガイダンス表示制御部１０９は、表示モードを「質問可」に変え（Ｓ３９）、Ｍｕｔｅ部１０８ｃは、Ｍｕｔｅにすなわち第２の状態に設定して（Ｓ４０）、処理を終了する。
【0107】
なお、ＶＲユーザ入力が「質問中」要求以外の場合は（Ｓ３１でＮ）、会話制御部１０７は、そのＶＲユーザ入力の処理を行い（Ｓ３２）、処理を終了する。
【0108】
二つ目の割り込み処理は、ＶＲクラウド３００からの割り込み処理である。会話制御部３１１は、ＶＲクラウド３００から受け取ったガイド指示を、ガイド指示記録部３１５に記録する（Ｓ２０）。
【0109】
そして、ガイド指示が「質問可」の場合は（Ｓ２１でＹ）、ガイダンス表示制御部１０９に対して、表示モードを「質問可」すなわち第２の状態にさせ（Ｓ２３）、処理を終了する。一方、ガイド指示が「質問不可」の場合は（Ｓ２１でＮ）、ガイダンス表示制御部１０９は、表示モードを「質問不可」にし（Ｓ２２）、Ｍｕｔｅ部１０８ｃは、Ｍｕｔｅに設定し（Ｓ２４）、すなわち第１の状態とし処理を終了する。
【0110】
図７は、実施例１に係るＶＲ観光システム２のＶＲシステム１００、１１０、１２０及び１３０の具体的な構成例を示す図である。本構成例では、ＶＲシステム１００、１１０、１２０及び１３０は、コンピュータまたはスマートフォン（コンピュータ／スマートフォン１６０）と、それに接続されたＨＭＤ（ヘッドマウントディスプレイ）またはＶＲグラス（ＨＭＤ／ＶＲグラス１４０）とから構成される。なお、本構成例に代えて、ＶＲシステム１００、１１０、１２０及び１３０は、ＨＭＤ／ＶＲグラス１４０単体で実現されてもよい。その場合は、双方のＣＰＵとＧＰＵの機能を一つにし、周辺の機能もまとめたものになる。
【0111】
コンピュータ／スマートフォン１６０は、主な構成として、ＶＲシステム１００、１１０、１２０及び１３０と接続するためのＷｉＦｉ（登録商標）やイーサネット（登録商標）などに対応した高速な通信素子１６３、映像データやグラフィックスの処理を主に行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６５、一般的なデータ処理及びコンピュータ／スマートフォン１６０全体の制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７０、ＣＰＵ１７０やＧＰＵ１６５を動作させるためのプログラムを記憶するためのハードディスクやフラッシュメモリなどの不揮発性メモリ１６７、ＣＰＵ１７０やＧＰＵ１６５が動作するためのデータの格納に用いるＲＡＭ１６６、電源スイッチ１６８や各部に電源を供給するための電源制御素子１６９、ＨＭＤ／ＶＲグラス１４０に映像と音声信号を出力するためのＡＶ出力端子１６１、ＨＭＤ／ＶＲグラス１４０を制御したりそこからデータを取得するためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）１６２などのＩ／Ｆ、ＲＡＭ１６６や不揮発性メモリ１６７を接続しＣＰＵ１７０やＧＰＵ１６５がアクセスしたりするためのメモリバス、ＣＰＵ１７０やＧＰＵ１６５がＡＶ出力端子１６１、ＵＳＢ１６２、通信素子１６３にアクセスするためのシステムバス、システムバスとメモリバスを接続するバス変換部１６４、図示していない表示装置、操作のための入力装置、その他の汎用のＩ／Ｆ（インターフェース）などから構成される。
【0112】
ＣＰＵ１７０は、プログラムの実行により発揮する機能として、映像データと音声データとを多重化する多重化部１７０ａと、受け取った３６０度映像から映像データと音声データとを分離する分離部１７０ｂと、分離された音声データを復号する音声復号部１７０ｃと、復号された音声データの再生を制御する音声再生制御部１７０ｄとを有する。
【0113】
ＧＰＵ１６５は、プログラムの実行により発揮する機能として、ＨＭＤ／ＶＲグラス１４０の動き・位置検出部１６５ａで生成された動き・位置データを受け取り、ＶＲユーザの動き・位置を検出する動き・位置検出部１６５ａと、検出されたＶＲユーザの動き・位置に基づいてＶＲ空間の生成指示を出すＶＲ制御部１６５ｂと、ＣＰＵ１７０で分離された映像データを復号するＶＲ映像復号部１６５ｃと、「質問不可」、「質問可」及び「質問中」等のガイダンスの表示生成を指示するガイダンス表示生成部１６５ｄと、その指示に従ってガイダンスのグラフィックスを生成するグラフィックス生成部１６５ｅと、ＶＲ制御部１６５ｂからのＶＲ空間の生成指示に基づいて、ＶＲ映像復号部１６５ｃで復号された映像データ、及び、グラフィックス生成部で生成されたグラフィックスを合成し、ＶＲ映像として、ＨＭＤ／ＶＲグラス１４０に出力するＶＲ表示制御部１６５ｆとを有する。
【0114】
なお、いくつかの処理については、ＧＰＵ１６５で行うかＣＰＵ１７０で行うかは本例と異なる場合があり、バス構成も本例と異なる場合があるが、機能構成、動作に違いはない。また、ＡＶ出力端子１６１とＵＳＢ１６２については、高速な双方向Ｉ／Ｆとして、例えばＵＳＢ＿ＴｙｐｅＣ（登録商標）などのＩ／Ｆで替えることもできる。その場合、ＨＭＤ／ＶＲグラス１４０も同じＩ／Ｆで接続するか、Ｉ／Ｆを変換する変換器で接続することになる。一般的にＵＳＢ１６２で映像を送る場合、適切な圧縮によってデータ量を圧縮するため、ＣＰＵ１７０またはＧＰＵ１６５で適切な映像圧縮を行い、ＵＳＢ１６２を経由して、ＶＲ映像をＨＭＤ／ＶＲグラス１４０に映像を送出する。
【0115】
一方、ＶＲシステム１００、１１０、１２０及び１３０におけるＨＭＤ／ＶＲグラス１４０は、主な構成として、音声を入力するためのマイク１５７ａ、マイクアンプ１５７ｂ、ＡＤＣ（Ａ／Ｄ変換器）１５７ｃからなる音声入力部、スピーカー１５８ｃ、ヘッドフォン端子１５８ｄ、アンプ１５８ｂ、ＤＡＣ（Ｄ／Ａ変換器）１５８ａからなる音声出力部、使用者がＶＲ映像を見るための２組のレンズ１５３ａ及び１５３ｂと表示素子１５２ａ及び１５２ｂからなるＶＲ表示部、ジャイロセンサ、カメラあるいは超音波マイクなどからなる動き・位置検出部および方位検出部からなる動き・位置センサ１４１、図示していないコントローラと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信素子１４８、音声出力部からの出力音量を制御するための音量ボタン１４２、ＨＭＤ／ＶＲグラス１４０の電源をＯＮ／ＯＦＦするための電源スイッチ１４３、電源制御のための電源制御素子１４５、ＥＥＰＲＯＭ１５４、ＲＡＭ１５５、ＳＤカード（登録商標）とＧＰＵ１５１、ＣＰＵ１５６を接続しメモリとのデータのやり取りを行うメモリバス、ＣＰＵ１５６、ＧＰＵ１５１、無線通信素子１４８、コンピュータ／スマートフォン１６０からの映像信号と音声信号とを受けるためのＡＶ入力端子１４６、コンピュータ／スマートフォン１６０からの制御信号を受けたり、映像や音声信号や動き・位置のデータを送ったりするためのＵＳＢ１４７などのＩ／Ｆ、主に音声圧縮（音声圧縮部１５６ａ）やスイッチや電源などの制御、ＨＭＤ／ＶＲグラス１４０全体の制御を行うＣＰＵ１５６、主にＶＲ表示部への映像の調整を行う映像表示処理部１５１ｂと動き・位置センサ１４１からの情報からコンピュータ／スマートフォン１６０に送る動き・位置情報を補正・成形する動き・位置検出部１５１ａを有するＧＰＵ１５１、ＣＰＵ１５６とＧＰＵ１５１を動作させるためのプログラムやデータを記憶するためのＥＥＰＲＯＭ１５４、ＣＰＵ１５６とＧＰＵ１５１の動作時のデータを記憶するためのＲＡＭ１５５、ＣＰＵ１５６、ＧＰＵ１５１、ＲＡＭ１５５とＥＥＰＲＯＭ１５４を接続するためのメモリバス、ＣＰＵ１５６、ＧＰＵ１５１、ＵＳＢ１４７、音声入力部、音声出力部および無線通信素子１４８が接続され、制御やデータのやり取りを行うシステムバス、前述のボタンや電源制御素子１４５、動き・位置センサ１４１また図示されていないが音声入力部、音声出力部およびＶＲ撮影カメラなどを含めて制御や低速のデータのやり取りを行うＩ／Ｏバス、およびそれぞれのバスを接続するいくつかのバス変換部１５０から構成される。
【0116】
さらに、ＨＭＤ／ＶＲグラス１４０は、ＢＬＥ（ブルーツース・ロー・エナジー；登録商標）１４９を介してＶＲリモコン１０６と接続可能にされており、ＶＲユーザ１０～１３がガイド２０と会話を行いたい時の「質問」を要請する操作が可能になっている。
【0117】
なお、いくつかの処理についてはＧＰＵ１５１で行うかＣＰＵ１５６で行うかは本例と異なる場合があり、バス構成も本例と異なる場合があるが、機能構成、動作に違いはない。
【0118】
また、ＡＶ入力端子１４６からの映像データはデータ量が多く高速であるため、システムバスが十分な速度を持っていない場合、映像データが、直接、ＧＰＵ１５１にとりこまれるとして図示している。
【0119】
また、動き・位置センサ１４１が有するカメラで撮影された映像情報は、ＨＭＤ／ＶＲグラス１４０の周辺をＶＲユーザが確認する情報として表示素子１５２ａ及び１５２ｂに送られたり、ＵＳＢ１４７を通じてコンピュータ／スマートフォン１６０へ送付し、使用者が危険な状況にないかの監視を行ったりすることがある。
【0120】
また、電源制御素子１４５は、ＵＳＢ１４７またはＡＶ入力端子１４６からの電源供給を受け、電圧の安定化、バッテリー容量の管理などを行い、図示していないがすべての構成要素に電源を供給する。場合によっては、バッテリー１４４を内部あるいは外部に設け、バッテリー１４４を電源制御素子１４５に接続する場合がある。
【0121】
図示していないコントローラのボタンやカーソルの状態は、無線通信素子１４８を通じてＣＰＵ１５６が取得し、ＶＲ空間でのボタン操作、移動やアプリケーションの操作に用いられる。コントローラの位置及び向きは、動き・位置センサ１４１が有するカメラあるいは超音波センサなどで検出し、適切な処理を動き・位置センサ１４１で行ったのち、ＣＰＵ１５６での制御に用いられるとともに、ＵＳＢ１４７を経由してコンピュータ／スマートフォン１６０へ送られ、ＣＰＵ１５６で実行されるプログラムあるいはＧＰＵ１５１で実行されるグラフィックスの描画や画像処理に用いられる。
【0122】
図８は、実施例１に係るＶＲ観光システム２のガイド用端末２１０等が有するＶＲ音声会議部２５０の具体的な構成例を示す図である。ＶＲ音声会議部２５０は、ＶＲクラウド３００との通信手段（５Ｇのようなキャリア通信、もしくはＷｉ－Ｆｉ（登録商標）を使ってＰＣまたはスマートフォン２１０等のＶＲクラウド３００との通信機能を持った端末を経由した通信手段）と、マイク２１６及びスピーカー２１７等の音声入出力を行う外部機器と接続するためのオーディオ・インターフェース２１５と、アナログ音声をデジタルデータに変換またはその逆処理を行う、Ａ／Ｄ変換器２１３ａ及びＤ／Ａ変換器２１４ｂと、デジタル音声データを圧縮・復号するためのＡｕｄｉｏ圧縮部２１３ｂ及びＡｕｄｉｏ復号部２１４ａと、マイク２１６からの音声信号を一時的に送らないためのＭｕｔｅ部２１３ｃと、入力をガイド指示に変換してＶＲクラウド３００に送るガイド指示生成部２１１とを持つ。
【0123】
さらに、ガイド用端末２１０等は、外部のヘッドセット２２０、ガイド用リモコン２３０等とＢＬＥ（登録商標）等の省電力通信を使って通信する通信部・ヘッドセット用ＣＯＤＥＣ２１１ａ、及び、その通信に従って入力指示をしてガイド指示生成部２１１に出力する入力処理部２１１ｂを持つ。
【0124】
ガイド用端末２１０等は、専用端末を使っても良いが、スマートフォン２１０とスマートフォン２１０のＡＰＰで容易に実装可能なため、ガイド２０の持つスマートフォン２１０（社用・私用）にＡＰＰとして実装されてもよい。ただし、スマートフォン２１０を操作する代わりに、スマートフォン２１０のＢＬＥ（登録商標）等の低消費電力通信で接続されるガイド用リモコン２３０を使う方が、簡単に操作できるうえ、操作していることがＶＲユーザ１０～１３からも分からないため、より好ましい。ガイド用リモコン２３０を使えば、説明中にも、単に手に持ったガイド用リモコン２３０のボタンをブラインド・プッシュすることで操作できる。
【0125】
以上のように、実施例１に係るＶＲ観光システム２により、図４に示される簡単なユーザインターフェースが実現され、上記課題（１）が解決される。
【0126】
（実施例１の変形例１）
次に、実施例１の変形例１を説明する。
次に、実施例１の変形例１を説明する。
【0127】
図９は、実施例１の変形例１に係るＶＲ観光システム２ａの概略構成図である。ＶＲ観光システム２ａは、実施例１に係るＶＲ観光システム２を「ＶＲ酔い防止機能」をもつＶＲ観光システム及び「迷子防止機能」をもつＶＲ観光システムに適用したシステムである。
【0128】
ここで、「ＶＲ酔い防止機能」をもつＶＲ観光システムとは、次の機能を備えるＶＲ観光システムである。つまり、「ＶＲ酔い防止機能」をもつＶＲ観光システムは、ＶＲ観光等で撮影される３６０度カメラの移動に伴うＶＲ酔いを回避するために、ＶＲ観測システムから、３６０度映像に加え、メタデータ（３６０度映像を撮影するカメラ移動やパンの開始時刻や移動方向等）をＶＲシステムに送り、ＶＲシステムでカメラ移動の直前や移動期間中に適切に視聴者に移動することを知らせる視覚的効果（画面上の表示等）や非視覚的効果（音、コントローラの振動等）を発生させることで、視聴者に準備を促したり、酔わないようにしたりするために、通常とは異なる視覚効果映像を表示したりすることで、ＶＲ酔いを回避（軽減）する機能を備える。
【0129】
また、「迷子防止機能」をもつＶＲ観光システムとは、次の機能を備えるＶＲ観光システムである。つまり、「迷子防止機能」をもつＶＲ観光システムは、ＶＲユーザに対して、観光ガイド（引率者、説明者）等により発生されるトリガー等を含むメタデータをＶＲシステムに送ることにより、ガイドの位置の視覚ガイダンスやガイドが指定（説明）する物体の３Ｄ空間内での位置を示す視覚ガイダンスを映像・音声・振動等により示すことで、ユーザが迷子になることを防ぐ機能を備える。
【0130】
本変形例に係るＶＲ観光システム２ａは、ＶＲシステム１００、１１０、１２０及び１３０と、ＶＲクラウド３００ａと、観測システム２００ａと、ガイド用端末（スマートフォン２１０、ガイド用リモコン２３０）とを備える。
【0131】
ガイド用端末２１０等は、取得したメタデータ用付加情報２１９ａ及び２１９ｂを、それぞれ、ＶＲクラウド３００ａ及び観測システム２００ａに送る。観測システム２００ａは、３６０度映像を取得するための乗物２０６に搭載されたカメラ２０３、リモコン２０４、撮影部２０２及び通信部２０１を有し、ガイド用端末２１０等から受信したメタデータ用付加情報２１９ｂと３６０度映像とをＶＲクラウド３００ａに送信する。ＶＲクラウド３００ａは、ガイド用端末２１０等から受信したメタデータ用付加情報２１９ａと観測システム２００ａから受信した３６０度映像とをＶＲシステム１００、１１０、１２０及び１３０に配信する３６０度映像配信部３２０ａを有する。ＶＲシステム１００、１１０、１２０及び１３０では、ＶＲ空間生成部１０３は、ＶＲクラウド３００ａから受信したメタデータにより、表示を変化させることで、「ＶＲ酔い防止機能」及び「迷子防止機能」を発揮する。
【0132】
要するに、本変形例に係るＶＲ観光システム２ａでは、各種方法（３６０度映像を撮影するカメラ移動やパンの開始時刻や移動方向等）で、メタデータの基になる付加情報を取得し、メタデータを生成し、ＶＲクラウド３００ａ経由で各ＶＲシステム１００、１１０、１２０及び１３０に送る。ＶＲシステム１００、１１０、１２０及び１３０は、このメタデータに基づいて、３６０度映像を使ってＶＲ空間を再現する際に、付加情報を生成することで、ＶＲ酔いを防止したり、適切なガイダンス情報を提示したりする。
【0133】
ここで、ガイド用端末として、ＧＰＳ、ＩＭＵ（慣性計測装置）、カメラ等の機能を持つスマートフォン２１０を想定した場合、（１）スマートフォン２１０の位置情報、加速度情報等を使ってメタデータ生成に有効なデータを取得し、ＶＲクラウド３００ａ及び観測システム２００ａに送り、ＶＲクラウド３００ａ及び観測システム２００ａでメタデータを生成すること、及び、（２）スマートフォン２１０の位置情報、加速度情報等を使ってメタデータ生成に有効なデータを取得し、それをＶＲクラウド３００ａに送り、ＶＲクラウド３００ａで、観測システム２００ａから来たメタデータと組合せてメタデータを作ること、の２つが可能になる。
【0134】
また、スマートフォン２１０にＢＬＥ（登録商標）等で通信可能なガイド用リモコン２３０に、移動開始、停止ボタン等を追加して、ガイド２０が移動前や移動停止前にボタンを押すことで、移動の検出等の精度を上げ、より適切なメタデータを生成することもできる。
【0135】
（実施例１の変形例２）
次に、実施例１の変形例２を説明する。
次に、実施例１の変形例２を説明する。
【0136】
図１０は、実施例１の変形例２に係るＶＲ観光システム２ｂの概略構成図である。ＶＲ観光システム２ｂは、上記課題（１）（多様な参加者でもＶＲ観光サービスを利用可能にするシンプルなユーザインターフェースを持つ必要がある）を解決する２つ目の具体例に相当する。
【0137】
図５に示される実施例１に係るＶＲ観光システム２では、ガイド用端末２１０等は、ＶＲユーザ１０～１３の声を聴く機能と、ガイド２０の音声をＶＲクラウド３００経由でＶＲユーザ１０～１３に伝える２つの機能を持っていた。本変形例に係るＶＲ観光システム２ｂでは、ガイド２０の音声は、観測システム２００のマイク２０５から取得される。よって、本変形例に係るＶＲ観光システム２ｂでは、ガイド２０の音声を、ガイド用端末２１０等及びＶＲクラウド３００ａのＶＲ音声会議部３１０ａから、ＶＲシステム１００、１１０、１２０及び１３０に転送する部分が、実施例１に係るＶＲ観光システム２から削除されている。
【0138】
以上のように、本変形例に係るＶＲ観光システム２ｂであっても、実施例１と比較してガイド２０の音声が取得される経路が変更されるだけであり、上記課題（１）が解決される。
【0139】
（実施例２）
次に、上記課題（２）（暴言や継続的な質問等でガイド２０の説明を妨害するマナーの悪いＶＲユーザを排除する必要がある）を解決する具体例として、実施例２を説明する。
次に、上記課題（２）（暴言や継続的な質問等でガイド２０の説明を妨害するマナーの悪いＶＲユーザを排除する必要がある）を解決する具体例として、実施例２を説明する。
【0140】
ＶＲユーザによる暴言や継続的な質問等でガイド２０の説明を妨害する不適切発言ユーザもＶＲ観光に参加する可能性がある。このような参加者の発言を排除しないと、他の善良なＶＲユーザの観光体験が阻害される。このような事態が発生時には、ガイド２０が簡単な操作で対処できる必要がある。具体的には、ガイド２０の指示で該当ユーザの発言をミュートし、今後は発言できないように他のユーザが「発言可」になる状況でも「発言不可」が継続するようにする機能が必要となり、このような機能をもつＶＲ観光システムを、実施例２に係るＶＲ観光システムとして説明する。実施例２に係るＶＲ観光システムは、実施例１に係るＶＲ観光システム２に、課題（２）を解決する機能が追加されたシステムである。
【0141】
図１１は、実施例２に係るＶＲ観光システムの動作例を示す図である。より詳しくは、図１１の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０での表示例、ガイド２０のスマートフォン２１０での音声制御アプリによる表示例２４０ｃ及び２４０ｄ、ガイド用リモコン２３０の操作例、ＶＲユーザ１０等によるＶＲリモコン１０６の操作例を示す。図１１の（ｂ）は、図４の（ｂ）と同じ動作モード説明表４１０を示す。図４の（ｃ）は、本実施例に係るＶＲ音声会議部が有するユーザ管理テーブル３３０を示す。ユーザ管理テーブル３３０は、複数の参加者のそれぞれについて説明者への質問をブロックするか否かを示す許否情報を含む実施の形態におけるブロック情報７０の一例であり、具体的には、ＶＲユーザ（「Ｕｓｅｒ－ＩＤ」）ごとに上記ブロックの対象となるユーザである（「Ｂｌｏｃｋ」）か否か（「ＯＫ」）を示す「Ｍｏｄｅ」を記録した情報テーブルである。
【0142】
図１１の（ａ）に示されるように、ＶＲシステム１００、１１０、１２０及び１３０が３つの表示モードを有すること、ガイド用リモコン２３０及びＶＲリモコン１０６のＵＩ、内部動作処理は、実施例１と同一である。
【0143】
また、ＶＲクラウドでは、ガイド指示の基本機能（「質問可」４０１ａ、「質問不可」４００ａの切り替え）は、実施例１と同一であるが、下記の機能が追加されている。
【0144】
つまり、図１１の（ｃ）に示されるように、ＶＲユーザ毎に、健全ユーザか、不適切発言ユーザかを記録するユーザ管理テーブル３３０がＶＲクラウド内に追加されている。ユーザ管理テーブル３３０は、実施の形態の変形例１におけるブロック情報７０の一例である。
【0145】
また、図１１の（ａ）の表示例２４０ｃ及び２４０ｄ、ガイド用リモコン２３０の操作例に示されるように、ガイド２０が不適切発言ユーザの発言をブロック（強制ミュート）するための「ブロック」指示と、ブロックしたユーザの発言を可能にする「解除」指示とを可能にする機能が追加されている。
【0146】
さらに、「ブロック」指示を出した場合は、該当ユーザのユーザ管理テーブル３３０におけるＭｏｄｅの値を「Ｂｌｏｃｋ」に変えるとともに、該当ユーザに対して強制ミュートを行う機能が追加されている。
【0147】
また、ガイド２０が「解除」指示を出した場合は、全ユーザのユーザ管理テーブル３３０のＭｏｄｅの値を「ＯＫ」に変える機能が追加されている。なお、ガイド２０が「発言可」指示を出した場合、ユーザ管理テーブル３３０のＭｏｄｅの値が「Ｂｌｏｃｋ」のユーザに対しては、ＶＲシステムでの表示は、「質問不可」４００ａのままで変わらない。
【0148】
図１２は、実施例２に係るＶＲ観光システム３の概略構成図である。ＶＲ観光システム３は、実施例１に係るＶＲ観光システム２に、課題（２）を解決する機能が追加されたシステムであり、ＶＲシステム１００、１１０、１２０及び１３０と、ＶＲクラウド３００ｂと、ガイド用端末２１０等と、観測システム２００とを備える。ＶＲクラウド３００ｂのＶＲ音声会議部３１０は、実施例１のものに加えて、ユーザ管理テーブル３３０を有する。
【0149】
ＶＲユーザ１０～１３のＶＲシステム１００、１１０、１２０及び１３０の構成は、図５に示される実施例１に係るＶＲ観光システム２の構成例と同じであり、ＶＲユーザ１０～１３の操作方法も同じである。つまり、ＶＲユーザ１０～１３は、不適切発言ユーザがブロックされることに気づかないようになっている。
【0150】
ガイド用端末２１０等のＶＲ音声会議部２５０内の構成も実施例１と同じである。変更点は、入力部２１２で受け付ける入力が、実施例１に係るＶＲ観光システム２における「質問可」、「質問不可」に加え、「ブロック」と「解除」が追加されたため、ＶＲクラウド３００ｂに送られる「ガイドの指示」も追加されている。
【0151】
ＶＲクラウド３００ｂのＶＲ音声会議部３１０は、実施の形態の変形例１における制御部６２ａの一例であり、ＶＲクラウド３００ｂ内にガイド用端末２１０等から送られてくる「ガイドの指示」を受け取り、その指示内容が「質問可」または「質問不可」の場合は、「ガイドの指示」をガイド指示記録部３１５に記録する。ＶＲ音声会議部３１０は、ガイド２０からの指示が「ブロック」と「解除」の場合は、不適切発言ユーザを記録するためのユーザ管理テーブル３３０を、指示に応じて更新する。
【0152】
さらに、ＶＲ音声会議部３１０は、ＶＲシステム１００、１１０、１２０及び１３０のＶＲ音声会議部１０５を制御するための「制御指示」を生成して、全ＶＲシステム１００、１１０、１２０及び１３０に伝達し、その結果、ＶＲシステム１００、１１０、１２０及び１３０では、ガイダンス表示制御部１０９は、ブロック対象ユーザに対しては、常に「質問不可」４００ａを表示する。
【0153】
図１３は、実施例２に係るＶＲ観光システム３の動作フロー例（つまり、映像表示方法の具体例）を示す図である。より詳しくは、図１３の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０の動作フローを示し、図１３の（ｂ）は、参照用として、図１１の（ｃ）と同じ動作モード説明表４１０を示し、図１３の（ｃ）は、ＶＲクラウド３００ｂの動作フローを示し、図１３の（ｄ）は、参照用として、図１１の（ｃ）と同じユーザ管理テーブル３３０を示す。
【0154】
ＶＲクラウド３００ｂでは、図１３の（ｃ）に示されるように、会話制御部３１１は、ガイド用端末２１０等の入力部２１２及びガイド指示生成部２１１を介して、スマートフォン２１０のＡＰＰやガイド用リモコン２３０等から「ガイドの指示」（「質問可」への遷移、「質問不可」への遷移）を受け付けることができる（Ｓ５０）。
【0155】
そして、会話制御部３１１は、受け付けた「ガイドの指示」を判定し、下記の４つの処理に振り分ける（Ｓ５１～Ｓ５４）。つまり、「ガイドの指示」が「質問可」の場合は（Ｓ５１でＹ）、指示を「質問可」に設定し（Ｓ６０）、「ガイドの指示」が「質問不可」の場合は（Ｓ５２でＹ）、指示を「質問不可」に設定し（Ｓ６１）、「ガイドの指示」が「Ｂｌｏｃｋ」の場合は（Ｓ５３でＹ）、現在会話中のユーザのユーザ管理テーブル３３０での値を「Ｂｌｏｃｋ」に変更し（Ｓ６２）、「ガイドの指示」が「Ｂｌｏｃｋ解除」の場合は（Ｓ５４でＹ）、ユーザ管理テーブル３３０の全ユーザの値を「ＯＫ」に変更する（Ｓ６３）。
【0156】
そして、会話制御部３１１は、ガイド２０が新たな指示を行ったこと（指示変更通知）を、指示内容とともに、全ＶＲシステム１００、１１０、１２０及び１３０に通知し（ただし、ユーザ管理テーブル３３０での値が「Ｂｌｏｃｋ」のユーザには「質問不可」を指示内容として通知し）（ステップＳ７０～Ｓ７５）、ステップＳ５０に戻る。
【0157】
より詳しくは、指示変更通知を各ＶＲシステムに送信する処理（Ｓ７０～Ｓ７５）では、会話制御部３１１は、まず、変数Ｎを１にセットし（Ｓ７０）、次に、ユーザ管理テーブル３３０のＮ番目の値を取り出して、変数Ｎをインクリメントする（Ｓ７１）。そして、会話制御部３１１は、ユーザ管理テーブル３３０から取り出した値が「Ｂｌｏｃｋ」であるか否かを判断し（Ｓ７２）、「Ｂｌｏｃｋ」である場合には（Ｓ７２でＹ）、指示を「質問不可」に設定したうえで（Ｓ７３）、指示変更通知を対応するＶＲシステムに送信する（Ｓ７４）。ユーザ管理テーブル３３０から取り出した値が「Ｂｌｏｃｋ」でない場合には（Ｓ７２でＮ）、会話制御部３１１は、指示を「質問不可」に設定することなく、指示変更通知を対応するＶＲシステムに送信する（Ｓ７４）。
【0158】
会話制御部３１１は、全ＶＲユーザについて確認を終えたか否かを判断し（Ｓ７５）、終えていない場合には（Ｓ７５でＮ）、全ＶＲユーザについて確認を終えるまで、ステップＳ７１～Ｓ７５を繰り返す。
【0159】
一方、各ＶＲシステム１００、１１０、１２０及び１３０の動作は、図１３の（ａ）に示されるように、実施例１における各ＶＲシステム１００、１１０、１２０及び１３０の動作と同じである。つまり、各ＶＲシステム１００、１１０、１２０及び１３０では、ＶＲ観光配信サービスのメイン処理を行うが、図１３の（ａ）に示されるように、ＶＲクラウド３００からのガイド指示による割り込みがあった場合には、実施例１と同様の割り込み処理を行う（Ｓ２０～Ｓ２５）。また、図１３には図示されていないが、ＶＲリモコン１０６等からのＶＲユーザ入力による割り込みがあった場合には、ＶＲシステム１００、１１０、１２０及び１３０は、実施例１と同様の割り込み処理を行う（図６のＳ３０～Ｓ４０）。
【0160】
以上のように、実施例２に係るＶＲ観光システム３により、図１１に示される動作例のように、簡単なユーザインターフェースを用いて不適切発言ユーザによる発言が排除され、上記課題（２）が解決される。
【0161】
（実施例３）
次に、上記課題（３）（一緒に旅行する友達間との私的な会話をサポートできることが必要となる）を解決する具体例として、実施例３を説明する。
次に、上記課題（３）（一緒に旅行する友達間との私的な会話をサポートできることが必要となる）を解決する具体例として、実施例３を説明する。
【0162】
課題（３）を解決する具体例を説明する前に、まず、課題（３）について、図を用いて、詳細に説明する。
【0163】
図１４は、図１Ａに示される参考例に係るＶＲ観光システム６５０に課題（３）の説明を追記した図である。図１４に示されるように、参考例に係るＶＲ観光システム６５０では、各ＶＲユーザ１０～１３は、それぞれ、別のＶＲシステム６００、６１０、６２０及び６３０を使ってＶＲ観光サービスに参加しているため、参加中は共通のＶＲ空間内でしか会話ができない。つまり、ＶＲ空間内でのＶＲユーザ１０～１３の発言は、全参加者間で共有されるため、プライベートな会話を行うことができない。
【0164】
ところで、ＶＲ観光システムではなく、ビジネス用のＷｅｂ会議システムの場合は、会議中に私的な会話は通常許されないので、そのような用途はあまりない。このためＴｅａｍｓ（登録商標）やＺｏｏｍ（登録商標）等のＷｅｂ会議システムでは、別の会議室に行って話すという「Ｂｒｅａｋｏｕｔ Ｒｏｏｍ」機能が提供されているが、同じ会議室で、特定グループ内での私的会話を行う機能はない。また、ＶＲＣｈａｔ等の３ＤＣＧで構成されたＶＲ空間での交流、会議システムでは、ＶＲ空間内の距離が近い人の声は大きく、遠い人の声は小さくなる等の機能はあるが、グループ内の私的会話機能は実装されていない。
【0165】
通常のリアルの団体旅行中に、同行者との私的な会話をできなくなる状況は起こらない。従ってＶＲ観光サービスでは、同一グループ内の会話のサポートが必要となる。その場合、ガイド２０やグループ外の旅行者には聞かれないようにすることが必要である。
【0166】
そこで、一緒に旅行する友達間との私的な会話をサポートできる機能が必要となり、このような機能をもつＶＲ観光システムを、実施例３に係るＶＲ観光システムとして、説明する。実施例３に係るＶＲ観光システムは、実施例２に係るＶＲ観光システム３に、課題（３）を解決する機能が追加されたシステムである。
【0167】
図１５は、実施例３に係るＶＲ観光システムの動作例を示す図である。より詳しくは、図１５の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０での表示例、ガイド２０のスマートフォン２１０及びガイド用リモコン２３０、ＶＲユーザ１０等のＶＲリモコン１０６を示す。
【0168】
図１５の（ｂ）は、本実施例における動作モード説明表４１１を示す。この動作モード説明表４１１は、実施例１における動作モード説明表４１０に「グループ音声会議へのミュート機能」の項目が追加されている。「グループ音声会議へのミュート機能」の項目に示されるように、「ＶＲシステムのミュート機能」が「Ｍｕｔｅ中」の場合には、「グループ音声会議へのミュート機能」は、「グループ会話可（Ｍｕｔｅ解除）」となり、「ＶＲシステムのミュート機能」が「Ｍｕｔｅ解除」の場合には、「グループ音声会議へのミュート機能」は、「Ｍｕｔｅ中」となる。
【0169】
図１５の（ｃ）は、本実施例に係るＶＲ音声会議部が有するユーザ管理テーブル３３１を示す。ユーザ管理テーブル３３１は、実施例２に係るユーザ管理テーブル３３０に、ＶＲユーザごとのグループＩＤ（「Ｇ－ＩＤ」）が追加された情報テーブルである。ユーザ管理テーブル３３１は、実施の形態の変形例２におけるグループ情報７１の一例である。
【0170】
ネット会議に参加中、参加者の一部と他の参加者や発表者に聞かれないようして、会話することはできないが、ネット会議参加中にミュートにして、自分の会話がネット会議に流れないようにした上で、別途Ｌｉｎｅ（登録商標）やＷｅＣｈａｔ（登録商標）等のチャットアプリを使うことで、一部参加者とのグループ通話が可能になる。しかし、ＰＣでネット会議に参加し、スマートフォン２１０でチャットアプリを起動するのは面倒であり、１つのＶＲ観光システムで両方の機能のサポートが望まれる。
【0171】
本実施例では、図４に示される動作例で説明したＶＲ観光システムをベースに、ＶＲユーザがＶＲ観光の申し込み時（参加時、参加中）に申請したグループ毎に、ＶＲクラウド内に別の音声会議を設定する機能を組み合わせることで、グループ内の私的会話を実現するものである。単に２つのシステムを組み合わせると、操作が複雑になったり、Ｍｕｔｅ部等を不適切に使うとグループ会話がＶＲ空間に漏れ出したりして、ガイド２０や他のＶＲユーザの迷惑になりかねない。
【0172】
そこで、本実施例では、図１５に示す動作例のように、ＶＲユーザ１０～１３が明示的にガイド２０への質問を行わない限り、ＶＲ空間内にＶＲユーザ１０～１３の声は伝わらない。つまり、「質問不可」及び「質問可」の状況では、グループ内の会話が、ＶＲ空間には共有されない（図１５の（ｂ）の「グループ音声会議へのミュート機能」が「グループ会話可（Ｍｕｔｅ解除）」）。つまり、グループ内会話のためには、ＶＲユーザの操作は全く不要である。一方、グループ内のＶＲユーザ１０等がガイド２０に質問するために、ガイド２０がガイド用リモコン２３０による操作で「質問中」にした場合のみ、ＶＲ観光システムが該当ユーザのグループ用音声会議がＭｕｔｅになる（図１５の（ｂ）の「グループ音声会議へのミュート機能」が「Ｍｕｔｅ中」）。
【0173】
本実施例のＶＲ観光システムを使えば、別の参加者にはグループ内の会話は全く聞こえないため、現実世界以上にプライバシーが守られた団体観光が可能になる。
【0174】
図１６は、実施例３に係るＶＲ観光システム４の詳細な構成を示すブロック図である。ＶＲ観光システム４は、実施例２に係るＶＲ観光システム３に、課題（３）を解決する機能が追加されたシステムであり、ＶＲシステム１００、１１０、１２０及び１３０と、ＶＲクラウド３００ｃと、ガイド用端末２１０等と、観測システム２００とを備える。
【0175】
ＶＲクラウド３００ｃでは、実施例２のＶＲクラウド３００ｂに、グループごとに音声会議を支援するグループ用音声会議部３４１ａ～３４１ｃと、ＶＲ観光及びグループ音声会議を管理するＶＲ観光サービス管理部３４０とが追加され、実施例２のユーザ管理テーブル３３０に代えて、グループＩＤが追加されたユーザ管理テーブル３３１が備えられている。グループ用音声会議部３４１ａ～３４１ｃは、実施の形態の変形例２におけるグループ音声会話部６４の一例であり、ＶＲ観光サービス管理部３４０は、実施の形態の変形例２における制御部６２ｂの一例である。
【0176】
また、ＶＲシステム１００、１１０、１２０及び１３０のＶＲ音声会議部１０５ａでは、実施例１及び実施例２のＶＲ音声会議部１０５の構成に、ＶＲクラウド３００ｃから送られてくる３６０度映像から３６０度映像と音声データとを分離するＡＶ分離部１８３と、分離された音声データを復号するＡｕｄｉｏ復号部１８４と、ＶＲクラウド３００ｃのグループ用音声会議部３４１ａ～３４１ｃから送られてくる音声データを復号するＡｕｄｉｏ復号部１８２ａと、Ａｕｄｉｏ復号部１８２ａ及びＡｕｄｉｏ復号部１８４で復号された２つの音声データを混合するＡｕｄｉｏ混合部１８２ｂと、混合された音声データをアナログの音声信号に変換してスピーカー１８２ｄに出力するＤ／Ａ変換器１８２ｃとが追加され、実施例１及び実施例３のＭｕｔｅ部１０８ｃに代えて、ＶＲ観光用のＭｕｔｅ処理を行う第１Ｍｕｔｅ部１８１及びグループ用音声会議部３４１ａ～３４１ｃとの間でのＭｕｔｅ処理を行う第２Ｍｕｔｅ部１８０が備えられている。なお、３６０度映像処理部１８６は、実施例１におけるＶＲ空間生成部１０３に相当する。
【0177】
つまり、本実施例に係るＶＲ観光システム４は、図５に示される実施例１に係るＶＲ観光システム２の構成例のＶＲクラウド３００内に、ユーザグループ毎に会話を実現するためのグループ用音声会議部３４１ａ～３４１ｃと、全体システムを管理するＶＲ観光サービス管理部３４０と、ユーザがどのグループに属するかを管理するためのユーザ管理テーブル３３１とを加えたものである。
【0178】
ＶＲクラウド３００ｃ内のＶＲユーザ１０～１３とガイド２０との会話を実現するＶＲ音声会議部３１０と、グループ間会話を実現するグループ用音声会議部３４１ａ～３４１ｃとは全く独立しており、ＶＲクラウド３００ｃ内で２つの機能が管理する音声データが混ざることはない。グループ用音声会議部３４１ａ～３４１ｃは、同一のＶＲ観光に参加しているグループ数分だけ、ユーザがＶＲシステム１００、１１０、１２０及び１３０を使ってＶＲ観光に参加する際に、ＶＲクラウド３００ｃで初期設定される。
【0179】
グループ用音声会議部３４１ａ～３４１ｃは、同一グループに属するＶＲユーザ１０等が利用する音声データを集めて、混合し、各ＶＲシステム１００、１１０、１２０及び１３０に戻すだけの簡単な構成を備える。また、ＶＲクラウド３００ｃのＶＲ音声会議部３１０、３６０度映像配信部３２０、ガイド用端末２１０等は、図５に示される実施例１に係るＶＲ観光システム２の構成例と全く同じ構成と機能を持つ。
【0180】
ＶＲシステム１００、１１０、１２０及び１３０は、図５に示される実施例１の構成要素に加え、ＶＲシステム１００、１１０、１２０及び１３０のマイク１０８から入力された音声データをグループ用音声会議部３４１ａ～３４１ｃに送る機能と、送る音声データに対してＭｕｔｅ制御を行う第２Ｍｕｔｅ部１８０が加えられている。また、ＶＲクラウド３００ｃから送られてくる３６０度映像データを受け、ＡＶ分離し、取り出した音声データとグループ用音声会議部３４１ａ～３４１ｃから送られるグループ内の音声会話データとを混合する機能が追加されている（ＡＶ分離部１８３、Ａｕｄｉｏ復号部１８４、Ａｕｄｉｏ復号部１８２ａ、Ａｕｄｉｏ混合部１８２ｂ、Ｄ／Ａ変換器１８２ｃ）。
【0181】
ＶＲシステム１００、１１０、１２０及び１３０には上記機能が追加されているが、グループ用音声会議部３４１ａ～３４１ｃに対するＶＲユーザ１０～１３の操作がないため、ＶＲユーザ１０～１３の操作は図５に示される実施例１と同様になる。ただし、ＶＲユーザが「質問中」にできるように、ガイド２０がガイド用リモコン２３０を操作した場合は、第１Ｍｕｔｅ部１８１のミュート機能が解除されると同時に、第２Ｍｕｔｅ部１８０のミュート機能が設定され、グループ用音声会議部３４１ａ～３４１ｃに該当ユーザの音声データは流れない。つまり、グループ内の他のＶＲユーザは、３６０度映像データに該当ユーザの音声データが含まれるため、ガイド２０との会話を聞き取ることができる。
【0182】
図１７は、実施例３に係るＶＲ観光システム４の動作フロー例（つまり、映像表示方法の具体例）を示す図である。より詳しくは、図１７の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０の動作フローを示し、図１７の（ｂ）は、ＶＲクラウド３００ｃの動作フローを示す。
【0183】
ＶＲシステム１００、１１０、１２０及び１３０のメイン処理は、実施例１及び実施例２と同じである（図示せず）。
【0184】
ＶＲシステム１００、１１０、１２０及び１３０におけるＶＲユーザからの入力の割り込み処理については、図６に示される実施例１のステップＳ３０～Ｓ４０において、ステップＳ３８及びＳ４０に代えて、それぞれ、ステップＳ３８ａ及びＳ４０ａとなり、新たに、ステップＳ１１０及びＳ１１１が追加された流れとなる。つまり、ガイダンス表示制御部１０９が表示モードを「質問中」に変え（Ｓ３７）、第１Ｍｕｔｅ部１８１がＭｕｔｅ解除に設定した場合には（Ｓ３８ａ）、第２Ｍｕｔｅ部１８０は、Ｍｕｔｅに設定する（Ｓ１１０）。また、ガイダンス表示制御部１０９が表示モードを「質問可」に変え（Ｓ３９）、第１Ｍｕｔｅ部１８１がＭｕｔｅに設定した場合には（Ｓ４０ａ）、第２Ｍｕｔｅ部１８０は、Ｍｕｔｅを解除する（Ｓ１１１）。
【0185】
また、ＶＲシステム１００、１１０、１２０及び１３０におけるＶＲクラウド３００ｃからの割り込み処理については、実施例１及び実施例２と同じである（図示せず）。
【0186】
ＶＲシステム１００、１１０、１２０及び１３０における初期設定については、図１７の（ａ）に示されるように、まず、ＶＲシステム１００、１１０、１２０及び１３０が装着される、ＶＲ観光サービスアプリが起動されるので（Ｓ１００）、ＶＲユーザは、ユーザＩＤ、パスワードを入力して（Ｓ１０１）、ＶＲクラウド３００に送信し（Ｓ１０２）、ＶＲクラウド３００からの返信を待つ（Ｓ１０３）。
【0187】
その結果、受信した返信がエラーの場合は（Ｓ１０４でＹ）、ステップＳ１０１に戻り、受信した返信が正常の場合は（Ｓ１０４でＮ）、ＶＲシステム１００、１１０、１２０及び１３０のメイン処理に移行する（Ｓ１０５）。
【0188】
一方、ＶＲクラウド３００ｃでは、メイン処理についは、実施例１及び実施例２と同じである（図示せず）。
【0189】
また、ＶＲクラウド３００ｃのログイン処理では、図１７の（ｂ）に示されるように、ＶＲ観光サービス管理部３４０は、まず、ＶＲシステム１００、１１０、１２０及び１３０から、ユーザＩＤ、パスワードを取得し（Ｓ９０）、本観光サービスの正規ユーザかどうかを確認する（Ｓ９１）。
【0190】
その結果、正規ユーザでない場合は（Ｓ９１でＮ）、ＶＲ観光サービス管理部３４０は、該当ＶＲシステム１００等にエラーを送信し（Ｓ９２）、ステップＳ９０に戻る。正規ユーザである場合は（Ｓ９１でＹ）、ＶＲ観光サービス管理部３４０は、ユーザ管理テーブル３３１から該当ユーザの値を取得する（Ｓ９３）。
【0191】
取得した該当ユーザが単独旅行者の場合は（Ｓ９５でＮ）、ステップＳ９９に飛ぶ。グループ旅行者の場合で、最初のＬｏｇｉｎ者の場合は（Ｓ９６でＮ）、ＶＲ観光サービス管理部３４０は、該当ユーザが参加するグループ用音声会議を起動（初期化）する（Ｓ９７）。
【0192】
グループ旅行者の場合で、最初のＬｏｇｉｎ者でない場合（Ｓ９６でＹ）、及び、ステップＳ９７を終えた場合には、ＶＲ観光サービス管理部３４０は、該当ユーザのＶＲシステム１００、１１０、１２０及び１３０を該当ユーザのグループ用音声会議と接続し（Ｓ９８）、観光サービスの利用準備が正常に終わったことを、該当ＶＲシステム１００、１１０、１２０及び１３０に送信して（Ｓ９９）、処理を終了する。
【0193】
以上のように、本実施例に係るＶＲ観光システム４により、参加者において一緒に旅行する友達間との私的な会話がサポートされ、上記課題（３）が解決される。
【0194】
（実施例３の変形例１）
次に、実施例３の変形例１を説明する。
次に、実施例３の変形例１を説明する。
【0195】
図１８は、実施例３の変形例１に係るＶＲ観光システム４ａの詳細な構成を示すブロック図である。ＶＲ観光システム４ａは、上記課題（３）（一緒に旅行する友達間との私的な会話をサポートできることが必要となる）を解決する２つ目の具体例に相当する。
【0196】
本変形例に係るＶＲ観光システム４ａは、図１６に示される実施例３に係るＶＲ観光システム４において、ＶＲシステム１００、１１０、１２０及び１３０のＶＲ音声会議部１０５にボリューム調整部１８７が追加された構成（つまり、ＶＲ音声会議部１０５ｂ）を備える。
【0197】
ボリューム調整部１８７は、実施の形態における制御部の機能のうち、グループ音声会話を支援しているときに、説明者から同一のグループに属する複数の参加者への音声、及び、グループ音声会話の音声の少なくとも一方の音量を調整するように、同一のグループに属する複数の参加者に対応する複数のＶＲシステムを制御する実施の形態の変形例２における制御部６２ｂの機能の一例である。
【0198】
具体的には、本変形例に係るＶＲ観光システム４ａは、ガイド２０の音声とグループ間会話の音声が混ざって聞き取りにくい場合に対応するために、図１６に示される実施例３に係るＶＲ観光システム４に、グループ用音声会議部３４１ａ～３４１ｃからの音声に対してボリューム調整するボリューム調整部１８７を追加した構成を備える。
【0199】
ＶＲユーザ１０～１３は、ｖｏｌｕｍｅ調整機能付ＶＲリモコン１０６ａを有しており、ｖｏｌｕｍｅ調整機能付ＶＲリモコン１０６ａのボリュームを変える操作等を行うことにより、グループ用音声会議部３４１ａ～３４１ｃからの音声のボリューム調整をできる。
【0200】
なお、ＶＲシステム１００、１１０、１２０及び１３０の構成、ＶＲシステム１００、１１０、１２０及び１３０及びＶＲクラウド３００ｃでの処理の動作フローは、実施例１と同一になる。
【0201】
以上のように、本変形例に係るＶＲ観光システム４ａであっても、ボリューム調整部１８７によって、参加者において一緒に旅行する友達間との私的な会話がサポートされ、上記課題（３）が解決される。
【0202】
（実施例４）
次に、上記課題（４）（外国旅行や外国人に対応するため、ＶＲ観光参加者への複数言語対応と複数ガイド対応が必要となる）を解決する具体例として、実施例４を説明する。
次に、上記課題（４）（外国旅行や外国人に対応するため、ＶＲ観光参加者への複数言語対応と複数ガイド対応が必要となる）を解決する具体例として、実施例４を説明する。
【0203】
課題（４）を解決する具体例を説明する前に、まず、課題（４）について、図を用いて、詳細に説明する。
【0204】
図１９は、図１Ａに示される参考例に係るＶＲ観光システム６５０に課題（４）の説明を追記した図である。ＶＲ観光システムにおいて、高解像度で臨場感の高いＶＲ観光体験を提供するためには、最低限、８Ｋ映像、できれば１１Ｋ映像の解像度をもつ撮影が必要になる。ただし、８Ｋ映像、１１Ｋ映像の撮影は、機材も大きく、映像の転送レートも高く、容量も大きい。このため撮影も配信も高価になる。このため、多くのＶＲユーザに利用して頂かないと、ＶＲ観光サービスが事業的に成り立たない。
【0205】
１回のＶＲ観光ツアーの参加者を増やすためには、使用言語の異なるＶＲユーザ１０～１３が参加しても、自分の言語でガイド２０の説明を受けることができれば、対象人数を増やすことができる。しかし、図１９に示されるように、参考例に係るＶＲ観光システム６５０では、ＶＲ観光に参加しているときには、共通のＶＲ空間内を共用するため、１つの言語でしかガイド２０や他のユーザとの会話ができない。つまり、ＶＲ空間内のＶＲユーザの利用言語は、全参加者間で共有利用されるため、ガイド２０の利用言語になり、複数の言語を同時にサポートすることができない。
【0206】
ＶＲ観光サービスの提供者の視点からは、複数のガイド２０を言語ごとに準備したり、同時通訳者を利用したりしてでも、複数言語のサービスを提供することで、利用者を増やしたいが、図１９に示される参考例に係るＶＲ観光システム６５０では、複数言語のガイド２０をサポートすることができないので、言語毎に別のツアーを編成する必要がある。
【0207】
そこで、外国旅行や外国人に対応するため、ＶＲ観光参加者への複数言語対応と複数ガイド対応が必要となり、このような機能をもつＶＲ観光システムを、実施例４に係るＶＲ観光システムとして、説明する。実施例４に係るＶＲ観光システムは、実施例１に係るＶＲ観光システム２に、課題（４）を解決する機能が追加されたシステムである。
【0208】
図２０は、実施例４に係るＶＲ観光システムによって実現したいユースケース、言い換えると、ＶＲ観光サービスの要求仕様を示す図である。より詳しくは、図２０の（ａ）は、海外の観光地でのＶＲ観光を日本のユーザに提供するケースの例を示す。日本のＶＲ観光サービス業者が、自社のガイド２０や撮影クルーをエジプト４２０ａまで派遣してＶＲ観光サービスを提供することにより、現地で英語による英語圏４２０ｃ向けのＶＲ観光サービスを行う業者と提携した上で、ガイド２０の利用言語を日本語に変えることができれば、より安く、効率的に日本人（日本４２０ｂ）向けのＶＲ観光サービスの種類を増やすことができる。
【0209】
図２０の（ｂ）は、日本４２１ａの観光地のＶＲ観光を海外に提供するケースの例を示す。会話する人の数が多い、英語、中国語、スペイン語の場合は、その言語単独でも、色々な国のＶＲ観光ユーザにリーチできる。しかし、ベトナム語（ベトナム４２１ｂ）やタイ語（タイ４２１ｃ）のような場合は、ある程度のユーザ数は期待できるが単独開催は難しいような場合でも、複数言語のサポートができれば、開催できる。
【0210】
図２１は、実施例４に係るＶＲ観光システム５の概略構成図である。ＶＲ観光システム５は、実施例１に係るＶＲ観光システム２に、課題（４）を解決する機能が追加されたシステムであり、ＶＲシステム１００、１１０、１２０及び１３０と、ＶＲクラウド３００ｄと、第１ガイド用端末２１０ａ等と、第２ガイド用端末２１０ｂ等と、観測システム２００とを備える。
【0211】
第１ガイド用端末２１０ａ等は、説明を第１言語で行う第１説明者である日本語ガイド２０ａとの音声による入出力を行う実施の形態の変形例３における第１説明者端末４０ａの一例であり、第１言語に対応したスマートフォン２１０ａ、ヘッドセット２２０ａ、及び、ガイド用リモコン２３０ａで構成される。
【0212】
第２ガイド用端末２１０ｂ等は、説明を第２言語で行う第２説明者である英語ガイド２０ｂとの音声による入出力を行う実施の形態の変形例３における第２説明者端末４０ｂの一例であり、第２言語に対応したスマートフォン２１０ｂ、ヘッドセット２２０ｂ、及び、ガイド用リモコン２３０ｂで構成される。
【0213】
ＶＲクラウド３００ｄは、第１ＶＲ音声会議部３１０ｂ、第２ＶＲ音声会議部３１０ｃ、ユーザ管理テーブル３３０ａ、ガイド言語管理テーブル３３２、及び、３６０度映像配信部３２０ｃを備える。
【0214】
第１ＶＲ音声会議部３１０ｂは、複数のＶＲシステム及び第１説明者端末を介して参加者と第１説明者との音声会話を支援する実施の形態の変形例３における第１音声会話部の一例である。第２ＶＲ音声会議部３１０ｃは、複数のＶＲシステム及び第２説明者端末を介して参加者と第２説明者との音声会話を支援する実施の形態の変形例３における第２音声会話部の一例である。
【0215】
ユーザ管理テーブル３３０ａは、図２１に示されるように、ＶＲユーザ（「Ｕｓｅｒ－ＩＤ」）ごとに、ＶＲユーザが使用する言語（「Ｌａｎｇｕａｇｅ」）及び対応するガイドのガイドＩＤ（「Ｇｕｉｄ－ＩＤ」）を記録した情報テーブルである。ガイド言語管理テーブル３３２は、ガイドＩＤ（「Ｇｕｉｄ－ＩＤ」）ごとに、そのガイドが使用する言語（「Ｌａｎｇｕａｇｅ」）を記録した情報テーブルである。
【0216】
より詳しくは、図２１に示される実施例４に係るＶＲ観光システム５の構成例は、図３に示される実施例１に係るＶＲ観光システム２の概略構成とほぼ同じである。主な違いは、Ａ）ＶＲクラウド３００ｄ内に日本語ガイド２０ａ及び英語ガイド２０ｂ毎にＶＲ音声会議部（第１ＶＲ音声会議部３１０ｂ及び第２ＶＲ音声会議部３１０ｃ）を持ち、音声データを３６０度映像配信部３２０に送らないで、すべてＶＲ音声会議部（第１ＶＲ音声会議部３１０ｂ及び第２ＶＲ音声会議部３１０ｃ）を使って送ることと、Ｂ）ＶＲクラウド３００ｄは、ユーザ管理テーブル３３０ａを持ち、ＶＲユーザがＶＲ観光サービスを利用開始する際に、自分の言語に会った日本語ガイド２０ａ又は英語ガイド２０ｂのサービスを受けられるように各ＶＲユーザを適切な第１ＶＲ音声会議部３１０ｂ又は第２ＶＲ音声会議部３１０ｃに接続する手段を持つことである。
【0217】
本実施例では、日本語ガイド２０ａ及び英語ガイド２０ｂの写る３６０度映像は共用されるが、音声制御は独立しており、日本語ガイド２０ａ及び英語ガイド２０ｂのそれぞれが、自分のＶＲユーザ１０等のＶＲシステム１００等の操作を行う。ＶＲユーザ１０～１３からは、各ＶＲ空間が独立しているように見え、例えば、日本語ユーザには英語ガイド２０ｂや英語ユーザの存在を全く知ることができない。
【0218】
図２２は、実施例４に係るＶＲ観光システム５が実現するユースケースの例を示す図である。より詳しくは、図２２の（ａ）は、海外（エジプト４２２ａ）の観光地の英語ガイドによるＶＲ観光を、英語圏４２２ｃのＶＲユーザだけでなく、日本４２２ｂのＶＲユーザにも提供するケースを示し、図２２の（ｂ）は、日本４２３ａの観光地でのベトナム語ガイド及びタイ語ガイドによるＶＲ観光を海外（ベトナム４２３ｂ及びタイ４２３ｃ）のＶＲユーザに提供するケースを示す。
【0219】
図２２の（ａ）及び（ｂ）に示されるように、各ケースにおいて、２人のガイド（日本語ガイド２０ａ及び英語ガイド２０ｂ、ベトナム語ガイド２０ａ１及びタイ語ガイド２０ｂ１）が、それぞれの言語で解説することができれば、図２０の（ａ）及び（ｂ）で説明した実現したいユースケースは実現可能になる。
【0220】
図２３は、実施例４に係るＶＲ観光システム５におけるＶＲシステム１００、１１０、１２０及び１３０で見える視界の例を示す図である。ここでは、３６０度映像内に２人のガイド（ベトナム語ガイド２０ａ１及びタイ語ガイド２０ｂ１）がいる場合（日本４２４ａのＶＲ観光）における、各ガイドのユーザの視界（ベトナム語ユーザの視界４２４ｂ（図２３の（ｂ））、タイ語ユーザの視界４２４ｃ（図２３の（ｃ）））例が示されている。
【0221】
３６０度映像の場合は、映像の境界となるフレームが無いため、撮影者は、ガイド（ベトナム語ガイド２０ａ１及びタイ語ガイド２０ｂ１）の位置を気にしなくても撮影できる。また、ＶＲユーザ１０～１３は３６０度内のどの範囲でも見ることができる。このため、図２３の（ａ）に示されるように、通常のカメラ撮影のようにフレームを切ると、２人ともオフセンタの位置に置かれ、違和感があるが、それぞれの言語のＶＲユーザは、自分の言語のガイド（ベトナム語ガイド２０ａ１又はタイ語ガイド２０ｂ１）しか気にしないため、図２３の（ｂ）及び（ｃ）に示されるように、視界の中心に、それぞれ、ベトナム語ガイド２０ａ１及びタイ語ガイド２０ｂ１を置くことができ、違和感がない。このため、２人のガイドがそれぞれの言語で説明し、映像を共用することで、ＶＲユーザ１０～１３は自分の言語にあったガイド２０との会話や説明を得ることができ、ＶＲ観光体験の価値が向上する。
【0222】
図２４は、実施例４に係るＶＲ観光システム５の詳細な構成を示すブロック図である。ＶＲシステム１００、１１０、１２０及び１３０のＶＲ音声会議部１０５ａは、実施例３のものと同一である。第１ＶＲ音声会議部３１０ｂ及び第２ＶＲ音声会議部３１０ｃは、いずれも、実施例１におけるＶＲ音声会議部３１０と同じ構成を備える。日本語ガイド２０ａが使用する第１ガイド用端末２１０ａ等及び英語ガイド２０ｂが使用する第２ガイド用端末２１０ｂ等が備えるＶＲ音声会議部２５０は、いずれも、実施例１におけるＶＲ音声会議部２５０と同じ構成を備える。
【0223】
つまり、実施例４に係るＶＲ観光システム５は、図５に示されるＶＲ観光システム２又は図１２に示されるＶＲ観光システム３の構成とほぼ同じ構成を備えるが、ＶＲクラウド３００ｄで異なる点は、３６０度映像配信部３２０を共有する２つのＶＲ音声会議部（第１ＶＲ音声会議部３１０ｂ及び第２ＶＲ音声会議部３１０ｃ）によって、独立した２つのＶＲ観光サービスを実現している点である。
【0224】
ガイド用端末（第１ガイド用端末２１０ａ等及び第２ガイド用端末２１０ｂ等）のいずれも、それぞれ、構成、機能、ガイドの操作ともに、図５に示される実施例１のガイド用端末２１０等と同様である。
【0225】
ＶＲクラウド３００ｄのＶＲ音声会議部（第１ＶＲ音声会議部３１０ｂ及び第２ＶＲ音声会議部３１０ｃ）のいずれも、構成、機能ともに、図５に示される実施例１のＶＲ音声会議部３１０と同様である。
【0226】
ＶＲシステム１００、１１０、１２０及び１３０のＶＲ音声会議部１０５ａは、ＶＲクラウド３００ｄのＶＲ音声会議（第１ＶＲ音声会議部３１０ｂ及び第２ＶＲ音声会議部３１０ｃ）から来る音声を、３６０度映像の音声と合成する手段が追加された以外は、機能、ＶＲユーザ１０～１３の操作も、図５に示される実施例１のＶＲ音声会議部１０５と同様である。
【0227】
実施例１との違いは、ＶＲクラウド３００ｄ内に、ＶＲ観光サービス管理部３４０とユーザ管理テーブル３３１が新設され、ＶＲユーザ１０～１３がＶＲ観光サービスを利用開始する際に、ＶＲ観光サービス管理部３４０によって、自分の言語に会ったガイドのサービスを受けられるように各ＶＲユーザを適切なＶＲ音声会議部（第１ＶＲ音声会議部３１０ｂ及び第２ＶＲ音声会議部３１０ｃ）に接続する点である。ＶＲ観光サービス管理部３４０は、実施の形態の変形例３における制御部６２ｃの一例であり、ユーザ管理テーブル３３１は、実施の形態の変形例３における言語情報７２の一例である。
【0228】
図２５は、実施例４に係るＶＲ観光システム５の動作フロー例（つまり、映像表示方法の具体例）を示す図である。より詳しくは、図２５の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０の動作フローを示し、図２５の（ｂ）は、ＶＲクラウド３００ｄの動作フローを示す。
【0229】
各ＶＲシステム１００、１１０、１２０及び１３０では、メイン処理、ＶＲユーザからの入力の割り込み処理、及び、ＶＲクラウド３００ｄからの割り込み処理については、実施例１及び実施例２と同じである（図示せず）。
【0230】
また、ＶＲシステム１００、１１０、１２０及び１３０においてＶＲユーザがＶＲ観光の利用を開始する初期設定処理（図２５の（ａ））については、図１７の（ｂ）に示される実施例３の動作フロー（Ｓ１００～Ｓ１０５）と同一であり、その説明を省略する。
【0231】
また、ＶＲクラウド３００ｄでは、メイン処理は、実施例１及び実施例２と同じである（図示せず）。
【0232】
ＶＲクラウド３００ｄでは、ログイン処理として、図２５の（ｂ）に示されるように、ＶＲ観光サービス管理部３４０は、まず、ＶＲシステム１００等から、ユーザＩＤ、パスワードを取得し（Ｓ１４０）、本観光サービスの正規ユーザかどうかを確認する（Ｓ１４１）。
【0233】
正規ユーザでない場合は（Ｓ１４１でＮ）、該当ＶＲシステム１００等にエラーを送信し（Ｓ１４２）、ステップＳ１４０に戻る。正規ユーザである場合は（Ｓ１４１でＹ）、ＶＲ観光サービス管理部３４０は、ユーザ管理テーブル３３０から該当ユーザの値を取得する（Ｓ１４３）。
【0234】
該当ユーザの言語選択が、第１ガイドの言語（例えば、日本語ガイド２０ａの言語（日本語））と同じ場合は（Ｓ１４５でＹ）、ＶＲ観光サービス管理部３４０は、該当ユーザのＶＲシステム１００等を第１ＶＲ音声会議部３１０ｂと接続し（Ｓ１４５ａ）、ステップＳ１４９に飛ぶ。
【0235】
一方、該当ユーザの言語選択が、第２ガイドの言語（例えば、英語ガイド２０ｂの言語（英語））と同じ場合は（Ｓ１４６でＹ）、ＶＲ観光サービス管理部３４０は、該当ユーザのＶＲシステム１１０等を第２ＶＲ音声会議部３１０ｃと接続し（Ｓ１４７）、観光サービスの利用準備が正常に終わったことを該当ＶＲシステム１００等に送信し（Ｓ１４９）、処理を終了する。
【0236】
該当ユーザの言語選択が、第１ガイドの言語でもなく（Ｓ１４５でＮ）、第２ガイドの言語でもない場合には（Ｓ１４６でＮ）、ＶＲ観光サービス管理部３４０は、デフォルト言語選択処理を実行し（Ｓ１４８）、ステップＳ１４５に戻る。
【0237】
デフォルト言語選択処理（Ｓ１４８）では、例えば、ＶＲ観光サービス管理部３４０は、Ａ）該当ユーザに、第１ガイドの言語（例えば、日本語ガイド２０ａの言語（日本語））又は第２ガイドの言語（例えば、英語ガイド２０ｂの言語（英語））を選択させる、あるいは、Ｂ）第１ガイド又は第２ガイドの言語が英語の場合は、英語を選択する、あるいは、Ｃ）第１ガイドの言語（例えば、日本語ガイド２０ａの言語（日本語））を選択する。
【0238】
以上のように、本実施例に係るＶＲ観光システム５により、参加者に対して複数言語による対応と複数ガイドによる対応が実現され、記課題（４）が解決される。
【0239】
（実施例４の変形例１）
次に、実施例４の変形例１を説明する。
次に、実施例４の変形例１を説明する。
【0240】
図２６は、実施例４の変形例１に係るＶＲ観光システム５ａの概略構成図である。ＶＲ観光システム５ａは、上記課題（４）（外国旅行や外国人に対応するため、ＶＲ観光参加者への複数言語対応と複数ガイド対応が必要となる）を解決する２つ目の具体例に相当する。
【0241】
ＶＲ観光システム５ａは、ガイドに付き添う日英同時通訳者を含むＶＲ観光に対応したシステムであり、図２１に示される実施例４に係るＶＲ観光システム５の構成において、第２ガイド用端末２１０ｂに代えて、日英同時通訳者２０ｃ用の第３ガイド用端末２１０ｃを備え、かつ、ＶＲクラウド３００ｅに音声切替部３５０が追加された構成を備える。第３ガイド用端末２１０ｃは、日英同時通訳者２０ｃ用のスマートフォン２１０ｃ、及びヘッドセット２２０ｃで構成される。音声切替部３５０は、第２説明者からの音声を第２言語に対応づけられた参加者に出力することと、第１説明者及び第１言語に対応づけられた参加者に出力することとを切り替える実施の形態における音声切替部６５の一例である。
【0242】
図２１に示される実施例４に係るＶＲ観光システム５では、日本語ＶＲ空間と英語ＶＲ空間が全く別個に存在し、それぞれのガイド２０が、自分の担当ＶＲユーザ１０～１３をサポートしていた。本変形例では、言語空間は２つ別個であるが、日本語ガイド２０ａが、すべてのＶＲユーザ１０～１３に対して指示を出し、一方、日英同時通訳者２０ｃは、同時通訳サービスを提供するだけで、ＶＲユーザ１０～１３への指示は出せない構成となっている。
【0243】
日本語ガイド２０ａは、ＶＲユーザに日本語ユーザグループと英語ユーザグループとが含まれることを意識して、参考例に係るＶＲ観光システム６５０の「質問不可」と「質問可」の表示モードに、２つのユーザグループの区別が必要になり、「質問不可」、「日本語ユーザグループの質問可」、「英語ユーザグループの質問可」の３つの指示が必要になる。
【0244】
日本語ユーザからも、英語ユーザからも、日本語ガイド２０ａのみが意識され、日英同時通訳者２０ｃの存在は明示的には見えない。しかし、それぞれの言語グループ毎に音声制御は独立しており、日本語ユーザも英語ユーザもお互いの存在は分かるが、違う言語を話していることを意識する必要がない。
【0245】
図２７は、実施例４の変形例１に係るＶＲ観光システム５ａが実現するユースケースの例を示す図である。より詳しくは、図２７の（ａ）は、海外（エジプト４２５ａ）の観光地での英語ガイドによるＶＲ観光を、英語圏４２５ｃのＶＲユーザだけでなく、日英同時通訳者を介して日本４２５ｂのＶＲユーザにも提供するケースを示し、図２７の（ｂ）は、日本４２６ａの観光地でのタイ語ガイドによるＶＲ観光を海外のＶＲユーザ（タイ４２６ｃのＶＲユーザだけでなく、タイ語－ベトナム語同時通訳者を介してベトナム４２６ｂのＶＲユーザ）に提供するケースを示し、図２７の（ｃ）は、海外（エジプト４２７ａ）の観光地での英語ガイドによるＶＲ観光を、英語圏４２７ｃのＶＲユーザだけでなく、日英同時通訳者を介して日本４２７ｂのＶＲユーザにも提供し、英語－ベトナム語同時通訳者を介してベトナム４２７ｄのＶＲユーザにも提供するケースを示す。
【0246】
【0247】
図２８は、実施例４の変形例１に係るＶＲ観光システム５ａが備える音声切替部３５０の機能を説明する図である。より詳しくは、図２８の（ａ）は、ＶＲ観光サービス管理部３４０が管理する各ＶＲユーザの状態の遷移を示す状態遷移図４１５を示し、図２８の（ｂ）は、図２８の（ａ）に示される各状態を説明する動作モード説明表４１１を示し、図２８の（ｃ）は、音声切替部３５０の構成例を示し、図２８の（ｄ）は、状態「全員質問不可」４１５ａ・状態「ガイドユーザ質問可」４１５ｂ・状態「通訳ユーザ質問可」４１５ｄでの音声切替部３５０の動作状態を示し、図２８の（ｅ）は、状態「ガイドユーザ質問中」４１５ｃでの音声切替部３５０の動作状態を示し、図２８の（ｅ）は、状態「通訳ユーザ質問中」４１５ｅでの音声切替部３５０の動作状態を示す。
【0248】
図２８の（ａ）に示される状態遷移図４１５において、実線矢印は、日本語ガイド２０ａが「質問不可」を指示した場合の遷移を示し、破線矢印は、日本語ガイド２０ａが日本語ガイド２０ａに対して「質問可」を指示した場合の遷移を示し、点線矢印は、日本語ガイド２０ａが日英同時通訳者２０ｃに対して「質問可」を指示した場合の遷移を示す。
【0249】
図２８の（ｂ）に示される動作モード説明表４１１において、「状態」は、図２８の（ａ）に示される状態４１５ａ～４１５ｅを示し、「ガイドの指示」は、日本語ガイド２０ａの指示を示し、「ＶＲの表示状態（Ｇｕｉｄｅ）」は、日本語ガイド２０ａを選択しているＶＲユーザのＶＲシステムでの表示モードを示し、「ＶＲの表示状態（ＳＩ）」は、日英同時通訳者２０ｃを選択しているＶＲユーザのＶＲシステムでの表示モードを示し、「ＶＲのミュート機能（Ｇ）」は、日本語ガイド２０ａを選択しているＶＲユーザのミュート状態を示し、「ＶＲのミュート機能（ＳＩ）」は、日英同時通訳者２０ｃを選択しているＶＲユーザのＭｕｔｅ状態を示し、「ＳＩのマイクの接続先」は、日英同時通訳者２０ｃのマイクの接続となるＶＲユーザを示す。なお、「ＧＵ」は、日本語ガイド２０ａを意味し、「ＳＩ」は、日英同時通訳者２０ｃを意味する。
【0250】
動作モード説明表４１１に示されるように、状態「全員質問不可」４１５ａは、「ガイドの指示」が「質問不可」の場合に対応し、このときは、「ＶＲの表示状態（Ｇｕｉｄｅ）」は「質問不可」となり、「ＶＲの表示状態（ＳＩ）」は「質問不可」となり、「ＶＲのミュート機能（Ｇ）」は「Ｍｕｔｅ中」となり、「ＶＲのミュート機能（ＳＩ）」は「Ｍｕｔｅ中」となり、「ＳＩのマイクの接続先」は日英同時通訳者２０ｃを選択しているＶＲユーザ向けとなる（図２８の（ｄ））。
【0251】
状態「ガイドユーザ質問可」４１５ｂは、「ガイドの指示」が日本語ガイド２０ａに対して「質問可」で、かつ、「ＶＲの表示状態（Ｇｕｉｄｅ）」が「質問可」の場合に対応し、このときは、「ＶＲの表示状態（ＳＩ）」は「質問不可」となり、「ＶＲのミュート機能（Ｇ）」は「Ｍｕｔｅ中」となり、「ＶＲのミュート機能（ＳＩ）」は「Ｍｕｔｅ中」となり、「ＳＩのマイクの接続先」は日英同時通訳者２０ｃを選択しているＶＲユーザ向けとなる（図２８の（ｄ））。
【0252】
状態「ガイドユーザ質問中」４１５ｃは、「ガイドの指示」が日本語ガイド２０ａに対して「質問可」で、かつ、「ＶＲの表示状態（Ｇｕｉｄｅ）」が「質問中」の場合に対応し、このときは、「ＶＲの表示状態（ＳＩ）」は「質問不可」となり、「ＶＲのミュート機能（Ｇ）」は「Ｍｕｔｅ解除」となり、「ＶＲのミュート機能（ＳＩ）」は「Ｍｕｔｅ中」となり、「ＳＩのマイクの接続先」は日英同時通訳者２０ｃを選択しているＶＲユーザ向けとなる（図２８の（ｅ））。
【0253】
状態「通訳ユーザ質問可」４１５ｄは、「ガイドの指示」が日英同時通訳者２０ｃに対して「質問可」で、かつ、「ＶＲの表示状態（Ｇｕｉｄｅ）」が「質問不可」で、かつ、「ＶＲの表示状態（ＳＩ）」が「質問可」の場合に対応し、このときは、「ＶＲのミュート機能（Ｇ）」は「Ｍｕｔｅ中」となり、「ＶＲのミュート機能（ＳＩ）」は「Ｍｕｔｅ中」となり、「ＳＩのマイクの接続先」は日英同時通訳者２０ｃを選択しているＶＲユーザ向けとなる（図２８の（ｄ））。
【0254】
状態「通訳ユーザ質問中」４１５ｅは、「ガイドの指示」が日英同時通訳者２０ｃに対して「質問可」で、かつ、「ＶＲの表示状態（Ｇｕｉｄｅ）」が「質問不可」で、かつ、「ＶＲの表示状態（ＳＩ）」が「質問中」の場合に対応し、このときは、「ＶＲのミュート機能（Ｇ）」は「Ｍｕｔｅ中」となり、「ＶＲのミュート機能（ＳＩ）」は「Ｍｕｔｅ解除」となり、「ＳＩのマイクの接続先」は日本語ガイド２０ａを選択しているＶＲユーザ向けとなる（図２８の（ｆ））。
【0255】
図２９は、実施例４の変形例１に係るＶＲ観光システム５ａの詳細な構成を示すブロック図である。ＶＲ観光システム５ａは、図２４に示される実施例４に係るＶＲ観光システム５の構成において、第２ガイド用端末２１０ｂに代えて、日英同時通訳者２０ｃ用の第３ガイド用端末２１０ｃを備え、かつ、ＶＲクラウド３００ｅに音声切替部３５０が追加された構成を備える。
【0256】
つまり、本変形例に係るＶＲ観光システム５ａは、図２４に示される実施例１と同等の構成をとる。主な違いは、図２８で説明したように、ガイド指示の種類が２つから３に増えることと、日英同時通訳者２０ｃは指示を出すことができないことと、３つのガイド指示とＶＲユーザ１０～１３の操作との組合せで５つの状態があること、及び、その状態に応じて、ＶＲ観光サービス管理部３４０によって、ＶＲクラウド３００ｅの音声切替部３５０の動作が変化することである。
【0257】
図３０は、実施例４の変形例１に係るＶＲ観光システム５ａの動作フロー例（つまり、映像表示方法の具体例）を示す図である。より詳しくは、図３０の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０の動作フローを示し、図３０の（ｂ）は、ＶＲクラウド３００ｅの動作フローを示す。
【0258】
各ＶＲシステム１００、１１０、１２０及び１３０では、メイン処理、ＶＲユーザからの入力の割り込み処理、及び、ＶＲクラウド３００ｅからの割り込み処理については、実施例４と同じである（図示せず）。
【0259】
また、ＶＲシステム１００、１１０、１２０及び１３０においてＶＲユーザがＶＲ観光の利用を開始する初期設定処理（図３０の（ａ））については、図１７の（ｂ）に示される実施例３の動作フロー（Ｓ１００～Ｓ１０５）と同一であり、その説明を省略する。
【0260】
ＶＲクラウド３００ｅでは、メイン処理として、図３０の（ｂ）に示されるように、ＶＲ観光サービス管理部３４０は、スマートフォン２１０のＡＰＰやガイド用リモコン２３０等から「ガイドの指示」（「質問不可」への遷移、「質問可ＧＵ」、「質問可ＩＵ」への遷移）を受け付ける（Ｓ１８０）。
【0261】
そして、ＶＲ観光サービス管理部３４０は、受け付けた「ガイドの指示」を判定し、下記の３つの処理に振り分ける。
【0262】
つまり、「ガイドの指示」が「質問可ＧＵ」の場合は（Ｓ１８１でＹ）、ＶＲ観光サービス管理部３４０は、「ガイドの指示」を「質問可ＧＵ」に設定し（Ｓ１８５）、ＧＵの全ＶＲシステム１００等に通知し（Ｓ１８６）、ＩＵの全ＶＲシステム１１０等に「質問不可」を通知して（Ｓ１８７）、ステップＳ１８０に戻る。
【0263】
また、「ガイドの指示」が「質問可ＩＵ」の場合は（Ｓ１８２でＹ）、ＶＲ観光サービス管理部３４０は、「ガイドの指示」を「質問可ＩＵ」に設定し（Ｓ１９０）、ＩＵの全ＶＲシステム１１０等に通知し（Ｓ１９１）、ＧＵの全ＶＲシステム１００等に「質問不可」を通知して（Ｓ１９２）、ステップＳ１８０に戻る。
【0264】
「ガイドの指示」が「質問可ＧＵ」でもなく（Ｓ１８１でＮ）、「質問可ＩＵ」でもない場合は（Ｓ１８２でＮ）、ＶＲ観光サービス管理部３４０は、「ガイドの指示」を「質問不可」に設定し（Ｓ１８３）、全ＶＲシステム１００等に通知して（Ｓ１８４）、ステップＳ１８０に戻る。
【0265】
また、ＶＲクラウド３００ｅでは、ログイン処理として、図３０の（ｂ）に示されるように、ＶＲ観光サービス管理部３４０は、ＶＲシステム１００、１１０、１２０及び１３０から、ユーザＩＤ、パスワードを取得し、本観光サービスの正規ユーザかどうかを確認する（Ｓ１６０）。
【0266】
正規ユーザでない場合は（Ｓ１６１でＮ）、ＶＲ観光サービス管理部３４０は、該当ＶＲシステム１００等にエラーを送信し（Ｓ１６２）、ステップＳ１６０に戻る。正規ユーザである場合は（Ｓ１６１でＹ）、ＶＲ観光サービス管理部３４０は、ユーザ管理テーブル３３０ａから該当ユーザの値を取得する（Ｓ１６３）。
【0267】
取得したユーザの言語選択が第１ガイドの言語（日本語ガイド２０ａの言語（日本語））と同じ場合は（Ｓ１６５でＹ）、ＶＲ観光サービス管理部３４０は、該当ユーザのＶＲシステム１００等を第１ＶＲ音声会議部３１０ｂと接続し（Ｓ１６６）、ステップＳ１７０に飛ぶ。
【0268】
一方、取得したユーザの言語選択が、日英同時通訳者２０ｃの言語と同じ場合は（Ｓ１６７でＹ）、ＶＲ観光サービス管理部３４０は、該当ユーザのＶＲシステム１００等を第２ＶＲ音声会議部３１０ｃと接続し（Ｓ１６８）、ステップＳ１７０に飛ぶ。
【0269】
取得したユーザの言語選択が第１ガイドの言語（日本語ガイド２０ａの言語（日本語））と同じではなく（Ｓ１６５でＮ）、かつ、日英同時通訳者２０ｃの言語と同じでない場合は（Ｓ１６７でＮ）、ＶＲ観光サービス管理部３４０は、デフォルト言語選択処理を実行し（Ｓ１６９）、ステップＳ１６５に戻る。
【0270】
該当ユーザのＶＲシステム１００等を第１ＶＲ音声会議部３１０ｂ又は第２ＶＲ音声会議部３１０ｃと接続した後（Ｓ１６６、Ｓ１６８）、ＶＲ観光サービス管理部３４０は、観光サービスの利用準備が正常に終わったことを、該当ＶＲシステム１００等に送信して（Ｓ１７０）、処理を終了する。
【0271】
デフォルト言語選択処理（Ｓ１６９）では、例えば、ＶＲ観光サービス管理部３４０は、Ａ）該当ユーザに、第１ガイドの言語（例えば、日本語ガイド２０ａの言語（日本語））又は同時通訳者の言語（例えば、日英同時通訳者２０ｃの言語（英語））を選択させる、あるいは、Ｂ）第１ガイド又は第２ガイドの言語が英語の場合は、英語を選択する、あるいは、Ｃ）第１ガイドの言語（例えば、日本語ガイド２０ａの言語（日本語））を選択する。
【0272】
以上のように、本変形例に係るＶＲ観光システム５ａであっても、同時通訳者によって複数の言語に対応した説明及び会話がサポートされ、上記課題（４）が解決される。
【0273】
（実施例４の変形例２）
次に、実施例４の変形例２を説明する。
次に、実施例４の変形例２を説明する。
【0274】
図３１は、実施例４の変形例２に係るＶＲ観光システム５ｂの概略構成図である。ＶＲ観光システム５ｂは、上記課題（４）（外国旅行や外国人に対応するため、ＶＲ観光参加者への複数言語対応と複数ガイド対応が必要となる）を解決する３つ目の具体例に相当する。
【0275】
ＶＲ観光システム５ｂは、機械翻訳の機能をもつＶＲ観光に対応したシステムであり、図３に示される実施例１に係るＶＲ観光システム２の構成において、ＶＲクラウド３００ｆのＶＲ音声会議部３１０ｄに、機械翻訳部３６０、機械翻訳管理テーブル３３３、及び、ユーザ管理テーブル３３０ｂが追加された構成を備える。
【0276】
機械翻訳部３６０は、第１言語と第２言語との間で機械翻訳をする実施の形態における機械翻訳部６６ａ～６６ｂの一例である。機械翻訳管理テーブル３３３は、実施の形態における機械翻訳管理情報７３の一例であり、機械翻訳部３６０がもつ複数の翻訳処理モジュールのそれぞれのＩＤ（翻訳処理モジュールＩＤ「ＭＴ－ＩＤ」）ごとに、翻訳元の第１言語（「Ｌａｎｇｕａｇｅ－Ｓ」）と翻訳先の第２言語（「Ｌａｎｇｕａｇｅ－Ｄ」）との対応を記録した情報テーブルである。ユーザ管理テーブル３３０ｂは、実施の形態における言語情報７２の一例であり、ガイドが使用する言語（「Ｇｕｉｄｅ Ｌａｎｇｕａｇｅ」）、デフォルト言語（「Ｄｅｆａｕｌｔ Ｌａｎｇｕａｇｅ」）、ＶＲユーザ（「Ｕｓｅｒ－ＩＤ」）ごとの使用言語（「Ｌａｎｇｕａｇｅ」）、ガイドに向けた翻訳処理モジュールＩＤ（「ＭＴ－ＩＤ－Ｓ」）、ＶＲユーザに向けた翻訳処理モジュールＩＤ（「ＭＴ－ＩＤ－Ｄ」）を記録した情報テーブルである。
【0277】
図３１に示されるように、本変形例に係るＶＲ観光システム５ｂは、図３に示される実施例１に係るＶＲ観光システム２の概略構成図とほぼ同じ構成を備えるが、ＶＲクラウド３００ｆのＶＲ音声会議部３１０ｄに、機械翻訳部３６０と各ＶＲユーザ１０～１３毎に利用する機械翻訳手段を選ぶための機械翻訳管理テーブル３３３とユーザ管理テーブル３３０ｂを持つ。
【0278】
本変形例では、ガイドが、日本語ガイド２０ａであるために、ユーザ管理テーブル３３０ｂに示されるように、ＶＲユーザ０００００１～０００００３までは日本語ユーザのため、機械翻訳は利用しない。ＶＲユーザ０００００４とＶＲユーザ０００００５は英語ユーザのため、日英翻訳の翻訳処理モジュール（ＭＴ－ＩＤが０１と０２）を利用する。ＶＲユーザ０００００６は仏語ユーザであるが、機械翻訳部３６０には仏語－日本語翻訳機能がないため、デフォルト言語の英語が選ばれ、ＶＲユーザ０００００４及びＶＲユーザ０００００５と同じ設定になる。ＶＲユーザ０００００８も、機械翻訳部３６０がタイ語に対応していないため、ＶＲユーザ０００００６と同じ日英翻訳が選択される。ＶＲユーザ０００００７は中国語ユーザであり、日中翻訳の翻訳処理モジュール（ＭＴ－ＩＤが０５と０６）が選択される。
【0279】
このようなＶＲ観光システム５ｂを使うことにより、日本語ユーザからも、外国語ユーザからも、機械翻訳の精度の問題が存在する可能性があるものの、ガイド付きのＶＲ観光が、自分の言語もしくはデフォルト言語で体験することができる。
【0280】
図３２は、実施例４の変形例２に係るＶＲ観光システム５ｂが実現するユースケースの例を示す図である。より詳しくは、図３２の（ａ）は、海外（エジプト４２８ａ）の観光地での英語ガイドによるＶＲ観光を、英語圏４２８ｃのＶＲユーザだけでなく、機械翻訳部３６０を介して日本４２８ｂのＶＲユーザにも提供するケースを示し、図３２の（ｂ）は、日本４２９ａの観光地でのタイ語ガイドによるＶＲ観光を海外のＶＲユーザ（タイ４２９ｃのＶＲユーザだけでなく、機械翻訳部３６０を介してベトナム４２９ｂのＶＲユーザ）に提供するケースを示し、図３２の（ｃ）は、海外（エジプト４３０ａ）の観光地での英語ガイドによるＶＲ観光を、英語圏４３０ｄのＶＲユーザだけでなく、機械翻訳部３６０を介して日本４３０ｂのＶＲユーザにも提供し、機械翻訳部３６０を介してベトナム４３０ｃのＶＲユーザにも提供し、機械翻訳部３６０を介して仏語圏４３０ｅのＶＲユーザにも提供するケースを示す。
【0281】
図３２に示されるように、本変形例に係るＶＲ観光システム５ｂによれば、日本語ガイド２０ａと日英同時通訳者２０ｃとが連携して、それぞれの言語で解説することができれば、図２０を用いて説明した実現したいユースケースは実現可能になる。
【0282】
図３３は、実施例４の変形例２に係るＶＲ観光システム５ｂが備える機械翻訳部３６０の詳細な機能を説明するための図である。より詳しくは、図３３の（ａ）は、ＶＲ音声会議部３１０ｄの詳細な構成を示すブロック図であり、図３３の（ｂ）は、図３３の（ａ）に示される機械翻訳部３６０が有する翻訳処理モジュール群３７０の構成（機械翻訳部３６０ａ～３６０ｄ）を示し、図３３の（ｃ）は、図３３の（ａ）に示される機械翻訳管理テーブル３３３を示し、図３３の（ｄ）は、図３３の（ａ）に示されるユーザ管理テーブル３３０ｂを示す。
【0283】
図３３の（ａ）に示されるように、ＶＲ音声会議部３１０ｄは、ユーザ管理テーブル３３０ｂ、機械翻訳管理テーブル３３３、ガイド指示記録部、機械翻訳部３６０、及び、Ａｕｄｉｏ混合部３１３を有する。機械翻訳部３６０は、ＶＲユーザ１０～１３ごとに第１言語から第２言語に機械翻訳をする機械翻訳部３６０ａ～３６０ｄの集まりである。
【0284】
機械翻訳部３６０ａ～３６０ｄのそれぞれは、対応するＶＲシステム１００等から送られてくる音声データを復号するＡｕｄｉｏ復号部３６１ａ、復号された音声データをガイド（本変形例では日本語ガイド２０ａ）に対応する言語に翻訳する翻訳処理モジュール群Ｓ（３６１ｂ）、得られた音声データを圧縮してＡｕｄｉｏ混合部３１３に出力するＡｕｄｉｏ圧縮部３６１ｃ、ガイド用端末２１０ａ等から送られてくる音声データを復号するＡｕｄｉｏ復号部３６２ａ、復号された音声データをＶＲユーザに対応する言語に翻訳する翻訳処理モジュール群Ｄ（３６２ｂ）、及び、翻訳された音声データを圧縮して対応するＶＲシステム１００等に送るＡｕｄｉｏ圧縮部３６２ｃを有する。Ａｕｄｉｏ混合部３１３は、機械翻訳部３６０ａ～３６０ｄから出力された翻訳語の音声データを混合してガイド用端末２１０ａ等に送る。
【0285】
図３３の（ｂ）に示されるように、翻訳処理モジュール群３７０は、図３３の（ａ）に示される翻訳処理モジュール群Ｓ（３６１ｂ）及び翻訳処理モジュール群Ｄ（３６２ｂ）として使用される翻訳処理モジュールの集まりであり、図示されるように、英語から日本語（「Ｅｎｇｌｉｓｈ Ｔｏ Ｊａｐａｎｅｓｅ」）、日本語から仏語（「Ｊａｐａｎｅｓｅ Ｔｏ Ｅｎｇｌｉｓｈ」）等のように、様々な第１言語から第２言語に翻訳するモジュールで構成される。
【0286】
この例では、翻訳処理モジュール群３７０は、８種類の翻訳機能を持ち、図３３の（ｃ）のＣの機械翻訳管理テーブル３３３でデータ化されている。図３３の（ａ）に示されるように、各ＶＲユーザ１０～１３のＶＲシステム１００、１１０、１２０及び１３０から機械翻訳部３６０ａ～３６０ｄに接続され、ユーザ管理テーブル３３０ｂの情報により、各ＶＲユーザ毎に使用される翻訳処理モジュールが選択され、その結果がガイド用端末２１０ａ等経由で、ガイドに伝わるため、ガイドは自分の言語で各ＶＲユーザの質問を聞くことができる。
【0287】
ガイドの説明は、ガイド用端末２１０ａ等経由で各ＶＲユーザ毎の機械翻訳部３６０ａ～３６０ｄに送られ、ユーザ管理テーブル３３０ｂで選択された翻訳処理モジュールで翻訳された後、各ＶＲユーザに送られることで、各ＶＲユーザはガイドの言語に関わらず自分の言語で観光案内を聞くことができる。
【0288】
図３３の（ｄ）に示されるユーザ管理テーブル３３０ｂの例では、ガイドが使用する言語が英語で、かつ、デフォルト言語が英語に設定されているため、ユーザ０００００１～０００００３は、日英翻訳の翻訳処理モジュール０１及び０２が選択され、ユーザ０００００４及び０００００５は、英語ユーザのため、翻訳は不要になり、ユーザ０００００６は、仏語ユーザのため、英仏翻訳の翻訳処理モジュール０７及び０８が選択され、ユーザ０００００７は、中国語ユーザのため、中英翻訳の翻訳処理モジュール０３及び０４が選択され、ユーザ０００００８は、タイ語ユーザであるが、タイ語の翻訳処理モジュールがないため、デフォルト言語の英語が選択され、機械翻訳は設定されない。
【0289】
図３４は、実施例４の変形例２に係るＶＲ観光システム５ｂの詳細な構成を示すブロック図である。ＶＲ観光システム５ｂは、図５に示される実施例１に係るＶＲ観光システム２の構成において、ＶＲシステム１００、１１０、１２０及び１３０が備えるＶＲ音声会議部１０５に代えて双方向の音声処理を行う実施例４に係るＶＲ音声会議部１０５ａを有し、ＶＲクラウド３００のＶＲ音声会議部３１０に代えて機械翻訳の機能をもつＶＲ音声会議部３１０ｄを有することに相当する構成を備える。
【0290】
つまり、本変形例に係るＶＲ観光システム５ｂは、機械翻訳の機能をもつＶＲ音声会議部３１０ｄを有するＶＲクラウド３００ｆを備える。ＶＲ音声会議部３１０ｄは、会話制御部３１１と、各ＶＲユーザのＶＲシステム１００等から送られてくる音声データを復号するＡｕｄｉｏ復号部３６１ａと、復号された音声データをガイド（本変形例では、日本語ガイド２０ａ）に対応する言語に翻訳する翻訳処理モジュール群Ｓ（３６１ｂ）と、各ＶＲユーザに対応する複数の翻訳された音声データを混合するＡｕｄｉｏ混合部３１３と、混合された音声データを圧縮してガイド用端末２１０ａに送信するＡｕｄｉｏ圧縮部３６１ｃと、ガイド用端末２１０ａから送られてくる音声データを復号するＡｕｄｉｏ復号部３６２ａと、復号された音声データを各ＶＲユーザに対応する言語に翻訳する翻訳処理モジュール群Ｄ（３６２ｂ）と、翻訳された音声データを圧縮して対応するＶＲシステム１００等に送信するＡｕｄｉｏ圧縮部３６２ｃと、機械翻訳管理テーブル３３３と、ユーザ管理テーブル３３０ｂと、ガイド指示記録部３１５とを有する。
【0291】
本変形例に係るＶＲ観光システム５ｂでは、機械翻訳管理テーブル３３３及びユーザ管理テーブル３３０ｂに基づいて、各ユーザのＶＲシステム１００、１１０、１２０及び１３０と翻訳処理モジュール群３７０（翻訳処理モジュール群Ｓ（３６１ｂ）及び翻訳処理モジュール群Ｄ（３６２Ｄ））とが正しく接続される。そして、ガイド（本変形例では、日本語ガイド２０ａ）の使用言語と同一言語のＶＲユーザについては、そのまま、ガイドと会話を行う。
【0292】
本変形例に係るＶＲ観光システム５ｂでは、自分の言語と違う言語を話すガイドしかいない場合に、ＶＲクラウド３００ｆで音声翻訳を行ったうえで、双方で通信されるが、この点を除くと、本変形例に係るＶＲ観光システム５ｂは、図５に示される実施例１に係るＶＲ観光システム２の機能と同一になる。
【0293】
ＶＲクラウド３００ｆのＶＲ観光サービス管理部３４０は、機械翻訳管理テーブル３３３及びユーザ管理テーブル３３０ｂに基づいて、ＶＲユーザの言語選択とガイドの言語、デフォルト言語の設定を使って、翻訳処理モジュール群３７０から正しい翻訳処理モジュールを選択し、ユーザ管理テーブル３３０内の各ＶＲユーザのガイドに向けた翻訳処理モジュールＩＤ（「ＭＴ－ＩＤ－Ｓ」）、ＶＲユーザに向けた翻訳処理モジュールＩＤ（「ＭＴ－ＩＤ－Ｄ」）の値を設定する。
【0294】
図３５は、実施例４の変形例２に係るＶＲ観光システム５ｂの動作フロー例（つまり、映像表示方法の具体例）を示す図である。より詳しくは、図３５の（ａ）は、ＶＲシステム１００、１１０、１２０及び１３０の動作フローを示し、図３５の（ｂ）は、ＶＲクラウド３００ｆの動作フローを示す。
【0295】
各ＶＲシステム１００、１１０、１２０及び１３０では、メイン処理、ＶＲユーザからの入力の割り込み処理、及び、ＶＲクラウド３００ｆからの割り込み処理については、実施例４と同じである（図示せず）。
【0296】
また、ＶＲシステム１００、１１０、１２０及び１３０においてＶＲユーザがＶＲ観光の利用を開始する初期設定処理（図３５の（ａ））については、図１７の（ｂ）に示される実施例３の動作フロー（Ｓ１００～Ｓ１０５）と同一であり、その説明を省略する。
【0297】
また、ＶＲクラウド３００ｆでは、メイン処理は、実施例１及び実施例２と同じである（図示せず）。
【0298】
ＶＲクラウド３００ｆでは、ログイン処理として、図３５の（ｂ）に示されるように、ＶＲ観光サービス管理部３４０は、まず、ＶＲシステム１００、１１０、１２０及び１３０から、ユーザＩＤ、パスワードを取得し（Ｓ２１０）、本観光サービスの正規ユーザかどうかを確認する（Ｓ２１０）。
【0299】
正規ユーザでない場合は（Ｓ２１１でＮ）、ＶＲ観光サービス管理部３４０は、該当ＶＲシステム１００等にエラーを送信し（Ｓ２１２）、ステップＳ２１０に戻る。
【0300】
正規ユーザである場合は（Ｓ２１１でＹ）、ＶＲ観光サービス管理部３４０は、ユーザ管理テーブル３３０ｂから該当ユーザの言語選択の値を取得する（Ｓ２１３）。
【0301】
その結果、該当ユーザの言語選択が、ガイド２０の言語と同じ場合は（Ｓ２１５でＹ）、ＶＲ観光サービス管理部３４０は、ステップＳ２２０に飛ぶ。
【0302】
該当ユーザの言語選択とガイドの言語との対が翻訳処理モジュールにある場合は（Ｓ２１６でＹ）、ＶＲ観光サービス管理部３４０は、該当ユーザのユーザ管理テーブル３３０ｂ内の翻訳処理モジュールＩＤ（「ＭＴ－ＩＤ－Ｓ」及び「ＭＴ－ＩＤ－Ｄ」）として、選択された対の値をセットし（Ｓ２２５）、該当ＶＲシステム１００等の音声を、選択された翻訳処理モジュールＩＤに対応する翻訳処理モジュールに接続し（Ｓ２２６）、ステップＳ２１８に飛ぶ。
【0303】
デフォルト言語選択とガイドの言語とが同じ場合は（Ｓ２１７でＹ）、ＶＲ観光サービス管理部３４０は、ステップＳ２２０に飛ぶ。
【0304】
デフォルト言語選択とガイドの言語とが異なり（Ｓ２１７でＮ）、かつ、ガイドの言語とデフォルト言語との対が翻訳処理にある場合は（Ｓ２３０でＹ）、ＶＲ観光サービス管理部３４０は、該当ユーザのユーザ管理テーブル３３０ｂ内の翻訳処理モジュールＩＤをガイドの言語とデフォルト言語との対にし（Ｓ２３１）、該当ＶＲシステム１００等の音声を選択された翻訳処理モジュールＩＤの翻訳処理モジュールに接続し（Ｓ２３２）、ステップＳ２１８に飛ぶ。
【0305】
ガイドの言語とデフォルト言語との対が翻訳処理にない場合は（Ｓ２３０でＮ）、ＶＲ観光サービス管理部３４０は、ステップＳ２２０に飛ぶ。
【0306】
ステップＳ２２０では、ＶＲ観光サービス管理部３４０は、該当ユーザのユーザ管理テーブル３３０ｂ内の翻訳処理モジュールＩＤの２つの値を「Ｎ／Ａ」にセットし（Ｓ２２０）、該当ＶＲシステム１００等の音声をガイド用端末２１０ａ等に接続し（Ｓ２２１）、ステップＳ２１８に飛ぶ。
【0307】
ステップＳ２１８では、ＶＲ観光サービス管理部３４０は、観光サービスの利用準備が正常に終わったことを該当ＶＲシステム１００等に送信して（Ｓ２１８）、処理を終了する。
【0308】
以上のように、本変形例に係るＶＲ観光システム５ｂであっても、機械翻訳部３６０によって複数の言語に対応した説明及び会話がサポートされ、上記課題（４）が解決される。
【0309】
以上、本開示の映像表示システム及び映像表示方法について、実施の形態及び実施例に基づいて説明したが、本開示は、これらの実施の形態及び実施例に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態及び実施例に施したものや、実施の形態及び実施例における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
【0310】
例えば、実施例として、本開示に係る映像表示システムをＶＲ観光システムに適用した例が説明されたが、本開示に係る映像表示システムは、ＶＲ観光システムだけでなく、展示会見学、視察、工場見学、美術館・博物館・動物園・水族館見学等のバーチャル体験を提供するＶＲ体験システムにも適用できる。
【0311】
また、上記実施の形態等では、音声会話部によって、参加者１０等とガイド２０等との間で、音声による会話が支援されたが、これに加えて、あるいは、これに代えて、これらの会話が、ＶＲシステムの表示部にテロップとして表示されてもよい。そのために、例えば、ＶＲシステムに、会話の音声をリアルタイムで認識する音声認識部、及び、音声認識部で得られたテキストをＶＲシステムの表示部に表示させる映像合成部等が設けられればよい。
【0312】
このとき、ガイド２０が参加者１０等から、チャットの形式で質問を受けてもよい。ガイド２０は、音声の場合と同様に、ガイド用リモコンを用いて、チャット入力可能／不可能を制御してもよい。
【0313】
また、複数言語対応の実施例４では、機械翻訳部からの出力を音声ではなく、テキストにしてＶＲシステムに出力してもよい。具体的な構成例として、
１）単一の言語で、ガイドの音声を他の言語に変えるのではなく、同じ言語でテキスト化してＶＲシステムに表示する、
２）ガイドの使用言語とは異なる言語に翻訳してテキスト化してＶＲシステムに表示する、
３）複数の使用言語が異なるガイドが存在する場合に、それぞれのガイドの音声を翻訳せずにテキスト化してＶＲシステムに表示する、
４)複数の使用言語が異なるガイドが存在する場合に、テキスト化する言語により近い言語のガイドを選択し、選択したガイドの音声を翻訳してテキスト化してＶＲシステムに表示する、等が考えられる。そのために、例えば、ＶＲクラウドに、機械翻訳部に加えて、音声認識部、音声認識部で得られたテキストを３６０度映像に合成する合成部等を設ければよい。
１）単一の言語で、ガイドの音声を他の言語に変えるのではなく、同じ言語でテキスト化してＶＲシステムに表示する、
２）ガイドの使用言語とは異なる言語に翻訳してテキスト化してＶＲシステムに表示する、
３）複数の使用言語が異なるガイドが存在する場合に、それぞれのガイドの音声を翻訳せずにテキスト化してＶＲシステムに表示する、
４)複数の使用言語が異なるガイドが存在する場合に、テキスト化する言語により近い言語のガイドを選択し、選択したガイドの音声を翻訳してテキスト化してＶＲシステムに表示する、等が考えられる。そのために、例えば、ＶＲクラウドに、機械翻訳部に加えて、音声認識部、音声認識部で得られたテキストを３６０度映像に合成する合成部等を設ければよい。
【0314】
テロップ表示の可否については、図２６のユーザ管理テーブル３３０ａ、図３１のユーザ管理テーブル３３０ｂあるいは機械翻訳管理テーブル３３３、図３３のユーザ管理テーブル３３０ｂに、テロップを使用するか否かの情報を記載して管理することで行うこと、あるいはここの参加者１０が使用時に選択することなどで判断することができる。
【産業上の利用可能性】
【0315】
本開示に係る映像表示システム及び映像表示方法は、ＶＲ（仮想現実）を体験するサービスを提供する映像表示システムとして、例えば、観光旅行、展示会見学、視察、工場見学、美術館・博物館・動物園・水族館見学等のバーチャル体験を提供するＶＲ体験システムとして、利用できる。
【符号の説明】
【0316】
１、１ａ 映像表示システム
２、２ａ、２ｂ、３、４、４ａ、５、５ａ、５ｂ ＶＲ観光システム
１０～１３ 参加者（ＶＲユーザ）
２０ ガイド（説明者）
２０ａ 日本語ガイド（第１説明者）
２０ｂ 英語ガイド（第２説明者）
２０ａ１ ベトナム語ガイド（第１説明者）
２０ｂ１ タイ語ガイド（第２説明者）
２０ｃ 日英同時通訳者
３０ａ～３０ｂ ＶＲシステム
３１ 表示部
３２ 音声処理部
３３ 参加者用入力部
４０ 説明者端末
４０ａ 第１説明者端末
４０ｂ 第２説明者端末
４１ 説明者用入力部
５０ 観測システム
５１ カメラ
５２ マイク
６０、６０ａ～６０ｄ クラウド
６１ 音声会話部
６１ａ 第１音声会話部
６１ｂ 第２音声会話部
６２、６２ａ～６２ｄ 制御部
６３ 映像配信部
６４ グループ音声会話部
６５ 音声切替部
６６ａ～６６ｂ 機械翻訳部
７０ ブロック情報
７１ グループ情報
７２ 言語情報
７３ 機械翻訳管理情報
１００、１１０、１２０、１３０ ＶＲシステム
１０１、１１１、１２１、１３１ ディスプレイ
１０２、１１２、１２２、１３２ 入力部
１０３、１１３、１２３、１３３ ＶＲ空間生成部
１０４、１１４、１２４、１３４ 通信部
１０５、１０５ａ、１０５ｂ ＶＲ音声会議部
１０６ ＶＲリモコン
１０６ａ ｖｏｌｕｍｅ調整機能付ＶＲリモコン
１０７ 会話制御部
１０８ マイク
１０８ａ Ａ／Ｄ変換器
１０８ｂ Ａｕｄｉｏ圧縮部
１０８ｃ Ｍｕｔｅ部
１０９ ガイダンス表示制御部
１４０ ＶＲグラス
１４１ 動き・位置センサ
１４２ 音量ボタン
１４３ 電源スイッチ
１４４ バッテリー
１４５ 電源制御素子
１４６ ＡＶ入力端子
１４７ ＵＳＢ
１４８ 無線通信素子
１４９ ＢＬＥ（登録商標）
１５０ バス変換部
１５１ ＧＰＵ
１５１ａ 動き・位置検出部
１５１ｂ 映像表示処理部
１５２ａ、１５２ｂ 表示素子
１５３ａ、１５３ｂ レンズ
１５４ ＥＥＰＲＯＭ
１５５ ＲＡＭ
１５６ ＣＰＵ
１５６ａ 音声圧縮部
１５７ａ マイク
１５７ｂ マイクアンプ
１５７ｃ ＡＤＣ（Ａ／Ｄ変換器）
１５８ａ ＤＡＣ（Ｄ／Ａ変換器）
１５８ｂ アンプ
１５８ｃ スピーカー
１５８ｄ ヘッドフォン端子
１６０ コンピュータ／スマートフォン
１６１ ＡＶ出力端子
１６２ ＵＳＢ
１６３ 通信素子
１６４ バス変換部
１６５ ＧＰＵ
１６５ａ 動き・位置検出部
１６５ｂ ＶＲ制御部
１６５ｃ ＶＲ映像復号部
１６５ｄ ガイダンス表示生成部
１６５ｅ グラフィックス生成部
１６５ｆ ＶＲ表示制御部
１６６ ＲＡＭ
１６７ 不揮発性メモリ
１６８ 電源スイッチ
１６９ 電源制御素子
１７０ ＣＰＵ
１７０ａ 多重化部
１７０ｂ 分離部
１７０ｃ 音声復号部
１７０ｄ 音声再生制御部
１８０ 第２Ｍｕｔｅ部
１８１ 第１Ｍｕｔｅ部
１８２ａ Ａｕｄｉｏ復号部
１８２ｂ Ａｕｄｉｏ混合部
１８２ｃ Ｄ／Ａ変換器
１８２ｄ スピーカー
１８３ ＡＶ分離部
１８４ Ａｕｄｉｏ復号部
１８６ ３６０度映像処理部
１８７ ボリューム調整部
２００、２００ａ 観測システム
２０１ 通信部
２０２ 撮影部
２０３ カメラ
２０４ リモコン
２０５ マイク
２０６ 乗物
２１０、２１０ａ～２１０ｃ スマートフォン
２１１ ガイド指示生成部
２１１ａ 通信部・ヘッドセット用ＣＯＤＥＣ
２１１ｂ 入力処理部
２１２ 入力部
２１３ａ Ａ／Ｄ変換器
２１３ｂ Ａｕｄｉｏ圧縮部
２１３ｃ Ｍｕｔｅ部
２１４ａ Ａｕｄｉｏ復号部
２１４ｂ Ｄ／Ａ変換器
２１５ オーディオ・インターフェース
２１６ マイク
２１７ スピーカー
２１９ａ、２１９ｂ メタデータ用付加情報
２２０、２２０ａ～２２０ｃ ヘッドセット
２３０、２３０ａ、２３０ｂ ガイド用リモコン
２４０ａ～２４０ｄ 音声制御アプリによる表示例
２５０ ＶＲ音声会議部
３００、３００ａ～３００ｆ ＶＲクラウド
３１０、３１０ａ、３１０ｄ ＶＲ音声会議部
３１０ｂ 第１ＶＲ音声会議部
３１０ｃ 第２ＶＲ音声会議部
３１１ 会話制御部
３１２ 音声処理部
３１３ Ａｕｄｉｏ混合部
３１４ａ～３１４ｄ Ａｕｄｉｏ復号部
３１５ ガイド指示記録部
３１６ Ａｕｄｉｏ復号部
３１７ Ａｕｄｉｏ圧縮部
３２０、３２０ａ ３６０度映像配信部
３２１ ＡＶ分離部
３２２ Ａｕｄｉｏ復号部
３２３ Ａｕｄｉｏ混合部
３２４ Ａｕｄｉｏ圧縮部
３２５ ＡＶ合成部
３３０、３３０ａ、３３０ｂ、３３１ ユーザ管理テーブル
３３２ ガイド言語管理テーブル
３３３ 機械翻訳管理テーブル
３４０ ＶＲ観光サービス管理部
３４１ａ～３４１ｃ グループ用音声会議部
３５０ 音声切替部
３６０、３６０ａ～３６０ｄ 機械翻訳部
３６１ａ Ａｕｄｉｏ復号部
３６１ｂ 翻訳処理モジュール群Ｓ
３６１ｃ Ａｕｄｉｏ圧縮部
３６２ａ Ａｕｄｉｏ復号部
３６２ｂ 翻訳処理モジュール群Ｄ
３６２ｃ Ａｕｄｉｏ圧縮部
３７０ 翻訳処理モジュール群
４００～４０２ 画面表示例
４００ａ 「質問不可」
４０１ａ 「質問可」
４０２ａ 「質問中」
４１０、４１１ 動作モード説明表
４１５ 状態遷移図
４１５ａ～４１５ｅ 状態
２、２ａ、２ｂ、３、４、４ａ、５、５ａ、５ｂ ＶＲ観光システム
１０～１３ 参加者（ＶＲユーザ）
２０ ガイド（説明者）
２０ａ 日本語ガイド（第１説明者）
２０ｂ 英語ガイド（第２説明者）
２０ａ１ ベトナム語ガイド（第１説明者）
２０ｂ１ タイ語ガイド（第２説明者）
２０ｃ 日英同時通訳者
３０ａ～３０ｂ ＶＲシステム
３１ 表示部
３２ 音声処理部
３３ 参加者用入力部
４０ 説明者端末
４０ａ 第１説明者端末
４０ｂ 第２説明者端末
４１ 説明者用入力部
５０ 観測システム
５１ カメラ
５２ マイク
６０、６０ａ～６０ｄ クラウド
６１ 音声会話部
６１ａ 第１音声会話部
６１ｂ 第２音声会話部
６２、６２ａ～６２ｄ 制御部
６３ 映像配信部
６４ グループ音声会話部
６５ 音声切替部
６６ａ～６６ｂ 機械翻訳部
７０ ブロック情報
７１ グループ情報
７２ 言語情報
７３ 機械翻訳管理情報
１００、１１０、１２０、１３０ ＶＲシステム
１０１、１１１、１２１、１３１ ディスプレイ
１０２、１１２、１２２、１３２ 入力部
１０３、１１３、１２３、１３３ ＶＲ空間生成部
１０４、１１４、１２４、１３４ 通信部
１０５、１０５ａ、１０５ｂ ＶＲ音声会議部
１０６ ＶＲリモコン
１０６ａ ｖｏｌｕｍｅ調整機能付ＶＲリモコン
１０７ 会話制御部
１０８ マイク
１０８ａ Ａ／Ｄ変換器
１０８ｂ Ａｕｄｉｏ圧縮部
１０８ｃ Ｍｕｔｅ部
１０９ ガイダンス表示制御部
１４０ ＶＲグラス
１４１ 動き・位置センサ
１４２ 音量ボタン
１４３ 電源スイッチ
１４４ バッテリー
１４５ 電源制御素子
１４６ ＡＶ入力端子
１４７ ＵＳＢ
１４８ 無線通信素子
１４９ ＢＬＥ（登録商標）
１５０ バス変換部
１５１ ＧＰＵ
１５１ａ 動き・位置検出部
１５１ｂ 映像表示処理部
１５２ａ、１５２ｂ 表示素子
１５３ａ、１５３ｂ レンズ
１５４ ＥＥＰＲＯＭ
１５５ ＲＡＭ
１５６ ＣＰＵ
１５６ａ 音声圧縮部
１５７ａ マイク
１５７ｂ マイクアンプ
１５７ｃ ＡＤＣ（Ａ／Ｄ変換器）
１５８ａ ＤＡＣ（Ｄ／Ａ変換器）
１５８ｂ アンプ
１５８ｃ スピーカー
１５８ｄ ヘッドフォン端子
１６０ コンピュータ／スマートフォン
１６１ ＡＶ出力端子
１６２ ＵＳＢ
１６３ 通信素子
１６４ バス変換部
１６５ ＧＰＵ
１６５ａ 動き・位置検出部
１６５ｂ ＶＲ制御部
１６５ｃ ＶＲ映像復号部
１６５ｄ ガイダンス表示生成部
１６５ｅ グラフィックス生成部
１６５ｆ ＶＲ表示制御部
１６６ ＲＡＭ
１６７ 不揮発性メモリ
１６８ 電源スイッチ
１６９ 電源制御素子
１７０ ＣＰＵ
１７０ａ 多重化部
１７０ｂ 分離部
１７０ｃ 音声復号部
１７０ｄ 音声再生制御部
１８０ 第２Ｍｕｔｅ部
１８１ 第１Ｍｕｔｅ部
１８２ａ Ａｕｄｉｏ復号部
１８２ｂ Ａｕｄｉｏ混合部
１８２ｃ Ｄ／Ａ変換器
１８２ｄ スピーカー
１８３ ＡＶ分離部
１８４ Ａｕｄｉｏ復号部
１８６ ３６０度映像処理部
１８７ ボリューム調整部
２００、２００ａ 観測システム
２０１ 通信部
２０２ 撮影部
２０３ カメラ
２０４ リモコン
２０５ マイク
２０６ 乗物
２１０、２１０ａ～２１０ｃ スマートフォン
２１１ ガイド指示生成部
２１１ａ 通信部・ヘッドセット用ＣＯＤＥＣ
２１１ｂ 入力処理部
２１２ 入力部
２１３ａ Ａ／Ｄ変換器
２１３ｂ Ａｕｄｉｏ圧縮部
２１３ｃ Ｍｕｔｅ部
２１４ａ Ａｕｄｉｏ復号部
２１４ｂ Ｄ／Ａ変換器
２１５ オーディオ・インターフェース
２１６ マイク
２１７ スピーカー
２１９ａ、２１９ｂ メタデータ用付加情報
２２０、２２０ａ～２２０ｃ ヘッドセット
２３０、２３０ａ、２３０ｂ ガイド用リモコン
２４０ａ～２４０ｄ 音声制御アプリによる表示例
２５０ ＶＲ音声会議部
３００、３００ａ～３００ｆ ＶＲクラウド
３１０、３１０ａ、３１０ｄ ＶＲ音声会議部
３１０ｂ 第１ＶＲ音声会議部
３１０ｃ 第２ＶＲ音声会議部
３１１ 会話制御部
３１２ 音声処理部
３１３ Ａｕｄｉｏ混合部
３１４ａ～３１４ｄ Ａｕｄｉｏ復号部
３１５ ガイド指示記録部
３１６ Ａｕｄｉｏ復号部
３１７ Ａｕｄｉｏ圧縮部
３２０、３２０ａ ３６０度映像配信部
３２１ ＡＶ分離部
３２２ Ａｕｄｉｏ復号部
３２３ Ａｕｄｉｏ混合部
３２４ Ａｕｄｉｏ圧縮部
３２５ ＡＶ合成部
３３０、３３０ａ、３３０ｂ、３３１ ユーザ管理テーブル
３３２ ガイド言語管理テーブル
３３３ 機械翻訳管理テーブル
３４０ ＶＲ観光サービス管理部
３４１ａ～３４１ｃ グループ用音声会議部
３５０ 音声切替部
３６０、３６０ａ～３６０ｄ 機械翻訳部
３６１ａ Ａｕｄｉｏ復号部
３６１ｂ 翻訳処理モジュール群Ｓ
３６１ｃ Ａｕｄｉｏ圧縮部
３６２ａ Ａｕｄｉｏ復号部
３６２ｂ 翻訳処理モジュール群Ｄ
３６２ｃ Ａｕｄｉｏ圧縮部
３７０ 翻訳処理モジュール群
４００～４０２ 画面表示例
４００ａ 「質問不可」
４０１ａ 「質問可」
４０２ａ 「質問中」
４１０、４１１ 動作モード説明表
４１５ 状態遷移図
４１５ａ～４１５ｅ 状態
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】