知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社楽喜の特許一覧 ▶ 株式会社エヌ・ティー・エスの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-12-20
(45)【発行日】2023-12-28
(54)【発明の名称】ＶＲ動画同期再生装置
(51)【国際特許分類】
H04N 21/258 20110101AFI20231221BHJP
H04N 21/6332 20110101ALI20231221BHJP
H04N 21/44 20110101ALI20231221BHJP
H04L 67/131 20220101ALI20231221BHJP
【ＦＩ】
H04N21/258
H04N21/6332
H04N21/44
H04L67/131
【請求項の数】
5
(21)【出願番号】P 2023008178
(22)【出願日】2023-01-23
【審査請求日】2023-01-23
(73)【特許権者】
【識別番号】523025805
【氏名又は名称】株式会社楽喜
(73)【特許権者】
【識別番号】517356324
【氏名又は名称】株式会社エヌ・ティー・エス
(74)【代理人】
【識別番号】100111132
【弁理士】
【氏名又は名称】井上 浩
(74)【代理人】
【識別番号】100179729
【弁理士】
【氏名又は名称】金井 一美
(72)【発明者】
【氏名】吉田 龍司
(72)【発明者】
【氏名】福田 智
【審査官】醍醐 一貴
(56)【参考文献】
【文献】特開２０２２－６２１７９（ＪＰ，Ａ）
【文献】特開２０１２－１９５６４４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／０２８１９０９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
Ｈ０４Ｌ ５１／００－５１／５８
Ｈ０４Ｌ ６７／００－６７／７５
(57)【特許請求の範囲】
【請求項1】
管理者が操作する管理者端末と、受信者が操作する受信者端末と、前記管理者端末及び前記受信者端末と通信可能なサーバー群を備え、前記サーバー群は、動画配信サーバーと、操作サーバーと、テキスト情報送信サーバーと、音声情報通信サーバーであり、
前記動画配信サーバーは、前記管理者端末と前記受信者端末に、ＶＲ画像情報及びＶＲ音声情報で構成されるＶＲ動画を配信し、
前記管理者端末は、前記受信者端末における前記ＶＲ動画の再生及び停止を制御するための、テキスト形式の操作情報を前記操作サーバーに送信するとともに、前記受信者端末に送信するための音声形式の管理者音声情報を前記音声情報通信サーバーに送信し、
前記操作サーバーは、前記管理者端末から受信した前記操作情報を前記テキスト情報送信サーバーに送信し、
前記テキスト情報送信サーバーは、受信した前記操作情報を前記受信者端末に送信し、
前記音声情報通信サーバーは、受信した前記管理者音声情報を前記受信者端末に送信し、かつ前記受信者端末からの音声形式の受信者音声情報を受信して前記管理者端末に送信し、
前記ＶＲ動画は、前記受信者端末が前記操作情報に従うことで、前記管理者端末と前記受信者端末において、時間的に同期して再生されることを特徴とするＶＲ動画同期再生装置。
【請求項2】
前記管理者端末は、管理者端末制御部を備え、この管理者端末制御部は、前記管理者音声情報を、前記音声情報通信サーバーを介して前記受信者端末に送信する場合に、前記操作情報のうち、前記ＶＲ音声情報の再生を停止する旨のＶＲ音声停止注意情報を、前記操作サーバー及び前記テキスト情報送信サーバーを介し、前記受信者端末に対して送信するとともに、前記操作情報のうち、前記ＶＲ音声情報の再生を停止させる旨のＶＲ音声停止命令を、前記操作サーバー及び前記テキスト情報送信サーバーを介し、前記受信者端末に対して送信することを特徴とする請求項１に記載のＶＲ動画同期再生装置。
【請求項3】
前記管理者端末制御部は、前記受信者端末が前記管理者端末からの前記管理者音声情報に応答する場合に限って、前記受信者端末が前記受信者音声情報を送信可能である旨の受信者音声送信注意情報を、前記操作サーバーと前記テキスト情報送信サーバーを介して前記受信者端末に送信することを特徴とする請求項２に記載のＶＲ動画同期再生装置。
【請求項4】
前記管理者端末は、管理者端末表示部を備え、この管理者端末表示部は、前記ＶＲ動画に加えて、前記操作情報及び前記管理者音声情報を入力するための操作が可能な操作画面をそれぞれ表示することを特徴とする請求項１又は請求項２に記載のＶＲ動画同期再生装置。
【請求項5】
前記受信者端末は、受信者端末制御部と、前記ＶＲ動画を表示する受信者端末表示部と、前記受信者端末のモーションを検知するためのモーションセンサーを備え、前記受信者端末制御部は、前記ＶＲ動画に基づく前記モーションセンサーの検知データに対応するモーション動画を、前記受信者端末表示部に表示し、
前記モーション動画は、前記管理者端末表示部で表示される前記ＶＲ動画の視点と異なる視点で構成可能であることを特徴とする請求項４に記載のＶＲ動画同期再生装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＶＲ動画を複数の端末で同期して再生するためのＶＲ動画同期再生装置に係り、特に、複数の端末のうちの１の管理者端末が、他の端末でのＶＲ動画の再生を制御可能なＶＲ動画同期再生装置に関する。
【背景技術】
【0002】
従来、ひとつのＶＲ（Virtual Reality、仮想現実）動画を複数の端末で再生するための技術が要望されている。これは、ＶＲ動画では、自分が仮想空間の中に現実に存在しているかのように感じることができるため、ＶＲ動画を、例えばセミナーや不動産の内覧会等で複数の顧客に視聴させることで、これらの顧客にそれぞれの内容を深く理解してもらうことを期待したものである。
しかしながら、ＶＲ動画を複数の端末で再生すると、データ量の大きさや回線速度の遅さ等に起因して、ＶＲ動画が各端末で正確に同期して再生されないという課題があった。
そこで、近年、このような課題を解決するための技術が開発されており、それに関してすでに発明が開示されている。
しかしながら、ＶＲ動画を複数の端末で再生すると、データ量の大きさや回線速度の遅さ等に起因して、ＶＲ動画が各端末で正確に同期して再生されないという課題があった。
そこで、近年、このような課題を解決するための技術が開発されており、それに関してすでに発明が開示されている。
【0003】
特許文献１には、「ＶＲコンテンツ視聴装置」という名称で、端末間での高速な通信を可能とするＶＲコンテンツの視聴装置に関する発明が開示されている。
以下、特許文献１に開示された発明について説明する。特許文献１に開示された発明は、第１の情報端末と、第２の情報端末との間でサーバ装置を通じて、動画形式の動画データであるＶＲコンテンツをリアルタイムに共有するＶＲコンテンツ視聴装置において、サーバ装置は、第１の情報端末、及び第２の情報端末からの要求に基づいてＶＲコンテンツを描写する描写部と、第１の情報端末、及び第２の情報端末との間でのＶＲコンテンツの同期を同期情報に基づいて処理する同期処理部と、を備え、第１の情報端末、及び第２の情報端末は、描写部によって描写されたＶＲコンテンツをブラウザ上で再生するとともに、ＶＲコンテンツを再生している状態において、ＶＲコンテンツを閲覧する方向を示す視線情報を同期情報としてサーバ装置に対して送信し、同期処理部は、第１の情報端末、及び第２の情報端末間で同期するように視線情報に基づいてＶＲコンテンツの描写を描写部に指示することを特徴とする。
以下、特許文献１に開示された発明について説明する。特許文献１に開示された発明は、第１の情報端末と、第２の情報端末との間でサーバ装置を通じて、動画形式の動画データであるＶＲコンテンツをリアルタイムに共有するＶＲコンテンツ視聴装置において、サーバ装置は、第１の情報端末、及び第２の情報端末からの要求に基づいてＶＲコンテンツを描写する描写部と、第１の情報端末、及び第２の情報端末との間でのＶＲコンテンツの同期を同期情報に基づいて処理する同期処理部と、を備え、第１の情報端末、及び第２の情報端末は、描写部によって描写されたＶＲコンテンツをブラウザ上で再生するとともに、ＶＲコンテンツを再生している状態において、ＶＲコンテンツを閲覧する方向を示す視線情報を同期情報としてサーバ装置に対して送信し、同期処理部は、第１の情報端末、及び第２の情報端末間で同期するように視線情報に基づいてＶＲコンテンツの描写を描写部に指示することを特徴とする。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－７１５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に開示された発明においては、第１の情報端末と、第２の情報端末間での音声通話を可能とする通話手段が設けられていない。そのため、第１の情報端末を操作する者と、第２の情報端末を操作する者が、ＶＲ動画の見所やその感想等についてリアルタイムで会話することができず、複数人で視聴しているにもかかわらず、あたかも一人で視聴していることと同じになる。よって、第１及び第２の情報端末を操作する者は、複数人で視聴していると発生するであろう楽しさや一体感を感じることができず、満足度を高めることができないおそれがある。また、仮に、リアルタイムで会話ができたとしても、ＶＲコンテンツが音声データを含んでいる場合、この音声データと会話が重なり合って、これらの聞き取りが不完全なものとなる。
【0006】
本発明は、このような従来の事情に対処してなされたものであり、ＶＲ動画の再生時に、このＶＲ動画を視聴するための複数の端末を操作する者同士での会話を可能とすることで視聴の満足度を高め、さらに、ＶＲ動画が再生する音声データと会話との重なりを防止するＶＲ動画同期再生装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、第１の発明は、管理者が操作する管理者端末と、受信者が操作する受信者端末と、管理者端末及び受信者端末と通信可能なサーバー群を備え、サーバー群は、動画配信サーバーと、操作サーバーと、テキスト情報送信サーバーと、音声情報通信サーバーであり、動画配信サーバーは、管理者端末と受信者端末に、ＶＲ画像情報及びＶＲ音声情報で構成されるＶＲ動画を配信し、管理者端末は、受信者端末におけるＶＲ動画の再生及び停止を制御するための、テキスト形式の操作情報を操作サーバーに送信するとともに、受信者端末に送信するための音声形式の管理者音声情報を音声情報通信サーバーに送信し、操作サーバーは、管理者端末から受信した操作情報をテキスト情報送信サーバーに送信し、テキスト情報送信サーバーは、受信した操作情報を受信者端末に送信し、音声情報通信サーバーは、受信した管理者音声情報を受信者端末に送信し、かつ受信者端末からの音声形式の受信者音声情報を受信して管理者端末に送信し、ＶＲ動画は、受信者端末が操作情報に従うことで、管理者端末と受信者端末において、時間的に同期して再生されることを特徴とする。
【0008】
このような構成の発明において、ＶＲ動画として、例えば３６０度ＶＲ動画や、１８０度ＶＲ動画が想定される。
また、管理者端末の台数と受信者端末の台数は、それぞれ特に限定されないが、例えば、管理者端末を１台にすると、１台以上の受信者端末を同時に制御できるため、ＶＲ動画再生や音声での通信をスムーズに進行させるという点で好適である。ただし、管理者端末を複数台にしても、これらの間に受信者端末を制御する権限の順位付けをすることで、やはりＶＲ動画再生等をスムーズに進行させることができる。
さらに、管理者端末からの操作情報は、テキスト形式であるが、管理者端末からの管理者音声情報と、受信者端末からの受信者音声情報は、いずれも音声形式である。このように、管理者端末から送信される情報をテキスト形式と音声形式とに分けた理由は、テキスト形式の情報は、一般的に音声形式と比べてデータ量が少ないから、通信時の負荷を軽減するとともに、この操作情報をいち早く送信するためである。ただし、音声情報通信サーバーは、受信者端末からのテキスト形式の情報を、管理者端末へ送信可能に構成されてもよい。
また、管理者端末の台数と受信者端末の台数は、それぞれ特に限定されないが、例えば、管理者端末を１台にすると、１台以上の受信者端末を同時に制御できるため、ＶＲ動画再生や音声での通信をスムーズに進行させるという点で好適である。ただし、管理者端末を複数台にしても、これらの間に受信者端末を制御する権限の順位付けをすることで、やはりＶＲ動画再生等をスムーズに進行させることができる。
さらに、管理者端末からの操作情報は、テキスト形式であるが、管理者端末からの管理者音声情報と、受信者端末からの受信者音声情報は、いずれも音声形式である。このように、管理者端末から送信される情報をテキスト形式と音声形式とに分けた理由は、テキスト形式の情報は、一般的に音声形式と比べてデータ量が少ないから、通信時の負荷を軽減するとともに、この操作情報をいち早く送信するためである。ただし、音声情報通信サーバーは、受信者端末からのテキスト形式の情報を、管理者端末へ送信可能に構成されてもよい。
【0009】
上記構成の発明においては、動画配信サーバーが、管理者端末と受信者端末に、ＶＲ画像情報及びＶＲ音声情報で構成されるＶＲ動画を配信した後で、管理者端末がこの配信されたＶＲ動画の再生や再生停止を制御する操作情報を、操作サーバーと、テキスト情報送信サーバーを介して、受信者端末に送信する。これにより、受信者端末は、動画配信サーバーによって配信されたＶＲ動画の再生や再生停止が可能となる。
すなわち、受信者端末で再生されるＶＲ動画は、受信者端末が操作情報に従うことで、管理者端末と受信者端末において、時間的に同期して再生されることになる。
すなわち、受信者端末で再生されるＶＲ動画は、受信者端末が操作情報に従うことで、管理者端末と受信者端末において、時間的に同期して再生されることになる。
【0010】
また、管理者端末は、管理者音声情報を、音声情報通信サーバーを介して、受信者端末に送信する。そして、受信者端末は、受信した管理者音声情報に対して応答する受信者音声情報を発し、音声情報通信サーバーを介して、管理者端末に送信する。すなわち、管理者端末を操作する管理者と、受信者端末を操作する受信者との間で、双方向の通話が可能となる。ただし、受信者端末は、受信した管理者音声情報に対して必ずしも応答しなくてもよい。
【0011】
第２の発明は、第１の発明において、管理者端末は、管理者端末制御部を備え、この管理者端末制御部は、管理者音声情報を、音声情報通信サーバーを介して受信者端末に送信する場合に、操作情報のうち、ＶＲ音声情報の再生を停止する旨のＶＲ音声停止注意情報を、操作サーバー及びテキスト情報送信サーバーを介し、受信者端末に対して送信するとともに、操作情報のうち、ＶＲ音声情報の再生を停止させる旨のＶＲ音声停止命令を、操作サーバー及びテキスト情報送信サーバーを介し、受信者端末に対して送信することを特徴とする。
このような構成の発明においては、第１の発明の作用に加えて、管理者端末制御部が、管理者音声情報を、音声情報通信サーバーを介して受信者端末に送信する場合、すなわち、管理者が、自身の音声を受信者に伝達したい場合に、管理者端末制御部は、予めＶＲ音声停止注意情報を、操作サーバー等を介して受信者端末へ送信する。すると、受信者端末がＶＲ音声停止注意情報を文字や音声に変換して報知する。これにより、受信者が、ＶＲ音声情報の再生のみが停止することを前もって知ることができる。
また、管理者端末がＶＲ音声停止命令を、操作サーバー等を介して受信者端末へ送信すると、受信者端末は、ＶＲ音声停止命令に従い、ＶＲ音声情報の再生を停止する。よって、管理者音声情報の再生が、ＶＲ音声情報によって遮られることがない。なお、受信者端末において、ＶＲ動画のＶＲ画像情報の再生は停止されずに継続する。
このような構成の発明においては、第１の発明の作用に加えて、管理者端末制御部が、管理者音声情報を、音声情報通信サーバーを介して受信者端末に送信する場合、すなわち、管理者が、自身の音声を受信者に伝達したい場合に、管理者端末制御部は、予めＶＲ音声停止注意情報を、操作サーバー等を介して受信者端末へ送信する。すると、受信者端末がＶＲ音声停止注意情報を文字や音声に変換して報知する。これにより、受信者が、ＶＲ音声情報の再生のみが停止することを前もって知ることができる。
また、管理者端末がＶＲ音声停止命令を、操作サーバー等を介して受信者端末へ送信すると、受信者端末は、ＶＲ音声停止命令に従い、ＶＲ音声情報の再生を停止する。よって、管理者音声情報の再生が、ＶＲ音声情報によって遮られることがない。なお、受信者端末において、ＶＲ動画のＶＲ画像情報の再生は停止されずに継続する。
【0012】
第３の発明は、第２の発明において、管理者端末制御部は、受信者端末が管理者端末からの管理者音声情報に応答する場合に限って、受信者端末が受信者音声情報を送信可能である旨の受信者音声送信注意情報を、操作サーバーとテキスト情報送信サーバーを介して受信者端末に送信することを特徴とする。
このような構成の発明においては、第２の発明の作用に加えて、管理者端末制御部が送信注意情報を受信者端末に送信するため、受信者が通話できる場合は、管理者からの音声に返答する場合のみであることが受信者に理解される。
このような構成の発明においては、第２の発明の作用に加えて、管理者端末制御部が送信注意情報を受信者端末に送信するため、受信者が通話できる場合は、管理者からの音声に返答する場合のみであることが受信者に理解される。
【0013】
第４の発明は、第１又は第２の発明において、管理者端末表示部を備え、この管理者端末表示部は、ＶＲ動画に加えて、操作情報及び管理者音声情報を入力するための操作が可能な操作画面をそれぞれ表示することを特徴とする。
このような発明においては、第１又は第２の発明の作用に加えて、管理者端末表示部は、ＶＲ動画と、操作画面をそれぞれ表示するものであるが、ＶＲ動画と、操作画面を同時または異なるタイミングで表示する。前者では、例えば、ＶＲ動画の再生中に、このＶＲ動画上に操作画面を重ねて表示することが可能となる。
このような発明においては、第１又は第２の発明の作用に加えて、管理者端末表示部は、ＶＲ動画と、操作画面をそれぞれ表示するものであるが、ＶＲ動画と、操作画面を同時または異なるタイミングで表示する。前者では、例えば、ＶＲ動画の再生中に、このＶＲ動画上に操作画面を重ねて表示することが可能となる。
【0014】
第５の発明は、第４の発明において、受信者端末は、受信者端末制御部と、ＶＲ動画を表示する受信者端末表示部と、受信者端末のモーションを検知するためのモーションセンサーを備え、受信者端末制御部は、ＶＲ動画に基づくモーションセンサーの検知データに対応するモーション動画を、受信者端末表示部に表示し、モーション動画は、管理者端末表示部で表示されるＶＲ動画の視点と異なる視点で構成可能であることを特徴とする。
【0015】
このような構成の発明において、モーション動画は、動画情報の中から、モーションセンサーの検知データ、すなわち検知された受信者端末の方向に対応する動画情報が読み出されたものである。このような読み出しは、例えば、受信者端末とデータ通信が可能なヘッドマウントディスプレイに内蔵される処理部や、モーション動画の読み出しを行うアプリケーションがインストールされ、このアプリケーションを実行させる受信者端末制御部によって行われる。
上記構成の発明においては、第４の発明の作用に加えて、モーション動画は、管理者端末表示部で表示されるＶＲ動画の視点と異なる視点で構成可能であることから、各受信者は、管理者や他の受信者と同一の視点のほか、互いに異なる視点で、ＶＲ動画を視聴できる。
上記構成の発明においては、第４の発明の作用に加えて、モーション動画は、管理者端末表示部で表示されるＶＲ動画の視点と異なる視点で構成可能であることから、各受信者は、管理者や他の受信者と同一の視点のほか、互いに異なる視点で、ＶＲ動画を視聴できる。
【発明の効果】
【0016】
第１の発明によれば、受信者端末で再生されるＶＲ動画は、管理者端末と受信者端末において、時間的に同期して再生されるため、受信者は少なくとも管理者と、同時に、かつ同一のＶＲ動画を視聴することができる。そのため、複数人で視聴している場合の一体感等を感じることができ、満足度を高めることができる。
そして、受信者端末は、管理者端末から独立してＶＲ動画を再生等することができないので、例えば、１以上の受信者がＶＲ動画をランダムに停止して再生が滞り、受信者の不満が発生することを防止できる。
また、管理者と、受信者との間で双方向の通話が可能となるため、ＶＲ動画の見所やその感想等についてリアルタイムで会話することができる。よって、この点からも視聴の満足度を一層高めることができる。
そして、受信者端末は、管理者端末から独立してＶＲ動画を再生等することができないので、例えば、１以上の受信者がＶＲ動画をランダムに停止して再生が滞り、受信者の不満が発生することを防止できる。
また、管理者と、受信者との間で双方向の通話が可能となるため、ＶＲ動画の見所やその感想等についてリアルタイムで会話することができる。よって、この点からも視聴の満足度を一層高めることができる。
【0017】
第２の発明によれば、第１の発明の効果に加えて、ＶＲ音声情報の再生の停止によって、管理者音声情報の再生が、ＶＲ音声情報によって遮られることがないため、受信者は管理者の通話をはっきりと聞き取ることができる。また、このとき、ＶＲ動画のＶＲ画像情報の再生は継続することから、管理者が話す内容を集中して聴きながら無音のＶＲ動画を眺めることができるとともに、例えばＶＲ動画の見所の見逃しを避けることができる。
また、ＶＲ音声停止注意情報により、受信者はＶＲ音声情報の再生のみが停止することを前もって知ることができるため、ＶＲ音声情報の停止に驚くことを防ぐことができる。
また、ＶＲ音声停止注意情報により、受信者はＶＲ音声情報の再生のみが停止することを前もって知ることができるため、ＶＲ音声情報の停止に驚くことを防ぐことができる。
【0018】
第３の発明によれば、第２の発明の効果に加えて、受信者端末が、独立して受信者音声情報を管理者端末に送信することが防止されるため、受信者が会話する機会を管理者の会話後に限定することができる。よって、例えば、受信者がＶＲ動画を再生中にあげた大声や、ＶＲ動画と無関係な話が、管理者やほかの受信者に聞こえてしまうことがなく、ＶＲ動画の再生をスムーズに進行させることができる。
【0019】
第４の発明によれば、第１又は第２の発明の効果に加えて、例えば、ＶＲ動画の再生中に、このＶＲ動画上に操作画面を重ねて表示することが可能な場合、ＶＲ動画の再生中に操作情報や管理者音声情報を受信者端末へ送信するときの操作性が良好である。よって、例えば、管理者がＶＲ動画の解説をしたいと考えているタイミングを逃さず、その結果、受信者がＶＲ動画の内容について一層深く理解することができる。
【0020】
第５の発明によれば、第４の発明の効果に加えて、各受信者は、管理者や他の受信者と異なる視点でもＶＲ動画を視聴できるので、ＶＲ動画が時間的に同期していても所望の方向に頭を向けて視聴できるという自由度を確保することが可能である。
【図面の簡単な説明】
【0021】
【図1】実施例に係るＶＲ動画同期再生装置の構成図である。
【図2】（ａ）及び（ｂ）は、それぞれ実施例に係るＶＲ動画同期再生装置を構成する管理者端末の外観図及び受信者端末の外観図である。
【図3】実施例に係るＶＲ動画同期再生装置の処理手順を示す工程図である。
【図4】実施例に係るＶＲ動画同期再生装置の処理手順を示す工程図である。
【発明を実施するための形態】
【実施例】
【0022】
本発明の実施の形態に係るＶＲ動画同期再生装置について、図１乃至図４を用いて詳細に説明する。図１は、実施例に係るＶＲ動画同期再生装置の構成図である。図２（ａ）及び図２（ｂ）は、それぞれ実施例に係るＶＲ動画同期再生装置を構成する管理者端末の外観図及び受信者端末の外観図である。
図１に示すように、実施例に係るＶＲ動画同期再生装置１は、１名の管理者が操作する１台の管理者端末２と、３名の受信者がそれぞれ操作する３台の受信者端末３Ａ～３Ｃと、管理者端末２及び受信者端末３Ａ～３Ｃとそれぞれ通信可能なサーバー群４を備える。なお、受信者端末３Ａ～３Ｃの台数は、受信者の人数に応じて、３台未満や、４台以上であってもよい。そして、管理者端末２と、受信者端末３Ａ～３Ｃは、スマートフォン、タブレット端末、パーソナルコンピュータのいずれが用いられてもよい。
図１に示すように、実施例に係るＶＲ動画同期再生装置１は、１名の管理者が操作する１台の管理者端末２と、３名の受信者がそれぞれ操作する３台の受信者端末３Ａ～３Ｃと、管理者端末２及び受信者端末３Ａ～３Ｃとそれぞれ通信可能なサーバー群４を備える。なお、受信者端末３Ａ～３Ｃの台数は、受信者の人数に応じて、３台未満や、４台以上であってもよい。そして、管理者端末２と、受信者端末３Ａ～３Ｃは、スマートフォン、タブレット端末、パーソナルコンピュータのいずれが用いられてもよい。
【0023】
また、サーバー群４は、動画配信サーバー４Ａと、操作サーバー４Ｂと、テキスト情報送信サーバー４Ｃと、音声情報通信サーバー４Ｄである。具体的には、操作サーバー４ＢとしてＡＰＩ（Application Programming Interface）サーバーが、テキスト情報送信サーバー４ＣとしてWebSocketサーバーが、音声情報通信サーバー４ＤとしてWebRTC（Web Real-Time Communication）サーバーが、それぞれ利用される。
このうち、テキスト情報送信サーバー４ＣとしてWebSocketサーバーを利用することで、管理者端末２と受信者端末３Ａ～３Ｃによる、リアルタイムな操作情報の共有を可能にする。
また、音声情報通信サーバー４ＤとしてWebRTCサーバーを利用することで、容量が大きい音声データをリアルタイムに送受信したり、管理者端末２や受信者端末３Ａ～３Ｃが音声を送受信したりすることを可能にする。
このうち、テキスト情報送信サーバー４ＣとしてWebSocketサーバーを利用することで、管理者端末２と受信者端末３Ａ～３Ｃによる、リアルタイムな操作情報の共有を可能にする。
また、音声情報通信サーバー４ＤとしてWebRTCサーバーを利用することで、容量が大きい音声データをリアルタイムに送受信したり、管理者端末２や受信者端末３Ａ～３Ｃが音声を送受信したりすることを可能にする。
【0024】
さらに、動画配信サーバー４Ａは、管理者端末２と受信者端末３Ａ～３Ｃに、それぞれ通信経路５ａ，５ａ´を介してＶＲ画像情報及びＶＲ音声情報で構成されるＶＲ動画を配信する。なお、ＶＲ動画は、例えば３６０度ＶＲ動画であって、その配信は、正距円筒図法で作成された３６０度ＶＲ動画を、管理者端末２や受信者端末３Ａ～３Ｃに設定される球体の内側に貼り付けるSkySphere方式によって実現される。
また、管理者端末２と、受信者端末３Ａ～３Ｃは、ＶＲ動画をSkySphere方式によって構成するためのプログラムが、それぞれ所定のウェブサイトにアクセスしてダウンロードされ、インストールされている。さらに、管理者端末２と、受信者端末３Ａ～３Ｃは、この管理者端末２、受信者端末３Ａ～３Ｃをそれぞれ後述するＶＲ動画同期再生方法１００の各工程のとおりに動作させるためのプログラムが予めインストールされている。
また、管理者端末２と、受信者端末３Ａ～３Ｃは、ＶＲ動画をSkySphere方式によって構成するためのプログラムが、それぞれ所定のウェブサイトにアクセスしてダウンロードされ、インストールされている。さらに、管理者端末２と、受信者端末３Ａ～３Ｃは、この管理者端末２、受信者端末３Ａ～３Ｃをそれぞれ後述するＶＲ動画同期再生方法１００の各工程のとおりに動作させるためのプログラムが予めインストールされている。
【0025】
次に、図２（ａ）に示すように、管理者端末２は、管理者端末制御部２ａと、操作情報及び管理者音声情報等を送信し、ＶＲ動画及び受信者音声情報等を受信するための通信部２ｂと、管理者が発した音声を収音するマイク２ｃと、ＶＲ音声情報及び受信者端末３Ａ～３Ｃの各受信者音声情報を出力するスピーカー２ｄと、管理者端末表示部２ｇとマイク２ｃを介して入力された操作情報と管理者音声情報を記憶する記憶部２ｅと、管理者端末２のモーションを検知するためのモーションセンサー２ｆが内蔵されるとともに、ＶＲ動画を表示する管理者端末表示部２ｇを備える。
ここで、操作情報とは、受信者端末３Ａ～３ＣにおけるＶＲ動画の再生及び停止を制御するためのテキスト形式の情報である。また、管理者音声情報とは、受信者端末３Ａ～３Ｃに送信するための音声形式の情報であって、具体的には、マイク２ｃが収音する音声が、電子データに変換されたものである。
ここで、操作情報とは、受信者端末３Ａ～３ＣにおけるＶＲ動画の再生及び停止を制御するためのテキスト形式の情報である。また、管理者音声情報とは、受信者端末３Ａ～３Ｃに送信するための音声形式の情報であって、具体的には、マイク２ｃが収音する音声が、電子データに変換されたものである。
【0026】
管理者端末２の上記構成のうち、管理者端末表示部２ｇは、ＶＲ動画に加えて、操作情報及び管理者音声情報を入力させるための操作が可能な操作画面６をそれぞれ表示する。この操作画面６は、操作情報入力ボタン６ａと、管理者音声入力ボタン６ｂが常時表示される構成である。ただし、操作画面６は、所望の場合に管理者端末表示部２ｇを長押しすることで表示される構成であってもよい。
このうち、操作情報入力ボタン６ａは、管理者がＶＲ画像情報とＶＲ音声情報を同時に再生または同時に停止させるための操作情報を、入力するためのボタンであり、管理者音声入力ボタン６ｂは、管理者が管理者音声情報を、スピーカー２ｄを介して入力するためのボタンである。
これに対し、管理者が、ＶＲ画像情報のみを再生または停止させるための操作情報は、ＶＲ画像情報操作ボタン６ａ－１を介して入力され、ＶＲ音声情報のみを再生または停止させるための操作情報は、ＶＲ音声情報操作ボタン６ａ－２を介して入力される。なお、ＶＲ画像情報操作ボタン６ａ－１と、ＶＲ音声情報操作ボタン６ａ－２は、操作情報入力ボタン６ａを長押しすることで表示される構成であるが、常時表示される構成であってもよい。
このうち、操作情報入力ボタン６ａは、管理者がＶＲ画像情報とＶＲ音声情報を同時に再生または同時に停止させるための操作情報を、入力するためのボタンであり、管理者音声入力ボタン６ｂは、管理者が管理者音声情報を、スピーカー２ｄを介して入力するためのボタンである。
これに対し、管理者が、ＶＲ画像情報のみを再生または停止させるための操作情報は、ＶＲ画像情報操作ボタン６ａ－１を介して入力され、ＶＲ音声情報のみを再生または停止させるための操作情報は、ＶＲ音声情報操作ボタン６ａ－２を介して入力される。なお、ＶＲ画像情報操作ボタン６ａ－１と、ＶＲ音声情報操作ボタン６ａ－２は、操作情報入力ボタン６ａを長押しすることで表示される構成であるが、常時表示される構成であってもよい。
【0027】
次に、モーションセンサー２ｆは、例えば、直交する３軸方向の加速度を検知する加速度センサーであって、管理者が、管理者端末２がセットされたヘッドマウントディスプレイ（図示せず）を装着することで、管理者の視点の方向を検知する。
また、管理者端末制御部２ａは、ＶＲ動画に基づくモーションセンサー２ｆの検知データに対応するモーション動画を、管理者端末表示部２ｇに表示する。具体的には、管理者端末制御部２ａは、記憶部２ｅにインストールされたアプリケーションによって、公知の方法により、ＶＲ動画の中からモーションセンサー２ｆの検知データに対応するものを選択してモーション動画とする。
なお、上記の通信部２ｂ等の動作は、すべて管理者端末制御部２ａによって制御される。また、管理者端末２に入力及び管理者端末２から出力された情報は、すべて記憶部２ｅに記憶される。
また、管理者端末制御部２ａは、ＶＲ動画に基づくモーションセンサー２ｆの検知データに対応するモーション動画を、管理者端末表示部２ｇに表示する。具体的には、管理者端末制御部２ａは、記憶部２ｅにインストールされたアプリケーションによって、公知の方法により、ＶＲ動画の中からモーションセンサー２ｆの検知データに対応するものを選択してモーション動画とする。
なお、上記の通信部２ｂ等の動作は、すべて管理者端末制御部２ａによって制御される。また、管理者端末２に入力及び管理者端末２から出力された情報は、すべて記憶部２ｅに記憶される。
【0028】
図１に戻ると、管理者端末２は、操作情報を、通信経路５ｂを介して操作サーバー４Ｂに送信するとともに、管理者音声情報を、通信経路５ｅを介して音声情報通信サーバー４Ｄに送信する。
さらに、操作サーバー４Ｂは、管理者端末２から受信した操作情報を、通信経路５ｃを介してテキスト情報送信サーバー４Ｃに送信する。なお、通信経路５ｂ，５ｃの通信プロトコルはいずれもHTTPであり、通信経路５ｅの通信プロトコルはWebRTCである。
さらに、操作サーバー４Ｂは、管理者端末２から受信した操作情報を、通信経路５ｃを介してテキスト情報送信サーバー４Ｃに送信する。なお、通信経路５ｂ，５ｃの通信プロトコルはいずれもHTTPであり、通信経路５ｅの通信プロトコルはWebRTCである。
【0029】
そして、テキスト情報送信サーバー４Ｃは、受信した操作情報を、通信経路５ｄを介して受信者端末３Ａ～３Ｃにそれぞれ一括して送信する。なお、通信経路５ｄの通信プロトコルは、WebSocketである。
また、音声情報通信サーバー４Ｄは、受信した管理者音声情報を、通信経路５ｆを介して受信者端末３Ａ～３Ｃにそれぞれ一括して送信し、かつ通信経路５ｆを介して受信者端末３Ａ～３Ｃからの受信者音声情報を受信し、さらにこの受信者音声情報を、通信経路５ｅを介して管理者端末２に送信する。なお、受信者音声情報とは、具体的には受信者が管理者に向けて、マイク３ｃ（図２（ｂ）参照）を介して発する音声である。そして、通信経路５ｆの通信プロトコルは、WebRTCである。
また、音声情報通信サーバー４Ｄは、受信した管理者音声情報を、通信経路５ｆを介して受信者端末３Ａ～３Ｃにそれぞれ一括して送信し、かつ通信経路５ｆを介して受信者端末３Ａ～３Ｃからの受信者音声情報を受信し、さらにこの受信者音声情報を、通信経路５ｅを介して管理者端末２に送信する。なお、受信者音声情報とは、具体的には受信者が管理者に向けて、マイク３ｃ（図２（ｂ）参照）を介して発する音声である。そして、通信経路５ｆの通信プロトコルは、WebRTCである。
【0030】
次に、図２（ｂ）に示すように、受信者端末３Ａ～３Ｃのうち、受信者端末３Ａは、受信者端末制御部３ａと、ＶＲ動画や管理者端末２から送信された操作情報等を受信し、かつ受信者端末３Ａ～３Ｃの各受信者音声情報を送受信する通信部３ｂと、受信者が発した音声を収音するマイク３ｃと、ＶＲ音声情報、管理者音声情報及び受信者端末３Ａ～３Ｃの各受信者音声情報を出力するスピーカー３ｄと、マイク３ｃを介して入力された受信者音声情報等を記憶する記憶部３ｅと、受信者端末３Ａのモーションを検知するためのモーションセンサー３ｆが内蔵されるとともに、ＶＲ動画を表示する受信者端末表示部３ｇを備える。
ここで、受信者音声情報とは、管理者端末２に送信するための音声形式の情報であって、具体的には、マイク３ｃが収音する音声が、電子データに変換されたものである。
ここで、受信者音声情報とは、管理者端末２に送信するための音声形式の情報であって、具体的には、マイク３ｃが収音する音声が、電子データに変換されたものである。
【0031】
受信者端末３Ａの上記構成のうち、受信者端末表示部３ｇは、ＶＲ動画に加えて、状況表示画面７を常時表示する。状況表示画面７は、ＶＲ動画の再生状況を表すＶＲ動画再生状況ボタン７ａと、受信者音声情報の入力状況を表す音声状況ボタン７ｂが常時表示される構成である。ただし、状況表示画面７は、所望の場合に受信者端末表示部３ｇを長押しすることで表示される構成であってもよい。
このうち、ＶＲ動画再生状況ボタン７ａは、管理者がＶＲ画像情報とＶＲ音声情報を同時に再生停止したときに点灯し、ＶＲ画像情報とＶＲ音声情報を同時に再生停止したときに消灯するボタンである。また、音声状況ボタン７ｂは、受信者が、受信者音声情報を、スピーカー３ｄを介して入力可能なタイミングに点滅することで、このタイミングを認識できるようにしたボタンである。
これに対し、管理者が、ＶＲ画像情報のみを再生したときには、動画再生ボタン７ａ－１が点灯し、ＶＲ音声情報のみを再生したときには、音声再生ボタン７ａ－２が点灯する。
このように、状況表示画面７には、受信者がＶＲ動画の再生や停止を制御したり、受信者音声情報を所望のタイミングに入力したりするためのボタンは設けられていない。
このうち、ＶＲ動画再生状況ボタン７ａは、管理者がＶＲ画像情報とＶＲ音声情報を同時に再生停止したときに点灯し、ＶＲ画像情報とＶＲ音声情報を同時に再生停止したときに消灯するボタンである。また、音声状況ボタン７ｂは、受信者が、受信者音声情報を、スピーカー３ｄを介して入力可能なタイミングに点滅することで、このタイミングを認識できるようにしたボタンである。
これに対し、管理者が、ＶＲ画像情報のみを再生したときには、動画再生ボタン７ａ－１が点灯し、ＶＲ音声情報のみを再生したときには、音声再生ボタン７ａ－２が点灯する。
このように、状況表示画面７には、受信者がＶＲ動画の再生や停止を制御したり、受信者音声情報を所望のタイミングに入力したりするためのボタンは設けられていない。
【0032】
次に、モーションセンサー３ｆは、管理者端末２に内蔵されたモーションセンサー２ｆと同様の構成と作用を有している。よって、受信者端末制御部３ａは、ＶＲ動画に基づくモーションセンサー３ｆの検知データに対応するモーション動画を、受信者端末表示部３ｇに表示する。
したがって、受信者端末３Ａで表示されるモーション動画は、管理者端末表示部２ｇで表示されるＶＲ動画であるモーション動画の視点と異なる視点で構成可能である。
なお、上記の通信部３ｂ等の動作は、すべて受信者端末制御部３ａによって制御される。また、受信者端末３Ａに入力及び受信者端末３Ａから出力された情報は、すべて記憶部３ｅに記憶される。
そして、受信者端末３Ｂ，３Ｃの構造及び作用は、受信者端末３Ａの構造及び作用とそれぞれ同様である。
したがって、受信者端末３Ａで表示されるモーション動画は、管理者端末表示部２ｇで表示されるＶＲ動画であるモーション動画の視点と異なる視点で構成可能である。
なお、上記の通信部３ｂ等の動作は、すべて受信者端末制御部３ａによって制御される。また、受信者端末３Ａに入力及び受信者端末３Ａから出力された情報は、すべて記憶部３ｅに記憶される。
そして、受信者端末３Ｂ，３Ｃの構造及び作用は、受信者端末３Ａの構造及び作用とそれぞれ同様である。
【0033】
続いて、実施例に係るＶＲ動画同期再生装置の動作について、図３及び図４を用いて説明する。図３及び図４は、それぞれ実施例に係るＶＲ動画同期再生装置の処理手順を示す工程図である。
図３に示すように、ＶＲ動画同期再生装置１は、ステップＳ１のＶＲ動画配信工程から、ステップＳ２２の操作情報送信工程までの工程を有するＶＲ動画同期再生方法１００を実行する。以下、ステップＳ１のＶＲ動画配信工程から順を追って説明する。
図３に示すように、ＶＲ動画同期再生装置１は、ステップＳ１のＶＲ動画配信工程から、ステップＳ２２の操作情報送信工程までの工程を有するＶＲ動画同期再生方法１００を実行する。以下、ステップＳ１のＶＲ動画配信工程から順を追って説明する。
【0034】
ステップＳ１のＶＲ動画配信工程は、動画配信サーバー４Ａが、管理者端末２と、受信者端末３Ａ～３Ｃに、それぞれ通信経路５ａ，５ａ´を介してＶＲ動画を配信する工程である。なお、この工程が開始される前において、管理者端末２と、受信者端末３Ａ～３Ｃは、前述のように、ＶＲ動画を再生するためのアプリケーションがすでにインストールされている。よって、管理者端末制御部２ａと、受信者端末３Ａ～３Ｃの各受信者端末制御部３ａが、配信されたＶＲ動画をそれぞれ再生可能な状態になっている。
また、ＶＲ動画のコンテンツとして、例えば旅行体験、風景鑑賞、スポーツ体験、飛行体験といった内容が想定されるが、勿論これに限定されるものではない。
また、ＶＲ動画のコンテンツとして、例えば旅行体験、風景鑑賞、スポーツ体験、飛行体験といった内容が想定されるが、勿論これに限定されるものではない。
【0035】
次に、ステップＳ２の管理者端末ＶＲ動画再生工程は、管理者端末２の管理者端末制御部２ａが、操作画面６上の操作情報入力ボタン６ａを介して入力された操作情報に基づき、配信されたＶＲ動画のＶＲ画像情報と、ＶＲ音声情報を、管理者端末表示部２ｇと、スピーカー２ｄで同時に再生する工程である。
【0036】
続いて、ステップＳ３の操作情報送信工程は、管理者端末制御部２ａが、操作情報入力ボタン６ａを介して入力された操作情報を、通信経路５ｂを介して操作サーバー４Ｂに送信する第１の送信工程と、操作サーバー４Ｂに送信された操作情報を、通信経路５ｃを介してテキスト情報送信サーバー４Ｃに送信する第２の送信工程と、テキスト情報送信サーバー４Ｃに送信された操作情報を、通信経路５ｄを介して受信者端末３Ａの通信部３ｂに送信する第３の送信工程からなる。
第１乃至第３の送信工程により、操作情報が、管理者端末２から受信者端末３Ａ～３Ｃへ伝達される。
第１乃至第３の送信工程により、操作情報が、管理者端末２から受信者端末３Ａ～３Ｃへ伝達される。
【0037】
さらに、ステップＳ４の受信者端末ＶＲ動画再生工程は、受信者端末制御部３ａが、通信部３ｂを介して受信した操作情報に基づいて、予め受信したＶＲ動画のＶＲ画像情報及びＶＲ音声情報を、受信者端末表示部３ｇとスピーカー３ｄにそれぞれ再生させるための工程である。
操作情報を受信したとき、受信者端末３Ａ～３Ｃは、それぞれモーションセンサー３ｆを備えることから、前述のとおり、各受信者端末制御部３ａによってＶＲ動画に基づくモーション動画が構成されて再生される。
操作情報を受信したとき、受信者端末３Ａ～３Ｃは、それぞれモーションセンサー３ｆを備えることから、前述のとおり、各受信者端末制御部３ａによってＶＲ動画に基づくモーション動画が構成されて再生される。
【0038】
そして、ステップＳ５の管理者音声情報入力判定工程は、管理者が管理者音声情報を入力するときに実行される工程であって、具体的には管理者端末制御部２ａが、管理者が管理者音声入力ボタン６ｂを操作後に管理者音声情報がマイク２ｃを介して入力されるか否かを判定して、これ以降に実施する工程を決定する工程である。
管理者端末制御部２ａは、管理者音声情報が所定の時間内に入力されない場合に、ＶＲ動画の再生を継続させる。一方、管理者音声情報が所定の時間内に入力される場合には、図３、図４における「ａ」の工程以降を実行する。
管理者端末制御部２ａは、管理者音声情報が所定の時間内に入力されない場合に、ＶＲ動画の再生を継続させる。一方、管理者音声情報が所定の時間内に入力される場合には、図３、図４における「ａ」の工程以降を実行する。
【0039】
ステップＳ６のＶＲ動画停止判定工程は、管理者がＶＲ動画の再生を停止するときに実行される工程であって、具体的には、管理者端末制御部２ａが、ＶＲ動画の再生を停止させる操作情報が操作情報入力ボタン６ａを介して入力されるか否か、ＶＲ画像情報のみの再生を停止させる操作情報がＶＲ画像情報操作ボタン６ａ－１を介して入力されるか否か、またはＶＲ音声情報のみの再生を停止させる操作情報がＶＲ音声情報操作ボタン６ａ－２を介して入力されるか否か、を判定する工程である。
管理者端末制御部２ａは、操作情報が所定の時間内に入力されない場合に、ステップＳ４の受信者端末ＶＲ動画再生工程に戻って、ＶＲ動画、ＶＲ画像情報またはＶＲ音声情報の再生を継続させる。一方、操作情報が所定の時間内に入力される場合には、管理者端末制御部２ａは、ステップＳ７の操作情報送信工程を実行する。
管理者端末制御部２ａは、操作情報が所定の時間内に入力されない場合に、ステップＳ４の受信者端末ＶＲ動画再生工程に戻って、ＶＲ動画、ＶＲ画像情報またはＶＲ音声情報の再生を継続させる。一方、操作情報が所定の時間内に入力される場合には、管理者端末制御部２ａは、ステップＳ７の操作情報送信工程を実行する。
【0040】
ステップＳ７の操作情報送信工程は、管理者端末制御部２ａが、再生中のＶＲ動画、ＶＲ画像情報またはＶＲ音声情報を停止させる操作情報を、通信経路５ｂ，５ｃ，５ｄを介して、受信者端末３Ａ～３Ｃにそれぞれ送信する工程である。
【0041】
次のステップＳ８の受信者端末再生停止工程は、受信者端末３Ａ～３Ｃにおいて、それぞれの通信部３ｂを介して操作情報を受信したとき、各受信者端末制御部３ａが、この操作情報に従って受信者端末表示部３ｇやスピーカー３ｄにおけるＶＲ動画のすべて、またはＶＲ画像情報あるいはＶＲ音声情報の再生を停止させる。
【0042】
そして、ステップＳ９の受信者端末再生再開工程は、管理者端末制御部２ａが、再生停止中のＶＲ動画、ＶＲ画像情報またはＶＲ音声情報の再生を再開させる操作情報を、操作情報入力ボタン６ａ等の操作によりそれぞれ入力する工程である。
管理者端末制御部２ａは、操作情報が所定の時間内に入力されない場合に、ステップＳ１０の問い合わせ工程を実行する。一方、操作情報が所定の時間内に入力される場合には、管理者端末制御部２ａは、ステップＳ４の受信者端末ＶＲ動画再生工程に戻って、ＶＲ動画、ＶＲ画像情報またはＶＲ音声情報の再生を再開させる。これとともに、管理者端末制御部２ａは、ステップＳ１１の操作情報送信工程を実行する。
管理者端末制御部２ａは、操作情報が所定の時間内に入力されない場合に、ステップＳ１０の問い合わせ工程を実行する。一方、操作情報が所定の時間内に入力される場合には、管理者端末制御部２ａは、ステップＳ４の受信者端末ＶＲ動画再生工程に戻って、ＶＲ動画、ＶＲ画像情報またはＶＲ音声情報の再生を再開させる。これとともに、管理者端末制御部２ａは、ステップＳ１１の操作情報送信工程を実行する。
【0043】
ステップＳ１０の問い合わせ工程は、管理者端末制御部２ａが、停止中のＶＲ動画、ＶＲ画像情報またはＶＲ音声情報の再生を再開させるか否かを、管理者に問い合わせる工程である。具体的には、管理者端末制御部２ａが、操作画面６上に、例えば「再生を終了しますか？」といった文字を表示する。
管理者が、この文字に対応し、操作画面６上で、例えば操作情報入力ボタン６ａを長押しすると、管理者端末制御部２ａは、停止中のＶＲ動画等の再生を再開することなく終了する。これにより、ＶＲ動画同期再生方法１００は終了する。
これに対し、管理者が、この文字に対応して、操作画面６上で、例えば操作情報入力ボタン６ａをダブルタップすると、管理者端末制御部２ａは、ステップＳ１１の操作情報送信工程を実行する。
管理者が、この文字に対応し、操作画面６上で、例えば操作情報入力ボタン６ａを長押しすると、管理者端末制御部２ａは、停止中のＶＲ動画等の再生を再開することなく終了する。これにより、ＶＲ動画同期再生方法１００は終了する。
これに対し、管理者が、この文字に対応して、操作画面６上で、例えば操作情報入力ボタン６ａをダブルタップすると、管理者端末制御部２ａは、ステップＳ１１の操作情報送信工程を実行する。
【0044】
ステップＳ１１の操作情報送信工程は、管理者端末制御部２ａが、停止中のＶＲ動画、ＶＲ画像情報またはＶＲ音声情報の再生を再開させる操作情報を、操作サーバー４Ｂと、テキスト情報送信サーバー４Ｃと、通信経路５ｂ，５ｃ，５ｄを介して、受信者端末３Ａ～３Ｃにそれぞれ送信する工程である。これにより、受信者端末３Ａ～３Ｃにおいて、各受信者端末制御部３ａが、操作情報に従ってＶＲ動画等の再生を再開させる。
【0045】
次に、ステップＳ５の管理者音声情報入力判定工程の結果、管理者音声情報が所定の時間内に入力される場合の「ａ」の工程以降について、図４を用いて説明する。
ステップＳ１２の管理者音声情報工程は、管理者端末制御部２ａが、管理者端末２において再生中のＶＲ動画のうち、ＶＲ音声情報のみの再生を停止させる工程である。具体的には、管理者端末制御部２ａが、ＶＲ音声情報操作ボタン６ａ－２が長押しされるときに、ＶＲ音声情報のみの再生を停止させる操作情報が入力されたことを検知する。
ステップＳ１２の管理者音声情報工程は、管理者端末制御部２ａが、管理者端末２において再生中のＶＲ動画のうち、ＶＲ音声情報のみの再生を停止させる工程である。具体的には、管理者端末制御部２ａが、ＶＲ音声情報操作ボタン６ａ－２が長押しされるときに、ＶＲ音声情報のみの再生を停止させる操作情報が入力されたことを検知する。
【0046】
続いて、ステップＳ１３の管理者音声情報送信工程は、管理者端末制御部２ａが、管理者音声情報を、音声情報通信サーバー４Ｄと、通信経路５ｅ，５ｆを介して受信者端末３Ａ～３Ｃに送信する工程である。
【0047】
さらに、ステップＳ１４のＶＲ音声停止注意情報送信工程は、管理者端末制御部２ａが、ステップＳ１３の管理者音声情報送信工程において、管理者音声情報を受信者端末３Ａ～３Ｃに送信する場合に、操作情報のうち、ＶＲ音声情報のみの再生を停止する旨のＶＲ音声停止注意情報を、操作サーバー４Ｂと、テキスト情報送信サーバー４Ｃと、通信経路５ｂ，５ｃ，５ｄを介し、受信者端末３Ａ～３Ｃに対してそれぞれ送信する工程である。
受信者端末３Ａ～３Ｃの各受信者端末制御部３ａは、ＶＲ音声停止注意情報を受信した後に、操作画面６上の文字やスピーカー３ｄによる音声で、各受信者に報知する。
受信者端末３Ａ～３Ｃの各受信者端末制御部３ａは、ＶＲ音声停止注意情報を受信した後に、操作画面６上の文字やスピーカー３ｄによる音声で、各受信者に報知する。
【0048】
そして、ステップＳ１５の受信者音声送信注意情報送信工程は、管理者端末制御部２ａが、受信者端末３Ａ～３Ｃが管理者端末２からの管理者音声情報に応答する場合に限って、受信者端末３Ａ～３Ｃが受信者音声情報を送信可能である旨の受信者音声送信注意情報を、操作サーバー４Ｂと、テキスト情報送信サーバー４Ｃと、通信経路５ｂ，５ｃ，５ｄを介し、受信者端末３Ａ～３Ｃに対してそれぞれ送信する工程である。なお、この工程は、ステップＳ１４のＶＲ音声停止注意情報送信工程よりも前に、または同時に実行されてもよい。
受信者端末３Ａ～３Ｃの各受信者端末制御部３ａは、受信者音声送信注意情報を受信した後に、操作画面６上の文字やスピーカー３ｄによる音声で、各受信者に報知する。
受信者端末３Ａ～３Ｃの各受信者端末制御部３ａは、受信者音声送信注意情報を受信した後に、操作画面６上の文字やスピーカー３ｄによる音声で、各受信者に報知する。
【0049】
続いて、ステップＳ１６のＶＲ音声停止命令送信工程は、管理者端末制御部２ａが、操作情報のうち、ＶＲ音声情報の再生を停止させる旨のＶＲ音声停止命令を、操作サーバー４Ｂ等を介し、受信者端末３Ａ～３Ｃに対して送信する工程である。これにより、受信者端末３Ａ～３Ｃにおいては、受信者端末制御部３ａが、ＶＲ音声停止命令に従い、ＶＲ音声情報の再生を停止する。
【0050】
続いて、ステップＳ１７の受信許可通知送信判定工程は、管理者端末制御部２ａが、音声情報通信サーバー４Ｄに受信許可通知を送信するか否かを判定する工程である。この受信許可通知は、受信者端末３Ａ～３Ｃが管理者端末２からの管理者音声情報を受信した場合に限って、音声情報通信サーバー４Ｄに受信者端末３Ａ～３Ｃからの受信者音声情報を受信させるという内容である。
なお、受信者端末３Ａ～３Ｃに予めインストールされたＶＲ動画同期再生方法１００を実行するためのプログラムでは、受信者端末３Ａ～３Ｃが管理者端末２からの管理者音声情報を受信すると、受信者端末３Ａ～３Ｃの各受信者端末制御部３ａが、それぞれテキスト形式の受信完了情報を、通信経路５ｇと、操作サーバー４Ｂと、通信経路５ｃと、テキスト情報送信サーバー４Ｃと、通信経路５ｈを介し、管理者端末２に直ちに送信されるよう設定されている。なお、通信経路５ｇの通信プロトコルは、HTTPであり、通信経路５ｈの通信プロトコルは、WebSocketである。
よって、この工程では、管理者端末制御部２ａが、受信者端末３Ａ～３Ｃからの受信完了情報を管理者端末２が受信したか否かを判定する。管理者端末制御部２ａが、管理者端末２が受信完了情報を受信したと判定する場合、ステップＳ１８の受信許可通知送信工程が実行される。一方、管理者端末制御部２ａが、管理者端末２が受信完了情報を受信していないと判定する場合、ステップＳ１３の管理者音声情報送信工程に戻る。
なお、受信者端末３Ａ～３Ｃに予めインストールされたＶＲ動画同期再生方法１００を実行するためのプログラムでは、受信者端末３Ａ～３Ｃが管理者端末２からの管理者音声情報を受信すると、受信者端末３Ａ～３Ｃの各受信者端末制御部３ａが、それぞれテキスト形式の受信完了情報を、通信経路５ｇと、操作サーバー４Ｂと、通信経路５ｃと、テキスト情報送信サーバー４Ｃと、通信経路５ｈを介し、管理者端末２に直ちに送信されるよう設定されている。なお、通信経路５ｇの通信プロトコルは、HTTPであり、通信経路５ｈの通信プロトコルは、WebSocketである。
よって、この工程では、管理者端末制御部２ａが、受信者端末３Ａ～３Ｃからの受信完了情報を管理者端末２が受信したか否かを判定する。管理者端末制御部２ａが、管理者端末２が受信完了情報を受信したと判定する場合、ステップＳ１８の受信許可通知送信工程が実行される。一方、管理者端末制御部２ａが、管理者端末２が受信完了情報を受信していないと判定する場合、ステップＳ１３の管理者音声情報送信工程に戻る。
【0051】
ステップＳ１８の受信許可通知送信工程は、管理者端末制御部２ａが、受信者端末３Ａ～３Ｃが管理者端末２からの管理者音声情報を受信した場合に限って、音声情報通信サーバー４Ｄに受信者音声情報を受信させる受信許可通知を送信する工程である。
音声情報通信サーバー４Ｄは、管理者端末制御部２ａが送信した受信許可通知を受信すると、受信者端末３Ａ～３Ｃからの受信者音声情報を、通信経路５ｆを介して受信し、さらに通信経路５ｅを介して管理者端末２へそれぞれ送信する。
音声情報通信サーバー４Ｄは、管理者端末制御部２ａが送信した受信許可通知を受信すると、受信者端末３Ａ～３Ｃからの受信者音声情報を、通信経路５ｆを介して受信し、さらに通信経路５ｅを介して管理者端末２へそれぞれ送信する。
【0052】
ステップＳ１９の受信者音声情報送受信工程は、管理者と、受信者との相互の音声による実際の通話が可能となる工程であって、管理者端末制御部２ａが、音声情報通信サーバー４Ｄが受信した受信者端末３Ａ～３Ｃからの受信者音声情報を、管理者端末２に送信させ、スピーカー２ｄによって管理者が聞き取り可能な音声として出力される受信者音声情報受信工程と、管理者が聞き取った音声に対する音声をマイク２ｃに収音させて、新たな管理者音声情報として受信者端末３Ａ～３Ｃに送信する管理者音声情報送信工程からなる。
ステップＳ１９の受信者音声情報送受信工程が実行されている間に、管理者音声の送信を終了する旨の管理者音声送信終了通知が管理者端末２に入力されない場合は、管理者端末制御部２ａは、管理者と、受信者との音声の送受信を継続する。なお、管理者音声送信終了通知は、例えば、管理者が管理者音声入力ボタン６ｂを長押しすることで入力されるテキスト形式の情報であるように設定することができる。
ステップＳ１９の受信者音声情報送受信工程が実行されている間に、管理者音声の送信を終了する旨の管理者音声送信終了通知が管理者端末２に入力されない場合は、管理者端末制御部２ａは、管理者と、受信者との音声の送受信を継続する。なお、管理者音声送信終了通知は、例えば、管理者が管理者音声入力ボタン６ｂを長押しすることで入力されるテキスト形式の情報であるように設定することができる。
【0053】
ステップＳ２０の管理者音声送信終了決定工程は、管理者端末制御部２ａが、管理者音声送信終了通知が入力されたか否かによって、これ以降に実行する工程を決定する工程である。管理者端末制御部２ａは、管理者音声送信終了通知が入力された場合に、ステップＳ２１のＶＲ音声情報再開工程を実行し、入力されない場合に、ステップＳ１９の受信者音声情報送受信工程を継続させる。
【0054】
ステップＳ２１のＶＲ音声情報再開工程は、管理者端末制御部２ａが、管理者端末２に、ＶＲ音声情報の再生を再開させる工程である。これにより、再生中のＶＲ画像情報に加え、ＶＲ音声情報が再生される。
【0055】
ステップＳ２２の操作情報送信工程は、管理者端末制御部２ａが、受信者端末３Ａ～３Ｃに、ＶＲ音声情報の再生を再開させる工程である。これにより、受信者端末３Ａ～３Ｃは、ＶＲ画像情報と、ＶＲ音声情報が同時に再生されて、ステップＳ４の受信者端末ＶＲ動画再生工程の場合と同じ状態となる。
【0056】
以上説明したように、ＶＲ動画同期再生装置１は、ステップＳ１のＶＲ動画配信工程乃至ステップＳ２２の操作情報送信工程を実行可能である。
このうち、ステップＳ３の操作情報送信工程により、受信者端末３Ａ～３Ｃにおいて、ＶＲ動画、ＶＲ画像情報またはＶＲ音声情報はそれぞれ操作情報に従って再生されるから、これらは管理者端末２と受信者端末３Ａ～３Ｃにおいて、時間的に同期して再生されることになる。
また、ステップＳ７，Ｓ１１の操作情報送信工程により、受信者端末３Ａ～３Ｃにおいて、ＶＲ動画、ＶＲ画像情報またはＶＲ音声情報はそれぞれ操作情報に従って停止されたり、再開されたりする。よって、受信者端末３Ａ～３Ｃは、管理者端末から独立してＶＲ動画等の再生やその停止をすることができない。
このうち、ステップＳ３の操作情報送信工程により、受信者端末３Ａ～３Ｃにおいて、ＶＲ動画、ＶＲ画像情報またはＶＲ音声情報はそれぞれ操作情報に従って再生されるから、これらは管理者端末２と受信者端末３Ａ～３Ｃにおいて、時間的に同期して再生されることになる。
また、ステップＳ７，Ｓ１１の操作情報送信工程により、受信者端末３Ａ～３Ｃにおいて、ＶＲ動画、ＶＲ画像情報またはＶＲ音声情報はそれぞれ操作情報に従って停止されたり、再開されたりする。よって、受信者端末３Ａ～３Ｃは、管理者端末から独立してＶＲ動画等の再生やその停止をすることができない。
【0057】
さらに、ステップＳ４の受信者端末ＶＲ動画再生工程においては、受信者端末３Ａ～３Ｃは、それぞれＶＲ動画に基づくモーション動画が構成されて再生されることから、例えば、ＶＲ動画が風景動画であった場合に、受信者端末３Ａの受信者の視点は山に向かい、受信者端末３Ｂの受信者の視点は海に向かい、受信者端末３Ｃの受信者の視点は森に向かう、といったように、同時に異なる風景を視聴可能である。
【0058】
また、ステップＳ１３の管理者音声情報送信工程において、管理者が管理者音声情報を送信すると、ステップＳ１６のＶＲ音声停止命令送信工程において、受信者端末制御部３ａが、受信者端末３Ａ～３ＣのＶＲ音声情報の再生をいずれも自動的に停止するため、管理者の音声が、ＶＲ音声情報によって遮られることを防止できる。よって、受信者端末３Ａ～３Ｃの各受信者は管理者の通話をはっきりと聞き取ることができる。
また、受信者端末制御部３ａが、受信者端末３Ａ～３ＣのＶＲ音声情報の再生をいずれも停止する前に、ステップＳ１４のＶＲ音声停止注意情報送信工程において、各受信者端末制御部３ａがＶＲ音声停止注意情報を各受信者に報知するので、各受信者が、ＶＲ音声情報の停止に驚いたり、トラブルが発生したのではないかとの疑問を抱いたりすることを避けることができる。
また、受信者端末制御部３ａが、受信者端末３Ａ～３ＣのＶＲ音声情報の再生をいずれも停止する前に、ステップＳ１４のＶＲ音声停止注意情報送信工程において、各受信者端末制御部３ａがＶＲ音声停止注意情報を各受信者に報知するので、各受信者が、ＶＲ音声情報の停止に驚いたり、トラブルが発生したのではないかとの疑問を抱いたりすることを避けることができる。
【0059】
さらに、ＶＲ動画同期再生装置１によれば、ステップＳ１９の受信者音声情報送受信工程において、管理者端末２と受信者端末３Ａ～３Ｃが、ＶＲ音声情報が停止している最中に、リアルタイムで通話をすることができる。よって、管理者と受信者は、互いの音声をスムーズにやり取りすることで、ストレスを感じずに会話を楽しむことができるので、管理者や受信者同士の一体感が増して、視聴による満足感を高めることができる。
また、管理者端末２と受信者端末３Ａ～３Ｃが通話をする前には、ステップＳ１５の受信者音声送信注意情報送信工程において、受信者端末３Ａ～３Ｃへ受信者音声送信注意情報が送信されるとともに、ステップＳ１８の受信許可通知送信工程及びステップＳ１９の受信者音声情報送受信工程により、管理者端末制御部２ａが、受信許可通知を送信した場合に限って、管理者と、受信者との相互の音声による実際の通話が可能となるので、受信者が管理者の許可なく会話をすることを確実に防止することができる。よって、多人数の受信者同士が同時に会話をしながらも、ＶＲ画像情報の再生をスムーズに進行させることが実現可能である。
また、管理者端末２と受信者端末３Ａ～３Ｃが通話をする前には、ステップＳ１５の受信者音声送信注意情報送信工程において、受信者端末３Ａ～３Ｃへ受信者音声送信注意情報が送信されるとともに、ステップＳ１８の受信許可通知送信工程及びステップＳ１９の受信者音声情報送受信工程により、管理者端末制御部２ａが、受信許可通知を送信した場合に限って、管理者と、受信者との相互の音声による実際の通話が可能となるので、受信者が管理者の許可なく会話をすることを確実に防止することができる。よって、多人数の受信者同士が同時に会話をしながらも、ＶＲ画像情報の再生をスムーズに進行させることが実現可能である。
【0060】
なお、本発明に係るＶＲ動画同期再生装置１は、実施例に示すものに限定されない。例えば、ＶＲ動画同期再生装置１は、ＶＲ動画同期再生方法１００のうち、ステップＳ５の管理者音声情報入力判定工程と、ステップＳ１２の管理者音声情報工程乃至ステップＳ２２の操作情報送信工程は省略可能に構成されてもよい。
また、ＶＲ動画同期再生装置１は、ステップＳ１７の受信許可通知送信判定工程と、ステップＳ１８の受信許可通知送信工程を省略可能に構成されてもよい。
また、ＶＲ動画同期再生装置１は、ステップＳ１７の受信許可通知送信判定工程と、ステップＳ１８の受信許可通知送信工程を省略可能に構成されてもよい。
【産業上の利用可能性】
【0061】
本発明は、ＶＲ動画を複数の端末で同期して再生するためのＶＲ動画同期再生装置として利用可能である。
【符号の説明】
【0062】
１…ＶＲ動画同期再生装置 ２…管理者端末 ２ａ…管理者端末制御部 ２ｂ…通信部 ２ｃ…マイク ２ｄ…スピーカー ２ｅ…記憶部 ２ｆ…モーションセンサー ２ｇ…管理者端末表示部 ３Ａ～３Ｃ…受信者端末 ３ａ…受信者端末制御部 ３ｂ…通信部 ３ｃ…マイク ３ｄ…スピーカー ３ｅ…記憶部 ３ｆ…モーションセンサー ３ｇ…受信者端末表示部 ４…サーバー群 ４Ａ…動画配信サーバー ４Ｂ…操作サーバー ４Ｃ…テキスト情報送信サーバー ４Ｄ…音声情報通信サーバー ５ａ～５ｈ…通信経路 ６…操作画面 ６ａ…操作情報入力ボタン ６ａ－１…ＶＲ画像情報操作ボタン ６ａ－２…ＶＲ音声情報操作ボタン ６ｂ…管理者音声入力ボタン ７…状況表示画面 ７ａ…ＶＲ動画再生状況ボタン ７ａ－１…動画再生ボタン ７ａ－２…音声再生ボタン ７ｂ…音声状況ボタン １００…ＶＲ動画同期再生方法
【要約】
【課題】ＶＲ動画の視聴者間の会話を可能として満足度を高め、ＶＲ動画が再生する音声データと会話との重なりを防ぐＶＲ動画同期再生装置を提供する。
【解決手段】ＶＲ動画同期再生装置１は、管理者端末２と、受信者端末３Ａ～３Ｃと、これらとそれぞれ通信可能なサーバー群４を備え、サーバー群４は、動画配信サーバー４Ａと、操作サーバー４Ｂと、テキスト情報送信サーバー４Ｃと、音声情報通信サーバー４Ｄであり、管理者端末２は、テキスト形式の操作情報を操作サーバー４Ｂに送信するとともに、音声形式の管理者音声情報を音声情報通信サーバー４Ｄに送信し、操作サーバー４Ｂは、操作情報をテキスト情報送信サーバー４Ｃを介して受信者端末３Ａ～３Ｃに送信し、音声情報通信サーバー４Ｄは、管理者音声情報を受信者端末３Ａ～３Ｃに送信し、かつ受信者音声情報を受信して管理者端末２に送信する。
【選択図】図１
【解決手段】ＶＲ動画同期再生装置１は、管理者端末２と、受信者端末３Ａ～３Ｃと、これらとそれぞれ通信可能なサーバー群４を備え、サーバー群４は、動画配信サーバー４Ａと、操作サーバー４Ｂと、テキスト情報送信サーバー４Ｃと、音声情報通信サーバー４Ｄであり、管理者端末２は、テキスト形式の操作情報を操作サーバー４Ｂに送信するとともに、音声形式の管理者音声情報を音声情報通信サーバー４Ｄに送信し、操作サーバー４Ｂは、操作情報をテキスト情報送信サーバー４Ｃを介して受信者端末３Ａ～３Ｃに送信し、音声情報通信サーバー４Ｄは、管理者音声情報を受信者端末３Ａ～３Ｃに送信し、かつ受信者音声情報を受信して管理者端末２に送信する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】