▶ 株式会社エイリアンミュージックエンタープライズの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133328
(43)【公開日】2023-09-22
(54)【発明の名称】管理サーバ
(51)【国際特許分類】
H04L 67/2871 20220101AFI20230914BHJP
H04N 21/233 20110101ALI20230914BHJP
H04N 21/24 20110101ALI20230914BHJP
H04N 21/2668 20110101ALI20230914BHJP
【ＦＩ】
H04L67/2871
H04N21/233
H04N21/24
H04N21/2668
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023113961
(22)【出願日】2023-07-11
(62)【分割の表示】P 2022571018の分割
【原出願日】2021-06-11
(31)【優先権主張番号】P 2020212642
(32)【優先日】2020-12-22
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】520506198
【氏名又は名称】株式会社エイリアンミュージックエンタープライズ
(74)【代理人】
【識別番号】100185270
【弁理士】
【氏名又は名称】原田 貴史
(74)【代理人】
【識別番号】100225347
【弁理士】
【氏名又は名称】鬼澤 正徳
(72)【発明者】
【氏名】岡田 宗久
(57)【要約】
【課題】カメラで撮影する位置に応じた映像及び音声をユーザ端末に提供可能な管理サーバを構築する。
【解決手段】ユーザ端末１００及び配信者端末１１０にネットワークを介して接続される管理サーバ１２０であって、希望カメラをユーザ端末１００から受信するカメラ抽出部と、マイクにより入手した音声生成用データを配信者端末１１０から受信する音声抽出部と、撮影対象に対応する映像生成用データを配信者端末１１０から受信する映像抽出部と、希望カメラから撮影対象までの距離を算出し、距離に応じて定まる係数を音声生成用データに乗算することにより、ユーザ端末１００に配信する配信用音声を生成する配信用音声生成部と、撮影対象の映像、及び配信用音声に基づいて、ユーザ端末１００に配信する配信用映像を生成する配信用映像生成部と、を有する管理サーバ１２０が構成されている。
【選択図】図１
【解決手段】ユーザ端末１００及び配信者端末１１０にネットワークを介して接続される管理サーバ１２０であって、希望カメラをユーザ端末１００から受信するカメラ抽出部と、マイクにより入手した音声生成用データを配信者端末１１０から受信する音声抽出部と、撮影対象に対応する映像生成用データを配信者端末１１０から受信する映像抽出部と、希望カメラから撮影対象までの距離を算出し、距離に応じて定まる係数を音声生成用データに乗算することにより、ユーザ端末１００に配信する配信用音声を生成する配信用音声生成部と、撮影対象の映像、及び配信用音声に基づいて、ユーザ端末１００に配信する配信用映像を生成する配信用映像生成部と、を有する管理サーバ１２０が構成されている。
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザ端末及び配信者端末にネットワークを介して接続される管理サーバであって、
ユーザが前記ユーザ端末を操作して選択する希望カメラを、前記ユーザ端末から受信するカメラ抽出部と、
前記希望カメラによって撮影される撮影対象に対応する音声をマイクにより入手した音声生成用データを、前記配信者端末から受信する音声抽出部と、
前記撮影対象に対応する映像生成用データを、前記配信者端末から受信する映像抽出部と、
前記希望カメラから前記撮影対象までの距離を算出し、前記距離に応じて定まる係数を前記音声生成用データに乗算することにより、前記ユーザ端末に配信する配信用音声を生成する配信用音声生成部と、
前記撮影対象の映像、及び前記配信用音声に基づいて、前記ユーザ端末に配信する配信用映像を生成する配信用映像生成部と、
を有する、管理サーバ。
ユーザが前記ユーザ端末を操作して選択する希望カメラを、前記ユーザ端末から受信するカメラ抽出部と、
前記希望カメラによって撮影される撮影対象に対応する音声をマイクにより入手した音声生成用データを、前記配信者端末から受信する音声抽出部と、
前記撮影対象に対応する映像生成用データを、前記配信者端末から受信する映像抽出部と、
前記希望カメラから前記撮影対象までの距離を算出し、前記距離に応じて定まる係数を前記音声生成用データに乗算することにより、前記ユーザ端末に配信する配信用音声を生成する配信用音声生成部と、
前記撮影対象の映像、及び前記配信用音声に基づいて、前記ユーザ端末に配信する配信用映像を生成する配信用映像生成部と、
を有する、管理サーバ。
【請求項2】
請求項１記載の管理サーバにおいて、
前記希望カメラは、位置が異なる前記撮影対象をそれぞれ撮影可能な複数のカメラのうちから前記ユーザ端末の操作により選択されるカメラであり、
前記マイクは、位置が異なる前記撮影対象からそれぞれ音声を入手可能な複数のカメラを含み、
前記配信用音声生成部は、前記希望カメラの位置情報と、複数の前記マイクのそれぞれの位置情報とに基づいて、前記希望カメラから各マイクまでの距離をそれぞれ算出し、前記希望カメラから前記マイクに含まれるボーカルマイク以外の前記マイクまでの距離を、前記希望カメラから前記ボーカルマイクまでの距離で除算した数の逆数を所定の前記係数として算出し、所定の前記係数を各マイクで集音したトラック音の音量に乗算して得た各トラック音をミックスすることで、前記配信用音声を生成する、
管理サーバ。
前記希望カメラは、位置が異なる前記撮影対象をそれぞれ撮影可能な複数のカメラのうちから前記ユーザ端末の操作により選択されるカメラであり、
前記マイクは、位置が異なる前記撮影対象からそれぞれ音声を入手可能な複数のカメラを含み、
前記配信用音声生成部は、前記希望カメラの位置情報と、複数の前記マイクのそれぞれの位置情報とに基づいて、前記希望カメラから各マイクまでの距離をそれぞれ算出し、前記希望カメラから前記マイクに含まれるボーカルマイク以外の前記マイクまでの距離を、前記希望カメラから前記ボーカルマイクまでの距離で除算した数の逆数を所定の前記係数として算出し、所定の前記係数を各マイクで集音したトラック音の音量に乗算して得た各トラック音をミックスすることで、前記配信用音声を生成する、
管理サーバ。
【請求項3】
請求項２記載の管理サーバにおいて、
前記配信用音声及び前記配信用映像に基づいて、配信画面を生成する配信画面生成部と、
生成した前記配信画面を前記ユーザ端末に提供する配信画面提供部と、
を有する、管理サーバ。
前記配信用音声及び前記配信用映像に基づいて、配信画面を生成する配信画面生成部と、
生成した前記配信画面を前記ユーザ端末に提供する配信画面提供部と、
を有する、管理サーバ。
【請求項4】
請求項３記載の管理サーバにおいて、
前記ユーザ端末が前記配信画面に含まれる映像切替タブの押下入力をユーザから受付けた場合に、ユーザによって新たに選択された前記希望カメラに対応した前記配信用音声と前記配信用映像とに基づいて切替後画面を生成する映像切替部を有し、
前記配信画面提供部は、生成した前記切替後画面を前記ユーザ端末に提供する、管理サーバ。
前記ユーザ端末が前記配信画面に含まれる映像切替タブの押下入力をユーザから受付けた場合に、ユーザによって新たに選択された前記希望カメラに対応した前記配信用音声と前記配信用映像とに基づいて切替後画面を生成する映像切替部を有し、
前記配信画面提供部は、生成した前記切替後画面を前記ユーザ端末に提供する、管理サーバ。
【請求項5】
請求項４記載の管理サーバにおいて、
前記映像切替部は、前記ユーザ端末が前記切替後画面に含まれる再切替タブの押下入力をユーザから受付けた場合に、ユーザによって新たに選択された前記希望カメラに対応した前記配信用音声と前記配信用映像とに基づいて、前記切替後画面を新たに生成する、管理サーバ。
前記映像切替部は、前記ユーザ端末が前記切替後画面に含まれる再切替タブの押下入力をユーザから受付けた場合に、ユーザによって新たに選択された前記希望カメラに対応した前記配信用音声と前記配信用映像とに基づいて、前記切替後画面を新たに生成する、管理サーバ。
【請求項6】
請求項１記載の管理サーバにおいて、
前記配信者端末は、前記希望カメラに接続され、かつ、前記撮影対象で発生する音声を入手するマイクに接続され、
前記希望カメラは、所定位置を中心とする円周方向で３６０度の範囲内に存在する前記撮影対象を撮影可能な３６０度カメラを含み、
前記マイクは、前記所定位置を中心とする円周方向で３６０度の範囲内に存在する前記撮影対象で発生する音声を入手可能な３６０度マイクを含む、管理サーバ。
前記配信者端末は、前記希望カメラに接続され、かつ、前記撮影対象で発生する音声を入手するマイクに接続され、
前記希望カメラは、所定位置を中心とする円周方向で３６０度の範囲内に存在する前記撮影対象を撮影可能な３６０度カメラを含み、
前記マイクは、前記所定位置を中心とする円周方向で３６０度の範囲内に存在する前記撮影対象で発生する音声を入手可能な３６０度マイクを含む、管理サーバ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ユーザ端末及び配信者端末に対しネットワークを介して接続される管理サーバに関する。
【背景技術】
【0002】
従来、オンラインで配信されるライブ・コンサートの映像を視聴する際、配信者が複数のカメラで撮影された映像を切り替えることで、ユーザは複数の視点からの映像を視聴できる。
【0003】
しかし、音声については、カメラの切替えと無関係にミックスされた単一の音声を聞くため、ユーザは、ライブ・コンサート会場内の任意の視点毎に異なって聞こえるはずの臨場感のある音を体験できなかった。例えば、特許文献１には、映像データを取得した際に得られた音声データを取得し、映像データの状況に応じて、音声データを適切に処理するシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－１１７３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願発明者は、特許文献１に記載されているシステムによると、カメラの位置で実際に聞こえるライブ・コンサートの音声と、当該カメラの位置に応じた映像とを、適切に映像化してユーザ端末にすることが提供できない、という課題を認識した。
【0006】
本開示の目的は、カメラによる撮影対象の位置における映像と、撮影対象の位置に応じた音声とを、撮影対象の位置に追従して整合させることの可能な管理サーバを提供することである。
【課題を解決するための手段】
【0007】
本開示は、ユーザ端末及び配信者端末にネットワークを介して接続される管理サーバであって、ユーザが前記ユーザ端末を操作して選択する希望カメラを、前記ユーザ端末から受信するカメラ抽出部と、前記希望カメラによって撮影される撮影対象に対応する音声をマイクにより入手した音声生成用データを、前記配信者端末から受信する音声抽出部と、前記撮影対象に対応する映像生成用データを、前記配信者端末から受信する映像抽出部と、前記希望カメラから前記撮影対象までの距離を算出し、前記距離に応じて定まる係数を前記音声生成用データに乗算することにより、前記ユーザ端末に配信する配信用音声を生成する配信用音声生成部と、前記撮影対象の映像、及び前記配信用音声に基づいて、前記ユーザ端末に配信する配信用映像を生成する配信用映像生成部と、を有する。
【発明の効果】
【0008】
本開示によれば、管理サーバは、希望カメラの位置で聞こえる音声を、希望カメラの位置に応じた映像とともに配信し、カメラで撮影する撮影対象の位置の音声を提供できる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施の形態におけるライブ画面提供システムの構成例の概要を示す図である。
【図2】（ａ）は、本発明の一実施の形態における管理サーバのユーザ情報記憶部に記憶されているユーザ情報の概要を示す図、（ｂ）は、希望配信画面情報の概要を示す図である。
【図3】（ａ）は、本発明の一実施の形態における管理サーバの配信者情報記憶部に記憶されている配信者情報の概要を示す図、（ｂ）は、音声生成用データの概要を示す図である。
【図4】本発明の一実施の形態における全体処理の概要を示すフローチャート図である。
【図5】本発明の一実施の形態におけるユーザ情報取得処理およびユーザ情報記憶処理の概要を示す図である。
【図6】本発明の一実施の形態における配信者情報取得処理および配信者情報記憶処理の概要を示す図である。
【図7】（ａ）は、配信する映像がライブ・コンサートである時の、ステージおよび会場の平面図、（ｂ）は、各カメラの位置情報と、各カメラから各マイクまでの距離と、オーディオトラック係数との関係を示す図表、（ｃ）は、配信用音声を算出する処理の概要を示す図である。
【図8】本発明の一実施の形態における配信用音声生成処理の概要を示すフローチャートである。
【図9】本発明の一実施の形態における配信用映像生成処理の概要を示すフローチャートである。
【図10】本発明の一実施の形態における配信画面の概要を示す図である。
【図11】本発明の一実施の形態における配信画面生成処理の概要を示すフローチャートである。
【図12】本発明の一実施の形態における配信画面提供処理の概要を示すフローチャートである。
【図13】本発明の一実施の形態における切替後画面の概要を示す図である。
【図14】本発明の一実施の形態における映像切替処理の概要を示すフローチャートである。
【図15】本発明の一実施の形態における切替後画面提供処理の概要を示すフローチャートである。
【図16】本発明の一実施の形態における切替後画面提供処理の概要を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。また、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0011】
【0012】
図１に示されるように、ライブ画面提供システム３０は、ユーザ端末１００と、配信者端末１１０と、ユーザ端末１００と配信者端末１１０とネットワークを介して接続される管理サーバ１２０とを有する。ネットワークは、無線または有線の何れかによって構築されているもの、無線及び有線の両方によって構築されているもの、を含む。ユーザ端末１００は、管理サーバ１２０に複数を接続可能であるが、図１では便宜上、単数のユーザ端末１００が示されている。
【0013】
管理サーバ１２０は、制御回路１２０Ａと、ユーザ情報記憶部１３０と、配信者情報記憶部１３１と、配信用音声記憶部１３２と、配信用映像記憶部１３３と、配信画面記憶部１３４と、配信用音声生成部１４０と、配信用映像生成部１５０と、配信画面生成部１６０と、配信画面提供部１７０と、映像切替部１８０と、を有する。制御回路１２０Ａは、通信部、入力ポート、出力ポート、中央演算処理装置、比較回路等を有するコンピュータである。ユーザ端末１００及び配信者端末１１０から送信される信号は、通信部を介して入力ポートに入力される。制御回路１２０Ａから出力される信号は、出力ポート及び通信部を介して、ユーザ端末１００及び配信者端末１１０へ送信される。上記信号は、情報、データ、映像、画像、音声等を含む電気信号である。
【0014】
制御回路１２０Ａと、ユーザ情報記憶部１３０、配信者情報記憶部１３１、配信用音声記憶部１３２、配信用映像記憶部１３３、配信画面記憶部１３４、配信用音声生成部１４０、配信用映像生成部１５０、配信画面生成部１６０、配信画面提供部１７０、映像切替部１８０との間で信号の行き来が行われる。制御回路１２０Ａは、ユーザ情報記憶部１３０、配信者情報記憶部１３１、配信用音声記憶部１３２、配信用映像記憶部１３３、配信画面記憶部１３４、配信用音声生成部１４０、配信用映像生成部１５０、配信画面生成部１６０、配信画面提供部１７０、映像切替部１８０を制御、管理及び監視する。
【0015】
ユーザ情報記憶部１３０には、ユーザ端末１００から送信されるユーザ情報２００（後述、図２）が記憶されている。配信者情報記憶部１３１には、配信者端末１１０から送信される配信者情報３００（後述、図３）が記憶されている。配信用音声記憶部１３２には、配信用音声８００（後述、図７、図８）が記憶されている。配信用映像記憶部１３３には、配信用映像９００（後述、図９）が記憶されている。配信画面記憶部１３４には、配信画面１０００（後述、図１０）および切替後画面１３００（後述、図１３）が記憶されている。
【0016】
配信用音声生成部１４０は、ユーザ情報記憶部１３０に記憶されているユーザ情報２００に基づいて、希望カメラ２２０を抽出し、配信者端末１１０から配信者情報３００を取得し、配信者情報３００から音声生成用データ３１０を抽出し、音声生成用データ３１０の中から希望カメラ２２０に応じたカメラ位置情報とマイク位置情報とを抽出し、カメラ位置情報とマイク位置情報とに基づいて各マイクからの距離を算出し、各マイクからの距離をボーカル用マイクからの距離で除算した数の逆数をオーディオトラック係数として算出し、オーディオトラック係数を各マイクで集音したトラック音の音量に乗算して得た各トラック音をミックスすることで配信用音声８００を生成する。
【0017】
配信用映像生成部１５０は、希望カメラ２２０を参照し取得した配信者情報３００と配信用音声８００とに基づいて配信用映像９００を生成する。配信画面生成部１６０は、配信用音声８００と配信用映像９００とに基づいて、配信画面１０００を生成する。配信画面提供部１７０は、生成した配信画面１０００をユーザ端末１００に提供する。
【0018】
＜ユーザ情報記憶部＞
図２（ａ）は、本発明の一実施の形態における管理サーバ１２０のユーザ情報記憶部１３０に記憶されているユーザ情報２００の構成例の概要を示す図である。図２（ａ）に示されるように、ユーザ情報２００は、ユーザＩＤ、ユーザ名、年齢、住所、視聴履歴、希望配信画面情報２１０、等の項目により構成される。ユーザＩＤは、管理サーバ１２０が、ユーザを識別するための符号を示す。ユーザ名は、ユーザの氏名を示す。住所は、ユーザの住所を示す。
図２（ａ）は、本発明の一実施の形態における管理サーバ１２０のユーザ情報記憶部１３０に記憶されているユーザ情報２００の構成例の概要を示す図である。図２（ａ）に示されるように、ユーザ情報２００は、ユーザＩＤ、ユーザ名、年齢、住所、視聴履歴、希望配信画面情報２１０、等の項目により構成される。ユーザＩＤは、管理サーバ１２０が、ユーザを識別するための符号を示す。ユーザ名は、ユーザの氏名を示す。住所は、ユーザの住所を示す。
【0019】
図２（ｂ）は、本発明の一実施の形態における管理サーバ１２０の希望配信画面情報２１０の構成例の概要を示す図である。希望配信画面情報２１０は、希望ＩＤ、視聴日時、配信者ＩＤ、配信画面ＩＤ、希望カメラ２２０、等の情報を示す。
【0020】
希望ＩＤは、管理サーバ１２０が、ユーザの希望を識別するための符号を示す。視聴日時は、ユーザが配信画面１０００（詳細は後述する）の視聴を希望する日時を示す。配信者ＩＤは、配信者を識別するための符号を示す。配信画面ＩＤは、配信画面１０００を識別するための符号を示す。
【0021】
「希望カメラ２２０」は、配信画面１０００で視聴する映像を撮影している複数のカメラのうち、ユーザが視聴を希望する撮影位置にあるカメラを示す。希望カメラ２２０は、ユーザがユーザ端末１００を操作して選択する。
【0022】
例えば、希望カメラ２２０は、図７（ａ）のようにステージ全体を撮影するカメラ（Ｃｔ）、ボーカリストをアップして撮影するカメラ（Ｃｂ）、ギタリストをアップして撮影するカメラ（Ｃｇ）等のカメラからユーザによって選定されるカメラを示す。すなわち、例えばユーザが「ステージ全体を撮影するカメラ」（Ｃｔ）で撮影された映像の視聴を希望している場合、この時の希望カメラ２２０は「Ｃｔ」となる。カメラＣｔ，Ｃｂ，Ｃｇは、会場７００内における位置がそれぞれ異なる。
【0023】
＜配信者情報記憶部＞
図３は、本発明の一実施の形態における管理サーバ１２０の配信者情報記憶部１３１に記憶されている配信者情報３００の概要を示す図である。
図３は、本発明の一実施の形態における管理サーバ１２０の配信者情報記憶部１３１に記憶されている配信者情報３００の概要を示す図である。
【0024】
図３（ａ）に示されるように、配信者情報３００は、配信者ＩＤ、配信者名、配信画面情報、音声生成用データ３１０、映像生成用データ、等の項目により構成される。
【0025】
配信者ＩＤは、管理サーバ１２０が、配信者を識別するための符号を示す。配信者名は、配信者の名称を示す。配信画面情報は、配信画面ＩＤや配信日時等の情報を示す。
【0026】
映像生成用データは、管理サーバ１２０が、配信画面１０００に表示させる映像を生成するための情報を示す。例えば、映像生成用データは、希望カメラ２２０に対応するカメラについての情報や、撮影対象を撮影した映像、映像に関する画質等の各種データが含まれる。撮影対象は、撮影目標と定義することも可能である。
【0027】
図３（ｂ）に示されるように、音声生成用データ３１０は、データＩＤ、マイク情報、マイク位置情報、カメラ情報、カメラ位置情報、等の項目により構成される。データＩＤは、管理サーバ１２０が、音声生成用データ３１０を識別するための符号を示す。
【0028】
マイク情報は、配信者が配信する際に用いるマイクの種類や集音対象、マイクの名称、属性等の情報を示す。例えば、配信者が配信する際に用いるマイクが、ボーカル、ギター、ベース、ドラムの音を集音する４本のマイクである場合、当該マイクのマイク情報は、図７（ａ）に示すＶｏ用マイク（ボーカル用マイク）１０が「Ｖｏ用」、Ｇｔ用マイク１１が「Ｇｔ用」、Ｂａ用マイク１２が「Ｂａ用」、Ｄｒ用マイク１３が「Ｄｒ用」等と示される。Ｖｏ用マイク１０、Ｇｔ用マイク１１、Ｂａ用マイク１２、Ｄｒ用マイク１３は、会場７００内における位置がそれぞれ異なる。
【0029】
マイク位置情報は、マイクの位置についての情報を示す。例えば、マイク位置情報は、平面座標を利用して表示される。すなわち、「Ｖｏ用マイク１０」のマイク位置情報は、「ｘ＝〇〇、ｙ＝〇〇」のように示される。
【0030】
カメラ情報は、配信者が配信する際に用いるカメラの種類や撮影対象、カメラの名称、属性等の情報を示す。例えば、配信者が配信する際に用いるカメラが、ステージ全体、ボーカリスト、ギタリスト、ベーシスト、ドラマーを撮影する５個のカメラである場合、当該カメラのカメラ情報は、「Ｃｔ」、「Ｃｖ」、「Ｃｂ」、「Ｃｄ」等と示される。
【0031】
カメラ位置情報は、カメラの位置についての情報を示す。例えば、カメラ位置情報は、平面座標を利用して表示される。すなわち、「Ｃｔ」のカメラ位置情報は、「ｘ＝〇〇、ｙ＝〇〇」のように示される。
【0032】
このように、マイク情報、マイク位置情報、カメラ情報、カメラ位置情報を得ることにより、管理サーバ１２０は、任意のカメラについて各マイクまでの距離を算出できる。そして算出した距離を利用することにより、管理サーバ１２０は、配信用音声８００を生成できる（詳細は後述する）。
【0033】
＜全体処理＞
図４は、本発明の一実施の形態における全体処理の概要を示す図である。
図４は、本発明の一実施の形態における全体処理の概要を示す図である。
【0034】
まず、ステップＳ４０１にて、管理サーバ１２０はユーザ情報取得処理およびユーザ情報記憶処理（図５で後述する）を行う。まず、ステップＳ４０２にて、管理サーバ１２０は配信者情報取得処理および配信者情報記憶処理（図６で後述する）を行う。
【0035】
次に、ステップＳ４０３にて、管理サーバ１２０は配信用音声生成処理（図７、図８で後述する）を行う。次に、ステップＳ４０４にて、管理サーバ１２０は配信用映像生成処理（図９で後述する）を行う。次に、ステップＳ４０５にて、管理サーバ１２０は配信画面生成処理および配信画面記憶処理（図１０、図１１で後述する）を行う。次に、ステップＳ４０６にて、管理サーバ１２０は配信画面提供処理（図１２で後述する）を行う。
【0036】
次に、ユーザが映像の切替を行う場合、ステップＳ４０７にて、管理サーバ１２０は、映像切替処理（図１３、図１４で後述する）を行う。次に、ステップＳ４０８にて、管理サーバ１２０は切替後画面提供処理（図１５で後述する）を行う。
【0037】
【0038】
まず、ステップＳ５０１にて、管理サーバ１２０は、ユーザ情報入力画面をユーザ端末１００に提供する。次に、ステップＳ５０２にて、ユーザ端末１００は、ユーザ情報入力画面をディスプレイ１００Ａに表示させる。
【0039】
その後、ユーザがライブ画面提供システム３０を初めて利用する場合、または、希望配信画面情報２１０を変更（更新）する場合、ステップＳ５０３にて、ユーザ端末１００は、ユーザ情報２００の入力をユーザから受け付ける。なお、この際ユーザから受け付けたユーザ情報２００は、希望配信画面情報２１０を含む。また、ユーザが入力する情報には、外部アカウント（ＳＮＳ等）のログイン情報や、パスワードを含めても良い。
【0040】
次に、ステップＳ５０４にて、ユーザ端末１００は、ステップＳ５０３で入力を受け付けたユーザ情報２００を管理サーバ１２０に送信する。次に、ステップＳ５０５にて、管理サーバ１２０は、ステップＳ５０４で送信されたユーザ情報２００を受信することにより、制御回路１２０Ａがユーザ情報２００を取得する。
【0041】
次に、ステップＳ５０６にて、制御回路１２０Ａは、取得または変更したユーザ情報２００にユーザＩＤを付して、ステップＳ５０３にて入力を受け付けたユーザ情報２００をユーザ情報記憶部１３０に記憶させる。
【0042】
＜ユーザ情報取得処理＞
図５（ｂ）は、本発明の一実施の形態におけるユーザ情報取得処理の概要を示す図である。以下、管理サーバ１２０が、ユーザ情報２００を取得する方法について説明する。
図５（ｂ）は、本発明の一実施の形態におけるユーザ情報取得処理の概要を示す図である。以下、管理サーバ１２０が、ユーザ情報２００を取得する方法について説明する。
【0043】
ユーザがライブ画面提供システム３０を２回目以降利用する場合、ステップＳ５０７にて、ユーザ端末１００はユーザＩＤの入力をユーザから受け付ける。なお、ユーザＩＤは、ユーザ情報２００に含まれる。
【0044】
次に、ステップＳ５０８にて、ユーザ端末１００は、ステップＳ５０７で入力を受け付けたユーザＩＤを管理サーバ１２０に送信する。
【0045】
その後、ステップＳ５０９にて、管理サーバ１２０は、ステップＳ５０８で送信されたユーザＩＤのキーに対応するユーザ情報２００をユーザ情報記憶部１３０から取得する。ステップＳ５０５，ステップＳ５０６，ステップＳ５０９の処理が、図４のステップＳ４０１の処理に相当する。
【0046】
【0047】
まず、ステップＳ６０１にて、管理サーバ１２０は、配信者情報入力画面を配信者端末１１０に提供する。次に、ステップＳ６０２にて、配信者端末１１０は、配信者情報入力画面をディスプレイに表示させる。
【0048】
その後、配信者がライブ画面提供システム３０を初めて利用する場合、または、配信者情報３００を変更（更新）する場合、ステップＳ６０３にて、配信者端末１１０は、配信者情報３００の入力を配信者から受け付ける。なお、この際配信者から受け付けた配信者情報３００は、配信者情報３００を含む。また、配信者が入力する情報には、外部アカウント（ＳＮＳ等）のログイン情報や、パスワードを含めても良い。
【0049】
次に、ステップＳ６０４にて、配信者端末１１０は、ステップＳ６０３で入力を受け付けた配信者情報３００を管理サーバ１２０に送信する。次に、ステップＳ６０５にて、管理サーバ１２０は、ステップＳ６０４で送信された配信者情報３００を受信することにより、配信者情報３００を取得する。
【0050】
次に、ステップＳ６０６にて、管理サーバ１２０の制御回路１２０Ａは、取得または変更した配信者情報３００に配信者ＩＤを付して、ステップＳ６０３にて入力を受け付けた配信者情報３００を、配信者情報記憶部１３１に記憶させる。
【0051】
【0052】
配信者がライブ画面提供システム３０を２回目以降利用する場合、ステップＳ６０７にて、配信者端末１１０は配信者ＩＤの入力を配信者から受け付ける。なお、配信者ＩＤは、配信者情報３００に含まれる。次に、ステップＳ６０８にて、配信者端末１１０は、ステップＳ６０７で入力を受け付けた配信者ＩＤを管理サーバ１２０に送信する。
【0053】
その後、ステップＳ６０９にて、管理サーバ１２０は、ステップＳ６０８で送信された配信者ＩＤのキーに対応する配信者情報３００を配信者情報記憶部１３１から取得する。
【0054】
＜配信用音声＞
図７は、本発明の一実施の形態における配信用音声８００の概要を示す図である。図７（ａ）は、例えば、配信する映像がライブ・コンサートである時の、ステージおよび会場の平面図の概要を示す。図７（ａ）で示されるように、会場７００には、ステージ部分にマイク７１０が設置され、客席部分にカメラ７２０が設置される。また、会場７００には、所定の場所にアンプ・スピーカー７３０が設置される。会場７００は、カメラ７２０の撮影対象である。なお、マイク７１０は客席部分に設置しても良い。また、カメラ７２０は、ステージ部分に設置しても良い。
図７は、本発明の一実施の形態における配信用音声８００の概要を示す図である。図７（ａ）は、例えば、配信する映像がライブ・コンサートである時の、ステージおよび会場の平面図の概要を示す。図７（ａ）で示されるように、会場７００には、ステージ部分にマイク７１０が設置され、客席部分にカメラ７２０が設置される。また、会場７００には、所定の場所にアンプ・スピーカー７３０が設置される。会場７００は、カメラ７２０の撮影対象である。なお、マイク７１０は客席部分に設置しても良い。また、カメラ７２０は、ステージ部分に設置しても良い。
【0055】
図７で示されるように、例えば、カメラＣｔは、ステージ全体を撮影し、カメラＣｇは、ギタリストをアップして撮影する。また、Ｖｏ用マイク１０は、ボーカルの音を集音し、Ｇｔ用マイク１１は、ギターの音を集音する。このように、各マイク７１０とカメラ７２０を会場７００内の所定の位置に設置することで、管理サーバ１２０は、演奏者ごとにアップして撮影し、演奏者ごとに異なる音を集音できる。また、管理サーバ１２０は、マイク位置情報、カメラ位置情報を得ることができる。
【0056】
図７（ｂ）は、各カメラＣｂ，Ｃｇ，Ｃｔについてのカメラ位置情報と、各マイクまでの距離（Ｌｎ）、オーディオトラック係数（α）、配信用音声８００を示す。
【0057】
図７（ｂ）で示されるように、例えば、カメラＣｔは、Ｖｏ用マイク１０までの距離Ｌ１が「３．０ｍ」であり、Ｇｔ用マイク１１までの距離Ｌ２が「５．０ｍ」であった場合、Ｖｏ用マイク１０のオーディオトラック係数αを「１．００」とすると、Ｇｔ用マイク１１で集音した音に対するオーディオトラック係数αの数値は「０．６」と算出される。つまり、カメラからマイクまでの距離が遠くなるほど、オーディオトラック係数は小さくなる。また、カメラＣｂ，Ｃｇについても、同様にオーディオトラック係数αを算出する。図７（ｃ）は、管理サーバ１２０が配信用音声８００を生成するまでの流れの概要を示す。オーディオトラック係数αを算出するために必要なデータは、配信用音声生成部１４０、または図示しない記憶部に予め記憶されている。
【0058】
まず、管理サーバ１２０は、オーディオトラック係数αを求めたいマイク７１０のマイク位置とカメラ位置とに基づいて距離（Ｌｎ）を算出する。次に、管理サーバ１２０は、当該マイク７１０からの距離ＬｎをＶｏ用マイクからの距離Ｌ１で除算して得た数の逆数をオーディオトラック係数αとして算出する。
【0059】
なお、オーディオトラック係数αの算出方法は上記に限られない。例えば、オーディオトラック係数αは、「距離Ｌｎを距離Ｌ１で除算して得た数の逆数」に対してさらに所定の定数を乗算することで算出してもよい。
【0060】
次に、管理サーバ１２０は、算出したオーディオトラック係数αを、各マイク１０，１１，１２，１３で集音した音の音量に乗算する。これにより得た各トラック音をミックスすることで、管理サーバ１２０は、配信用音声８００を生成する。
【0061】
図７（ｂ）および（ｃ）で示されるように、例えば、カメラＣｔについての配信用音声８００（Ｈｔ）は、「Ｖｏ」の音量が最も大きく、次いで「Ｇｔ」、「Ｂａ」となり、「Ｄｒ」の音量が最も小さくミックスされる。これは、カメラＣｔの位置が、Ｖｏ用マイクとの距離が最も近く、次いでＧｔ用マイク、Ｂａ用マイクとなり、Ｄｒ用マイクとの距離が最も遠くなっているためである。すなわち、管理サーバ１２０は、カメラＣｔの位置で実際に聞こえる各楽器の音量バランスに近似した音声を配信用音声８００として生成する。カメラＣｂ，Ｃｇについても、同様にして配信用音声８００を生成する。カメラとマイクとの距離が近いほど、音量が大きくなる。
【0062】
このようにして、管理サーバ１２０は、カメラ７２０のカメラＣｂ，Ｃｔ，Ｃｇの位置で、それぞれ実際に聞こえるライブ・コンサートの音声を配信用音声８００として生成できる。
【0063】
＜配信用音声生成処理＞
図８は、図４のステップＳ４０３で行われる配信用音声生成処理の概要を示す図である。まず、ステップＳ８０１にて、管理サーバ１２０の配信用音声生成部１４０は、ユーザ情報記憶部１３０からユーザ情報２００を取得する。
図８は、図４のステップＳ４０３で行われる配信用音声生成処理の概要を示す図である。まず、ステップＳ８０１にて、管理サーバ１２０の配信用音声生成部１４０は、ユーザ情報記憶部１３０からユーザ情報２００を取得する。
【0064】
次に、ステップＳ８０２にて、配信用音声生成部１４０は、ステップＳ８０１で取得したユーザ情報２００に含まれる希望配信画面情報２１０のうち、配信者ＩＤと配信画面ＩＤと希望カメラ２２０を抽出する。
【0065】
次に、ステップＳ８０３にて、配信用音声生成部１４０は、配信者情報記憶部１３１から配信者情報３００を取得する。次に、ステップＳ８０４にて、配信用音声生成部１４０は、ステップＳ８０３で取得した配信者情報３００の中からステップＳ８０２で抽出した配信者ＩＤと配信画面ＩＤとを含む配信者情報３００を参照し、対応する音声生成用データ３１０を抽出する。
【0066】
次に、ステップＳ８０５にて、配信用音声生成部１４０は、ステップＳ８０４で取得した音声生成用データ３１０の中からステップＳ８０２で抽出した希望カメラ２２０に応じたカメラ情報とカメラ位置情報を抽出し、当該データＩＤに紐づくマイク情報とマイク位置情報とからオーディオトラック係数αを算出する。
【0067】
具体的には、まず、配信用音声生成部１４０は、オーディオトラック係数αを求めたいマイク７１０のマイク位置とカメラ位置とに基づいて距離（Ｌｎ）を算出する。次に、配信用音声生成部１４０は、当該マイク７１０からの距離ＬｎをＶｏ用マイク１０からの距離Ｌ１で除算して得た数の逆数をオーディオトラック係数αとして算出する。
【0068】
なお、オーディオトラック係数αの算出方法は上記に限られない。例えば、オーディオトラック係数αは、「距離Ｌｎを距離Ｌ１で除算して得た数の逆数」に対してさらに所定の定数を乗算することで算出してもよい。
【0069】
次に、ステップＳ８０６にて、配信用音声生成部１４０は、ステップＳ８０５で算出したオーディオトラック係数αに基づいて各トラック音をミックス及びマスタリングすることにより配信用音声８００を生成する。
【0070】
具体的には、配信用音声生成部１４０は、算出したオーディオトラック係数αを、各マイクで集音した音の音量に乗算する。これにより得た各トラック音をミックス等することで、配信用音声生成部１４０は、配信用音声８００を生成する。
【0071】
次に、ステップＳ８０７にて、配信用音声生成部１４０は、ステップＳ８０６で生成した配信用音声８００を配信用音声記憶部１３２に記憶する。次に、ステップＳ８０８にて、配信用音声生成部１４０は、配信用映像９００の生成を配信用映像生成部１５０に要求する。
【0072】
＜配信用映像生成処理＞
図９は、図４のステップＳ４０４で行われる配信用映像生成処理の概要を示す図である。まず、ステップＳ９０１にて、管理サーバ１２０の配信用映像生成部１５０は、ステップＳ８０８で要求された配信用映像９００の生成リクエストを受け付ける。
図９は、図４のステップＳ４０４で行われる配信用映像生成処理の概要を示す図である。まず、ステップＳ９０１にて、管理サーバ１２０の配信用映像生成部１５０は、ステップＳ８０８で要求された配信用映像９００の生成リクエストを受け付ける。
【0073】
次に、ステップＳ９０２にて、配信用映像生成部１５０は、配信用映像９００の生成を要求するユーザのユーザ情報２００をユーザ情報記憶部１３０から取得する。
【0074】
次に、ステップＳ９０３にて、配信用映像生成部１５０は、ステップＳ９０２で取得したユーザ情報２００の希望配信画面情報２１０に含まれる、配信者ＩＤと希望カメラ２２０を抽出する。
【0075】
次に、ステップＳ９０４にて、配信用映像生成部１５０は、ステップＳ９０３で抽出した配信者ＩＤと希望カメラ２２０を参照し、対応する配信者情報３００を配信者情報記憶部１３１から取得して、対応する配信用音声８００を配信用音声記憶部１３２から取得する。
【0076】
例えば、配信者ＩＤが「Ｂ０００１」で、希望カメラ２２０が「カメラＣｔ」である場合、配信用映像生成部１５０は、配信者ＩＤがＢ０００１である配信者について、カメラＣｔの配信用音声８００を取得する。次に、ステップＳ９０５にて、配信用映像生成部１５０は、ステップＳ９０４で取得した配信者情報３００と配信用音声８００とに基づいて配信用映像９００を生成する。
【0077】
具体的には、配信者情報３００に含まれる映像生成用データを参照し、希望カメラ２２０に対応した配信用音声８００を映像に同期させて配信することにより配信用映像９００を生成する。次に、ステップＳ９０６にて、配信用映像生成部１５０は、ステップＳ９０５で生成した配信用映像９００を配信用映像記憶部１３３に記憶する。
【0078】
次に、ステップＳ９０７にて、配信用映像生成部１５０は、配信画面１０００の生成を配信画面生成部１６０に要求する。
【0079】
＜配信画面＞
図１０は、本発明の一実施の形態における配信画面１０００の概要を示す図である。図１０に示されるように、配信画面１０００は、映像表示領域１０１０と、希望カメラ表示領域１０２０と、映像切替タブ１０３０と、を含む。なお、配信画面１０００は、ユーザ端末１００のディスプレイ１００Ａに表示される。
図１０は、本発明の一実施の形態における配信画面１０００の概要を示す図である。図１０に示されるように、配信画面１０００は、映像表示領域１０１０と、希望カメラ表示領域１０２０と、映像切替タブ１０３０と、を含む。なお、配信画面１０００は、ユーザ端末１００のディスプレイ１００Ａに表示される。
【0080】
映像表示領域１０１０は、配信用映像９００の内容を表示させる。なお、映像表示領域１０１０の表示のさせ方については特に限定されない。
【0081】
希望カメラ表示領域１０２０は、ユーザが選定した希望カメラ２２０の内容を表示させる。例えば、ユーザがステージ全体を撮影した映像の視聴を希望している場合、希望カメラ２２０は「カメラＣｔ」であり、希望カメラ表示領域１０２０は、「フロア」等の名称で表示させる。なお、「フロア」は、「カメラＣｔ」に対応する名称である。また、希望カメラ表示領域１０２０の表示のさせ方については、特に限定されない。
【0082】
また、希望カメラ表示領域１０２０は、ユーザが提供された配信画面１０００に表示される映像の切替えを希望する場合にユーザが所望のカメラを選択するための機能を有する。すなわち、希望カメラ表示領域１０２０に複数のカメラＣｂ，Ｃｔ，Ｃｇが表示され、その中からユーザが所望のカメラを選択することができる。
【0083】
映像切替タブ１０３０は、ユーザが提供された配信画面１０００に表示される映像の切替えを希望する場合、映像切替指示を管理サーバ１２０に通知するためのタブを示す。すなわち、映像切替タブ１０３０がユーザからタップまたはクリックの入力を受け付けることにより、管理サーバ１２０は、映像切替指示を管理サーバ１２０に通知する。
【0084】
このようにして、管理サーバ１２０は、カメラ７２０のうちカメラＣｂ，Ｃｇ，Ｃｔのそれぞれの位置で実際に聞こえるライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信する配信画面１０００をユーザ端末１００に提供できる。
【0085】
＜配信画面生成処理＞
図１１は、図４のステップＳ４０５で行われる配信画面生成処理の概要を示す図である。まず、ステップＳ１１０１にて、管理サーバ１２０の配信画面生成部１６０は、ステップＳ９０７で要求された配信画面１０００の生成リクエストを受け付ける。
図１１は、図４のステップＳ４０５で行われる配信画面生成処理の概要を示す図である。まず、ステップＳ１１０１にて、管理サーバ１２０の配信画面生成部１６０は、ステップＳ９０７で要求された配信画面１０００の生成リクエストを受け付ける。
【0086】
次に、ステップＳ１１０２にて、配信画面生成部１６０は、配信画面１０００の生成に必要な配信用音声８００を配信用音声記憶部１３２から取得する。
【0087】
次に、ステップＳ１１０３にて、配信画面生成部１６０は、配信画面１０００の生成に必要な配信用映像９００を配信用映像記憶部１３３から取得する。次に、ステップＳ１１０４にて、配信画面生成部１６０は、ステップＳ１１０２で取得した配信用音声８００と、ステップＳ１１０３で取得した配信用映像９００とに基づいて配信画面１０００を生成する。
【0088】
次に、ステップＳ１１０５にて、配信画面生成部１６０は、ステップＳ１１０４で生成した配信画面１０００を配信画面記憶部１３４に記憶する。次に、ステップＳ１１０６にて、配信画面生成部１６０は、配信画面１０００の提供を配信画面提供部１７０に要求する。
【0089】
＜配信画面提供処理＞
図１２は、図４のステップＳ４０６で行われる配信画面提供処理の構成例の概要を示す図である。まず、ステップＳ１２０１にて、管理サーバ１２０の配信画面提供部１７０は、ステップＳ１１０６で要求された配信画面１０００の提供リクエストを受け付ける。
図１２は、図４のステップＳ４０６で行われる配信画面提供処理の構成例の概要を示す図である。まず、ステップＳ１２０１にて、管理サーバ１２０の配信画面提供部１７０は、ステップＳ１１０６で要求された配信画面１０００の提供リクエストを受け付ける。
【0090】
次に、ステップＳ１２０２にて、配信画面提供部１７０は、提供したい配信画面１０００を配信画面記憶部１３４から抽出する。次に、ステップＳ１２０３にて、配信画面提供部１７０は、ステップＳ１２０２で抽出した配信画面１０００を提供したいユーザについてのユーザ情報２００をユーザ情報記憶部１３０から抽出する。
【0091】
次に、ステップＳ１２０４にて、配信画面提供部１７０は、ユーザ端末１００に配信画面１０００を提供する。次に、ステップＳ１２０５にて、ユーザ端末１００は、ステップＳ１２０４で管理サーバ１２０から提供された配信画面１０００を、ディスプレイ１００Ａに表示させる。
【0092】
次に、ステップＳ１２０６にて、ユーザ端末１００は、ユーザが提供された配信画面１０００に表示される映像の切替えを希望する場合、希望カメラ表示領域１０２０に表示される複数のカメラＣｂ，Ｃｇ，Ｃｔのうち、所望のカメラを選択したユーザから当該希望カメラ２２０の選択を受け付ける。
【0093】
次に、ステップＳ１２０７にて、ユーザ端末１００は、ユーザから映像切替タブ１０３０の押下入力を受付けたか否かを判定する。ユーザ端末１００がステップＳ１２０７でＹＥＳと判断すると、管理サーバ１２０は、ステップＳ１２０８の処理を行う。ユーザ端末１００がステップＳ１２０７でＮＯと判断すると、ユーザ端末１００は、本工程を終了する。
【0094】
ステップＳ１２０８にて、管理サーバ１２０は、ユーザが提供された配信画面１０００に表示される映像の切替えを希望する場合、映像切替指示を管理サーバ１２０に通知する。その後、管理サーバ１２０は、配信画面１０００の映像切替リクエストを映像切替部１８０に要求する。
【0095】
このようにして、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）の位置で実際に聞こえるライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザに提供できる。
【0096】
＜切替後画面＞
図１３は、本発明の一実施の形態における切替後画面１３００の概要を示す図である。図１３に示されるように、切替後画面１３００は、映像表示領域１３１０と、希望カメラ表示領域１３２０と、再切替タブ１３３０と、を含む。なお、切替後画面１３００は、ユーザ端末１００のディスプレイ１００Ａに表示される。
図１３は、本発明の一実施の形態における切替後画面１３００の概要を示す図である。図１３に示されるように、切替後画面１３００は、映像表示領域１３１０と、希望カメラ表示領域１３２０と、再切替タブ１３３０と、を含む。なお、切替後画面１３００は、ユーザ端末１００のディスプレイ１００Ａに表示される。
【0097】
映像表示領域１３１０は、カメラを切替えた後の配信用映像９００の内容を表示させる。なお、映像表示領域１３１０の表示のさせ方については特に限定されない。
【0098】
希望カメラ表示領域１３２０は、ユーザが新たに選定した希望カメラ２２０の内容を表示させる。なお、希望カメラ表示領域１３２０の表示のさせ方については特に限定されない。
【0099】
また、希望カメラ表示領域１３２０は、ユーザが提供された切替後画面１３００に表示される映像の再度の切替えを希望する場合、ユーザが所望のカメラを選択するための機能を有する。すなわち、希望カメラ表示領域１３２０に複数のカメラが表示され、その中からユーザが所望のカメラを選択することができる。
【0100】
再切替タブ１３３０は、ユーザが提供された切替後画面１３００に表示される映像の再度の切替えを希望する場合、再切替指示を管理サーバ１２０に通知するためのタブを示す。すなわち、再切替タブ１３３０がユーザからタップまたはクリックの入力を受け付けることにより、管理サーバ１２０は、再切替指示を管理サーバ１２０に通知する。
【0101】
＜映像切替処理＞
図１４は、図４のステップＳ４０７で行われる映像切替処理の概要を示す図である。まず、ステップＳ１４０１にて、管理サーバ１２０の映像切替部１８０は、ステップＳ１２０７で要求された配信画面１０００の映像切替リクエストまたはステップＳ１５０８で要求された切替後画面１３００の再切替リクエストを受け付ける。
図１４は、図４のステップＳ４０７で行われる映像切替処理の概要を示す図である。まず、ステップＳ１４０１にて、管理サーバ１２０の映像切替部１８０は、ステップＳ１２０７で要求された配信画面１０００の映像切替リクエストまたはステップＳ１５０８で要求された切替後画面１３００の再切替リクエストを受け付ける。
【0102】
次に、ステップＳ１４０２にて、映像切替部１８０は、ステップＳ１２０６またはステップＳ１５０６で選択された希望カメラ２２０に対応した配信用音声８００を配信用音声記憶部１３２から取得する。次に、ステップＳ１４０３にて、映像切替部１８０は、ステップＳ１２０６またはステップＳ１５０６で選択された希望カメラ２２０に対応した配信用映像９００を配信用映像記憶部１３３から取得する。
【0103】
次に、ステップＳ１４０４にて、映像切替部１８０は、ステップＳ１４０２で取得した配信用音声８００と、ステップＳ１４０３で取得した配信用映像９００とに基づいて切替後画面１３００を生成する。
【0104】
次に、ステップＳ１４０５にて、映像切替部１８０は、ステップＳ１４０４で生成した切替後画面１３００を配信画面記憶部１３４に記憶する。次に、ステップＳ１４０６にて、映像切替部１８０は、切替後画面１３００の提供を配信画面提供部１７０に要求する。
【0105】
＜切替後画面提供処理＞
図１５は、図４のステップＳ４０８で行われる切替後画面提供処理の概要を示す図である。まず、ステップＳ１５０１にて、管理サーバ１２０の配信画面提供部１７０は、ステップＳ１４０６で要求された切替後画面１３００の提供リクエストを受け付ける。
図１５は、図４のステップＳ４０８で行われる切替後画面提供処理の概要を示す図である。まず、ステップＳ１５０１にて、管理サーバ１２０の配信画面提供部１７０は、ステップＳ１４０６で要求された切替後画面１３００の提供リクエストを受け付ける。
【0106】
次に、ステップＳ１５０２にて、配信画面提供部１７０は、提供したい切替後画面１３００を配信画面記憶部１３４から抽出する。次に、ステップＳ１５０３にて、配信画面提供部１７０は、ステップＳ１５０２で抽出した切替後画面１３００を提供したいユーザについてのユーザ情報２００をユーザ情報記憶部１３０から抽出する。
【0107】
次に、ステップＳ１５０４にて、配信画面提供部１７０は、ユーザ端末１００のディスプレイ１００Ａに切替後画面１３００を提供する。次に、ステップＳ１５０５にて、ユーザ端末１００は、ステップＳ１５０４で管理サーバ１２０から提供された切替後画面１３００を、端末のディスプレイに表示させる。
【0108】
次に、ステップＳ１５０６にて、ユーザ端末１００は、ユーザが提供された切替後画面１３００に表示される映像の再度の切替えを希望する場合、希望カメラ表示領域１３２０に表示される複数のカメラのうち、所望のカメラを選択したユーザから当該希望カメラ２２０の選択を受け付ける。
【0109】
次に、ステップＳ１５０７にて、ユーザ端末１００は、ユーザから再切替タブ１３３０の押下入力を受付けたか否かを判定する。ユーザ端末１００は、ステップＳ１５０７でＹＥＳと判断すると、管理サーバ１２０は、ステップＳ１５０８の処理を行う。ユーザ端末１００が、ステップＳ１５０７でＮＯと判断すると、ユーザ端末１００は、本工程を終了する。
【0110】
ステップＳ１５０８にて、管理サーバ１２０は、ユーザが提供された切替後画面１３００に表示される映像の再度の切替えを希望する場合、再切替指示を管理サーバ１２０に通知する。その後、管理サーバ１２０は、切替後画面１３００の再切替リクエストを映像切替部１８０に要求する。その後、管理サーバ１２０は、ステップＳ１４０１の工程へ進行し、以降の処理を繰り返し行う。
【0111】
このようにして、管理サーバ１２０は、希望カメラ２２０の切替えに追従して、配信用音声８００および配信用映像９００を切替えた切替後画面１３００をユーザに提供できる。
【0112】
［第２の実施形態］
第２の実施形態におけるライブ画面提供システム３０の構成は、第１の実施形態と同様である。
＜配信用音声＞
本実施形態における配信用音声８１０は、ステージ上で演奏している演者のモニター音、または当該演者にウェアラブルマイクを装着させ、そのウェアラブルマイクが集音した音をそのまま採用する。すなわち、本実施形態における配信用音声８１０は、図７で示されるようにカメラ位置、マイク位置、オーディオトラック係数を利用して生成されるものではない。
第２の実施形態におけるライブ画面提供システム３０の構成は、第１の実施形態と同様である。
＜配信用音声＞
本実施形態における配信用音声８１０は、ステージ上で演奏している演者のモニター音、または当該演者にウェアラブルマイクを装着させ、そのウェアラブルマイクが集音した音をそのまま採用する。すなわち、本実施形態における配信用音声８１０は、図７で示されるようにカメラ位置、マイク位置、オーディオトラック係数を利用して生成されるものではない。
【0113】
このようにして、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）でアップしている演者が実際に聞いているライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザに提供できる。
【0114】
例えば、ユーザがベーシストをアップする映像を希望している場合、当該映像とともに「ベーシストがステージ上で聞いている音」を視聴でき、ユーザ自身があたかもベーシストとしてステージ上に立って、そこで聞いている音を疑似体験することができる。
【0115】
［第３の実施形態］
第３の実施形態におけるライブ画面提供システム３０の構成は、第１および第２の実施形態と同様である。
第３の実施形態におけるライブ画面提供システム３０の構成は、第１および第２の実施形態と同様である。
【0116】
本実施形態において、配信に係る音声と映像は「ライブ・コンサート」についてのものに限定されない。すなわち、配信に係る音声と映像は、「講演、セミナー、野球やサッカー等のスポーツ」など、カメラとマイクを用いてライブ配信を行うあらゆる活動を対象とし、第１および第２の実施形態と同様のシステムと実施に係る各処理を適用できる。
【0117】
これにより、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）の位置で実際に聞こえるスポーツ等の音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザに提供できる。
【0118】
＜本実施の形態の効果＞
以上説明した本発明の実施の形態によれば、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）の位置で実際に聞こえるライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザ端末１００に提供できる。
以上説明した本発明の実施の形態によれば、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）の位置で実際に聞こえるライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザ端末１００に提供できる。
【0119】
また、管理サーバ１２０は、希望カメラ２２０の切替えに追従して、配信用音声８００および配信用映像９００を切替えた切替後画面１３００をユーザ端末１００に提供できる。
【0120】
このようにして、ユーザは、配信画面１０００内で希望カメラ２２０を切替える操作を行うだけで、ライブ・コンサート会場内の所望の視点、具体的には、所定方向及び所定位置で聞こえる音を、臨場感をもって体験できる。
【0121】
［第４の実施形態］
ライブ画面提供システム３０を利用可能な第４の実施形態が、図１６に示されている。図１６は、例えば、配信する映像のステージおよび会場７００の他の例を示す平面図である。会場７００には、カメラ２０及びマイク２１が設けられた所定位置Ｐ１を囲むように、観客が居る第１エリア２２、バックバンドが居る第２エリア２３、オーケストラが居る第３エリア２４、合唱隊が居る第４エリア２５が区画されている。所定位置Ｐ１は、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５から外れた第５エリア２６に位置する。そして、所定位置Ｐ１を中心とする円周方向で３６０度の範囲内において、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５は、それぞれ異なる角度の範囲内に位置する。所定位置Ｐ１は、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５から見て前方に位置する。
ライブ画面提供システム３０を利用可能な第４の実施形態が、図１６に示されている。図１６は、例えば、配信する映像のステージおよび会場７００の他の例を示す平面図である。会場７００には、カメラ２０及びマイク２１が設けられた所定位置Ｐ１を囲むように、観客が居る第１エリア２２、バックバンドが居る第２エリア２３、オーケストラが居る第３エリア２４、合唱隊が居る第４エリア２５が区画されている。所定位置Ｐ１は、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５から外れた第５エリア２６に位置する。そして、所定位置Ｐ１を中心とする円周方向で３６０度の範囲内において、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５は、それぞれ異なる角度の範囲内に位置する。所定位置Ｐ１は、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５から見て前方に位置する。
【0122】
図１６においては、便宜上、所定位置Ｐ１を中心とする左側で略９０度の範囲内に第１エリア２２が位置し、所定位置Ｐ１を中心とする上側で略９０度の範囲内に第２エリア２３が位置し、所定位置Ｐ１を中心とする右側で略９０度の範囲内に第３エリア２４が位置し、所定位置Ｐ１を中心とする下側で略９０度の範囲内に第４エリア２５が位置している。また、図１６に示す例では、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５同士は、重なっていない。さらに、図１６において、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５は、会場７００における平面形状がそれぞれ略四角形で表されているが、円形、楕円形、三角形などでもよい。さらに、所定位置Ｐ１を中心とする円周方向で、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５同士の位置関係は、図１６に示すものに限定されない。
【0123】
カメラ２０及びマイク２１は、床に置かれていてもよいし、天井から吊り下げられていてもよい。カメラ２０は、３６０度カメラであり、所定位置Ｐ１を中心として全方位３６０度の映像を撮影し、かつ、映像を信号化して、図１に示す配信者端末１１０へ送信する。また、カメラ２０はズーム機能により、撮影しようとする方向が同じである状態において、レンズから被写体までの距離が異なる被写体のうち、レンズから任意の距離に位置する被写体を選択し、その被写体の映像を拡大、かつ、鮮明に撮影可能である。なお、カメラ２０は、ユーザ端末１００のディスプレイ１００Ａに希望カメラとして表示される。
【0124】
配信者端末１１０から管理サーバ１２０へ映像情報が送信されると、管理サーバ１２０は、カメラ２０を中心とする３６０度の範囲内で、カメラ２０が撮影している映像の方向、具体的には、直線Ｐ２に対して角度θ１を有する方向Ｑ１について、時計回りの角度θ１を算出可能である。また、管理サーバ１２０は、カメラ２０から、カメラ２０が撮影している方向Ｑ１の映像に映る被写体までの距離を算出可能である。直線Ｐ２は、所定位置Ｐ１を通過する仮想線であり、図１６では、便宜上、第１エリア２２の略中央に位置しているが、この位置に限定されない。
【0125】
マイク２１は、超指向性３６０度マイクであり、所定位置Ｐ１を中心としする全方位３６０度のあらゆる方向での音声を録音する機能、かつ、所定位置Ｐ１から所定距離範囲内の音声を各位置毎に録音する機能を有する。マイク２１で収音可能な距離は、マイク２１の収音機能により定まる。マイク２１は、録音した音声を信号化して配信者端末１１０へ送信する。
【0126】
ユーザは、例えば、図１３に示すような映像切替タブ１０３０を操作することにより、カメラ２０から見た方向Ｑ１を変更し、かつ、カメラ２０からの距離Ｌ３を変更することにより、希望する位置Ｐ３を選択可能である。
【0127】
そして、管理サーバ１２０が、図８と同様に配信用音声８００を生成する場合、ステップＳ８０２における希望カメラ２２０としてカメラ２０を抽出する。さらに、管理サーバ１２０は、図８のステップＳ８０５およびステップＳ８０６において、カメラ２０で撮影した映像情報、及びマイク２１から得られる音声情報を処理することにより、配信用音声８００を生成する。
【0128】
具体的には、方向Ｑ１において、カメラ２０からの距離Ｌ３における位置Ｐ３での配信用音声８００を生成可能である。この場合、オーディオトラック係数は、所定位置Ｐ１から所定距離の位置で「１．００」に設定されており、距離Ｌ３が相対的に大きくなるほど、オーディオトラック係数が相対的に小さく設定される。第４実施形態においても、他の実施形態と同様の効果を得られる。
【0129】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。たとえば、ユーザ端末は、スマートフォン以外にも、ノート型ＰＣや、タブレット端末、ＶＲ（Virtual Reality ）ゴーグル等の様々な形態のユーザ端末を全て含むものである。
【0130】
なお、ユーザ端末がＶＲゴーグルの場合、図１０の配信画面１０００は、ＶＲゴーグルで表示される。希望カメラ表示領域１０２０及び映像切替タブ１０３０の機能は、ＶＲゴーグルに付属されるコントーラ、または、ＶＲゴーグルと通信可能なスマートフォン、タブレット端末等により達成される。
【0131】
また、ユーザ端末がＶＲゴーグルの場合、図１３の切替後画面１３００は、ＶＲゴーグルで表示される。希望カメラ表示領域１３２０及び再切替タブ１３３０の機能は、ＶＲゴーグルに付属されるコントーラ、または、ＶＲゴーグルと通信可能なスマートフォン、タブレット端末等により達成される。
【0132】
また、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換しても良い。
【0133】
また、上記の各構成、機能、処理部は、それらの一部又は全部を、ハードウェア（例えば、集積回路）で実現してもよい。また、上記の各構成、機能、処理部は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するネットワーク経由もしくはディスク等記憶媒体によるインストール型のソフトウェア、また、ＡＳＰなどのネットワーク型アプリケーションで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0134】
さらに、カメラで撮影する映像は、スポーツ、ドラマなどであってもよい。例えば、野球場の所定位置にカメラ及びマイクを設置し、応援席、ベンチ、内野、外野、ネット裏などをカメラで撮影する撮影対象とし、カメラに対する方向、及びカメラから所定距離における映像及び音声を処理し、ユーザ端末へ提供可能である。なお、配信者端末は、野球場またはテレビ局の何れに設けられていてもよい。さらに、駅伝またはマラソン競技などにおいて、カメラ及びマイクを中継車に搭載し、中継車の前方及び後方等を撮影対象とし、撮影対象における音声を、ユーザ端末へ提供可能である。なお、配信者端末は、中継車または、テレビ局の何れに設けられていてもよい。
【0135】
さらに、会場７００に設けられたメインステージでドラマを演じる場合、メインステージの位置と、バックヤード及び楽屋の位置とは異なる。そして、メインステージでの所定のシーンをカメラ２０で撮影し、かつ、マイク２１で音声を取得している状況から、シーンの切り替わりで、次の日の朝における一部演者の声が、楽屋から聞こえるような演出、または、バックヤードの袖から一部演者の声が聞こえる演出等が行われることがある。このような場合、カメラ２０で撮影する目標位置を、メインステージから楽屋、またはバックヤードの袖に切り替え、かつ、マイク２１でその音声を取得するように切り替えることが可能である。このように、カメラ２０で撮影する位置を切り替えることにより、ユーザ端末１００でディスプレイ１００Ａを見るユーザは、「実は、こんなことが行われていたんだ。」と感動することができる。
【0136】
ユーザは、撮影対象の位置として、第２エリア２３、第３エリア２４、第４エリア２５の何れかのエリア内の位置を選択することも可能である。また、所定位置Ｐ１は、第５エリア２６内に配置されていてもよい。この場合、所定位置Ｐ１は、第１エリア２２と第２エリア２３との間、第２エリア２３と第３エリア２４との間、第３エリア２４と第４エリア２５との間、第１エリア２２と第４エリア２５との間の何れかに配置さえれていてもよい。さらに、所定位置Ｐ１は、第１エリア２２の後方、第２エリア２３の後方、第３エリア２４の後方、第４エリア２５の後方の何れかに配置されていてもよい。
【0137】
さらに、図１６に示された会場７００の平面視において、カメラ２０とマイク２１とが異なる位置に配置されていてもよい。この場合、カメラ２０とマイク２１との位置関係、及びカメラ２０とマイク２１との距離が定まれば、図４のステップＳ４０４において、撮影対象の位置と、撮影対象の位置における音声とを整合させて配信用映像生成処理を行うことが可能である。
【0138】
本開示で説明した事項の技術的意味の一例は、次の通りである、カメラ２０は、希望カメラの一例であり、制御回路１２０Ａは、カメラ抽出部、音声抽出部及び映像抽出部の一例である。位置Ｐ３は、撮影対象の一例である。撮影対象は、撮影目標と定義することも可能である。オーディオトラック係数は、所定の係数の一例である。カメラ２０は、３６０度カメラの一例であり、マイク２１は、３６０度マイクの一例である。Ｖｏ用マイク１０は、ボーカルマイクの一例である。
【産業上の利用可能性】
【0139】
本開示の管理サーバは、映像及び音声をユーザ端末に提供する分野で利用可能である。
【符号の説明】
【0140】
１００…ユーザ端末
１１０…配信者端末
１２０…管理サーバ
１３０…ユーザ情報記憶部
１３１…配信者情報記憶部
１３２…配信用音声記憶部
１３３…配信用映像記憶部
１３４…配信画面記憶部
１４０…配信用音声生成部
１５０…配信用映像生成部
１６０…配信画面生成部
１７０…配信画面提供部
１８０…映像切替部
２００…ユーザ情報
３００…配信者情報
８００…配信用音声
９００…配信用映像
１０００…配信画面
１３００…切替後画面
１１０…配信者端末
１２０…管理サーバ
１３０…ユーザ情報記憶部
１３１…配信者情報記憶部
１３２…配信用音声記憶部
１３３…配信用映像記憶部
１３４…配信画面記憶部
１４０…配信用音声生成部
１５０…配信用映像生成部
１６０…配信画面生成部
１７０…配信画面提供部
１８０…映像切替部
２００…ユーザ情報
３００…配信者情報
８００…配信用音声
９００…配信用映像
１０００…配信画面
１３００…切替後画面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
