特許 7339999 配信システム、配信サーバ、配信方法、通信端末、再生方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-29

(45)【発行日】2023-09-06

(54)【発明の名称】配信システム、配信サーバ、配信方法、通信端末、再生方法、及びプログラム

(51)【国際特許分類】

   H04N 21/236 20110101AFI20230830BHJP

   H04N 21/472 20110101ALI20230830BHJP

【ＦＩ】

H04N21/236

H04N21/472

【請求項の数】 6

(21)【出願番号】P 2021204236

(22)【出願日】2021-12-16

(65)【公開番号】P2023089627

(43)【公開日】2023-06-28

【審査請求日】2021-12-16

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】五十嵐 和夫

【審査官】川中 龍太

(56)【参考文献】

【文献】特開２０１６－１６５１６２（ＪＰ，Ａ）

【文献】特開２００３－０１８５８３（ＪＰ，Ａ）

【文献】特開２００９－２０１０３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１４３７２５（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０５４３６０（ＷＯ，Ａ１）

【文献】特開２０１８－１２５６２１（ＪＰ，Ａ）

【文献】特開２０１６－０３９６１２（ＪＰ，Ａ）

【文献】特開２０１１－０６０１６１（ＪＰ，Ａ）

【文献】国際公開第２０１８／０８８０６１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

複数の映像データと複数の音声データを記憶するデータ記憶部と、
通信端末から、前記複数の映像データの数を示す数データを受信するデータ取得部と、
前記データ取得部が前記通信端末から受信した前記数データに応じて、前記複数の映像データの画質を調整して、前記複数の映像データ及び前記複数の音声データを単一のストリームとして結合した結合ストリームを生成するストリーム生成部と、
前記ストリーム生成部によって生成された前記結合ストリームを配信するストリーム配信部と
を備える配信サーバ。

【請求項2】

前記ストリーム生成部は、前記数データが示す数が２～４個である場合、当該２～４個の映像データの画質をＦＨＤとし、前記数データが示す数が１個である場合、当該１個の映像データの画質を４Ｋとして、前記結合ストリームを生成する、請求項１に記載の配信サーバ。

【請求項3】

前記ストリーム生成部は、前記数データが示す数が５～１０個の場合、当該５～１０個の映像データのうちの２個の映像データの画質をＦＨＤとし、当該５～１０個の映像データのうちの他の映像データの画質をＨＤとして、前記結合ストリームを生成する、請求項２に記載の配信サーバ。

【請求項4】

コンピュータを、請求項１から３のいずれか一項に記載の配信サーバとして機能させるためのプログラム。

【請求項5】

コンピュータによって実行される配信方法であって、
通信端末から、複数の映像データの数を示す数データを受信するデータ取得段階と、
前記データ取得段階において前記通信端末から受信した前記数データに応じて、前記複数の映像データの画質を調整して、前記複数の映像データ及び複数の音声データを単一のストリームとして結合した結合ストリームを生成するストリーム生成段階と、
前記ストリーム生成段階において生成された前記結合ストリームを配信するストリーム配信段階と
を備える配信方法。

【請求項6】

映像を配信する配信サーバと、
通信端末と
を備え、
前記配信サーバは、
複数の映像データと複数の音声データを記憶するデータ記憶部と、
前記通信端末から、前記複数の映像データの数を示す数データを受信するデータ取得部と、
前記データ取得部が前記通信端末から受信した前記数データに応じて、前記複数の映像データの画質を調整して、前記複数の映像データ及び前記複数の音声データを単一のストリームとして結合した結合ストリームを生成するストリーム生成部と、
前記ストリーム生成部によって生成された前記結合ストリームを配信するストリーム配信部と、
を有し、
前記通信端末は、
前記ストリーム配信部によって配信された前記結合ストリームを受信するストリーム受信部と、
前記ストリーム受信部が受信した前記結合ストリームから前記複数の映像データ及び前記複数の音声データに分割する分割部と、
前記分割部が分割した前記複数の映像データの少なくとも１つの映像データと、前記複数の音声データの少なくとも１つの音声データとを再生する再生部と
を有する、配信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、配信システム、配信サーバ、配信方法、通信端末、再生方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、映像配信において、広帯域を必要としないよう、複数の映像を１ストリームに合成して配信し、受信端末において複数の映像に分割し再生する技術が開示されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１２－９９８９０号公報

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、配信システムが提供される。配信システムは、映像を配信する配信サーバを備えてよい。配信システムは、通信端末を備えてよい。配信サーバは、複数の映像データと複数の音声データを記憶するデータ記憶部を有してよい。配信サーバは、複数の映像データ及び複数の音声データを単一のストリームとして結合した結合ストリームを生成するストリーム生成部を有してよい。配信サーバは、ストリーム生成部によって生成された結合ストリームを配信するストリーム配信部を有してよい。通信端末は、ストリーム配信部によって配信された結合ストリームを受信するストリーム受信部を有してよい。通信端末は、ストリーム受信部が受信した結合ストリームから複数の映像データ及び複数の音声データに分割する分割部を有してよい。通信端末は、分割部が分割した複数の映像データの少なくとも１つの映像データと、複数の音声データの少なくとも１つの音声データとを再生する再生部を有してよい。

【0004】

上記再生部は、上記通信端末の入力部が上記複数の映像データ及び上記複数の音声データから上記少なくとも１つの映像データ及び上記少なくとも１つの音声データを選択する入力を受け付けた場合に、選択された当該少なくとも１つの映像データと選択された当該少なくとも１つの音声データとを再生してよい。上記再生部は、上記通信端末の入力部が上記複数の映像データ及び上記複数の音声データから複数の上記映像データ及び複数の上記音声データを選択する入力を受け付けた場合に、選択された当該複数の映像データと選択された当該複数の音声データとを再生してよい。

【0005】

上記複数の音声データのそれぞれは上記複数の映像データのそれぞれに対応してよく、上記再生部は、上記映像データと、当該映像データに対応する音声データとを再生してよい。上記再生部は、上記通信端末の入力部が上記複数の映像データから上記少なくとも１つの映像データを選択する入力を受け付けた場合に、選択された当該少なくとも１つの映像データと、当該少なくとも１つの映像データに対応する上記少なくとも１つの音声データとを再生してよい。上記再生部は、上記通信端末の入力部が上記複数の映像データから複数の上記映像データを選択する入力を受け付けた場合に、選択された当該複数の映像データと、それぞれが当該複数の映像データに対応する複数の上記音声データとを再生してよい。

【0006】

上記再生部は、上記分割部によって分割された上記複数の映像データのうち選択された映像データを表示する表示領域と、上記複数の映像データのうち選択されていない複数の映像データのそれぞれをそれぞれが表す複数の映像オブジェクトとを並べて表示してよい。上記再生部は、上記表示領域及び上記複数の映像オブジェクトを仮想３次元空間に配置して表示してよい。上記再生部は、上記表示領域を中央に配置し、上記複数の映像オブジェクトを上記仮想３次元空間の奥行方向に傾斜させて配置して表示してよい。上記再生部は、上記表示領域及び上記複数の映像オブジェクトの並びの方向に対する入力に応じて、上記表示領域に表示する映像データを切り替えてよい。上記ストリーム生成部は、上記複数の映像データの数に応じて上記複数の映像データの画質を決定し、決定した画質とした上記複数の映像データと、上記複数の音声データを単一のストリームとして結合した結合ストリームを生成してよい。

【0007】

本発明の一実施態様によれば、配信サーバが提供される。配信サーバは、複数の映像データと複数の音声データを記憶するデータ記憶部を備えてよい。配信サーバは、複数の映像データ及び複数の音声データを単一のストリームとして結合した結合ストリームを生成するストリーム生成部を備えてよい。配信サーバは、ストリーム生成部によって生成された結合ストリームを配信するストリーム配信部を備えてよい。上記ストリーム生成部は、上記複数の映像データの数に応じて上記複数の映像データの画質を決定し、決定した画質とした上記複数の映像データと、上記複数の音声データを単一のストリームとして結合した結合ストリームを生成してよい。

【0008】

本発明の一実施態様によれば、コンピュータを、上記配信サーバとして機能させるためのプログラムが提供される。

【0009】

本発明の一実施態様によれば、コンピュータによって実行される配信方法が提供される配信方法は、複数の映像データ及び複数の音声データを単一のストリームとして結合した結合ストリームを生成するストリーム生成段階を備えてよい。配信方法は、ストリーム生成段階において生成された結合ストリームを配信するストリーム配信段階を備えてよい。

【0010】

本発明の一実施態様によれば、通信端末が提供される。通信端末は、複数の映像データ及び複数の音声データを単一のストリームとして結合して生成された結合ストリームを受信するストリーム受信部を備えてよい。通信端末は、ストリーム受信部が受信した結合ストリームから複数の映像データ及び複数の音声データに分割する分割部を備えてよい。通信端末は、分割部が分割した複数の映像データの少なくとも１つの映像データと、複数の音声データの少なくとも１つの音声データとを再生する再生部を備えてよい。上記再生部は、上記分割部によって分割された上記複数の映像データのうち選択された映像データを表示する表示領域と、上記複数の映像データのうち選択されていない複数の映像データのそれぞれをそれぞれが表す複数の映像オブジェクトとを仮想３次元空間内に並べて表示してよい。

【0011】

本発明の一実施態様によれば、コンピュータを、上記通信端末として機能させるためのプログラムが提供される。

【0012】

本発明の一実施態様によれば、コンピュータによって実行される再生方法が提供される。再生方法は、複数の映像データ及び複数の音声データを単一のストリームとして結合して生成された結合ストリームを受信するストリーム受信段階を備えてよい。再生方法は、ストリーム受信段階において受信した結合ストリームから複数の映像データ及び複数の音声データに分割する分割段階を備えてよい。再生方法は、分割段階において分割した複数の映像データの少なくとも１つの映像データと、複数の音声データの少なくとも１つの音声データとを再生する再生段階を備えてよい。

【0013】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0014】

【図1】配信システム１０の一例を概略的に示す。

【図2】従来の映像配信について説明するための説明図である。

【図3】配信システム１０による映像配信の一例について説明するための説明図である。

【図4】通信端末２００による表示例を概略的に示す。

【図5】配信サーバ１００の機能構成の一例を概略的に示す。

【図6】通信端末２００の機能構成の一例を概略的に示す。

【図7】複数の映像データの数に応じた複数の映像データの画質の調整方法について説明するための説明図である。

【図8】複数の映像データの数に応じた複数の映像データの画質の調整方法について説明するための説明図である。

【図9】配信サーバ１００又は通信端末２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0015】

スマートフォンアプリケーション等において、マルチアングル動画配信サービスがいくつか開始されており、今後も増加していくものとみられる。一方、マルチアングル配信においては確立されたオープンな技術仕様や、デファクトスタンダードとなっているサービスも無く、例えば、複数動画をそれぞれ伝送するためのサーバ側の配信設備が必要、複数動画の同期が必要、各動画に紐づく音源が１種類のみしか配信できない（音源が選べない）等の課題が存在し、各サービスにて改善に取り組まれている。本実施形態に係るシステムは、これらの課題の解決に貢献する技術を提供する。

【0016】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0017】

図１は、配信システム１０の一例を概略的に示す。配信システム１０は、配信サーバ１００及び通信端末２００を備える。

【0018】

配信サーバ１００は、映像を配信する。配信サーバ１００は、映像を、ネットワーク２０を介して通信端末２００に配信してよい。

【0019】

ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。

【0020】

配信サーバ１００は、ネットワーク２０に有線接続されてよい。配信サーバ１００は、ネットワーク２０に無線接続されてよい。配信サーバ１００は、無線基地局を介してネットワーク２０に接続されてよい。配信サーバ１００は、Ｗｉ－Ｆｉ（登録商標）アクセスピントを介してネットワーク２０に接続されてよい。

【0021】

通信端末２００は、ネットワーク２０に有線接続されてよい。通信端末２００は、ネットワーク２０に無線接続されてよい。通信端末２００は、無線基地局を介してネットワーク２０に接続されてよい。配信サーバ１００は、Ｗｉ－Ｆｉアクセスピントを介してネットワーク２０に接続されてよい。

【0022】

配信サーバ１００は、１つの装置によって実現されてよい。配信サーバ１００は、複数の装置によって実現されてもよい。

【0023】

通信端末２００は、配信サーバ１００から映像を受信して、表示する機能を有していれば、どのような端末であってもよい。通信端末２００の例として、スマートフォン、タブレット端末、ウェアラブル端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、及びテレビ装置等が挙げられるが、これらに限られない。

【0024】

図２は、従来の映像配信について説明するための説明図である。従来の配信システムにおいては、配信サーバ５０が、複数の映像データと、１つの音声データ３１０とを通信端末６０に配信する。図２では、ストリームＡ３００、ストリームＢ３０２、ストリームＣ３０４、ストリームＤ３０６、及びストリームＥ３０８を配信する場合を例示している。ストリームＡ３００、ストリームＢ３０２、ストリームＣ３０４、ストリームＤ３０６、及びストリームＥ３０８は、複数の映像データの一例であってよい。

【0025】

従来の配信システムにおいては、通信端末６０が、受信した複数の映像データを表示し、受信した音声データ３１０を音声出力する。通信端末６０は、図２に例示するように、複数の映像データのうちの選択された映像データを大きな領域に表示し、他の映像データを小さな領域に表示し、選択に応じて表示を切り替える。

【0026】

従来の配信システムでは、図２に示すように、複数の映像データを配信する場合に、複数の映像データに対応する１つの音声データを配信していた。例えば、アイドルグループのコンサート映像を配信する場合であって、グループメンバ全員を含む映像と、グループメンバのそれぞれを含む映像とをマルチアングル配信する場合に、アイドルグループ全体の歌唱を含む１つの音楽データが配信されていた。

【0027】

しかし、複数の映像データを配信する場合に、複数の音声データを合わせて配信するニーズが存在すると考えられる。例えば、複数の映像コンテンツに、複数の映像のみならず、複数の異なる音声がそれぞれ含まれる場合、それぞれを聞き分けたいというユーザのニーズが存在する。

【0028】

具体的には、アイドルグループのコンサート映像をマルチアングル配信する場合に、グループ全体の歌唱を含む音声データの他、グループメンバそれぞれの歌唱に特化した音声データを聞きたいというニーズが存在する。また、スポーツの試合映像を配信する場合に、各選手に特化した音声データや、特定チームの応援席の音声データと、そうでない席の音声データを聞きたいというニーズが存在する。

【0029】

そのようなニーズを満たすシステムを提供することが望ましい。通信帯域への負荷をあまり増加させることなく、そのようなニーズを満たすシステムを提供することがより望ましい。また、技術的な難易度を抑えたうえで、そのようなニーズを満たすシステムを提供することがより望ましい。

【0030】

図３は、配信システム１０による映像配信の一例について説明するための説明図である。配信サーバ１００は、複数の映像データ及び複数の音声データを単一のストリームとして結合した結合ストリーム３２０を生成する。図３では、ストリームＡ３００、ストリームＢ３０２、ストリームＣ３０４、ストリームＤ３０６、及びストリームＥ３０８と、音声データ３１０、音声データ３１２、音声データ３１４、音声データ３１６、及び音声データ３１８とを結合した結合ストリーム３２０を例示している。

【0031】

複数の音声データは、複数の映像データのそれぞれに対応していてよい。例えば、複数の映像データが、アイドルグループの複数のメンバの映像のデータである場合に、複数の音声データは、複数のメンバに特化した歌唱等の音声のデータであってよい。

【0032】

あるメンバに特化した音声とは、複数のメンバのうちの当該メンバの歌唱のみを含む音声であってよい。また、あるメンバに特化した音声とは、複数のメンバのうちの当該メンバの歌唱の割合が多い音声であってよく、具体例として、複数のメンバのうちの当該メンバの歌唱の音量が他のメンバの歌唱の音量よりも大きい音声であってよい。

【0033】

図３では、音声データ３１０がストリームＡ３００に対応し、音声データ３１２がストリームＢ３０２に対応し、音声データ３１４がストリームＣ３０４に対応し、音声データ３１６がストリームＤ３０６に対応し、音声データ３１８がストリームＥ３０８に対応している場合を例示している。なお、複数の音声データは、複数の映像データとは独立して準備されたものであってもよい。

【0034】

配信サーバ１００は、結合ストリーム３２０を通信端末２００に配信する。配信サーバ１００は、ネットワーク２０を介して結合ストリーム３２０を通信端末２００に送信する。

【0035】

通信端末２００は、受信した結合ストリーム３２０から、複数の映像データ及び複数の音声データに分割する。そして、通信端末２００は、分割した複数の映像データ及び複数の音声データを再生する。

【0036】

通信端末２００は、複数の映像データの少なくとも１つの映像データと、複数の音声データの少なくとも１つの音声データとを再生してよい。通信端末２００は、通信端末２００のユーザ４０の選択に応じて、複数の映像データの少なくとも１つの映像データと、複数の音声データの少なくとも１つの音声データとを再生してよい。

【0037】

図３に示す例において、通信端末２００は、表示領域４００にストリームＡ３００を表示し、ストリームＢ３０２を表す映像オブジェクト４２２、ストリームＣ３０４を表す映像オブジェクト４２４、ストリームＤ３０６を表す映像オブジェクト４２６、及びストリームＥ３０８を表す映像オブジェクト４２８を、表示領域４００と並べて表示している。

【0038】

通信端末２００は、表示領域４００に表示しているストリームＡ３００に対応する音声データ３１０を音声出力してよい。通信端末２００は、ユーザ４０の入力に従って、表示領域４００に表示する映像データを切り替える。例えば、通信端末２００は、ユーザ４０の入力に従って、ストリームＢ３０２を表示領域４００に表示させる。このとき、通信端末２００は、ストリームＢ３０２に対応する音声データ３１２を音声出力してよい。

【0039】

本実施形態に係る配信システム１０は、このように、マルチアングルマルチオーディオシステムを実現してよい。ストリームＡ３００及び音声データ３１０、ストリームＢ３０２及び音声データ３１２、ストリームＣ３０４及び音声データ３１４、ストリームＤ３０６及び音声データ３１６、ストリームＥ３０８及び音声データ３１８を個別に通信端末２００に配信して、通信端末２００で再生することもできるが、個別に受信したデータを同期させることは難しい。それに対して、配信システム１０によれば、通信端末２００が再生する複数の映像データ及び音声データは、もともと結合ストリーム３２０という同じファイルであるため容易に同期をとることができる。

【0040】

図４は、通信端末２００による表示例を概略的に示す。通信端末２００は、結合ストリーム３２０から分割した複数の映像データのうち、選択された映像データを表示する表示領域４００と、複数の映像データのうち選択されていない複数の映像データのそれぞれをそれぞれが表す複数の映像オブジェクト４２０とを並べて表示してよい。図４では、映像データが７つである場合を例示している。

【0041】

通信端末２００は、図４に例示するように、表示領域４００及び複数の映像オブジェクト４２０を仮想３次元空間に配置して表示してよい。また、通信端末２００は、図４に例示するように、表示領域４００を中央に配置し、複数の映像オブジェクト４２０を仮想３次元空間の奥行方向に傾斜させて配置して表示してよい。

【0042】

図２に例示したように、平面へ複数の映像データをレイアウトする場合、主として視聴していない映像を選択するためにレイアウトする必要がある。図２の例では、５つ以上の映像データがある場合、表示範囲に収まらないレイアウトになってしまう。すなわち、５つ目の映像データの存在に気づきづらい。それに対して、本実施形態に係る通信端末２００によれば、仮想３次元空間に配置することによって、複数の映像データの全ての存在をユーザ４０に知得させることができる。

【0043】

通信端末２００は、表示領域４００及び複数の映像オブジェクト４２０の並びの方向に対する入力に応じて、表示領域４００に表示する映像データを切り替えてよい。図４に示す例において、通信端末２００は、例えば、左右へのスワイプ操作に応じて、表示領域４００に表示する映像データを切り替える。

【0044】

通信端末２００は、更に、配置オブジェクト４３０を表示してよい。配置オブジェクト４３０は、複数の映像データに対応する。図４では、７つの映像データに対応する７つの配置オブジェクト４３０が例示されている。通信端末２００は、７つの配置オブジェクト４３０のうち、表示領域４００に表示している映像データに対応する配置オブジェクト４３０を識別表示してよい。図４に示す例によれば、ユーザ４０は、映像データの数が７つであることと、表示領域４００に表示されている映像データが、７つの映像データのうちの真ん中の映像データであることを容易に把握することができる。

【0045】

通信端末２００は、更に、全体化ボタン４４０を表示してよい。通信端末２００は、全体化ボタン４４０が選択された場合に、表示領域４００に表示している映像データを画面最大化表示してよい。

【0046】

図５は、配信サーバ１００の機能構成の一例を概略的に示す。配信サーバ１００は、データ取得部１０２、データ記憶部１０４、ストリーム生成部１０６、及びストリーム配信部１０８を備える。

【0047】

データ取得部１０２は、複数の映像データ及び複数の音声データを取得する。データ取得部１０２は、複数の映像データ及び複数の音声データを受信してよい。データ取得部１０２は、例えば、複数の映像データ及び複数の音声データを外部の装置から受信する。データ取得部１０２は、複数の映像データ及び複数の音声データを、ネットワーク２０を介して外部の装置から受信してよい。データ取得部１０２は、配信サーバ１００に対して直接通信接続された外部の装置から、複数の映像データ及び複数の音声データを受信してもよい。データ取得部１０２は、複数の映像データ及び複数の音声データを、可搬型の記憶媒体から読み出してもよい。データ取得部１０２は、配信サーバ１００において生成された複数の映像データ及び複数の音声データを取得してもよい。

【0048】

データ記憶部１０４は、複数の映像データ及び複数の音声データを記憶する。データ記憶部１０４は、データ取得部１０２が取得した複数の映像データ及び複数の音声データを記憶してよい。

【0049】

複数の音声データのそれぞれは、複数の映像データのそれぞれに対応していてよい。複数の音声データのそれぞれは、複数の映像データのそれぞれに対応していなくてもよい。すなわち、複数の音声データのそれぞれは、複数の映像データのそれぞれと独立していてもよい。

【0050】

ストリーム生成部１０６は、データ記憶部１０４に記憶されている複数の映像データ及び複数の音声データを単一のストリームとして結合した結合ストリームを生成する。ストリーム生成部１０６は、複数の映像データの数に応じて、複数の映像データのそれぞれの画質を調整して結合してよい。調整方法については後述する。

【0051】

ストリーム配信部１０８は、ストリーム生成部１０６によって生成された結合ストリームを配信する。ストリーム配信部１０８は、結合ストリームを通信端末２００に配信してよい。ストリーム配信部１０８は、結合ストリームを、ネットワーク２０を介して通信端末２００に送信してよい。ストリーム配信部１０８は、ストリーム生成部１０６が複数の映像データ及び複数の音声データをどのように結合したかを示す結合情報を、結合ストリームと合わせて通信端末２００に送信してもよい。

【0052】

図６は、通信端末２００の機能構成の一例を概略的に示す。通信端末２００は、ストリーム受信部２０２、記憶部２０４、分割部２０６、入力部２０７、及び再生部２０８を備える。

【0053】

ストリーム受信部２０２は、配信サーバ１００から結合ストリームを受信する。ストリーム受信部２０２は、ストリーム配信部１０８によって送信された結合ストリームを受信する。ストリーム受信部２０２は、結合ストリームと合わせて結合情報を受信してもよい。

【0054】

記憶部２０４は、ストリーム受信部２０２が受信した結合ストリームを記憶する。記憶部２０４は、ストリーム受信部２０２が結合情報を合わせて受信した場合、結合ストリームに対応付けて結合情報を記憶してよい。

【0055】

分割部２０６は、記憶部２０４に記憶されている結合ストリームから複数の映像データ及び複数の音声データに分割する。分割部２０６は、結合情報を参照することによって、結合ストリームから複数の映像データ及び複数の音声データに分割してよい。

【0056】

入力部２０７は、各種入力を受け付ける。入力部２０７は、例えば、通信端末２００のユーザによる入力を受け付けてよい。

【0057】

入力部２０７は、通信端末２００が入力キーを有する場合に、キー入力を受け付けてよい。入力部２０７は、通信端末２００がタッチパネルディスプレイを有する場合に、タッチ入力を受け付けてよい。入力部２０７は、通信端末２００が、マイクを有する場合に、音声入力を受け付けてよい。入力部２０７は、通信端末２００がマウスを有する場合に、マウス入力を受け付けてよい。入力部２０７は、通信端末２００がリモートコントローラを有する場合に、いわゆるリモコン入力を受け付けてよい。入力部２０７は、通信端末２００が撮像部を有する場合に、ジェスチャ入力を受け付けてよい。これらは例示であり、入力部２０７は、他の方式の入力を受け付けてもよい。

【0058】

入力部２０７は、複数の映像データから１又は複数の映像データを選択する入力を受け付けてよい。入力部２０７は、複数の音声データから１又は複数の音声データを選択する入力を受け付けてよい。

【0059】

再生部２０８は、分割部２０６が分割した複数の映像データの少なくとも１つの映像データと、複数の音声データの少なくとも１つの音声データとを再生する。再生部２０８は、入力部２０７が複数の映像データ及び複数の音声データから少なくとも１つの映像データ及び少なくとも１つの音声データを選択する入力を受け付けた場合に、選択された当該少なくとも１つの映像データと選択された当該少なくとも１つの音声データとを再生してよい。例えば、再生部２０８は、通信端末２００のユーザ４０によって複数の映像データから選択された少なくとも１つの映像データと、ユーザ４０によって複数の音声データから選択された少なくとも１つの音声データとを再生してよい。再生部２０８は、入力部２０７が複数の映像データ及び複数の音声データから複数の映像データ及び複数の音声データを選択する入力を受け付けた場合に、選択された当該複数の映像データと選択された当該複数の音声データとを再生してよい。例えば、再生部２０８は、通信端末２００のユーザ４０によって複数の映像データから選択された複数の映像データと、ユーザ４０によって複数の音声データから選択された複数の音声データとを再生してよい。

【0060】

複数の音声データのそれぞれが複数の映像データのそれぞれに対応している場合、再生部２０８は、映像データと、当該映像データに対応する音声データとを再生してよい。再生部２０８は、入力部２０７が複数の映像データから少なくとも１つの映像データを選択する入力を受け付けた場合に、選択された少なくとも1つの映像データと、当該少なくとも１つの映像データに対応する少なくとも１つの音声データとを再生してよい。例えば、再生部２０８は、通信端末２００のユーザ４０によって複数の映像データから選択された少なくとも１つの映像データと、当該少なくとも１つの映像データに対応する少なくとも１つの音声データとを再生する。再生部２０８は、入力部２０７が複数の映像データから複数の映像データを選択する入力を受け付けた場合に、選択された当該複数の映像データと、それぞれが当該複数の映像データに対応する複数の音声データとを再生してよい。例えば、再生部２０８は、通信端末２００のユーザ４０によって複数の映像データから選択された複数の映像データと、それぞれが当該複数の映像データに対応する複数の音声データとを再生する。

【0061】

例えば、配信された映像が、アイドルグループのコンサート映像であり、複数の映像データが、アイドルグループ全体の映像データと、アイドルグループの複数のメンバのそれぞれの映像データとを含む場合において、ユーザ４０は、アイドルグループ全体の映像データと、いわゆる推しメンの映像データとを選択する。これにより、ユーザ４０は、アイドルグループ全体の映像と、推しメンの映像とを閲覧しながら、アイドルグループ全体の歌唱と、推しメンの歌唱とを聴くことができる。また、ユーザ４０は、例えば、複数のメンバの映像データを選択する。これにより、ユーザ４０は、複数の推しメンのみの映像を閲覧し、複数の推しメンのみの音声を聴くことができる。

【0062】

再生部２０８は、分割部２０６によって分割された複数の映像データのうちの選択された映像データを表示する表示領域と、複数の映像データのうち選択されていない複数の映像データのそれぞれをそれぞれが表す複数の映像オブジェクトとを並べて表示してよい。再生部２０８は、表示領域及び複数の映像オブジェクトを仮想３次元空間に配置して表示してよい。再生部２０８は、表示領域を中央に配置し、複数の映像オブジェクトを仮想３次元空間の奥行方向に傾斜させて配置して表示してよい。

【0063】

再生部２０８は、入力部２０７が受け付けた入力に応じて、表示領域に表示する映像データを切り替えてよい。例えば、再生部２０８は、表示領域及び複数の映像オブジェクトの並びの方向に対する入力に応じて、表示領域に表示する映像データを切り替えてよい。通信端末２００がタッチパネルを備える場合、再生部２０８は、表示領域及び複数の映像オブジェクトの並びの方向に対するスワイプ操作に応じて、表示領域に表示する映像データを切り替えてよい。また、再生部２０８は、表示領域及び複数の映像オブジェクトの並びの方向に対するフリック操作に応じて、表示領域に表示する映像データを切り替えてもよい。

【0064】

通信端末２００がマウス入力を受け付ける場合、再生部２０８は、表示領域及び複数の映像オブジェクトの並びの方向に対するドラッグ操作に応じて、表示領域に表示する映像データを切り替えてよい。通信端末２００がリモコン入力を受け付ける場合、再生部２０８は、表示領域及び複数の映像オブジェクトの並びの方向に対するボタン入力やジャイロ入力に応じて、表示領域に表示する映像データを切り替えてよい。

【0065】

図７及び図８は、複数の映像データの数に応じた複数の映像データの画質の調整方法について説明するための説明図である。対応表５１０及び対応表５２０は、ストリームの数と画質との対応関係を示す。

【0066】

ここでは、一般的なスマートフォン向けの配信を想定し、結合後のサイズが４Ｋである場合を想定した一例を示す。４Ｋの中にＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｔｉｏｎ）、ＨＤ画質で組み合わせることによって、１～１６個の映像データの配信を可能とする。

【0067】

図７に例示するように、ＦＨＤのストリームを４個配信することができる。また、ＦＨＤのストリームを２個、ＨＤのストリームを８個配信することができる。また、ＦＨＤのストリームを１個、ＨＤのストリームを１２個配信することができる。また、ＨＤのストリームを１６個配信することができる。

【0068】

図８に例示するように、ストリーム数が１個の場合、配信サーバ１００は、４Ｋで配信してよい。また、ストリーム数が２個～４個の場合、配信サーバ１００は、４個のＦＨＤのフォーマットで配信してよい。また、ストリーム数が５個～１０個の場合、配信サーバ１００は、２個のＦＨＤ及び８個のＨＤのフォーマットで配信してよい。また、ストリーム数が１１個～１３個の場合、配信サーバ１００は、１個のＦＨＤ及び１２個のＨＤのフォーマットで配信してよい。また、ストリーム数が１４個～１６個の場合、配信サーバ１００は、１６個のＨＤのフォーマットで配信してよい。

【0069】

ストリーム生成部１０６は、ストリーム配信部１０８が配信している結合ストリームについて、リアルタイムに画質を調整してもよい。例えば、データ取得部１０２が、通信端末２００から、映像データの数を示す数データを受信する。通信端末２００は、例えば、映像を閲覧しているユーザ４０によって指定された映像エータの数を示す数データを配信サーバ１００に送信する。ストリーム生成部１０６は、データ取得部１０２が通信端末２００から受信した数データに応じて、複数の映像データの画質を調整して、結合データを生成してよい。

【0070】

例えば、まず、ストリーム生成部１０６が、１５人のアイドルグループのグループ全体の映像データ及び音声データと、１５人のそれぞれの映像データ及び音声データについて、映像の画質をＨＤとして結合した結合ストリームを生成し、ストリーム配信部１０８が通信端末２００に配信する。通信端末２００のユーザ４０は、例えば、映像を閲覧している最中に、１５人のうちの４人のメンバを選択し、４を示す数データと、選択した４つの映像データを示すデータとを配信サーバ１００に送信する。ストリーム生成部１０６は、通信端末２００から受信したデータを参照して、４つの映像データと、当該４つの映像データに対応する４つの音声データとについて、映像の画質をＦＨＤとして結合した結合ストリームを生成し、ストリーム配信部１０８が通信端末２００に配信する。これにより、通信端末２００のユーザ４０は、１５人のうち、注目している４人のメンバの映像を、より高い画質で閲覧できるようになる。

【0071】

図９は、配信サーバ１００又は通信端末２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0072】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0073】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0074】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0075】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0076】

プログラムは、ＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0077】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0078】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0079】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0080】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0081】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0082】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0083】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0084】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0085】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0086】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0087】

１０ 配信システム、２０ ネットワーク、５０ 配信サーバ、１００ 配信サーバ、１０２ データ取得部、１０４ データ記憶部、１０６ ストリーム生成部、１０８ ストリーム配信部、２００ 通信端末、２０２ ストリーム受信部、２０４ 記憶部、２０６ 分割部、２０８ 再生部、３００ ストリームＡ、３０２ ストリームＢ、３０４ ストリームＣ、３０６ ストリームＤ、３０８ ストリームＥ、３１０、３１２、３１４、３１６、３１８ 音声データ、３２０ 結合ストリーム、４００ 表示領域、４２０、４２２、４２４、４２６、４２８ 映像オブジェクト、４３０ 配置オブジェクト、４４０ 全体化ボタン、５１０ 対応表、５２０ 対応表、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】