特許 7515223 組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステムとその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-04

(45)【発行日】2024-07-12

(54)【発明の名称】組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステムとその方法

(51)【国際特許分類】

   H04N 21/2365 20110101AFI20240705BHJP

   H04N 21/2665 20110101ALI20240705BHJP

   H04N 21/482 20110101ALI20240705BHJP

【ＦＩ】

H04N21/2365

H04N21/2665

H04N21/482

【請求項の数】 8

(21)【出願番号】P 2023563142

(86)(22)【出願日】2021-12-17

(65)【公表番号】

(43)【公表日】2024-01-31

(86)【国際出願番号】 CN2021139040

(87)【国際公開番号】W WO2022143212

(87)【国際公開日】2022-07-07

【審査請求日】2023-06-27

(31)【優先権主張番号】202011620239.0

(32)【優先日】2020-12-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】523244037

【氏名又は名称】光陣三維科技有限公司

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】陳韋廷

【審査官】富樫 明

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０３３６７０２（ＵＳ，Ａ１）

【文献】特開２００４－１２９００３（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１４４７４６１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法であって、
アレイサーバーが２組の信号源を同時に受信し、複数の第１信号源が出力する各第１ビデオストリーミング及び複数の第２信号源が出力する各第２ビデオストリーミングを備え、
前記アレイサーバーが複数の第１マルチアングルフレームを含む第１マルチソースストリーミングメディア及び複数の第２マルチアングルフレームを含む第２マルチソースストリーミングメディアを生成し、前記第１マルチソースストリーミングメディア及び前記第２マルチソースストリーミングメディアをストリーミングメディアサーバーに伝送し、前記アレイサーバーは各前記第１ビデオストリーミング中から第１シングルアングルフレームをそれぞれ抽出し、各前記第１シングルアングルフレームを前記第１マルチアングルフレームとして組み合わせ、及び各前記第２ビデオストリーミング中から第２シングルアングルフレームをそれぞれ抽出し、各前記第２シングルアングルフレームを前記第２マルチアングルフレームとして組み合わせるステップと、
クライアントを前記ストリーミングメディアサーバーに接続し、前記第１マルチソースストリーミングメディア及び前記第２マルチソースストリーミングメディアを同時に受信するステップと、
前記クライアントがこれら前記第１マルチアングルフレーム中から同じ前記第１信号源により生成された前記第１シングルアングルフレームを持続的に取得し、取得された前記第１シングルアングルフレームを表示し、前記第１ビデオストリーミングを再生するステップと、
前記クライアントは第１切り換え信号が生成された際に、これら前記第１マルチアングルフレーム中から前記第１切り換え信号に対応する他の前記第１信号源により生成された前記第１シングルアングルフレームを持続的に抽出し、抽出された他の前記第１シングルアングルフレームを表示し、他の前記第１ビデオストリーミングを再生するステップと、
前記クライアントは第２切り換え信号が生成された際に、前記第２切り換え信号が対応する前記第２マルチソースストリーミングメディアに含まれる前記第２マルチアングルフレーム中から現在表示中の前記第１シングルアングルフレームが対応する前記第２シングルアングルフレームを持続的に抽出するように改変し、抽出された前記第２シングルアングルフレームを表示するステップと、を少なくとも含むことを特徴とする、
組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法。

【請求項2】

前記方法は、前記第１ビデオストリーミングを再生するステップの後、前記クライアントにおいて一時停止制御信号が生成された後に前記第１切り換え信号が生成された際に、現在表示中の前記第１シングルアングルフレームを含む前記マルチアングルフレーム中から前記第１切り換え信号に対応する他の前記第１シングルアングルフレームを抽出し、抽出された他の前記第１シングルアングルフレームを表示するステップを更に含むことを特徴とする、請求項１に記載の、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法。

【請求項3】

前記第１切り換え信号を生成するステップでは前記クライアントが移動方向に移動距離をスライドするタッチ制御信号を生成し、前記クライアントを、これら前記マルチアングルフレーム中から前記第１切り換え信号に対応する他の前記第１信号源により生成された前記第１シングルアングルフレームを持続的に抽出するように改変するステップは、前記クライアントが現在表示中の前記第１シングルアングルフレームの前記第１信号源が前記移動方向に対応する方向において、前記移動距離に対応する間隔位置に配列されている他の前記第１信号源が出力する他の前記第１シングルアングルフレームを取得及び発信することを特徴とする、請求項１に記載の、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法。

【請求項4】

前記アレイサーバーが各前記第１シングルアングルフレームを前記第１マルチアングルフレームとして組み合わせるステップは、前記アレイサーバーがM*N個のブロックを含む前記第１マルチアングルフレームを生成し、各前記第１信号源のソース識別データに基づいて各前記第１シングルアングルフレームを互いに対応する前記ブロック中にそれぞれ配置することを特徴とする、請求項１に記載の、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法。

【請求項5】

組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステムであって、前記システムは、
複数の第１信号源であって、各前記第１信号は第１ビデオストリーミングを出力するために用いられている複数の第１信号源と、複数の第２信号源であって、各前記第２信号は第２ビデオストリーミングを出力するために用いられている複数の第２信号源と、
ストリーミングメディアサーバーと、各前記第１ビデオストリーミング及び各前記第２ビデオストリーミングを同時に受信し、複数の第１マルチアングルフレームを含む第１マルチソースストリーミングメディア及び複数の第２マルチアングルフレームを含む第２マルチソースストリーミングメディアを生成し、前記第１マルチソースストリーミングメディア及び前記第２マルチソースストリーミングメディアを前記ストリーミングメディアサーバーに伝送するアレイサーバーであって、前記アレイサーバーは各前記第１ビデオストリーミング中から第１シングルアングルフレームをそれぞれ抽出し、各前記第１シングルアングルフレームを前記第１マルチアングルフレームとして組み合わせ、各前記第２ビデオストリーミング中から第２シングルアングルフレームをそれぞれ抽出し、各前記第２シングルアングルフレームを前記第２マルチアングルフレームとして組み合わせるアレイサーバーと、
前記ストリーミングメディアサーバーに接続するために用いられ、前記第１マルチソースストリーミングメディア及び前記第２マルチソースストリーミングメディアを同時に受信し、これら前記第１マルチアングルフレーム中から同じ前記第１信号源により生成された前記第１シングルアングルフレームを持続的に取得し、取得された前記第１シングルアングルフレームを表示し、前記第１ビデオストリーミングを再生し、第１切り換え信号が生成される際に、これら前記第１マルチアングルフレーム中から前記第１切り換え信号に対応する他の前記第１信号源により生成された前記第１シングルアングルフレームを持続的に抽出するように改変し、抽出された他の前記第１シングルアングルフレームを表示し、他の前記第１ビデオストリーミングを再生し、第２切り換え信号が生成された際に、第２切り換え信号が対応する前記第２マルチソースストリーミングメディアに含まれる前記第２マルチアングルフレーム中から現在表示中の前記第１シングルアングルフレームに対応する前記第２シングルアングルフレームを持続的に抽出すうるように改変し、抽出された前記第２シングルアングルフレームを表示するクライアントと、を少なくとも備えていることを特徴とする、
組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステム。

【請求項6】

前記クライアントは、一時停止制御信号が生成された後に前記第１切り換え信号が生成された際に、現在表示中の前記第１シングルアングルフレームを抽出した前記マルチアングルフレーム中から前記第１切り換え信号に対応する他の前記第１シングルアングルフレームを抽出し、抽出された他の前記シングルアングルフレームを表示するために更に用いられていることを特徴とする、請求項５に記載の、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステム。

【請求項7】

前記クライアントは、移動方向に移動距離をスライドするタッチ制御信号が生成された際に前記第１切り換え信号が生成されたと判断し、現在表示中の前記第１シングルアングルフレームの前記第１信号源が前記移動方向に対応する方向において前記移動距離に対応する間隔位置に配列されている他の前記第１信号源が出力する他の前記第１シングルアングルフレームを取得及び発信することを特徴とする、請求項５に記載の、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステム。

【請求項8】

各前記第１マルチアングルフレームはM*N個ブロックを含み、前記アレイサーバーは各前記第１信号源のソース識別データに基づいて各前記第１シングルアングルフレームを互いに対応する前記ブロック中にそれぞれ配置して前記第１マルチアングルフレームを生成することを特徴とする、請求項５に記載の、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストリーミング再生システムおよびその方法に関し、更に詳しくは、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステムとその方法に関する。

【背景技術】

【0002】

ストリーミングメディア（Ｓｔｒｅａｍｉｎｇ ｍｅｄｉａ）とは、一連のフレームを含むマルチメディアファイルを圧縮した後、圧縮されたマルチメディアファイルを分割してインターネットを介して伝送することで、マルチメディアファイルのコンテンツを鑑賞するためにリアルタイムに提供する技術を指す。この技術によりマルチメディアファイルのパケットをパッケージ化して流水のようにサーバー端から受信端に伝送し、受信端がマルチメディアファイルをダウンロードすると同時にダウンロードしたコンテンツを再生するため、完全なマルチメディアファイルを予めダウンロードする必要がなかった。

【0003】

現在、ストリーミングメディアを使用する１種の応用としてインターネットのライブ配信がある。ライブ配信主またはライブ配信ユニットが映像音声信号をストリーミングメディアサーバーに伝送し、クライアント端がストリーミングメディアサーバーから伝送された映像音声信号を含むビデオストリーミング（ストリーミングメディア）を受信することで、ライブ配信主やライブ配信ユニットがライブ配信を行っている画面を再生する。ライブ配信ユニットが異なるアングルから見たライブ配信の現場画面を提供する場合、ライブ配信ユニットは複数の映像音声信号をストリーミングメディアサーバーに伝送し、ストリーミングメディアサーバーはユーザーが見たいアングルのビデオストリーミングをクライアント端に伝送する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

事実上、ビデオストリーミングを大量の異なるクライアント端に伝送するとストリーミングメディアサーバーが負荷可能な上限に近付くため、ストリーミングメディアサーバーは通常異なるアングルのビデオストリーミングを同じクライアント端に同時に提供することはない。このため、クライアント端のユーザーはアングルを切り換える場合、アングル切り換えリクエストをストリーミングメディアサーバーに送信し、ストリーミングメディアサーバーが受信したアングル切り換えリクエストに基づいて対応するアングルに変更した後のビデオストリーミングをクライアント端に伝送する。しかしながら、ストリーミングメディアサーバーの負荷上限に近付くと、ストリーミングメディアサーバーが受信不能になったり、クライアント端が送信したアングル切り換えリクエストをリアルタイムに処理できなくなり、アングル変更後のビデオストリーミングが遅れてしまいクライアント端に伝送できなくなった。また、クライアント端がアングル変更後のビデオストリーミングを受信しても、受信したビデオストリーミングに含まれるフレーム数（即ち、再生可能な時間）が既定値に達する前には、クライアント端はアングル変更後のビデオストリーミングの再生を開始できず、クライアント端が再生した画面が停止し、クライアント端のユーザーがライブ配信画面を一定時間見れなくなることがあった。

【0005】

以上を総合すると、既知の従来の技術には、ライブ配信を鑑賞する際に、アングルを切り換えるために反応時間が必要であるという問題が長年存在している。よって、改善した技術的手段を提供してこの問題を解決する必要があった。

【0006】

本発明は、従来技術に存在するライブ配信を鑑賞する際にアングルの切り換えに反応時間が必要であるという問題に鑑みて本発明者の鋭意研究により成されたものであり、その目的は、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステムとその方法を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の開示された組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステムは、第１ビデオストリーミングをそれぞれ出力する複数の第１信号源と、ストリーミングメディアサーバーと、各第１ビデオストリーミングを受信するために用いられ、各第１ビデオストリーミング中から各第１シングルアングルフレームをそれぞれ持続的に抽出し、抽出した全ての第１シングルアングルフレームを第１マルチアングルフレームとして組み合わせ、第１マルチアングルフレームを第１マルチソースストリーミングメディアによりストリーミングメディアサーバーに伝送するアレイサーバーと、ストリーミングメディアサーバーに接続するために用いられ、第１マルチソースストリーミングメディアを受信し、第１マルチアングルフレーム中から同じ第１信号源により生成された第１シングルアングルフレームを持続的に取得し、取得した第１シングルアングルフレームを表示し、第１ビデオストリーミングを再生し、第１切り換え信号が生成された際に、第１マルチアングルフレーム中から第１切り換え信号に対応する他の第１信号源により生成された第１シングルアングルフレームを持続的に抽出するために用いられるように改変され、抽出した他の第１シングルアングルフレームを表示し、他の第１ビデオストリーミングを再生するクライアント端と、を少なくとも備えている。

【0008】

また、上記目的を達成するために、本発明の開示された組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法は、そのステップとして、アレイサーバーが複数の第１信号源が出力する第１ビデオストリーミングを受信するステップと、アレイサーバーが各第１ビデオストリーミング中から各第１シングルアングルフレームをそれぞれ持続的に抽出し、抽出した全ての第１シングルアングルフレームを第１マルチアングルフレームとして組み合わせ、各第１マルチアングルフレームを第１マルチソースストリーミングメディアによりストリーミングメディアサーバーに伝送するステップと、クライアント端がストリーミングメディアサーバーに接続され、且つ第１マルチソースストリーミングメディアを受信するステップと、クライアント端が第１マルチアングルフレーム中から同じ第１信号源により生成された第１シングルアングルフレームを持続的に取得し、取得した第１シングルアングルフレームを表示し、第１ビデオストリーミングを再生するステップと、クライアント端は第１切り換え信号が生成された際に、第１マルチアングルフレーム中から第１切り換え信号に対応する他の第１信号源により生成された第１シングルアングルフレームを持続的に抽出するように改変され、抽出した他の第１シングルアングルフレームを表示し、他の第１ビデオストリーミングを再生するステップと、を少なくとも含む。

【発明の効果】

【0009】

本発明が開示する上述のシステム及び方法は、従来技術との相違点について、本発明ではアレイサーバーを利用して複数の信号源が出力するビデオストリーミングを、全てのビデオストリーミングを含むマルチソースストリーミングメディアとして組み合わせると共に、組み合わせて生成したマルチソースストリーミングメディアをストリーミングメディアサーバーに伝送し、ストリーミングメディアサーバーがマルチソースストリーミングメディアをクライアント端に提供し、クライアント端は受信したマルチソースストリーミングメディア中から再生したいビデオストリーミングを抽出する。こうすることで、従来技術に存在する問題を解決し、ライブ配信のサーバーの負荷を軽減する技術的効果を達成する。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステムを示す構成図である。

【図2】本発明の一実施形態によるＭ×Ｎブロックを示す概略図である。

【図3】本発明の一実施形態に係る組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法を示すフローチャートである。

【図4】本発明の一実施形態に係る操作インターフェースを示す概略図である。

【図5】本発明の一実施形態に係る信号源の配置を示す概略図である。

【図6】本発明の他の実施形態に係る組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法を示すフローチャートである。

【図7】本発明の他の実施形態に係る信号源の配置を示す概略図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

【0012】

本発明は従来のストリーミングサービスの枠組みを改変せずに、アレイサーバーにより複数の信号源が発信するビデオストリーミングを、解像度が高く且つ全てのビデオストリーミングを含む他のマルチソースストリーミングメディアとして組み合わせ、マルチソースストリーミングメディアを既存のストリーミングメディアサーバーに伝送し、クライアント端がストリーミングメディアサーバーからマルチソースストリーミングメディアを取得すると共にマルチソースストリーミングメディア中から特定の信号源が発信するビデオストリーミングを抽出して再生し、ユーザーの操作に基づいてマルチソースストリーミングメディア中から他のビデオストリーミングを抽出して再生する。このようすることで、ユーザーが異なるアングルの他のビデオストリーミングを表示して鑑賞するように高速に切り換えることができる。アレイサーバー、ストリーミングメディアサーバー、及びクライアント端は計算機でもよい。

【0013】

本発明に係る計算機は１つまたは複数の処理モジュールと、１本または複数本のメモリーモジュールと、異なるハードウェア（メモリーモジュール及び処理モジュールを含む）に接続されているバス等のハードウェアと、を含むが、本発明はこれらに限られない。含まれる複数のハードウェア、計算機を利用してオペレーティングシステムをロードすると共に実行し、計算機上でオペレーティングシステムを運用してもよく、ソフトウェアやプログラムを実行してもよい。また、計算機は１つのハウジングを備え、上述の各ハードウェアはハウジング内に設置されている。

【0014】

本発明に係る計算機のバスは１種類または複数種類のタイプを含んでもよく、例えば、データバス（ｄａｔａ ｂｕｓ）、アドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）、拡張バス（ｅｘｐａｎｓｉｏｎ ｂｕｓ）、及び／またはローカルバス（ｌｏｃａｌ ｂｕｓ）等のタイプのバスを含む。計算機のバスは、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ， ＩＳＡ）バス、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ， ＰＣＩ）バス、ＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ， ＶＥＳＡ）ローカルバス、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ， ＵＳＢ）、ＰＣＩｅ（ＰＣＩ Ｅｘｐｒｅｓｓ， ＰＣＩ－Ｅ／ＰＣＩｅ）バス等を含むが、本発明はこれらに限定されない。

【0015】

本発明に係る計算機の処理モジュールはバスに結合されている。処理モジュールはレジスタ（Ｒｅｇｉｓｔｅｒ）グループまたはレジスタスペースを備え、レジスタグループまたはレジスタスペースは処理モジュールの処理チップに完全に設置されてもよく、或いは処理チップの外に全部または部分的に設置されると共に、専用の電気的接続及び／またはバスを介して処理チップに結合されてもよい。処理モジュールは中央処理装置、マイクロプロセッサ、或いは適合するあらゆる処理装置でもよい。計算機が複数の処理装置である場合、すなわち、計算機が複数の処理モジュールを備え、計算機が備えている処理モジュールは全て同じまたは類似しており、且つバスを利用して結合及び通信を行う。処理モジュールは１つのコンピューター命令または一連の複数のコンピューター命令により特定の演算や操作を行ってもよく、例えば、数学的演算、論理演算、データの比較、データの複製／移動等を行ってもよい。こうすることで、計算機中の他のハードウェアを駆動し、或いはオペレーティングシステムを実行し、もしくは各種プログラム及び／またはモジュールを実行する。

【0016】

計算機中には通常１つまたは複数のチップセット（Ｃｈｉｐｓｅｔ）を備えてもよい。計算機の処理モジュールはチップセットに結合されるか、バスを介してチップセットに電気的に接続されてもよい。チップセットは１つまたは複数の集積回路（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ， ＩＣ）で構成され、メモリーコントローラ及び周辺の入出力（Ｉ／Ｏ）コントローラ等を含み、すなわち、メモリーコントローラ及び周辺の入出力コントローラは１つの集積回路内に含まれてもよく、２つまたはより多くの集積回路を使用して実現してもよい。チップセットは通常入出力及びメモリー管理機能、及び複数の共有及び／または専用レジスタ、タイマー等を提供する。上述する共有及び／または専用のレジスタ及びタイマーはチップセットの１つまたは複数の処理モジュールにアクセスまたは使用するように結合されるか電気的に接続されてもよい。

【0017】

計算機の処理モジュールはメモリーコントローラを利用して計算機に装設されているメモリーモジュール及び大容量ストレージエリア中にあるデータにアクセスしてもよい。上述するメモリーモジュールはあらゆるタイプの揮発性メモリー（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）及び／または不揮発性（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ， ＮＶＲＡＭ）メモリーを含み、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ， ＳＲＡＭ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ， ＤＲＡＭ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ， ＲＯＭ）、フラッシュメモリー（Ｆｌａｓｈ ｍｅｍｏｒｙ）等を含む。上述した大容量ストレージエリアはあらゆるタイプの保存装置や保存メディアを含み、例えば、ハードディスク、光ディスク（ｏｐｔｉｃａｌ ｄｉｓｃ）、フラッシュドライブ（ｆｌａｓｈ ｄｒｉｖｅ）、メモリーカード（ｍｅｍｏｒｙ ｃａｒｄ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ， ＳＳＤ）、或いはあらゆる他の保存装置等を含む。すなわち、メモリーコントローラはＳＲＡＭ、ＤＲＡＭ、フラッシュメモリー、ハードディスク、ＳＳＤ中のデータにアクセス可能である。

【0018】

計算機の処理モジュールは周辺の入出力コントローラを利用して周辺の入出力バスにより周辺の出力装置、周辺の入力装置、通信インターフェース、及びＧＰＳ受信機等の周辺機器やインターフェースに接続すると共に通信を行ってもよい。周辺の入力装置はあらゆるタイプの入力装置でもよく、例えば、キーボード、マウス、トラックボール、タッチコントロールパネル、ジョイスティック等でもよい。周辺の出力装置はあらゆるタイプの出力装置でもよく、例えば、ディスプレイ、プリンター等でもよい。周辺の入力装置と周辺の出力装置とは同じ装置でもよく、例えば、タッチスクリーン等でもよい。通信インターフェースはワイヤレス通信インターフェース及び／または有線通信インターフェースを含んでもよく、ワイヤレス通信インターフェースは、ワイヤレスローカルエリアネットワーク（例えば、Ｗｉ－Ｆｉ（登録商標）、Ｚｉｇｂｅｅ（登録商標）等）、ブルートゥース（登録商標）、赤外線、近距離無線通信（Ｎｅａｒ－ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ， ＮＦＣ）、３Ｇ／４Ｇ／５Ｇ等の移動体通信ネットワーク（セルラーネットワーク）や他のワイヤレスデータ伝送プロトコルをサポートするインターフェースを含んでもよい。有線通信インターフェースはイーサネット装置、ＤＳＬモデム、ケーブル（Ｃａｂｌｅ）モデム、非同期転送モード（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ， ＡＴＭ）装置、或いは光ファイバー通信インターフェース及び／または部材等でもよい。処理モジュールは各種周辺機器及びインターフェースに周期的にポーリング（ｐｏｌｌｉｎｇ）し、計算機が各種周辺機器及びインターフェースを利用してデータの入出力を行うことが可能であり、上述したハードウェアの他の計算機を有して通信を行うこともできる。

【0019】

以下、まず、図１の本発明に係る組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生するシステムの構成図を例に挙げて本発明のシステムの動作について説明する。図１に示す如く、本発明のシステムは、第１信号源１１０と、アレイサーバー１５１と、ストリーミングメディアサーバー１５３と、クライアント端１６０と、付加可能な第２信号源１３０と、を含んで構成されている。第１信号源１１０、第２信号源１３０、及びストリーミングメディアサーバー１５３は物理的な接続ケーブルまたはワイヤレス通信方式でアレイサーバー１５１に接続され、且つストリーミングメディアサーバー１５３とクライアント端１６０との間はワイヤレスネットワークを介して接続されているが、本発明はこれに限定されるものではない。

【0020】

第１信号源１１０は第１ビデオストリーミングを出力するために用いられ、第２信号源１３０は第２ビデオストリーミングを出力する。一般的には、本発明において、信号源（第１信号源１１０、第２信号源１３０）が出力するビデオストリーミング（第１ビデオストリーミング、第２ビデオストリーミング）は通常、信号源自身が生成し、例えば、信号源が外部のイメージを持続的にキャプチャして連続的なフレーム（ｆｒａｍｅ）を生成し、生成されたフレームは生成順序に基づいてビデオストリーミングとして順次出力されるが、本発明はこれに限定されるものではない。

【0021】

一般的には、信号源はイメージ及び音声をキャプチャすると共にキャプチャしたイメージ及び音声を映像音声信号に変換して出力する計算機でもよく、例えば、ビデオカメラ等でもよいが、本発明はこれに限定されず、一例を挙げると、信号源は映像音声ファイルを保存すると共に保存した映像音声ファイルをアレイサーバー１５１に伝送する計算機でもよい。信号源は従来の各種プロトコルを使用して映像音声信号／映像音声ファイルをアレイサーバー１５１に伝送してもよく、例えば、Ｎｅｔｗｏｒｋ Ｄｅｖｉｃｅ Ｉｎｔｅｒｆａｃｅ（ＮＤＩ）プロトコルを使用してもよいが、本発明はこれに限定されるものではない。

【0022】

ちなみに、本発明において、２つまたは２つ以上の第１信号源１１０を備えてもよく、２つまたは２つ以上の第２信号源１３０を備えてもよい。一般的には、第２信号源１３０の数量は通常第１信号源１１０の数量と同じであり、異なる各第１信号源１１０は異なる第２信号源１３０に対応してもよく、即ち、第１信号源１１０と第２信号源１３０とが１対１の対応関係であってもよい。

【0023】

アレイサーバー１５１は第１信号源１１０が出力する第１ビデオストリーミングを受信するために用いられ、且つ受信した各第１ビデオストリーミング中から異なる１つの第１シングルアングルフレームをそれぞれ抽出し、異なる第１ビデオストリーミングから抽出した各第１シングルアングルフレームを１つの第１マルチアングルフレームとして組み合わせるために用いられている。

【0024】

より詳しくは、アレイサーバー１５１はまず図２に示すＭ＊Ｎ個のブロックのマルチアングルフレーム２００を生成し、マルチアングルフレーム２００中のブロックの数量は第１信号源１１０の数量以上である。Ｍ及びＮは１より大きい。大部分の実施例において、Ｍ及びＮは同じ数値であり、且つ２のべき乗であるが、本発明はこれに限定されず、すなわち、Ｍ及びＮは２、４等の数値以外、３や５等でもよく、且つＭ及びＮは必ずしも同じである必要はない。

【0025】

アレイサーバー１５１は第１信号源１１０のソース識別データに基づいて取得した各第１シングルアングルフレームとマルチアングルフレーム２００中の各ブロックとの対応関係を定義し、取得した各第１シングルアングルフレームをマルチアングルフレーム２００中の対応するブロック中に配置して第１マルチアングルフレームを生成する。ソース識別データは特定の信号源を表示するデータでもよく、通常は特定の数量の文字、字母、数字、符号を特定の方式で配列することで形成され、例えば、信号源が使用するネットワークアドレス、信号源が接続されているインターフェースの番号、信号源の製品のシリアル番号、信号源に予め設定された特定のデータ等であるが、本発明はこれらに限定されるものではない。

【0026】

一例を挙げると、アレイサーバー１５１は各信号源（第１信号源１１０）のソース識別データに基づいて各信号源を配列し、配列後の信号源により生成されたフレーム（第１シングルアングルフレーム）を、左から右並びに上から下の順序で各第１シングルアングルフレームとマルチアングルフレーム２００中の各ブロックとの対応関係を順次定義する。例えば、いくつかの実施形態では、４個の第１信号源（１１１～１１４）が存在し、アレイサーバー１５１が２＊２個のブロック（左上、左下、右上、右下の位置に配列する）を定義し、且つ第１信号源（１１１～１１４）のソース識別データに基づいて配列した各第１信号源の順序を第１信号源１１４、第１信号源１１３、第１信号源１１２、第１信号源１１１とし、第１信号源１１４により生成された第１シングルアングルフレームは左上隅に位置しているブロックに対応し、第１信号源１１３により生成された第１シングルアングルフレームは右上隅に位置しているブロックに対応し、第１信号源１１２により生成された第１シングルアングルフレームは左下隅に位置しているブロックに対応し、第１信号源１１１により生成された第１シングルアングルフレームは右下隅に位置しているブロックに対応する。

【0027】

いくつかの実施形態では、第１シングルアングルフレームの解像度がマルチアングルフレーム２００中のブロックの解像度と異なる場合、アレイサーバー１５１は第１シングルアングルフレームの解像度を調整（拡大または縮小）し、第１シングルアングルフレームの解像度をマルチアングルフレーム２００中のブロックの解像度と同じにしてもよい。

【0028】

事実上、アレイサーバー１５１は１回につき１つの第１マルチアングルフレームを生成する動作を実行するのみならず、上述した動作を持続的に不断で重複して実行してもよく、こうすることで、一連の第１マルチアングルフレームを生成する。すなわち、アレイサーバー１５１は１つの第１マルチアングルフレームを生成した後、異なる信号源から受信した各第１ビデオストリーミング中から他の異なる第１シングルアングルフレーム（通常は従来の抽出した第１シングルアングルフレームの後に配列されると共に従来の抽出した第１シングルアングルフレームに隣接する他の第１シングルアングルフレーム）を継続的に抽出し、且つ再度抽出した他の異なる第１シングルアングルフレームを他の異なる第１マルチアングルフレームとして組み合わせ、あらゆる信号源が伝送した第１ビデオストリーミングを受信しなくなるまでこのように不断で重複して実行してもよい。

【0029】

アレイサーバー１５１は第１マルチソースストリーミングメディアを生成するためにも用いられている。アレイサーバー１５１により生成された第１マルチソースストリーミングメディア中にはアレイサーバー１５１により生成された第１マルチアングルフレームを含み、且つ第１マルチソースストリーミングメディア中の各第１マルチアングルフレームはアレイサーバー１５１の生成順序に基づいて配列されている。

【0030】

アレイサーバー１５１は生成された第１マルチソースストリーミングメディアをストリーミングメディアサーバー１５３に伝送するためにも用いられている。一般的には、アレイサーバー１５１はＲＴＭＰ（Ｒｅａｌ－Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ， ＲＴＭＰ）を使用して第１マルチソースストリーミングメディアをストリーミングメディアサーバー１５３に伝送するが、本発明はこれに限定されるものではなく、ビデオストリーミングを伝送する方式は全てアレイサーバー１５１とストリーミングメディアサーバー１５３との間で使用可能である。アレイサーバー１５１は通常、１つのマルチアングルフレームが生成される度に、生成されたマルチアングルフレームをストリーミングメディアサーバー１５３に伝送する。

【0031】

アレイサーバー１５１は上述したように、第１マルチソースストリーミングメディアを生成する過程において、全ての第２信号源１３０が出力する第２ビデオストリーミングにより第２マルチソースストリーミングメディアを構成し、生成された第２マルチソースストリーミングメディアをストリーミングメディアサーバー１５３に伝送してもよい。すなわち、アレイサーバー１５１は各第２信号源１３０が出力する第２マルチソースストリーミングメディアを受信し、各第２マルチソースストリーミングメディア中から１つの第２シングルアングルフレームをそれぞれ持続的に抽出し、抽出した全ての第２シングルアングルフレームを１つの第２マルチアングルフレームとして持続的に組み合わせ、順次生成される第２マルチアングルフレームを含む第２マルチソースストリーミングメディアを生成してもよい。

【0032】

ストリーミングメディアサーバー１５３はアレイサーバー１５１が生成した第１マルチソースストリーミングメディアを受信してもよい。アレイサーバー１５１が第２マルチソースストリーミングメディアも生成する場合、ストリーミングメディアサーバー１５３はアレイサーバー１５１が生成した第２マルチソースストリーミングメディアを受信してもよい。

【0033】

ストリーミングメディアサーバー１５３はクライアント端１６０に接続するために用いられ、第１マルチソースストリーミングメディアをリクエストしているクライアント端１６０に第１マルチソースストリーミングメディアを提供する。いくつかの実施形態では、ストリーミングメディアサーバー１５３が第１マルチソースストリーミングメディアをリクエストするクライアント端１６０に第２マルチソースストリーミングメディア及び第１マルチソースストリーミングメディアを一緒に提供してもよい。

【0034】

クライアント端１６０は通常携帯電話、タブレット端末等のユーザーが携帯するのに便利な装置であるが、本発明はこれらに限定されるものではない。

【0035】

クライアント端１６０はストリーミングメディアサーバー１５３に接続するために用いられ、ストリーミングメディアサーバー１５３に対し第１マルチソースストリーミングメディアをリクエストすることで、ストリーミングメディアサーバー１５３が提供した第１マルチソースストリーミングメディアを受信する。クライアント端１６０は第１マルチソースストリーミングメディアを受信する際に、ストリーミングメディアサーバー１５３からの第２マルチソースストリーミングメディアを一緒に受信してもよい。クライアント端１６０はＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇの伝送プロトコル（ＨＬＳ）を使用して第１マルチソースストリーミングメディア及び第２マルチソースストリーミングメディアを受信してもよく、ただし、本発明はこれに限定されるものではなく、映像音声信号を伝送可能な伝送方式であれば全てストリーミングメディアサーバー１５３とクライアント端１６０との間で使用可能である。

【0036】

クライアント端１６０は第１マルチソースストリーミングメディア中から１つの第１マルチアングルフレームを抽出し、抽出した第１マルチアングルフレーム中から１つの第１シングルアングルフレームを取得し、取得した第１シングルアングルフレームを表示してもよい。実務上、クライアント端１６０は第１マルチソースストリーミングメディアに含まれる各第１マルチアングルフレームの順序に基づいて、第１マルチソースストリーミングメディア中の各第１マルチアングルフレームから同じ位置（同じブロック）にある第１シングルアングルフレームを持続的に抽出すると共に抽出した第１シングルアングルフレームを順次表示し、抽出した第１シングルアングルフレームを含む第１ビデオストリーミングを再生してもよい。本発明において、クライアント端１６０は既定値に基づいて対応する位置（ブロック）にある第１シングルアングルフレームを抽出し、既定値は特定の隅（例えば、左上隅や右上隅）にあるブロックに対応し、中央に位置しているブロックに対応し、或いは総ブロック数の半分に配列されているブロック（例えば、１６個のブロックがある場合、８個目の位置に配列されているブロック）に対応する等であるが、本発明はこれらに限定されるものではない。

【0037】

また、クライアント端１６０が第１マルチソースストリーミングメディア中から第１マルチアングルフレームを持続的に抽出すると共に第１マルチアングルフレームから第１シングルアングルフレームを取得して再生すると同時に、クライアント端１６０のユーザーがクライアント端１６０に対し行った特定の操作に追随して第１切り換え信号または第２切り換え信号或いは一時停止制御信号が生成される。第１切り換え信号／第２切り換え信号は、クライアント端１６０のユーザーが図４に示すようにクライアント端１６０のタッチスクリーン４００のメイン表示エリア４１０上で移動方向に向けて一定の移動距離スライドすることで生成されたタッチ制御信号であり、ユーザーがクライアント端１６０を移動方向または角度に向けて回転することで生成された回転信号でもよいが、第１切り換え信号／第２切り換え信号を生成する特定の操作は上述のものに限定されない。一時停止制御信号はユーザーがメイン表示エリア４１０上で１回または２回押すことで生成されたタッチ制御信号であるが、本発明はこれに限定されるものではない。

【0038】

クライアント端１６０は第１切り換え信号が生成された際に、第１マルチソースストリーミングメディアが抽出した第１マルチアングルフレーム中から第１切り換え信号に対応する他の異なる第１シングルアングルフレームを取得し、取得した他の第１シングルアングルフレームを表示し、第１切り換え信号に対応する第１シングルアングルフレームを含む他の異なる第１ビデオストリーミング（本発明では、第１切り換え信号に対応する第１ビデオストリーミングを表示する）を再生してもよい。

【0039】

いくつかの実施形態では、全ての第１信号源１１０が一定の順序で配列されている場合、クライアント端１６０は第１切り換え信号が表示する移動方向に対応する方向に基づいて、第１マルチアングルフレーム中から現在表示中の第１シングルアングルフレームを出力する第１信号源１１０と一定間隔を置いて配列されている他の第１信号源１１０が出力する第１シングルアングルフレームを取得してもよい。

【0040】

例えば、現在表示中の第１シングルアングルフレームに対応するブロックが９個目の位置に配列されているブロック２３１であり（図２参照）、第１マルチアングルフレーム中の各ブロックの配列順序が左から右並びに上から下である場合（すなわち、２個の隣接するブロック中で、左／上にあるブロックの配列順序が右／下にあるブロックよりも先にある）、第１切り換え信号が左に向けてスライドするタッチ制御信号であれば、第１切り換え信号は８個目の位置に配列されているブロック２２４に対応し、クライアント端１６０は第１マルチアングルフレーム中からブロック２２４中に配置されている第１シングルアングルフレームを持続的に取得するように改変し、第１切り換え信号が右に向けてスライドするタッチ制御信号であれば、第１切り換え信号は１０個目の位置に配列されているブロック２３２に対応し、クライアント端１６０は第１マルチアングルフレーム中からブロック２３２中に配置されている第１シングルアングルフレームを持続的に取得するように改変する。同様に、現在表示中の第１シングルアングルフレームが８個目の位置に配列されているブロック２２４に対応する場合、第１切り換え信号が左に向けてスライドするタッチ制御信号であれば、第１切り換え信号は７個目の位置に配列されているブロック２２３に対応し、クライアント端１６０は第１マルチアングルフレーム中からブロック２２３中に配置されている第１シングルアングルフレームを持続的に取得するように改変し、第１切り換え信号が右に向けてスライドするタッチ制御信号であれば、第１切り換え信号は９個目の位置に配列されているブロック２３１に対応し、クライアント端１６０は第１マルチアングルフレーム中からブロック２３１中に配置されている第１シングルアングルフレームを持続的に取得するように改変する。

【0041】

なお、例えば、第１切り換え信号が対応するブロックは第１切り換え信号が表示する移動方向及び移動距離に関連し、すなわち、仮に現在表示中の第１シングルアングルフレームに対応するブロックが９個目の位置に配列されているブロック２３１であり、複数の異なる長さの値の距離閾値が存在している場合、第１切り換え信号が左に向けてスライドするタッチ制御信号であれば、第１切り換え信号の移動距離が第１距離閾値に適合しない場合、第１切り換え信号は１個前の位置（８個目）に配列されているブロック２２４に対応し、第１切り換え信号の移動距離が第１距離閾値にのみ適合する場合、第１切り換え信号は２個前の位置（７個目）に配列されているブロック２２３に対応し、第１切り換え信号の移動距離が第１距離閾値及び第２距離閾値に適合する場合、第１切り換え信号は３個前の位置（６個目）に配列されているブロック２２２に対応し、以降同様に推移する。同様に、第１切り換え信号が右に向けてスライドするタッチ制御信号であれば、第１切り換え信号の移動距離が第１距離閾値に適合しない場合、第１切り換え信号は１個後の位置（１０個目）に配列されているブロック２３２に対応し、第１切り換え信号の移動距離が第１距離閾値にのみ適合する場合、第１切り換え信号は２個後の位置（１１個目）に配列されているブロック２３３に対応し、第１切り換え信号の移動距離が第１距離閾値及び第２距離閾値に適合する場合、第１切り換え信号は３個後の位置（１２個目）に配列されているブロック２３４に対応し、以降同様に推移する。

【0042】

クライアント端１６０は一時停止制御信号が生成される際に、第１マルチソースストリーミングメディア中からの第１マルチアングルフレームの抽出を一時停止し、第１マルチアングルフレーム中からの第１シングルアングルフレームの取得を一時停止してもよく、或いは第１マルチアングルフレーム中から取得した第１シングルアングルフレームを表示しなくてもよい。例えば、一時停止制御信号が生成される前に最後に取得した第１シングルアングルフレームを持続的に表示し、第１ビデオストリーミングの再生を一時停止してもよい。クライアント端１６０は一時停止制御信号が生成された後、再生制御信号が生成される前に、第１切り換え制御信号が生成された際に、現在表示中の第１シングルアングルフレームを含むマルチアングルフレーム中から第１切り換え信号に対応する他の異なる第１シングルアングルフレームを抽出し、抽出した他のシングルアングルフレームを表示してもよい。クライアント端１６０は同様に上述する方式により、第１切り換え制御信号が表示する移動方向または移動方向及び移動距離に基づいて現在表示中の第１シングルアングルフレームから抽出したマルチアングルフレーム中から異なる第１シングルアングルフレームを抽出するように選択してもよい。クライアント端１６０は一時停止制御信号が生成された後、再生制御信号が生成された際に、既定値に基づいて現在受信した第１マルチソースストリーミングメディア中から抽出した第１マルチアングルフレームを継続表示するように選択し、或いは、一時停止制御信号が生成された後に受信した第１マルチソースストリーミングメディア中から抽出した第１マルチアングルフレームの表示を開始するように選択してもよいが、本発明は特に限定されるものではない。

【0043】

クライアント端１６０は第１切り換え信号が生成された後、生成された第１切り換え信号が対応するブロックに対応するように既定値を設定してもよい。このようにすることで、クライアント端１６０が第１マルチソースストリーミングメディアから抽出した第１マルチアングルフレーム中から第１シングルアングルフレームを継続的に取得する場合、第１切り換え信号に対応するブロック中から第１シングルアングルフレームを取得し、すなわち、第１マルチアングルフレーム中の同じ位置に位置しているブロックから第１シングルアングルフレームを持続的に取得する。

【0044】

クライアント端１６０は第２切り換え信号が生成された際に、第２マルチソースストリーミングメディアから抽出された第２マルチアングルフレーム中から現在表示中の第１シングルアングルフレームに対応する第２シングルアングルフレームを持続的に取得するように改変し、取得した第２シングルアングルフレームを表示し、第２シングルアングルフレームを含む第２ビデオストリーミング（本発明の第２切り換え信号に対応する第２ビデオストリーミングを表示してもよい）を再生してもよい。一般的には、現在表示中の第１シングルアングルフレームに対応する第２シングルアングルフレームは、第２マルチアングルフレームにおける位置が第１マルチアングルフレームにおいて現在表示中の第１シングルアングルフレームに対応するブロックの位置と同じ（配列順序が同じ）であるブロックに対応する第２シングルアングルフレームである。例えば、現在表示中の第１シングルアングルフレームに対応するブロックが第１マルチアングルフレーム中の９個目の位置に配列されている場合、現在表示中の第１シングルアングルフレームに対応する第２シングルアングルフレームが対応するブロックは、第２マルチアングルフレームの９個目の位置に配列されている。

【0045】

本発明において、１組の第２信号源１３０のみならず、複数組の第２信号源１３０を有する場合、第２切り換え信号が表示する移動距離により、第２切り換え信号が異なる組の第２信号源１３０に対応する。例えば、第１信号源１１０の平面上方に設置されている２組の第２信号源１３０を有する場合、クライアント端１６０は１つの距離閾値を有し、第２切り換え信号が表示する移動距離が距離閾値を超過していない場合、第２切り換え信号は第１信号源１１０との距離が近い１組の第２信号源１３０に対応し、第２切り換え信号が表示する移動距離が距離閾値を超過している場合、第２切り換え信号は第１信号源１１０との距離が遠い他の１組の第２信号源１３０に対応する。

【0046】

次は、第１実施例を例に挙げて本発明の動作システム及び方法を説明し、図３の本発明に係る組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法のフローチャートを参照する。本実施例では、仮に第１信号源１１０がビデオカメラであり、第１信号源１１０が計１６個あるが、本発明はこれに限定されるものではない。

【0047】

まず、本発明に係るストリーミングサービスを使用する前に、まず、第１信号源１１０を架設する必要がある。本実施例では、仮に第１信号源（１１１～１２６）が舞台の周囲に架設され、第１信号源（１１１～１２６）が１つの円形（または弧形）の軌跡で同じ水平面に架設されている場合、図５に示す如く、第１信号源（１１１～１２６）のネットワークアドレスがそれぞれ１７２．０．０．１～１６であり、第１信号源（１１１～１２６）がネットワークアドレスの順序に基づいて小から大の順に配列され、すなわち、ネットワークアドレスが１７２．０．０．１である第１信号源１１１は、ネットワークアドレスが１７２．０．０．２である第１信号源１１２及び１７２．０．０．１６である第１信号源１２６に隣接し、ネットワークアドレスが１７２．０．０．２である第１信号源１１２は、ネットワークアドレスが１７２．０．０．１である第１信号源１１１及び１７２．０．０．３である第１信号源１１３に隣接し、…、ネットワークアドレスが１７２．０．０．１５である第１信号源１２５は、ネットワークアドレスが１７２．０．０．１４である第１信号源１２４及び１７２．０．０．１６である第１信号源１２６に隣接し、ネットワークアドレスが１７２．０．０．１６である第１信号源１２６は、ネットワークアドレスが１７２．０．０．１５である第１信号源１２５及び１７２．０．０．１である第１信号源１１１に隣接する。

【0048】

第１信号源１１０の架設が完了した後、第１信号源１１０は舞台上のイメージの撮影を開始し、撮影したイメージをビデオストリーミング（ストリーミングメディア）方式でアレイサーバー１５１に伝送する。本実施例では、仮に第１信号源（１１１～１２６）により生成された第１ビデオストリーミングの解像度が９６０＊５４０であり、第１信号源（１１１～１２６）はＮＤＩプロトコルを利用して第１ビデオストリーミングをアレイサーバー１５１に伝送する。

【0049】

アレイサーバー１５１が第１信号源１１０から伝送された第１ビデオストリーミングを受信（ステップ３１０）した後、アレイサーバー１５１は各第１ビデオストリーミング中から異なる１つの第１シングルアングルフレームをそれぞれ持続的に抽出し、アレイサーバー１５１は毎回各第１ビデオストリーミングから抽出した異なる各第１シングルアングルフレームを１つの第１マルチアングルフレームとして組み合わせ、第１マルチアングルフレームを第１マルチソースストリーミングメディアによりストリーミングメディアサーバー１５３に伝送する（ステップ３３０）。本実施例では、仮にアレイサーバー１５１が解像度３８４０＊２１６０の第１マルチアングルフレームを生成し、第１マルチアングルフレーム中で図２に示す４＊４個のブロック（各ブロックの解像度は９６０＊５４０である）を定義し、第１信号源（１１１～１２６）のネットワークアドレス（ソース識別データ）に基づいて異なる第１ビデオストリーミング中から抽出した各第１シングルアングルフレームと第１マルチアングルフレーム中の各ブロックとの対応関係を定義する。アレイサーバー１５１が４＊４のブロックを左から右並びに上から下の順序で配列するように定義した場合、アレイサーバー１５１はネットワークアドレスが１７２．０．０．１であるビデオカメラ（第１信号源１１１）により生成された第１ビデオストリーミング中の第１シングルアングルフレームが対応するブロック２１１、ネットワークアドレスが１７２．０．０．２であるビデオカメラ（第１信号源１１２）により生成された第１ビデオストリーミング中の第１シングルアングルフレームが対応するブロック２１２、ネットワークアドレスが１７２．０．０．３であるビデオカメラ（第１信号源１１３）により生成された第１ビデオストリーミング中の第１シングルアングルフレームが対応するブロック２１３、…、ネットワークアドレスが１７２．０．０．５であるビデオカメラ（第１信号源１１５）により生成された第１ビデオストリーミング中の第１シングルアングルフレームが対応するブロック２２１、…、ネットワークアドレスが１７２．０．０．１３であるビデオカメラ（第１信号源１２３）により生成された第１ビデオストリーミング中の第１シングルアングルフレームが対応するブロック２４１、…、ネットワークアドレスが１７２．０．０．１５であるビデオカメラ（第１信号源１２５）により生成された第１ビデオストリーミング中の第１シングルアングルフレームが対応するブロック２４３、及びネットワークアドレスが１７２．０．０．１６であるビデオカメラ（第１信号源１２６）により生成された第１ビデオストリーミング中の第１シングルアングルフレームが対応するブロック２４４を定義する。次に、アレイサーバー１５１は各第１シングルアングルフレームを対応するブロック（２１１～２４４）中に挿入することで、アレイサーバー１５１が１６個の第１シングルアングルフレームを含む１つの第１マルチアングルフレームを生成し、複数の第１マルチアングルフレームを含む第１マルチソースストリーミングメディアをさらに生成し、プルストリーム方式を使用し、ＲＴＭＰを利用して第１マルチソースストリーミングメディアをストリーミングメディアサーバー１５３に伝送する。

【0050】

ストリーミングメディアサーバー１５３がアレイサーバー１５１により生成された第１マルチソースストリーミングメディアを受信した後、クライアント端１６０がストリーミングメディアサーバー１５３に接続され、ストリーミングメディアサーバー１５３に対し第１マルチソースストリーミングメディアをリクエストする。ストリーミングメディアサーバー１５３はクライアント端１６０から発信されたリクエストを受信した後、第１マルチソースストリーミングメディアをクライアント端１６０に伝送し、クライアント端１６０が第１マルチソースストリーミングメディアを受信する（ステップ３５０）。本実施例では、仮にクライアント端１６０がプルストリーム方式を使用し、ＨＬＳプロトコルを利用して第１マルチソースストリーミングメディアを受信する。

【0051】

クライアント端１６０がマルチソースストリーミングメディアを受信した後、クライアント端１６０が受信した第１マルチソースストリーミングメディア中から第１マルチアングルフレームを持続的に抽出し、各第１マルチアングルフレーム中から第１シングルアングルフレームを持続的に取得し、取得した第１シングルアングルフレームを持続的に表示し、第１ビデオストリーミングを再生してもよい（ステップ３６０）。本実施例では、仮に既定値が１個目の位置に配列されているブロック中からシングルアングルフレームを取得したことを示している場合、クライアント端１６０は左上隅から計算を開始し（左上隅の画素の第１マルチアングルフレームにおける座標は（１，１））、各第１マルチアングルフレーム中からＸ軸を１個目から９６０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを抽出し（抽出したイメージは第１シングルアングルフレームとする）、抽出したイメージ（第１シングルアングルフレーム）を表示する。こうすることで、第１信号源１１１が撮影し生成した第１ビデオストリーミングがクライアント端１６０で再生される。クライアント端１６０は第１マルチソースストリーミングメディアのフレームレート（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ， ＦＰＳ）を第１マルチソースストリーミングメディア中から第１マルチアングルフレームを抽出する周波数とする。

【0052】

クライアント端１６０で第１ビデオストリーミングを再生する場合、第１切り換え信号が生成されると、クライアント端１６０が受信したマルチソースストリーミングメディア中から他の第１シングルアングルフレームを持続的に抽出するように改変し、取得した第１シングルアングルフレームを持続的に表示し、他の第１ビデオストリーミングを再生する（ステップ３７０）。本実施例では、仮に第１切り換え信号が、クライアント端１６０のユーザーが指でクライアント端１６０のタッチスクリーン４００のメイン表示エリア４１０（図４参照）上を右に向けてスライドすることで生成されたタッチ制御信号であり、メイン表示エリア４１０上で左右にスライドしたタッチ制御信号が現在再生中のビデオストリーミングのアングルを改変した場合、クライアント端１６０は第１切り換え信号が生成された後、右に向けてスライドしたタッチ制御信号（第１切り換え信号）に基づいて現在再生中の第１ビデオストリーミングを出力する第１信号源１１１の位置に隣接すると共に第１信号源１１１の後（仮に反時計回り方向とする）に配列された第１信号源１１２が出力する第１ビデオストリーミングを選択してもよい。すなわち、クライアント端１６０は左上隅から計算を開始し、各第１多源フレーム中からＸ軸を第９６１個目から１９２０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを持続的に抽出し（抽出されたイメージは第１信号源１１２により生成された第１シングルアングルフレームとする）、抽出された第１シングルアングルフレームを表示する。こうすることで、第１信号源１１２が撮影し生成した第１ビデオストリーミングをメイン表示エリア４１０で再生可能となる。

【0053】

同様に、クライアント端１６０が第１信号源１１２により撮影されて生成された第２ビデオストリーミングを再生する場合、右に向けてスライドするタッチ制御信号（第１切り換え信号）が再度生成され、クライアント端１６０が同様に受信した第１マルチソースストリーミングメディア中から第１マルチアングルフレームを持続的に抽出し、各第１マルチアングルフレーム中から第１切り換え信号に対応する他の第１信号源１１３により生成された第１シングルアングルフレームを持続的に取得する。すなわち、各第１マルチアングルフレーム中からＸ軸を１９２１個目から２８８０個目の画素とし、Ｙ軸を１個目から５４０個個目の画素とするイメージを抽出し、取得したイメージを持続的に表示し、第１信号源１１３が撮影し生成した第１ビデオストリーミングを再生する。再度生成された第１切り換え信号が左に向けてスライドするタッチ制御信号である場合、クライアント端１６０は受信した第１マルチソースストリーミングメディア中から第１マルチアングルフレームを持続的に抽出し、各第１マルチアングルフレーム中から第１切り換え信号に対応する第１信号源１１１により生成された第１シングルアングルフレームを持続的に取得する。すなわち、各第１マルチアングルフレーム中からＸ軸を１個目から９６０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを抽出し、取得したイメージを持続的に表示し、第１信号源１１１が撮影し生成した第１ビデオストリーミングを再生する。

【0054】

また、クライアント端１６０は第１切り換え信号が生成された後、現在再生中の第１ビデオストリーミングを出力する第１信号源１１１が移動方向において対応すると共に移動距離に対応する間隔位置に配列されている他の第１信号源が出力する第１ビデオストリーミングを選択し、右の移動方向は反時計回り方向に第１信号源１１０を選択することを示す。すなわち、対応するブロックが後に配列されている第１シングルアングルフレームを選択することを示し、移動距離が第１距離閾値より大きくない場合、クライアント端１６０はメイン表示エリア４１０中で第１信号源１１２が出力する第１ビデオストリーミングを再生するように改変する。すなわち、クライアント端１６０は左上隅から計算を開始し、各第１マルチアングルフレーム中からＸ軸を９６１個目から１９２０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを持続的に抽出するように改変し（抽出されたイメージは第１信号源１１２が出力する第１シングルアングルフレームとする）、メイン表示エリア４１０中に抽出した第１シングルアングルフレームを表示する。移動距離が第１距離閾値よりも大きいが、第２距離閾値よりも大きくない場合、クライアント端１６０はメイン表示エリア４１０中で第１信号源１１３が出力する第１ビデオストリーミングを再生するように改変し、クライアント端１６０は第１マルチアングルフレーム中からＸ軸を９６１個目から１９２０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを持続的に抽出するように改変し、…、移動距離が第３距離閾値大きいが、第４距離閾値より大きくない場合、クライアント端１６０はメイン表示エリア４１０中に第１信号源１１５が出力する第１ビデオストリーミングを再生するように改変し、クライアント端１６０は第１マルチアングルフレーム中からＸ軸を１個目から９６０個目の画素とし、Ｙ軸を５４１個目から１０８０個目の画素とするイメージを持続的に抽出し、…、以降同様に推移する。

【0055】

このように、本発明を利用することで、アレイサーバー１５１は、複数の信号源が出力するビデオストリーミングを、高い解像度で全てのビデオストリーミングを含むマルチソースストリーミングメディアとして組み合わせた後、ストリーミングメディアサーバー１５３からクライアント端１６０に伝送し、クライアント端１６０がローカル（ｌｏｃａｌ）で異なる信号源が出力するビデオストリーミングに切り換えて再生可能する。こうすることで、略遅延がない状況において、異なるアングルのビデオストリーミングに切り換えて再生できる。

【0056】

上述の第１実施例において、クライアント端１６０が第１ビデオストリーミングを再生する際に、一時停止制御信号が先に生成されている場合、クライアント端１６０は第１マルチソースストリーミングメディア中から抽出される第１マルチアングルフレームを一時停止してもよく、第１マルチアングルフレーム中からの第１シングルアングルフレームの取得を一時停止してもよく、一時停止制御信号が生成される前に最後に取得した第１シングルアングルフレームを持続的に表示し、第１ビデオストリーミングの再生を一時停止してもよい。クライアント端１６０は一時停止制御信号が生成された後、第１切り換え制御信号が生成された際に、現在表示中の第１シングルアングルフレームを含むマルチアングルフレーム中から第１切り換え信号に対応する他の異なる第１シングルアングルフレームを抽出し、抽出した他のシングルアングルフレームを表示してもよい。例えば、クライアント端１６０は第１切り換え信号が毎回生成されるのに追随し、前または後に配列されるブロック中から第１シングルアングルフレームを抽出すると共に表示するように改変してもよい。或いは、第１切り換え信号が表示する移動方向及び移動距離に追随して、前または後に一定間隔で配列されるブロック中から第１シングルアングルフレームを抽出すると共に表示するように選択してもよい。

【0057】

次は、第２実施例を例に挙げて本発明の動作システム及び方法を説明し、図６の本発明に係る他の、組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法のフローチャートを参照する。本実施例では、仮に図７に示す如く、第１信号源１１０及び第２信号源１３０等の２組の信号源を含み、第１信号源１１０及び第２信号源１３０は舞台周囲に架設されているビデオカメラであり、第１信号源１１０及び第２信号源１３０は各々１６個有しているが、本発明はこれに限定されるものではない。第１信号源（１１１～１２６）のネットワークアドレスは１７２．０．０．１～１６であり、第２信号源（１３１～１４６）のネットワークアドレスは１７２．０．１．１～１６であり、第１信号源（１１１～１２６）はネットワークアドレスの順序に基づいて舞台から約１５０ｃｍ離れた平面に環状に設置され、第２信号源（１３１～１４６）はネットワークアドレスの順序に基づいて舞台から約２００ｃｍ離れた他の平面に環状に設置され、同時に、ネットワークアドレスが１７２．０．１．１である第２信号源１３１はネットワークアドレスが１７２．０．０．１である第１信号源１１１に対応し、ネットワークアドレスが１７２．０．１．２である第２信号源１３２はネットワークアドレスが１７２．０．０．２である第１信号源１１２に対応し、…、以降同様に推移する。

【0058】

第１信号源１１０及び第２信号源１３０の設置が完了した後、第１信号源１１０及び第２信号源１３０は舞台上のイメージの撮影を開始し、撮影したイメージはビデオストリーミング方式によりアレイサーバー１５１に伝送する。本実施例では、仮に全ての信号源（第１信号源１１０及び第２信号源１３０）により生成されたビデオストリーミング（第１ビデオストリーミング及び第２ビデオストリーミング）の解像度は全て９６０＊５４０であり、全ての信号源はＮＤＩプロトコルを利用してビデオストリーミングをアレイサーバー１５１に伝送することができる。

【0059】

アレイサーバー１５１が第１信号源１１０から伝送された第１ビデオストリーミング及び第２信号源１３０から伝送された第２ビデオストリーミングを受信（ステップ６１０）した後、アレイサーバー１５１が第１実施例において描写したように、各第１ビデオストリーミング中から１つの第１シングルアングルフレームをそれぞれ持続的に抽出し、毎回抽出した異なる第１シングルアングルフレームを１つの第１マルチアングルフレームとして組み合わせ、第１マルチアングルフレームを第１マルチソースストリーミングメディアによりストリーミングメディアサーバー１５３に伝送する。また、アレイサーバー１５１は各第１ビデオストリーミングから第１マルチソースストリーミングメディアを生成する同じ過程において、各第２ビデオストリーミング中から１つの第２シングルアングルフレームをそれぞれ持続的に抽出し、毎回抽出した異なる第２シングルアングルフレームを１つの第２マルチアングルフレームとして組み合わせ、生成された第２マルチアングルフレームを第２マルチソースストリーミングメディアによりストリーミングメディアサーバー１５３に伝送する（ステップ６３０）。本実施例では、仮にアレイサーバー１５１が第１マルチソースストリーミングメディアを生成する過程について、ここでは、繰り返さない。また、アレイサーバー１５１は同様に図２に示す如く、解像度９６０＊５４０の４＊４個のブロックを含む第２マルチアングルフレームを生成し、第２信号源（１３１～１４６）のネットワークアドレス（ソース識別データ）に基づいて各第２シングルアングルフレームと各ブロックとの対応関係を定義し、或いは、第２信号源１３０が対応する第１信号源１１０により生成された第１シングルアングルフレームの第１マルチアングルフレームにおける位置に基づいて対応する第２信号源１３０により生成された第２シングルアングルフレームと各ブロックとの対応関係を定義する。すなわち、アレイサーバー１５１はブロックを左から右並びに上から下の順序で配列するように定義した場合、アレイサーバー１５１はネットワークアドレスが１７２．０．１．１であるビデオカメラ（第２信号源１３１）により生成された第２ビデオストリーミング中の第２シングルアングルフレームが対応するブロック２１１、ネットワークアドレスが１７２．０．１．２であるビデオカメラ（第２信号源１３２）により生成された第２ビデオストリーミング中の第２シングルアングルフレームが対応するブロック２１２、…、及びネットワークアドレスが１７２．０．１．１６であるビデオカメラにより生成された第２ビデオストリーミング中の第２シングルアングルフレームが対応するブロック２４４を定義する。次いで、アレイサーバー１５１は各第２シングルアングルフレームを対応するブロック中に挿入することで、アレイサーバー１５１が１６個の第２シングルアングルフレームを含む第２マルチアングルフレームを生成し、第２マルチアングルフレームを含む第２マルチソースストリーミングメディアを生成し、プルストリーム方式によりＲＴＭＰを利用して第１マルチソースストリーミングメディア及び第２マルチソースストリーミングメディアをストリーミングメディアサーバー１５３に伝送してもよい。

【0060】

ストリーミングメディアサーバー１５３がアレイサーバー１５１から伝送された第１マルチソースストリーミングメディア及び第２マルチソースストリーミングメディアを受信した後、クライアント端１６０がストリーミングメディアサーバー１５３に接続され、ストリーミングメディアサーバー１５３に対し第１マルチソースストリーミングメディアをリクエストする。ストリーミングメディアサーバー１５３はクライアント端１６０が発信したリクエストを受信した後、第１マルチソースストリーミングメディア及び第２マルチソースストリーミングメディアをクライアント端１６０に伝送し、クライアント端１６０が第１マルチソースストリーミングメディア及び第２マルチソースストリーミングメディアを受信する（ステップ６５０）。本実施例では、仮にクライアント端１６０がプルストリーム方式を使用し、ＨＬＳプロトコルを利用して第１マルチソースストリーミングメディア及び第２マルチソースストリーミングメディアを受信する。

【0061】

クライアント端１６０が第１マルチソースストリーミングメディア及び第２マルチソースストリーミングメディアを受信した後、クライアント端１６０が受信した第１マルチソースストリーミングメディア中から第１マルチアングルフレームを持続的に抽出し、各第１マルチアングルフレーム中から第１シングルアングルフレームを持続的に取得し、取得した第１シングルアングルフレームを持続的に表示し、第１ビデオストリーミングを再生する（ステップ６６０）。本実施例では、仮に既定値が１個目の位置に配列されているブロック中のシングルアングルフレームを取得することを示す場合、クライアント端１６０が左上隅から計算を開始し、各第１マルチアングルフレーム中からＸ軸を１個目から９６０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを抽出し（抽出されたイメージは第１シングルアングルフレームとする）、抽出したイメージ（第１シングルアングルフレーム）を表示する。このようにすることで、第１信号源１１１が撮影し生成した第１ビデオストリーミングはクライアント端１６０上で再生される。

【0062】

クライアント端１６０が第１ビデオストリーミングを再生する際に、第１切り換え信号が生成されると、クライアント端１６０は第１実施例で述べた如く、受信した第１マルチソースストリーミングメディア中から第１マルチアングルフレームを持続的に抽出し、各第１マルチアングルフレーム中から第１切り換え信号に対応する他の異なる第１シングルアングルフレームを持続的に取得し、取得した第１シングルアングルフレームを持続的に表示し、他の第１ビデオストリーミングを再生する。第２切り換え信号が生成されると、クライアント端１６０は第２切り換え信号に対応する第２マルチソースストリーミングメディア中から第２マルチアングルフレームを抽出するように改変し、各第２マルチアングルフレーム中から現在再生中の第１シングルアングルフレームに対応する第２シングルアングルフレームを持続的に取得し、取得した第２シングルアングルフレームを持続的に表示し、第２ビデオストリーミングを再生する（ステップ６８０）。本実施例では、仮に第２切り換え信号が、クライアント端１６０のユーザーが指でクライアント端１６０のタッチスクリーン４００のメイン表示エリア４１０（図４参照）上で上に向けてスライドすることで生成されたタッチ制御信号である場合、メイン表示エリア４１０上で下にスライドするタッチ制御信号により現在再生中のビデオストリーミングのアングルを改変し、クライアント端１６０は第２切り換え信号が生成された後、上にスライドするタッチ制御信号（第２切り換え信号）に基づいて現在再生中の第１ビデオストリーミングを出力する第１信号源１１１に対応する第２信号源１３１が出力する第２ビデオストリーミングを選択する。すなわち、クライアント端１６０は左上隅から計算を開始し、各第２シングルアングルフレーム中からＸ軸を１個目から９６０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを抽出し（抽出されたイメージは第２信号源１３１により生成された第２シングルアングルフレームとする）、抽出した第２シングルアングルフレームを表示する。このようにすることで、第２信号源１３１が撮影し出力した第２ビデオストリーミングをクライアント端１６０上で再生する。

【0063】

同様に、クライアント端１６０で第２信号源１３１が撮影し生成した第２ビデオストリーミングを再生する際に、下にスライドするタッチ制御信号（第２切り換え信号）が生成されると、クライアント端１６０が第２切り換え信号に対応する第１マルチソースストリーミングメディア中から第１マルチアングルフレームを持続的に抽出するように改変し、各第１マルチアングルフレーム中から現在再生中の第２シングルアングルフレームを出力する第２信号源１３１に対応する第１信号源１１１が出力する第１シングルアングルフレームを持続的に取得する。すなわち、各第１マルチアングルフレーム中からＸ軸を１個目から９６０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを抽出し、取得したイメージを持続的に表示し、第１信号源１１１が撮影し生成した第１ビデオストリーミングを再生する。また、生成されたタッチ制御信号が第１切り換え信号であり、第２切り換え信号ではない場合、クライアント端１６０が受信した第２マルチソースストリーミングメディア中から第２マルチアングルフレームを持続的に抽出し、各第２マルチアングルフレーム中から第１切り換え信号に対応する第２信号源１３２により生成された第２シングルアングルフレームを持続的に取得する。すなわち、各第２マルチアングルフレーム中からＸ軸を９６１個目から１９２０個目の画素とし、Ｙ軸を１個目から５４０個目の画素とするイメージを抽出し、取得したイメージを持続的に表示し、第２信号源１３２が撮影し生成した第２ビデオストリーミングを再生する。第１切り換え信号は第２信号源１３２に対応するものに限られず、クライアント端１６０は第１切り換え信号が表示する移動方向及び移動距離に基づいて他の非第２信号源１３１の第２信号源（１３３～１４６）に対応し、第２マルチアングルフレーム中から対応する位置にあるイメージを持続的に抽出すると共に表示する。

【0064】

以上を総合すると、本発明と従来技術との相違点について、アレイサーバーは複数の信号源が出力するビデオストリーミングを全てのビデオストリーミングを含む１つのマルチソースストリーミングメディアとして組み合わせると共に組み合わせて生成したマルチソースストリーミングメディアをクライアント端に提供し、クライアント端は受信したマルチソースストリーミングメディア中から再生したいビデオストリーミングを抽出する技術的手段であり、この技術的手段により従来技術に存在するライブ配信を鑑賞する際にアングルを切り換えるのに反応時間が必要であるという問題を解決し、ライブ配信のサーバーの負荷を軽減する技術的効果を達成している。

【0065】

また、本発明に係る組み合わせて伝送される複数のストリーミングメディアから特定のストリーミングメディアを抽出し再生する方法は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせで実現し、コンピューターシステム中で集中方式で実現するか、または異なる素子を相互に接続されている若干のコンピューターシステムにより分散方式で実現する。

【符号の説明】

【0066】

１１０～１２６ 第１信号源
１３０～１４６ 第２信号源
１５１ アレイサーバー
１５３ ストリーミングメディアサーバー
１６０ クライアント
２００ マルチアングルフレーム
２１１～２４４ ブロック
４００ タッチスクリーン
４１０ メイン表示エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】