(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-01
(45)【発行日】2022-08-09
(54)【発明の名称】通信装置、通信方法及び通信プログラム、管理装置
(51)【国際特許分類】
H04N 21/222 20110101AFI20220802BHJP
H04N 21/2343 20110101ALI20220802BHJP
H04N 21/4728 20110101ALI20220802BHJP
H04N 21/6405 20110101ALI20220802BHJP
H04L 49/201 20220101ALI20220802BHJP
H04L 65/611 20220101ALI20220802BHJP
H04L 65/613 20220101ALI20220802BHJP
【FI】
H04N21/222
H04N21/2343
H04N21/4728
H04N21/6405
H04L49/201
H04L65/611
H04L65/613
(21)【出願番号】P 2018033441
(22)【出願日】2018-02-27
【審査請求日】2020-11-11
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100180275
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【氏名又は名称】若林 裕介
(72)【発明者】
【氏名】中川 聰
【審査官】久保 光宏
(56)【参考文献】
【文献】AHMADI, H., et al.,"Adaptive Multicast Streaming of Virtual Reality Content to Mobile Users",Proceedings of the Thematic Workshops'17,[online],2017年10月27日,Pages 170-178,[平成30年11月16日検索], インターネット,<URL: https://www.researchgate.net/profile/Hamed_Ahmadi4/publication/320578861_Adaptive_Multicast_Streaming_of_Virtual_Reality_Content_to_Mobile_Users/links/59f7f9a3458515547c24d84c/Adaptive-Multicast-Streaming-of-Virtual-Reality-Content-to-Mobile-Users.pdf>, ISBN: 978-1-4503-5416-5, <DOI: 10.1145/3126686.3126743>.
【文献】横関大子郎(外3名),「画像任意部分適応階層化方式を用いたATM上における映像配送」,画像符号化シンポジウム 第12回シンポジウム資料 (PCSJ97),日本,電子情報通信学会 画像工学研究専門委員会,1997年10月06日,第39~40頁.
(58)【調査した分野】(Int.Cl.,DB名)
H04N21/00-21/858
H04L41/00-69/40
CSDB(日本国特許庁)
IEEEXplore(IEEE)
(57)【特許請求の範囲】
【請求項1】
ツリー構成の配信経路で映像データをマルチキャスト配信する通信装置において、
前記配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、
前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理する領域情報管理部と、
前記領域情報管理部で管理される前記各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、前記配信経路の上位に位置している上位通信装置に送信する領域情報送信部と、
前記上位通信装置から
前記映像データを受信する受信部と、
自装置の表示領域情報に基づいて、受信した
前記映像データから表示領域を抽出して表示データを出力する表示領域抽出部と、
前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、前記映像データを映像加工する映像加工部と、
前記映像加工部により映像加工された加工後映像データを送信する再送信部と
を備えることを特徴とする通信装置。
【請求項2】
前記上位通信装置から受信した
前記映像データが、前記上位通信装置により映像加工された
前記加工後映像データであり、
前記映像加工部が、前記上位通信装置から受信した前記加工後映像データのうち、当該通信装置で初めて加工対象となる領域について、前記各下位通信装置の表示領域以外の領域のみを映像加工する
ことを特徴とする請求項1に記載の通信装置。
【請求項3】
直接通信する複数の下位通信装置がある場合に、
前記映像加工部が、前記直接通信する各下位通信装置の表示領域情報を含む領域情報に基づいて、映像加工領域を統合して映像加工し、
前記再送信部が、前記映像加工部により映像加工領域を統合した
前記加工後映像データを、前記直接通信する各下位通信装置に送信する
ことを特徴とする請求項1に記載の通信装置。
【請求項4】
ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信装置において、
前記配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、
前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と、
前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する
前記映像データを映像加工する映像加工部と、
前記映像加工部により映像加工された加工後映像データを送信する送信部と
を備えることを特徴とする通信装置。
【請求項5】
前記映像加工部が、前記各下位通信装置の表示領域情報を含む領域情報に基づいて、前記下位通信装置のいずれにおいても表示領域とならない領域に対して、映像符号化技術の符号発生量を低減する映像加工処理を行なうことを特徴とする請求項1~4のいずれかに記載の通信装置。
【請求項6】
前記映像加工部が、映像加工処理の対象とする領域に対して塗りつぶし処理を行うことを特徴とする請求項5に記載の通信装置。
【請求項7】
前記映像加工部が、映像加工処理の対象となる領域に対して低域通過画像フィルタ処理を行うことを特徴とする請求項5に記載の通信装置。
【請求項8】
前記映像加工部が、表示領域が動的に変化する場合に、映像加工処理の対象とならない領域を予め所定の範囲にわたって拡大し、拡大された領域以外の領域に対して映像加工処理を行うことを特徴とする請求項5に記載の通信装置。
【請求項9】
前記領域情報管理部が、前記各下位通信装置の表示領域情報を含む領域情報と前記自装置の表示領域情報とに基づいて、包含関係にある領域を統合した領域情報を形成することを特徴とする請求項1に記載の通信装置。
【請求項10】
前記領域情報管理部が、前記各下位通信装置の表示領域情報を含む領域情報と前記自装置の表示領域情報とに基づいて、重複する領域について当該重複領域を包含する別の大領域に統合した領域情報を形成することを特徴とする請求項1に記載の通信装置。
【請求項11】
ツリー構成の配信経路で映像データをマルチキャスト配信する通信方法において、
領域情報受信部が、前記配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信し、
領域情報管理部が、前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理し、
領域情報送信部が、前記領域情報管理部で管理される前記各下位通信装置の表示領域情
報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、前記配信経路の上位に位置している上位通信装置に送信し、
受信部が、前記上位通信装置から
前記映像データを受信し、
表示領域抽出部が、自装置の表示領域情報に基づいて、受信した
前記映像データから表示領域を抽出して表示データを出力し、
映像加工部が、前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、前記映像データを映像加工し、
再送信部が、前記映像加工部により映像加工された加工後映像データを送信する
ことを特徴とする通信方法。
【請求項12】
ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信方法において、
領域情報受信部が、前記配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信し、
領域情報管理部が、前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理し、
映像加工部が、前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する
前記映像データを映像加工し、
送信部が、前記映像加工部により映像加工された加工後映像データを送信する
ことを特徴とする通信方法。
【請求項13】
ツリー構成の配信経路で映像データをマルチキャスト配信する通信プログラムにおいて、
コンピュータを、
前記配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、
前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理する領域情報管理部と、
前記領域情報管理部で管理される前記各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、前記配信経路の上位に位置している上位通信装置に送信する領域情報送信部と、
前記上位通信装置から
前記映像データを受信する受信部と、
自装置の表示領域情報に基づいて、受信した
前記映像データから表示領域を抽出して表示データを出力する表示領域抽出部と、
前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、前記映像データを映像加工する映像加工部と、
前記映像加工部により映像加工された加工後映像データを送信する再送信部と
して機能させることを特徴とする通信プログラム。
【請求項14】
ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信プログラムにおいて、
コンピュータを、
前記配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、
前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と、
前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する
前記映像データを映像加工する映像加工部と、
前記映像加工部により映像加工された加工後映像データを送信する送信部と
して機能させることを特徴とする通信プログラム。
【請求項15】
ツリー構成の配信経路で映像データをマルチキャスト配信する通信装置を管理する管理装置において、
配信元の通信装置と
前記映像データを受信する1又は複数の通信装置との間の配信経路を決定し、当該配信経路を構成する各通信装置に配信パスの通信路の設定を指示する通信路設定部と、
前記各通信装置間の表示領域情報を含む領域情報の送受信を中継する中継部と、
前記各通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と
を備え、
前記各通信装置から送信される領域情報は、当該通信装置の表示領域情報を含む領域情報のみとし、
前記領域情報管理部が、前記各通信装置に通知する子ノード以下の下位の通信装置の表示領域情報を含む領域情報を通知する
ことを特徴とする管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信装置、通信方法及び通信プログラムに、管理装置関し、例えば、映像情報や音情報等を含むマルチメディアデータを配信元から複数ユーザーへ配信を行う配信システムに適用し得る。
【背景技術】
【0002】
近年、情報通信技術の発達により、遠隔の離れた場所にいる者同士があたかも同じ場所にいるかのようにコミュニケーションしたり、共同作業を行ったりする技術が注目されている。複数の映像や音声等の情報を、複数の場所や複数のユーザーに配信することによりこれら遠隔の複数者間のコミュニケーションを実現している。
【0003】
映像や音声等のデータを複数のユーザーに配信する場合、ビデオカメラ等の映像ソースや、マイク等の音声ソースからのマルチメディアデータを持つ配信元から、これらのデータを要求するユーザーに対してIPパケット等を用いたユニキャスト通信で配信する方法が用いられる。
【0004】
このようなユニキャスト通信では、同じデータを要求するユーザー数が増加すると、配信サーバーでは、ユーザー数に応じたユニキャスト通信路の数だけ同じデータを複製して配信するため、ネットワークの帯域幅を浪費して十分な数のユーザーに配信できないという問題がある(
図2参照)。また、ユニキャスト通信ではなくマルチキャスト通信を用いてデータの複製を配信経路の途中のルーターで行うことによりネットワーク帯域の浪費を防止する方法もあるが、経路上のすべてのルーターがマルチキャスト通信に対応する必要があり、一般には普及していない(
図3参照)。
【0005】
このような問題への対策として、アプリケーションレベルマルチキャストと呼ばれる方法が知られている。これは、配信を受けているユーザーが中継ノードとなり、さらに別のユーザーに対して再配信することにより、ユーザーのアプリケーションのみで多数のユーザーへのマルチキャストを実現する方法である(
図4参照)。
【0006】
このようなアプリケーションレベルマルチキャストでは、配信経路をいかに構築するかがシステム全体の配信性能に大きく影響する。
【0007】
特許文献1では、アプリケーションレベルマルチキャストを用いて配信を行う配信ツリーを、配信パスのスループット等を計測することによって、状況に応じて配信ツリーを切り替えてして方法などが開示されている。
【先行技術文献】
【特許文献】
【0008】
【発明の概要】
【発明が解決しようとする課題】
【0009】
このようなアプリケーションレベルマルチキャストを用いて、多数のユーザーに高解像度の映像を配信する場合で、各ユーザーは配信される映像のうち、それぞれが選択した一部分のみを表示しているような用途を想定する。例えば、オフィス全体を俯瞰するような映像を配信し、各ユーザーはそれぞれが興味を持っている部署や人が映った部分のみを表示している場合、あるいは、スポーツの競技場全体の映像が配信されており、各ユーザーは興味のあるプレーや選手の部分を表示している場合、あるいは、360度全方向の映像が配信されており、各ユーザーはそれぞれの視線方向の画角のみを表示している場合などである(
図5参照)。
【0010】
このような用途を想定すると、従来のアプリケーションレベルマルチキャスト技術では、全ユーザーに対して、配信映像全体を高解像度に配信することとなり、例えは配信ツリーの末端のユーザーにも、そのユーザーでは表示されない部分を含めて高解像度に配信されることとなり、ネットワーク帯域が浪費されたり、また、ネットワーク品質によっては画質を低下させて配信せざるを得ない状況となるという課題があった。
【課題を解決するための手段】
【0011】
本発明は、前記課題を解決するためになされたものであり、次のような構成を採用する。
【0012】
第1の本発明に係る通信装置は、ツリー構成の配信経路で映像データをマルチキャスト配信する通信装置において、(1)配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、(2)領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理する領域情報管理部と、(3)領域情報管理部で管理される各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、配信経路の上位に位置している上位通信装置に送信する領域情報送信部と、(4)上位通信装置から映像データを受信する受信部と、(5)自装置の表示領域情報に基づいて、受信した映像データから表示領域を抽出して表示データを出力する表示領域抽出部と、(6)領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、映像データを映像加工する映像加工部と、(7)映像加工部により映像加工された加工後映像データを送信する再送信部とを備えることを特徴とする。
【0013】
第2の本発明に係る通信装置は、ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信装置において、(1)配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、(2)領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と、(3)領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する映像データを映像加工する映像加工部と、(4)映像加工部により映像加工された加工後映像データを送信する送信部とを備えることを特徴とする。
【0014】
第3の本発明に係る通信方法は、ツリー構成の配信経路で映像データをマルチキャスト配信する通信方法において、(1)領域情報受信部が、配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信し、(2)領域情報管理部が、領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理し、(3)領域情報送信部が、領域情報管理部で管理される各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、配信経路の上位に位置している上位通信装置に送信し、(4)受信部が、上位通信装置から映像データを受信し、(5)表示領域抽出部が、自装置の表示領域情報に基づいて、受信した映像データから表示領域を抽出して表示データを出力し、(6)映像加工部が、領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、映像データを映像加工し、(7)再送信部が、映像加工部により映像加工された加工後映像データを送信することを特徴とする。
【0015】
第4の本発明に係る通信方法は、ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信方法において、(1)領域情報受信部が、配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信し、(2)領域情報管理部が、領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理し、(3)映像加工部が、領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する映像データを映像加工し、(4)送信部が、映像加工部により映像加工された加工後映像データを送信することを特徴とする。
【0016】
第5の本発明に係る通信プログラムは、ツリー構成の配信経路で映像データをマルチキャスト配信する通信プログラムにおいて、コンピュータを、(1)配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、(2)領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理する領域情報管理部と、(3)領域情報管理部で管理される各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、配信経路の上位に位置している上位通信装置に送信する領域情報送信部と、(4)上位通信装置から映像データを受信する受信部と、(5)自装置の表示領域情報に基づいて、受信した映像データから表示領域を抽出して表示データを出力する表示領域抽出部と、(6)領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、映像データを映像加工する映像加工部と、(7)映像加工部により映像加工された加工後映像データを送信する再送信部として機能させることを特徴とする。
【0017】
第6の本発明に係る通信プログラムは、ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信プログラムにおいて、コンピュータを、(1)配信経路の下位に位置している1又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、(2)領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と、(3)領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する映像データを映像加工する映像加工部と、(4)映像加工部により映像加工された加工後映像データを送信する送信部として機能させることを特徴とする。
【0018】
第7の本発明に係る管理装置は、ツリー構成の配信経路で映像データをマルチキャスト配信する通信装置を管理する管理装置において、(1)配信元の通信装置と映像データを受信する1又は複数の通信装置との間の配信経路を決定し、当該配信経路を構成する各通信装置に配信パスの通信路の設定を指示する通信路設定部と、(2)各通信装置間の表示領域情報を含む領域情報の送受信を中継する中継部と、(3)各通信装置の表示領域情報を含む領域情報を管理する領域情報管理部とを備え、各通信装置から送信される領域情報は、当該通信装置の表示領域情報を含む領域情報のみとし、領域情報管理部が、各通信装置に通知する子ノード以下の下位の通信装置の表示領域情報を含む領域情報を通知することを特徴とする。
【発明の効果】
【0019】
本発明によれば、以下のような効果が得られる。
【0020】
配信元ノードおよび受信ノードの映像加工部において、子ノードやその子孫ノードのいずれにおいても表示領域とならない領域に対してのみ、送信部や再送信部で用いられる映像符号化技術による発生符号量を低減する効果のある映像加工を行うので、各受信ノードで表示される映像については映像加工による悪影響を与えることなく、子ノードに対して送信される送信データや再送信データの情報量を削減することができる。また、ネットワーク帯域に余裕ができるため、より高画質の映像符号化を施すことが可能となり、各受信ノードで出力される表示領域の映像データを高画質化することが可能となる。
【図面の簡単な説明】
【0021】
【
図1】実施形態に係る受信ノードの内部構成を示す内部構成図である。
【
図3】マルチキャスト通信を説明する説明図である。
【
図4】アプリケーションレベルマルチキャスト配信を説明する説明図である。
【
図5】アプリケーションレベルマルチキャストによる映像の部分表示領域データの配信を説明する説明図である。
【
図6】実施形態に係る映像配信システムの全体構成を示す全体構成図である。
【
図7】実施形態に係る配信元ノードの内部構成を示す内部構成図である。
【
図8】実施形態において子ノードから親ノードへの領域情報の送受信を説明する説明図である。
【
図9】実施形態において親ノードから子ノードへの配信データの配信を説明する説明図である。
【発明を実施するための形態】
【0022】
(A)主たる実施形態
以下では、本発明に係る通信装置、通信方法及び通信プログラム、管理装置の実施形態を、図面を参照しながら詳細に説明する。
【0023】
(A-1)実施形態の構成
[全体構成]
図6は、実施形態に係る映像配信システムの全体構成の一例を示す全体構成図である。
【0024】
図6において、実施形態に係る映像配信システム1は、映像配信管理サーバー10、配信元ノード20、受信ノード30(30-1~30-5)を有する。
【0025】
実施形態に係る配信システム1は、ツリー構造のネットワークを形成しており、アプリケーションレベルマルチキャストを用いてメディアデータを配信する。
【0026】
以下では、配信ツリーにおいて、配信元ノード20から受信ノード30側へのデータの流れを下流とし、逆に受信ノード30から配信元ノード20側へのデータの流れを上流とする。
【0027】
配信ツリーにおいて、ある受信ノード30から上流側に位置しており、直接通信するノード(配信元ノード20あるいは他の受信ノード30)を「親ノード」と呼び、ある受信ノード30から下流側に位置しており直接通信するノード(他の受信ノード30)を「子ノード」と呼ぶ。また、配信ツリーにおいて、自装置30の親ノードのさらに上流側に位置する親ノードを総称して「祖先ノード」とも呼び、自装置30の子ノードのさらに下流側に位置する子ノードを「子孫ノード」とも呼ぶ。
【0028】
アプリケーションレベルマルチキャストは、複数のノードにデータを配信する手法の1つである。アプリケーションレベルマルチキャストの配信手法は、配信元ノード(もしくはサーバー)の負荷を低減しつつ複数の配信先である受信ノードに配信する方法である。一般にはデータの種類として映像音声を含む多種多様なものをサポートすることができ、またリアルタイムのライブ配信にも蓄積型の配信にも対応することが可能である。
【0029】
また、複数のノードにデータを配信する手法として、IPマルチキャスト技術がある。IPマルチキャスト技術は、IP層において配信データの経路制御や複製処理を行う手法である。IPマルチキャスト技術では、配信経路上のルーターがデータの複製処理を行うので、配信先の受信ノードが増えても、配信元ノードの負荷が増大しない。プロトコルとしては、IPv4ではIGMP、IPv6ではMDLv2と呼ばれるものが使われる。欠点としては、配信元ノードから配信先の受信ノードまでの経路上のルーターがすべてこれらの特別なプロトコルを処理できる必要が有ることである。IPマルチキャストを可能にするインフラストラクチャはまだ普及しているとは言えず、特に企業内ネットワークでは普及していない。
【0030】
アプリケーションレベルマルチキャスト技術は、IPマルチキャストと同様に、経路上の装置がデータを複製することによって配信元端末の負荷増大を抑え、配信先の受信ノード数の増大に対処する手法である。アプリケーションレベルマルチキャスト技術とIPマルチキャスト技術との違いは、データ複製を配信先の受信ノードが行う点である。
【0031】
配信元ノード20が配信するメディアデータは、この実施形態では映像情報を含む場合を例示するが、音情報(音声や音響を含む音に関する情報)を含むものであってもよい。
【0032】
映像配信管理サーバー10は、配信元ノード20と受信ノード30の間の映像配信ツリーの構成を管理する。映像配信管理サーバー10は、ネットワークに新規の受信ノード30が参加するときや受信ノード30が離脱するときなどのように、配信ツリーの再構成が必要なときに、配信元ノード20や各受信ノード30に対して配信ツリーの再構成を指示する。また、後述する受信ノード30や配信元ノード20の間の領域情報の送受信は、直接ノード間で送受信しても良いが、映像配信管理サーバー10が領域情報の送受信の仲介をするような構成としても良い。
【0033】
映像配信管理サーバー10は、配信ツリーを構成する配信元ノード20と受信ノード30との間の配信ツリーを決定し、各ノード(配信元ノード20、受信ノード30)に対して配信ツリーを構成する各ノード間の配信パスの通信路の設定を指示する通信路設定部と、ノード間の領域情報の送受信を中継する中継部と、各受信ノード30の表示領域情報を含む領域情報を管理する領域情報管理部とを有する。映像配信管理サーバー10は、各受信ノード30から領域情報を取得するが、そのとき各受信ノード30から送信される領域情報には、その受信ノード30の表示領域情報のみが含まれる。また、受信ノード30や配信元ノード20に通知する子ノード以下の領域情報を、映像配信管理サーバー10が通知する。つまり、映像配信管理サーバー10は、受信ノード30や配信元ノード20に対して領域情報を通知するが、その受信ノード30や配信元ノード20の子ノードや孫ノードなどの子孫となるノードの領域情報を、映像配信管理サーバー10が受信ノード30や配信元ノード20に対して通知するようにしてもよい。
【0034】
配信元ノード20は、配信したい映像のコンテンツデータや、ビデオカメラ等の映像ソースからの映像データ等の映像情報を、各受信ノード30に配信する。配信元ノード20は、映像配信管理サーバー10の指示に応じて、複数の受信ノード30のうち、直接の配信先となる受信ノード30のそれぞれに、配信したい映像情報に対して受信ノード30から通知される領域情報に応じた加工処理を行った映像情報の送信を行う。
【0035】
受信ノード30(30-1~30-5)は、自装置よりも上流側に位置しているノード(例えば、配信元ノード20、他の受信ノード30)から、通信回線を介して映像情報を受信し、自装置の表示領域情報に従って、受信した映像のフレーム内の表示領域を抽出し、その抽出した表示領域の映像を表示する。また、受信ノード30は、映像配信管理サーバー10の指示に応じて、自装置を親ノードとしている他の受信ノード30(すなわち、自装置の各子ノード)のそれぞれに、受信した映像情報に対して、他の受信ノード30から通知される領域情報に応じた加工処理を行い、加工処理後の映像情報の再配信を行う。受信ノード30は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、ウェラブル端末等を適用することができる。
【0036】
なお、
図6において、配信元ノード20は複数存在してもよく、映像配信管理サーバー10では配信ツリーをそれぞれの配信元ごと(配信したい映像コンテンツごと)に管理する。例えば、複数の拠点にそれぞれ配信元ノード20を配置し、複数拠点間で双方向に情報を配信しあうことでコミュニケーションを実現するような構成としてもよい。
【0037】
[受信ノード30の内部構成]
図1は、実施形態に係る受信ノード30の内部構成を示す内部構成図である。
【0038】
図1において、実施形態に係る受信ノード30は、受信部301、表示領域抽出部302、映像加工部303、再送信部304、領域情報受信部305、領域情報管理部306、領域情報送信部307を備える。
【0039】
受信ノード30は、例えば、CPU、ROM、RAM、EEPROM、入出力インタフェース部、通信装置などを備えるものであり、CPUがROMに格納される、あるいは、サーバーからダウンロードされる処理プログラム(通信プログラム)を実行することにより、後述する受信ノード30としての各種機能が実現される。
【0040】
受信部301は、自装置30の親ノード(配信元ノード20若しくは他の受信ノード30)から映像を含む配信データを受信するものである。ツリー構造を構築している映像配信システム1で、配信元ノード20又は配信元ノード20に近い位置にあるノードを親ノードとする。
【0041】
表示領域抽出部302は、自装置30のユーザーにより指示された表示領域情報が取得されており、受信部301により受信された映像から、ユーザーから指示された表示領域情報に基づいて表示データを抽出し、その表示データを出力する。
【0042】
映像加工部303は、自装置30が子ノード(他の受信ノード30)に再配信を行う中継ノードとして機能する場合に、領域情報管理部306に保持されている子ノードやその子孫ノードの表示領域情報を含む領域情報を読み出し、その子ノードやその子孫ノードの表示領域情報を含む領域情報に基づいて、映像を加工して子ノードへの配信用映像とし、その配信用映像を再送信部304に与える。
【0043】
再送信部304は、映像加工部303により加工された子ノードへの配信用映像を、子ノードに配信するものである。
【0044】
領域情報受信部305は、自装置30の子ノードやその子孫ノード(すなわち、ツリー構造の映像配信システム1で子ノード以下のツリーを構成する他の受信ノード30)から表示領域情報を含む領域情報を受信し、その表示領域情報を含む領域情報を領域情報管理部306に与える。
【0045】
領域情報管理部306は、ユーザーにより指示された自装置30の表示領域情報と、領域情報受信部305により受信された領域情報とを管理する。
【0046】
領域情報送信部307は、領域情報管理部306で保持されている領域情報から、自装置30の表示領域情報を含む領域情報や、子ノード若しくはその子孫ノードの表示領域情報を含む領域情報を、親ノードに送信する。
【0047】
[配信元ノード20の内部構成]
図7は、実施形態に係る配信元ノード20の内部構成を示す内部構成図である。
【0048】
図7において、実施形態に係る配信元ノード20は、映像加工部203、送信部204、領域情報受信部205、領域情報管理部206を有する。
【0049】
配信元ノード20は、例えば、CPU、ROM、RAM、EEPROM、入出力インタフェース部、通信装置などを備えるものであり、CPUがROMに格納される、あるいは、サーバーからダウンロードされる処理プログラム(通信プログラム)を実行することにより、後述する配信元ノード20としての各種機能が実現される。
【0050】
映像加工部203は、配信したい映像を含む配信データを取得し、領域情報管理部206に保持されている子ノードやその子孫ノードの表示領域情報を含む領域情報に基づいて映像を加工して配信用映像を生成し、自装置20から直接配信を受ける子ノード(受信ノード30)への配信用映像を送信部204に与える。
【0051】
送信部204は、映像加工部203により加工された配信用映像を含む送信データを送信するものである。
【0052】
領域情報受信部205は、子ノードやその子孫ノード(配信ツリー上の子ノード以下のツリーを構成する受信ノード30)の表示領域情報を含む領域情報を子ノードから受信し、その受信した領域情報を領域情報管理部206に与える。
【0053】
領域情報管理部206は、領域情報受信部205により受信された子ノードやその子孫ノードから受信した領域情報を管理する。
【0054】
(A-2)実施形態の動作
次に、実施形態に係る映像配信システム1における映像を含む配信データの配信処理を、図面を参照しながら詳細に説明する。
【0055】
図6に示すように、配信したい映像情報の配信元である配信元ノード20から、映像情報の受信者である(複数の)受信ノード30に対してアプリケーションレベルマルチキャストを用いて映像情報の配信を行う。
【0056】
映像情報の配信経路となる配信ツリーの構成状態は映像配信管理サーバー10が管理しており、配信元ノード20や受信ノード30との間で、各ノードに関するノード情報や配信ツリーの構成に関わる情報をやり取りすることにより、動的なノードの追加や離脱に応じた配信ツリーの再構築を行う。具体的な配信ツリーの構成に関わる情報の内容や、具体的な配信パスとなる通信路を設定するためのシグナリング等については任意の方法を用いることができる。例えば映像配信管理サーバー10がノード間の通信路設定のためのシグナリングを中継するシグナリングサーバーを兼務するような構成としても良いし、また例えば、受信ノード30や配信元ノード20の間の領域情報の送受信を行うための通信路の設定のためのシグナリングサーバーを兼務したり、あるいは、ノード間では領域情報を直接送受信せず、ノード間の領域情報の送受信を映像配信管理サーバー10が中継する役割を兼務するような構成としても良い。
【0057】
まず、配信元ノード20は、配信したい映像である配信データを入力し、配信元ノードとしてのノード情報を映像配信管理サーバー10に通知する。
【0058】
受信ノード30は、例えば、配信を受けたい映像データを特定する情報などを含む、受信ノードとしてのノード情報を映像配信管理サーバー10に通知する。
【0059】
映像配信管理サーバー10は、配信元ノード20や、(1つ以上の)受信ノード30で構成する配信ツリーの構成を決定し、それぞれのノード(配信元ノード20と受信ノード30)に対して配信パスの接続相手に関わる情報を通知する。
【0060】
配信元ノード20や受信ノード30の各ノードは、配信データを受信するための親ノードとの通信路や、配信データを送信するための子ノードへの通信路を設定し、配信データの送受信を行う。
【0061】
配信元ノード20や受信ノード30の各ノードは、配信パスに従った接続相手との通信路を確保し、配信元ノード20は自身が持つ映像情報の加工処理後の映像データの送信を、受信ノード30は親ノードからの配信データの受信と、自身が子ノードを持つ場合は、受信した映像データの加工処理後の映像データの再送信を行う。
【0062】
新規に受信ノード30が配信ツリーに参加する場合は、映像配信管理サーバー10は、新規の受信ノード30から通知されるノード情報にしたがって、配信元となる親ノード(配信元ノード20もしくはすでに配信を受けている受信ノード30)を割り当て、割り当てられた親ノードが、新規受信ノード30への配信を開始することにより、配信ツリーの構築を行う。
【0063】
配信ツリーに参加している受信ノード30の内の1つのノード装置30が配信ツリーから離脱した場合は、離脱したノードを親ノード(や祖先ノード)としていた受信ノード30への配信が停止してしまうため、配信が停止してしまう受信ノード30に対して新たな親ノードの割り当てを行う。親ノードの再割り当ては、離脱ノードの直接の子ノードに対してのみ行っても良いし、直接の子ノード以外にも、子ノードの子孫のノードに対しても再割り当てを行っても良い。これらの受信ノード30に対して、親ノードの再割り当てを行うことにより、配信ツリーの再構築を行う。
【0064】
[各受信ノード30における処理動作]
実施形態に係る各受信ノード30における処理動作を、
図1を参照して説明する。
【0065】
受信ノード30では、それぞれの受信ノード30で表示したい領域を示す情報である表示領域情報が入力される。これは、例えば、あらかじめ受信ノード30ごとに設定された領域情報でもよく、また、例えばマウスやタッチ操作などのユーザーインターフェースを介したユーザーからの指示による領域情報でもよい。
【0066】
受信ノード30は、映像情報の直接の配信元である親ノード(配信元ノード20もしくは他の受信ノード30)からの映像データを受信部301で受信する。受信した映像データは入力される表示領域情報にしたがって、表示領域抽出部302で、映像データの一部分が抽出され、表示データとして出力され、ディスプレイ等に表示される。
【0067】
受信ノード30が子ノード(他の受信ノード30)への再配信を行う中継ノードである場合は、映像加工部303で、子ノードへの配信用に映像を加工し、加工された映像情報を再送信部304からそれぞれの子ノードに対して送信を行う。子ノードが存在しない場合は、加工処理及び再送信処理は行わない。
【0068】
子ノードからは、子ノードである他の受信ノード30および配信ツリーにおけるその子孫である他の受信ノード30のそれぞれの表示領域情報を含む子ノードからの領域情報が通知され、領域情報受信部305で受信する。
【0069】
受信した子ノードからの領域情報と、受信ノード30自身の表示領域情報は、領域情報管理部306に入力され、領域情報管理部306は、これらの領域情報にしたがった映像加工対象領域情報を映像加工部303に供給する。
【0070】
また、領域情報管理部306は、子ノードからの領域情報と、自身の表示領域情報を含む領域情報を親ノードに通知するために領域情報送信部307に供給し、領域情報送信部307から親ノードに対して通知を行う。
【0071】
[配信元ノード20における処理動作]
配信元ノード20の動作を、
図7を参照しながら説明する。
【0072】
配信元ノード20には、配信したい映像である配信データが入力されるが、これをそのまま送信するのではなく、子ノードから通知される領域情報に従った映像加工処理を行ったうえで送信を行う。
【0073】
入力された配信データである映像データは、映像加工部203で、配信元ノード20から直接配信を受ける子ノード(受信ノード30)への配信用に映像を加工する処理を行う。
【0074】
加工された映像データは、送信部204からそれぞれの子ノードに対して送信される。
【0075】
子ノードからは、子ノードやその子孫ノード(配信ツリー上の子ノード以下のツリーを構成する受信ノード30)の表示領域情報を含む子ノードからの領域情報を、領域情報受信部205で受信する。
【0076】
領域情報受信部205で受信した、領域情報は領域情報管理部206に供給され、映像加工部203では領域情報管理部206で保持する子ノードやその子孫ノードの表示領域情報を含む領域情報にしたがって映像を加工する処理を行う。
【0077】
[領域情報の送受信処理]
以下、受信ノード30や配信元ノード20の間でやり取りされる領域情報の様子を、
図8を参照しながら説明する。
【0078】
図8は、実施形態の子ノードから親ノードへの領域情報の送受信処理を説明する説明図である。
【0079】
図8では、説明を容易にするために、例えば「ユーザー(30-1)」の表記は配信元ノード20から受信ノード30-1に配信される映像のフレームを示しており、D1は、受信ノード30-1のユーザーが映像フレーム内で選択した表示領域を示している。また、点線で囲んでいるものは、ノード間で授受される領域情報をイメージ化している。
【0080】
図8において、配信元ノード20から映像配信を受ける各受信ノード30-1~30-5では、各ユーザーによりそれぞれが表示したい領域である表示領域D1~D5が指示されている。それぞれの受信ノード30は、子ノードから通知される領域情報に、自装置30においてユーザーに指示された表示領域情報を追加したうえで、親ノードへの領域情報として通知する。
【0081】
例えば、
図8において、受信ノード30-3のユーザー(30-3)は、子ノードであるユーザ(30-2)から表示領域D2を取得すると、その表示領域D2に自装置30-3の表示領域D3を加えたものを領域情報として、親ノードであるユーザー(30-5)に送信する。
図8の例では、各受信ノード30でユーザーにより指示された表示領域情報が矩形領域であるものとして説明しているが、表示領域情報は、矩形領域に限定されるものでない。表示領域情報は、映像フレームにおいて表示領域を特定する情報とすることができ、例えば、矩形領域である場合、矩形領域の左上座標値、矩形領域の幅を示す値、高さを示す値等などの情報で領域情報を表現しても良い。
【0082】
各受信ノード30の領域情報管理部306は、子ノードや子孫ノードから収集した領域情報をリスト状で管理するようにしてもよい。具体的には、子ノードや子孫ノードの識別情報(例えば、映像配信管理サーバーから各ノードに付与された識別子情報等)に、子ノードや子孫ノードから収集した表示領域情報を含む領域情報を対応付けて管理する。これにより、子ノードや子孫ノード毎に、表示領域情報を含む領域情報を管理することができる。あるいは、直接の子ノード毎に、その子ノード以下の全ての領域情報のリスト(個々のノードは特定しない)として管理することができる。
【0083】
また、領域情報管理部306は、自装置30の表示領域情報と、子ノードや子孫ノードの表示領域情報を含む領域情報とに基づいて、包含関係にある領域を統合するようにしてもよい。例えば、
図8において、ユーザー(30-3)では、子ノードであるユーザー(30-2)の表示領域D2と、受信ノード30-3の表示領域D3とが一部領域で重なっている。このような場合に、受信ノード30-3の領域情報管理部306は、ユーザー(30-2)の表示領域D2又は受信ノード30-3の表示領域D3のいずれか一方について重複領域を削除し、重複領域を統合するようにしてもよい。これにより、重複領域を省いた領域情報を配信元ノード20や受信ノード30に指示することができるため、親ノードへ通知する領域情報のデータ量を削減することができる。
【0084】
さらに、領域情報管理部306は、自装置30の表示領域情報と、子ノードや子孫ノードの表示領域情報を含む領域情報とに基づいて、複数の表示領域が重なっている場合に、その全ての領域を覆うような大きな領域に統合するようにしてもよい。例えば、
図8において、ユーザー(30-5)では、ユーザー(30-2)の表示領域D2、ユーザー(30-3)の表示領域D3、ユーザー(30-4)の表示領域D4、ユーザー(30-5)の表示領域D5が重なり合っているが、これらすべてを囲うようなより大きな1つの矩形領域に統合してしまい、この1つの領域情報を配信元ノード20に送信する。このように、複数の表示領域が重なり合っており、比較的大きな表示領域の領域情報を送信する場合には、これら表示領域を統合した領域情報を形成したり、又はこれら領域を包含する大きな領域とする領域情報を形成するようにしてもよい。これにより、重複領域を包含する領域情報を配信元ノード20や受信ノード30に指示することができるため、親ノードに通知する領域情報のデータ量を削減することができる。
【0085】
これらの領域情報は順次経路上の受信ノード30の表示領域が追加されながら親ノードに伝搬し、配信元ノード20まで通知される。
【0086】
なお、これら領域情報の送受信は、ノード間(受信ノード30や配信元ノード20の間)で直接の通信路を設けてやり取りする構成としても良いが、映像配信管理サーバー10などのサーバーを介した中継により情報交換する構成としても良い。さらに、例えば、映像配信管理サーバー10で中継するような場合には、領域情報送信部307からは自装置の表示領域情報のみを送信し、映像配信管理サーバー10で配信ツリーの構成状態に従った、領域情報の集約を行ったうえで、領域情報受信部305や領域情報受信部205に送信するような構成としても良い。すなわち、領域情報送信部307からは自装置の表示領域情報のみを、映像配信管理サーバー10に送信する。映像配信管理サーバー10はこの領域情報を受け取るべき親ノードや先祖ノードである受信ノード30や配信元ノード20を配信ツリーの構成状態にしたがって特定し、これらのノードに対して、領域情報を送信した受信ノード30を含む配信ツリーのサブツリー(配信ツリー上の子ノード以下のツリーを構成する他の受信ノード30)の全てのノードの領域情報を集約して送信する。領域情報受信部305や領域情報受信部205は、映像配信管理サーバー10から各子ノード以下の配信ツリーのサブツリーの領域情報を受信する。領域の重なり等による領域情報の統合も映像配信管理サーバー10で行うように構成しても良い。
【0087】
[映像配信処理]
次に、
図9を参照しながら、各ノード(配信ノード20および受信ノード30)での映像加工の様子を説明する。
【0088】
図9も、
図8と同様に、説明を容易にするために、配信する映像データをイメージ化している。例えば「ユーザー(30-1)」の表記は配信元ノード20から受信ノード30-1に配信される映像のフレームを示しており、D1は、受信ノード30-1のユーザーが映像フレーム内で選択した表示領域を示している。また、点線で囲んでいるものは配信データを示しており、ハッチがかかっている部分が映像加工を施した部分を示しており、白抜き部分が映像加工を施していない部分を示している。
【0089】
図8に示すように、子ノードからは、子ノードやその子孫ノード(配信ツリー上の子ノード以下のツリーを構成する他の受信ノード30)の表示領域情報を集約した領域情報が通知されている。
【0090】
各ノード(配信ノード20および受信ノード30)における映像加工部203および映像加工部303では、その配信パス以下のいずれの受信ノード30でも表示領域とならないような領域(
図9のハッチで表現した領域)に対して映像加工を行う。配信パス以下のいずれかの受信ノード30で表示領域となる領域(
図9の白抜き部分で表現した領域)は映像加工の対象とはしない。
【0091】
配信元ノード20および受信ノード30の映像加工部203、303では、それぞれの領域情報管理部206、306で保持する子ノードやその子孫ノードの表示領域情報を含む領域情報にしたがって、子ノードやその子孫ノードのいずれにおいても表示領域とならない領域(加工対象領域)に対して、送信部204や再送信部304で用いられる映像符号化技術による発生符号量を低減する効果のある映像加工を行う。
【0092】
ここで、映像加工部203、303による映像加工の方法の一例を説明する。映像加工部203、303は、例えば、単純には加工対象の領域を単色(灰色など)に塗りつぶすようにしてもよい。あるいは、映像加工部203、303は、ガウスフィルタのようなぼかしフィルタ処理を行うようにしてもよい。送信部204や再送信部304で用いられる映像符号化技術では、例えば離散コサイン変換とエントロピー符号化が用いられるなどしており、複雑なテキスチャの領域や鮮明なエッジのある領域は符号量が発生しやすいが、単色領域や低域通過フィルタ処理された領域は符号量の発生が低減できる。
【0093】
なお、受信ノード30では、そのノードで初めて加工対象領域となる領域(自身の表示領域であるが子ノードからの領域情報には含まれない領域)に対してのみ加工処理を行うことにより処理量を削減するような構成としても良い。例えば、
図8において、ユーザー(30-3)で、親ノードであるユーザー(30-5)から映像加工された映像データを受信するが、このとき、ユーザー(30-3)では、子ノードであるユーザー(30-2)の表示領域情報を含む領域情報に基づいて、ユーザー(30-2)の表示領域以外の領域のみを映像加工することになる。これにより、各受信ノード30は、子ノードや子孫ノードの表示領域以外の自身の表示領域のみ、映像加工を行えばよい(それ以外の領域はすでに親ノードで映像加工されている)ので、映像加工に係る処理量を削減することができる。
【0094】
また、表示領域が動的に変化するような場合(ユーザーのマウス操作など)で、かつ、領域情報の送受信による交換と、加工処理のタイミングの同期をとることが困難な場合は、加工対象としない領域をあらかじめある範囲にわたって拡大しておいたり、加工対象としない領域周辺の加工対象領域に対しては弱いフィルタ処理を施すような処理を行っても良い。
【0095】
さらに、上記説明(
図9の例)では、子ノードが複数ある場合はそれぞれの子ノードごとに、その子ノード以下の配信ツリーにおける領域情報に従った映像加工処理をそれぞれ行う場合について記載したが、例えば、映像加工処理の処理負荷を低減するため、すべての子ノードの領域情報を統合した1種類の加工画像のみを生成する加工処理を行うような構成としても良い(ただし、この場合は子ノード以下では表示領域とならないような領域が加工処理されずに送信される場合も起こり得る)。
【0096】
以上のような処理により、アプリケーションレベルマルチキャストを用いた映像情報の配信を行う。
【0097】
(A-3)実施形態の効果
以上のように、本発明の実施形態によれば以下のような効果が得られる。
【0098】
アプリケーションレベルマルチキャストを用いた映像情報の配信システムにおいて、配信ツリーを構成する、配信元ノードおよび受信ノードの映像加工部において、配信ツリー上の子ノードやその子孫ノードのいずれにおいても表示領域とならない領域に対してのみ、送信部や再送信部で用いられる映像符号化技術による発生符号量を低減する効果のある映像加工を行うので、各受信ノードで表示される映像については映像加工による悪影響を与えることなく、子ノードに対して送信される送信データや再送信データの情報量を削減することができる。
【0099】
また、ネットワーク帯域に余裕ができるため、より高画質の映像符号化を施すことが可能となり、各受信ノードで出力される表示領域の映像データを高画質化することが可能となる。
【0100】
(B)他の実施形態
本発明は上記実施形態に限定されず、その他のさまざまな映像配信システムに利用可能である。
【0101】
例えば、映像や音声データ以外に文書やプレゼンテーション等の情報も同時に配信するなど様々なデータ配信に利用可能である。
【0102】
本発明は、上記構成を有するようなシステム、装置として構成する場合や、上記システムを構成する各装置の処理を実現するようなプログラムとしても実施可能である。
【0103】
例えば、配信元ノードや受信ノードの機能を実現するようなダウンロード可能なプログラム(例えばJavaScript(登録商標)プログラム)をサーバー上(Webサーバーや映像配信管理サーバー)に配置し、PCなどにダウンロードして(Webブラウザにダウンロードして)システムを構成するようなサーバー装置(サーバープログラム)として構成することも可能である。
【符号の説明】
【0104】
1…映像配信システム、10…映像配信管理サーバー、
20…配信元ノード、203…映像加工部、204…送信部、205…領域情報受信部、206…領域情報管理部、
30(30-1~30-5)…受信ノード、301…受信部、302…表示領域抽出部、303…映像加工部、304…再送信部、305…領域情報受信部、306…領域情報管理部、307…領域情報送信部。