(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-28
(45)【発行日】2023-03-08
(54)【発明の名称】端末装置、ストリーミング配信システム、及びプログラム
(51)【国際特許分類】
H04N 21/462 20110101AFI20230301BHJP
H04N 21/436 20110101ALI20230301BHJP
H04N 21/254 20110101ALI20230301BHJP
【FI】
H04N21/462
H04N21/436
H04N21/254
(21)【出願番号】P 2019078705
(22)【出願日】2019-04-17
【審査請求日】2022-03-11
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】森 翔平
(72)【発明者】
【氏名】山本 正男
(72)【発明者】
【氏名】西村 敏
(72)【発明者】
【氏名】黒住 正顕
【審査官】大西 宏
(56)【参考文献】
【文献】特開2012-095053(JP,A)
【文献】特開2016-127328(JP,A)
【文献】国際公開第2005/122577(WO,A1)
【文献】国際公開第2018/029471(WO,A1)
【文献】中国特許出願公開第101720041(CN,A)
【文献】中国特許出願公開第109618188(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
(57)【特許請求の範囲】
【請求項1】
ストリーミング配信システムにおいて用いる端末装置であって、
階層符号化を用いたストリーミング配信を行う配信サーバとの通信により、前記配信サーバから基本階層データを取得する基本階層データ取得部と、
前記配信サーバと通信する他の端末装置との端末間直接通信により、前記他の端末装置から転送される第1補強階層データを取得する第1補強階層データ取得部と、
前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第1補強階層データとを組み合わせて復号及び再生する再生処理部と、を備えることを特徴とする端末装置。
【請求項2】
前記再生処理部は、前記端末間直接通信が不可になった場合、前記配信サーバから取得される前記基本階層データを復号及び再生することを特徴とする請求項1に記載の端末装置。
【請求項3】
前記配信サーバとの通信により、前記配信サーバから第2補強階層データを取得する第2補強階層データ取得部と、
前記第2補強階層データを前記端末間直接通信により前記他の端末装置に転送する補強階層データ転送部と、をさらに備え、
前記再生処理部は、前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第1補強階層データと前記配信サーバから取得される前記第2補強階層データとを組み合わせて復号及び再生することを特徴とする請求項1に記載の端末装置。
【請求項4】
前記再生処理部は、前記端末間直接通信が不可になった場合、前記配信サーバから取得される前記基本階層データと前記配信サーバから取得される前記第2補強階層データとを組み合わせて復号及び再生することを特徴とする請求項3に記載の端末装置。
【請求項5】
前記基本階層データは、映像データのうち水平周波数及び垂直周波数共に低周波成分から構成されるデータであり、
前記第1補強階層データ及び前記第2補強階層データのうち一方は、前記基本階層データ以外の前記映像データのうち垂直周波数の高周波成分の領域から構成されるデータであり、
前記第1補強階層データ及び前記第2補強階層データのうち他方は、前記基本階層データ以外の前記映像データのうち水平周波数の高周波成分の領域から構成されるデータであることを特徴とする請求項3又は4に記載の端末装置。
【請求項6】
前記基本階層データは、映像データの各画素値のうち最上位ビットに近いビットから構成されるデータであり、
前記第1補強階層データ及び前記第2補強階層データのうち一方は、前記基本階層データを構成する各画素値のビット以外のうち低周波数成分の領域から構成されるデータであり、
前記第1補強階層データ及び前記第2補強階層データのうち他方は、前記基本階層データを構成する各画素値のビット以外のうち高周波成分の領域から構成されるデータであることを特徴とする請求項3又は4に記載の端末装置。
【請求項7】
請求項1乃至6のいずれか1項に記載の前記端末装置及び前記他の端末装置と、
インセンティブ管理サーバと、を備え、
前記インセンティブ管理サーバは、
前記他の端末装置から前記端末装置への前記第1補強階層データの転送状況に基づいて、前記他の端末装置に対して付与するインセンティブを決定するインセンティブ決定部を有することを特徴とするストリーミング配信システム。
【請求項8】
コンピュータを請求項1乃至6のいずれか1項に記載の端末装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置、ストリーミング配信システム、及びプログラムに関する。
【背景技術】
【0002】
インターネットを介した映像配信においては、ネットワークの混雑状況により、端末装置ごとに利用可能な通信帯域が時々刻々と変化する現状があり、HTTP Live StreamingやMPEG-DASH等のアダプティブストリーミング方式が一般的に利用されている。
【0003】
一方、映像配信の通信経路としては、インターネットだけではなく、端末間直接通信によりデータを送受信する方法も有りうる。例えば非特許文献1には、端末間直接通信により端末間でデータを直接的に転送する技術が記載されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】「5G時代における端末間通信による大容量通信エリアの拡張を実現」、インターネット<URL: https://www.kddi-research.jp/newsrelease/2018/052102.html>
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したようなストリーミング配信において端末間直接通信を活用することにより、インターネットの輻輳やキャッシュサーバの混雑に起因する利用可能帯域の低下の影響を抑制できると考えられる。
【0006】
しかしながら、端末間直接通信は端末間の無線通信を利用しており、無線干渉等の環境要因によって端末間直接通信が不可になりうる。このような場合、端末間直接通信によりデータを受信する端末装置において映像の再生が途切れるといった問題がある。
【0007】
そこで、本発明は、端末間直接通信を活用した映像のストリーミング配信において、端末間の無線通信環境が悪化した場合にも、映像の再生を継続できる端末装置、ストリーミング配信システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
第1の態様に係る端末装置は、ストリーミング配信システムにおいて用いる端末装置であって、階層符号化を用いたストリーミング配信を行う配信サーバとの通信により、前記配信サーバから基本階層データを取得する基本階層データ取得部と、前記配信サーバと通信する他の端末装置との端末間直接通信により、前記他の端末装置から転送される第1補強階層データを取得する第1補強階層データ取得部と、前記配信サーバから取得される前記基本階層データと前記他の端末装置から取得される前記第1補強階層データとを組み合わせて復号及び再生する再生処理部とを備えることを要旨とする。
【0009】
第2の態様に係るストリーミング配信システムは、第1の態様に係る前記端末装置及び前記他の端末装置と、インセンティブ管理サーバと、を備え、前記インセンティブ管理サーバは、前記他の端末装置から前記端末装置への前記第1補強階層データの転送状況に基づいて、前記他の端末装置に対して付与するインセンティブを決定するインセンティブ決定部を有することを要旨とする。
【0010】
第3の態様に係るプログラムは、コンピュータを第1の態様に係る端末装置として機能させることを要旨とする。
【発明の効果】
【0011】
本発明によれば、端末間直接通信を活用した映像のストリーミング配信において、端末間の無線通信環境が悪化した場合にも、映像の再生を継続できる端末装置、ストリーミング配信システム、及びプログラムを提供できる。
【図面の簡単な説明】
【0012】
【
図1】第1実施形態に係るストリーミング配信システムの構成を示す図である。
【
図2】第1実施形態に係る端末装置の構成を示す図である。
【
図3】第1実施形態及び第2実施形態に係るインセンティブ管理サーバの構成を示す図である。
【
図4】第1実施形態及び第2実施形態に係るインセンティブ決定方法の一例を示す図である。
【
図5】第1実施形態に係るストリーミング配信システムの動作例1を示す図である。
【
図6】第1実施形態に係るストリーミング配信システムの動作例2を示す図である。
【
図7】第1実施形態に係る端末装置(端末装置400a)の動作例を示す図である。
【
図8】第1実施形態に係る端末装置(端末装置400b)の動作例を示す図である。
【
図9】第2実施形態に係るストリーミング配信システムの構成を示す図である。
【
図10】第2実施形態に係る時間階層符号化を用いた階層符号化の例を示す図である。
【
図11】第2実施形態に係る空間階層符号化を用いた階層符号化の例を示す図である。
【
図12】第2実施形態に係るSNR階層符号化を用いた階層符号化の例を示す図である。
【
図13】第2実施形態に係る端末装置の構成を示す図である。
【発明を実施するための形態】
【0013】
図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0014】
<第1実施形態>
(ストリーミング配信システムの構成)
まず、本実施形態に係るストリーミング配信システムの構成について説明する。
図1は、本実施形態に係るストリーミング配信システム1の構成を示す図である。
【0015】
図1に示すように、ストリーミング配信システム1は、階層符号化器100と、配信サーバ200と、ネットワーク300と、一対の端末装置400a及び400bと、インセンティブ管理サーバ500とを有する。以下において、端末装置400a及び400bを特に区別しないときは単に端末装置400と呼ぶ。
【0016】
階層符号化器100は、高品質映像である原映像データに対して階層符号化を施し、階層符号化した映像データを配信サーバ200に格納する。
図1に示す例において、階層符号化器100は、基本階層データBと補強階層データEとを配信サーバ200に出力する。本実施形態において、補強階層データEは、第1補強階層データに相当する。
【0017】
ここで、基本階層データBは、原映像データのビットレートに対して低い符号化ビットレートで符号化した階層の映像データであって、独立して復号及び再生が可能なデータである。基本階層データBは、低品質映像データに相当する。
【0018】
補強階層データEは、基本階層データBで符号化していない階層の映像データであって、基本階層データBと組み合わせて復号及び再生が可能なデータである。すなわち、補強階層データEは、高品質映像データのうち基本階層データB以外のデータである。
【0019】
端末装置400は、基本階層データBと併せて補強階層データEを取得して復号することで、基本階層データBのみで映像再生を行うよりも高い符号化ビットレートでの映像再生、すなわち、高品質映像の再生を行うことができるようになる。
【0020】
なお、階層符号化器100における階層符号化としては、例えば、時間階層符号化、空間階層符号化、又はSNR階層符号化を利用できる。これらの階層符号化については、例えば、「角野眞也、映像情報メディア学会誌Vol.61,No.4(2007)、インターネット<URL:https://www.ite.or.jp/contents/keywords/FILE-20111231153637.pdf>」に記載されている。
【0021】
配信サーバ200は、階層符号化器100から出力された基本階層データBと補強階層データEとを格納する。配信サーバ200は、ネットワーク300を介して端末装置400との通信を行う。具体的には、配信サーバ200は、端末装置400からの要求に応じて、格納したデータをストリーミング配信により配信する。本実施形態において、配信サーバ200は、基本階層データB及び補強階層データEを端末装置400aに配信するとともに、基本階層データBを端末装置400bに配信する。
【0022】
ネットワーク300は、インターネットを含む。ネットワーク300は、無線通信サービスを提供する事業者の無線通信ネットワークを含んでもよい。ネットワーク300は、狭域通信ネットワーク(LAN)を含んでもよい。
【0023】
端末装置400は、ネットワーク300に接続して通信を行う機能、端末間直接通信を行う機能、及び映像データを再生する機能を有する。端末装置400は、これらの機能を有する端末であればどのような端末であってもよいが、例えば、スマートフォン端末、タブレット端末、パーソナルコンピュータ(PC)、ポータブルテレビ、又はウェアラブル端末等である。
【0024】
端末装置400a及び400bのそれぞれは、ネットワーク300に有線又は無線で接続し、ネットワーク300を介して配信サーバ200との通信を行う。ここで、ネットワーク300を介した通信について、端末装置400bの利用可能帯域は、端末装置400aの利用可能帯域よりも少なくてもよい。端末装置400bは、ネットワーク300を介した通信における利用可能帯域が枯渇した状態になりうる。
【0025】
本実施形態において、端末装置400aは、基本階層データB及び補強階層データEの配信を配信サーバ200に要求し、基本階層データB及び補強階層データEを配信サーバ200から取得する。端末装置400bは、基本階層データBの配信を配信サーバ200に要求し、補強階層データEを配信サーバ200から取得せずに基本階層データBを配信サーバ200から取得する。
【0026】
端末装置400a及び400bは、端末間直接通信を行う。端末間直接通信には、例えば、Wi-Fiダイレクト規格、ブルートゥース(登録商標)規格、セルラD2D(Device-to-Device)通信規格のいずれかの端末間直接通信規格を用いることができる。以下において、端末間直接通信が確立されることを「ペアリング」と呼ぶことがある。端末装置400aは、配信サーバ200から取得した補強階層データEを端末間直接通信により端末装置400bに転送する。
【0027】
なお、端末装置400aから端末装置400bに対して端末間直接通信によりデータ転送を実施する場合について説明するが、端末装置400aと端末装置400bの役割は逆でもよい。また、
図1では、2台の端末装置間でデータ転送を行う場合の構成を示しているが、データ転送を実施する端末は何台でも構わない。
【0028】
端末装置400aは、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。一方、端末装置400bは、配信サーバ200からネットワーク300を介して取得した基本階層データBと端末装置400aから端末間直接通信により取得した補強階層データEとを組み合わせて復号及び再生する。
【0029】
ここで、端末装置400において、基本階層データB及び補強階層データEを組み合わせて復号及び再生する場合の符号化ビットレートについて説明する。
【0030】
階層符号化器100から出力される階層符号化データである映像ストリームにおいて、基本階層データBの符号化ビットレートが3Mbpsであり、補強階層データEの符号化ビットレートが1Mbpsであるとする。
【0031】
端末装置400aは、基本階層データB及び補強階層データEを配信サーバ200からネットワーク300経由で取得し、それらを合成した4Mbps(=3Mbps+1Mbps)の映像を再生する。
【0032】
端末装置400bは、基本階層データBの映像ストリームを配信サーバ200からネットワーク300経由で取得し、補強階層データEを端末装置400aから端末間直接通信により取得し、それらを合成した4Mbps(=3Mbps+1Mbps)の映像を再生する。
【0033】
このように、基本階層データB及び補強階層データEを組み合わせて復号及び再生することにより、高品質な映像再生が可能である。
【0034】
但し、端末装置400bは、無線干渉等の環境要因によって端末間直接通信が不可になった場合、端末装置400bから補強階層データEを取得できず、配信サーバ200から取得した基本階層データBを復号及び再生する。
【0035】
これにより、端末装置400bにおいて、端末間直接通信が不可になった場合、画質の劣化は許容するものの、映像再生が途切れることを回避できる。
【0036】
インセンティブ管理サーバ500は、データ転送を実施した端末装置400aに対して付与するインセンティブを決定し、端末装置400aに対してインセンティブを付与する処理を行う。
【0037】
例えば、インセンティブ管理サーバ500は、転送した補強階層データの符号化ビットレートや、補強階層データを転送した時間に応じて、インセンティブの量を決める。インセンティブの一例としては、映像サービス利用料金のディスカウントが挙げられる。
【0038】
端末装置400aは、端末装置400aに比べて多くのデータを配信サーバ200から取得する必要があり、端末装置400aに比べて通信コストの負担が大きい。このため、この通信コスト負担を補うに価するインセンティブを端末装置400aに提供することで、端末装置400間の不公平感を解消する。
【0039】
(端末装置の構成)
次に、本実施形態に係る端末装置400の構成について説明する。
図2は、本実施形態に係る端末装置400の構成を示す図である。
【0040】
図2に示すように、端末装置400は、ネットワーク通信インターフェース部410と、端末間直接通信インターフェース部420と、ユーザインターフェース部430と、記憶部440と、処理部450とを有する。
【0041】
ネットワーク通信インターフェース部410は、ネットワーク300に有線又は無線で接続する。ネットワーク通信インターフェース部410は、イーサネット(登録商標)等の有線通信を行う有線通信モジュールを含んでもよいし、無線LAN通信又はセルラ通信等の無線通信を行う無線通信モジュールを含んでもよい。
【0042】
端末間直接通信インターフェース部420は、他の端末装置に無線で接続する。端末間直接通信インターフェース部420は、端末間直接通信を行うことが可能な無線通信モジュール、例えば、Wi-Fiダイレクト規格、ブルートゥース(登録商標)規格、セルラD2D通信規格等に準拠する無線通信モジュールを含んでもよい。
【0043】
ユーザインターフェース部430は、端末装置400のユーザとのインターフェースを構成する。ユーザインターフェース部430は、映像を表示する表示部、音声を出力する音声出力部、ユーザ操作を受け付ける操作部等を含む。
【0044】
記憶部440は、処理部450により実行されるプログラムと、処理部450による処理に用いられる情報を記憶する。記憶部440は、揮発性メモリ及び不揮発性メモリを含んでもよい。
【0045】
処理部450は、記憶部440に記憶されたプログラムを実行することにより、端末装置400における各種の処理及び制御を行う。本実施形態において、処理部450は、ネットワーク通信制御部451と、端末間直接通信制御部452と、ストリーム取得部453と、補強階層データ転送部454と、再生処理部455とを有する。
【0046】
ネットワーク通信制御部451は、ネットワーク通信インターフェース部410を制御する。また、ネットワーク通信制御部451は、ネットワーク通信インターフェース部410を介して配信サーバ200及びインセンティブ管理サーバ500との通信を行う。
【0047】
端末間直接通信制御部452は、端末間直接通信インターフェース部420を制御する。また、端末間直接通信制御部452は、端末間直接通信インターフェース部420を介して他の端末装置との通信を行う。
【0048】
ストリーム取得部453は、基本階層データB及び補強階層データEを取得する。本実施形態において、ストリーム取得部453は、基本階層データ取得部453aと、補強階層データ取得部453bとを有する。本実施形態において、補強階層データ取得部453bは、第1補強階層データ取得部に相当する。
【0049】
基本階層データ取得部453aは、ネットワーク通信インターフェース部410を介して、配信サーバ200から基本階層データBを取得する。
【0050】
補強階層データ取得部453bは、端末装置400が
図1に示す端末装置400aである場合、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データEを取得する。
【0051】
一方、端末装置400が
図1に示す端末装置400bである場合、補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して、端末装置400aから補強階層データEを取得する。
【0052】
本実施形態において、補強階層データ転送部454は、
図1に示す端末装置400aに設けられる。補強階層データ転送部454は、補強階層データ取得部453bが取得した補強階層データEを、端末間直接通信インターフェース部420を介して端末装置400bに転送する。
【0053】
再生処理部455は、基本階層データ取得部453aが取得した基本階層データBと補強階層データ取得部453bが取得した補強階層データEとを組み合わせて復号及び再生する。再生処理部455は、階層復号部455aと、再生部455bとを有する。
【0054】
階層復号部455aは、基本階層データB及び補強階層データEを復号するとともに、基本階層データB及び補強階層データEを合成して1つの映像ストリームを再生部455bに出力する。
【0055】
再生部455bは、階層復号部455aから出力された映像ストリームを再生する。ユーザインターフェース部430に表示部が含まれる場合、再生部455bは、この表示部に映像を表示させてもよい。再生部455bは、端末装置400の外部の表示部に映像を表示させてもよい。
【0056】
端末装置400が
図1に示す端末装置400bである場合、補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して端末装置400aから補強階層データEを取得できない場合がある。
【0057】
再生処理部455は、端末間直接通信が不可になった場合、配信サーバ200から取得される基本階層データBを復号及び再生する。具体的には、階層復号部455aは、基本階層データBのみを復号して映像ストリームを再生部455bに出力し、再生部455bは、階層復号部455aから出力された映像ストリームを再生する。
【0058】
(インセンティブ管理サーバの構成)
次に、本実施形態に係るインセンティブ管理サーバ500の構成について説明する。
図3は、本実施形態に係るインセンティブ管理サーバ500の構成を示す図である。
【0059】
図3に示すように、インセンティブ管理サーバ500は、ネットワーク通信インターフェース部510と、記憶部520と、処理部530とを有する。
【0060】
ネットワーク通信インターフェース部510は、ネットワーク300に有線又は無線で接続する。ネットワーク通信インターフェース部510は、イーサネット(登録商標)等の有線通信を行う有線通信モジュールを含んでもよいし、無線LAN通信等の無線通信を行う無線通信モジュールを含んでもよい。
【0061】
記憶部520は、処理部530により実行されるプログラムと、処理部530による処理に用いられる情報を記憶する。記憶部520は、揮発性メモリ及び不揮発性メモリを含んでもよい。
【0062】
処理部530は、記憶部520に記憶されたプログラムを実行することにより、インセンティブ管理サーバ500における各種の処理及び制御を行う。処理部530は、ペアリング管理部531と、データ転送管理部532と、インセンティブ決定部533とを有する。
【0063】
ペアリング管理部531は、ネットワーク通信インターフェース部510を介して各端末装置400との通信を行うことにより、端末装置400間のペアリング状況を管理する。
【0064】
データ転送管理部532は、ネットワーク通信インターフェース部510を介して各端末装置400との通信を行うことにより、端末装置400間の補強階層データEの転送状況を管理する。
【0065】
また、データ転送管理部532は、端末装置400aから端末装置400bへの補強階層データEの転送状況を端末装置400aから取得する。或いは、データ転送管理部532は、端末装置400aから端末装置400bへの補強階層データEの転送状況を端末装置400bから取得してもよい。補強階層データEの転送状況とは、他の端末装置への補強階層データEの転送時間や転送データ量等の指標をいうが、他の端末装置への貢献度合を示す指標であればどのような指標であってもよい。
【0066】
インセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。インセンティブの決定方法の一例を
図4(a)に示す。インセンティブ決定部533は、データ転送を実施したデータ量に比例したインセンティブを付与する。具体的には、インセンティブ決定部533は、より多くのデータ量のデータ転送を実施した端末装置400aに対してより多くのインセンティブを付与する。
【0067】
例えば、インセンティブ決定部533は、端末装置400aが10GB分のデータ転送を実施した場合、映像サービス利用料金の映像1本分の無料視聴サービスを提供する等が挙げられる。インセンティブ決定部533は、映像サービス利用料をポイント制として管理し、ポイントとしてインセンティブを付与してもよい。
【0068】
インセンティブ決定部533は、端末装置400bが再生する映像データの符号化ビットレートから体感品質を判定し、当該判定した体感品質に基づいてインセンティブを決定してもよい。インセンティブ決定部533は、端末装置400bが再生する映像データの内容(種別)も考慮して体感品質を判定してもよい。
【0069】
図4(b)に示すように、映像の符号化ビットレートと体感品質とは非線形関係にあり、符号化ビットレートを増加させても必ずしも体感品質が大きく向上するとは限らず、且つ体感品質は視聴する映像素材ごとによっても異なる。体感品質が向上しないにも拘わらずデータ転送を実施して符号化ビットレートを増加させることは不要であるため、インセンティブ決定部533は、インセンティブ量を体感品質の向上度を考慮して決定することが好ましい。
【0070】
(ストリーミング配信システムの動作例)
次に、本実施形態に係るストリーミング配信システム1の動作例について説明する。
【0071】
(1)動作例1
図5は、本実施形態に係るストリーミング配信システム1の動作例1を示す図である。
【0072】
図5に示すように、ステップS101において、端末装置400bのネットワーク通信制御部451は、端末装置400aによるデータ転送の提供可否の状況をインセンティブ管理サーバ500から取得する。
【0073】
ステップS102において、端末装置400bのネットワーク通信制御部451は、端末間直接通信により端末装置400aから補強階層データEの映像ストリームを取得することをインセンティブ管理サーバ500に要求する。
【0074】
ステップS103において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400aからの要求に応じて、端末装置400bによるデータ転送の要求状況を端末装置400aに通知する。端末装置400aのネットワーク通信制御部451は、端末装置400bによるデータ転送の要求状況をインセンティブ管理サーバ500から取得する。
【0075】
ステップS104において、端末装置400aのネットワーク通信制御部451は、端末装置400bにより要求されている補強階層データEの映像ストリームを提供する申出をインセンティブ管理サーバ500に対して行う。
【0076】
ステップS105において、端末装置400a及び400bのそれぞれの端末間直接通信制御部452は、相互にペアリングを行い、端末間直接通信を可能にする。
【0077】
なお、端末間直接通信制御部452は、端末装置400aにおいて転送中止の申出があった場合、又は端末装置400bにおいて転送データの取得中止の申出があった場合、端末間直接通信を切断し、ペアリングを解除する。また、端末間直接通信制御部452は、電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された場合もペアリングを解除する。
【0078】
ステップS106において、端末装置400aのネットワーク通信制御部451は、端末装置400bとのペアリングが開始された旨をインセンティブ管理サーバ500に通知する。同様に、ステップS107において、端末装置400bのネットワーク通信制御部451は、端末装置400aとのペアリングが開始された旨をインセンティブ管理サーバ500に通知する。インセンティブ管理サーバ500のペアリング管理部531は、端末装置400a及び400bがペアリングされことを記憶する。
【0079】
ステップS108において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400bに補強階層データEの映像ストリームを転送するように端末装置400aに指示する。
【0080】
ステップS109において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400aから補強階層データEの映像ストリームを取得するように端末装置400bに指示する。
【0081】
ステップS110において、端末装置400aのストリーム取得部453は、基本階層データB及び補強階層データEのそれぞれの映像ストリームを配信サーバ200から取得する。
【0082】
ステップS111において、端末装置400bのストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200から取得する。
【0083】
ステップS112において、端末装置400aの補強階層データ転送部454は、配信サーバ200から取得した補強階層データEの映像ストリームを端末間直接通信により端末装置400bに転送する。
【0084】
ステップS113において、端末装置400aの再生処理部455は、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。
【0085】
ステップS114において、端末装置400bの再生処理部455は、配信サーバ200から取得した基本階層データBと端末装置400aから取得した補強階層データEとを組み合わせて復号及び再生する。
【0086】
ステップS110乃至S114の動作は、1)端末装置400aにおいて転送中止の申出があった、2)端末装置400bにおいて転送データの取得中止の申出があった、3)電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された、のいずれかの事象が発生するまで繰り返される。
【0087】
ステップS115において、端末装置400aの補強階層データ転送部454は、端末装置400bに対する補強階層データEの映像ストリームの転送状況をインセンティブ管理サーバ500に通知する。
【0088】
ステップS116において、インセンティブ管理サーバ500のインセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの映像ストリームの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。
【0089】
(2)動作例2
図6は、本実施形態に係るストリーミング配信システム1の動作例2を示す図である。本動作例では、動作例1で説明したような補強階層データEの映像ストリームの転送が開始された後、ペアリングが解除される場合について説明する。
【0090】
図6に示すように、ステップS131乃至ステップS135の動作は、上述した動作例1と同様である。
【0091】
ここで、1)端末装置400aにおいて転送中止の申出があった、2)端末装置400bにおいて転送データの取得中止の申出があった、3)電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された、のいずれかの事象が発生したものとする。
【0092】
ステップS136において、端末装置400a及び400bのそれぞれの端末間直接通信制御部452は、ペアリングを解除し、端末間直接通信が不可になる。
【0093】
ステップS137において、端末装置400aのネットワーク通信制御部451は、端末装置400bとのペアリングが終了した旨をインセンティブ管理サーバ500に通知する。同様に、ステップS138において、端末装置400bのネットワーク通信制御部451は、端末装置400aとのペアリングが終了した旨をインセンティブ管理サーバ500に通知する。インセンティブ管理サーバ500のペアリング管理部531は、端末装置400a及び400bのペアリングが終了したことを記憶する。
【0094】
ステップS139において、端末装置400aの補強階層データ転送部454は、端末装置400bに対する補強階層データEの映像ストリームの転送状況をインセンティブ管理サーバ500に通知する。
【0095】
ステップS140において、インセンティブ管理サーバ500のインセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの映像ストリームの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。
【0096】
ステップS141において、端末装置400aのストリーム取得部453は、基本階層データB及び補強階層データEのそれぞれの映像ストリームを配信サーバ200から取得する。
【0097】
ステップS142において、端末装置400bのストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200から取得する。
【0098】
ステップS143において、端末装置400aの再生処理部455は、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。
【0099】
ステップS144において、端末装置400bの再生処理部455は、配信サーバ200から取得した基本階層データBを復号及び再生する。
【0100】
(端末装置の動作)
次に、本実施形態に係る端末装置400a及び400bの動作例について説明する。
【0101】
(1)端末装置400aの動作例
図7は、本実施形態に係る端末装置400aの動作例を示す図である。
【0102】
図7に示すように、ステップS201において、ネットワーク通信制御部451は、端末装置400a付近に、端末間直接通信によるデータ転送を要求している端末装置400bが存在するかをインセンティブ管理サーバ500に確認し、データ転送要求状況をインセンティブ管理サーバ500から取得する。
【0103】
ステップS202において、ネットワーク通信制御部451は、ユーザがデータ転送要求状況を見て、ストリーム提供を発意したとき、端末間直接通信により端末装置400bに映像ストリームを提供することをインセンティブ管理サーバ500に申し出る。
【0104】
ステップS203において、端末間直接通信制御部452は、端末装置400bとのペアリングを行い、端末間直接通信を可能にする。そして、ネットワーク通信制御部451は、ペアリング状況をインセンティブ管理サーバ500に通知する。
【0105】
ステップS204において、ストリーム取得部453は、基本階層データB及び補強階層データEを配信サーバ200からネットワーク300経由で取得する。
【0106】
ステップS205において、補強階層データ転送部454は、補強階層データEを端末装置400bに提供し、同時に提供した時間やデータ量等のデータ転送状況を計測する。なお、データ転送状況は端末装置400bへの貢献度合が測られる指標であれば異なる指標でもよい。
【0107】
ここで、端末間直接通信制御部452は、ペアリングが継続しているか否かを監視する。ペアリングが継続していれば、補強階層データ転送部454は、データ転送を継続する。一方、端末装置400bのユーザによるペアリングの離脱申出があった場合や、電波状況の劣化等に伴い端末間直接通信が切断された場合、端末間直接通信制御部452は、ペアリングを解除する。
【0108】
ステップS206において、ネットワーク通信制御部451は、データ転送状況をインセンティブ管理サーバ500に通知する。
【0109】
一方、ステップS207において、再生処理部455は、配信サーバ200からネットワーク300経由で取得した基本階層データB及び補強階層データEを復号する。
【0110】
ステップS208において、再生処理部455は、復号した基本階層データB及び補強階層データEの映像ストリームを合成し、1つの映像ストリームに変換する。
【0111】
ステップS209において、再生処理部455は、映像ストリームを再生する。
【0112】
(2)端末装置400bの動作例
図8は、本実施形態に係る端末装置400bの動作例を示す図である。
【0113】
図8に示すように、ステップS301において、ネットワーク通信制御部451は、端末装置400b付近に、端末間直接通信による映像ストリームを提供している端末装置400aが存在するかインセンティブ管理サーバ500に確認し、データ転送提供状況を取得する。
【0114】
ステップS302において、ネットワーク通信制御部451は、端末装置400bのユーザがデータ転送提供状況を見て、データ取得を発意したとき、端末間直接通信により端末装置400aから映像ストリームを取得することをインセンティブ管理サーバ500に申し出る。
【0115】
ステップS303において、端末間直接通信制御部452は、端末装置400aとペアリングし、端末間直接通信を可能にする。また、ネットワーク通信制御部451は、ペアリング状況をインセンティブ管理サーバ500に通知する。
【0116】
ステップS304において、ストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200からネットワーク300経由で取得する。
【0117】
ステップS305において、ストリーム取得部453は、補強階層データEの映像ストリームを、端末装置400aから端末間直接通信により取得する。
【0118】
ここで、端末間直接通信制御部452は、ペアリングが継続しているか否かを監視し、ペアリングが継続していれば、転送データの取得を継続する。一方、端末間直接通信制御部452は、端末装置400bのユーザによるペアリングの離脱申出があった場合や、電波状況の劣化等に伴い端末間直接通信が切断された場合は、ペアリングを解除する。
【0119】
ステップS306において、ネットワーク通信制御部451は、端末装置400aとのペアリングを解除したことをインセンティブ管理サーバ500に通知する。
【0120】
一方、ステップS307において、再生処理部455は、配信サーバ200からネットワーク300経由で取得した基本階層データBと、端末装置400aから端末間直接通信により取得した補強階層データEとを復号する。
【0121】
ステップS308において、再生処理部455は、復号した基本階層データB及び補強階層データEの映像ストリームを合成し、1つの映像ストリームに変換する。
【0122】
ステップS309において、再生処理部455は、映像ストリームを再生する。
【0123】
(第1実施形態のまとめ)
第1実施形態によれば、基本階層データBを低品質映像、補強階層データEを高品質映像のうち基本階層データ以外のデータとする階層符号化を用いている。そして、端末間直接通信の活用により、端末装置400aが配信サーバ200から取得した補強階層データEを端末装置400bに転送することにより、ネットワーク300の輻輳やキャッシュサーバの混雑に起因する利用可能帯域の低下の影響を抑制できる。また、基本階層データBを端末装置400bに配信することにより、端末間直接通信が不可になった場合においても、画質劣化は許容するものの端末装置400bでの映像の途切れを回避できる。
【0124】
さらに、端末間直接通信を行う端末装置400aには通信コスト負担を補うに価するインセンティブを提供することで、不公平感を解消した。これにより、端末間直接通信を利用した映像配信サービスの使い勝手に関するユーザ満足度を向上させることができる。
【0125】
<第2実施形態>
次に、第2実施形態について、第1実施形態との相違点を主として説明する。
【0126】
(ストリーミング配信システムの構成)
図9は、本実施形態に係るストリーミング配信システム1の構成を示す図である。
【0127】
図9に示すように、階層符号化器100は、基本階層データBと補強階層データE1と補強階層データE2とを配信サーバ200に出力する。本実施形態において、補強階層データE1は第1補強階層データに相当し、補強階層データE2は第2補強階層データに相当する。
【0128】
このように、本実施形態においては、互いに異なる2つの補強階層データE1及びE2を用いる。2つの補強階層データE1及びE2のそれぞれのデータ量は、例えば第1実施形態に係る補強階層データEの半分程度であってもよい。
【0129】
配信サーバ200は、基本階層データB及び補強階層データE1を端末装置400aに配信するとともに、基本階層データB及び補強階層データE2を端末装置400bに配信する。なお、本実施形態において、端末装置400bの利用可能帯域は、端末装置400aの利用可能帯域と同等であってもよい。
【0130】
端末装置400aは、配信サーバ200から取得した補強階層データE1を端末間直接通信により端末装置400bに転送する。端末装置400bは、配信サーバ200から取得した補強階層データE2を端末間直接通信により端末装置400aに転送する。このように、本実施形態においては、端末装置400a及び400bは補強階層データの転送を双方向に行う。
【0131】
端末装置400aは、配信サーバ200から取得した基本階層データB及び補強階層データE1と、端末装置400bから端末間直接通信により取得した補強階層データE2とを組み合わせて復号及び再生する。一方、端末装置400bは、配信サーバ200から取得した基本階層データB及び補強階層データE2と、端末装置400aから端末間直接通信により取得した補強階層データE1とを組み合わせて復号及び再生する。
【0132】
(階層符号化の例)
次に、本実施形態に係る階層符号化の例について説明する。本実施形態において、階層符号化器100は、第1実施形態に係る補強階層データEを補強階層データE1及びE2に分離する(すなわち、E=E1+E2)。
【0133】
(1)時間階層符号化
図10は、時間階層符号化を用いた階層符号化の例を示す図である。
【0134】
図10に示すように、基本階層データBは、映像フレーム内の画素値のみを符号化するIフレームと、前方の映像フレームとの差分を符号化するPフレームとから構成される。基本階層データB内の、Iフレーム数とPフレーム数の割合は適宜変更して構わない。サンプル時刻kのデータを
B(k); k=5N, N:0又は自然数
と表記する。
【0135】
補強階層データEは、前方と後方の両映像フレームとの差分を符号化するBフレームから構成される。奇数サンプル時刻kのデータを
E1(k); k=5N+2M+1, N:0又は自然数,M:0又は1
と表記し、偶数サンプル時刻kのデータを
E2(k); k=5N+2M+2, N:0又は自然数,M:0又は1
と表記する。
【0136】
基本階層データB(k)のみを復号することで映像再生は可能であるが、補強階層データE1(k)やE2(k)を組み合わせて復号し、基本階層データB(k)と合成することで、より高いフレームレートの映像再生が可能となる。
【0137】
なお、基本階層データB(k)と補強階層データE1(k)、E2(k)とを分離するサンプル時刻は前記の例に限らず、
B(k); k=7N, N:0又は自然数
E1(k); k=7N+2M+1, N:0又は自然数,M:0、1又は2
E2(k); k=7N+2M+2, N:0又は自然数,M:0、1又は2
等であっても構わない。
【0138】
また、基本階層データB(k)がIフレームから構成され、補強階層データE1(k)、E2(k)がPフレームとBフレームから構成されるとしてもよい。
【0139】
(2)空間階層符号化
図11は、空間階層符号化を用いた階層符号化の例を示す図である。基本階層データBは、映像データのうち水平周波数と垂直周波数共に低周波成分から構成される。補強階層データEの分離方法として
図11(a)及び
図11(b)の2例を示す。
【0140】
図11(a)に示す第1の例において、補強階層データE1は、基本階層データ以外の映像データのうち中周波成分の領域から構成される。補強階層データE2は、基本階層データ及び補強階層データE1以外の映像データの高周波成分の領域から構成される。
【0141】
図11(b)に示す第2の例において、補強階層データE1は、基本階層データ以外の映像データのうち垂直周波数の高周波成分の領域から構成される。補強階層データE2は、基本階層データ以外の映像データのうち水平周波数の高周波成分の領域から構成される。
【0142】
基本階層データBのみを復号することで映像再生は可能であるが、補強階層データE1やE2を併せて復号し基本階層データBと合成することで、より高い周波数成分のデータを持つ映像再生が可能となる。
【0143】
図11(b)に示す第2の例は、
図11(a)に示す第1の例よりも次の点で優れている。具体的には、
図11(a)に示す第1の例において、基本階層データBと補強階層データE2とを復号及び再生する場合、中間の周波数の補強階層データE1が抜けているため、不自然な絵柄になる。一方、
図11(b)に示す第2の例によれば、そのような不具合を抑制できる。
【0144】
なお、基本階層データBと、補強階層データE1と、補強階層データE2とを分離する閾値となる周波数は適宜変更して構わない。また、補強階層データEの分離方法は
図11(a)及び
図11(b)に示す方法以外でもよい。
【0145】
(3)SNR階層符号化
図12は、SNR階層符号化を用いた階層符号化の例を示す図である。基本階層データBは、映像データの画素値のうち最上位ビットに近いビットから構成される。補強階層データEの分離方法として
図12(a)及び
図12(b)の2例を示す。
【0146】
図12(a)に示す第1の例において、補強階層データE1は、基本階層データを構成する画素値のビット以外のうち上位のビットから構成される。補強階層データE2は、基本階層データ及び補強階層データE1を構成する画素値のビット以外の最下位のビットに近いビットから構成される。
【0147】
図12(b)に示す第2の例において、補強階層データE1は、基本階層データを構成する画素値のビット以外のうち低周波数成分の領域から構成される。補強階層データE2は、基本階層データを構成する画素値のビット以外のうち高周波成分の領域から構成される。
【0148】
基本階層データBのみを復号することで映像再生は可能であるが、補強階層データE1やE2を組み合わせて復号し、基本階層データBと合成することで、より高い量子化の精度のデータを持つ映像再生が可能となる。
【0149】
図12(b)に示す第2の例は、
図12(a)に示す第1の例よりも次の点で優れている。具体的には、
図12(a)に示す第1の例において、基本階層データBと補強階層データE2とを復号及び再生する場合、中間のビットの補強階層データE1が抜けているため、不自然な絵柄になる。一方、
図12(b)に示す第2の例によれば、そのような不具合を抑制できる。
【0150】
なお、基本階層データBと、補強階層データE1と、補強階層データE2とを分離する閾値となるビット数は適宜変更して構わない。また、補強階層データEの分離方法は
図12(a)及び
図12(b)に示す方法以外でもよい。
【0151】
(端末装置の構成)
次に、本実施形態に係る端末装置400の構成について説明する。
図13は、本実施形態に係る端末装置400の構成を示す図である。
【0152】
図13に示すように、本実施形態に係る端末装置400において、ストリーム取得部453は、基本階層データBと補強階層データE1と補強階層データE2とを取得する。具体的には、ストリーム取得部453は、基本階層データ取得部453aと、第1補強階層データ取得部453bと、第2補強階層データ取得部453cとを有する。
【0153】
基本階層データ取得部453aは、ネットワーク通信インターフェース部410を介して、配信サーバ200から基本階層データBを取得する。
【0154】
第1補強階層データ取得部453bは、端末装置400が
図9に示す端末装置400aである場合、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データE1を取得する。
【0155】
一方、端末装置400が
図9に示す端末装置400bである場合、第1補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して、端末装置400aから補強階層データE2を取得する。
【0156】
第2補強階層データ取得部453cは、端末装置400が
図9に示す端末装置400aである場合、端末間直接通信インターフェース部420を介して、端末装置400bから補強階層データE2を取得する。
【0157】
一方、端末装置400が
図9に示す端末装置400bである場合、第2補強階層データ取得部453cは、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データE2を取得する。
【0158】
本実施形態において、補強階層データ転送部454は、
図9に示す端末装置400a及び400bの双方に設けられる。
【0159】
補強階層データ転送部454は、端末装置400が
図9に示す端末装置400aである場合、第1補強階層データ取得部453bが取得した補強階層データE1を、端末間直接通信インターフェース部420を介して端末装置400bに転送する。
【0160】
一方、端末装置400が
図9に示す端末装置400bである場合、補強階層データ転送部454は、第2補強階層データ取得部453cが取得した補強階層データE2を、端末間直接通信インターフェース部420を介して端末装置400aに転送する。
【0161】
再生処理部455は、基本階層データ取得部453aが取得した基本階層データBと第1補強階層データ取得部453bが取得した補強階層データE1と第2補強階層データ取得部453cが取得した補強階層データE2とを組み合わせて復号及び再生する。
【0162】
端末装置400が
図9に示す端末装置400aである場合、第2補強階層データ取得部453cは、端末間直接通信インターフェース部420を介して端末装置400bから補強階層データE2を取得できない場合がある。端末装置400aにおいて、再生処理部455は、端末間直接通信が不可になった場合、基本階層データB及び補強階層データE1を組み合わせて復号及び再生する。
【0163】
端末装置400が
図9に示す端末装置400bである場合、第1補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して端末装置400aから補強階層データE1を取得できない場合がある。端末装置400bにおいて、再生処理部455は、端末間直接通信が不可になった場合、基本階層データB及び補強階層データE2を組み合わせて復号及び再生する。
【0164】
なお、本実施形態におけるストリーミング配信システム1の動作については、第1実施形態に係る片方向の補強階層データ転送を双方向で行えばよく、基本的な動作については第1実施形態と同様である。
【0165】
(第2実施形態のまとめ)
第2実施形態によれば、端末装置400aが基本階層データB及び補強階層データE1を配信サーバ200から取得するため、第1実施形態に比べて、端末装置400aがネットワーク300経由で取得すべきデータ量の削減を図り、端末装置400a及び400b間の不公平感を解消できる。
【0166】
また、端末装置400bが補強階層データE2を配信サーバ200から取得しているため、端末間直接通信が不可になった場合であっても、端末装置400bは、第1実施形態に比べて高画質な映像を再生可能である。
【0167】
<その他の実施形態>
上述した実施形態において、基本階層データ及び補強階層データのそれぞれが映像データである一例について説明した。しかしながら、基本階層データを音声データとし、補強階層データを映像と音声の両方を持つ映像データとしてもよい。
【0168】
上述した第1及び第2実施形態を使い分けてもよい。例えば、インセンティブ管理サーバ500は、端末装置400a及び400bのそれぞれの利用可能帯域に基づいて、第1実施形態に係る動作と第2実施形態に係る動作とを切り替えて用いてもよい。
【0169】
端末装置400が行う各処理をコンピュータに実行させるプログラム及びインセンティブ管理サーバ500が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。コンピュータは、プログラムに従って演算処理を行うものであればどのようなものであってもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0170】
また、端末装置400が行う各処理を実行する機能部(回路)を集積化し、端末装置400を半導体集積回路(チップセット、SoC)として構成してもよい。
【0171】
以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0172】
1 :ストリーミング配信システム
100 :階層符号化器
200 :配信サーバ
300 :ネットワーク
400 :端末装置
410 :ネットワーク通信インターフェース部
420 :端末間直接通信インターフェース部
430 :ユーザインターフェース部
440 :記憶部
450 :処理部
451 :ネットワーク通信制御部
452 :端末間直接通信制御部
453 :ストリーム取得部
453a :基本階層データ取得部
453b :補強階層データ取得部(第1補強階層データ取得部)
453c :第2補強階層データ取得部
454 :補強階層データ転送部
455 :再生処理部
455a :階層復号部
455b :再生部
500 :インセンティブ管理サーバ
510 :ネットワーク通信インターフェース部
520 :記憶部
530 :処理部
531 :ペアリング管理部
532 :データ転送管理部
533 :インセンティブ決定部