IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】送信方法および受信方法
(51)【国際特許分類】
   H04N 21/2362 20110101AFI20240625BHJP
   H04N 21/434 20110101ALI20240625BHJP
   H04H 20/28 20080101ALI20240625BHJP
   H04H 60/13 20080101ALI20240625BHJP
【FI】
H04N21/2362
H04N21/434
H04H20/28
H04H60/13
【請求項の数】 4
(21)【出願番号】P 2023078631
(22)【出願日】2023-05-11
(62)【分割の表示】P 2022064126の分割
【原出願日】2014-07-15
(65)【公開番号】P2023099620
(43)【公開日】2023-07-13
【審査請求日】2023-05-11
(31)【優先権主張番号】61/858,155
(32)【優先日】2013-07-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/862,115
(32)【優先日】2013-08-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/863,041
(32)【優先日】2013-08-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/880,283
(32)【優先日】2013-09-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/883,251
(32)【優先日】2013-09-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/890,981
(32)【優先日】2013-10-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/892,539
(32)【優先日】2013-10-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】遠間 正真
(72)【発明者】
【氏名】井口 賀敬
(72)【発明者】
【氏名】西 孝啓
(72)【発明者】
【氏名】加藤 久也
【審査官】富樫 明
(56)【参考文献】
【文献】特表2015-501573(JP,A)
【文献】特表2014-530558(JP,A)
【文献】特表2014-509111(JP,A)
【文献】米国特許出願公開第2017/0163945(US,A1)
【文献】特表2017-517181(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 - 21/858
H04H 20/00 - 20/95
H04H 60/00 - 60/98
(57)【特許請求の範囲】
【請求項1】
放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信方法であって、
前記コンテンツを、MMT(MPEG Media Transport)にしたがったフォーマットで生成する生成ステップと、
放送波と通信路とのそれぞれを用いて前記コンテンツを送信する場合において、前記通信路により送信される前記コンテンツがあることを示す情報と、前記通信路により送信される前記コンテンツの再生制御のメタ情報のフォーマットを示す情報と、前記通信路により送信される前記コンテンツの取得先を示すロケーション情報を含む補助情報とを、少なくとも前記放送波を用いて送信する情報送信ステップとを含む、
送信方法。
【請求項2】
放送波と通信路とのそれぞれを用いて送信されたコンテンツを受信する受信ステップと、
前記通信路により送信される前記コンテンツがあることを示す情報と、前記通信路により送信される前記コンテンツの取得先を示すロケーション情報を含む補助情報と、前記通信路により送信される前記コンテンツの再生制御のメタ情報のフォーマットを示す情報とを受信した場合には、前記通信路により送信される前記コンテンツがあると判定して同期を取る処理を行い、前記コンテンツを再生する再生ステップと、を含み、
前記コンテンツは、MMT(MPEG Media Transport)にしたがったフォーマットで生成されている、
受信方法。
【請求項3】
放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信装置であって、
前記コンテンツを、MMT(MPEG Media Transport)にしたがったフォーマットで生成する生成部と、
放送波と通信路とのそれぞれを用いてコンテンツを送信する場合において、前記通信路により送信される前記コンテンツがあるがあることを示す情報と、前記通信路により送信される前記コンテンツの再生制御のメタ情報のフォーマットを示す情報と、前記通信路により送信される前記コンテンツの取得先を示すロケーション情報を含む補助情報とを少なくとも前記放送波を用いて送信する情報送信部とを備える、
送信装置。
【請求項4】
放送波と通信路とのそれぞれを用いて送信されたコンテンツを受信する受信部と、
前記通信路により送信される前記コンテンツがあることを示す情報と、前記通信路により送信される前記コンテンツの取得先を示すロケーション情報を含む補助情報と、前記通信路により送信される前記コンテンツの再生制御のメタ情報のフォーマットを示す情報とを受信した場合には、前記通信路により送信される前記コンテンツがあると判定して同期を取る処理を行い、前記コンテンツを再生する再生部と、を備え、
前記コンテンツは、MMT(MPEG Media Transport)にしたがったフォーマットで生成されている、
受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、送信方法および受信方法に関する。
【背景技術】
【0002】
従来、コンテンツを配信するための主な伝送路は放送波であり、放送波を用いた放送システムで広く用いられているメディアトランスポート方式として、例えば、MPEG-2 TS(Moving Picture Experts Group-2 Transport Stream)がある。
【0003】
一方、近年のネットワーク技術の進展に伴い、インターネットなどの通信路を用いてコンテンツを配信することができるようになっている。つまり、放送波だけでなく通信路も用いてコンテンツを配信できるようになっており、コンテンツを配信可能な伝送路が多様化している。
【0004】
例えば、非特許文献1には、放送と通信とを併用してコンテンツを配信することを想定した新たなメディアトランスポート方式として、MMT(MPEG Media Transport)などがある(非特許文献1参照)。例えば、特許文献1には、放送をメインとして、放送から取得したデータに基づいて、通信コンテンツにアクセスする技術が開示されている。
【先行技術文献】
【非特許文献】
【0005】
【文献】Information technology - High efficiency coding and media delivery in heterogeneous environment - Part1:MPEG media transport(MMT)、ISO/IEC DIS 23008-1
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、放送と通信とを併用したコンテンツの配信および配信されたコンテンツを受信するために、コンテンツの受信等に関する情報(サービス情報)を取得してコンテンツの受信を開始することについて議論されているものの、通信によるコンテンツへの迅速なアクセス動作などが考慮されておらず、通信によるコンテンツの受信開始タイミングが遅延するなどの課題がある。
【0007】
そこで、本発明の目的は、通信によるコンテンツの受信開始タイミングが遅延しても受信側で放送と通信とを併用したコンテンツを再生可能なコンテンツの送信方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の一態様に係る送信方法は、放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信方法であって、前記コンテンツを、MMT(MPEG Media Transport)にしたがったフォーマットで生成する生成ステップと、放送波と通信路とのそれぞれを用いてコンテンツを送信する場合において、前記通信路により送信される前記コンテンツがあることを示す情報と、前記通信路により送信される前記コンテンツの再生制御のメタ情報のフォーマットを示す情報と、前記通信路により送信される前記コンテンツの取得先を示すロケーション情報を含む補助情報とを、少なくとも前記放送波を用いて送信する情報送信ステップを含む。
【0009】
なお、これらの全般的または具体的な態様は、データ受信方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、データ送信方法、データ受信方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本発明によれば、通信によるコンテンツの受信開始タイミングが遅延しても受信側で放送と通信とを併用したコンテンツを再生可能なコンテンツの送信方法等を実現できる。
【図面の簡単な説明】
【0011】
図1A】実施の形態1の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。
図1B】実施の形態1の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。
図2】実施の形態1における伝送路識別デスクリプタの概要の一例を示す図である。
図3A】実施の形態1の放送通信連携サービスにおけるサービス情報のデータ構造の別の一例を示す図である。
図3B】実施の形態1の放送通信連携サービスにおけるサービス情報のデータ構造の別の一例を示す図である。
図4A】実施の形態1の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。
図4B】実施の形態1の放送通信連携サービスにおける受信側の動作の別の一例を示すフローチャートである。
図5】実施の形態1における受信装置の構成の一例を示すブロック図である。
図6A】実施の形態1の変形例1の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。
図6B】実施の形態1の変形例1の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。
図7A】実施の形態1の変形例1の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。
図7B】実施の形態1の変形例1の放送通信連携サービスにおける受信側の動作の別の一例を示すフローチャートである。
図8】実施の形態1の変形例1における受信装置の構成の一例を示すブロック図である。
図9】実施の形態1の変形例2の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。
図10】実施の形態1の変形例2における受信装置の構成の一例を示すブロック図である。
図11】実施の形態1の変形例4の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。
図12】実施の形態1の変形例4の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。
図13A】実施の形態1の変形例4におけるロケーション情報デスクリプタのシンタックスの一例を示す図である。
図13B】実施の形態1の変形例4におけるロケーション情報デスクリプタのシンタックスの一例を示す図である。
図13C】実施の形態1の変形例4におけるロケーション情報デスクリプタのシンタックスの一例を示す図である。
図13D】実施の形態1の変形例4におけるロケーション情報デスクリプタのシンタックスの一例を示す図である。
図14】実施の形態1の変形例6の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。
図15】実施の形態1の変形例6の放送通信連携サービスにおける受信側の動作の別の一例を示すフローチャートである。
図16】実施の形態1の変形例7の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。
図17】実施の形態1の変形例7における受信装置の構成の一例を示すブロック図である。
図18A】実施の形態2におけるデフォルト再生制御情報の記述例を示す図である。
図18B図18Aに示すデフォルト再生制御情報のレイアウト情報に従ったビデオの表示例について示す図である。
図19A】実施の形態2におけるアプリケーション制御情報の一例を示す図である。
図19B図19Aに示すアプリケーション制御情報のレイアウト情報に従ったビデオの表示例について示す図である。
図20A】実施の形態2におけるデフォルト再生制御情報の別の記述例を示す図である。
図20B図20Aに示すデフォルト再生制御情報のレイアウト情報に従ったビデオの表示例について示す図である。
図21A】実施の形態2におけるアプリケーション制御情報の一例を示す図である。
図21B図21Aに示すアプリケーション制御情報のレイアウト情報に従ったビデオの表示例について示す図である。
図22】実施の形態2における受信側の動作の一例を示すフローチャートである。
図23】実施の形態2における受信装置の構成の一例を示すブロック図である。
図24】実施の形態3における放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。
図25】実施の形態3のプログラム構成情報記述子に含まれる情報の一例を示す図である。
図26】実施の形態3のロケーション情報記述子に含まれる情報の一例を示す図である。
図27】実施の形態3のロケーション情報記述子に含まれるロケーションタイプの一例を示す図である。
図28】実施の形態3のアセット構成情報記述子に含まれる情報の一例を示す図である。
図29】実施の形態3の放送通信連携サービスにおける受信方法を示すフローチャートである。
図30】実施の形態3における受信装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
(本発明の基礎となった知見)
現在、放送と通信とを併用して、コンテンツを配信するサービス(放送通信連携サービス)が検討されている。中でも、放送をメインとして、放送から取得したデータに基づいて、通信から取得したコンテンツ(以下通信コンテンツ)にアクセスする方式が有望である。放送通信連携サービスにおけるコンテンツを受信する受信側での視聴開始時の動作としては、放送のみでコンテンツを配信する従来のサービスと同様に、サービス情報を取得後に、オーディオやビデオの符号化データ、または、MPEG-2システムにおけるデータカルーセルなどによりコンテンツの受信を開始することが考えられている。
【0013】
しかしながら、従来のサービスで取得できるサービス情報では、通信コンテンツへの迅速なアクセス動作や放送コンテンツのみを選択して受信する際の動作などに対する考慮はされていない。そのため、従来のサービス情報を利用して放送通信連携サービスを行う場合には、サービス情報の解析に係る処理が増加したり通信コンテンツの取得開始タイミングが遅延したりするなどの課題がある。
【0014】
このような課題を解決するために、本発明の一態様に係る送信方法は、放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信方法であって、放送波と通信路とのそれぞれを用いてコンテンツを送信する場合には、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報であって受信側が受信した場合に前記同期を取らせる補助情報を、少なくとも前記放送波を用いて送信する情報送信ステップを含む。
【0015】
本態様によれば、通信によるコンテンツの受信開始タイミングが遅延しても受信側で放送と通信とを併用したコンテンツを再生可能なコンテンツの送信方法を実現することができる。より具体的には、放送波と通信路を用いてコンテンツを送信した場合には、放送波と通信路とを用いて送信したコンテンツ間との同期を取るための補助情報を送信するので、受信側が補助情報を受信したときには受信側にコンテンツ間の同期を取らせることができる。
【0016】
ここで、例えば、前記情報送信ステップでは、前記コンテンツを送信するのに先だって前記補助情報を送信し、前記補助情報には、さらに、前記コンテンツの取得先を示すロケーション情報または前記ロケーション情報の取得先を示す情報が含まれていてもよい。
【0017】
また、例えば、前記補助情報送信ステップでは、さらに、前記補助情報に、前記放送波によるコンテンツの基準クロックと前記通信路によるコンテンツの基準クロックとの差分情報を含めて送信してもよい。
【0018】
また、例えば、前記補助情報送信ステップでは、前記補助情報を送信することにより、前記コンテンツの基準クロックが異なる場合には、前記差分情報に基づき前記通信路によるコンテンツの基準クロックを前記放送波によるコンテンツの基準クロックに同期させることで前記受信側に前記同期を取らせてもよい。
【0019】
また、例えば、前記送信方法では、前記コンテンツを、MMT(MPEG Media Transport)にしたがったフォーマットで生成する生成ステップと、前記コンテンツを、前記生成ステップで生成されたフォーマットで送信するコンテンツ送信ステップと、を含んでもよい。
【0020】
また、例えば、前記生成ステップでは、前記補助情報を、前記コンテンツの取得に関する情報であるメッセージ情報に含めて生成してもよい。
【0021】
また、上記課題を解決するために、本発明の一態様に係る受信方法は、放送波と通信路とのそれぞれを用いて送信されたコンテンツを受信する受信ステップと、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報を受信した場合には、前記同期を取る処理を行い、前記コンテンツを再生する再生ステップと、を含む。
【0022】
ここで、例えば、前記受信ステップでは、前記コンテンツを受信するのに先だって前記補助情報を受信し、前記補助情報に、前記コンテンツの取得先を示すロケーション情報が含まれている場合には、前記ロケーション情報に基づき前記コンテンツを取得することで、前記コンテンツを受信してもよい。
【0023】
また、例えば、前記受信ステップでは、前記コンテンツを受信するのに先だって前記補助情報を受信し、前記補助情報に、前記コンテンツの取得先を示すロケーション情報の取得先を示す情報が含まれている場合には、前記ロケーション情報の取得先を示す情報に基づき前記ロケーション情報を取得し、取得した前記ロケーション情報から前記コンテンツを取得することで、前記コンテンツを受信してもよい。
【0024】
また、例えば、前記再生ステップでは、前記受信ステップにおいて、前記放送波によるコンテンツの基準クロックと前記通信路によるコンテンツの基準クロックとの差分情報を含む前記補助情報を受信し、かつ、前記放送波によるコンテンツの基準クロックおよび前記通信路によるコンテンツの基準クロックが異なる場合には、前記差分情報に基づき前記通信路によるコンテンツの基準クロックを前記放送波によるコンテンツの基準クロックに同期させることで前記コンテンツの同期を取る処理を行い、前記コンテンツを再生してもよい。
【0025】
また、上記課題を解決するために、本発明の一態様に係る送信装置は、放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信装置であって、放送波と通信路とのそれぞれを用いてコンテンツを送信する場合には、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報であって、受信側が受信した場合に前記同期を取らせる補助情報を少なくとも前記放送波を用いて送信する情報送信部を備える。
【0026】
また、上記課題を解決するために、本発明の一態様に係る受信装置は、放送波と通信路とのそれぞれを用いて送信されたコンテンツを受信する受信部と、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報を受信した場合には、前記同期を取る処理を行い、前記コンテンツを再生する再生部と、を備える。
【0027】
なお、これらの全般的または具体的な態様は、送信方法、送信装置、受信方法、受信装置、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD-ROMなどの記録媒体記録媒体で実現されてもよく、データ受信方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【0028】
以下、本発明の一態様に係る送信方法および受信方法等について、図面を参照しながら具体的に説明する。
【0029】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0030】
(実施の形態1)
本実施の形態では、放送通信連携サービスにおけるコンテンツを送信および受信する送信方法について説明する。
【0031】
[送信方法]
本実施の形態では、送信側は、放送波と通信路を用いてコンテンツ(データまたはアセット)を送信するが、コンテンツの送信に先だってサービス情報を送信する。
【0032】
[サービス情報]
ここで、サービス情報とは、選局動作後(選局後)にオーディオやビデオ、もしくは、データ放送に関連するデータなどを取得するための情報、または、EPG(Electric Program Guide)の情報など、コンテンツの受信やメタデータの取得に関連する一連の情報を指す。
【0033】
なお、現状の放送は、主に、MPEG-2 TS(Transport Stream)のセクションを用いて送信され、PAT(Program Association Table)、PMT(Program Map Table)、NIT(Network Information Table)、CAT(Conditional Access Table)、または、ARIB(電波産業会)において規定されたEIT(Event Information Table)などが含まれる。
【0034】
本実施の形態では、放送連携サービスにおける放送側の多重化フォーマットとして、MPEGで規格化されたMMT(MPEG Media Transport)を例に挙げて説明する。しかし、この多重化フォーマットはMMTに限定されるものではなく、TSやMPEG-DASH(Dynamic Adaptive Streaming over HTTP)など他の多重化フォーマットであってもよい。
【0035】
本実施の形態におけるサービス情報は、多重化フォーマットに格納できるデータ構造において送信される。例えばMMTでは、サービス情報は、MPT(MMT Package Table)などのテーブル、あるいは、PA(Package Access)メッセージなどのメッセージ情報により送信される。なお、各テーブルにおいては、TSと同様に、デスクリプタを用いて補助情報を記述することができる。
【0036】
図1A及び図1Bは、実施の形態1の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。より具体的には、図1Aには、伝送路識別デスクリプタが含まれたMPTが示されており、図1Bでは、図1Aに示す伝送路識別デスクリプタにおいて、例えばパッケージを構成するアセットの伝送路に関する情報が属性情報として記述されている例が示されている。
【0037】
(属性情報)
1)パッケージを構成するアセットが、(1)放送のみを用いる、および、(2)放送と通信とを併用のうちのどちらの方法により送信されるかを示す情報を属性情報として含めるとしてもよい。
【0038】
なお、本編のオーディオとビデオのデータが、(1)放送のみを用いる、および、(2)放送と通信とを併用のうちのどちらの方法により送信されるかを示す情報であってもよい。この情報により、本編が放送のみを用いて送信される場合でも、オーディオ、ビデオ、静止画、あるいは、HTMLファイルなどの本編とは別のメタデータなどは、通信ネットワークから取得できる。
【0039】
2)オーディオやビデオのデータが、放送と通信とを併用して送信される際に、それぞれで送信されるデータの関連を示す情報を属性情報として含めるとしてもよい。
【0040】
ここで、例えば、スケーラビリティ(時間解像度(60fps→120fpsなど)、空間解像度(4k→8kなど)、ビット深度(8bit→10bitなど))を実現する場合、属性情報により放送は基本レイヤを、通信は拡張レイヤを用いて送信することを示すことができる。なお、属性情報は、放送データのみではフレームレートが60fpsであるが、通信データを併用すると120fpsまでフレームレートを向上できるなどを示すとしてもよい。また、放送のバックアップ用のデータを通信で送信することを示してもよい。これにより、送信側は、属性情報を用いて、降雨減衰などで放送の受信状況が悪化した場合には、通信によりデータを送信するように切替えることができる。
【0041】
また、属性情報は、互いに関連するアセットを識別するための情報を示すとしてもよい。例えば、属性情報が基本レイヤのアセットIDと、基本レイヤに対応する拡張レイヤのアセットIDを示すとしてもよい。
【0042】
MMTでは、同一のアセットを複数の伝送路を用いて送信することも可能である。従って、属性情報は、同一アセットが放送と通信を併用して送信されるかどうかを示してもよい。このとき、当該アセットの識別情報(アセットIDなど)を別途示すとしてもよい。関連するアセットを識別するための情報を、例えば図2に示すようにアセット毎の個別の伝送路識別デスクリプタにより示してもよい。ここで、図2は、実施の形態1における伝送路識別デスクリプタの概要の一例を示す図である。図2に示す個別の伝送路識別デスクリプタは、例えば当該アセットが、基本レイヤ、あるいは、拡張レイヤのどちらのアセットであるかを識別するための情報を示すとしてもよいし、当該アセットが拡張レイヤである場合には、対応する基本レイヤのアセットのIDなどを示すとしてもよい。
【0043】
また、属性情報は、放送のアセットと通信のアセットとをそれぞれグループ化し、グループ内に含まれるアセットのリストを示すとしてもよい。放送と通信を併用して送信されるアセットが存在する場合には、別途グループ化してもよい。
【0044】
3)放送により送信されるオーディオやビデオと、通信により送信されるオーディオやビデオとが、同期再生されるかどうかを示す情報を属性情報として含めるとしてもよい。
【0045】
4)放送により送信されるオーディオやビデオのクロック情報と、通信により送信されるオーディオやビデオのクロック情報とが、同じかどうかを示す情報を属性情報として含めるとしてもよい。
【0046】
なお、属性情報は、個々の情報を個別のフィールドとして示してもよいし、サービスのタイプを示す情報を定義して、タイプにより識別できるようにしてもよい。また、属性情報は、デスクリプタとは異なる形式により記述されるとしてもよい。
【0047】
また、伝送路識別デスクリプタは、MPTとは異なる、パッケージ単位の情報を示すテーブルやメッセージに格納するとしてもよい。また、上記の伝送路識別デスクリプタの内容をデスクリプタとは異なるデータ構造として記述してもよい。
【0048】
また、複数のパッケージを送信する際には、パッケージの一覧を示すテーブルやメッセージを定義して、パッケージ単位の情報として、伝送路識別デスクリプタのような情報をパッケージの属性情報として示してもよい。
【0049】
図3A及び図3Bは、実施の形態1の放送通信連携サービスにおけるサービス情報のデータ構造の別の一例を示す図である。
【0050】
すなわち、図3Aおよび図3Bに示すように、アセット毎のロケーション情報については、放送と通信とで送信されるアセットを、それぞれ別のMPTに格納してもよい。このとき、パッケージの属性情報は、サービスのエントリポイントとなる伝送路において送られるMPTに格納できる。例えば、放送がエントリポイントとなる場合には、放送で送られるMPTに格納する。また、これらのMPTはtable_idにより識別できる。
【0051】
MMT規格では、基準となるMPTのtable_idの値はゼロと規定されているため、エントリポイントとなる伝送路に対応するMPTのtable_idをゼロとし、他方の伝送路に対応するMPTのtable_idを1以上とするなどが可能である。
【0052】
なお、放送アセットのMPTは放送により、通信アセットのMPTは通信により送信してもよい。
【0053】
また、放送と通信のアセットのロケーション情報を1つのMPTに格納するとしてもよい。この場合、それぞれのアセットのロケーション情報を連続して格納するなどして容易に識別できるようにすればよい。例えば、放送のアセットがN1個、通信のアセットがN2個存在する場合には、まず、N1個の放送アセットの情報を連続して記述し、その後にN2個の通信アセットの情報を連続して記述する。なお、伝送路識別デスクリプタにおいて、N1個のアセットが放送において、N2個のアセットが通信において送信される旨を示してもよい。
【0054】
このように、送信側において、サービス情報に補助情報である伝送路識別デスクリプタを含めて送信する。それにより、受信側において、補助情報を含むサービス情報を取得するだけで、伝送路識別デスクリプタに記述されるパッケージの属性情報により、通信のデータが含まれるかどうか、あるいは、放送データと通信データとの依存関係などを、アセット毎の情報を解析することなく前もって取得できる。
【0055】
特に、通信データを受信する際には、受信処理の起動に係る遅延時間を短縮できるというメリットがある。
【0056】
[送信装置]
例えば、本実施の形態の送信装置は、放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信装置であって、補助情報として伝送路識別デスクリプタなどパッケージの属性情報を生成し、サービス情報に含めて送信する。
【0057】
本実施の形態の送信装置は、このサービス情報を、周期的に送信してもよい。このサービス情報の内容が更新される際には、更新直後にその更新した内容をサービス情報において反映する。
【0058】
また、エントリポイントは、放送に限定されるものではなく、通信であってもよいし、放送と通信の両方からエントリできるようにしてもよい。なお、両方からエントリ可能とする際には、パッケージ単位の情報については、少なくとも、放送と通信の両方の送信装置から送信する。
【0059】
なお、受信側において放送通信連携サービスのコンテンツを受信する際には、必ずしも両伝送路により送られるデータを受信しなくてもよい。例えば、放送のデータのみを受信して再生するとしてもよい。このとき、受信側が通信データを受信する際に必要となる情報は、放送データの受信時には不要であるため、送信側は通信データを受信する際に必要となる情報を通信において送信するとしてもよい。すなわち、送信側は、パッケージ単位の情報についてエントリポイントとなる伝送路において送信し、放送、通信など伝送路に固有の情報は、それぞれの伝送路において送信するとしてもよい(例えば図2)。なお、以下では、放送がエントリポイントであるとして説明する。
【0060】
こうすることで、各伝送路に固有のサービス情報は、各伝送路における送信装置が生成して送信できる。ただし、アセットのロケーション情報などMPTにより送信される情報は、最初に一括して取得することで、通信側のアセットの取得開始に係る遅延時間が低減できるため、放送で送信してもよい。
【0061】
(通信に固有の情報の例)
通信(インターネット、CDN(Contents Delivery Network)などの通信ネットワーク)に固有の情報の例を示す。
【0062】
1)例えばFECの方式、パラメータなど、通信により送信するパケットにおけるFEC(Forward Error Correction)に関連する情報
2)例えばパケットロス率や、パケット到着時刻のジッタ、あるいは、RTT(Round Trip Time)、通信伝送路におけるend-to-end遅延など、QoS(Quality of Service)コントロールに関連する情報
3)例えばバッファリング時間、バッファリング量など、アセットのデータを受信してから復号開始するまでのバッファリングに関する情報
【0063】
なお、放送においても、特に移動体向けの放送(日本における1セグメント放送など)においては、FECやQoSが重要となるが、これらにおけるパラメータは通信路とは異なる。そのため、放送に固有の情報は、放送においてのみ送信すればよい。
【0064】
一方、通信においては、ビットレートやフレームレートなど、通信ネットワークの帯域に応じた複数のオーディオやビデオデータを選択可能とすることができる。このとき、選択可能なデータの属性情報(ビットレートなど)とアセットIDとを対応付ける情報を送信してもよい。なお、このような対応付ける情報は、放送において送信してもよい。
【0065】
なお、対応付ける情報として、選択可能な複数のアセットが存在するかどうかを示す情報を示してもよいし、選択可能な複数のアセットが存在する場合に、選択可能なアセットのリストを示してもよい。
【0066】
[受信方法]
本実施の形態では、受信側は、サービス情報を取得後に、コンテンツの受信(取得)を開始する。以下、図を用いて、本実施の形態における受信方法について説明する。
【0067】
図4Aは、実施の形態1の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。図4Aには、受信装置が本実施の形態の伝送路識別デスクリプタを取得して、受信するアセットを決定する動作の一例が示されている。
【0068】
まず、エントリポイントとなる伝送路において送信されるサービス情報として例えばPAメッセージ、あるいは、MPTメッセージなどに含まれるMPTテーブルを取得して、その中に含まれる伝送路識別デスクリプタを取得する。
【0069】
次に、放送と通信を併用してアセットが送信されるかどうか、及び、両伝送路が使われる際には、放送と通信のアセットの依存関係など、伝送路識別デスクリプタの情報を解釈する(ステップS101)。
【0070】
PAメッセージなどのメッセージは、MMTパケットなどのパケットのペイロードに格納され、パケットヘッダにより、格納されるデータの種別が示される。従って、MMTパッケージの受信時には、まず、パケットヘッダにおけるID番号(MMTパケットではpacket_idに相当)を参照して、PAメッセージのMMTパケットを取得する。
【0071】
次に、端末の再生能力、あるいは、通信路が利用可能かどうかなどに基づいて、受信するアセットを決定する(ステップS102)。
【0072】
ここで、アセットの決定方法の例について説明する。
【0073】
1)受信装置が通信ネットワークに接続していない場合には、放送のアセットのみ受信すると決定する。このとき、放送と通信とを併用して送信されるアセットは受信しない。
【0074】
2)ビデオの基本レイヤが放送、拡張レイヤが通信により送信される場合に、基本レイヤのみ再生可能な場合には放送のみを、両レイヤを再生可能な場合には放送と通信とを共に受信すると決定する。例えば、基本レイヤのみで60fps、基本レイヤおよび拡張レイヤで120fpsの時間スケーラビリティが実現できるとする。この場合に受信装置が60fpsまでしか復号、表示できなければ放送のみを、120fpsまで復号、表示できる場合には放送と通信の両データを受信する。
【0075】
3)受信装置が接続する通信ネットワークの帯域に応じて、通信により送信されるビットレートの異なる複数のアセットから、受信可能なアセットを決定する。ここで、例えば、各アセットのビットレートなどの情報は、別途サービス情報などにおいて送信されるものとする。なお、通信ネットワークの輻輳などにより受信状態が悪く、安定して受信可能なアセットが存在しない場合には、通信側のデータを受信しないと決定してもよい。
【0076】
4)また、放送の受信環境悪化に備えて、通信においてバックアップ用のデータが送信されている場合、受信環境が悪化したときには取得するアセットを決定するとしてもよい。この場合、受信装置は、受信環境をモニタし、受信データにおけるエラー率などの指標に基づいて、通信のアセットを受信するかどうかを判定し、受信処理を行えばよい。
【0077】
5)放送により送信される本編のオーディオやビデオのデータと同期再生されるデータ(ビデオにおける拡張レイヤのデータなど)を通信から受信する際には、放送により受信したデータと通信により受信したデータの同期を保証するために、再生開始前にデータをバッファリングするなど特別な動作が必要となる場合がある。この場合において、通信からは、放送により送信されるデータと厳密な同期(例えば、フレーム単位での同期など)が必要でないアセットのみ受信することとしてもよい。例えば、HTMLなどのデータ、静止画、厳密な同期が不要な動画などのアセットであれば通信から取得すると決定するとしてもよい。
【0078】
以下、図4Aのフローチャートに戻って説明する。
【0079】
次に、ステップS103では、通信により送信されるアセットを受信するかどうかを決定(判定)し、受信すると決定(判定)した場合(S103ではい)、S104に進み、受信しないと決定(判定)した場合(S103でいいえ)には、S105に進む。
【0080】
S104では、放送と通信との両伝送路からアセットを受信し、S105では、放送のみからアセットを受信する。
【0081】
図4Bは、実施の形態1の放送通信連携サービスにおける受信側の動作の別の一例を示すフローチャートである。
【0082】
図4Bは、図4Aと比較して、通信に固有のサービス情報が通信において送信される場合に、当該サービス情報を受信するステップ(ステップS106)が追加されている。その他については、図4Aで説明したものと同様のため、説明を省略する。
【0083】
なお、放送に固有のサービス情報が存在する場合には、図示しないステップにおいて別途受信するものとする。
【0084】
また、受信装置が放送通信連携サービスに対応していない場合には、放送のアセットのみを受信するとすればよい。この場合、放送と通信とを併用して送信されるアセットが存在する場合には、当該アセットは受信しない。
【0085】
[受信装置]
図5は、実施の形態1における受信装置の構成の一例を示すブロック図である。図5では、図4Aで説明した受信方法を実現する受信装置の構成の一例が示されている。
【0086】
図5に示す受信装置100は、識別情報取得部101と、アセット決定部102と、判定部103と、放送受信部104と、通信受信部105とを備える。
【0087】
識別情報取得部101は、図4Aに示すステップS101を実現する機能を備える。具体的には、識別情報取得部101は、エントリポイントとなる伝送路において送信されるサービス情報を取得し、その中に含まれる伝送路識別デスクリプタ(補助情報)を取得する。そして、識別情報取得部11は、伝送路識別デスクリプタの情報を解釈する。
【0088】
アセット決定部102は、図4Aに示すステップS102を実現する機能を備え、端末の再生能力、あるいは、通信路が利用可能かどうかなどに基づいて、受信するアセットを決定する。
【0089】
判定部103は、図4Aに示すステップS103を実現する機能を備え、通信により送信されるアセットを受信するかどうかを決定(判定)する。具体的には、判定部103は、通信データを受信するかどうかを判定し、受信すると判定した場合には放送受信部104および通信受信部105において、ステップ102において決定したアセットのデータを受信する。
【0090】
判定部103は、通信データを受信しないと判定した場合には、放送受信部14のみを用いてデータを受信する。
【0091】
(変形例1)
本変形例では、放送はTSを用いて送信し、通信はDASHやRTP(Real-time Transport Protocol)などを用いて送信する場合の例について説明する。
【0092】
図6A及び図6Bは、実施の形態1の変形例1の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。図6Aには、通信において送信されるデータに関する情報をPMTに格納する例が示されている。図6Bには、本変形例の伝送路識別デスクリプタのデータ構造の一例が示されている。
【0093】
本変形例では、サービス情報の一例であるPMTに、図1Aおよび図1Bにおいて説明した属性情報など示す伝送路識別デスクリプタが格納される。
【0094】
PMTなどTSにおけるプログラム情報では、TSにより送信されるデータのロケーション情報のみが示される。そのため、本変形例では、コンテンツのデータが通信を併用して送信される際には、通信側のデータのロケーション情報を伝送路識別デスクリプタに格納する。より具体的には、属性情報において、通信が併用されるかどうかを示すフラグ情報を含める。これにより、送信側は、当該フラグ情報の値に応じて、通信側のデータのロケーション情報を含めるかどうかを選択することができる。なお、ロケーション情報は、伝送路識別デスクリプタに格納される場合に限らない。別途デスクリプタを定義して、ロケーション情報を格納してもよい。
【0095】
(ロケーション情報)
ロケーション情報とは、データの取得先を示す情報であり、TSであればPID、通信であればURLやURIなどが相当する。
【0096】
ロケーション情報としては、DASHのMPD(Media Presentation Description)や、RTPにおけるSDP(Session Description Protocol)などを格納してもよい。
【0097】
また、ロケーション情報には、MPDやSDPなどのロケーション情報の実体データを格納する場合に限らず、ロケーション情報の実体データの取得先を示す情報を格納するとしてもよい。ここで、ロケーション情報の実体データの取得先を示す情報は、例えば、MPDを取得するためのURLを示す情報などである。ただし、ロケーション情報にロケーション情報の実体データの取得先を示す情報を格納する場合には、ロケーション情報の実体データを別途取得するための遅延が発生する。そのため、通信側のデータを受信開始するまでの遅延を低減する観点から、ロケーション情報には、実体データを直接格納するのが望ましい。
【0098】
なお、DASHのMPDには、コンテンツの取得先に関して様々な情報が含まれるため、サイズが大きい。従って、ロケーション情報にMPDをそのまま格納するのではなく、コンテンツの取得先のURLと、セグメントのDTSやPTSに関する情報のみを含むサブセット化した情報を格納するとしてもよい。
【0099】
また、MPDなどロケーション情報の内容の更新にも対応できることが望ましい。
【0100】
例えば、ロケーション情報に対してバージョン番号を付与するなどしてもよい。これにより、バージョン番号が更新された場合には、ロケーション情報を取得し直すことができる。なお、バージョン番号が更新されたかどうかを確認するために、周期的に送信されるPMT内の伝送路識別デスクリプタなどの情報を逐次チェックしてもよい。しかし、この逐次チェックの処理は重いため、ロケーション情報などを格納するためのセクションデータを別途生成(伝送路識別セクションと呼ぶ)し、周期的に送信するとしてもよい。
【0101】
受信装置においては、伝送路識別セクションにおけるバージョン番号を確認すればロケーション情報が更新されたかどうかを判定できる。なお、PMTなどのプログラム情報と、伝送路識別セクションの双方において、属性情報やロケーション情報を送信してもよい。あるいは、伝送路識別セクションにおいては、ロケーション情報のみを格納してもよい。
【0102】
また、放送から取得したロケーション情報に基づいて通信側のデータを取得開始した後は、通信においてロケーション情報の更新内容を取得してもよい。このとき、ロケーション情報の取得先が必要となるため、放送の伝送路識別デスクリプタなどにおいて、ロケーション情報の実体データと共に、ロケーション情報の取得先も合わせて格納してもよい。
【0103】
受信装置では、ロケーション情報の取得先に定期的にアクセスするなどして、通信において更新内容を取得できる。
【0104】
また、DASHコンテンツの配信サーバと受信装置との間でメッセージ交換などの仕組みが存在する場合には、ロケーション情報が更新されたことを示すメッセージをサーバが受信装置に対して発行するとしてもよい。そして、受信装置では、メッセージを受信した際にはロケーション情報を取得し直すなどしてもよい。
【0105】
なお、通信において送信されるデータに関する情報をPMTに格納するとして説明したがこれに限らない。属性情報やロケーション情報を、PMTとは異なるセクションにより送信するとしてもよい。
【0106】
また、通信において送信されるデータが、放送におけるオーディオやビデオと同期再生されるかどうかに基づいて、通信側のデータの取得方法を切替えてもよい。
【0107】
例えば、同期再生される場合には、上述したように放送のプログラム情報から通信側のデータにアクセスできるようにする。同期再生されない場合には、ARIB(電波産業会)におけるハイブリッドキャスト仕様に規定されたAIT(Application Information Table)などを用いて、通信側のデータにアクセスするための情報をデータ放送により送信してもよい。受信装置では、テーブル、あるいは、カルーセルなどの形式でAITを受信し、AITの内容に基づいて通信側のデータを取得する。取得した通信側のデータは、データ放送により送信されるイベントメッセージを受信すると、再生開始される。
【0108】
なお、放送データと通信データとが同期再生される場合にも、AITなどの情報を利用してもよい。このとき、通信側のデータの再生開始、終了などの時刻は、別途データ放送内に示されるものとする。受信装置では、これらの時刻に従って、通信側のデータを再生する。
【0109】
DASHにおけるMPDや、RTPにおけるSDPでは、コンテンツの再生開始時刻、あるいは、復号開始時刻を示すことができ、これらの時刻はUTC(Coordinated Universal Time)など、多重化や伝送の方式毎に規定される基準クロックに基づいて指定される。また、個々のビデオフレームやオーディオのサンプルのPTS(Presentation Time Stamp)やDTS(Decoding Time Stamp)も、基準クロックに基づいて設定される。一方、放送では、PCR(Program Clock Reference)が基準クロックとなるため、放送側のデータと通信側のデータとを同期再生する際には、 互いの基準クロックの対応関係を示す情報が必要となる。
【0110】
従って、放送側のデータと通信側のデータの基準クロックの対応関係を示す情報を、放送におけるPMTなどのプログラム情報に含めてもよい。例えば、放送におけるPCRの値がN1である時刻と、通信におけるUTCの値がN2である時刻が同一時刻に相当するなどの情報であってもよい。なお、これらの情報は、MPDやSDPなどに含めてもよい。
【0111】
また、伝送路識別デスクリプタにおいて、通信側のデータが、UDP(User Datagram Protocol)、及び、TCP(Transmission Control Protocol)のいずれによって送信されるかなど、トランスポート層のプロトコルの情報を示してもよい。これにより、受信装置においては、各プロトコルにおいて使用するポートをオープンする、あるいは、使用されるプロトコルに対応しているかどうか判断するなどが可能となる。
【0112】
また、通信側のデータにおける多重化フォーマットの識別情報を示して、例えば、DASH、あるいはRTPであるかどうかなどを識別できるようにしてもよい。
【0113】
[受信方法]
以下、図を用いて、本変形例における受信方法として、放送がTSを用いて送信され、通信がDASHやRTP(Real-time Transport Protocol)などを用いて送信される場合の受信装置の動作の一例について説明する。
【0114】
図7Aは、実施の形態1の変形例1の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。図7Aには、属性情報やロケーション情報が放送のプログラム情報に格納される際の受信装置の動作の一例が示されている。
【0115】
各ステップ(ステップS201~ステップS205)の動作は、図4Aのフローチャートと同様であるが、図4Aにおいては、放送側と通信側とのデータがMMTパッケージのアセットで統一されていたのに対し、図7Aでは放送側はTS、通信側はDASHやRTPのデータとなる点において異なる。それ以外の点については、図4Aで説明した通りであるため、詳細な説明は省略する。
【0116】
図7Bは、実施の形態1の変形例1の放送通信連携サービスにおける受信側の動作の別の一例を示すフローチャートである。図7Bでは、放送のプログラム情報において、属性情報、及び、ロケーション情報を取得するためのアクセス情報が格納され、ロケーション情報の実体は格納されない場合の動作の一例が示されている。
【0117】
ステップS301は、ステップS201と同様であるので、説明を省略する。
【0118】
次に、ステップS302において、通信側のデータを受信するかどうかを決定(判定)し、ステップS303において、通信側のデータを受信する際にはS304に進み、通信側のデータを受信しない場合にはS306に進む。
【0119】
ステップS304では、放送のプログラム情報に含まれる通信側データのロケーション情報の取得先に従って、ロケーション情報を取得する。
【0120】
一方、ステップS305では、S304で取得したロケーション情報に基づいて通信側データを取得すると共に、放送データを取得する。また、S306では、放送により送信されるデータのみを取得する。
【0121】
(属性情報)
属性情報は、実施の形態1において説明した内容と同様であるが、実施の形態1ではMMTを例に説明したため、以下、放送がTS、通信がDASHやRTPを用いる際の例について説明する。
【0122】
1)コンテンツを構成するオーディオやビデオなどのデータが、(1)放送のみを用いる、および(2)放送と通信を併用のうちのどちらの方法により送信されるかを示す情報を属性情報として含めるとしてもよい。
【0123】
なお、オーディオとビデオのデータが、(1)放送のみを用いる、および、(2)放送と通信とを併用のうちのどちらの方法により送信されるかを示す情報であってもよい。この情報により、本編が放送のみを用いて送信される場合でも、オーディオ、ビデオ、静止画、あるいは、HTMLファイルなどのメタデータなどは、本編とは別の通信ネットワークから取得できる。
【0124】
2)オーディオやビデオが、放送と通信とを併用して送信される際に、それぞれで送信されるデータの関連を示す情報を属性情報として含めるとしてもよい。
【0125】
ここで、例えば、スケーラビリティ(時間解像度(60fps→120fpsなど)、空間解像度(4k→8kなど)、ビット深度(8bit→10bitなど))を実現する場合に、属性情報により放送は基本レイヤを、通信は拡張レイヤを用いて送信することを示すことができる。属性情報は、ユースケースとして、放送データのみではフレームレートが60fpsであるが、通信データを併用すると120fpsまでフレームレートを向上できるなどを示すとしてもよい。また、属性情報は、放送のバックアップ用のデータを通信で送信することを示してもよい。これにより、送信側は、属性情報を用いて、降雨減衰などで放送の受信状況が悪化した場合には、通信によりデータを送信するように切替えることができる。
【0126】
また、属性情報は、互いに関連する符号化ストリームを識別するための情報を示すとしてもよい。例えば、属性情報は、放送で送信される基本レイヤのデータが格納されるTSパケットのPIDと、通信で送信されるDASHデータにおけるセグメント、あるいは、MP4におけるトラックIDなどのビデオデータの識別情報を示すことができる。
【0127】
また、属性情報は、互いに同期再生される放送側のデータと、通信側のデータを示す情報を示すとしてもよい。これにより、送信側は、複数視点の映像、あるいは、ピクチャ・イン・ピクチャにおける親画面と子画面の映像を、それぞれ放送と通信とにより送信するなどができる。
【0128】
3)放送により送信されるオーディオやビデオなどと、通信により送信されるオーディオやビデオなどとが、同期再生されるかどうかを示す情報を属性情報として含めるとしてもよい。
【0129】
4)放送により送信されるオーディオやビデオのクロック情報と、通信により送信されるオーディオやビデオのクロック情報とが、同じかどうかを示す情報を属性情報として含めるとしてもよい。
【0130】
5)通信側のデータがライブコンテンツであるかどうかを示す情報を属性情報として含めるとしてもよい。
【0131】
例えば、送信されるコンテンツがライブコンテンツでなければ、現在時刻(T1)よりも後のデータを取得することができる。従って、コンテンツの取得要求から受信開始するまでにかかる時間(あるいは、その推定値)、及び、データをバッファリングする時間の総和(△T)を現在時刻に加算した時刻(T2)が再生時刻となるデータから受信開始することで、放送側のデータを遅延させることなく再生できる。この時、通信側のデータは時刻T2から再生される。一方、送信されるコンテンツがライブコンテンツである場合には、放送側のデータを△Tだけバッファリングして、時刻T2において放送と通信のデータを共に再生開始するなどしてもよい。
【0132】
なお、通信側がコンテンツをRTPなどによりマルチキャスト、あるいは、ブロードキャストする場合には、そのコンテンツがライブコンテンツであるかどうかに関わらず、現在時刻よりも後のデータは取得できない。従って、通信側のデータがマルチキャストやブロードキャストであるかどうかを示す情報も属性情報に含めるとしてもよい。
【0133】
[受信装置]
次に、放送がTSを用いて送信され、通信がDASHやRTP(Real-time Transport Protocol)などを用いて送信される場合の受信装置の構成の一例について説明する。
【0134】
図8は、実施の形態1の変形例1における受信装置の構成の一例を示すブロック図である。図8では図7Bで説明した受信方法を実現する受信装置の構成の一例が示されている。
【0135】
図8に示す受信装置300は、識別情報取得部301と、決定部302と、通信併用判定部303と、Loc情報取得部304と、放送受信部305と、通信受信部306とを備える。なお、図7Aを実現する受信方法を実現する受信装置の構成は、図8で、Loc情報取得部304がない場合に対応する。
【0136】
識別情報取得部301は、図7Bに示すステップS301を実現する機能を備える。具体的には、識別情報取得部301は、エントリポイントとなる伝送路において送信されるサービス情報を取得し、その中に含まれる伝送路識別デスクリプタ(補助情報)を取得する。そして、識別情報取得部301は、伝送路識別デスクリプタの情報を解釈する。
【0137】
決定部302は、図7Bに示すステップS302を実現する機能を備え、端末の再生能力、あるいは、通信路が利用可能かどうかなどに基づいて、受信するデータを決定する。
【0138】
通信併用判定部303は、図7Bに示すステップS303を実現する機能を備え、通信により送信されるデータを受信するかどうかを決定(判定)する。
【0139】
Loc情報取得部304は、図7Bに示すステップS304を実現する機能を備え、通信側データのロケーションデータを取得する。
【0140】
(変形例2)
本変形例では、属性情報やロケーション情報が放送のプログラム情報に格納されて送信される場合の受信方法の一例について説明する。
【0141】
[受信方法]
図9は、実施の形態1の変形例2の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。図9には、属性情報やロケーション情報が放送のプログラム情報に格納されて送信される場合に受信装置が放送コンテンツと通信コンテンツとを同期再生するかどうかを判定して再生するまでの動作例について示されている。
【0142】
なお、図9の動作は、図7Aにおける動作に基づいているが、送信データをMMTのアセットとせずに、より一般的なコンテンツとした場合の例として記載している。
【0143】
まず、エントリポイントとなる伝送路において送信されるプログラム情報を取得して、その中に含まれる伝送路識別デスクリプタを取得し、コンテンツの属性情報や通信コンテンツのロケーション情報を取得する(ステップS401)。
【0144】
ここで、ロケーション情報の実体がプログラム情報に格納されない場合には、図7Bで説明したのと同様の方法によりロケーション情報の実体データを取得する。
【0145】
次に、受信装置の再生能力、あるいは、通信路が利用可能かどうかなどに基づいて、受信するデータを決定する(ステップS402)。
【0146】
次に、通信コンテンツを取得するかどうかを決定し(ステップS403)、通信コンテンツを取得すると決定した場合には(S403ではい)、ステップS404に進み、放送と通信の両伝送路からデータを受信する。なお、受信しないと決定(判定)した場合(S403でいいえ)には、ステップS409に進み、放送のみからデータを受信して、ステップS410で放送コンテンツのみを再生する。
【0147】
次に、放送コンテンツと通信コンテンツを同期再生するかどうかを判定する(ステップS405)。
【0148】
同期再生すると決定した場合には(S405ではい)、ステップS406において放送コンテンツと通信コンテンツとの基準クロックを同期させて、ステップS407において両者を同期再生する。
【0149】
なお、S406における基準クロックの同期は、S404に先立って実施するとしてもよい。これは、コンテンツの受信データをプリバッファリングしてから再生開始する場合などでは、放送コンテンツにおいてPTSがT1となるデータと、通信コンテンツにおいてPTSがT1となるデータ(ここで、互いのPTSは既に同期されているものとする)が受信済みとなることを確認して復号、再生を開始することがあり、互いに同期再生されるデータが揃っているかどうかを判定する際に、両者の基準クロックが同期済みであることが必要となるためである。
【0150】
また、S406における基準クロックの同期においては、放送、あるいは、通信のいずれかで使用されている基準クロックに揃えることができる。例えば、放送においてPCR(Program Clock Reference)が用いられ、通信においてNTP(Network Time Protocol)が用いられる場合には、ビデオやオーディオにおけるNTP基準でのDTSやPTSを、PCR基準に変換することで、放送と通信とにおける基準クロックを同期できる。また、受信装置内で使用される固有のクロックと同期するように、放送と通信とのDTSやPTSを変換してもよい。
【0151】
また、複数のコンポーネントの基準クロック情報が同じかどうかを示す情報を属性情報に含まれており、属性情報により基準クロック情報が異なることを受信側で取得できる場合には、上記の方法を用いて放送と通信とにおける基準クロックを同期するとしてもよい。
【0152】
なお、図9では、属性情報やロケーション情報が放送のプログラム情報に格納されて送信される場合の動作について説明したが、そもそも同期再生される必要がなければ、これらの情報を記述した伝送路識別デスクリプタが放送のプログラム情報に格納されないとしてもよい。
【0153】
また、本変形例では、属性情報やロケーション情報が放送のプログラム情報に格納される場合に同期再生されると説明したがそれに限らない。プログラム情報に、伝送路識別デスクリプタが含まれている場合には、伝送路識別デスクリプタにロケーション情報が記述されているストリームと、放送ストリームとを、受信装置は同期再生を行うとしてもよい。このとき、伝送路識別デスクリプタには、放送と通信により伝送されるストリームが互いに同期再生されるかどうかを示す属性情報は含めなくてもよい。
【0154】
換言すると、本変形例における受信方法は、放送波と通信路とのそれぞれを用いて送信されたコンテンツを受信する受信ステップと、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報を受信した場合には、前記同期を取る処理を行い、前記コンテンツを再生する再生ステップと、を含むとしてもよい。
【0155】
[受信装置]
図10は、実施の形態1の変形例2における受信装置の構成の一例を示すブロック図である。図10では、図9で説明した受信方法を実現する受信装置の構成の一例が示されている。
【0156】
図10に示す受信装置400は、識別情報取得部401と、決定部402と、通信併用判定部403と、Loc情報取得部404と、放送受信部405と、通信受信部406と、同期判定部407と、再生部408とを備える。
【0157】
識別情報取得部401~通信受信部406は、図8で説明した識別情報取得部301~通信受信部306と同様であるので説明を省略する。
【0158】
同期判定部407は、図9に示すステップS405の処理を行う機能を備える。
【0159】
再生部408は、通信併用判定部403、及び、同期判定部407手段における判定結果により決定された再生方法に基づいて、放送コンテンツあるいは通信コンテンツを復号して、再生する。
【0160】
(変形例3)
以下では、上記で説明したものと異なるものをその他の例として説明する。
【0161】
[その他1]
伝送路は、放送と通信との組合せに限定されるものではなく、放送と放送、通信と通信など同種の伝送路の組合せであってもよい。
【0162】
また、伝送路識別デスクリプタのようなパッケージ単位の情報が示されない場合には、図1Aおよび図1Bに示したようなアセット毎のロケーション情報を解釈することで、各アセットが放送と通信とのどちらにより送信されるか、あるいは、パッケージ内に通信により送信されるアセットが存在するかどうかなどを決定してもよい。
【0163】
(ロケーション情報)
ロケーション情報においては、アセットの取得先のURL情報などを含むとしてもよい。取得先がURLである場合には、当該URLが、放送サービスにおいて予め規定された特定のURLであるかどうかに基づいて、アセットが放送、通信のどちらで送信されるかを決定できる。
【0164】
例えばMPTなどのメッセージ情報と同一のストリームにおいて放送アセットが送信される場合には、ロケーション情報において、放送アセットの取得先として、アセットのデータを格納するパケットのID(MMTパケットの場合はpacket_id)が示され、通信により送信されるアセットについては、取得先としてURLが示される。従って、ロケーション情報において、取得先がURLであるかどうかに応じて、アセットが通信により送信されるかどうかを決定してもよい。
【0165】
(MPTの記述の変形例)
上記図1Aおよび図1Bにおいては、アセット毎の情報として、アセット毎のロケーション情報、及び、個別の伝送路識別デスクリプタを定義した場合を説明したが、それに限らない。アセットの符号化方式を示すフィールドを別途設けてもよい。符号化方式は復号時に必須の情報であり、MPTのように復号に先立って取得できる情報においてシグナリングすることが望ましい。例えば、MPEG-2システムにおけるstream_typeのような情報を用いることが可能である。
【0166】
また、スケーラブルな符号化が可能な符号化方式である場合には、符号化方式と共に、当該アセットが基本レイヤであるか、拡張レイヤであるかを示してもよい。
【0167】
また、同一MMTパッケージにおいて、時間スケーラビリティを有するビデオが2つ存在する場合など、スケーラビリティを有するアセットが複数含まれるケースもある。このとき、拡張レイヤのアセットが、どの基本レイヤのアセットと対応するかを示す情報を示してもよい。例えば、拡張レイヤのアセットに対しては、対応する基本レイヤのアセットのアセットIDを示してもよい。また、拡張レイヤと基本レイヤのアセットをグループ化して、各アセットに対してグループのIDを割り振ってもよい。
【0168】
これらの情報は、放送はTSを利用し、通信はDASHやRTPなどを利用する場合でも、放送におけるプログラム情報などにおいて示すことができる。例えば、PMTのデスクリプタ等において、放送で送信されるビデオストリームと通信で送信されるビデオストリームとの間の依存関係(通信側のビデオストリームが拡張レイヤに相当するなど)、あるいは、通信側のビデオやオーディオの符号化方式を示す情報を記述できる。また、放送側のストリームと通信側のストリームとが同期再生されるかどうかなどを示してもよい。
【0169】
(伝送路に関する情報)
コンテンツのデータが放送のみで送信されるか、あるいは、放送と通信を併用して送信されるかなどを示す情報は、EPGなどの番組情報に格納してもよい。
【0170】
例えば、EPGから視聴選択、あるいは、録画予約を行う場合に、通信ネットワークに接続していない、あるいは、受信装置が通信によるデータの取得に対応していないなど、通信により送信されるデータが再生、あるいは、録画できない場合には、その旨を示すメッセージ情報を表示してもよい。
【0171】
さらに、通信により送信されるデータが、番組の開始時刻に先立って取得可能であるかどうかを示す情報を格納してもよい。特に、DASHなどダウンロード型の方式では、番組開始に先立って通信側のデータをダウンロードしておくことで、番組開始時刻において、放送のデータと通信のデータを共に再生開始することができる。
【0172】
例えば通信側のデータが番組開始時刻に先立って取得可能である場合には、受信装置は、番組開始時刻よりも前に通信側のデータを受信開始するとしてもよい。このとき、予め定めたバッファリングのデータ量、あるいは、バッファリング時間分のデータが番組開始時刻において受信できるように、受信開始時刻を決定する。
【0173】
また、例えば、番組の予約録画などにおいても同様に動作してもよい。
【0174】
なお、放送などでは、ユーザーが複数の番組を任意のタイミングで選択可能であり、視聴中のチャネルの次番組の通信データを予め受信しても、視聴番組の切替えが発生すると、通信データを予め受信してもメリットが得られない。そこで、任意の視聴時刻において、当該視聴時刻よりも後に視聴可能であって、放送と通信を併用してデータが送信される全ての番組について、通信側のデータを予めバッファリングしておくように動作してもよい。全ての番組のデータを受信できない場合には、受信可能な範囲内で番組を選択し、受信してもよい。
【0175】
また、放送側のデータと通信側のデータが同期再生されるかどうかを示す情報もEPGなどの番組情報に含めておいて、同期再生される場合には、通信側のデータを予めバッファリングするように動作してもよい。同期再生されない場合は、放送側のデータの受信開始後に通信側のデータを受信開始してもよい。
【0176】
なお、EPGにこのような情報が含まれない場合でも、MMTにおけるMPT、あるいは、放送にTSを用いる際のPMTなどを解析して同様の情報を取得して、同様のメッセージを表示できる。
【0177】
また、日本における放送方式(ISDB-T)におけるTMCC信号など、伝送路で伝送される信号を復調する際の制御情報において、これらの情報を格納してもよい。
【0178】
こうすることで、通信における受信が必要かどうかを、復調時に判定でき、通信側の起動を早めることができる。
【0179】
(フォーマット)
なお、HTTPベースのファイルフォーマットはDASHに限定されるものではなく、HTTP Live Streaming(HLS)やMicrosoft Smooth Streaming(MSS)などであってもよく、これらの方式においても、MPDに相当するコンテンツ管理情報が存在するため、DASHと同様の仕組みにより放送側のデータと通信側のデータとの関係を示すことができる。
【0180】
また、通信側においても、TSのストリームを用いてもよいし、TSパケットの先頭に4バイトのタイムスタンプを示すフィールドを追加したフォーマットであってもよい。ここでタイムスタンプ付のTSはBD(Blu-ray(登録商標) Disc)や、IPTVフォーラムなど多くの規格において使用されるものである。
【0181】
[その他2]
(属性情報とロケーション情報)
属性情報やロケーション情報において、コンテンツ全体の属性と、オーディオやビデオなどのストリームの個別の属性とを分けて格納してもよい。
【0182】
例えば、通信側においてDASHを用いる場合は、放送コンテンツと通信コンテンツとが同期再生されるか、あるいは、放送コンテンツがスケーラビリティの基本レイヤで、通信コンテンツが拡張レイヤであるかなど、コンテンツ全体の属性情報を伝送路識別デスクリプタなどに格納するとしてもよい。一方、互いに同期再生の対象となるビデオやオーディオを識別するための情報など、ストリーム毎の個別の属をMPDに格納するとしてもよい。
【0183】
ストリーム毎の属性例として、放送におけるビデオと、通信において送信される副音声のオーディオを関連付ける場合には、MPDにおいて、ビデオを格納するTSパケットのPIDと、オーディオのトラックIDなどDASHのデータ内においてオーディオのトラックやセグメント、あるいは、Adaptation SetやRepresentationを識別するための情報を互いに関連付けるとしてもよい。ここで、放送側のメディアの識別情報としては、PIDの他に、当該PIDのTSパケットを含むトランスポートストリームのIDや、サービスIDなどを含んでもよい。
【0184】
なお、MPDの内容は更新されることがあり、更新情報はDASHコンテンツの配信サーバが管理する。そのため、特にストリームの個別属性についてはMPDにおいて記述することにより、放送コンテンツの送出装置と通信コンテンツの送出サーバとの間における情報の交換を低減できるというメリットと、全体属性はPMTなど放送受信開始時に取得する情報に格納することで通信コンテンツの受信開始処理を迅速に起動できるメリットとを両立できる。
【0185】
また、全体属性と個別属性の両方を、放送におけるPMTなどのデスクリプタ、あるいは、MPDのどちらか一方において記述してもよいし、両方において記述してもよい。例えば放送においては、AITなどのアプリケーション制御情報の記述子において記述してもよい。
【0186】
(属性情報)
さらに、放送や通信など異なる伝送路において送信されるストリームのクロック情報が互いに同期されているかどうかを示す情報を同期する方法、あるいは同期するための方法を属性情報に含めてもよい。この場合、受信装置は、本情報に基づいてクロック同期を行うとしてもよい。
【0187】
例えば、下記の3つの方法を識別するための情報を属性情報として記述してもよい。
【0188】
方法1)同期対象となるストリームは共通のクロックに基づいており、互いのクロックの同期は不要である。
【0189】
方法2)PMT内のデスクリプタのように、ストリームとは別途送信されるクロック同期用の情報に基づいて同期する。
【0190】
方法3)現在MPEGで規格化中であるTSのタイムライン拡張(13818-1:2013/AMD6(2nd WD))のように、クロック同期のための情報を含む独立したストリームを参照して同期する。
【0191】
なお、方法3においては、クロック同期用のストリームを格納するTSパケットのPIDを属性情報に含めてもよい。
【0192】
(変形例4)
例えば図6A図7Bなどにおいて、放送はTSを用いて、通信はDASHやRTPなどを用いてそれぞれ送信するケースにおけるロケーション情報などの格納方法については説明した。
【0193】
本変形例では、ロケーション情報の格納方法について具体的な例をあげて説明する。
【0194】
図11は、実施の形態1の変形例4の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。図11には、MPDなどのロケーション情報を示すデスクリプタ(ロケーション情報デスクリプタ)の例が示されている。なお、ロケーション情報は、上述した伝送路識別デスクリプタに含めてもよい。そのため、ロケーション情報デスクリプタは伝送路識別デスクリプタに相当するとして考えてもよい。
【0195】
本変形例において、デスクリプタは、PMT、あるいは、PMTとは異なるセクションデータなどに格納される。
【0196】
このデスクリプタにより示される情報としては、ロケーション情報により参照される実体データの種別を示す伝送フォーマット、ロケーション情報、及び、放送におけるPCRと通信側のデータとの同期情報を示すフィールドが含まれる。
【0197】
なお、本変形例においてロケーション情報は、ロケーション情報の実体データの参照先を示すものとする。ここでは、ロケーション情報の実体データがMPDである場合の例を示しており、伝送フォーマットとしてはMPDが示され、同期情報としては、PCRとNTPとの同期情報が示される。
【0198】
MPDは、DASHにおいて使用されるロケーション情報であるため、伝送フォーマットとしてはDASHを示し、ロケーションとしてMPDの参照先を示すことにしてもよい。ロケーション情報のURLにおける拡張子などにより伝送フォーマットを識別できる場合などにおいては、伝送フォーマットのフィールドを含めなくてもよい。また、MPDは放送内で送信する場合と、通信ネットワーク経由で送信する場合の2通りがあり、放送内で送信する場合には、MPEG-2 TSのプライベートセクションなどを用いる。従って、MPDのロケーション情報としては、放送内で送信する場合にはプライベートセクションのPIDなど、トランスポートストリーム内でMPDを格納するTSパケットの識別情報を示し、通信ネットワーク経由で送信する場合にはURLなどの情報を示すことができる。
【0199】
[受信方法]
以下、本変形例における受信方法として、ロケーション情報を示すデスクリプタを解析して放送と通信コンテンツとを同期再生する場合の受信装置の動作の一例について説明する。
【0200】
図12は、実施の形態1の変形例4の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。
【0201】
まず、ステップS801において、PMTなどに格納されるロケーション情報デスクリプタを解析する。
【0202】
次に、ステップS802において、放送内にMPDが存在するかどうかを判定する。放送内に存在する(放送によりMPDが送信される)場合には(S802ではい)、ステップS803に進み、ロケーション情報により示されるPIDを持つTSパケットからMPDの実体データを取得する。一方、放送内にMPDが存在しない場合には(S802でいいえ)、ロケーション情報において示されるURLなどに基づいて通信サーバからMPDを取得する。
【0203】
次に、ステップS805では、MPDの解析結果に基づいて、DASHコンテンツの中から取得するデータを決定し、ダウンロード(またはプログレッシブダウンロードなど)により当該データを取得する。
【0204】
次に、ステップS806において、ロケーション情報デスクリプタに含まれる同期情報、あるいは、MPEG-2 TSのタイムライン拡張が使用される場合にはタイムライン拡張情報を格納するTSパケットから取得した同期情報に基づいて、放送コンテンツと通信コンテンツとを同期再生する。
【0205】
なお、タイムライン拡張を用いる場合には、ロケーション情報デスクリプタには同期情報を含めなくてもよい。また、DASHコンテンツと放送コンテンツとを同期再生する必要がない場合には、同期情報は送信しなくてもよい。この場合、ロケーション情報デスクリプタの同期情報、あるいは、タイムライン拡張用のデータにおける同期情報が存在するかどうかに基づいて、両者の同期再生が必要かどうかを判定してもよい。同期再生が必要かどうかは、別途示してもよい。
【0206】
また、同期再生が必要でない場合には、ステップS806では、ユーザーの指示、あるいは、ハイブリッドキャストのアプリケーションにおける制御コマンドなどに基づいて、DASHコンテンツの再生開始と終了とを決定できる。なお、この場合、通信によるデータを取得するかどうかは、S801の前段において決定しているものとする。
【0207】
図12では、MPDを取得してDASHコンテンツを再生する例について説明したが、RTPやTSなど他の方式のデータを取得して再生する場合も同様である。
【0208】
なお、タイムライン拡張においては、タイムライン拡張情報を格納するアクセスユニットを定義し、アクセスユニット内に、ロケーション情報を示すデスクリプタと同期情報を示すデスクリプタの両方を格納することができる。
【0209】
従って、ロケーション情報デスクリプタを送信せずに、タイムライン拡張によりロケーション情報と同期情報を共に示してもよい。現状のタイムライン拡張においては、ロケーション情報としてPIDを示すことができないため、ロケーション情報のスキームタイプを示すフィールドを拡張し、PIDをシグナリングできるようにしてもよい。
【0210】
また、PMTのセクションサイズの上限は1021バイトに制限されており、ロケーション情報におけるURLによっては、上限を超えることがある。PMTセクションを分割して格納することも可能であるが、特にPMTは1つのセクションに格納されることが望ましい。
【0211】
従って、PMTのセクションサイズが1021バイトを超える場合には、ロケーション情報デスクリプタをPMTとは異なるセクションにより送信してもよい。なお、ロケーション情報がPIDを示す場合には、PMTのサイズ上限以内に収めることが可能であり、PMTに含めることができるため、ロケーション情報がPID、URLのどちらであるかに基づいて、ロケーション情報を格納するセクションを切替えてもよい。
【0212】
(変形例5)
変形例4において、タイムライン拡張におけるTEMI(Timeline and Extend Media Information stream)アクセスユニットにおいてもロケーション情報を示すことができることを述べた。
【0213】
具体的には、temi_location_descriptorを用いて通信側のコンテンツのURLなどを記述できる。Temi_location_descriptorにおいては、複数コンテンツのURLを記述できると共に、PMTのセクションサイズのようなデータサイズの制約も存在しないことから、URLの記述に関して柔軟な運用が可能となる。
【0214】
一方で、ロケーション情報としてトランスポートストリーム内のTSパケットのPIDを示す場合などでは、ロケーション情報のデータサイズも小さく、ロケーション情報デスクリプタを参照してPMTの解析時にロケーション情報を取得することで、取得に係る遅延時間を低減できる。そのため、ロケーション情報の格納場所としては、ロケーション情報デスクリプタとTEMIアクセスユニット内のtemi_location_descriptorを併用できることが望ましい。
【0215】
以下、本変形例におけるロケーション情報デスクリプタのシンタックス(データ構造)の一例について説明する。
【0216】
図13Aは、実施の形態1の変形例4におけるロケーション情報デスクリプタのシンタックスの一例を示す図である。図13Aには、ロケーション情報をロケーション情報デスクリプタ、あるいは、TEMIアクセスユニットのいずれかに格納するためのロケーション情報デスクリプタのシンタックス例が示されている。
【0217】
本変形例では、PCRとの同期情報はTEMIアクセスユニットのtemi_timeline_descriptorを用いて記述されることとし、ロケーション情報デスクリプタには含めていないとして説明する。図13Aに示すフィールド毎のセマンティクスについて説明する。
【0218】
「data_format」は、図11に示す伝送フォーマットと同様である。つまり、DASHにおけるMPD、IPTVフォーラムのVOD(Video On Demand)仕様における再生制御メタファイル、あるいは、IPTVフォーラムなどにおいて規定されるTTS(Time-stamp TS)など、サービスで使用する再生制御のメタ情報のフォーマットを示す。TTSやMP4ファイル、あるいは、AVの符号化データそのものなど、メタ情報ではなく、ストリーム自体の識別情報を示してもよい。MMTにおけるMPT、PAメッセージやMMTパケット、アセットなどを示してもよい。
【0219】
例えば、H.265などの動画符号化方式において時間スケーラビリティを実現することができる。ここで、放送で60fpsの基本レイヤを送信し、通信において60fpsから120fpsにフレームレートを向上させるための拡張レイヤの符号化データを送信するとする。この場合、通信コンテンツのロケーション情報としては、拡張レイヤの符号化ストリームのURLのみを示せばよい。符号化ストリームにおける解像度や符号化方式などの情報は、基本レイヤを送信する放送データにおいて取得することが可能である。
【0220】
「location_type」は、ロケーション情報が、放送におけるTSのPID、あるいは、通信におけるURLにより示されるかを識別するためのものである。ここでは、location_type=0である場合に放送におけるTSのPIDを示すものとする。なお、ロケーション情報デスクリプタは、例えば、MPEGのMMT(MPEG Media Transport)などTS以外においても使用可能である。TS以外のフォーマットにおいては、「location_type」を用いなくてもよい。例えば、MMTにおけるMMTパケットのpacket_idなどロケーションを識別するための他の情報を用いてもよい。
【0221】
「PID」は、TSパケットのPIDを示す。放送が複数のトランスポートストリームから構成される場合には、トランスポートストリームの識別番号などを合わせて格納してもよい。
【0222】
「url_location」は、通信コンテンツのURLが、ロケーション情報デスクリプタ内、あるいは、TEMIアクセスユニットのどちらに格納されるかを示す。本変形例では、url_location=0である場合に、ロケーション情報デスクリプタに格納されるものとする。url_locationが1である場合には、通信コンテンツのURLはTEMIアクセスユニットにおけるtemi_location_descriptorに格納される。
【0223】
「url_length」は、「url_path」のバイト長を示す。「url_path」は、URLのデータを示す。
【0224】
図13Bは、実施の形態1の変形例4におけるロケーション情報デスクリプタのシンタックスの一例を示す図である。図13Bには、図13Aで示したロケーション情報デスクリプタのシンタックスとは別の例が示されている。図13Aに示すシンタックスとの違いは、ロケーション情報をTEMIアクセスユニットに格納する場合には、data_formatフィールドが存在しないという点である。
【0225】
ここで、Temi_location_descriptorは、service_typeと呼ばれるフィールドにおいてTEMIのサービスタイプを示すことができる。このサービスタイプがdata_formatに相当する。従って、data_formatの情報は、service_typeフィールドにおいて示すこととする。
【0226】
なお、図13Aに示すシンタックスでは、data_formatフィールドと、temi_location_descriptorのservice_typeとが共に存在することがある。この場合、両者は同一の情報を示すものとする。
【0227】
temi_location_descriptorでは、service_typeをシグナリングせずに通信コンテンツのURLのみを示すことも可能である。従って、図13Aのシンタックスを用いる場合には、伝送フォーマットとしてはロケーション情報デスクリプタのdata_formatを参照し、temi_location_descriptorのservice_typeはシグナリングしないこととしてもよい。
【0228】
図13Cは、実施の形態1の変形例4におけるロケーション情報デスクリプタのシンタックスの一例を示す図である。図13Cには、図13Aおよび図13Bで示したロケーション情報デスクリプタのシンタックスとは別の例が示されている。
【0229】
図13Aとの違いは、初めにurl_locationの条件分岐をしている点にある。つまり、url_location=0でロケーション情報がロケーション情報デスクリプ内にある場合は、location_typeに応じて放送のTSのPIDや通信URLが格納される。一方、url_location=1の場合は、location_typeはロケーション情報デスクリプタ内には記述されず、TEMIアクセスユニットにおけるtemi_location_descriptor内に、service_typeフィールドにおいてlocation_typeを示し、temi_location_descriptorに放送におけるTSのPID或いは通信URLを格納する。
【0230】
図13Dは、実施の形態1の変形例4におけるロケーション情報デスクリプタのシンタックスの一例を示す図である。図13Dには、図13A図13Cで示したロケーション情報デスクリプタのシンタックスとは別の例が示されている。
【0231】
図13Aとの違いは、url_locationとlocation_typeとを統合した点である。location_type=0である場合は放送のPIDを示し、location_type=1の場合は通信のURLを示す。また、location_type=2の場合はTEMIアクセスユニットにおけるtemi_location_descriptorに、放送におけるTSのPID或いは通信URLが格納されることを示す。
【0232】
なお、ロケーション情報デスクリプタのシンタックスのデータやデータ構造は、上述の例に限るものではない。例えばロケーションタイプとフォーマットタイプとを統合して示すなど、他のデータと組み合わせて用いてもよい。また、例えばロケーション情報のURLにおける拡張子などにより伝送フォーマットを識別できる場合などにおいては、伝送フォーマットのフィールドを含めなくてもよい。また、例えばロケーション情報デスクリプタが存在しなければ、ロケーション情報がtemi_location_descriptorにより示されることとして、url_locationのフィールドを省略してもよい。
【0233】
(変形例6)
以下、変形例5で説明したロケーション情報とは別の例について説明する。
【0234】
(ロケーション情報のその他の例)
例えば、同一プログラム内に2種類以上の複数のタイムラインが存在する場合、タイムラインの種類毎に複数のTEMIストリームを含む場合がある。
【0235】
この場合、ロケーション情報デスクリプタに複数のロケーション情報を格納してもよい。複数のロケーション情報を格納する場合には、ロケーション情報デスクリプタ内にTEMIストリームの数のループを作成し、それぞれのTEMIストリームに対応するロケーション情報を格納する。また、ロケーション情報デスクリプタにおける複数のロケーション情報ループと複数のTEMIストリームとの対応関係を示す方法として、例えばロケーション情報のループの順番と、TEMIストリームを示すESループ(PMT第2ループ)の順番が一致するものが対応関係にあるなどとしてもよい。また、2種類以上のタイムラインが存在する場合には、ロケーション情報はロケーション情報デスクリプタに格納せず、TEMIアクセスユニットのtemi_location_descriptorに格納するとしてもよいし、ロケーション情報デスクリプタをESループ(PMT第2ループ)に格納してもよい。
【0236】
(ロケーション情報の更新)
なお、メタ情報などのロケーション情報の内容の更新にも対応できることが望ましい。
【0237】
例えば、PMT内のロケーション情報デスクリプタにreloadフラグを追加し、ロケーション情報の内容を更新する場合にはreload=1とし、受信装置はreload=1である場合にはロケーション情報の内容が更新されたとして、ロケーション情報に格納されているPIDやURLなどを再取得してもよい。PIDやURLなどのロケーション情報は更新されておらず、データのみが更新されている場合は、データのみを再取得してもよい。
【0238】
また、ロケーション情報自体、あるいは、ロケーション情報により取得先が示されるMPDなどのデータの内容が更新されたかを示す情報を、それぞれ独立に示してもよい。
【0239】
また、周期的に送信されるPMT内のロケーション情報デスクリプタを逐次チェックしてもよい。しかし、この逐次チェックの処理は重たいため、ロケーション情報デスクリプタなどを格納するためのセクションデータや、更新されたことを通知するイベント用セクションなどを別途生成し、周期的に送信してもよい。
【0240】
受信装置では、セクションにおけるバージョン番号を確認すればロケーション情報が更新されたかどうかを判定できる。また、ロケーション情報を放送のセクションで送信する場合には、ロケーション情報のセクションのバージョン番号を更新することで、メタ情報の更新を示す。
【0241】
また、放送から取得したロケーション情報に基づいて通信側のデータを取得開始した後は、通信においてロケーション情報の更新内容を取得してもよい。
【0242】
[受信方法]
次に、本変形例における受信方法として、ロケーション情報を示すデスクリプタを解析して放送と通信コンテンツとを同期再生する場合の受信装置の動作の一例について説明する。
【0243】
図14は、実施の形態1の変形例6の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。
【0244】
図12のステップS804が図14ではステップS906、ステップS907,およびステップS908に変わっている。その他の動作(ステップS901~ステップS905)は、図12の動作(ステップS801~ステップS803、ステップS805およびステップS806)と同様であるので説明を諸略する。
【0245】
ステップS906において、MPDなどの取得先URLがロケーション情報デスクリプタ、あるいは、TEMIアクセスユニットのどちらに格納されるかを判定する。ロケーション情報デスクリプタにある場合は(S906ではい)、ステップS907に進み、ロケーション情報デスクリプタを解析し、ロケーション情報に示されるURLに基づいて通信サーバからMPDを取得する。一方、ステップS906において、TEMIアクセスユニットに格納されていると判定された場合には(S906でいいえ)、TEMIアクセスユニットにおけるtemi_location_descriptorに示されるURLに基づいて通信サーバからMPDを取得する。
【0246】
なお、図14では、フォーマット情報としてMPDが示されている場合の例について示されているが、他のメタ情報であっても同様のフローの動作で放送コンテンツと通信コンテンツとを同期再生できる。
【0247】
図15は、実施の形態1の変形例6の放送通信連携サービスにおける受信側の動作の別の一例を示すフローチャートである。図15では、フォーマット情報がMPD以外の他のメタ情報である場合の動作の動作が示されている。より具体的には、フォーマット情報に、MPDのようなメタ情報ではなく、ストリームなどの実体データのフォーマットが示されている場合に、図14に示すステップS907やステップS908においてメタ情報のURLの代わりにストリームの実体データのURLを取得する場合の動作が示されている。
【0248】
まず、ステップS1001において、受信装置は、ロケーション情報デスクリプタを解析する。
【0249】
次に、フォーマットに示されるデータが放送内に存在するかどうかを判定する(ステップS1002)。放送内にデータが存在する場合には(S1002ではい)、ステップS1003に進み、ロケーション情報に示されるPIDを取得する。ここでは、ストリームなどの実体データを放送内に含むことを想定していないため、放送内にデータが存在する場合には、そのフォーマットはメタデータであることが確定する。
【0250】
次に、PIDに基づいて放送ストリームからメタ情報ファイルを取得し(ステップS1004)、取得する通信データを決定する(ステップS1005)。
【0251】
一方、ステップS1002において通信にデータが存在する場合には(S1002でいいえ)、ステップS1008に進み、通信データのURLがロケーション情報デスクリプタに存在するか、TEMIアクセスユニットのtemi_location_descriptorに存在するかを判定する。そして、それぞれの場合に応じて、ステップS1009またはステップS1010においてURLを取得する。
【0252】
ステップS1011では、フォーマットがメタ情報であるかの判定をする。フォーマットがメタ情報である場合には(S1011ではい)、ステップS1012に進み、URLに基づいて通信ストリームからメタ情報を取得し、ステップS1005に進み、取得する通信データを決定する。
【0253】
ステップSp1005において取得する通信データが決まった後や、ステップS1011においてフォーマットがメタ情報でないと判定された場合には、ステップS1006に進み、通信データを取得する。
【0254】
最後に、ステップS1007では、ロケーション情報デスクリプタに含まれる同期情報、あるいは、MPEG-2 TSのタイムライン拡張により示される同期情報に基づいて、放送コンテンツと通信コンテンツを同期再生する。
【0255】
(変形例7)
これまでは、放送コンテンツと通信コンテンツとが同期再生されるかどうかを判定して、同期再生される場合に、放送コンテンツと通信コンテンツとの取得や同期再生をするとして説明をしたが、これに限らない。
【0256】
本変形例では、放送により送信されるオーディオやビデオの基準クロック情報と、通信により送信されるオーディオやビデオの基準クロック情報とが、同じかどうかを示す情報がサービス情報(伝送識別デスクリプタ等)に含まれ、この情報に基づいた動作について説明する。
【0257】
[放送と通信との基準クロック(タイムライン)が同期しているかの情報]
放送と通信とを用いたコンテンツをMMTやDASH、RTP、或いはハイブリッドキャストなどを用いて伝送する場合、放送により送信されるオーディオやビデオの基準クロック情報と、通信により送信されるオーディオやビデオの基準クロック情報とが、同じかどうかを示す情報を伝送識別デスクリプタやプログラム情報、EPGやEITなどに格納するとしてもよい。
【0258】
例えば、放送と通信とにより伝送されるコンテンツが、共通の基準クロックに基づいて動作(例えば、タイムスタンプの付与など)されている場合、共通の基準クロックに基づいて動作していることを示す情報を格納する。また、放送と通信とにより伝送されるコンテンツが異なる基準クロックに基づいて動作されている場合、異なる基準クロックに基づいて動作していることを示す情報を格納する。
【0259】
また、放送と通信とで異なる基準クロック情報を用いていることを示す場合のみ、基準クロック同期に必要な情報(例えば、タイムライン拡張情報など)を示すとしてもよい。また、基準クロック同期に必要な情報の格納場所や、基準クロック同期に必要な情報の種類、基準クロック同期の方法などを示してもよい。
【0260】
ここで、基準クロックの同期においては、放送または通信のいずれかで使用されている基準クロックに揃えることが可能である。
【0261】
例えば、放送においてPCR(Program Clock Reference)が用いられ、通信においてNTP(Network Time Protocol)が用いられる場合、ビデオやオーディオにおけるNTP基準でのDTSやPTSを、PCR基準に変換することで、放送と通信とにおける基準クロックを同期できるというように基準クロック同期の種類や方法を示してもよい。また、受信装置内で使用される固有のクロックと同期するように、放送と通信のDTSやPTSを変換するというように基準クロック同期の種類や方法を示ししてもよい。
【0262】
なお、基準クロック同期に必要な情報の種類や方法を示した識別情報を解析し、識別情報に基づいた方法で基準クロック同期をしてもよい。
【0263】
また、基準クロックが異なるストリームが複数ある場合、基準クロックが異なる基準クロックが複数あることを示す情報をデスクリプタに格納してもよい。デスクリプタを異なる基準クロックごとに示してもよいし、一つのデスクリプタで示してもよい。基準クロックと当該基準クロックを用いたプログラムとの対応関係を示す情報を格納してもよい。
【0264】
基準クロックが同じかどうかを示す情報としては、上記のようなデスクリプタとして示してもよいし、他のデスクリプタやテーブル、セクションなどを用いてもよい。また、クロック同期に必要な情報(例えば、タイムライン拡張情報など)が存在するかどうかによって示してもよい。クロック同期に必要な情報が存在すれば、クロック情報が異なるとしてもよい。あるいは、伝送識別デスクリプタなどに示された、通信コンテンツの属性情報(たとえば、フォーマットや種類に関する情報、あるいは、ロケーション情報やURLに記述された拡張子など)を用いて、クロック情報が異なるということを示してもよい。 ハイブリッドキャストの場合は、AITコントロールドセクションや、アプリケーションの中に格納してもよい。
【0265】
受信装置は、異なるクロック情報を用いていると判定した場合には、放送と通信の基準クロック情報を同期させる。また、共通のクロック情報を用いていると判定した場合、クロックの同期は不要と判断する。受信装置は、例えば、放送波によるコンテンツの基準クロックと通信路によるコンテンツの基準クロックとの差分情報を含む補助情報を受信し、かつ、放送波によるコンテンツの基準クロックおよび通信路によるコンテンツの基準クロックが異なる場合には、その差分情報に基づき通信路によるコンテンツの基準クロックを前記放送波によるコンテンツの基準クロックに同期させるとしてもよい。
【0266】
なお、受信装置は、伝送識別デスクリプタなどに格納された、データの基準クロック情報が同じかどうかの識別結果に加え、ユーザーインタフェースなどによるユーザーの選択やユーザー設定、コンテンツ提供者やサービス事業者、放送局の意図、または受信装置のスペックや仕様、受信機メーカーの意図など、すべてを勘案し、実際に放送コンテンツと通信コンテンツの基準クロック同期をするかどうかを判定してもよい。
【0267】
また、受信装置は、基準クロック同期をすると判定した場合に、実際にクロック同期をするタイミングとしては、判定後に同期開始してもよいし、判定をまたずに、同期に関する情報を取得した際に開始してもよい。あるいは、通信コンテンツの取得を開始する時間に合わせて同期してもよい(例えばコンテンツの取得を開始する一定時間前や、取得開始と同じ時間など)。
【0268】
また、参照元となる基準クロック(例えば、放送のPCR)のクロック再生が完了していない(ジッタ等の影響を平滑するなどしてクロックの使用ができる状態になっていない)場合は、参照元の基準クロック情報のクロック再生が完了した時点で、参照先とのクロックの同期を開始するとしてもよい。
【0269】
放送と通信との基準クロックが同期しているかの情報が、EPGによって示されている場合は、通信コンテンツのプロバッファリングと同様に、放送開始前に基準クロックの同期が必要かどうかの判定や基準クロックの同期を開始してもよい。このように、より早く基準クロックの同期を行うことで、より早く、サービスを視聴者に提供できる。
【0270】
なお、基準クロックが同じかどうかを示す情報は、放送と通信との組み合わせに限られるものではなく、同じ経路で伝送される場合や、放送や通信、蓄積フォーマットなど複数の経路から取得されるデータ中で、異なる基準クロック情報を用いていれば適用可能である。
【0271】
なお、本変形例で説明する機能や処理の一部または全部は、ハードウェアで実装してもよいし、ソフトウェアで実装してもよい。一部をハードウェアあるいはソフトウェアとして実装することもできる。
【0272】
例えば、ソフトウェアで実装する場合は、本変形例で説明した機能や処理を指示したり、受信機能の状態をPUSHで通知したり、PULLで取得する機能などをパッケージし、API関数として提供してもよい。
【0273】
API関数は、アプリケーションから実行できる。アプリケーションとして実装する場合は、レジデントアプリケーションで実装してもよいし、HTML5などのアプリケーションも用いてもよい。上記APIをアプリケーション間でのデータの受け渡し、状態の通知として実装してもよい。
【0274】
ここで、基準クロックが同期しているかの情報に関連するAPI関数の機能としては例えば下記の1)~9)のようなものがある。
【0275】
1)放送コンテンツと通信コンテンツの基準クロック情報が同じかどうかの情報を取得する。2)基準クロック同期が必要かどうかの情報を取得する。3)それぞれの基準クロック情報の種類や同期方法を取得する。4)クロック同期に必要な情報(タイムライン情報など)を取得する。5)クロック同期に必要な情報の取得先を取得する。6)参照元のクロック情報を引数とし、同期のとれた参照先のクロック情報を返す。例えば、同期がとれていない場合は、同期がとれていないことを示す値を返す。7)互いの基準クロックの同期開始を指示する。8)基準クロック同期がとれているかどうかの状態を取得する。9)基準クロック同期がとれたことを通知する。
【0276】
[受信方法]
以下、図を用いて、本変形例における受信方法として、属性情報やロケーション情報が放送のプログラム情報に格納される場合に、受信装置が放送コンテンツと通信コンテンツとを同期再生するかどうかを判定して動作するときの動作の一例について説明する。
【0277】
図16は、実施の形態1の変形例7の放送通信連携サービスにおける受信側の動作の一例を示すフローチャートである。なお、図16に示すフローチャートの動作は、MMTやDASH、 RTPなどいかなる多重化方式の組み合わせを用いた放送通信連携サービスにも適用可能である。また、ハイブリッドキャストにも適用可能である。
【0278】
図16では、放送コンテンツと通信コンテンツとが同期されることを前提としており、放送コンテンツと通信コンテンツとを同期するかどうかの判定は省略している。
【0279】
また、ステップS1101およびステップS1102は、図9のステップS401およびステップS402と同様の動作であるので、説明を省略する。
【0280】
次に、ステップS1103において、受信装置は通信コンテンツを取得するかどうかを決定する。通信コンテンツを取得すると決定した場合には(S1103ではい)、ステップS1104に進み、放送と通信の両伝送路からデータを受信し、続くステップS1105において、放送コンテンツと通信コンテンツとの基準クロックが同じか異なるかを判定する。
【0281】
ステップS1105において基準クロックが異なると判定した場合には(S1105ではい)、ステップS1106に進み、放送コンテンツと通信コンテンツとの基準クロックを同期させ、ステップS1107において両者を同期再生する。
【0282】
一方、ステップS1105において基準クロックが同じであると判定した場合には(S1105でいいえ)、基準クロックの同期をせずに、共通のクロックを用いて同期再生する。
【0283】
なお、ステップS1105の後に、基準クロックの同期が必要かどうかを判定する処理を行ってもよい。例えば、クロック同期の種類や方法によって、受信装置の能力がクロックの同期に対応するかどうか、あるいは、受信機の仕様としてクロック同期をするかどうか、あるいはユーザーがクロック同期をするかどうかなどを判定する。そして、ステップS1105と上記の判定結果によって、総合的に放送と通信とにおける基準クロックの同期をするかどうかを判定し、ステップS1106またはステップS1107に進むとしてもよい。
【0284】
また、ステップS1106における基準クロックの同期は、ステップS1104に先立って実施してもよい。これは、コンテンツの受信データをプリバッファリングしてから再生開始する場合など、放送コンテンツにおいてPTSがT1となるデータと、通信コンテンツにおいてPTSがT1となるデータ(ここで、互いのPTSは既に同期されているものとする)が受信済みとなることを確認して復号、再生を開始することがあるからである。そして、互いに同期再生されるデータが揃っているかどうかを判定する際に、両者の基準クロックが同期済みであることが必要となるためである。
【0285】
また、ステップS1106において、クロック同期情報が取得できないなどによって、または、受信機の仕様によって、クロック同期ができない場合、放送と通信との連携したサービスをユーザーに提供できない場合がある。その場合には、同期させることが必須かどうか、同期させずに再生してもいか、などの判定をすることによって、ステップS1103の通信により送信されるデータを受信するかどうかを判定してもよい。
【0286】
なお、ステップS1103では、伝送路識別デスクリプタで識別できる情報の他にも、ユーザーの選択や設定、コンテンツ提供者やサービス事業者、放送局の意図、または受信装置のスペックや仕様、メーカーの意図など、すべてを勘案し、実際に通信により送信されるデータを受信するかどうかを決定してもよい。
【0287】
[受信装置]
次に、図16に示す動作を実現する受信装置の構成の一例について説明する。図17は、実施の形態1の変形例7における受信装置の構成の一例を示すブロック図である。
【0288】
図17に示す受信装置1100は、識別情報取得部1101と、決定部1102と、通信併用判定部1103と、Loc情報取得部1104と、放送受信部1105と、通信受信部1106と、基準クロック判定部1107と、再生部1108とを備える。
【0289】
識別情報取得部1101~通信受信部1106は、図8で説明した識別情報取得部301~通信受信部306と同様であるので説明を省略する。
【0290】
基準クロック判定部1107は、図16に示すステップS1105の処理を行う機能を備える。また、基準クロック判定部1107は、基準クロックが異なるかどうかを判定した上で、さらに、上述したような基準クロックの同期が必要かどうかを判定する処理を行うとしてもよい。
【0291】
再生部1108は、基準クロック判定部1107における判定結果により決定された方法に基づいて、基準クロックが異なる場合は基準クロックを同期した後に、放送コンテンツまたは通信コンテンツを復号して、再生する。
【0292】
なお、本変形例で説明した機能や受信装置の構成、受信方法は一例であり、これに限られるものでなく、同様の機能や効果が実現できるものであればよい。
【0293】
[実施の形態1の効果等]
以上のように、本実施の形態によれば、通信によるコンテンツの受信開始タイミングが遅延しても受信側で放送と通信とを併用したコンテンツを再生可能なコンテンツの送信方法、受信方法、送信装置および受信装置を実現できる。
【0294】
具体的には、本実施の形態の一態様における送信方法は、放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信方法であって、放送波と通信路とのそれぞれを用いてコンテンツを送信する場合には、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報であって受信側が受信した場合に前記同期を取らせる補助情報を、少なくとも前記放送波を用いて送信する情報送信ステップを含む。
【0295】
これにより、放送波と通信路を用いてコンテンツを送信した場合には、放送波と通信路とを用いて送信したコンテンツ間との同期を取るための補助情報を送信するので、受信側が補助情報を受信したときには受信側にコンテンツ間の同期を取らせることができる。
【0296】
ここで、例えば、前記情報送信ステップでは、前記コンテンツを送信するのに先だって前記補助情報を送信し、前記補助情報には、さらに、前記コンテンツの取得先を示すロケーション情報または前記ロケーション情報の取得先を示す情報が含まれていてもよい。
【0297】
また、例えば、前記補助情報送信ステップでは、さらに、前記補助情報に、前記放送波によるコンテンツの基準クロックと前記通信路によるコンテンツの基準クロックとの差分情報を含めて送信してもよい。
【0298】
また、例えば、前記補助情報送信ステップでは、前記補助情報を送信することにより、前記コンテンツの基準クロックが異なる場合には、前記差分情報に基づき前記通信路によるコンテンツの基準クロックを前記放送波によるコンテンツの基準クロックに同期させることで前記受信側に前記同期を取らせてもよい。
【0299】
また、例えば、前記送信方法では、前記コンテンツを、MMT(MPEG Media Transport)にしたがったフォーマットで生成する生成ステップと、前記コンテンツを、前記生成ステップで生成されたフォーマットで送信するコンテンツ送信ステップと、を含んでもよい。
【0300】
また、例えば、前記生成ステップでは、前記補助情報を、前記コンテンツの取得に関する情報であるメッセージ情報に含めて生成してもよい。
【0301】
また、本実施の形態の一態様における受信方法は、放送波と通信路とのそれぞれを用いて送信されたコンテンツを受信する受信ステップと、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報を受信した場合には、前記同期を取る処理を行い、前記コンテンツを再生する再生ステップと、を含む。
【0302】
これにより、例えば放送波などエントリポイントとなる伝送路において送信されるサービス情報を取得し、その中に補助情報が含まれていた場合には、同期を取る処理を行うことができる。
【0303】
ここで、例えば、前記受信ステップでは、前記コンテンツを受信するのに先だって前記補助情報を受信し、前記補助情報に、前記コンテンツの取得先を示すロケーション情報が含まれている場合には、前記ロケーション情報に基づき前記コンテンツを取得することで、前記コンテンツを受信してもよい。
【0304】
また、例えば、前記受信ステップでは、前記コンテンツを受信するのに先だって前記補助情報を受信し、前記補助情報に、前記コンテンツの取得先を示すロケーション情報の取得先を示す情報が含まれている場合には、前記ロケーション情報の取得先を示す情報に基づき前記ロケーション情報を取得し、取得した前記ロケーション情報から前記コンテンツを取得することで、前記コンテンツを受信してもよい。
【0305】
また、例えば、前記再生ステップでは、前記受信ステップにおいて、前記放送波によるコンテンツの基準クロックと前記通信路によるコンテンツの基準クロックとの差分情報を含む前記補助情報を受信し、かつ、前記放送波によるコンテンツの基準クロックおよび前記通信路によるコンテンツの基準クロックが異なる場合には、前記差分情報に基づき前記通信路によるコンテンツの基準クロックを前記放送波によるコンテンツの基準クロックに同期させることで前記コンテンツの同期を取る処理を行い、前記コンテンツを再生してもよい。
【0306】
また、本実施の形態の一態様における送信装置は、放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信装置であって、放送波と通信路とのそれぞれを用いてコンテンツを送信する場合には、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報であって、受信側が受信した場合に前記同期を取らせる補助情報を少なくとも前記放送波を用いて送信する情報送信部を備える。
【0307】
また、本実施の形態の一態様における受信装置は、放送波と通信路とのそれぞれを用いて送信されたコンテンツを受信する受信部と、前記放送波によるコンテンツと前記通信路によるコンテンツとの同期を取るための補助情報を受信した場合には、前記同期を取る処理を行い、前記コンテンツを再生する再生部と、を備える。
【0308】
また、以上のように、本実施の形態によれば、オーディオやビデオを含むコンテンツが、放送に加えて通信を併用して送信されるかどうかを示す識別情報、および、放送と通信を併用する際には、両伝送路において送信されるデータ間の依存関係などを示す情報を、コンテンツの管理情報として生成し、送信するとしてもよい。ここで、例えば、データ間の依存関係を示す情報は、両伝送路において送信されるデータが同期再生されるかどうかを含むとしてもよい。また、データ間の依存関係を示す情報は、両伝送路において送信されるデータのクロック情報が同じかどうかを含むとしてもよい。
【0309】
それにより、オーディオやビデオを含むコンテンツが送信される伝送路、および、異なる伝送路において送信されるデータ間の依存関係が、コンテンツの受信開始時に取得できるので、受信するアセットの決定や、通信コンテンツの取得開始に係る遅延時間が低減できる。
【0310】
また、本実施の形態によれば、通信において送信されるデータのロケーション情報を、コンテンツの管理情報に含めるとしてもよい。ここで、送信されるデータのロケーション情報は、例えば、MPEG-DASHにおけるMPDであるとしてもよい。また、コンテンツ管理情報には、MPDなどのロケーション情報の実体データではなく、ロケーション情報の取得先を示す情報を格納してもよい。
【0311】
それにより、オーディオやビデオを含むコンテンツが送信される伝送路、および、異なる伝送路において送信されるデータ間の依存関係が、コンテンツの受信開始時に取得できるので、受信するアセットの決定や、通信コンテンツの取得開始に係る遅延時間が低減できる。
【0312】
また、本実施の形態によれば、受信装置においては、コンテンツの管理情報を解析して、コンテンツを受信する伝送路、および、各伝送路において受信するデータを決定するとしてもよい。例えば、両伝送路において送信されるデータのクロック情報が異なる場合は、データ間のクロック同期のために必要な補助情報を取得し、各データにおけるDTSやPTSを同期して、復号し、再生するとしてもよい。また、両伝送路において送信されるデータを同期再生する場合には、データ間のクロック同期のために必要な補助情報を取得して、各データにおけるDTSやPTSを同期して、復号し、再生するとしてもよい。
【0313】
それにより、放送データのみを受信する受信装置においては、従来の放送受信と同様の動作により放送データの再生を可能としつつ、通信データの再生に対応することができる。
【0314】
さらに、受信装置に対しては、放送と通信のデータを同期して再生するための仕組みを提供することができる。
【0315】
さらに、複数の伝送路で伝送されるデータのクロック間の同期がとれていない場合でも、クロック同期に必要な補助情報を取得することによりクロックの同期をし、データを同期再生できる。
【0316】
(実施の形態2)
実施の形態1では、放送で送信するストリームと通信で送信するストリームとが同期再生の対象となるか、あるいは、両伝送路により送信されるストリーム間の依存関係などを示す情報を送信する際の送信方法、及び、それら情報を受信する受信方法等について説明した。
【0317】
ここで、選択可能なオーディオやビデオからユーザーが再生対象を選択する場合や、ビデオにおいて単一ビューの全画面表示からマルチビューに切替えるなど、ユーザー動作の介在を伴う柔軟なコンテンツ再生を受信装置において実現するには、アプリケーションにおいて再生制御を行うのが望ましい。
【0318】
アプリケーションとしては、広く普及しているHTML(Hyper Text Markup Language)のブラウザに基づくものが主流である。アプリケーションがHTMLである場合、HTMLを解釈することで再生制御を行うことができる。HTMLであれば、コンテンツの選択や切替え、あるいは、レイアウトの変更などを柔軟に記述できるというメリットもある。
【0319】
例えば、IPTVフォーラムにおいて規定されるハイブリッドキャストでは、TSにおけるPMTの記述子や、MMTにおけるMPTの記述子など放送番組の受信開始時に必ず参照されるデータにおいて、ait_identifier_info()などアプリケーションが存在することを示す識別情報を送信する。ハイブリッドキャストに対応した受信装置においては、当該識別情報が存在する場合には、AITなどのアプリケーション制御情報をTSにおけるセクションやデータカルーセル、MMTにおけるMMTメッセージやデータカルーセルに相当する情報、あるいは、通信ネットワーク経由でダウンロードして取得する。その上で、アプリケーション制御情報に基づいて、HTMLファイルなどのアプリケーションを取得する。
【0320】
以降、アプリケーション制御情報やアプリケーション自体のデータを、アプリケーション関連データと呼ぶ。アプリケーションの記述には、XMLなどHTML以外の記述言語を用いてもよい。
【0321】
[デフォルトとなるサービス情報の送信方法]
しかしながら、アプリケーションに対応しない受信機が存在する、あるいは、アプリケーションに対応していたとしても、アプリケーションを取得してから起動するまでには放送や通信における選局開始からのタイムラグが発生する。
【0322】
従って、再生すべきストリームや表示レイアウトのデフォルト設定情報については、アプリケーション関連データではなく、PMTやMPTなど選局時に必ず取得するデータ、あるいは、他のTSのセクションやMMTのメッセージなど、アプリケーションを起動するまでにかかる時間よりも低遅延で取得できるデータにおいて送信してもよい。そして、高度な再生制御を行うための情報はHTMLなどのアプリケーションデータとして送信するとしてもよい。
【0323】
例えば、放送あるいは通信において送信されるストリームの再生制御に関連する情報としては、(a)ストリーム間のスケーラビリティに関する情報、(b)マルチリンガルの音声や、ビットレートの異なるビデオなどストリームの切替えに関する情報、(c)同時に表示可能な複数のビデオのストリームを示す情報など同時表示に関する情報、及び、同時表示する場合のレイアウトに関する情報などがあり、これらの情報のデフォルト値をデフォルト再生制御情報と呼ぶとする。
【0324】
アプリケーションに対応しない受信装置においては、デフォルト値に基づいて再生を行う。一方、アプリケーションに対応する受信装置は、デフォルト値に基づいて再生を開始し、アプリケーションの起動後に、ユーザー動作、あるいは、アプリケーションの制御コマンドなどに基づいて再生動作を切替えるとすればよい。
【0325】
ユーザー動作による切替えが可能な情報についてのみ、アプリケーションによって再生動作を切替えてもよい。例えば、同時表示に関しては、基本的にはユーザーによる切替えが可能であるが、時間スケーラビリティに関しては、拡張レイヤのストリームが取得可能であれば常に拡張レイヤを使用するとして、受信機が自動的に再生動作を決定してもよい。この場合、時間スケーラビリティに関する情報は、デフォルト再生制御情報においてのみ送信する。
【0326】
ここで、TSにおいては、再生制御に関する情報は基本的にはアプリケーションにより実行されるが、スケーラビリティに関する情報はデフォルト再生制御情報において送信してもよい。このとき、基本レイヤと拡張レイヤのストリームを対応付けるための情報のみをデフォルト再生制御情報、あるいは、MPEG-2 TSで規定する記述子により送信し、アプリケーションの制御コマンドやユーザー動作に基づいて、アプリケーション側において拡張レイヤを復号するかどうかを決定してもよい。
【0327】
また、レイアウトに関連する情報についてのみ、アプリケーションによって再生動作を切替えるとしてもよい。例えば、時間スケーラビリティやストリーム切替えは、レイアウトの変更を伴わない。従って、これらの情報はデフォルト再生制御情報においてのみ送信する。一方で、同時表示に関する情報はユーザー動作による切替えが想定されるため、アプリケーションによる再生動作を可能とする。
【0328】
(デフォルト再生制御情報の記述例)
次に、デフォルト再生制御情報による再生動作をアプリケーションによって切替える際の再生制御情報の記述例について説明する。ここで、デフォルト再生制御情報は記述子に格納され、アプリケーション制御情報はHTMLにより記述されるものとする。
【0329】
図18Aは、実施の形態2におけるデフォルト再生制御情報の記述例を示す図であり、図18Bは、図18Aに示すデフォルト再生制御情報のレイアウト情報に従ったビデオの表示例について示す図である。すなわち、図18Aに示すデフォルト再生制御情報において、図18Bに示すようにPID=100のビデオを全画面表示することがレイアウト情報により示されている。
【0330】
なお、レイアウト情報としては、ストリームを特定するための情報を示さずに、全画面表示することのみを示してもよい。また、このとき、ビデオストリームが2本以上存在する場合には、デフォルトで再生されるビデオを特定するための情報(アプリケーション制御情報)を別途示すことにすれば、デフォルトで再生されるビデオを全画面表示するように動作させることができる。
【0331】
図19Aは、実施の形態2におけるアプリケーション制御情報の一例を示す図であり、図19Bは、図19Aに示すアプリケーション制御情報のレイアウト情報に従ったビデオの表示例について示す図である。
【0332】
すなわち、図19Aに示すアプリケーション制御情報では、領域1と領域2の2つの表示領域をLayoutタグにより設定し、図19Bに示すようにPID=100のビデオを領域1に表示し、PID=200のビデオを領域2に表示することが示されている。
【0333】
したがって、図19Aに示すHTMLのアプリケーション制御情報を受信した受信装置は、領域1と領域2に、それぞれPID=100とPID=200とのビデオを表示する。なお、ビデオを特定する情報は、PID以外にも、URL、あるいは、MMTパケットのパケットIDなどであってもよい。
【0334】
このように、図19Aおよび19Bに示す例では、デフォルト再生制御情報において、スケーラビリティとレイアウトとの2種類の情報が示されている。スケーラビリティとしては、スケーラビリティの種類が時間スケーラビリティであり、PID=100のビデオが基本レイヤで、PID=200のビデオが拡張レイヤであることが示される。レイアウト情報としては、PID=100のビデオを全画面表示することが示される。
【0335】
基本レイヤのみではフレームレートが60fpsであり、拡張レイヤを用いることで120fpsになるとすると、デフォルトの状態では、PID=100のビデオのみを復号して、60fps相当の映像が全画面表示により再生される。なお、送信されるストリームがスケーラビリティの基本レイヤや拡張レイヤに相当することが、MPEG-2システムのストリームタイプなどストリームの属性情報によって別途示される場合には、デフォルト再生制御情報としては、これらの情報を記述しなくてもよい。また、デフォルトの状態では基本レイヤのみを復号して再生することを別途規定しておけば、レイアウト情報としては、全画面表示することのみを示してもよい。
【0336】
図20Aは、実施の形態2におけるデフォルト再生制御情報の別の記述例を示す図であり、図20Bは、図20Aに示すデフォルト再生制御情報のレイアウト情報に従ったビデオの表示例について示す図である。図21Aは、実施の形態2におけるアプリケーション制御情報の一例を示す図であり、図21Bは、図21Aに示すアプリケーション制御情報のレイアウト情報に従ったビデオの表示例について示す図である。
【0337】
図21Aでは、Scriptタグにより関数Aが定義される。関数Aは、画面上のボタンが押された場合に時間スケーラビリティの拡張レイヤを復号、再生することを指示する関数であり、引数として、基本レイヤと拡張レイヤを特定するインデックス番号などを示す。Bodyタグにおいては、リモコンの特定のボタンなどが押された場合に、関数Aを呼び出す旨が記述される。
【0338】
図21AのHTMLアプリケーションを受信した受信装置は、ボタンが押下げられると、PID=200の拡張レイヤのストリームを復号し、120fps相当の映像を全画面表示により再生する。
【0339】
デフォルトで再生するオーディオやビデオなどのストリームは、MPEG-2システムやMMTの記述子などを用いることにより別途示してもよい。例えば、デフォルトで再生するストリームをグループ化して、グループのIDとストリームとを対応付けることが可能である。あるいは、デフォルトで再生するストリームを示すための記述子を規定して、記述子の中にデフォルトで再生するストリームのPIDなどのリストを含めることも可能である。
【0340】
なお、デフォルト再生制御情報におけるデフォルト値を予め規定しておき、パラメータ値が当該デフォルト値と等しい場合にはデフォルト再生制御情報を送信しないことにしてもよい。例えば、レイアウトとして全画面表示をデフォルト値とすれば、全画面表示の場合には、レイアウト情報を含めなくてもよい。このとき、スケーラビリティが使われておらず、ストリームの切替えにも対応しないケースでは、デフォルト再生制御情報を送信しなくてもよい。
【0341】
[受信方法]
本実施の形態では、受信側は、サービス情報を取得後に、デフォルト再生制御情報、及び、アプリケーションにより提供される再生制御情報を解析して、動作する。以下、図を用いて、本実施の形態における受信方法について説明する。
【0342】
図22は、実施の形態2における受信側の動作の一例を示すフローチャートである。図22には、デフォルト再生制御情報、及び、アプリケーションにより提供される再生制御情報を解析して、スケーラビリティやストリーム切替えなどの機能、コンテンツを提示する際のレイアウトを決定する際の動作の一例が示されている。
【0343】
まず、ステップS701において、受信側は、視聴するコンテンツを選局する。
【0344】
次に、ステップS702において、受信側は、デフォルト再生制御情報を解析し、復号して再生するストリームを決定するとともに、レイアウトなどの提示方法を決定する。
【0345】
ここで、デフォルト再生制御情報は、PMTやMPTなど選局時に必ず取得するデータに含めて送信されるとしてもよいし、アプリケーション関連データとは別途送信される、MPEG-2 TSのセクションやMMTのメッセージなどにより送信されるとしてもよい。
【0346】
デフォルト再生制御情報がセクションやメッセージにより送信される場合には、デフォルト再生制御情報のデフォルト値を設定しておき、当該セクションやメッセージを受信するまでの間は、デフォルト再生制御情報のデフォルト値に基づいて動作するとしてもよい。また、復号して再生するストリームは、デフォルトで再生するオーディオやビデオなどのストリームを示す記述子を参照することにより決定してもよい。
【0347】
次に、ステップS703において、決定した再生制御パラメータに従って再生開始する。
【0348】
次に、ステップS704において、アプリケーションを受信するか判定し、受信しない場合(S704でいいえ)には、処理を終了する。一方、受信する場合(S704ではい)には、ステップS705に進み、アプリケーションにおいて再生制御機能が示されているか判定する。
【0349】
ステップS705において、再生制御機能が示されていない場合には(S705でいいえ)、処理を終了する。再生制御機能が示されている場合には(S705ではい)、ステップS706に進み、アプリケーションに示される再生制御機能に基づいて、制御コマンドやユーザー動作に従って再生制御情報を更新する。
【0350】
次に、ステップS707において、更新後の再生制御パラメータに従って再生し、処理を終了する。
【0351】
[受信装置]
図23は、実施の形態2における受信装置の構成の一例を示すブロック図である。図23では、図22で説明した各ステップの動作を実現する受信装置の構成の一例が示されている。
【0352】
図23に示す受信装置700は、受信部701と、デフォルト情報解析部702と、アプリ情報受信部703と、アプリ再生制御情報解析部704と、再生制御実行部705とを備える。これらの動作は、図22で説明した各ステップにおける動作であるため、説明を省略する。
【0353】
(変形例1)
デフォルト再生制御情報をアプリケーションにより更新する仕組みは、放送単独、通信単独、あるいは、放送と通信を併用してコンテンツを送信する全ての場合において適用できる。
【0354】
また、本実施の形態における手法における考え方は、現在MPEGで規格化中のMPEG-2 TSのタイムライン拡張(13818-3:2013/AMD6)においても適用できる。TSのタイムライン拡張においては、少なくとも1つのTS(基本TSと呼ぶ)を含む複数の多重化ストリームを用いてコンテンツを送信する際に、基本TSと、それ以外の多重化ストリームにおいてコンテンツの復号や表示における基準クロックを同期させるための情報を提供する。
【0355】
具体的には、基本TSと異なる多重化ストリームの基準クロックと、基本TSのPCRとを対応付ける情報を含むタイムライン拡張用アクセスユニットを定義し、タイムライン拡張用アクセスユニットをPESパケットに格納し、TSパケット化して送信する。タイムライン拡張用アクセスユニットにおいては、タイムライン拡張用の情報はMPEG-2システムの記述子の形式により表現される。このように、PESパケット単位でタイムライン拡張用の情報を送信することで、PCRの不連続が発生した場合にも、更新後のPCRとの基準クロックの同期が迅速に行える。
【0356】
しかしながら、PCRの不連続は単一の番組内においては一般的には発生しないため、番組の受信開始時にタイムライン拡張用の情報を受信して、互いの基準クロックを同期すれば、番組内においての再同期は不要であることが多い。
【0357】
従って、番組内でPCRの不連続が発生しないことが保証される場合には、PMTなどにタイムライン拡張用の情報のデフォルト値を格納して、タイムライン拡張用のアクセスユニットは送信しないことにしてもよい。例えば、タイムライン拡張用アクセスユニットにおいてタイムライン拡張用の情報を格納する記述子と同様の記述子をPMTなどのセクションに格納して、タイムライン拡張用の情報のデフォルト値として使用できる。また、タイムライン拡張用アクセスユニットとPMTなどに格納されるデフォルト情報とを併用してもよい。
【0358】
タイムライン拡張用アクセスユニットが送信される場合においても、番組内、あるいは、特定の時刻までPCRの不連続が発生しないことが保証される場合には、選局直後に受信するタイム来拡張用アクセスユニットの情報に基づいてクロック同期を行った後は、番組内、あるいは、特定の時刻までは再同期を行わないことにしてもよい。
【0359】
また、タイムライン拡張用の情報をセクションにより送信する場合には、PCRの不連続が発生した直後から一定期間の間、更新後のPCRに対応したタイムライン拡張用の情報を送信してもよい。受信装置においては、セクションのバージョン番号が更新されていれば、当該セクションに含まれるタイムライン拡張用の情報に基づいて再同期を行う。なお、PCR不連続の発生後であって、再同期よりも前の時刻においては、ストリーム間のクロック同期が保証できない。このときは、TSのdiscontinuity indicatorなどPCRの不連続を示す情報に基づいて別途PCRの不連続を検出し、不連続を検出した場合には、再同期までの間は、基本TSと同期対象となるメディアのアクセスユニットを固定フレームレートと仮定して復号、表示するなどしてもよい。
【0360】
[実施の形態2の効果等]
以上のように、本実施の形態によれば、オーディオやビデオを含むコンテンツにおける、ビデオの表示に関するレイアウト情報、あるいは、再生時に切替え可能なストリームを示す情報などを含む再生制御情報を送信する際に、選局時に必ず受信するデータに再生制御情報のデフォルト値を格納し、デフォルトの再生制御動作を更新するための情報を、ハイブリッドキャストなどのアプリケーションに関連する情報に格納して送信する。
【0361】
ここで、再生制御のデフォルト値に従って再生を開始し、受信装置がアプリケーションに対応する場合には、アプリケーションデータとして送信される再生制御機能に基づいて、ユーザー動作などに従ってデフォルトの再生制御情報を更新する。
【0362】
それにより、コンテンツのレイアウトなど再生制御に係るパラメータの決定に係る遅延時間が低減できる。
【0363】
(実施の形態3)
上述したように、MMT方式によれば、映像及び音声を多重、パケット化し、放送や通信などの一つ以上の伝送路で送信することができる。受信装置においては、一つ以上の伝送路で伝送されたパケットを受信し、プログラム情報を基に受信されたパケットの中から所望のパケットを抽出し、復号・提示をすることができる。
【0364】
つまり、MMT方式では、複数の伝送路で伝送されたメディア(映像や音声、字幕など)を受信してプログラムを構成することが可能である。しかし、放送や通信でダウンロードして蓄積したデータと、放送・通信からストリーミングされたデータの両方を用いてプログラムを構成することができない。
【0365】
そこで、実施の形態3では、放送や通信でダウンロードして蓄積したデータと、放送・通信からストリーミングされたデータの両方を用いてプログラムを構成する場合の送信方法および受信方法等について説明する。
【0366】
以下では、放送連携サービスにおける放送側の多重化フォーマットとしては、MPEGで規格化されたMMT(MPEG Media Transport)を例に説明する。
【0367】
MMTでは、MPT(MMT Package Table)などのテーブル、あるいは、PA(Package Access)メッセージなどのメッセージ情報によりプログラム情報が送信される。MPTには、プログラムを構成するアセット(ビデオ、オーディオなどの単一メディア)や、アセットを伝送するロケーション情報が記述されている。一つのアセットを複数の伝送路によって伝送することも可能である。
【0368】
本実施の形態でも、送信側は、放送波と通信路を用いてコンテンツ(データまたはアセット)を送信するが、コンテンツの送信に先だってサービス情報を送信する。
【0369】
[サービス情報]
図24は、実施の形態3の放送通信連携サービスにおけるサービス情報のデータ構造の一例を示す図である。図25は、実施の形態3のプログラム構成情報記述子に含まれる情報の一例を示す図である。
【0370】
図24に示すようにMPT内にプログラム構成情報記述子が含まれ、本記述子において、パッケージを構成するアセットに関する情報が示される。パッケージを構成するアセットに関する情報には下記を含めることができる。
【0371】
(アセットに関する情報)
1)プログラムを構成するアセットに、蓄積されているアセット(以後、蓄積アセットと呼ぶ)を含むか含まないかを示す情報をアセットに関する情報としてプログラム構成情報記述子に含めるとしてもよい。ここで、蓄積されているアセットとは、例えばHDDや内部メモリ、SSD、SDカードなどのメモリ、ブルーレイディスクなどに蓄積されているアセットである。
【0372】
2)プログラムを構成するアセットに蓄積アセットを含む場合、プログラムの構成を示す情報をアセットに関する情報としてプログラム構成情報記述子に含めるとしてもよい。
【0373】
例えば、プログラムが蓄積アセットのみで構成されている、プログラムが蓄積アセットと伝送されているアセット(以後、伝送アセットと呼ぶ)とで構成されている、または、プログラムが蓄積パケットを含むアセットと伝送アセットで構成される、といったプログラムの構成を示す情報を含めるとしてもよい。また、例えばプログラムがスケーラブル符号化された映像で構成される場合、伝送アセットに基本レイヤを含み、蓄積アセットに拡張レイヤを含むことを示す情報を含めるとしてもよい。また、プログラムの再生に、蓄積アセットの復号、再生が必須か、必須でないかを示す情報を含めるとしてもよい。例えば、蓄積アセットのコンテンツが付加的な情報である場合、再生は必須でないとし、蓄積アセットの再生が必須でないことを示す情報を含めるとしてもよい。
【0374】
また、例えば受信装置が蓄積に対応していない場合、あるいは蓄積アセットが蓄積されていない場合などには、プログラムの再生に蓄積アセットの復号・再生が必須でないことを示す情報を基に、蓄積アセットを用いず、放送や通信から取得したアセットを用いてプログラムを再生することができる。
【0375】
3)蓄積アセットに関する情報をアセットに関する情報としてプログラム構成情報記述子に含めるとしてもよい。
【0376】
ここで、例えば、a)蓄積アセットの蓄積フォーマットや、映像・音声符号化方式、蓄積アセットを伝送した伝送方式や多重化方式などの属性情報を含めるとしてもよい。この場合、蓄積アセットにはあらかじめ属性情報を付与し、属性情報は、例えば蓄積アセットのヘッダや、蓄積アセットの構成を示すプログラム情報などに含めればよい。受信装置がプログラム情報に格納された属性情報と蓄積アセットの属性情報が一致したときに再生可能としてもよい。また、例えば、b)蓄積アセットを含むプログラムを再生するために必要な受信機の能力、機能に関する情報を含めるとしてもよい。また、例えば、c)プログラムを再生や視聴を制限するための情報(スクランブル方式、視聴制限、限定受信、著作権情報)や鍵を含めるとしてもよい。この場合、受信装置は、プログラム情報に格納された視聴を制限するための情報と、蓄積アセットとを照合し、蓄積アセットの再生や視聴の可否を判断してもよい。また、受信装置は、あらかじめ暗号化されたアセットを蓄積し、送信された鍵を基に蓄積アセットの暗号を復号してもよい。
【0377】
4)プログラムを構成するアセットが、伝送アセットと蓄積アセットから構成されている場合、伝送アセットと蓄積アセットを同期して再生にするための時刻情報をアセットに関する情報としてプログラム構成情報記述子に含めるとしてもよい。
【0378】
この時刻情報は、例えば、蓄積アセットに付与されているタイムスタンプの基準となる基準時刻に対する伝送アセットの基準時刻情報とのオフセット量を示すとしてもよい。また、蓄積アセットに付与されているタイムスタンプがPCR(Program Clock Reference)やNTP(Network Time Protocol)に基づいて付与されている場合、伝送された基準時刻(PCRやNTP)に対する相対時刻を示すとしてもよい。また、時刻情報は、蓄積アセットがランダムアクセステーブルをもつフォーマットで蓄積されている場合、蓄積アセットのランダムアクセスポイントに対する伝送アセットの時刻情報テーブルであってもよい。
【0379】
(ロケーション情報)
MPT内には、アセット毎に、アセットのロケーション情報が記述される。例えば一つのアセットが複数のロケーションに存在する場合は、MPT内には複数のロケーション情報が記述される。
【0380】
図26は、実施の形態3のロケーション情報記述子に含まれる情報の一例を示す図である。図27は、実施の形態3のロケーション情報記述子に含まれるロケーションタイプの一例を示す図である。
【0381】
図26に示すように、ロケーション情報記述子には、ロケーション情報として、ロケーションタイプとロケーションタイプに応じたアセットの特定する識別子とが記述される。
【0382】
ロケーションタイプは、ロケーション情報のタイプを表す。例えば、図26に示す例では、ロケーションタイプの値Valueが0xA0(Value=0xA0)であるので、図27より、ローカルに蓄積されていることがわかる。ロケーションタイプに、ローカルに蓄積されていることが示されている場合、ロケーション情報には蓄積されているデータを一意に示すローカルIDを記述される。
【0383】
ここで、ローカルIDは、例えば、蓄積されているアセットのアセットIDでもよいし、パケットIDでもよい。また、ARIB STD-B45に規定されている32bitのトランスポートファイル識別子でもよいし、新たに規定してもよい。また、ネットワークIDや、ストリームIDなど、さまざまなIDを組み合わせ、所定の命名規則に従い、ローカルIDを生成してもよい。また、ローカルIDは、放送局、送信局、コンテンツプロバイダー等があらかじめ付与してもよいし、受信機側でIDを修正、追加の情報を加えて付与してもよい。受信側で独自のIDを付与し、送信側で付与されたIDとの対応関係を示すテーブルを用意してデータを特定できるとしてもよい。
【0384】
なお、上記の例は、ロケーションタイプを用いてアセットがローカルに蓄積されていることを示し、別途ローカルIDを付与するとしたが、次の方法を用いてもよい。例えば、ロケーションタイプとしてIPv4を選択し、ローカル特有のIPアドレスを用いて指定してもよい。例えば、IPアドレスが、192.168.xxx.xxxとなっている場合は、アセットがローカルに蓄積されているとし、xxx.xxxの部分で蓄積されたアセットを特定するとしてもよい。
【0385】
また、蓄積されているアセットのデータ(ファイル)には、ローカルIDを付与する。例えば、ファイルの中のファイルヘッダに格納する。ローカルIDはあらかじめ放送局、送信局、コンテンツプロバイダーが格納してもよいし、受信側で格納することも考えられる。
【0386】
上記の記述子は一例であり、同様の機能を持つデータ構造で記述子を構成してもよい。また、本実施の形態の記述子、識別子はMPTのとは異なる、パッケージ単位の情報を示すテーブルやメッセージに格納してもよい。他のシグナリング情報を用いて送信してもよい。
【0387】
なお、MMTを例に説明したが、MMTに限定されるものではなく、TSやMPEG-DASHなど他のフォーマットであってもよい。例えば、多重化方式としてMPEG2-TSを用いる場合は、PMT(Program Map Table)に格納してもよい。また、MPEG2-TS方式と他の方式とを組み合わせて伝送する場合、TEMI(Timeline and External Media Information)アクセスユニットに格納してもよい。MPEG-DASHを用いる場合は、MPD(Media presentation description)に記述してもよい。
【0388】
(アセット構成情報記述子)
MMT方式では、一つのアセットを複数の伝送路によって伝送することも可能である。このとき、アセットの構成を示すアセット構成情報記述子を格納してもよい。
【0389】
図28は、実施の形態3のアセット構成情報記述子に含まれる情報の一例を示す図である。すなわち、アセットの構成を示す情報には下記を含めることができる。
【0390】
1)当該アセットが蓄積アセットであることや、アセットが蓄積パケットをアセットの構成を示す情報に含めるとしてもよい。ここで、アセットが蓄積パケットを含む場合とは、一つのアセットが放送や通信から伝送されるパケットと、蓄積されたパケットから構成される場合である。
【0391】
2)アセットが蓄積アセットである場合、例えば、a)当該アセットが蓄積アセットのみで構成されている、蓄積パケットと伝送パケットからと構成されているといった情報をアセットの構成を示す情報として含むとしてもよい。また、b)アセットがスケーラブル符号化された映像で構成される場合、例えば伝送パケットに基本レイヤを含み、蓄積パケットに拡張レイヤを含むことを示す情報などをアセットの構成を示す情報として含むとしてもよい。また、c)アセットの構成として、蓄積パケットの復号、再生が必須であるか必須でないかを示す情報をアセットの構成を示す情報として含むとしてもよい。例えば、蓄積パケットのコンテンツが付加的な情報である場合、再生は必須でないとし、蓄積パケットのコンテンツの再生が必須でないことを示すことができる。
【0392】
これにより、例えば受信装置が蓄積に対応していない場合、あるいは蓄積パケットを蓄積していない場合などには、アセットの再生に蓄積パケットの復号・再生が必須でないことを示す情報を基に、蓄積パケットを用いず、放送や通信から伝送されるパケットを用いてプログラムを再生することができる。
【0393】
なお、上述したアセット構成情報記述子は一例であり、同様の機能を持つデータ構造でアセット構成情報記述子を構成してもよい。
【0394】
また、アセット構成情報記述子、識別子はMPTのとは異なる、パッケージ単位の情報を示すテーブルやメッセージに格納してもよい。他のシグナリング情報を用いて送信してもよい。
【0395】
なお、MMTを例に説明したが、MMTに限定されるものではなく、TSやMPEG-DASHなど他のフォーマットであってもよい。例えば、多重化方式としてMPEG2-TSを用いる場合は、PMT(Program Map Table)に格納してもよい。また、MPEG2-TS方式と他の方式とを組み合わせて伝送する場合、TEMI(Timeline and External Media Information)アクセスユニットに格納してもよい。MPEG-DASHを用いる場合は、MPD(Media presentation description)に記述してもよい。
【0396】
[受信方法および受信装置]
以下、図を用いて、本実施の形態における受信装置が、蓄積アセットを同期再生する動作の一例について説明する。
【0397】
図29は、実施の形態3の放送通信連携サービスにおける受信方法を示すフローチャートである。図30は、実施の形態3における受信装置の構成の一例を示すブロック図である。
【0398】
図30に示す受信装置30は、プログラム情報解析部31と、蓄積アセット特定部32、蓄積アセット情報解析部33、判定部34と、アセット取得部35と、同期提示部36と、同期制御部37とを備える。
【0399】
まず、ステップS11において、プログラム情報解析部31は、エントリポイントとなるプログラム構成情報記述子を解析し、プログラムの構成に蓄積アセットを含むかを解析する。
【0400】
次に、ステップS12において、プログラム情報解析部31は、プログラムを構成する要素に蓄積アセットを含むか判定する。プログラムを構成する要素に蓄積アセットを含むと判定した場合(S12でYes)、ステップS13に進み、プログラムの構成を示す情報や蓄積アセットに関する情報、蓄積アセットとの相対時刻情報などの情報を取得する。蓄積アセットを含まないと判定した場合は(S12でNo)、ステップS17に進み、放送や通信などで伝送される伝送アセットを取得して同期再生する。
【0401】
次に、ステップS14において、受信装置30は、蓄積アセットのロケーション情報や、ローカルIDを取得する。より具体的には、アセットがローカルに蓄積されている場合は、蓄積アセット特定部32は、受信装置30に蓄積されているアセットの中から、ローカルIDに対応するアセットを検索して特定する。なお、蓄積装置が複数ある場合は、複数の蓄積装置の中から検索してもよいし、特定の蓄積装置の中のみを検索するとしてもよい。また、蓄積アセット情報解析部33は、特定したアセットの属性情報を取得する。
【0402】
次に、ステップS15において、判定部34は、ステップS12で取得された蓄積アセットに関する情報と、ステップS14で取得された蓄積アセットの属性情報とを基に、蓄積アセットを含むプログラムを再生可能かどうか判定する。
【0403】
プログラムが再生可能と判定されれば(S15でYes)、ステップS16に進み、アセット取得部35が放送や通信などの伝送アセットに加え、蓄積アセットを取得する。そして、同期制御部37は、取得された相対時刻情報を基に、伝送アセットと蓄積アセットとの同期制御処理を施し、同期提示部36はプログラムの同期や提示を行う。
【0404】
一方、ステップS15においてプログラムが再生不可能と判定されれば(S15でNo)、ステップS17に進み、放送や通信などで伝送される伝送アセットを取得して同期・再生する。
【0405】
[実施の形態3の効果等]
以上のように、本実施の形態によれば、放送及び通信を連携させたサービスを、MPEG(Moving Picture Expert Group)で規格化中のMMT(MPEG Media Transport)方式などのフォーマットにより多重化する際のプログラム情報の生成方法、及びプログラムの再生方法、及び再生装置を実現することができる。
【0406】
MMT方式は、映像・音声を多重・パケット化し、放送や通信などの一つ以上の伝送路で送信し、受信装置において一つ以上の伝送路で伝送されたパケットを受信し、プログラム情報を基に受信されたパケットの中から所望のパケットを抽出し、復号・提示をする。
【0407】
MMT方式では、複数の伝送路で伝送されたメディア(映像や音声、字幕など)を受信してプログラムを構成することが可能である。しかし、放送や通信でダウンロードして蓄積したデータと、放送・通信からストリーミングされたデータの両方を用いてプログラムを構成することができない。
【0408】
そこで、本実施の形態では、プログラムの構成を示すプログラム情報に、プログラムを構成するメディアの一つが蓄積されたデータであることを示す識別子と、蓄積されたメディア(ファイル)を特定できる識別子を設ける。また、再生装置においは、プログラム情報を解析し、放送・通信で伝送されているメディアと蓄積されたデータを特定し、同期して再生する。
【0409】
それにより、放送や通信でダウンロードして蓄積したデータと、放送・通信からストリーミングされたデータの両方を用いてプログラムを構成することができるので、従来の放送通信連携サービスに加え、蓄積したファイルと連携したサービスを提供することができる。
【0410】
なお、本実施の形態では、伝送アセットと蓄積アセットとの組み合わせを例に説明したが、それに限らない。伝送アセットは、放送で伝送されるアセットでも良いし、通信で伝送されるアセットでもよい。また、放送と通信両方から伝送されるアセットでもよい。蓄積アセットを用いたサービスとして、下記のようなサービスを提供してもよい。プログラム情報にサービスの内容を示す識別子を格納してもよい。
【0411】
(蓄積アセットを用いたサービス)
1)あらかじめプログラムを構成するアセットをダウンロードしておき、放送ではプログラム情報や時刻同期情報(時刻基準情報やタイムスタンプの相対値など)のみを送信し、蓄積アセットを用いてプログラムを再生してもよい。このとき、放送業者は、蓄積データを用いたプログラムを、番組編成にそってリアルタイムに視聴者に提供することが可能となる。視聴者はあたかもリアルタイムに放送されている番組を視聴するかのごとく、蓄積データを視聴することができる。リアルタイムな放送だけでなくオンデマンドのコンテンツ提供も可能である。
【0412】
2)また、あらかじめプログラムを構成するアセットとともにプログラム情報やランダムアクセスポイントなどをダウロード・蓄積し、放送や通信から伝送されるプログラム情報と同期してプログラムを構成してもよい。
【0413】
3)通常の放送番組は放送のみを用いて送信し、コマーシャル時のみ蓄積データと連携するサービスを提供することも可能である。あらかじめコマーシャルデータを放送又は通信からダウンロードしておき、コマーシャルの時間帯になった時に、蓄積データを含むプログラムを視聴者に提供するとしてもよい。また、複数のあらかじめ複数のコマーシャルデータをダウンロードしておき、視聴者の属性や嗜好に応じて提供するコマーシャルを選択してもよい。視聴者の属性や嗜好などは、受信装置が取得し解析したものであってもよいし、他のアプリやサービスと連携して取得してもよい。
【0414】
4)放送業者は、蓄積データと連携させたサービスを提供することにより、空いた周波数リソースを他のサービスに割り当ててもよい。このとき、プログラム情報には当該サービスに使用されている周波数リソースが他のサービスに提供されていることを示す情報を格納してもよい。
【0415】
5)視聴者が蓄積アセットと連携したプログラムに切り替える機能を有してもよい。例えば、伝送アセットのみを視聴している視聴者が、リモコンなどのユーザーインタフェースによって、蓄積アセットを含むプログラムに切り替えてもよい。
【0416】
6)また、蓄積アセットにアクセスしてプログラムを構成してもよいかを受信装置または視聴者が設定してもよい。また、プログラム情報が、信頼できると認証されている場合にのみ蓄積アセットにアクセスしてプログラムを構成できるとしてもよい。プログラム情報には、そのプログラム情報が信頼できることを示す情報は鍵などを格納してもよい。
【0417】
(EPG)
7)EPG(Electronic Program Guide)として表示する情報は、プログラム情報から取得してもよいし、EPG専用のシグナリング情報から取得してもよい。
【0418】
8)プログラムが、放送を用いて提供されるか、通信を用いて提供されるか、蓄積を用いて提供されるか、組み合わせて提供されるか、または拡張サービスとして提供されるか等の情報をEPGに表示してもよい。また、受信装置が提供できる機能のみを表示してもよい。例えば、受信装置が蓄積する機能や通信を受信する機能を保有していない場合は、蓄積や通信に関する情報を表示しないとしてもよい。
【0419】
9)蓄積アセット含むプログラムにおいて、当該プログラムの蓄積アセットが蓄積されているか蓄積されていないかを示す情報をEPG上に表示してもよい。当該プログラムの蓄積アセットを提示可能かどうかを示す情報をEPG上に表示してもよい。文字などで示してもよいし、EPGのプログラムの背景色などで示してもよい。蓄積アセットを含むコンテンツが視聴制限や著作権に係る情報を提示してもよい。
【0420】
10)蓄積アセットを含むプログラムをEPGから予約する場合、蓄積アセットを放送からダウンロード可能か、通信からダウンロード可能か、または通信のストリーミングにより視聴可能かをEPG等に表示してもよい。受信装置が通信手段を有していない場合は、放送ダウンロード可能かのみを表示するとしてもよい。視聴者はダウンロード予約可能な方法のなかから選択して予約する。
【0421】
ダウンロードの予約は、事前に視聴者がEPGから予約してもよいし、受信装置が自動でダウンロードしてもよい。ダウンロード方法の選択は視聴者がしてもよいし、受信装置が自動で選択してもよい。
【0422】
また、放送によりダウンロードできる時間帯、通信によりダウンロードできる時間帯、通信によりストリーミングできる時間帯によってEPGの表示や受信装置の機能を変化させてもよい。
【0423】
なお、上述のEPGの表示に限らず、EPG以外の別の提示方法で提示してもよい。
【0424】
以上、本発明の一つまたは複数の態様に係る送信方法および受信方法等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【0425】
例えば、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【産業上の利用可能性】
【0426】
本発明は、放送波と通信路を用いてコンテンツを送信可能なコンテンツの送信方法、受信方法などとして有用である。
【符号の説明】
【0427】
11 識別情報取得部
14、104、305、405、1105 放送受信部
30、100、300、400、700、1100 受信装置
31 プログラム情報解析部
32 蓄積アセット特定部
33 蓄積アセット情報解析部
34、103 判定部
35 アセット取得部
36 同期提示部
37 同期制御部
101、301、401、1101 識別情報取得部
102 アセット決定部
105、306、406、1106 通信受信部
302、402、1102 決定部
303、403、1103 通信併用判定部
304、404、1104 Loc情報取得部
407 同期判定部
408、1108 再生部
701 受信部
702 デフォルト情報解析部
703 アプリ情報受信部
704 アプリ再生制御情報解析部
705 再生制御実行部
1107 基準クロック判定部
図1A
図1B
図2
図3A
図3B
図4A
図4B
図5
図6A
図6B
図7A
図7B
図8
図9
図10
図11
図12
図13A
図13B
図13C
図13D
図14
図15
図16
図17
図18A
図18B
図19A
図19B
図20A
図20B
図21A
図21B
図22
図23
図24
図25
図26
図27
図28
図29
図30