(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024123724
(43)【公開日】2024-09-12
(54)【発明の名称】データ送受信システムおよび送受信方法、データ送信方法および受信方法、データ送信方法に適用されるエンコーダ装置および多重化装置、データ受信方法に適用される受信装置
(51)【国際特許分類】
H04N 21/4385 20110101AFI20240905BHJP
H04N 21/434 20110101ALI20240905BHJP
【FI】
H04N21/4385
H04N21/434
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023031359
(22)【出願日】2023-03-01
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】山影 朋夫
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA04
5C164UB11P
5C164UB24P
(57)【要約】
【課題】 MFUとMPUメタデータやムービーフラグメントメタデータを、同じパケットとして取り扱うことができ、もって、従来の受信装置でも、完全なISOBMFF(CMAF)を、ブラウザベースの処理で復号できるようにする。
【解決手段】 実施形態によれば、エンコーダ装置は、データ生成部とパケット化部とを備える。データ生成部は、MPUメタデータ生成部と、MFメタデータ生成部と、MFU生成部とを含む。パケット化部は、MPUメタデータ、MFメタデータ、およびMFUについて、MMTPペイロードヘッダを生成し、フラグメントタイプを付加するMMTPペイロードヘッダ生成部と、MPUメタデータ、MFメタデータ、およびMFUについて、MMTPパケットヘッダを生成し、パケットIDを付加するパケットID付加部を有するMMTPパケットヘッダ生成部とを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
データ生成部と、パケット化部とを備え、
前記データ生成部は、
MPU(Media Processing Unit)に含まれるMPUメタデータを生成するMPUメタデータ生成部と、
前記MPU(Media Processing Unit)に含まれるMF(Movie Fragment)メタデータを生成するMFメタデータ生成部と、
前記MPU(Media Processing Unit)に含まれるMFU(Media Fragment Unit)を生成するMFU生成部とを含み、
前記パケット化部は、
前記MPUメタデータ、前記MFメタデータ、および前記MFUそれぞれについて、所定のMMTP(MPEG Media Transport Protocol)ペイロード構成にしたがって、MMTPペイロードヘッダを生成し、フラグメントタイプを付加するMMTPペイロードヘッダ生成部と、
前記MPUメタデータ、前記MFメタデータ、および前記MFUそれぞれについて、所定のMMTPパケット構成にしたがって、MMTPパケットヘッダを生成し、前記MFUと前記MFU以外とで異なるパケットIDを付加し、前記MFU、前記MPUメタデータ、および前記MFメタデータで異なるパケットIDを付加するパケットID付加部を有するMMTPパケットヘッダ生成部と含み、
前記MMTPペイロードヘッダ生成部は、前記フラグメントタイプとして、前記MPUメタデータに第1の値を、前記MFメタデータに第2の値を、前記MFUに第3の値を付加し、
前記MMTPパケットヘッダ生成部はさらに、前記パケットID付加部によって前記MPUメタデータ、前記MFメタデータ、および前記MFUそれぞれに付加されるパケットIDを決定するパケットID決定部を有する、エンコーダ装置。
【請求項2】
前記パケットID決定部は、前記MPUメタデータ、前記MFメタデータ、および前記MFUそれぞれの前記パケットIDを、予め決められた値にする、請求項1に記載のエンコーダ装置。
【請求項3】
前記パケットID決定部は、前記MPUメタデータおよび前記MFメタデータの前記パケットIDを、同一のパケットIDに決定する、請求項1に記載のエンコーダ装置。
【請求項4】
MMTPパケットを受信するMMTPパケット受信部と、
パケットID書換部とを備え、
前記パケットID書換部は、
前記MMTPパケットから、前記パケットIDを抽出するパケットID抽出部と、
前記MMTPパケットに含まれるMPUメタデータ、MFメタデータ、およびMFUに付加されたそれぞれのフラグメントタイプを抽出するフラグメントタイプ抽出部と、
前記MPUメタデータ、前記MFメタデータ、および前記MFUそれぞれについて、前記抽出されたフラグメントタイプの値を、前記抽出されたパケットIDに加算して、前記パケットIDを、前記MPUメタデータ、前記MFメタデータ、および前記MFUそれぞれのための新たなパケットIDに書き換えるパケットID書換処理部とを含む、MMT多重化装置。
【請求項5】
前記MMTPパケットは、複数のエンコーダ装置からの前記MMTPパケットである、請求項4に記載のMMT多重化装置。
【請求項6】
フラグメントタイプ抽出部と、宛先ID設定部と、TLV(Type-Length-Value)パケット化部とを備え、
前記フラグメントタイプ抽出部は、同一のパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、前記MPUメタデータ、前記MFメタデータ、および前記MFUに付加されたそれぞれのフラグメントタイプを抽出し、
前記宛先ID設定部は、前記MFメタデータの宛先IDが、前記MPUメタデータの宛先IDと、前記MFメタデータの宛先IDとのいずれとも異なるように、前記MPUメタデータ、前記MFメタデータ、および前記MFUの宛先IDを設定し、
前記TLVパケット化部は、前記宛先IDがそれぞれ設定された前記MPUメタデータ、前記MFメタデータ、および前記MFUを含むTLVパケットを生成する、TLV多重化装置。
【請求項7】
フラグメントタイプ抽出部と、宛先ポート番号設定部と、TLV(Type-Length-Value)パケット化部とを備え、
前記フラグメントタイプ抽出部は、同一のパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、前記MPUメタデータ、前記MFメタデータ、および前記MFUに付加されたそれぞれのフラグメントタイプを抽出し、
前記宛先ポート番号設定部は、前記MFメタデータの宛先ポート番号が、前記MPUメタデータの宛先ポート番号と、前記MFメタデータの宛先ポート番号とのいずれとも異なるように、前記MPUメタデータ、前記MFメタデータ、および前記MFUの宛先IDを設定し、
前記TLVパケット化部は、前記宛先ポート番号がそれぞれ設定された前記MPUメタデータ、前記MFメタデータ、および前記MFUを含むTLVパケットを生成する、TLV多重化装置。
【請求項8】
パケットIDフィルタ部と、デコーダとを備え、
前記パケットIDフィルタ部は、それぞれ異なるパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、前記パケットIDに基づいて前記MFUをフィルタリングし、
前記デコーダは、前記フィルタリングされた前記MFUを復号する、受信装置。
【請求項9】
パケットIDフィルタ部と、デコーダとを備え、
前記パケットIDフィルタ部は、それぞれ異なるパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、前記パケットIDに基づいて、前記MPUメタデータ、前記MFメタデータ、および前記MFUをフィルタリングし、前記フィルタリングされた前記MPUメタデータ、前記MFメタデータ、および前記MFUをマージし、
前記デコーダは、前記マージされた前記MPUメタデータ、前記MFメタデータ、および前記MFUを復号する、受信装置。
【請求項10】
請求項3に記載のエンコーダ装置と、
請求項4に記載のMMT多重化装置と、
請求項6に記載のTLV多重化装置と、
請求項8または9に記載の受信装置とを備え、
前記エンコーダ装置の前記パケットID決定部は、前記MPUメタデータ、前記MFメタデータ、および前記MFUの前記パケットIDを、同じ値に決定し、
前記MMT多重化装置の前記MMTPパケット受信部は、前記エンコーダ装置によって同一のパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットを多重化し、
前記TLV多重化装置の前記フラグメントタイプ抽出部は、前記MMT多重化装置によって多重化されたMMTPパケットから、前記MPUメタデータ、前記MFメタデータ、および前記MFUに付加されたそれぞれのフラグメントタイプを抽出し、
請求項8または9に記載の受信装置の前記パケットIDフィルタ部は、前記TLV多重化装置によって生成されたTLVパケットをフィルタリングする、データ送受信システム。
【請求項11】
請求項10に記載のデータ送受信システムによって実施されるデータ送受信方法であって、
前記エンコーダ装置の前記パケットID決定部は、前記MPUメタデータ、前記MFメタデータ、および前記MFUの前記パケットIDを、同じ値に決定し、
前記MMT多重化装置の前記MMTPパケット受信部は、前記エンコーダ装置によって同一のパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットを多重化し、
前記TLV多重化装置の前記フラグメントタイプ抽出部は、前記MMT多重化装置によって多重化されたMMTPパケットから、前記MPUメタデータ、前記MFメタデータ、および前記MFUに付加されたそれぞれのフラグメントタイプを抽出し、
請求項8または9に記載の受信装置の前記パケットIDフィルタ部は、前記TLV多重化装置によって生成されたTLVパケットをフィルタリングする、データ送受信方法。
【請求項12】
請求項3に記載の複数のエンコーダ装置と、請求項4に記載のMMT多重化装置と、請求項6に記載のTLV多重化装置とによって実施されるデータ送信方法であって、
前記エンコーダ装置の前記パケットID決定部は、前記MPUメタデータ、前記MFメタデータ、および前記MFUの前記パケットIDを、同じ値に決定し、
前記MMT多重化装置の前記MMTPパケット受信部は、前記エンコーダ装置によって同一のパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットを多重化し、
前記TLV多重化装置の前記フラグメントタイプ抽出部は、前記MMT多重化装置によって多重化されたMMTPパケットから、前記MPUメタデータ、前記MFメタデータ、および前記MFUに付加されたそれぞれのフラグメントタイプを抽出する、データ送信方法。
【請求項13】
受信装置が、
それぞれ異なるパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットを受信し、
前記受信したMMTPパケットから、前記パケットIDに基づいて前記MFUをフィルタリングし、
前記フィルタリングされた前記MFUを復号する、データ受信方法。
【請求項14】
受信装置が、
それぞれ異なるパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットを受信し、
前記受信したMMTPパケットから、前記パケットIDに基づいて、前記MPUメタデータ、前記MFメタデータ、および前記MFUをフィルタリングし、前記フィルタリングされた前記MPUメタデータ、前記MFメタデータ、および前記MFUをマージし、
前記マージされた前記MPUメタデータ、前記MFメタデータ、および前記MFUを復号する、データ受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、映像や音声等のデータ送受信システムおよび送受信方法、データ送信方法および受信方法、データ送信方法に適用されるエンコーダ装置および多重化装置、データ受信方法に適用される受信装置に関する。
【背景技術】
【0002】
新4K8K衛星放送では、映像や音声などを符号化したビットストリームを、MMT(MEPG Media Transport)・TLV(Type-Length-Value)方式で多重化している(非特許文献1,2)。
【0003】
MMT・TLV方式では、ビットストリームをMMTパケット化する際、本来、MMT規格で想定しているISOBMFF(ISO base media file format)(非特許文献3)の一部のみを送出する。なおISOとは、International Organization for Standardizationの略である。
【0004】
MMT・TLV方式では、具体的には、映像や音声のビットストリーム(サンプルデータ)のみをMFU(Media Fragment Unit)として多重化して送出し、MPU(Media Processing Unit)メタデータやMF(Movie Fragment)メタデータは送出しない。
【先行技術文献】
【特許文献】
【0005】
【非特許文献】
【0006】
【非特許文献1】ARIB STD-B60
【非特許文献2】ARIB TR-B39
【非特許文献3】ISO/IEC 14496-12
【非特許文献4】ISO/IEC 23008-1
【非特許文献5】ISO/IEC 14496-15
【非特許文献6】ISO/IEC 23000-19
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、MMT・TLV方式では、ISOBMFFの一部(サンプルデータ)のみをMFUとして送出しているため、ブラウザをベースにした受信機で受信するためには、送出していないMPUメタデータやムービーフラグメントメタデータを制御情報から生成して完全なISOBMFFにした後に、復号する必要がある。
【0008】
ISOBMFF(CMAF(Common Media Application Format))を完全な形で送る場合、MFUだけでなく、MPUメタデータやムービーフラグメント(MF)メタデータもデコーダに供給されることになる。しかしながら、従来の受信機のデコーダは、MFUのみ供給されることが前提とされており、MFUしか復号できないため、ISOBMFF(CMAF)が完全な形で送られると、エラーとなり、正常に復号することはできない。このため、ISOBMFF(CMAF)を完全な形で送るようにすると、受信機の設計を変更する必要がある。
【0009】
そのため、受信機のデコーダを、ISOBMFF(CMAF)形式に対応したものとする、あるいは、送られたISOBMFF(CMAF)からMFUのみを選択してデコーダに供給する機能を受信機に設けるかの少なくとも一方が必要となるが、いずれにせよ、設計変更および検証が必要となり、コスト増をもたらす。
【0010】
したがって、MFUとMPUメタデータやMFメタデータを、同じパケットとして取り扱うことができ、もって、従来の受信装置でも、完全なISOBMFF(CMAF)を、ブラウザベースの処理で復号できることが望ましい。
【課題を解決するための手段】
【0011】
上記を鑑み、本発明では、以下のような手段を講じる。
【0012】
実施形態のエンコーダ装置は、データ生成部と、パケット化部とを備える。データ生成部は、MPUに含まれるMPUメタデータを生成するMPUメタデータ生成部と、MPUに含まれるMFメタデータを生成するMFメタデータ生成部と、MPUに含まれるMFUを生成するMFU生成部とを含む。パケット化部は、MPUメタデータ、MFメタデータ、およびMFUそれぞれについて、所定のMMTP(MPEG Media Transport Protocol)ペイロード構成にしたがって、MMTPペイロードヘッダを生成し、フラグメントタイプを付加するMMTPペイロードヘッダ生成部と、MPUメタデータ、MFメタデータ、およびMFUそれぞれについて、所定のMMTPパケット構成にしたがって、MMTPパケットヘッダを生成し、MFUとMFU以外とで異なるパケットIDを付加し、MFU、MPUメタデータ、および前記MFメタデータで異なるパケットIDを付加するパケットID付加部を有するMMTPパケットヘッダ生成部とを含む。MMTPペイロードヘッダ生成部は、フラグメントタイプとして、MPUメタデータに第1の値を、MFメタデータに第2の値を、MFUに第3の値を付加する。MMTPパケットヘッダ生成部はさらに、パケットID付加部によってMPUメタデータ、MFメタデータ、およびMFUそれぞれに付加されるパケットIDを決定するパケットID決定部を有する。
【0013】
実施形態のMMT多重化装置は、MMTPパケットを受信するMMTPパケット受信部と、パケットID書換部とを備える。パケットID書換部は、MMTPパケットから、パケットIDを抽出するパケットID抽出部と、MMTPパケットに含まれるMPUメタデータ、MFメタデータ、およびMFUに付加されたそれぞれのフラグメントタイプを抽出するフラグメントタイプ抽出部と、MPUメタデータ、MFメタデータ、およびMFUそれぞれについて、抽出されたフラグメントタイプの値を、抽出されたパケットIDに加算して、パケットIDを、MPUメタデータ、MFメタデータ、およびMFUそれぞれのための新たなパケットIDに書き換えるパケットID書換処理部とを含む。
【0014】
実施形態のTLV多重化装置は、フラグメントタイプ抽出部と、宛先ID設定部と、TLVパケット化部とを備える。フラグメントタイプ抽出部は、同一のパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、MPUメタデータ、MFメタデータ、およびMFUに付加されたそれぞれのフラグメントタイプを抽出する。宛先ID設定部は、MFメタデータの宛先IDが、MPUメタデータの宛先IDと、MFメタデータの宛先IDとのいずれとも異なるように、MPUメタデータ、MFメタデータ、およびMFUの宛先IDを設定する。TLVパケット化部は、宛先IDがそれぞれ設定されたMPUメタデータ、MFメタデータ、およびMFUを含むTLVパケットを生成する。
【0015】
実施形態の受信装置は、パケットIDフィルタ部と、デコーダとを備える。パケットIDフィルタ部は、それぞれ異なるパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、パケットIDに基づいてMFUをフィルタリングする。デコーダは、フィルタリングされたMFUを復号する。
【0016】
実施形態のデータ受信方法は、受信装置が、それぞれ異なるパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットを受信し、受信したMMTPパケットから、パケットIDに基づいてMFUをフィルタリングし、フィルタリングされたMFUを復号する。
【図面の簡単な説明】
【0017】
【
図1】
図1は、本発明の実施形態のデータ送受信方法が適用されたデータ送受信システムの構成例を示すブロック図である。
【
図2】
図2は、本発明の実施形態のエンコーダ装置の構成例を示すブロック図である。
【
図3】
図3は、本発明の実施形態のMMT多重化装置の構成例を示すブロック図である。
【
図4】
図4は、本発明の実施形態のMMT多重化装置の別の構成例を示すブロック図である。
【
図5】
図5は、本発明の実施形態のTLV多重化装置の構成例を示すブロック図である。
【
図6】
図6は、従来技術の受信装置の構成例を示すブロック図である。
【
図7】
図7は、本発明の実施形態の受信装置の構成例を示すブロック図である。
【
図8】
図8は、本発明の実施形態の受信装置の別の構成例を示すブロック図である。
【発明を実施するための形態】
【0018】
以下に、本発明の各実施形態について図面を参照して説明する。図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明や、重複した説明は適宜省略する。
【0019】
以下に、本発明を実施するための最良の形態について図面を参照しながら説明する。
【0020】
図1は、本発明の実施形態のデータ送受信方法が適用されたデータ送受信システムの構成例を示すブロック図である。
【0021】
すなわち、本発明の実施形態のデータ送受信方法が適用されたデータ送受信システム10は、送信側20と受信側30とで構成されている。
【0022】
送信側20は、複数(図中ではN個:Nは、1以上の整数)のエンコーダ装置210、EPG(電子番組ガイド)270、TLV-SI(signaling information)280、MMT多重化装置240、TLV多重化装置250、および変調装置260を備えている。
【0023】
受信側30は、復調装置310、TLV復号装置320、および受信装置40を備えている。さらに受信装置40は、パケットIDフィルタ部410、映像デコーダ420、音声デコーダ430、およびMMT-SI(signaling information)解析部440を含んでいる。
【0024】
ここで受信装置40は、狭義のMMTPパケットを受信して復号する受信装置として記述している。しかしながら、受信側30は、例えばテレビとして実現される。したがって、受信装置40は、テレビに組み込まれる。
【0025】
以下では先ず、エンコーダ装置210について説明する。
【0026】
図2は、本発明の実施形態のエンコーダ装置の構成例を示すブロック図である。
【0027】
図2(a)に示すように、エンコーダ装置210は、映像音声符号化部212、ISOBMFF生成部220、およびMMTPパケット化部230を備える。
【0028】
ISOBMFF生成部220は、MPUメタデータ生成部222、MFメタデータ生成部224、およびMFU生成部226を含む。
【0029】
映像音声符号化部212は、映像や音声の符号化を行い、ビットストリーム(符号化データ)と、各フレーム(AU)の復号および提示タイミングの相対関係を示す付加情報を、それぞれ、MFメタデータ生成部224およびMFU生成部226に出力する。
【0030】
MPUメタデータ生成部222は、MPUに含まれるMPUメタデータを生成する。
【0031】
MFメタデータ生成部224は、MPUに含まれるMFメタデータを生成する。
【0032】
MFU生成部226は、MPUに含まれるMFUを生成する。
【0033】
図2(b)に示すデータ構造Aは、ARIB STD-B60の表6-1を参考にトレースしたものである。MFUは、ARIBの規格でMFU_data_byteとして取り扱われるデータである。
図2(b)では、ARIB規格に加えて、ISO/IEC 23008-1に規定されるように、MPUメタデータおよびMFメタデータを、それぞれ、MPU_metadata()およびMF_metadata()として取り扱われるデータとする。
【0034】
MMTPパケット化部230は、MMTPペイロードヘッダ生成部232、MMTPパケットヘッダ生成部234、およびMMT-SI生成部238を含む。
【0035】
MMTPペイロードヘッダ生成部232は、MPUメタデータ生成部222からのMPUメタデータ、MFメタデータ生成部224からのMFメタデータ、およびMFU生成部226からのMFUそれぞれについて、データ構造Aにしたがって、MMTPペイロードヘッダを生成する。
【0036】
また、MMTPペイロードヘッダ生成部232は、フラグメントタイプ付加部233を有している。フラグメントタイプ付加部233は、MTTPペイロードヘッダにフラグメントを付加する。例えば、フラグメントタイプ付加部233は、フラグメントタイプ(データ構造Aに示す「fragment_type」)として、MPUメタデータに「0」を、MFメタデータに「1」を、MFUに「2」を付加する。
【0037】
MMTPパケットヘッダ生成部234は、パケットID付加部236を有している。パケットID付加部236は、MPUメタデータ、MFメタデータ、およびMFUそれぞれについて、MMTPパケットヘッダを生成し、データ構造Bに示すMMTPパケット構成にしたがって、パケットID(
図2(c)に示すデータ構造Bにおける「packet_id」)を付加する。
【0038】
図2(c)に示すデータ構造Bは、ARIB STD-B60の表3-6に基づいてトレースしたものである。
【0039】
MMT-SI生成部238は、MMTパッケージの構成を示す伝送制御信号であるMMT-SIを生成し、パケットID付加部236へ送る。1つのアセットに対して、複数のMMT-SIを生成することもできる。
【0040】
MMTPパケットヘッダ生成部234はさらに、パケットID付加部236が付加するパケットIDを決定するためのパケットID決定部235を有する。パケットID決定部235がIDパケットを決定するための最もシンプルな方式は、それぞれの入力で異なる値を設定することである。例えば、1つの映像アセットに対し、パケットID決定部235は、MPUメタデータと、MFメタデータと、MFUと、MMT-SI生成部238からのMMT-SIとのそれぞれに、パケットIDとして「0x0100」、「0x0101」、「0x0102」、および「0xf000」と決定する。
【0041】
パケットID決定部235はまた、MPUメタデータおよびMFメタデータのパケットIDを、同一のパケットID、かつ、MFUとは異なるパケットIDに決定することもできる。
【0042】
パケットID付加部236は、パケットID決定部235によってそれぞれ決定されたパケットIDを、MPUメタデータ、MFメタデータ、MFU、およびMMT-SIに付加する。そして、このようにパケットIDが付加されたMMTPパケットを、MMT多重化装置240に送る。
【0043】
MMT多重化装置240には、
図1に示すように、複数のエンコーダ装置210からMMTPパケットが送られる。また、EPG270からのEPGデータも送られる。
【0044】
次に、MMT多重化装置240について説明する。
【0045】
図3は、本発明の実施形態のMMT多重化装置の構成例を示すブロック図である。
【0046】
図3(a)に示すように、MMT多重化装置240は、MMTPパケット多重化部241と、パケットID書換部242とを備えている。
【0047】
MMTPパケット多重化部241は、複数のエンコーダ装置210から送られたMMTPパケットのうち、同一のパケットIDが付加されたMMTPパケットを多重化して、多重化されたMMTPパケットを、パケットID書換部242へ送る。
【0048】
パケットID書換部242は、パケットID抽出部243と、フラグメントタイプ抽出部244と、パケットID書換処理部245とを含んでいる。
【0049】
パケットID抽出部243は、MMTPパケット多重化部241から送られたMMTPパケットから、パケットID(
図3(b)に示すデータ構造Bに示す「packet_id」)を抽出する。
【0050】
フラグメントタイプ抽出部244は、MMTPパケット多重化部241から送られたMMTPパケットに含まれるMPUメタデータ、MFメタデータ、およびMFUに付加されたそれぞれのフラグメントタイプ(
図3(c)に示すデータ構造Aに示す「fragment_type」)を抽出する。「fragment_type」は、エンコーダ装置210によって既にMPUメタデータに対して「0」、MFメタデータに対して「1」、およびMFUデータに対して「2」に設定されている。
【0051】
パケットID書換処理部245は、MMTPパケット多重化部241から送られたMMTPパケットに含まれるMPUメタデータ、MFメタデータ、およびMFUそれぞれについて、パケットID抽出部243によって抽出されたフラグメントタイプ(fragment_type)の値を、抽出されたパケットID(packet_id)に加算して、パケットID(packet_id)を、MPUメタデータ、MFメタデータ、およびMFUそれぞれのための新たなパケットID(packet_id)に書き換える。これによって、データ構造Bにおける「packet_id」が新たなパケットIDに書き換えられる。
【0052】
このようにしてIDパケットを書き換えられたMMTPパケットは、パケットID書換処理部245から、TLV多重化装置250へ送られる。
【0053】
このような構成のMMT多重化装置240によれば、例えばエンコーダ装置210が、映像パケット(「fragment_type」が「0」,「1」,「2」全て)のパケットID(packet_id)を「0x0100」として生成した場合、MMT多重化装置240は、入力されたMMTPパケットからパケットID(packet_id)とフラグメントタイプ(fragment_type)を抽出し、パケットID(packet_id)が「0x0100」であれば、フラグメントタイプ(fragment_type)の値を加算した新たなパケットID(packet_id)に書き換える。これにより、フラグメントタイプ(fragment_type)が「0」,「1」,「2」のMMTPパケットのパケットID(packet_id)はそれぞれ「0x0100」,「0x0101」,「0x0102」となる。
【0054】
なお、このようなパケットIDの書換処理は、多重化後に実施されることには限定されず、多重化前に実施してもよい。書換処理を多重化前に実施するMMT多重化装置を、
図4を用いて以下に説明する。
【0055】
図4は、本発明の実施形態のMMT多重化装置の別の構成例を示すブロック図である。
【0056】
図4に例示するMMT多重化装置240’は、多重化後に書換処理を行う
図3に例示するMMT多重化装置240とは異なり、多重化前に書換処理を行う。
【0057】
MMT多重化装置240’は、複数のパケットID書換部242’と、これら複数のパケットID書換部242’に対して共通的に設けられたMMTPパケット多重化部241’とを備えている。
【0058】
各パケットID書換部242’には、それぞれ別のエンコーダ装置210からMMTPパケットが送られる。また、EPG270からEPGデータが送られる。
【0059】
複数のパケットID書換部242’のおのおのは、パケットID抽出部243’と、フラグメントタイプ抽出部244’と、パケットID書換処理部245’とを含んでいる。
【0060】
パケットID抽出部243’は、エンコーダ装置210から送られたMMTPパケットのうち、同一のパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、パケットIDを抽出する。
【0061】
フラグメントタイプ抽出部244’は、エンコーダ装置210から送られたMMTPパケットのうち、同一のパケットID(packet_id)が付加されたMPUメタデータ、MFメタデータ、およびMFUに付加されたそれぞれのフラグメントタイプ(fragment_type)を抽出する。
【0062】
パケットID書換処理部245’は、エンコーダ装置210から送られたMMTPパケットのうち、同一のパケットIDが付加されたMPUメタデータ、MFメタデータ、およびMFUそれぞれについて、フラグメントタイプ抽出部244’によって抽出されたフラグメントタイプ(fragment_type)の値を、パケットID抽出部243’によって抽出されたパケットID(packet_id)に加算して、パケットID(packet_id)を、MPUメタデータ、MFメタデータ、およびMFUそれぞれのための新たなパケットID(packet_id)に書き換える。
【0063】
MMTPパケット多重化部241’は、複数のパケットID書換部242’の各パケットID書換処理部245’からのMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットを多重化する。そして、多重化されたMTTPパケットを、TLV多重化装置250へ送る。
【0064】
このように、パケットIDの書換処理は、多重化後に実施されることには限定されず、多重化前に実施することもできる。そして、いずれの場合も、多重化されたMTTPパケットがTLV多重化装置250へ送られる。
【0065】
これまで、本発明の特徴として、パケットIDの書き換えについて述べてきたが、その方法は固定的なルールに従うものであった。しかし、本発明の本質は書き換えを行うことであり、書き換える値をどのように決定するかについてはバリエーションがある。例えば、MPUメタデータ、MFメタデータ、MFUのパケットIDの関係を示す記述子を別途送出し、そこに示されたルールに基づいて書き換えを行うことでも本発明の目的を達成することができる。この場合、ISOBMFF全体を受信する受信側では記述子から書き換えルールを取得して、MPUメタデータ、MFメタデータ、MFUのパケットを、同一のパケットIDのパケットIDを持つパケットとして扱う。
【0066】
次に、TLV多重化装置250について説明する。
【0067】
図5は、本発明の実施形態のTLV多重化装置の構成例を示すブロック図である。
【0068】
図5には、2つのタイプのTLV多重化装置が示されている。
【0069】
先ず、
図5(a)に示すTLV多重化装置250について説明する。
【0070】
TLV多重化装置250は、
図1に示すように、MMT多重化装置240から、MMTPパケットが送られる。また、TLV-SI280から、TLV-SIも送られる。
【0071】
TLV多重化装置250は、フラグメントタイプ抽出部251、宛先ID設定部252、およびTLVパケット化部253を備えている。
【0072】
フラグメントタイプ抽出部251は、MMT多重化装置240から送られたMMTPパケットのうち、同一のパケットID(packet_id)が付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、MPUメタデータ、MFメタデータ、およびMFUに付加されたそれぞれのフラグメントタイプ(fragment_type)を抽出する。そして、抽出結果を、宛先ID設定部252へ送る。
【0073】
宛先ID設定部252は、MFメタデータの宛先IDが、MPUメタデータの宛先IDと、MFメタデータの宛先IDとのいずれとも異なるように、MPUメタデータ、MFメタデータ、およびMFUの宛先IDを設定する。そして、設定結果を、TLVパケット化部253へ送る。
【0074】
例えば、フラグメントタイプ抽出部251は、TLV多重化装置250に入力される「packet_id」=「0x0100」のMMTPパケットから、フラグメントタイプ(fragment_type)を抽出し、宛先ID設定部252は、フラグメントタイプ(fragment_type)が「0」、「1」のパケットと、「2」のパケットのCID(データ構造D参照)を、例えば、「0x0100」と「0x0101」とのように、異なるものとする。ただし、フルヘッダのIPアドレスとポート番号は同じ値に設定する。なお、CIDとは、
図5(d)に示すデータ構造Dに示すように、TLVパケット毎(
図5(c)に示すデータ構造C参照)毎の宛先ポートを指定する変数であり、ソースの詳細が、
図5(e)に示すデータ構造Eに示す部分IPv6ヘッダに、宛先の詳細が、
図5(f)に示すデータ構造Fに示す部分UDPヘッダに定義されている。
【0075】
図5(c),(d),(e),(f)に示すデータ構造C,D,E,Fはそれぞれ、ARIB TR-B39第7編の表5-31、表5-26、表5-27、表5-28に基づいてトレースしたものである。
【0076】
TLVパケット化部253は、宛先IDであるCIDがそれぞれ設定されたMPUメタデータ、MFメタデータ、およびMFUを含むTLVパケットを生成し、変調装置260へ送る。
【0077】
一方、
図5(b)に示すTLV多重化装置250’は、TLV多重化装置250とは異なる構成をしており、多重化装置250における宛先ID設定部252に代わりに、宛先ポート番号設定部254を備え、TLVパケット化部253の代わりに、TLVパケット化部253’を備えた構成をしている。
【0078】
フラグメントタイプ抽出部251は、TLV多重化装置250におけるフラグメントタイプ抽出部251と同様に動作し、MPUメタデータ、MFメタデータ、およびMFUに付加されたそれぞれのフラグメントタイプ(fragment_type)を抽出する。そして、抽出結果を、宛先ポート番号設定部254へ送る。
【0079】
宛先ポート番号設定部254は、MFメタデータの宛先ポート番号(destination_port)が、MPUメタデータの宛先ポート番号と、MFメタデータの宛先ポート番号とのいずれとも異なるように、MPUメタデータ、MFメタデータ、およびMFUの宛先ID(CID)を設定する。そして、設定結果を、TLVパケット化部253’へ送る。
【0080】
例えば、フラグメントタイプ抽出部251は、TLV多重化装置250’に入力される「packet_id」=「0x0100」のMMTPパケットから、データ構造Aに指定されているフラグメントタイプ(fragment_type)を抽出し、宛先ポート番号設定部254は、フラグメントタイプ(fragment_type)が「0」,「1」のパケットと、「2」のパケットとの宛先ポート番号(destination_port)を、例えば、それぞれ「0x0100」、「0x0101」と「0x0102」のように、異なるものとする。但し、フルヘッダのIPアドレスは同じ値に設定する。これにより、宛先ID(データ構造Dにおける「CID」)は必然的に異なる値になる。また、フラグメントタイプ「0」と「1」のパケットは「0x0100」、フラグメントタイプ「2」のパケットは「0x0101」としても良い。
【0081】
TLVパケット化部253’は、宛先ポート番号(destination_port)がそれぞれ設定されたMPUメタデータ、MFメタデータ、およびMFUを含むTLVパケットを生成し、変調装置260へ送る。
【0082】
変調装置260は、TLVパケットを変調して、受信側30へ送る。
【0083】
受信側30では、復調装置310がこのTLVパケットを復調し、復調されたTLVパケットを、TLV復号装置320がMMTPパケットに復号して、受信装置40へ送る。
【0084】
次に、受信装置40について説明する。
【0085】
図6は、従来技術の受信装置の構成例を示すブロック図である。
【0086】
図7は、本発明の実施形態の受信装置の構成例を示すブロック図である。
【0087】
図8は、本発明の実施形態の受信装置の別の構成例を示すブロック図である。
【0088】
受信装置40は、
図6に示すように従来の4K8K衛星放送用の受信装置40Aで実現することも、
図7および
図8に示すようにISOBMFFも復号可能なタイプの受信装置40B,40Cで実現することも可能である。
【0089】
図6に示すように、従来の受信装置40Aは、MMT復号を行うパケットIDフィルタ部410A、映像デコーダ420、音声デコーダ430、およびMMT-SI解析部440を備えている。
【0090】
受信装置40Aは、従来の装置であるので、詳細な説明は避けるが、パケットIDフィルタ部410Aが、MFUデータしか復号できず、ISOBMFFデータを取り扱うことができない。すなわち、パケットIDフィルタ部410Aは、MFUのパケットIDのMMTPパケットのみを抽出する。
【0091】
例えば、1つの映像デコーダ420には1つのパケットID(「packet_id」=「0x0102」)のMMTPパケットのペイロードデータ部のみが送られる。1つの音声デコーダ430についても同様である。
【0092】
受信装置40Aは、パケットID(packet_id)毎にフィルタリングした結果に対して処理を行うが、映像デコーダ420または音声デコーダ430が、MFUしか処理できない。しかしながら、MPUメタデータやMFメタデータが、異なるパケットID(packet_id)に設定されていれば、MFUのパケットID(packet_id)である「0x0102」のフィルタリング結果を、映像デコーダ420または音声デコーダ430に渡すことで正常に復号できる。
【0093】
一方、
図7に示す受信装置40Bは、パケットIDフィルタ部410B、映像デコーダ420、音声デコーダ430、およびMMT-SI解析部440を備えている。
【0094】
図8に示す受信装置40Cは、パケットIDフィルタ部410C、映像デコーダ420、音声デコーダ430、およびMMT-SI解析部440を備えている。
【0095】
パケットIDフィルタ部410B,410Cともに、MFUデータを含むISOBMFFデータをフィルタ処理により通過させる。すなわち、パケットIDフィルタ部410B,410Cは、パケットIDが「0x0100」、「0x0101」と「0x0102」のMMTPパケットを抽出する。
【0096】
パケットIDフィルタ部410Bは、それぞれ異なるパケットID(packet_id)が付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、パケットID(packet_id)に基づいてフィルタリングする。
【0097】
一方、パケットIDフィルタ部410Cは、MPUメタデータのパケットID(packet_id)である「0x0100」、MFメタデータのパケットID(packet_id)である「0x0101」、MFUのパケットID(packet_id)である「0x0102」のフィルタリング結果をマージして、デコーダ(映像データの場合、映像デコーダ420、音声データの場合、音声デコーダ430)に渡す。
【0098】
映像デコーダ420は、フィルタリングされた映像データのMFUを復号し、音声デコーダ430は、フィルタリングされた音声データのMFUを復号する。
【0099】
パケットIDフィルタ部410Cは、それぞれ異なるパケットID(packet_id)が付加されたMPUメタデータ、MFメタデータ、およびMFUを含むMMTPパケットから、パケットID(packet_id)に基づいて、MPUデータ、MFデータ、およびMFUをフィルタリングし、フィルタリングされたMPUデータ、MFデータ、およびMFUをマージする。
【0100】
映像デコーダ420は、マージされた映像データのMPUデータ、MFデータ、およびMFUを復号し、音声デコーダ430は、マージされた音声データのMPUデータ、MFデータ、およびMFUを復号する。
【0101】
前述したように、従来の考え方では、MPUメタデータ、MFメタデータ、MFUに同じパケットID(packet_id)の値が設定されていたが、本実施形態のように、パケットの種別毎に設定するパケット(packet_id)を異なる値にすることで、従来の受信装置40Aでも新しい受信装置40B,40Cでも復号可能となる。
【0102】
上述したように、本実施形態によれば、MFUとMPUメタデータやムービーフラグメントメタデータを、同じパケットとして取り扱うことができ、もって、従来の受信装置でも、完全なISOBMFF(CMAF)を、ブラウザベースの処理で復号できるようになる。
【0103】
このように、本実施形態によれば、大きな設計変更も、大きな追加コストも伴うことなく、ISOBMFF(CMAF)を送受信することができ、かつ、従来の受信機でも受信可能とするデータ送受信システムおよび送受信方法、データ送信方法および受信方法、データ送信方法に適用されるエンコーダ装置および多重化装置、データ受信方法に適用される受信装置を提供することができる。
【0104】
また、TLVパケットのCIDを書き換える場合は、TLV復号装置320でCIDにて同様のフィルタリング処理を行うことで、本発明の目的を達成できる。
【0105】
更に、TLVパケットに含まれるIPパケットの宛先ポート番号を書き換える場合は、TLV復号装置320から出力されたMMTPパケットを、パケットIDフィルタ部410が受信する際の宛先ポート番号によるフィルタリング処理で同様のことを行うことで、本発明の目的を達成できる。
【0106】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0107】
10 データ送受信システム
20 送信側
30 受信側
40,40A,40B,40C 受信装置
210 エンコーダ装置
212 映像音声符号化部
220 ISOBMFF生成部
222 MPUメタデータ生成部
224 MFメタデータ生成部
226 MFU生成部
230 MMTPパケット化部
232 MMTPペイロードヘッダ生成部
233 フラグメントタイプ付加部
234 MMTPパケットヘッダ生成部
235 パケットID決定部
236 パケットID付加部
238 MMT-SI生成部
240,240’ MMT多重化装置
241,241’ MMTPパケット多重化部
242,242’ パケットID書換部
243,243’ パケットID抽出部
244,244’ フラグメントタイプ抽出部
245,245’ パケットID書換処理部
250,250’ TLV多重化装置
251,251 フラグメントタイプ抽出部
252 宛先ID設定部
253,253’ TLVパケット化部
254 宛先ポート番号設定部
260 変調装置
270 EPG
280 TLV-SI
310 復調装置
320 TLV復号装置
410,410A,410B,410C パケットIDフィルタ部
420 映像デコーダ
430 音声デコーダ
440 MMT-SI解析部