IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

<>
  • 特許-受信装置および受信方法 図1
  • 特許-受信装置および受信方法 図2
  • 特許-受信装置および受信方法 図3
  • 特許-受信装置および受信方法 図4
  • 特許-受信装置および受信方法 図5
  • 特許-受信装置および受信方法 図6
  • 特許-受信装置および受信方法 図7
  • 特許-受信装置および受信方法 図8
  • 特許-受信装置および受信方法 図9
  • 特許-受信装置および受信方法 図10
  • 特許-受信装置および受信方法 図11
  • 特許-受信装置および受信方法 図12
  • 特許-受信装置および受信方法 図13
  • 特許-受信装置および受信方法 図14
  • 特許-受信装置および受信方法 図15
  • 特許-受信装置および受信方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】受信装置および受信方法
(51)【国際特許分類】
   H04N 21/434 20110101AFI20241008BHJP
   H04N 21/438 20110101ALI20241008BHJP
   G10L 19/008 20130101ALI20241008BHJP
   H04H 20/28 20080101ALI20241008BHJP
   H04H 20/95 20080101ALI20241008BHJP
【FI】
H04N21/434
H04N21/438
G10L19/008 200
H04H20/28
H04H20/95
【請求項の数】 8
(21)【出願番号】P 2023030769
(22)【出願日】2023-03-01
(62)【分割の表示】P 2021110252の分割
【原出願日】2015-08-31
(65)【公開番号】P2023085253
(43)【公開日】2023-06-20
【審査請求日】2023-03-30
(31)【優先権主張番号】P 2014180592
(32)【優先日】2014-09-04
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【審査官】醍醐 一貴
(56)【参考文献】
【文献】特開2011-234336(JP,A)
【文献】国際公開第2005/076622(WO,A1)
【文献】特開2011-055513(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/00-99/00
H04H 20/91-40/27
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
上記所定数のオーディオストリームから上記属性情報に基づいて取り出された所定の属性を持つグループの符号化データに対してデコード処理をしてスピーカシステムの各スピーカを駆動するためのオーディオデータを得るオーディオデコード部をさらに備える
受信装置。
【請求項2】
上記所定の属性を持つグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる
請求項1に記載の受信装置。
【請求項3】
上記オーディオデコード部は、
上記チャネル符号化データをデコードするときは、上記スピーカシステムのスピーカ構成へのダウンミックスまたはアップミックスの処理を行って上記各スピーカを駆動するためのオーディオデータを得る
請求項2に記載の受信装置。
【請求項4】
上記オーディオデコード部は、
上記オブジェクト符号化データをデコードするときは、オブジェクト情報に基づき上記スピーカシステムのスピーカ構成に対応したスピーカレンダリング処理を行って上記各スピーカを駆動するためのオーディオデータを得る
請求項2に記載の受信装置。
【請求項5】
上記オブジェクト情報は、上記オブジェクト符号化データのメタデータである
請求項4に記載の受信装置。
【請求項6】
上記メタデータは、エクステンションエレメント(Ext_element)として含まれる
請求項5に記載の受信装置。
【請求項7】
上記所定数のオーディオストリームから、上記属性情報と、スピーカ構成およびユーザ選択情報に基づいて、上記所定の属性を持つグループの符号化データを取り出す符号化データ取り出し部をさらに備える
請求項1に記載の受信装置。
【請求項8】
複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
上記所定数のオーディオストリームから上記属性情報に基づいて取り出された所定の属性を持つグループの符号化データに対してデコード処理をしてスピーカシステムの各スピーカを駆動するためのオーディオデータを得るオーディオデコードステップをさらに有する
受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、受信装置および受信方法に関する。
【背景技術】
【0002】
従来、立体(3D)音響技術として、符号化サンプルデータをメタデータに基づいて任意の位置に存在するスピーカにマッピングさせてレンダリングする技術が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2014-520491号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
5.1チャネル、7.1チャネルなどのチャネル符号化データと共に、符号化サンプルデータおよびメタデータからなるオブジェクト符号化データを送信し、受信側において臨場感を高めた音響再生を可能とすることが考えられる。
【0005】
本技術の目的は、複数種類のオーディデータを送信する場合にあって受信側の処理負荷を軽減することにある。
【課題を解決するための手段】
【0006】
本技術の概念は、
複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する情報挿入部とを備える
送信装置にある。
【0007】
本技術において、送信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナが送信される。例えば、複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる、ようにされてもよい。
【0008】
情報挿入部により、コンテナのレイヤに、複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
【0009】
このように本技術においては、コンテナのレイヤに、所定数のオーディオストリームに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入される。そのため、受信側では、複数のグループの符号化データのそれぞれの属性を当該符号化データのデコード前に容易に認識でき、必要なグループの符号化データのみを選択的にデコードして用いることができ、処理負荷を軽減することが可能となる。
【0010】
なお、本技術において、例えば、情報挿入部は、コンテナのレイヤに、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報をさらに挿入する、ようにされてもよい。この場合、例えば、コンテナは、MPEG2-TSであり、情報挿入部は、属性情報およびストリーム対応関係情報を、プログラムマップテーブルの配下に存在する上記所定数のオーディオストリームのいずれか1つのオーディオストリームに対応したオーディオエレメンタリストリームループ内に挿入する、ようにされてもよい。このようにコンテナのレイヤにストリーム対応関係情報が挿入されることで、受信側では、必要なグループの符号化データが含まれるオーディオストリームを容易に認識でき、処理負荷を軽減することが可能となる。
【0011】
例えば、ストリーム対応関係情報は、複数のグループの符号化データのそれぞれを識別するグループ識別子と所定数のオーディオストリームのそれぞれのストリームを識別するストリーム識別子との対応関係を示す情報である、ようにされてもよい。この場合、例えば、情報挿入部は、コンテナのレイヤに、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報をさらに挿入する、ようにされてもよい。例えば、コンテナは、MPEG2-TSであり、情報挿入部は、ストリーム識別子情報を、プログラムマップテーブルの配下に存在する所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内に挿入する、ようにされてもよい。
【0012】
また、例えば、ストリーム対応関係情報は、複数のグループの符号化データのそれぞれを識別するグループ識別子と所定数のオーディオストリームのそれぞれをパケット化する際に付されるパケット識別子との対応関係を示す情報である、ようにされてもよい。また、例えば、ストリーム対応関係情報は、複数のグループの符号化データのそれぞれを識別するグループ識別子と所定数のオーディオストリームのそれぞれのストリームタイプを示すタイプ情報との対応関係を示す情報である、ようにされてもよい。
【0013】
また、本技術の他の概念は、
複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
上記受信されたコンテナが有する上記所定数のオーディオストリームを、上記属性情報に基づいて処理する処理部をさらに備える
受信装置にある。
【0014】
本技術において、受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナが受信される。例えば、複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる、ようにされてもよい。コンテナのレイヤに、複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されている。処理部により、受信されたコンテナが有する所定数のオーディオストリームが、その属性情報に基づいて処理される。
【0015】
このように本技術においては、コンテナのレイヤに挿入されている複数のグループの符号化データのそれぞれの属性を示す属性情報に基づいて、受信されたコンテナが有する所定数のオーディオストリームの処理が行われる。そのため、必要なグループの符号化データのみを選択的に復号化して用いることができ、処理負荷を軽減することが可能となる。
【0016】
なお、本技術において、例えば、コンテナのレイヤには、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、処理部は、属性情報の他に、ストリーム対応関係情報に基づいて所定数のオーディオストリームを処理する、ようにされてもよい。この場合、必要なグループの符号化データが含まれるオーディオストリームを容易に認識でき、処理負荷を軽減することが可能となる。
【0017】
また、本技術において、例えば、処理部は、属性情報およびストリーム対応関係情報に基づいて、スピーカ構成およびユーザ選択情報に適合する属性を持つグループの符号化データを含むオーディオストリームに対して選択的にデコード処理を施す、ようにされてもよい。
【0018】
また、本技術のさらに他の概念は、
複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
上記受信されたコンテナが有する上記所定数のオーディオストリームから上記属性情報に基づいて所定のグループの符号化データを選択的に取得し、該所定のグループの符号化データを含むオーディオストリームを再構成する処理部と、
上記処理部で再構成されたオーディオストリームを外部機器に送信するストリーム送信部とをさらに備える
受信装置にある。
【0019】
本技術において、受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナが受信される。コンテナのレイヤに、複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されている。処理部により、所定数のオーディオストリームから属性情報に基づいて所定のグループの符号化データが選択的に取得され、この所定のグループの符号化データを含むオーディオストリームが再構成される。そして、ストリーム送信部により、再構成されたオーディオストリームが外部機器に送信される。
【0020】
このように本技術においては、コンテナのレイヤに挿入されている複数のグループの符号化データのそれぞれの属性を示す属性情報に基づいて、所定数のオーディオストリームから所定のグループの符号化データが選択的に取得されて、外部機器に送信すべきオーディオストリームが再構成される。必要なグループの符号化データの取得を容易に行うことができ、処理負荷を軽減することが可能となる。
【0021】
なお、本技術において、例えば、コンテナのレイヤには、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報をさらに挿入されており、処理部は、属性情報の他に、ストリーム対応関係情報に基づいて、所定数のオーディオストリームから所定のグループの符号化データを選択的に取得する、ようにされてもよい。この場合、所定グループの符号化データが含まれるオーディオストリームを容易に認識でき、処理負荷を軽減することが可能となる。
【発明の効果】
【0022】
本技術によれば、複数種類のオーディデータを送信する場合にあって受信側の処理負荷を軽減することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0023】
図1】実施の形態としての送受信システムの構成例を示すブロック図である。
図2】3Dオーディオの伝送データにおけるオーディオフレーム(1024サンプル)の構造を示す図である。
図3】3Dオーディオの伝送データの構成例を示す図である。
図4】3Dオーディオの伝送データを1ストリームで送信する場合および複数ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示す図である。
図5】3Dオーディオの伝送データの構成例において、3ストリームで送信する場合のグループ分割例を示す図である。
図6】グループ分割例(3分割)におけるグループとサブストリームの対応関係などを示す図である。
図7】3Dオーディオの伝送データの構成例において、2ストリームで送信する場合のグループ分割例を示す図である。
図8】グループ分割例(2分割)におけるグループとサブストリームの対応関係などを示す図である。
図9】サービス送信機が備えるストリーム生成部の構成例を示すブロック図である。
図10】3Dオーディオ・ストリーム・コンフィグ・デスクリプタの構造例を示す図である。
図11】3Dオーディオ・ストリーム・コンフィグ・デスクリプタの構造例における主要な情報の内容を示す図である。
図12】3Dオーディオ・サブストリームID・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。
図13】トランスポートストリームの構成例を示す図である。
図14】サービス受信機の構成例を示すブロック図である。
図15】サービス受信機におけるCPUのオーディオデコード制御処理の一例を示すフローチャートである。
図16】サービス受信機の他の構成例を示すブロック図である。
【発明を実施するための形態】
【0024】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0025】
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、サービス送信機100とサービス受信機200により構成されている。サービス送信機100は、トランスポートストリームTSを、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSは、ビデオストリームと、複数のグループの符号化データを含む所定数のオーディオストリームを有している。
【0026】
図2は、この実施の形態で取り扱う3Dオーディオの伝送データにおけるオーディオフレーム(1024サンプル)の構造を示している。このオーディオフレームは、複数のMPEGオーディオストリームパケット(mpeg Audio Stream Packet)からなっている。各MPEGオーディオストリームパケットは、ヘッダ(Header)とペイロード(Payload)により構成されている。
【0027】
ヘッダは、パケットタイプ(Packet Type)、パケットラベル(Packet Label)、パケットレングス(Packet Length)などの情報を持つ。ペイロードには、ヘッダのパケットタイプで定義された情報が配置される。このペイロード情報には、同期スタートコードに相当する“SYNC”情報と、3Dオーディオの伝送データの実際のデータである“Frame”情報と、この“Frame”情報の構成を示す“Config”情報が存在する。
【0028】
“Frame”情報には、3Dオーディオの伝送データを構成するチャネル符号化データとオブジェクト符号化データが含まれる。ここで、チャネル符号化データは、SCE(Single Channel Element)、CPE(Channel Pair Element)、LFE(Low Frequency Element)などの符号化サンプルデータで構成される。また、オブジェクト符号化データは、SCE(Single Channel Element)の符号化サンプルデータと、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータにより構成される。このメタデータは、エクステンションエレメント(Ext_element)として含まれる。
【0029】
図3は、3Dオーディオの伝送データの構成例を示している。この例では、1つのチャネル符号化データと2つのオブジェクト符号化データとからなっている。1つのチャネル符号化データは、5.1チャネルのチャネル符号化データ(CD)であり、SCE1,CPE1.1,CPE1.2,LFE1の各符号化サンプルデータからなっている。
【0030】
2つのオブジェクト符号化データは、イマーシブオーディオオブジェクト(IAO:Immmersive audio object)およびスピーチダイアログオブジェクト(SDO:Speech Dialog object)の符号化データである。イマーシブオーディオオブジェクト符号化データは、イマーシブサウンドのためのオブジェクト符号化データであり、符号化サンプルデータSCE2と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータEXE_El(Object metadata)2とからなっている。
【0031】
スピーチダイアログオブジェクト符号化データは、スピーチランゲージのためのオブジェクト符号化データである。この例では、第1、第2の言語のそれぞれに対応したスピーチダイアログオブジェクト符号化データが存在する。第1の言語に対応したスピーチダイアログオブジェクト符号化データは、符号化サンプルデータSCE3と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータEXE_El(Object metadata)3とからなっている。また、第2の言語に対応したスピーチダイアログオブジェクト符号化データは、符号化サンプルデータSCE4と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータEXE_El(Object metadata)4とからなっている。
【0032】
符号化データは、種類別にグループ(Group)という概念で区別される。図示の例では、5.1チャネルの符号化チャネルデータはグループ1とされ、イマーシブオーディオオブジェクト符号化データはグループ2とされ、第1の言語に係るスピーチダイアログオブジェクト符号化データはグループ3とされ、第2の言語に係るスピーチダイアログオブジェクト符号化データはグループ4とされている。
【0033】
また、受信側においてグループ間で選択できるものはスイッチグループ(SW Group)に登録されて符号化される。また、グループを束ねてプリセットグループ(preset Group)とされ、ユースケースに応じた再生が可能とされる。図示の例では、グループ1、グループ2およびグループ3が束ねられてプリセットグループ1とされ、グループ1、グループ2およびグループ4が束ねられてプリセットグループ2とされている。
【0034】
図1に戻って、サービス送信機100は、上述したように複数のグループの符号化データを含む3Dオーディオの伝送データを、1ストリーム、あるいは複数ストリーム(Multiple stream)で送信する。
【0035】
図4(a)は、図3の3Dオーディオの伝送データの構成例において、1ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示している。この場合、この1ストリームに、“SYNC”情報と“Config”情報と共に、チャネル符号化データ(CD)、イマーシブオーディオオブジェクト符号化データ(IAO)、スピーチダイアログオブジェクト符号化データ(SDO)が含まれる。
【0036】
図4(b)は、図3の3Dオーディオの伝送データの構成例において、複数ストリーム(各ストリームを、適宜、「サブストリーム」と呼ぶこととする)、ここでは3ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示している。この場合、サブストリーム1に、“SYNC”情報と“Config”情報と共に、チャネル符号化データ(CD)が含まれる。また、サブストリーム2に、“SYNC”情報と“Config”情報と共に、イマーシブオーディオオブジェクト符号化データ(IAO)が含まれる。さらに、サブストリーム3に、“SYNC”情報と“Config”情報と共に、スピーチダイアログオブジェクト符号化データ(SDO)が含まれる。
【0037】
図5は、図3の3Dオーディオの伝送データの構成例において、3ストリームで送信する場合のグループ分割例を示している。この場合、サブストリーム1には、グループ1として区別されるチャネル符号化データ(CD)が含まれる。また、サブストリーム2には、グループ2として区別されるイマーシブオーディオオブジェクト符号化データ(IAO)が含まれる。また、サブストリーム3には、グループ3として区別される第1の言語のスピーチダイアログオブジェクト符号化データ(SDO)と、グループ4として区別される第2の言語のスピーチダイアログオブジェクト符号化データ(SDO)が含まれる。
【0038】
図6は、図5のグループ分割例(3分割)におけるグループとサブストリームの対応関係などを示している。ここで、グループID(group ID)は、グループを識別するための識別子である。アトリビュート(attribute)は、各グループの符号化データの属性を示している。スイッチグループID(switch Group ID)は、スイッチンググループを識別するための識別子である。プリセットグループID(preset Group ID)は、プリセットグループを識別するための識別子である。サブストリームID(sub Stream ID)は、サブストリームを識別するための識別子である。
【0039】
図示の対応関係は、グループ1に属する符号化データは、チャネル符号化データであって、スイッチグループを構成しておらず、サブストリーム1に含まれている、ことを示している。また、図示の対応関係は、グループ2に属する符号化データは、イマーシブサウンドのためのオブジェクト符号化データ(イマーシブオーディオオブジェクト符号化データ)であって、スイッチグループを構成しておらず、サブストリーム2に含まれている、ことを示している。
【0040】
また、図示の対応関係は、グループ3に属する符号化データは、第1の言語のスピーチランゲージのためのオブジェクト符号化データ(スピーチダイアログオブジェクト符号化データ)であって、スイッチグループ1を構成しており、サブストリーム3に含まれている、ことを示している。また、図示の対応関係は、グループ4に属する符号化データは、第2の言語のスピーチランゲージのためのオブジェクト符号化データ(スピーチダイアログオブジェクト符号化データ)であって、スイッチグループ1を構成しており、サブストリーム3に含まれている、ことを示している。
【0041】
また、図示の対応関係は、プリセットグループ1は、グループ1、グループ2およびグループ3を含む、ことが示されている。さらに、図示の対応関係は、プリセットグループ2は、グループ1、グループ2およびグループ4を含む、ことが示されている。
【0042】
図7は、図3の3Dオーディオの伝送データの構成例において、2ストリームで送信する場合のグループ分割例を示している。この場合、サブストリーム1には、グループ1として区別されるチャネル符号化データ(CD)と、グループ2として区別されるイマーシブオーディオオブジェクト符号化データ(IAO)が含まれる。また、サブストリーム2には、グループ3として区別される第1の言語のスピーチダイアログオブジェクト符号化データ(SDO)と、グループ4として区別される第2の言語のスピーチダイアログオブジェクト符号化データ(SDO)が含まれる。
【0043】
図8は、図7のグループ分割例(2分割)におけるグループとサブストリームの対応関係などを示している。図示の対応関係は、グループ1に属する符号化データは、チャネル符号化データであって、スイッチグループを構成しておらず、サブストリーム1に含まれている、ことを示している。また、図示の対応関係は、グループ2に属する符号化データは、イマーシブサウンドのためのオブジェクト符号化データ(イマーシブオーディオオブジェクト符号化データ)であって、スイッチグループを構成しておらず、サブストリーム1に含まれている、ことを示している。
【0044】
また、図示の対応関係は、グループ3に属する符号化データは、第1の言語のスピーチランゲージのためのオブジェクト符号化データ(スピーチダイアログオブジェクト符号化データ)であって、スイッチグループ1を構成しており、サブストリーム2に含まれている、ことを示している。また、図示の対応関係は、グループ4に属する符号化データは、第2の言語のスピーチランゲージのためのオブジェクト符号化データ(スピーチダイアログオブジェクト符号化データ)であって、スイッチグループ1を構成しており、サブストリーム2に含まれている、ことを示している。
【0045】
また、図示の対応関係は、プリセットグループ1は、グループ1、グループ2およびグループ3を含む、ことが示されている。さらに、図示の対応関係は、プリセットグループ2は、グループ1、グループ2およびグループ4を含む、ことが示されている。
【0046】
図1に戻って、サービス送信機100は、コンテナのレイヤに、3Dオーディオの伝送データに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する。また、サービス送信機100は、コンテナのレイヤに、この複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入する。この実施の形態において、このストリーム対応関係情報は、例えば、グループIDとストリーム識別子との対応関係を示す情報とされる。
【0047】
サービス送信機100は、これらの属性情報およびストリーム対応関係情報を、例えば、プログラムマップテーブル(PMT:Program Map Table)の配下に存在する所定数のオーディオストリームのいずれか1つのオーディオストリーム、例えば最も基本的なストリームに対応したオーディオエレメンタリストリームループ内にデスクリプタとして挿入する。
【0048】
また、サービス送信機100は、コンテナのレイヤに、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子を示すストリーム識別子情報を挿入する。サービス送信機100は、このストリーム識別子情報を、例えば、プログラムマップテーブル(PMT:Program Map Table)の配下に存在する所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内にデスクリプタとして挿入する。
【0049】
サービス受信機200は、サービス送信機100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSは、上述したように、ビデオストリームの他に、3Dオーディオの伝送データを構成する複数のグループの符号化データを含む所定数のオーディオストリームを有している。そして、コンテナのレイヤに、3Dオーディオの伝送データに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されていると共に、この複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報が挿入されている。
【0050】
サービス受信機200は、属性情報およびストリーム対応関係情報に基づいて、スピーカ構成およびユーザ選択情報に適合する属性を持つグループの符号化データを含むオーディオストリームに対して選択的にデコード処理を行って、3Dオーディオのオーディオ出力を得る。
【0051】
[サービス送信機のストリーム生成部]
図9は、サービス送信機100が備えるストリーム生成部110の構成例を示している。このストリーム生成部110は、ビデオエンコーダ112と、オーディオエンコーダ113と、マルチプレクサ114を有している。ここでは、オーディオの伝送データが、図3に示すように、1つの符号化チャネルデータと2つのオブジェクト符号化データとからなる例とする。
【0052】
ビデオエンコーダ112は、ビデオデータSVを入力し、このビデオデータSVに対して符号化を施し、ビデオストリーム(ビデオエレメンタリストリーム)を生成する。オーディオエンコーダ113は、オーディオデータSAとして、チャネルデータと共に、イマーシブオーディオおよびスピーチダイアログのオブジェクトデータを入力する。
【0053】
オーディオエンコーダ113は、オーディオデータSAに対して符号化を施し、3Dオーディオの伝送データを得る。この3Dオーディオの伝送データには、図3に示すように、チャネル符号化データ(CD)と、イマーシブオーディオオブジェクト符号化データ(IAO)と、スピーチダイアログオブジェクト符号化データ(SDO)が含まれる。そして、オーディオエンコーダ113は、複数のグループ、ここでは4つのグループの符号化データ含む1つまたは複数のオーディオストリーム(オーディオエレメンタリストリーム)を生成する(図4(a),(b)参照)。
【0054】
マルチプレクサ114は、ビデオエンコーダ112から出力されるビデオストリームおよびオーディオエンコーダ113から出力される所定数のオーディオストリームを、それぞれ、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
【0055】
また、マルチプレクサ114は、プログラムマップテーブル(PMT)の配下に、複数のグループの符号化データのそれぞれの属性を示す属性情報と、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入する。マルチプレクサ114は、これらの情報を、例えば最も基本的なストリームに対応したオーディオ・エレメンタリストリームループ内に、3Dオーディオ・ストリーム・コンフィグ・デスクリプタ(3Daudio_stream_config_descriptor)を用いて挿入する。このデスクリプタの詳細については後述する。
【0056】
また、マルチプレクサ114は、プログラムマップテーブル(PMT)の配下に、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報を挿入する。マルチプレクサ114は、この情報を、所定数のオーディオストリームのそれぞれに対応したオーディオ・エレメンタリストリームループ内に、3Dオーディオ・サブストリームID・デスクリプタ(3Daudio_substreamID_descriptor)を用いて挿入する。このデスクリプタの詳細については後述する。
【0057】
図9に示すストリーム生成部110の動作を簡単に説明する。ビデオデータは、ビデオエンコーダ112に供給される。このビデオエンコーダ112では、ビデオデータSVに対して符号化が施され、符号化ビデオデータを含むビデオストリームが生成される。このビデオストリームは、マルチプレクサ114に供給される。
【0058】
オーディオデータSAは、オーディオエンコーダ113に供給される。このオーディオデータSAには、チャネルデータと、イマーシブオーディオおよびスピーチダイアログのオブジェクトデータが含まれる。オーディオエンコーダ113では、オーディオデータSAに対して符号化が施され、3Dオーディオの伝送データが得られる。
【0059】
この3Dオーディオの伝送データには、チャネル符号化データ(CD)の他に、イマーシブオーディオオブジェクト符号化データ(IAO)と、スピーチダイアログオブジェクト符号化データ(SDO)が含まれる(図3参照)。そして、このオーディオエンコーダ113では、4つのグループの符号化データ含む1つまたは複数のオーディオストリームが生成される(図4(a),(b)参照)。
【0060】
ビデオエンコーダ112で生成されたビデオストリームは、マルチプレクサ114に供給される。また、オーディオエンコーダ113で生成されたオーディオストリームは、マルチプレクサ114に供給される。マルチプレクサ114では、各エンコーダから供給されるストリームがPESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。
【0061】
また、マルチプレクサ114では、例えば最も基本的なストリームに対応したオーディオエレメンタリストリームループ内に、3Dオーディオ・ストリーム・コンフィグ・デスクリプタが挿入される。このデスクリプタには、複数のグループの符号化データのそれぞれの属性を示す属性情報と、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報が含まれている。
【0062】
また、マルチプレクサ114では、所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内に、3Dオーディオ・サブストリームID・デスクリプタが挿入される。このデスクリプタには、所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報が含まれている。
【0063】
[3Dオーディオ・ストリーム・コンフィグ・デスクリプタの詳細]
図10は、3Dオーディオ・ストリーム・コンフィグ・デスクリプタ(3Daudio_stream_config_descriptor)の構造例(Syntax)を示している。また、図11は、その構造例における主要な情報の内容(Semantics)を示している。
【0064】
「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示す。ここでは、3Dオーディオ・ストリーム・コンフィグ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
【0065】
「NumOfGroups, N」の8ビットフィールドは、グループの数を示す。「NumOfPresetGroups, P」の8ビットフィールドは、プリセットグループの数を示す。グループの数だけ、「groupID」の8ビットフィールド、「attribute_of_groupID」の8ビットフィールド、「SwitchGroupID」の8ビットフィールドおよび「audio_substreamID」の8ビットフィールドが、繰り返えされる。
【0066】
「groupID」のフィールドは、グループの識別子を示す。「attribute_of_groupID」のフィールドは、該当グループの符号化データの属性を示す。「SwitchGroupID」のフィールドは、該当グループがどのスイッチグループに属すかを示す識別子である。“0”は、いずれのスイッチグループにも属さないことを示す。“0”以外は、配属するスイッチグループを示す。「audio_substreamID」は、該当グループが含まれるオーディオ・サブストリームを示す識別子である。
【0067】
また、プリセットグループの数だけ、「presetGroupID」の8ビットフィールドおよび「NumOfGroups_in_preset, R」の8ビットフィールドが、繰り返される。「presetGroupID」のフィールドは、グループをプリセットした束を示す識別子である。「NumOfGroups_in_preset, R」のフィールドは、プリセットグループに属するグループの数を示す。そして、プリセットグループ毎に、それに属するグループの数だけ、「groupID」の8ビットフィールドが繰り返され、プリセットグループに属するグループが示される。本デスクリプタは、拡張デスクリプタの配下に配置されてもよい。
【0068】
[3Dオーディオ・サブストリームID・デスクリプタの詳細]
図12(a)は、3Dオーディオ・サブストリームID・デスクリプタ(3Daudio_substreamID_descriptor)の構造例(Syntax)を示している。また、図12(b)は、その構造例における主要な情報の内容(Semantics)を示している。
【0069】
「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示す。ここでは、3Dオーディオ・サブストリームID・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。「audio_substreamID」の8ビットフィールドは、オーディオ・サブストリームの識別子を示す。本デスクリプタは、拡張デスクリプタの配下に配置されてもよい。
【0070】
[トランスポートストリームTSの構成]
図13は、トランスポートストリームTSの構成例を示している。この構成例は、3Dオーディオの伝送データを2ストリームで送信する場合に対応している(図7参照)。この構成例では、PID1で識別されるビデオストリームのPESパケット「video PES」が存在する。また、この構成例では、PID2,PID3でそれぞれ識別される2つのオーディオストリーム(オーディオ・サブストリーム)のPESパケット「audio PES」が存在する。PESパケットは、PESヘッダ(PES_header)とPESペイロード(PES_payload)からなっている。PESヘッダには、DTS,PTSのタイムスタンプが挿入されている。多重化の際にPID2とPID3のタイムスタンプを合致させるなど、的確に付すことで両者の間の同期をシステム全体で確保することが可能である。
【0071】
ここで、PID2で識別されるオーディオストリームのPESパケット「audio PES」には、グループ1として区別されるチャネル符号化データ(CD)とグループ2として区別されるイマーシブオーディオオブジェクト符号化データ(IAO)が含まれる。また、PID3で識別されるオーディオストリームのPESパケット「audio PES」には、グループ3として区別される第1の言語のスピーチダイアログオブジェクト符号化データ(SDO)と、グループ4として区別される第2の言語のスピーチダイアログオブジェクト符号化データ(SDO)が含まれる。
【0072】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
【0073】
また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリームループ(video ES loop)が存在すると共に、2つのオーディオストリームに対応したオーディオエレメンタリストリームループ(audio ES loop)が存在する
【0074】
ビデオエレメンタリストリームループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したようにビデオストリームのPESパケット「video PES」に付与されるPID1を示すものとされる。デスクリプタの一つして、HEVC デスクリプタが配置される。
【0075】
また、オーディオエレメンタリストリームループ(audio ES loop)には、オーディオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのオーディオストリームに関連する情報を記述するデスクリプタも配置される。このオーディオストリームの「Stream_type」の値は「0x2C」に設定され、PID情報は、上述したようにオーディオストリームのPESパケット「audio PES」に付与されるPID2を示すものとされる。
【0076】
PID2で識別されるオーディオストリームに対応したオーディオエレメンタリストリームループ(audio ES loop)には、上述した3Dオーディオ・ストリーム・コンフィグ・デスクリプタおよび3Dオーディオ・サブストリームID・デスクリプタの双方が配置される。また、PID2で識別されるオーディオストリームに対応したオーディオエレメンタリストリームループ(audio ES loop)には、上述した3Dオーディオ・サブストリームID・デスクリプタのみが配置される。
【0077】
[サービス受信機の構成例]
図14は、サービス受信機200の構成例を示している。このサービス受信機200は、受信部201と、デマルチプレクサ202と、ビデオデコーダ203と、映像処理回路204と、パネル駆動回路205と、表示パネル206を有している。また、このサービス受信機200は、多重化バッファ211-1~211-Nと、コンバイナ212と、3Dオーディオデコーダ213と、音声出力処理回路214と、スピーカシステム215を有している。また、このサービス受信機200は、CPU221と、フラッシュROM222と、DRAM223と、内部バス224と、リモコン受信部225と、リモコン送信機226を有している。
【0078】
CPU221は、サービス受信機200の各部の動作を制御する。フラッシュROM222は、制御ソフトウェアの格納およびデータの保管を行う。DRAM223は、CPU221のワークエリアを構成する。CPU221は、フラッシュROM222から読み出したソフトウェアやデータをDRAM223上に展開してソフトウェアを起動させ、サービス受信機200の各部を制御する。
【0079】
リモコン受信部225は、リモコン送信機226から送信されたリモートコントロール信号(リモコンコード)を受信し、CPU221に供給する。CPU221は、このリモコンコードに基づいて、サービス受信機200の各部を制御する。CPU221、フラッシュROM222およびDRAM223は、内部バス224に接続されている。
【0080】
受信部201は、サービス送信機100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSは、ビデオストリームの他に、3Dオーディオの伝送データを構成する複数のグループの符号化データを含む所定数のオーディオストリームを有している。
【0081】
デマルチプレクサ202は、トランスポートストリームTSからビデオストリームのパケットを抽出し、ビデオデコーダ203に送る。ビデオデコーダ203は、デマルチプレクサ202で抽出されたビデオのパケットからビデオストリームを再構成し、デコード処理を行って非圧縮のビデオデータを得る。
【0082】
映像処理回路204は、ビデオデコーダ203で得られたビデオデータに対してスケーリング処理、画質調整処理などを行って、表示用のビデオデータを得る。パネル駆動回路205は、映像処理回路204で得られる表示用の画像データに基づいて、表示パネル206を駆動する。表示パネル206は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成されている。
【0083】
また、デマルチプレクサ202は、トランスポートストリームTSから各種デスクリプタなどの情報を抽出し、CPU221に送る。各種デスクリプタには、上述した3Dオーディオ・ストリーム・コンフィグ・デスクリプタ(3Daudio_stream_config_descriptor)や3Dオーディオ・サブストリームID・デスクリプタ(3Daudio_substreamID_descriptor)も含まれる(図13参照)。
【0084】
CPU221は、これらのデスクリプタに含まれている、各グループの符号化データの属性を示す属性情報、各グループがどのオーディオストリーム(サブストリーム)に含まれるかを示すストリーム関係情報などに基づいて、スピーカ構成および視聴者(ユーザ)選択情報に適合する属性を持つグループの符号化データが含まれるオーディオストリームを認識する。
【0085】
また、デマルチプレクサ202は、CPU221の制御のもと、トランスポートストリームTSが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者(ユーザ)選択情報に適合する属性を持つグループの符号化データを含む一つまたは複数のオーディオストリームのパケットをPIDフィルタで選択的に取り出す。
【0086】
多重化バッファ211-1~211-Nは、それぞれ、デマルチプレクサ202で取り出される各オーディオストリームを取り込む。ここで、多重化バッファ211-1~211-Nの個数Nとしては必要十分な個数とされるが、実際の動作では、デマルチプレクサ202で取り出されるオーディオストリームの数だけ用いられることになる。
【0087】
コンバイナ212は、多重化バッファ211-1~211-Nのうちデマルチプレクサ202で取り出される各オーディオストリームがそれぞれ取り込まれた多重化バッファから、オーディオフレーム毎に、オーディオストリームを読み出し、3Dオーディオデコーダ213にスピーカ構成および視聴者(ユーザ)選択情報に適合する属性を持つグループの符号化データとして供給する。
【0088】
3Dオーディオデコーダ213は、コンバイナ212から供給される符号化データに対してデコード処理を施し、スピーカシステム215の各スピーカを駆動するためのオーディオデータを得る。ここで、デコード処理される符号化データは、チャネル符号化データのみを含む場合、オブジェクト符号化データのみを含む場合、さらにはチャネル符号化データおよびオブジェクト符号化データの双方を含む場合の3通りが考えられる。
【0089】
3Dオーディオデコーダ213は、チャネル符号化データをデコードするときは、スピーカシステム215のスピーカ構成へのダウンミックスやアップミックスの処理を行って、各スピーカを駆動するためのオーディオデータを得る。また、3Dオーディオデコーダ213は、オブジェクト符号化データをデコードするときは、オブジェクト情報(メタデータ)に基づきスピーカレンダリング(各スピーカへのミキシング割合)を計算し、その計算結果に応じて、オブジェクトのオーディオデータを、各スピーカを駆動するためのオーディオデータにミキシングする。
【0090】
音声出力処理回路214は、3Dオーディオデコーダ213で得られた各スピーカを駆動するためのオーディオデータに対して、D/A変換や増幅等の必要な処理を行って、スピーカシステム215に供給する。スピーカシステム215は、複数チャネル、例えば2チャネル、5.1チャネル、7.1チャネル、22.2チャネルなどの複数のスピーカを備える。
【0091】
図14に示すサービス受信機200の動作を簡単に説明する。受信部201では、サービス送信機100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、ビデオストリームの他に、3Dオーディオの伝送データを構成する複数のグループの符号化データを含む所定数のオーディオストリームを有している。このトランスポートストリームTSは、デマルチプレクサ202に供給される。
【0092】
デマルチプレクサ202では、トランスポートストリームTSからビデオストリームのパケットが抽出され、ビデオデコーダ203に供給される。ビデオデコーダ203では、デマルチプレクサ202で抽出されたビデオのパケットからビデオストリームが再構成され、デコード処理が行われて、非圧縮のビデオデータが得られる。このビデオデータは、映像処理回路204に供給される。
【0093】
映像処理回路204では、ビデオデコーダ203で得られたビデオデータに対してスケーリング処理、画質調整処理などが行われて、表示用のビデオデータが得られる。この表示用のビデオデータはパネル駆動回路205に供給される。パネル駆動回路205では、表示用のビデオデータに基づいて、表示パネル206を駆動することが行われる。これにより、表示パネル206には、表示用のビデオデータに対応した画像が表示される。
【0094】
また、デマルチプレクサ202では、トランスポートストリームTSから各種デスクリプタなどの情報が抽出され、CPU221に送られる。各種デスクリプタには、3Dオーディオ・ストリーム・コンフィグ・デスクリプタや3Dオーディオ・サブストリームID・デスクリプタも含まれる。CPU221では、これらのデスクリプタに含まれている属性情報、ストリーム関係情報などに基づいて、スピーカ構成および視聴者(ユーザ)選択情報に適合する属性を持つグループの符号化データが含まれるオーディオストリーム(サブストリーム)が認識される。
【0095】
また、デマルチプレクサ202では、CPU221の制御のもと、トランスポートストリームTSが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者選択情報に適合する属性を持つグループの符号化データを含む1つまたは複数のオーディオストリームのパケットがPIDフィルタで選択的に取り出される。
【0096】
デマルチプレクサ202で取り出されたオーディオストリームは、多重化バッファ211-1~211-Nのうち対応する多重化バッファに取り込まれる。コンバイナ212では、オーディオストリームが取り込まれた各多重化バッファから、オーディオフレーム毎に、オーディオストリームが読み出され、3Dオーディオデコーダ213にスピーカ構成および視聴者選択情報に適合する属性を持つグループの符号化データとして供給される。
【0097】
3Dオーディオデコーダ213では、コンバイナ212から供給される符号化データに対してデコード処理が施され、スピーカシステム215の各スピーカを駆動するためのオーディオデータが得られる。
【0098】
ここで、チャネル符号化データがデコードされるときは、スピーカシステム215のスピーカ構成へのダウンミックスやアップミックスの処理が行われて、各スピーカを駆動するためのオーディオデータが得られる。また、オブジェクト符号化データがデコードされるときは、オブジェクト情報(メタデータ)に基づきスピーカレンダリング(各スピーカへのミキシング割合)が計算され、その計算結果に応じて、オブジェクトのオーディオデータが各スピーカを駆動するためのオーディオデータにミキシングされる。
【0099】
3Dオーディオデコーダ213で得られた各スピーカを駆動するためのオーディオデータは、音声出力処理回路214に供給される。この音声出力処理回路214では、各スピーカを駆動するためのオーディオデータに対して、D/A変換や増幅等の必要な処理が行われる。そして、処理後のオーディオデータはスピーカシステム215に供給される。これにより、スピーカシステム215からは表示パネル206の表示画像に対応した音響出力が得られる。
【0100】
図15は、図14に示すサービス受信機200におけるCPU221のオーディオデコード制御処理の一例を示している。CPU221は、ステップST1において、処理を開始する。そして、CPU221は、ステップST2において、受信機スピーカ構成、つまりスピーカシステム215のスピーカ構成を検知する。次に、CPU221は、ステップST3において、視聴者(ユーザ)によるオーディオ出力に関する選択情報を得る。
【0101】
次に、CPU221は、ステップST4において、3Dオーディオ・ストリーム・コンフィグ・デスクリプタ(3Daudio_stream_config_descriptor)の「groupID」、「attribute_of_GroupID」、「switchGroupID」、「presetGroupID」、「Audio_substreamID」を読む。そして、CPU221は、ステップST5において、スピーカ構成、視聴者選択情報に適合する属性を持つグループが属するオーディオストリーム(サブストリーム)のサブストリームID(subStreamID)を認識する。
【0102】
次に、CPU221は、ステップST6において、認識されたサブストリームID(subStreamID)と、各オーディオストリーム(サブストリーム)の3Dオーディオ・サブストリームID・デスクリプタ(3Daudio_substreamID_descriptor)のサブストリームID(subStreamID)と照合し、合致するものをPIDフィルタ(PID filter)で選択し、多重化バッファに取り込む。そして、CPU221は、ステップST7において、多重化バッファからオーディオフレーム毎に、オーディオストリーム(サブストリーム)を読み出し、3Dオーディデコーダ213へ必要なグループの符号化データを供給する。
【0103】
次に、CPU221は、ステップST8において、オブジェクト符号化データをデコードするか否かを判断する。オブジェクト符号化データをデコードするとき、CPU221は、ステップST9において、オブジェクト情報(メタデータ)に基づき、アジマス(方位情報)とエレベーション(仰角情報)によりスピーカレンダリング(各スピーカへのミキシング割合)を計算する。その後に、CPU221は、ステップST10に進む。なお、ステップST8において、オブジェクト符号化データをデコードしないとき、CPU221は、直ちに、ステップST10に進む。
【0104】
このステップST10において、CPU221は、チャネル符号化データをデコードするか否かを判断する。チャネル符号化データをデコードするとき、CPU221は、ステップST11において、スピーカシステム215のスピーカ構成へのダウンミックスやアップミックスの処理を行って、各スピーカを駆動するためのオーディオデータを得る。その後に、CPU221は、ステップST12に進む。なお、ステップST10において、オブジェクト符号化データをデコードしないとき、CPU221は、直ちに、ステップST12に進む。
【0105】
このステップST12において、CPU221は、オブジェクト符号化データをデコードするとき、ステップST9の計算結果に応じて、オブジェクトのオーディオデータを、各スピーカを駆動するためのオーディオデータにミキシングし、その後にダイナミックレンジ制御を行う。その後、CPU21はステップST13において、処理を終了する。なお、オブジェクト符号化データをデコードしないとき、CPU221は、ステップST12をスキップする。
【0106】
上述したように、図1に示す送受信システム10において、サービス送信機100は、コンテナのレイヤに、所定数のオーディオストリームに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する。そのため、受信側では、複数のグループの符号化データのそれぞれの属性を当該符号化データのデコード前に容易に認識でき、必要なグループの符号化データのみを選択的にデコードして用いることができ、処理負荷を軽減することが可能となる。
【0107】
また、図1に示す送受信システム10において、サービス送信機100は、コンテナのレイヤに、複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入する。そのため、受信側では、必要なグループの符号化データが含まれるオーディオストリームを容易に認識でき、処理負荷を軽減することが可能となる。
【0108】
<2.変形例>
なお、上述実施の形態において、サービス受信機200は、サービス送信機100から送信されてくる複数のオーディオストリーム(サブストリーム)から、スピーカ構成、視聴者選択情報に適合する属性を持つグループの符号化データが含まれるオーディオストリームを選択的に取り出し、デコード処理を行って所定数のスピーカ駆動用のオーディオデータを得る構成となっている。
【0109】
しかし、サービス受信機として、サービス送信機100から送信されてくる複数のオーディオストリーム(サブストリーム)から、スピーカ構成、視聴者選択情報に適合する属性を持つグループの符号化データを持つ1つまたは複数のオーディオストリームを選択的に取り出し、スピーカ構成、視聴者選択情報に適合する属性を持つグループの符号化データを持つオーディオストリームを再構成し、その再構成オーディオストリームを、構内ネットワーク接続されたデバイス(DLNA機器も含む)に配信することも考えられる。
【0110】
図16は、上述したように再構成オーディオストリームを構内ネットワーク接続されたデバイスに配信するサービス受信機200Aの構成例を示している。この図16において、図14と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0111】
デマルチプレクサ202では、CPU221の制御のもと、トランスポートストリームTSが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者選択情報に適合する属性を持つグループの符号化データを含む1つまたは複数のオーディオストリームのパケットがPIDフィルタで選択的に取り出される。
【0112】
デマルチプレクサ202で取り出されたオーディオストリームは、多重化バッファ211-1~211-Nのうち対応する多重化バッファに取り込まれる。コンバイナ212では、オーディオストリームが取り込まれた各多重化バッファから、オーディオフレーム毎に、オーディオストリームが読み出され、ストリーム再構成部231に供給される。
【0113】
ストリーム再構成部231では、スピーカ構成、視聴者選択情報に適合する属性を持つ所定グループの符号化データが選択的に取得され、この所定グループの符号化データを持つオーディオストリームが再構成される。この再構成オーディオストリームは配信インタフェース232に供給される。そして、この配信インタフェース232から、構内ネットワーク接続されたデバイス300に配信(送信)される。
【0114】
この構内ネットワーク接続には、イーサネット接続、“WiFi”あるいは“Bluetooth”などのワイヤレス接続が含まれる。なお、「WiFi」、「Bluetooth」は、登録商標である。
【0115】
また、デバイス300には、サラウンドスピーカ、セカンドディスプレイ、ネットワーク端末に付属のオーディオ出力装置が含まれる。再構成オーディオストリームの配信を受けるデバイス300は、図14のサービス受信機200における3Dオーディオデコーダ213と同様のデコード処理を行って、所定数のスピーカを駆動するためのオーディオデータを得ることになる。
【0116】
また、サービス受信機としては、上述した再構成オーディオストリームを、“HDMI(High-Definition Multimedia Interface)”、“MHL(Mobile High definition Link)”、“DisplayPort”などのデジタルインタフェースで接続されたデバイスに送信する構成も考えられる。なお、「HDMI」、「MHL」は、登録商標である。
【0117】
また、上述実施の形態において、コンテナのレイヤに挿入されるストリーム対応関係情報は、グループIDとサブストリームIDとの対応関係を示す情報であった。すなわち、グループとオーディオストリーム(サブストリーム)を関連付けるためにサブストリームIDを用いたものである。しかし、グループとオーディオストリーム(サブストリーム)を関連付けるためにパケット識別子(PID:Packet ID)あるいはストリームタイプ(stream_type)を用いることも考えられる。なお、ストリームタイプを用いる場合には、各オーディオストリーム(サブストリーム)のストリームタイプを変える必要がある。
【0118】
また、上述実施の形態においては、各グループの符号化データの属性情報を「attribute_of_groupID」のフィールドを設けて送信する例を示した(図10参照)。しかし、本技術は、送受信機間でグループID(GroupID)の値自体に特別な意味を定義することで、特定のグループIDを認識すれば符号化データの種類(属性)が認識できるような方法も含むものである。この場合、グループIDは、グループの識別子として機能する他に、そのグループの符号化データの属性情報として機能することとなり、「attribute_of_groupID」のフィールドは不要となる。
【0119】
また、上述実施の形態においては、複数のグループの符号化データに、チャネル符号化データおよびオブジェクト符号化データの双方が含まれる例を示した(図3参照)。しかし、本技術は、複数のグループの符号化データに、チャネル符号化データのみ、あるいはオブジェクト符号化データのみが含まれる場合にも同様に適用できる。
【0120】
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、MP4やそれ以外のフォーマットのコンテナで配信されるシステムにも同様に適用できる。例えば、MPEG-DASHベースのストリーム配信システム、あるいは、MMT(MPEG Media Transport)構造伝送ストリームを扱う送受信システムなどである。
【0121】
なお、本技術は、以下のような構成もとることができる。
(1)複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する情報挿入部とを備える
送信装置。
(2)上記情報挿入部は、
上記コンテナのレイヤに、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報をさらに挿入する
前記(1)に記載の送信装置。
(3)上記ストリーム対応関係情報は、
上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれを識別するストリーム識別子との対応関係を示す情報である
前記(2)に記載の送信装置。
(4)上記情報挿入部は、
上記コンテナのレイヤに、上記所定数のオーディオストリームのそれぞれのストリーム識別子を示すストリーム識別子情報をさらに挿入する
前記(3)に記載の送信装置。
(5)上記コンテナは、MPEG2-TSであり、
上記情報挿入部は、
上記ストリーム識別子情報を、プログラムマップテーブルの配下に存在する上記所定数のオーディオストリームのそれぞれに対応したオーディオエレメンタリストリームループ内に挿入する
前記(4)に記載の送信装置。
(6)上記ストリーム対応関係情報は、
上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれをパケット化する際に付されるパケット識別子との対応関係を示す情報である
前記(2)に記載の送信装置。
(7)上記ストリーム対応関係情報は、
上記複数のグループの符号化データのそれぞれを識別するグループ識別子と上記所定数のオーディオストリームのそれぞれのストリームタイプを示すタイプ情報との対応関係を示す情報である
前記(2)に記載の送信装置。
(8)上記コンテナは、MPEG2-TSであり、
上記情報挿入部は、
上記属性情報および上記ストリーム対応関係情報を、プログラムマップテーブルの配下に存在する上記所定数のオーディオストリームのいずれか1つのオーディオストリームに対応したオーディオエレメンタリストリームループ内に挿入する
前記(2)から(7)のいずれかに記載の送信装置。
(9)上記複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる
前記(1)から(8)のいずれかに記載の送信装置。
(10)送信部より、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを送信する送信ステップと、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報を挿入する情報挿入ステップとを有する
送信方法。
(11)複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
上記受信されたコンテナが有する上記所定数のオーディオストリームを、上記属性情報に基づいて処理する処理部をさらに備える
受信装置。
(12)上記コンテナのレイヤには、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、
上記処理部は、
上記属性情報の他に、上記ストリーム対応関係情報に基づいて、上記所定数のオーディオストリームを処理する
前記(11)に記載の受信装置。
(13)上記処理部は、
上記属性情報および上記ストリーム対応関係情報に基づいて、スピーカ構成およびユーザ選択情報に適合する属性を持つグループの符号化データを含むオーディオストリームに対して選択的にデコード処理を施す
前記(12)に記載の受信装置。
(14)上記複数のグループの符号化データには、チャネル符号化データおよびオブジェクト符号化データのいずれかまたは双方が含まれる
前記(11)から(13)のいずれかに記載の受信装置。
(15)受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
上記受信されたコンテナが有する上記所定数のオーディオストリームを、上記属性情報に基づいて処理する処理ステップをさらに有する
受信方法。
(16)複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
上記受信されたコンテナが有する上記所定数のオーディオストリームから上記属性情報に基づいて所定のグループの符号化データを選択的に取得し、該所定のグループの符号化データを含むオーディオストリームを再構成する処理部と、
上記処理部で再構成されたオーディオストリームを外部機器に送信するストリーム送信部とをさらに備える
受信装置。
(17)上記コンテナのレイヤには、上記複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報がさらに挿入されており、
上記処理部は、
上記属性情報の他に、上記ストリーム対応関係情報に基づいて、上記所定数のオーディオストリームから上記所定のグループの符号化データを選択的に取得する
前記(16)に記載の受信装置。
(18)受信部により、複数のグループの符号化データを含む所定数のオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤに、上記複数のグループの符号化データのそれぞれの属性を示す属性情報が挿入されており、
上記受信されたコンテナが有する上記所定数のオーディオストリームから上記属性情報に基づいて所定のグループの符号化データを選択的に取得し、該所定のグループの符号化データを含むオーディオストリームを再構成する処理ステップと、
上記処理ステップで再構成されたオーディオストリームを外部機器に送信するストリーム送信ステップとをさらに有する
受信方法。
【0122】
本技術の主な特徴は、コンテナのレイヤに、所定数のオーディオストリームに含まれる複数のグループの符号化データのそれぞれの属性を示す属性情報や複数のグループの符号化データがそれぞれどのオーディオストリームに含まれるかを示すストリーム対応関係情報を挿入することで、受信側の処理負荷を軽減可能としたことである(図13参照)。
【符号の説明】
【0123】
10・・・送受信システム
100・・・サービス送信機
110・・・ストリーム生成部
112・・・ビデオエンコーダ
113・・・オーディオエンコーダ
114・・・マルチプレクサ
200,200A・・・サービス受信機
201・・・受信部
202・・・デマルチプレクサ
203・・・ビデオデコーダ
204・・・映像処理回路
205・・・パネル駆動回路
206・・・表示パネル
211-1~211-N・・・多重化バッファ
212・・・コンバイナ
213・・・3Dオーディオデコーダ
214・・・音声出力処理回路
215・・・スピーカシステム
221・・・CPU
222・・・フラッシュROM
223・・・DRAM
224・・・内部バス
225・・・リモコン受信部
226・・・リモコン送信機
231・・・ストリーム再構成部
232・・・配信インタフェース
300・・・デバイス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16