特表-13161442IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2013-161442画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
<>
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000003
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000004
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000005
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000006
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000007
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000008
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000009
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000010
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000011
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000012
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000013
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000014
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000015
  • 再表WO2013161442-画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 図000016
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2013年10月31日
【発行日】2015年12月24日
(54)【発明の名称】画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
(51)【国際特許分類】
   H04N 21/238 20110101AFI20151201BHJP
   H04N 13/00 20060101ALI20151201BHJP
   H04N 21/438 20110101ALI20151201BHJP
   H04N 19/30 20140101ALI20151201BHJP
   H04N 19/70 20140101ALI20151201BHJP
   H04N 19/597 20140101ALI20151201BHJP
【FI】
   H04N21/238
   H04N13/00
   H04N21/438
   H04N19/30
   H04N19/70
   H04N19/597
【審査請求】未請求
【予備審査請求】未請求
【全頁数】37
【出願番号】特願2014-512420(P2014-512420)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2013年3月15日
(31)【優先権主張番号】特願2012-99316(P2012-99316)
(32)【優先日】2012年4月24日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【テーマコード(参考)】
5C061
5C159
5C164
【Fターム(参考)】
5C061AA29
5C061AB08
5C061AB12
5C159MA00
5C159MA31
5C159PP04
5C159PP13
5C159RB02
5C159RB10
5C159RC04
5C159RC32
5C159RC33
5C159SS26
5C159UA02
5C159UA05
5C159UA34
5C164FA04
5C164SB13S
5C164SB21P
5C164SC03S
5C164UB21P
5C164UB38S
5C164UB41S
5C164YA21
(57)【要約】
サブストリーム構成が単一のビデオストリームを構成する場合とサブストリーム構成が複数のストリームで構成される場合とを、受信側においてデコード前に確実かつ容易に識別可能とする。
第1の画像データとこの第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有する所定フォーマットのコンテナを送信する際に、このコンテナのレイヤのベースビデオストリームに関連した情報の配置位置に特定の情報を挿入する。第1の画像データを含むベースビデオストリームとこの第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含む所定フォーマットのコンテナを送信する際に、このコンテナのレイヤの所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に特定の情報を挿入する。
【特許請求の範囲】
【請求項1】
第1の画像データと該第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤの上記ベースビデオストリームに関連した情報の配置位置に特定の情報を挿入する情報挿入部とを備える
画像データ送信装置。
【請求項2】
上記特定の情報は、上記第1の画像データおよび上記所定数の第2の画像データの情報を持つデスクリプタである
請求項1に記載の画像データ送信装置。
【請求項3】
上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、
上記デスクリプタを、プログラム・マップ・テーブルの配下の上記ベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に挿入する
請求項2に記載の画像データ送信装置。
【請求項4】
上記第1の画像データは、立体画像表示のためのベースビューの画像データであり、
上記第2の画像データは、上記立体画像表示のための上記ベースビュー以外のビューの画像データであり、
上記デスクリプタは、上記各ビューの情報を持つMVC・エクテンション・デスクリプタである
請求項2に記載の画像データ送信装置。
【請求項5】
上記第1の画像データは、スケーラブル符号化画像データを構成する最下位階層の画像データであり、
上記第2の画像データは、上記スケーラブル符号化画像データを構成する上記最下位階層以外の階層の画像データであり、
上記デスクリプタは、上記各階層の画像データの情報を持つSVC・エクステンション・デスクリプタである
請求項2に記載の画像データ送信装置。
【請求項6】
第1の画像データと該第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有する所定フォーマットのコンテナを送信する際に、上記コンテナのレイヤの上記ベースビデオストリームに関連した情報の配置位置に特定の情報を挿入する
画像データ送信方法。
【請求項7】
第1の画像データを含むベースビデオストリームと上記第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤの上記所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に特定の情報を挿入する情報挿入部とを備える
画像データ送信装置。
【請求項8】
上記特定の情報は、上記第1の画像データおよび上記所定数の第2の画像データの情報を持つデスクリプタである
請求項7に記載の画像データ送信装置。
【請求項9】
上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、
上記デスクリプタを、プログラム・マップ・テーブルの配下の上記所定数の拡張ビデオストリームにそれぞれ対応したビデオ・エレメンタリ・ループのデスクリプタ部分に挿入する
請求項8に記載の画像データ送信装置。
【請求項10】
上記第1の画像データは、立体画像表示のためのベースビューの画像データであり、
上記第2の画像データは、上記立体画像表示のための上記ベースビュー以外のビューの画像データであり、
上記特定の情報は、上記各ビューの情報を持つMVC・エクテンション・デスクリプタである
請求項8に記載の画像データ送信装置。
【請求項11】
上記第1の画像データは、スケーラブル符号化画像データを構成する最下位階層の画像データであり、
上記第2の画像データは、上記スケーラブル符号化画像データを構成する上記最下位階層以外の階層の画像データであり、
上記特定の情報は、上記各階層の画像データの情報を持つSVC・エクステンション・デスクリプタである
請求項8に記載の画像データ送信装置。
【請求項12】
第1の画像データを含むベースビデオストリームと上記第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含む所定フォーマットのコンテナを送信する際に、上記コンテナのレイヤの上記所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に特定の情報を挿入する
画像データ送信方法。
【請求項13】
所定フォーマットのコンテナを受信する受信部と、
上記コンテナのレイヤにおける特定の情報の存在および挿入位置に基づいて、上記コンテナが有するビデオストリームを処理して、互いに関連した所定数の画像データを取得する処理部とを備える
画像データ受信装置。
【請求項14】
上記処理部は、
上記コンテナのレイヤの、該コンテナに含まれるベースビデオストリームに関連した情報の配置位置に上記特定の情報の挿入があるとき、該ベースビデオストリームを処理して上記所定数の画像データを取得する
請求項13に記載の画像データ受信装置。
【請求項15】
上記処理部は、
上記コンテナのレイヤの該コンテナに含まれる拡張ビデオストリームに関連した情報の配置位置に上記特定の情報の挿入があるとき、該拡張ビデオストリームおよび上記コンテナに含まれるベースビデオストリームを処理して上記所定数の画像データを取得する
請求項13に記載の画像データ受信装置。
【請求項16】
上記所定数の画像データは、立体画像表示のための画像データ、またはスケーラブル符号化データ画像データを構成する
請求項13に記載の画像データ受信装置。
【請求項17】
所定フォーマットのコンテナを受信するステップと、
上記コンテナのレイヤにおける特定の情報の存在および挿入位置に基づいて、上記コンテナが有するビデオストリームを処理して、互いに関連した所定数の画像データを取得するステップとを備える
画像データ受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法に関し、特に、立体画像表示のための画像データ、スケーラブル符号化画像データ等を送信する画像データ送信装置等に関する。
【背景技術】
【0002】
従来、動画像の符号化方式として、H.264/AVC(Advanced Video Coding)が知られている(非特許文献1参照)。また、このH.264/AVCの拡張方式として、H.264/MVC(Multi-view Video Coding)が知られている(非特許文献2参照)。
【0003】
MVCでは、マルチビューの画像データをまとめて符号化する仕組みが採用されている。MVCでは、マルチビュー画像データを、1個のベースビュー(base view)の画像データと、1個以上のノンベースビュー (non-baseview)の画像データとして符号化する。
【0004】
なお、このH.264/AVCの拡張方式として、H.264/SVC(Scalable Video Coding)も知られている(非特許文献3参照)。SVCは、画像を階層的に符号化する技術である。SVCでは、動画像を最低限の品質で復号化するのに必要な画像データを有する基本階層(最下位階層)と、この基本階層に付加することによって動画像の品質を高める画像データを有する拡張階層(上位階層)に分けられている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】「Draft Errata List withRevision-Marked Corrections for H.264/AVC」, JVT-1050,Thomas Wiegand et al., Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG,2003
【非特許文献2】Joint Draft 4.0 on MultiviewVideo Coding, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,JVT-X209, July2007
【非特許文献3】Heiko Schwarz, Detlev Marpe, andThomas Wiegand,“Overview of the Scalable Video CodingExtension of the H.264/AVC Standard ”, IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17, NO.9,SEPTEMBER 2007, pp.1103-1120.
【発明の概要】
【発明が解決しようとする課題】
【0006】
MVCの場合、ベースビューの画像データが1つのピクチャとして符号化されて得られたベースビデオストリームと、ノンベースビューの画像データがそれぞれ1つのピクチャとして得られた所定数の拡張ビデオストリームを、トランスポートストリームで送信することが知られている。また、このMVCの場合、ベースビューの画像データと所定数のノンベースビューの画像データを1つのストリームとして符号化して得られたベースビデオストリームを、コンテナとしてのトランスポートストリームで送信することも知られている。
【0007】
トランスポートストリームの中にビデオストリームが複数ある場合、つまりサブストリーム構成が複数のストリームで構成される場合は、それぞれが同期処理される必要がある。また、この場合、ビットレートはそれぞれのビデオストリームで変化具合が独立していて異なるが、トランスポートストリーム全体では、コンスタントビットレートあるいはバリアブルビットレートなど、システム要求に従って、レート制御を行うことが要求される。また、この場合、ランダムアクセス時に複数のストリームの頭出し(主にはIピクチャ)がスムーズに行われる必要があるため、複数のビデオストリームを多重化することは高度な技術が必要とされる。
【0008】
一方、トランスポートストリームに1つのビデオストリームのみが存在する場合、つまり複数のサブストリームが1つのビデオストリームで構成される場合は、各ビューの画像データの符号化データは、例えばアクセスユニット(access unit)ごとに連結され、その固まりごとにデコード、表示が行われるようにすることが可能になる。そのため、同期処理、ランダムアクセスへの配慮が単純になる。
【0009】
また、複数のピクチャ(picture)の固まりを一つの大きなピクチャ(picture)として、レートコントロール(rate control)を行うというような単純な多重化が可能となり、全体としてエンコードから多重化に至る制御が容易になるという利点がある。そのため、特に、送信側では、トランスポートストリームに1つのビデオストリームのみが存在する場合の方が扱いやすいと判断される場合がある。
【0010】
本技術の目的は、サブストリーム構成が単一のビデオストリームを構成する場合とサブストリーム構成が複数のストリームで構成される場合とを、受信側においてデコード前に確実かつ容易に識別可能とし、受信側の処理の便宜を図ることにある。
【課題を解決するための手段】
【0011】
本技術の概念は、
第1の画像データと該第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤの上記ベースビデオストリームに関連した情報の配置位置に特定の情報を挿入する情報挿入部とを備える
画像データ送信装置にある。
【0012】
本技術において、送信部により、第1の画像データとこの第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有する所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。情報挿入部により、コンテナのレイヤのベースビデオストリームに関連した情報の配置位置に特定の情報が挿入される。
【0013】
なお、本技術において、例えば、特定の情報は、第1の画像データおよび所定数の第2の画像データの情報を持つデスクリプタであってもよい。また、本技術において、例えば、コンテナは、トランスポートストリームであり、情報挿入部は、デスクリプタを、プログラム・マップ・テーブルの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に挿入する、ようにされてもよい。
【0014】
また、本技術において、例えば、第1の画像データは、立体画像表示のためのベースビューの画像データであり、第2の画像データは、立体画像表示のためのベースビュー以外のビューの画像データであり、デスクリプタは、各ビューの情報を持つMVC・エクテンション・デスクリプタであってもよい。
【0015】
また、本技術において、例えば、第1の画像データは、スケーラブル符号化画像データを構成する最下位階層の画像データであり、第2の画像データは、スケーラブル符号化画像データを構成する最下位階層以外の階層の画像データであり、デスクリプタは、各階層の画像データの情報を持つSVC・エクステンション・デスクリプタであってもよい。
【0016】
このように本技術においては、第1の画像データとこの第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有する所定フォーマットのコンテナを送信する際に、このコンテナのレイヤのベースビデオストリームに関連した情報の配置位置に特定の情報を挿入するものである。
【0017】
そのため、受信側においては、このコンテナが第1の画像データとこの第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有していることを確実かつ容易に識別可能となる。そして、受信側においては、デコード時のバッファメモリの構成やデコードそして表示モードを、デコード前に的確に決定することが可能となる。
【0018】
また、本技術の他の概念は、
第1の画像データを含むベースビデオストリームと上記第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤの上記所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に特定の情報を挿入する情報挿入部とを備える
画像データ送信装置にある。
【0019】
本技術において、第1の画像データを含むベースビデオストリームと第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。情報挿入部により、コンテナのレイヤのベースビデオストリームに関連した情報の配置位置に特定の情報が挿入される。
【0020】
本技術において、例えば、特定の情報は、第1の画像データおよび所定数の第2の画像データの情報を持つデスクリプタであってもよい。また、本技術において、例えば、コンテナは、トランスポートストリームであり、情報挿入部は、デスクリプタを、プログラム・マップ・テーブルの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に挿入する、ようにされてもよい。
【0021】
なお、本技術において、例えば、第1の画像データは、立体画像表示のためのベースビューの画像データであり、第2の画像データは、立体画像表示のためのベースビュー以外のビューの画像データであり、デスクリプタは、各ビューの情報を持つMVC・エクテンション・デスクリプタであってもよい。
【0022】
また、本技術において、例えば、第1の画像データは、スケーラブル符号化画像データを構成する最下位階層の画像データであり、第2の画像データは、スケーラブル符号化画像データを構成する最下位階層以外の階層の画像データであり、デスクリプタは、各階層の画像データの情報を持つSVC・エクステンション・デスクリプタであってもよい。
【0023】
このように本技術においては、第1の画像データを含むベースビデオストリームとこの第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含む所定フォーマットのコンテナを送信する際に、このコンテナのレイヤの所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に特定の情報を挿入するものである。
【0024】
そのため、受信側においては、このコンテナが第1の画像データを含むベースビデオストリームとこの第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含むベースビデオストリームを有していることを確実かつ容易に識別可能となる。そして、受信側においては、デコード時のバッファメモリの構成やデコードそして表示モードを、デコード前に的確に決定することが可能となる。
【0025】
また、本技術の他の概念は、
所定フォーマットのコンテナを受信する受信部と、
上記コンテナのレイヤにおける特定の情報の存在および挿入位置に基づいて、上記コンテナが有するビデオストリームを処理して、互いに関連した所定数の画像データを取得する処理部とを備える
画像データ受信装置にある。
【0026】
本技術において、受信部により、所定フォーマットのコンテナが受信される。そして、処理部により、コンテナのレイヤにおける特定の情報の存在および挿入位置に基づいて、このコンテナが有するビデオストリームが処理されて、互いに関連した所定数の画像データが取得される。例えば、所定数の画像データは、立体画像表示のための画像データ、またはスケーラブル符号化データ画像データを構成するものであってもよい。
【0027】
なお、本技術において、例えば、処理部は、コンテナのレイヤのこのコンテナに含まれるベースビデオストリームに関連した情報の配置位置に特定の情報の挿入があるとき、このベースビデオストリームを処理して所定数の画像データを取得する、ようにされてもよい。また、本技術において、例えば、処理部は、コンテナのレイヤのこのコンテナに含まれる拡張ビデオストリームに関連した情報の配置位置に特定の情報の挿入があるとき、この拡張ビデオストリームおよびこのコンテナに含まれるベースビデオストリームを処理して所定数の画像データを取得する、ようにされてもよい。
【0028】
このように本技術においては、コンテナのレイヤにおける特定の情報の存在および挿入位置に基づいて、このコンテナが有するビデオストリームを処理して、互いに関連した所定数の画像データを取得するものである。この場合、デコード時のバッファメモリの構成やデコードそして表示モードを、デコード前に的確に決定でき、画像データの取得を良好に行うことができる。
【発明の効果】
【0029】
本技術によれば、サブストリーム構成が単一のビデオストリームを構成する場合とサブストリーム構成が複数のストリームで構成される場合とを、受信側においてデコード前に確実かつ容易に識別可能となる。
【図面の簡単な説明】
【0030】
図1】この発明の実施の形態としての画像送受信システムの構成例を示すブロック図である。
図2】MVC・エクステンション・デスクリプタの構造例(Syntax)を示す図である。
図3】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
図4】ベースビデオストリーム、拡張ビデオストリームに対応させてMVC・エクステンション・デスクリプタの挿入を行うことを模式的に示す図である。
図5】NALユニットヘッダ(NAL unit header MVC extension)の構成例(Syntax)を示す図である。
図6】2次元(2D)画像送信時におけるトランスポートストリームTSの構成例を示す図である。
図7】立体(3D)画像送信時におけるトランスポートストリームTSの構成例を示す図である。
図8】立体(3D)画像送信時におけるトランスポートストリームTSの構成例を示す図である。
図9】画像送受信システムを構成する受信機の構成例を示すブロック図である。
図10】MVC・エクステンション・デスクリプタの存在および挿入位置に基づく、CPUの制御処理の一例を示すフローチャートである。
図11】各種信号の受信時における受信機の処理の流れを概略的に示す図である。
図12】SVC・エクステンション・デスクリプタの構造例(Syntax)を示す図である。
図13】NALユニットヘッダ(NAL unit header SVC extension)の構成例(Syntax)を示す図である。
図14】SVCストリームを取り扱う受信機の構成例を示すブロック図である。
【発明を実施するための形態】
【0031】
以下、本技術を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
【0032】
<1.実施の形態>
[画像送受信システム]
図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100および受信機200により構成されている。放送局100は、コンテナとしてのトランスポートストリームTSを放送波に載せて送信する。
【0033】
2次元(2D)画像送信時には、トランスポートストリームTSに、2次元画像データを含むビデオストリームが含まれる。この場合、ビデオストリームは、例えば、AVC(2D)のビデオエレメンタリストリームとして送信される。
【0034】
立体(3D)画像送信時には、トランスポートストリームTSに、立体画像表示のためのベースビューの画像データと、ベースビュー以外の所定数のビューの画像データとを含む1つのビデオストリームが含まれる場合がある。つまり、サブストリーム構成が単一のビデオストリームを構成する場合である。この場合、ベースビューおよび所定数のノンベースビューの画像データが1つのピクチャとして符号化されて得られたビデオストリームは、MVCのビデオエレメンタリストリーム(ベースビデオストリーム)として送信される。
【0035】
この場合、トランスポートストリームTSのレイヤの、上述のベースビデオストリームに関連した情報の配置位置に、特定の情報、例えば各ビューの画像データの情報を持つデスクリプタが挿入される。この実施の形態においては、プログラム・マップ・テーブルの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタ(MVC_extension_descriptor)が挿入される。
【0036】
MVC・エクステンション・デスクリプタを、このように挿入することにより、受信側では、立体(3D)画像送信時であって、サブストリーム構成が単一のビデオストリームを構成する場合であることが分かる。つまり、受信側では、トランスポートストリームTSが、立体画像表示のためのベースビューの画像データと、ベースビュー以外の所定数のビューの画像データとを含むベースビデオストリームを有していることが分かる。
【0037】
また、立体(3D)画像送信時には、トランスポートストリームTSに、立体画像表示のためのベースビューの画像データを含むベースビデオストリームと、ベースビュー以外の所定数のビューの画像データのそれぞれを含む所定数の拡張ビデオストリームとが含まれる場合がある。つまり、サブストリーム構成が複数のストリームで構成される場合である。
【0038】
この場合、ベースビューの画像データが1つのピクチャとして符号化されて得られたビデオストリームは、MVCのベースビューのビデオエレメンタリストリーム(ベースビデオストリーム)として送信される。また、所定数のノンベースビューの画像データがそれぞれ1つのピクチャとして符号化されて得られた所定数のビデオストリームは、MVCのノンベースビューのビデオエレメンタリストリーム(拡張ビデオストリーム)として送信される。
【0039】
この場合、トランスポートストリームTSのレイヤの、上述の所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に、特定の情報、例えば各ビューの画像データの情報を持つデスクリプタが挿入される。この実施の形態においては、プログラム・マップ・テーブルの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタ(MVC_extension_descriptor)が挿入される。
【0040】
MVC・エクステンション・デスクリプタを、このように挿入することにより、受信側では、立体(3D)画像送信時であって、サブストリーム構成が複数のストリームで構成される場合であることが分かる。つまり、受信側では、トランスポートストリームTSが、立体画像表示のためのベースビューの画像データを含むベースビデオストリームと、ベースビュー以外の所定数のビューの画像データのそれぞれを含む所定数の拡張ビデオストリームとを有していることが分かる。
【0041】
全体の詳細説明は省略するが、図2は、このMVC・エクステンション・デスクリプタの構造例(Syntax)を示している。「view order index_start」は最初のビューの番号を示し「view order index_end」は最後のビューの番号を示し、これらの情報により全体のビュー数が分かる。また、「view_id」は、このデスクリプタが対応するビュー(ノンベースビュー)が何番目のビューかを示す。この「view_id」は、後述する「NAL unit header」において記述される「view_id」と同様の内容を指定するものであり、予約ビットとして省略されてもよい。
【0042】
受信機200は、放送局100から放送波に載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、2次元(2D)画像送信時には、2次元画像データを含むAVC(2D)のビデオエレメンタリストリームが含まれる。また、このトランスポートストリームTSには、立体(3D)画像送信時には、MVCのベースビデオストリームのみ、あるいはこれと共に所定数の拡張ビデオストリームが含まれる。
【0043】
受信機200は、トランスポートストリームTSのレイヤにおける特定情報の存在および挿入位置に基づいて、このトランスポートストリームTSが有するビデオストリームを処理する。すなわち、デコード時のバッファメモリの構成やデコードそして表示モードを決定する。受信機200は、2次元(2D)画像表示のための画像データ、あるいは立体(3D)画像表示のための所定数のビューの画像データを取得して、2次元(2D)画像あるいは、(3D)画像表示を行う。
【0044】
この実施の形態において、受信機200は、プログラム・マップ・テーブルの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループ(第1のESループ)のデスクリプタ部分に、MVC・エクステンション・デスクリプタが存在するか判断する。そして、受信機200は、第1のESループにデスクリプタが存在するとき、立体(3D)画像送信時であって、このビデオストリームが、立体画像表示のためのベースビューおよびその他の所定数のビューの画像データを含むものであると認識する。この場合、受信機200は、トランスポートストリームTSに含まれる該当するビデオストリームをデコードして、立体画像表示のための複数の画像データを取得して、3次元画像表示を行う。
【0045】
また、受信機200は、第1のESループにデスクリプタが存在しないとき、トランスポートストリームTSに、拡張ビデオストリームが含まれているか判断する。そして、受信機200は、拡張ビデオストリームが含まれているとき、プログラム・マップ・テーブルの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループ(第2のESループ)のデスクリプタ部分に、MVC・エクステンション・デスクリプタが存在するか判断する。
【0046】
そして、受信機200は、第2のESループにデスクリプタが存在するとき、立体(3D)画像送信時であって、この拡張ビデオストリームおよびベースビデオストリームが、立体画像表示のためのベースビューおよびその他の所定数のビューの画像データを含むものであると認識する。この場合、受信機200は、トランスポートストリームTSに含まれる複数のビデオストリームをデコードして、立体画像表示のための複数の画像データを取得して、3次元画像表示を行う。
【0047】
また、受信機200は、トランスポートストリームTSに拡張ビデオストリームが含まれていないとき、あるいは第2のESループにデスクリプタが存在しないとき、2次元(2D)画像送信時であると認識する。この場合、受信機200は、トランスポートストリームTSに含まれるビデオストリームをデコードして、2次元画像データを取得して、基本的な従来の2次元画像表示を行う。
【0048】
「送信データ生成部の構成例」
図3は、放送局100において、上述したトランスポートストリームを生成する送信データ生成部110の構成例を示している。この送信データ生成部110は、データ取り出し部(アーカイブ部)111と、ビデオエンコーダ112と、視差エンコーダ113と、オーディオエンコーダ114を有している。また、この送信データ生成部110は、グラフィクス発生部115と、グラフィクスエンコーダ116と、マルチプレクサ117を有している。
【0049】
データ取り出し部111には、データ記録媒体111aが、例えば、着脱自在に装着される。このデータ記録媒体111aには、送信すべき番組の画像データと共に、この画像データに対応した音声データが記録されている。例えば、画像データは、番組に応じて、立体(3D)画像表示のための画像データ、あるいは2次元(2D)画像表示のための画像データに切り替わる。また、例えば、画像データは、番組内においても、本編やコマーシャルなどの内容に応じて、立体画像表示のための画像データ、あるいは2次元画像表示のための画像データに切り替わる。立体画像を表示するための複数の画像データは、上述したように、ベースビューの画像データと、所定数のノンベースビューの画像データとからなっている。
【0050】
画像データが立体画像表示のための画像データである場合、データ記録媒体111aには、視差情報も記録されている場合がある。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差情報(視差ベクトル)、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差情報として扱うことが可能となる。視差情報は、例えば、ピクセル(画素)毎の視差情報、あるいはビュー(画像)を所定数に分割して得られた各分割領域の視差情報などである。
【0051】
例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像にそれぞれ重畳する同一の重畳情報(グラフィクス情報等)の位置を調整して視差を付与するために用いられる。また、例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像データに補間処理(ポスト処理)を施して所定数のビューの表示画像データを得るために用いられる。データ記録媒体111aは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部111は、データ記録媒体111aから、画像データ、音声データ、視差情報等を取り出して出力する。
【0052】
ビデオエンコーダ112は、データ取り出し部111から出力される画像データに対して、例えば、MPEG2video、MPEG4−AVC(MVC)、あるいはHEVCなどの符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ112は、後段に備えるストリームフォーマッタ(図示せず)により、ビデオエレメンタリストリームを生成する。
【0053】
すなわち、このビデオエンコーダ112は、画像データが2次元(2D)画像データであるとき、この2次元画像データを含むAVC(2D)のビデオエレメンタリストリームを生成する。また、このビデオエンコーダ112は、画像データが立体(3D)画像表示のための複数のビューの画像データであるとき、この複数のビューの画像データを含む1つまたは複数のビデオエレメンタリストリームを生成する。例えば、サブストリーム構成が単一のビデオストリームを構成する場合には、ベースビューおよび所定数のノンベースビューの画像データを1つのピクチャとして符号化して、MVCのビデオエレメンタリストリーム(ベースビデオストリーム)を生成する。
【0054】
また、例えば、サブストリーム構成が複数のストリームで構成される場合には、ベースビューの画像データを1つのビデオエレメンタリストリームとして符号化して、MVCのベースビューのビデオエレメンタリストリーム(ベースビデオストリーム)を生成する。また、この場合には、さらに、所定数のノンベースビューの画像データをそれぞれ独立したビデオエレメンタリストリームとして符号化して、所定数のMVCのノンベースビューのビデオエレメンタリストリーム(拡張ビデオストリーム)を生成する。
【0055】
オーディオエンコーダ114は、データ取り出し部111から出力される音声データに対して、MPEG2 Audio AAC等の符号化を施し、オーディオのエレメンタリストリームを生成する。
【0056】
視差エンコーダ113は、データ取り出し部111から出力される視差情報に対して所定の符号化を施し、視差情報のエレメンタリストリームを生成する。なお、視差情報が、上述したようにピクセル(画素)毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。この場合、視差エンコーダ113は、視差情報に対して、上述した画像データと同様の符号化方式で符号化を施し、視差情報エレメンタリストリームを生成できる。なお、この場合、データ取り出し部111から出力される視差情報の符号化をビデオエンコーダ112で行う構成も考えられ、その場合には、視差情報エンコーダ113は不要となる。
【0057】
グラフィクス発生部115は、画像に重畳するグラフィクス情報(サブタイトル情報も含む)のデータ(グラフィクスデータ)を発生する。グラフィクスエンコーダ116は、グラフィクス発生部115で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。
【0058】
グラフィクス情報は、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すオフセット情報が付加されている。このオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるDVBで「DVB_Subtitling」として規格化され、運用されている。
【0059】
マルチプレクサ117は、ビデオエンコーダ112、視差エンコーダ113、オーディオエンコーダ114およびグラフィクスエンコーダ116で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームTSを生成する。このトランスポートストリームTSは、2次元(2D)画像送信時は、2次元画像データを含むAVC(2D)のビデオエレメンタリストリームを含むものとなる。また、このトランスポートストリームTSは、立体(3D)画像送信時は、MVCのベースサブストリーム、そして、これと共に所定数の拡張サブストリームを含むものとなる。
【0060】
マルチプレクサ117は、立体(3D)画像送信時に、トランスポートストリームTSのレイヤの特定位置に、特定の情報を挿入する。ここで、特定位置は、サブストリーム構成が単一のストリームを構成するか複数のストリームで構成されるかにより変更される。
【0061】
サブストリーム構成が単一のビデオストリームを構成する場合、トランスポートストリームTSのレイヤの、上述のベースビデオストリームに関連した情報の配置位置に、特定の情報、例えば各ビューの画像データの情報を持つデスクリプタを挿入する。この実施の形態において、マルチプレクサ117は、プログラム・マップ・テーブルの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタ(図2参照)を挿入する。
【0062】
図4(a)は、このようにベースビデオストリームに対応させてMVC・エクステンション・デスクリプタ(MVC_extension_descriptor)の挿入を行うことを、模式的に示している。この例において、ストリームタイプ(Stream type)が「0×1B」のベースビデオストリームには、ベースビューの画像データの符号化データと1つのノンベースビューの画像データの符号化データが含まれている。ベースビューの画像データの符号化データは、“SPS 〜 Coded Slice”で構成され、ノンベースビューの画像データの符号化データは、“Subset SPS 〜 Coded Slice”で構成されている。
【0063】
また、サブストリーム構成が複数のストリームで構成される場合、トランスポートストリームTSのレイヤの、上述の所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に、特定の情報、例えば各ビューの画像データの情報を持つデスクリプタを挿入する。この実施の形態においては、プログラム・マップ・テーブルの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタ(図2参照)を挿入する。
【0064】
図4(b)は、このように拡張ビデオストリームに対応させてMVC・エクステンション・デスクリプタ(MVC_extension_descriptor)の挿入を行うことを、模式的に示している。この例において、ストリームタイプ(Stream type)が「0×1B」のベースビデオストリームには、ベースビューの画像データの符号化データのみが含まれている。このベースビューの画像データの符号化データは、“SPS 〜 Coded Slice”で構成されている。また、この例において、ストリームタイプ(Stream type)が「0×20」の拡張ビデオストリームには、ノンベースビューの画像データの符号化データのみが含まれている。このノンベースビューの画像データの符号化データは、“Subset SPS 〜 Coded Slice”で構成されている。
【0065】
図5は、NALユニットヘッダ(NAL unit header MVC extension)の構成例(Syntax)を示している。「view_id」のフィールドは、該当するビューが何番目のビューかを示す。つまり、受信側では、デコード時に、この「view_id」のフィールド情報に基づいて、それぞれの符号化データが、どのビューの画像データのパケットであるかが認識可能となっている。
【0066】
図3に示す送信データ生成部110の動作を簡単に説明する。データ取り出し部111から出力される画像データ(2次元画像表示のための1つの画像データ、あるいは立体画像表示のための複数のビューの画像データ)は、ビデオエンコーダ112に供給される。このビデオエンコーダ112では、その画像データに対して、例えばMPEG2video、MPEG4−AVC(MVC)、あるいはHEVCなどのエンコード処理が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成され、マルチプレクサ117に供給される。
【0067】
すなわち、ビデオエンコーダ112では、2次元画像表示のための画像データであるとき、例えば、この画像データを含むAVC(2D)のビデオエレメンタリストリームが生成される。また、このビデオエンコーダ112では、立体画像表示のための複数のビューの画像データであるとき、この複数のビューの画像データを含む1つまたは複数のビデオエレメンタリストリームが生成される。
【0068】
例えば、サブストリーム構成が単一のビデオストリームを構成する場合には、ベースビューおよび所定数のノンベースビューの画像データを含むMVCのビデオエレメンタリストリーム(ベースビデオストリーム)が生成される。また、例えば、サブストリーム構成が複数のストリームで構成される場合には、ベースビューの画像データを含むMVCのベースビューのビデオエレメンタリストリーム(ベースビデオストリーム)が生成される。そして、この場合には、さらに、所定数のノンベースビューの画像データをそれぞれ含むMVCのノンベースビューのビデオエレメンタリストリーム(拡張ビデオストリーム)が生成される。
【0069】
また、データ取り出し部111から立体画像表示のための複数のビューの画像データが出力されるとき、このデータ取り出し部111から各ビューの画像データに対応した視差情報も出力される。この視差情報は、視差エンコーダ113に供給される。視差エンコーダ113では、視差情報に対して所定のエンコード処理が施され、符号化データを含む視差エレメンタリストリームが生成される。この視差エレメンタリストリームはマルチプレクサ117に供給される。
【0070】
また、データ取り出し部111から画像データが出力されるとき、このデータ取り出し部111からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ114に供給される。このオーディオエンコーダ114では、音声データに対して、MPEG2Audio AAC等のエンコード処理が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ117に供給される。
【0071】
また、データ取り出し部111から出力される画像データに対応してグラフィクス発生部115では、画像(ビュー)に重畳するグラフィクス情報(サブタイトル情報を含む)のデータ(グラフィクスデータ)が発生される。このグラフィクスデータは、グラフィクスエンコーダ116に供給される。グラフィクスエンコーダ116では、このグラフィクスデータに対して所定のエンコード処理が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ117に供給される。
【0072】
マルチプレクサ117では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームTSが生成される。このトランスポートストリームTSには、2次元(2D)画像送信時は、2次元画像データを含むAVC(2D)のビデオエレメンタリストリームが含まれる。また、このトランスポートストリームTSには、立体(3D)画像送信時は、MVCのベースサブストリーム、そして、これと共に所定数の拡張サブストリームが含まれる。
【0073】
また、マルチプレクサ117では、立体(3D)画像送信時に、サブストリーム構成が単一のビデオストリームを構成する場合には、プログラム・マップ・テーブルの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタ(図2参照)が挿入される。また、マルチプレクサ117では、立体(3D)画像送信時に、サブストリーム構成が複数のストリームで構成される場合には、プログラム・マップ・テーブルの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタ(図2参照)が挿入される。
【0074】
図6は、2次元(2D)画像送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、トランスポートストリームTSに、2次元(2D)画像表示のための画像データを含むビデオエレメンタリストリームのPESパケット「Video PES1」が含まれている。なお、この構成例では、図面の簡単化のために、その他のPESパケットに関しては、図示を省略している。
【0075】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームTSに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。
【0076】
PMTには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ(Program Descriptor)が存在する。また、このPMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、PESパケット「Video PES1」に対応したビデオ・エレメンタリ・ループが存在する。このビデオ・エレメンタリ・ループには、ビデオエレメンタリストリームのパケット識別子(PID)、ストリームタイプ(Stream_Type)等の情報が配置されると共に、図示していないが、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【0077】
図7は、立体(3D)画像送信時におけるトランスポートストリームTSの構成例を示している。この構成例は、サブストリーム構成が単一のビデオストリームを構成する場合(1-PID case)を示している。この構成例では、トランスポートストリームTSに、ベースビューおよび所定数のノンベースビューの画像データを含むMVCのビデオエレメンタリストリーム(ベースビデオストリーム)のPESパケット「Video PES1」が含まれている。なお、この構成例では、図面の簡単化のために、その他のPESパケットに関しては、図示を省略している。
【0078】
PMTには、PESパケット「Video PES1」に対応したビデオ・エレメンタリ・ループが存在する。このビデオ・エレメンタリ・ループには、ビデオエレメンタリストリームのパケット識別子(PID)、ストリームタイプ(Stream_Type)等の情報が配置される。そして、このビデオ・エレメンタリ・ループには、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタの一つとして、上述の図2に示すような、MVC・エクステンション・デスクリプタ(MVC_extension_descriptor)が挿入されている。
【0079】
図8は、立体(3D)画像送信時におけるトランスポートストリームTSの構成例を示している。この構成例は、サブストリーム構成が複数のストリームで構成される場合、ここでは2つのストリームで構成される場合(2-PID case)を示している。この構成例では、トランスポートストリームTSに、ベースビューの画像データを含むMVCのビデオエレメンタリストリーム(ベースサブストリーム)のPESパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームTSに、ノンベースビューの画像データを含むMVCのビデオエレメンタリストリーム(拡張サブストリーム)のPESパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、その他のPESパケットに関しては、図示を省略している。
【0080】
PMTには、PESパケット「Video PES1」に対応したビデオ・エレメンタリ・ループが存在する。このビデオ・エレメンタリ・ループには、ビデオエレメンタリストリームのパケット識別子(PID)、ストリームタイプ(Stream_Type)等の情報が配置されると共に、図示していないが、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【0081】
また、PMTには、PESパケット「Video PES2」に対応したビデオ・エレメンタリ・ループが存在する。このビデオ・エレメンタリ・ループには、ビデオエレメンタリストリームのパケット識別子(PID)、ストリームタイプ(Stream_Type)等の情報が配置される。そして、このビデオ・エレメンタリ・ループには、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタの一つとして、上述の図2に示すような、MVC・エクステンション・デスクリプタ(MVC_extension_descriptor)が挿入されている。
【0082】
「受信機の構成例」
図9は、受信機200の構成例を示している。この受信機200は、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモコン受信部205と、リモコン送信機206を有している。また、この受信機200は、コンテナバッファ213と、デマルチプレクサ214と、コーデッドバッファ215と、ビデオデコーダ216と、サブストリームビデオバッファ217-1,・・・,217-Nと、スケーラ218-1,・・・,218-Nと、3Dビュー表示処理部219を有している。
【0083】
また、受信機200は、コーデッドバッファ221と、視差デコーダ222と、視差バッファ223と、視差情報変換部224を有している。また、受信機200は、コーデッドバッファ225と、グラフィクスデコーダ226と、ピクセルバッファ227と、スケーラ228と、グラフィクスシフタ229を有している。さらに、受信機200は、コーデッドバッファ230と、オーディオデコーダ231と、チャネルミキシング部232を有している。
【0084】
CPU201は、受信機200の各部の動作を制御する。フラッシュROM202は、制御ソフトウェアの格納およびデータの保管を行う。DRAM203は、CPU201のワークエリアを構成する。CPU201は、フラッシュROM202から読み出したソフトウェアやデータをDRAM203上に展開してソフトウェアを起動させ、受信機200の各部を制御する。リモコン受信部205は、リモコン送信機206から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU201に供給する。CPU201は、このリモコンコードに基づいて、受信機200の各部を制御する。CPU201、フラッシュROM202およびDRAM203は内部バス204に接続されている。
【0085】
コンテナバッファ213は、デジタルチューナ等で受信されたトランスポートストリームTSを一時的に記憶する。2次元(2D)画像送信時、このトランスポートストリームTSは、例えば、AVC(2D)のビデオエレメンタリストリームを有している。このストリームには、2次元画像表示のための画像データが含まれている。
【0086】
また、立体(3D)画像送信時、このトランスポートストリームTSは、MVCのベースサブストリーム、そして、これと共に所定数の拡張サブストリームを有している。サブストリーム構成が単一のビデオストリームを構成する場合、MVCの1つのビデオストリームに、ベースビューの画像データおよび所定数のノンベースビューの画像データが含まれている。また、サブストリーム構成が複数のストリームで構成される場合、このMVCのベースサブストリームにベースビューの画像データが、そして、所定数の拡張サブストリームにそれぞれノンベースビューの画像データが含まれている。
【0087】
また、このトランスポートストリームTSのレイヤには、立体(3D)画像送信時、ベースビデオストリームあるいは拡張ビデオストリームに関連した情報の配置位置に、特定の情報が挿入されている。この実施の形態において、サブストリーム構成が単一のビデオストリームを構成する場合、PMTの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタが挿入されている。また、サブストリーム構成が複数のストリームで構成される場合、PMTの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタが挿入されている。
【0088】
デマルチプレクサ214は、コンテナバッファ213に一時的に蓄積されたトランスポートストリームTSから、ビデオ、視差およびオーディオの各ストリームを抽出する。また、デマルチプレクサ214は、立体(3D)画像送信時には、このトランスポートストリームTSから、上述のMVC・エクステンション・デスクリプタを抽出し、CPU201に送る。
【0089】
CPU201は、このMVC・エクステンション・デスクリプタの存在の有無により、立体(3D)画像送信時であるか2次元(2D)画像送信時であるかが分かる。また、CPU201は、MVC・エクステンション・デスクリプタがMVCのベースビデオストリームに対応したビデオ・エレメンタリ・ループに挿入されていたとき、サブストリーム構成が単一のビデオストリームを構成すると判断できる。また、CPU201は、MVC・エクステンション・デスクリプタがMVCの拡張ビデオストリームに対応したビデオ・エレメンタリ・ループに挿入されていたとき、サブストリーム構成が複数のストリームで構成されていると判断できる。
【0090】
CPU201は、上述のMVC・エクステンション・デスクリプタの存在および挿入位置に基づいて、コーデッドバッファ215の管理、さらにはビデオデコーダ216の動作などを、受信された画像データに対応した状態となるように制御する。
【0091】
コーデッドバッファ215は、デマルチプレクサ214で抽出される1つまたは複数のビデオストリームを一時的に記憶する。コーデッドバッファ215は、2次元(2D)画像送信時と立体(3D)画像送信時とでバッファの管理構成方法が異なる。また、コーデッドバッファ215は、立体(3D)画像送信時にあっても、サブストリーム構成が単一のストリームを構成している場合と、サブストリーム構成が複数のストリームで構成されている場合とで、バッファの管理構成方法が異なる。
【0092】
すなわち、符号化データ(substream)が単一のPID値を持つ1つのエレメンタリストリームでデマルチプレクサ214から供給される場合、書き込み/読み出しのアドレス管理が、全体で1つとして行われる。これに対して、符号化データ(substream)が別のPID値を持つ複数のエレメンタリストリームでデマルチプレクサ214から供給される場合、各PIDを与えられた符号化データ(substream)毎に、書き込込み/読み出しのアドレス管理が独立して行われる。
【0093】
ビデオデコーダ216は、コーデッドバッファ215に記憶されているビデオエレメンタリストリームにデコード処理を行って画像データを取得する。この場合、2次元(2D)画像送信時には、AVC(2D)のビデオエレメンタリストリームに対して、1つのデコーダでデコード処理を行って、2次元(2D)画像表示のための画像データを取得する。
【0094】
また、立体(3D)画像送信時にあって、サブストリーム構成が単一のビデオストリームを構成する場合には、以下のようにデコード処理を行う。すなわち、複数ビューの画像データの符号化データが含まれるMVCの1つのビデオストリームに対して、「NAL unit header」の「view_id」によって、バッファ215からデコーダ216への処理対象のパケットの切換えを行った後、それぞれのデコード処理をデコーダ216は行う。これにより、立体(3D)画像表示のための複数のビューの画像データを取得する。
【0095】
また、立体(3D)画像送信時にあって、サブストリーム構成が複数のストリームで構成されている場合には、以下のようにデコード処理を行う。すなわち、デマルチプレクサ214から受け取るNAL パケットの「NAL unit header」にある「view_id」によってバッファ215への蓄積データの切換えを行う。その後、バッファ215からの圧縮データの読み出し、そしてデコーダ216へ至る処理は、単一ビュー(view)のデコードと同様に行われる。ベースビューの画像データの符号化データが含まれるMVCのベースサブストリームおよびノンベースビューの画像データの符号化データが含まれる所定数のMVCの拡張サブストリームに対して、それぞれ対応したデコーダでデコード処理を行う。これにより、立体(3D)画像表示のための複数のビューの画像データを取得する。
【0096】
サブストリームビデオバッファ217-1,・・・,217-Nは、それぞれ、ビデオデコーダ216で取得された2次元(2D)画像表示のための画像データ、あるいは、立体(3D)画像表示のための複数のビューの画像データを一時的に記憶する。ここで、3Dの場合は、Nの最小値は2である。スケーラ218-1,・・・,218-Nは、それぞれ、サブストリームビデオバッファ217-1,・・・,217-Nから出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。
【0097】
コーデッドバッファ221は、デマルチプレクサ214で抽出される視差ストリームを一時的に蓄積する。視差デコーダ222は、上述の送信データ生成部110の視差エンコーダ113(図3参照)とは逆の処理を行う。すなわち、視差デコーダ222は、コーデッドバッファ221に記憶されている視差ストリームのデコード処理を行って、各ビューの画像データに対応した視差情報を得る。視差バッファ223は、視差デコーダ222で取得された視差情報を一時的に蓄積する。
【0098】
視差情報変換部224は、視差バッファ223に蓄積されている視差情報に基づいて、スケーリング後の画像データのサイズに合った画素単位の視差情報を生成する。例えば、送信されてくる視差情報がブロック単位である場合には、画素単位の視差情報に変換する。また、例えば、送信されてくる視差情報が画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。あるいは、受信機におけるグラフィックスなどの重畳に際して、重畳位置にあたるブロックの視差情報が適用される。
【0099】
コーデッドバッファ225は、デマルチプレクサ214で抽出されるグラフィクスストリームを一時的に蓄積する。グラフィクスデコーダ226は、上述の送信データ生成部110のグラフィクスエンコーダ116(図3参照)とは逆の処理を行う。すなわち、グラフィクスデコーダ226は、コーデッドバッファ225に記憶されているグラフィクスストリームのデコード処理を行って、グラフィクスデータ(サブタイトルデータを含む)を得る。また、グラフィクスデコーダ226は、このグラフィクスデータに基づいて、ビュー(画像)に重畳するグラフィクスのビットマップデータを発生する。
【0100】
ピクセルバッファ227は、グラフィクスデコーダ226で発生されるグラフィクスのビットマップデータを一時的に蓄積する。スケーラ228は、ピクセルバッファ227に蓄積されているグラフィクスのビットマップデータのサイズを、スケーリング後の画像データのサイズに対応するように調整する。
【0101】
グラフィクスシフタ229は、サイズ調整後のグラフィクスのビットマップデータに対して、視差情報変換部224で得られる視差情報に基づいてシフト処理を施す。そして、グラフィクスシフタ229は、3Dビュー表示処理部219から出力される各ビューの画像データにそれぞれ重畳するグラフィクスのビットマップデータを生成する。
【0102】
3Dビュー表示処理部219は、2次元(2D)画像送信時であって、2次元(2D)画像表示を行う場合には、例えば、スケーラ218-1を通して入力されるスケーリング後の2次元(2D)画像表示のための画像データに対して、グラフィクスシフタ229から出力されるグラフィクスのビットマップデータを重畳して、ディスプレイに出力する。
【0103】
また、3Dビュー表示処理部219は、立体(3D)画像送信時であって、ステレオ立体画像表示を行う場合には、例えば、スケーラ218-1,218-2を通して入力されるスケーリング後の左眼画像データ、右眼画像データに、それぞれ、グラフィクスシフタ229から出力されるシフト処理されたグラフィクスのビットマップデータを重畳して、ディスプレイに出力する。
【0104】
また、3Dビュー表示処理部219は、立体(3D)画像送信時であって、マルチビュー立体画像表示を行う場合には、例えば、スケーラ218-1〜218-Nを通して入力されるスケーリング後の各ビューの画像データから、視差データ変換部224で得られた各ビュー間の視差データに基づいて、各ビュー間の所定数のビューの画像データを補間合成する。そして、この場合には、さらに、補間合成後の各ビューの画像データに、それぞれ、グラフィクスシフタ229から出力されるシフト処理されたグラフィクスのビットマップデータを重畳して、ディスプレイに出力する。
【0105】
コーデッドバッファ230は、デマルチプレクサ214で抽出されるオーディオストリームを一時的に蓄積する。オーディオデコーダ231は、上述の送信データ生成部110のオーディオエンコーダ114(図3参照)とは逆の処理を行う。すなわち、オーディオデコーダ231は、コーデッドバッファ230に記憶されているオーディオスストリームのデコード処理を行って、音声データを得る。チャネルミキシング部232は、オーディオデコーダ231で得られる音声データに対して、例えば5.1チャネルサラウンド等を実現するための各チャネルの音声データを生成して出力する。
【0106】
図9に示す受信機200の動作を簡単に説明する。デジタルチューナ等で受信されたトランスポートストリームTSは、コンテナバッファ213に一時的に記憶される。このトランスポートストリームTSには、2次元(2D)画像送信時にあっては、例えば、AVC(2D)のビデオエレメンタリストリームが含まれている。また、このトランスポートストリームTSには、立体(3D)画像送信時にあっては、例えば、MVCのベースビデオストリームのみ、あるいはこれと共に所定数の拡張ビデオストリームが含まれている。
【0107】
デマルチプレクサ214では、コンテナバッファ213に一時的に記憶されたトランスポートストリームTSから、ビデオ、視差およびオーディオの各ストリームが抽出される。また、デマルチプレクサ214では、立体(3D)画像送信時に、このトランスポートストリームTSから、MVC・エクステンション・デスクリプタが抽出され、CPU201に送ることが行われる。
【0108】
CPU201では、このMVC・エクステンション・デスクリプタの存在および挿入位置に基づいて、コーデッドバッファ215の管理、さらにはビデオデコーダ216の動作などを、2次元(2D)画像送信時、あるいは立体(3D)画像送信時にそれぞれ対応した状態となるように制御することが行われる。
【0109】
デマルチプレクサ214で抽出される1つまたは複数のビデオエレメンタリストリームは、コーデッドバッファ215に供給され、一時的に記憶される。ビデオデコーダ216では、コーデッドバッファ215に記憶されているビデオエレメンタリストリームにデコード処理を行って画像データを取得することが行われる。
【0110】
この場合、ビデオデコーダ216では、2次元(2D)画像送信時には、AVC(2D)のビデオエレメンタリストリームに対して、1つのデコーダでデコード処理が行われて、2次元(2D)画像表示のための画像データが取得される。
【0111】
また、この場合、立体(3D)画像送信時にあって、サブストリーム構成が単一のビデオストリームを構成している場合には、以下のようにデコード処理が行われて、立体(3D)画像表示のための複数のビューの画像データが取得される。すなわち、複数ビューの画像データの符号化データが含まれるMVCのベースビデオストリームに対して、「NAL unit header」の「view_id」によって、バッファ215からデコーダ216への処理対象のパケットの切換えを行った後、それぞれのデコード処理をデコーダ216は行う。
【0112】
また、この場合、立体(3D)画像送信時にあって、サブストリーム構成が複数のストリームで構成されている場合には、以下のようにデコード処理が行われて、立体(3D)画像表示のための複数のビューの画像データが取得される。すなわち、デマルチプレクサ214から受け取るNAL パケットの「NAL unit header」にある「view_id」によってバッファ215への蓄積データの切換えを行う。その後、バッファ215からの圧縮データの読み出し、そしてデコーダ216へ至る処理は、単一ビュー(view)のデコードと同様に行われる。ベースビューの画像データの符号化データが含まれるMVCのベースサブストリームおよびノンベースビューの画像データの符号化データが含まれる所定数のMVCの拡張サブストリームに対して、それぞれ対応したデコーダでデコード処理が行われる。
【0113】
ビデオデコーダ216で取得された2次元(2D)画像表示のための画像データ、あるいは、立体(3D)画像表示のための複数のビューの画像データは、サブストリームビデオバッファ217-1,・・・,217-Nに供給され、一時的に記憶される。そして、スケーラ218-1,・・・,218-Nで所定の解像度となるように調整された後に、3Dビュー表示処理部219に供給される。
【0114】
また、デマルチプレクサ214で抽出される視差データストリームは、コーデッドバッファ221に供給されて一時的に記憶される。視差デコーダ222では、視差データストリームのデコード処理が行われて、各ビューの画像データに対応した視差情報が得られる。この視差情報は、視差バッファ223に供給されて一時的に記憶される。
【0115】
視差情報変換部224では、視差バッファ223に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データが生成される。この場合、視差デコーダ222で得られた視差情報がブロック単位である場合には、画素単位の視差情報に変換される。あるいは、受信機におけるグラフィックスなどの重畳に際して、重畳位置にあたるブロックの視差情報が適用される。また、この場合、視差デコーダ222で得られた視差情報が画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。この視差情報は、3Dビュー表示処理部219およびグラフィクスシフタ229に供給される。
【0116】
また、デマルチプレクサ214で抽出されるグラフィクスストリームは、コーデッドバッファ225に供給されて一時的に蓄積される。グラフィクスデコーダ226では、コーデッドバッファ225に記憶されているグラフィクスストリームのデコード処理が行われて、グラフィクスデータ(サブタイトルデータを含む)が得られる。また、このグラフィクスデコーダ226では、このグラフィクスデータに基づいて、ビュー(画像)に重畳するグラフィクスのビットマップデータが発生される。
【0117】
このグラフィクスのビットマップデータは、ピクセルバッファ227に供給されて一時的に蓄積される。スケーラ228では、ピクセルバッファ227に蓄積されているグラフィクスのビットマップデータのサイズが、スケーリング後の画像データのサイズに対応するように調整される。
【0118】
グラフィクスシフタ229では、サイズ調整後のグラフィクスのビットマップデータに対して、視差情報変換部224で得られる視差情報に基づいてシフト処理が施される。そして、このグラフィクスシフタ229では、3Dビュー表示処理部219から出力される各ビューの画像データにそれぞれ重畳するグラフィクスのビットマップデータが生成される。このビットマップデータは、3Dビュー表示処理部219に供給される。
【0119】
3Dビュー表示部219では、2次元(2D)画像送信時であって、2D画像表示を行う場合には、以下の処理が行われる。すなわち、例えば、スケーラ218-1を通して入力されるスケーリング後の2次元(2D)画像表示のための画像データに対して、グラフィクスシフタ229から出力されるグラフィクスのビットマップデータが重畳されて、ディスプレイに出力される。
【0120】
また、3Dビュー表示処理部219では、立体(3D)画像送信時であって、ステレオ立体画像表示を行う場合には、以下の処理が行われる。すなわち、例えば、スケーラ218-1,218-2を通して入力されるスケーリング後の左眼画像データ、右眼画像データに、それぞれ、グラフィクスシフタ229から出力されるシフト処理されたグラフィクスのビットマップデータが重畳されて、ディスプレイに出力される。
【0121】
また、3Dビュー表示処理部219では、立体(3D)画像送信時であって、マルチビュー立体画像表示を行う場合には、以下の処理が行われる。すなわち、例えば、スケーラ218-1〜218-Nを通して入力されるスケーリング後の各ビューの画像データから、視差情報変換部224で得られた各ビュー間の視差データに基づいて、各ビュー間の所定数のビューの画像データが補間合成される。そして、この場合には、さらに、補間合成後の各ビューの画像データに、それぞれ、グラフィクスシフタ229から出力されるシフト処理されたグラフィクスのビットマップデータが重畳されて、ディスプレイに出力される。
【0122】
また、デマルチプレクサ214で抽出されるオーディオストリームは、コーデッドバッファ230に供給されて一時的に蓄積される。オーディオデコーダ231では、コーデッドバッファ230に記憶されているオーディオスストリームの復号化処理が行われて、復号化された音声データが得られ。この音声データはチャネルミキシング部232に供給される。チャネルミキシング部232では、音声データに対して、例えば5.1チャネルサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、画像表示に合わせた音声出力がなされる。
【0123】
上述したように、CPU201では、MVC・エクステンション・デスクリプタの存在および挿入位置に基づいて、コーデッドバッファ215の管理、さらにはビデオデコーダ216の動作などが、2次元(2D)画像送信時、あるいは立体(3D)画像送信時にそれぞれ対応した状態となるように制御することが行われる。
【0124】
図10のフローチャートは、CPU201の制御処理の一例を示している。CPU201は、例えば、チャネル切り替えなどのサービスが変更になるタイミングで、このフローチャートによる制御処理を実行する。
【0125】
CPU201は、ステップST1において、処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、CPU201は、PMTの配下のベースビデオストリーム(Stream_type=0×1B)に対応したビデオ・エレメンタリ・ループ(第1のESループ)のデスクリプタ部分に、MVC・エクステンション・デスクリプタが存在するか判断する。
【0126】
第1のESループにMVC・エクステンション・デスクリプタが存在するとき、CPU201は、ステップST3において、立体(3D)画像送信時であって、サブストリーム構成が単一のビデオストリームを構成する場合であると識別する。つまり、1つのエレメンタリストリーム(elementary stream)によるサービスと識別する。そして、CPU201は、全てのサブストリーム(Substream)の符号化データが共通のバッファ経由でデコード処理に進むように制御する。
【0127】
図11(b)は、この場合における受信機200における処理の流れの一例を概略的に示している。なお、この例は、ストリームタイプ(Stream type)が「0×1B」のベースビデオストリームに、ベースビューの画像データの符号化データと1つのノンベースビューの画像データの符号化データが含まれている場合の例である。また、この例は、各ビューの符号化データに対してそれぞれを別のデコーダでデコード処理を行うようにした場合の例である。実線aはベースビューの画像データの処理の流れを示し、破線bはノンベースビューの画像データの処理の流れを示している。なお、レンダリングは、スケーラや3Dビュー表示処理部219における処理を意味している。
【0128】
また、ステップST2で第1のESループにMVC・エクステンション・デスクリプタが存在しないとき、CPU201は、ステップST4において、拡張ビデオストリーム(Stream_type=0×20)が存在するか否かを判断する。拡張ビデオストリームが存在するとき、CPU201は、ステップST5において、PMTの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループ(第2のESループ)のデスクリプタ部分に、MVC・エクステンション・デスクリプタが存在するか判断する。
【0129】
第2のESループにMVC・エクステンション・デスクリプタが存在するとき、CPU201は、ステップST6において、立体(3D)画像送信時であって、サブストリーム構成が複数のストリームで構成される場合であると識別する。つまり、複数のエレメンタリストリーム(elementary stream)によるサービスと識別する。そして、CPU201は、サブストリーム(Substream)毎に符号化データのバッファ管理を行ってデコード処理に進むように制御する。
【0130】
図11(c)は、この場合における受信機200における処理の流れの一例を概略的に示している。なお、この例は、ストリームタイプ(Stream type)が「0×1B」のベースビューの画像データの符号化データを含むベースビデオストリームと、ストリームタイプ(Stream type)が「0×20」のノンベースビューの画像データの符号化データを含む拡張ビデオストリームの2つのビデオストリームが存在する場合の例である。実線aはベースビューの画像データの処理の流れを示し、破線bはノンベースビューの画像データの処理の流れを示している。なお、レンダリングは、スケーラや3Dビュー表示処理部219における処理を意味している。
【0131】
また、ステップST4で拡張ビデオストリームが存在しないとき、あるいはステップST5で第2のESループにMVC・エクステンション・デスクリプタが存在しないとき、CPU201は、ステップST7において、基本的な従来の処理を行うように制御する。図11(a)は、この場合における受信機200における処理の流れの一例を概略的に示している。なお、この例は、ストリームタイプ(Stream type)が「0×1B」の2次元(2D)画像データの符号化データを含むベースビデオストリームのみが存在する場合の例である。実線aは2次元画像データの処理の流れを示している。なお、レンダリングは、スケーラや3Dビュー表示処理部219における処理を意味している。
【0132】
以上説明したように、図1に示す画像送受信システム10においては、サブストリーム構成が単一のビデオストリームを構成する場合、PMTの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタが挿入される。また、サブストリーム構成が複数のストリームで構成される場合、PMTの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、MVC・エクステンション・デスクリプタが挿入される。
【0133】
そのため、サブストリーム構成が単一のビデオストリームを構成する場合とサブストリーム構成が複数のストリームで構成される場合とを、受信側においてデコード前に確実かつ容易に識別可能となる。したがって、受信側においては、デコード時のバッファメモリの構成やデコードそして表示モードを、デコード前に的確に決定でき、画像データの取得を良好に行うことができる。
【0134】
<2.変形例>
なお、上述実施の形態においては、本技術をMVCストリームに適用した例を示した。すなわち、第1の画像データが立体(3D)画像表示のためのベースビューの画像データであり、第2の画像データが立体(3D)画像表示のためのノンベースビューの画像データである例を示した。
【0135】
しかし、本技術は、SVCストリームにも同様に適用できる。SVCストリームには、スケーラブル符号化画像データを構成する最下位階層の画像データのビデオエレメンタリストリームが含まれる。さらに、このSVCストリームには、スケーラブル符号化画像データを構成する最下位階層以外の所定数の上位階層の画像データのビデオエレメンタリストリームが含まれる。
【0136】
このSVCストリームの場合、第1の画像データはスケーラブル符号化画像データを構成する最下位階層の画像データであり、第2の画像データはスケーラブル符号化画像データを構成する最下位階層以外の階層の画像データとなる。このSVCストリームの場合も、上述したMVCストリームと同様に、サブストリーム構成が単一のビデオストリームを構成する場合(図4(a)参照)と、サブストリーム構成が複数のストリームで構成される場合(図4(b)参照)とが考えられる。
【0137】
サブストリーム構成が単一のビデオストリームを構成する場合、最下位階層およびそれ以外の階層の画像データが1つのピクチャとして符号化されて得られたビデオストリームは、SVCのベースビデオストリームとして送信される。この場合、PMTの配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、SVC・エクステンション・デスクリプタが挿入される。
【0138】
SVC・エクステンション・デスクリプタを、このように挿入することにより、受信側では、SVCストリームの送信時であって、サブストリーム構成が単一のビデオストリームを構成する場合であることが分かる。つまり、受信側では、トランスポートストリームTSが、最下位階層およびそれ以外の階層の画像データが1つのピクチャとして符号化されて得られたベースビデオストリームを有していることが分かる。
【0139】
また、サブストリーム構成が複数のストリームで構成される場合、最下位階層の画像データが1つのピクチャとして符号化されて得られたエレメンタリビデオストリームは、SVCのベースビデオストリームとして送信される。また、最下位階層以外の各階層の画像データがそれぞれ1つのピクチャとして符号化されて得られたエレメンタリビデオストリームは拡張ビデオストリームとして送信される。この場合、PMTの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に、SVC・エクステンション・デスクリプタが挿入される。
【0140】
SVC・エクステンション・デスクリプタを、このように挿入することにより、受信側では、SVCストリームの送信時であって、サブストリーム構成が複数のストリームで構成される場合であることが分かる。つまり、受信側では、トランスポートストリームTSが、最下位階層の画像データを含むベースビデオストリームと、最下位階層以外の各階層の画像データをそれぞれ含む拡張ビデオストリームとを有していることが分かる。
【0141】
全体の詳細説明は省略するが、図12は、SVC・エクステンション・デスクリプタの構造例(Syntax)を示している。「view order index_start」は最下位階層の番号を示し「view order index_end」は最上位階層の番号を示し、これらの情報により全体の階層数が分かる。また、「dependency_id」は、このデスクリプタが対応する階層が何番目の階層かを示す。
【0142】
図13は、NALユニットヘッダ(NAL unit header SVC extension)の構成例(Syntax)を示している。「dependency_id」のフィールドは、該当する階層が何番目の階層かを示す。つまり、受信側では、デコード時に、この「dependency_id」のフィールド情報に基づいて、それぞれの符号化データが、どの階層の画像データであるかが認識可能となっている。
【0143】
図14は、上述のSVCストリームを取り扱う受信機200Aの構成例を示している。この図14において、上述の図9と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0144】
受信機200Aは、放送局100から放送波に載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、通常の画像送信時には、AVC(2D)のビデオエレメンタリストリームが含まれる。また、このトランスポートストリームTSには、SVCストリーム送信時には、SVCのベースビデオストリームのみ、あるいはこれと共に所定数の拡張ビデオストリームが含まれる。
【0145】
受信機200Aは、トランスポートストリームTSのレイヤにおける特定情報の存在および挿入位置に基づいて、このトランスポートストリームTSが有するビデオストリームを処理する。すなわち、デコード時のバッファメモリの構成やデコードそして表示モードを決定する。受信機200Aは、通常画像表示のための画像データ、あるいは最下位階層およびその上位階層の画像データを取得して、通常画像表示、あるいは高品質画像表示を行う。
【0146】
受信機200Aは、PMT配下のベースビデオストリームに対応したビデオ・エレメンタリ・ループ(第1のESループ)のデスクリプタ部分に、SVC・エクステンション・デスクリプタが存在するか判断する。そして、受信機200Aは、第1のESループにそのデスクリプタが存在するとき、SVCストリームの送信時であって、このベースビデオストリームが、最下位階層およびその上位階層の各階層の画像データを含むものであると認識する。この場合、受信機200Aは、トランスポートストリームTSに含まれるベースビデオストリームをデコードして、高品質画像表示を行うための各階層の画像データを取得して、高品質な画像表示を行う。
【0147】
また、受信機200Aは、第1のESループにSVC・エクステンション・デスクリプタ存在しないとき、トランスポートストリームTSに、拡張ビデオストリームが含まれているか判断する。そして、受信機200Aは、拡張ビデオストリームが含まれているとき、PMTの配下の拡張ビデオストリームに対応したビデオ・エレメンタリ・ループ(第2のESループ)のデスクリプタ部分に、SVC・エクステンション・デスクリプタが存在するか判断する。
【0148】
そして、受信機200Aは、第2のESループにそのデスクリプタが存在するとき、SVCストリームの送信時であって、この拡張ビデオストリームおよびベースビデオストリームが、最下位階層およびその上位階層の各階層の画像データを含むものであると認識する。この場合、受信機200Aは、トランスポートストリームTSに含まれる複数のビデオストリームをデコードして、高品質画像表示を行うための各階層の画像データを取得して、高品質な画像表示を行う。
【0149】
また、受信機200Aは、トランスポートストリームTSに拡張ビデオストリームが含まれていないとき、あるいは第2のESループにSVC・エクステンション・デスクリプタが存在しないとき、通常の画像送信時であると認識する。この場合、受信機200Aは、トランスポートストリームTSに含まれるビデオストリームをデコードして、通常画像データを取得して、通常画像表示を行う。
【0150】
デマルチプレクサ214では、SVCストリームの送信時に、トランスポートストリームTSから、SVC・エクステンション・デスクリプタが抽出され、CPU201に送ることが行われる。CPU201では、このSVC・エクステンション・デスクリプタの存在および挿入位置に基づいて、コーデッドバッファ215の管理、さらにはビデオデコーダ216の動作などを、通常画像送信時、あるいはSVCストリームの送信時にそれぞれ対応した状態となるように制御することが行われる。
【0151】
デマルチプレクサ214で抽出される1つまたは複数のビデオエレメンタリストリームは、コーデッドバッファ215に供給され、一時的に記憶される。ビデオデコーダ216では、コーデッドバッファ215に記憶されているビデオエレメンタリストリームにデコード処理を行って画像データを取得することが行われる。
【0152】
この場合、ビデオデコーダ216では、通常画像送信時には、AVCのビデオエレメンタリストリームに対して、1つのデコーダでデコード処理が行われて、通常画像表示のための画像データが取得される。
【0153】
また、この場合、SVCフレームの送信時にあって、サブストリーム構成が単一のビデオストリームを構成する場合には、以下のようにデコード処理が行われて、高品質画像表示のための複数階層の画像データが取得される。すなわち、複数階層の画像データの符号化データが含まれるSVCのベースビデオストリームに対して、NAL unit header のdependenncy_idによって、バッファ215からデコーダ216への処理対象のパケットを切換えを行った後、それぞれのデコード処理をデコーダ216は行う。
【0154】
また、この場合、SVCフレームの送信時にあって、サブストリーム構成が複数のストリームで構成されている場合には、以下のようにデコード処理が行われて、高品質画像表示のための複数階層の画像データが取得される。すなわち、デマルチプレクサ214から受け取るNAL パケットのNAL unit headerにあるdependency_idによってバッファ215への蓄積データの切換えを行う。その後、バッファ215からの圧縮データの読み出し、そしてデコーダ216へ至る処理は、単一streamのデコードと同様に行われる。このようにして、最下位階層の画像データの符号化データが含まれるSVCのベースビデオストリームおよびその上位階層の画像データの符号化データが含まれる所定数のSVCの拡張ビデオストリームに対して、それぞれ対応したデコーダでデコード処理が行われる。
【0155】
高画質化処理部233は、通常画像送信時であって、通常画像表示を行う場合には、以下の処理が行われる。すなわち、例えば、スケーラ218-1を通して入力されるスケーリング後の画像データに対して、グラフィクスシフタ229から出力されるグラフィクスのビットマップデータが重畳されて、ディスプレイに出力される。
【0156】
また、高画質化処理部233では、SVCストリームの送信時であって、高品質画像表示を行う場合には、以下の処理が行われる。すなわち、例えば、スケーラ218-1〜218-Nを通して入力されるスケーリング後の各階層の画像データから、高品質画像表示のための画像データが生成され、グラフィクスシフタ229から出力されるシフト処理されたグラフィクスのビットマップデータが重畳されて、ディスプレイに出力される。
【0157】
このように、本技術をSVCストリームに適用する場合にあっても、サブストリーム構成が単一のビデオストリームを構成する場合とサブストリーム構成が複数のストリームで構成される場合とを、受信側においてデコード前に確実かつ容易に識別可能となる。したがって、受信側においては、デコード時のバッファメモリの構成やデコードそして表示モードを、デコード前に的確に決定でき、画像データの取得を良好に行うことができる。
【0158】
また、上述実施の形態においては、トランスポートストリームTSを放送波にのせて配信する例を示したが、本技術は、このトランスポートストリームTSを、インターネット等のネットワークを通じて配信する場合にも同様に適用できる。一方で、トランスポートストリームTS以外のコンテナファイルフォーマットにおけるインターネット配信の場合にも、本技術を適用できることは勿論である。
【0159】
なお、本技術は、以下のような構成も取ることができる。
(1)第1の画像データと該第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤの上記ベースビデオストリームに関連した情報の配置位置に特定の情報を挿入する情報挿入部とを備える
画像データ送信装置。
(2)上記特定の情報は、上記第1の画像データおよび上記所定数の第2の画像データの情報を持つデスクリプタである
前記(1)に記載の画像データ送信装置。
(3)上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、
上記デスクリプタを、プログラム・マップ・テーブルの配下の上記ベースビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分に挿入する
前記(2)に記載の画像データ送信装置。
(4)上記第1の画像データは、立体画像表示のためのベースビューの画像データであり、
上記第2の画像データは、上記立体画像表示のための上記ベースビュー以外のビューの画像データであり、
上記デスクリプタは、上記各ビューの情報を持つMVC・エクテンション・デスクリプタである
前記(2)または(3)に記載の画像データ送信装置。
(5)上記第1の画像データは、スケーラブル符号化画像データを構成する最下位階層の画像データであり、
上記第2の画像データは、上記スケーラブル符号化画像データを構成する上記最下位階層以外の階層の画像データであり、
上記デスクリプタは、上記各階層の画像データの情報を持つSVC・エクステンション・デスクリプタである
前記(2)または(3)に記載の画像データ送信装置。
(6)第1の画像データと該第1の画像データに関連した所定数の第2の画像データを含むベースビデオストリームを有する所定フォーマットのコンテナを送信する際に、上記コンテナのレイヤの上記ベースビデオストリームに関連した情報の配置位置に特定の情報を挿入する
画像データ送信方法。
(7)第1の画像データを含むベースビデオストリームと上記第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤの上記所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に特定の情報を挿入する情報挿入部とを備える
画像データ送信装置。
(8)上記特定の情報は、上記第1の画像データおよび上記所定数の第2の画像データの情報を持つデスクリプタである
前記(7)に記載の画像データ送信装置。
(9)上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、
上記デスクリプタを、プログラム・マップ・テーブルの配下の上記所定数の拡張ビデオストリームにそれぞれ対応したビデオ・エレメンタリ・ループのデスクリプタ部分に挿入する
前記(8)に記載の画像データ送信装置。
(10)上記第1の画像データは、立体画像表示のためのベースビューの画像データであり、
上記第2の画像データは、上記立体画像表示のための上記ベースビュー以外のビューの画像データであり、
上記特定の情報は、上記各ビューの情報を持つMVC・エクテンション・デスクリプタである
前記(8)または(9)に記載の画像データ送信装置。
(11)上記第1の画像データは、スケーラブル符号化画像データを構成する最下位階層の画像データであり、
上記第2の画像データは、上記スケーラブル符号化画像データを構成する上記最下位階層以外の階層の画像データであり、
上記特定の情報は、上記各階層の画像データの情報を持つSVC・エクステンション・デスクリプタである
前記(8)または(9)に記載の画像データ送信装置。
(12)第1の画像データを含むベースビデオストリームと上記第1の画像データに関連した所定数の第2の画像データのそれぞれを含む所定数の拡張ビデオストリームとを含む所定フォーマットのコンテナを送信する際に、上記コンテナのレイヤの上記所定数の拡張ビデオストリームにそれぞれ関連した情報の配置位置に特定の情報を挿入する
画像データ送信方法。
(13)所定フォーマットのコンテナを受信する受信部と、
上記コンテナのレイヤにおける特定の情報の存在および挿入位置に基づいて、上記コンテナが有するビデオストリームを処理して、互いに関連した所定数の画像データを取得する処理部とを備える
画像データ受信装置。
(14)上記処理部は、
上記コンテナのレイヤの、該コンテナに含まれるベースビデオストリームに関連した情報の配置位置に上記特定の情報の挿入があるとき、該ベースビデオストリームを処理して上記所定数の画像データを取得する
前記(13)に記載の画像データ受信装置。
(15)上記処理部は、
上記コンテナのレイヤの該コンテナに含まれる拡張ビデオストリームに関連した情報の配置位置に上記特定の情報の挿入があるとき、該拡張ビデオストリームおよび上記コンテナに含まれるベースビデオストリームを処理して上記所定数の画像データを取得する
前記(13)または(14)に記載の画像データ受信装置。
(16)上記所定数の画像データは、立体画像表示のための画像データ、またはスケーラブル符号化データ画像データを構成する
前記(13)から(15)のいずれかに記載の画像データ受信装置。
(17)所定フォーマットのコンテナを受信するステップと、
上記コンテナのレイヤにおける特定の情報の存在および挿入位置に基づいて、上記コンテナが有するビデオストリームを処理して、互いに関連した所定数の画像データを取得するステップとを備える
画像データ受信方法。
【0160】
本技術の主な特徴は、PMTの配下のMVCのベースビデオストリームまたは拡張ビデオストリームに対応したビデオ・エレメンタリ・ループのデスクリプタ部分にMVC・エクテンション・デスクリプタを挿入することで、サブストリーム構成が単一のビデオストリームを構成する場合とサブストリーム構成が複数のストリームで構成される場合とを、受信側においてデコード前に確実かつ容易に識別可能としたことである(図5図7図8参照)。
【符号の説明】
【0161】
10・・・画像送受信システム
100・・・放送局
110・・・送信データ生成部
111・・・データ取り出し部
111a・・・データ記録媒体
112・・・ビデオエンコーダ
113・・・視差エンコーダ
114・・・オーディオエンコーダ
115・・・グラフィクス発生部
116・・・グラフィクスエンコーダ
117・・・マルチプレクサ
200,200A・・・受信機
201・・・CPU
213・・・コンテナバッファ
214・・・デマルチプレクサ
215・・・コーデッドバッファ
216・・・ビデオデコーダ
217-1〜217-N・・・サブストリームバッファ
218-1〜218-N・・・スケーラ
219・・・3Dビュー表示処理部
221・・・コーデッドバッファ
222・・・視差デコーダ
223・・・ビデオデコーダ
224・・・視差情報変換部
225・・・コーデッドバッファ
226・・・グラフィクスデコーダ
227・・・ピクセルバッファ
228・・・スケーラ
229・・・グラフィクスシフタ
230・・・コーデッドバッファ
231・・・オーディオデコーダ
232・・・チャネルミキシング部
233・・・高画質化処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
【国際調査報告】