特許 7591878 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-21

(45)【発行日】2024-11-29

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20241122BHJP

   H04N 19/136 20140101ALI20241122BHJP

   H04N 19/30 20140101ALI20241122BHJP

【ＦＩ】

H04N19/85

H04N19/136

H04N19/30

【請求項の数】 7

(21)【出願番号】P 2020112196

(22)【出願日】2020-06-29

(65)【公開番号】P2022011207

(43)【公開日】2022-01-17

【審査請求日】2023-05-29

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】神田 菊文

(72)【発明者】

【氏名】市ヶ谷 敦郎

【審査官】田中 純一

(56)【参考文献】

【文献】特表２０２２－５４３６２７（ＪＰ，Ａ）

【文献】特表２０１６－５１９５１７（ＪＰ，Ａ）

【文献】特表２００８－５３８０５７（ＪＰ，Ａ）

【文献】国際公開第２０２０／０５６２４７（ＷＯ，Ａ１）

【文献】特表２０２２－５００９１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

入力映像を複数の映像に切り出し、切り出された前記複数の映像を階層的に符号化する符号化装置であって、
前記入力映像に含まれる主たる映像領域の位置及び大きさを指定する切り出し制御情報を出力する切り出し位置指定部と、
前記切り出し制御情報に基づいて、前記入力映像に含まれる前記主たる映像領域を切り出す領域切り出し部と、
前記入力映像を構成する前記主たる映像領域以外の映像領域を複数のサブピクチャに分割する領域分割部と、
前記領域切り出し部が出力する前記主たる映像領域を符号化し、符号化された前記主たる映像のみの基本階層符号化ストリームを出力する基本階層符号化部と、
前記領域分割部が出力する前記複数のサブピクチャのそれぞれを符号化し、前記基本階層符号化ストリームと組み合わせて利用可能な拡張階層符号化ストリームを出力する拡張階層符号化部と、を備えることを特徴とする符号化装置。

【請求項2】

前記拡張階層符号化部は、
前記複数のサブピクチャをそれぞれ符号化する複数のサブエンコーダと、
前記複数のサブエンコーダが出力する複数の符号化ストリームと、前記切り出し位置指定部が出力する前記切り出し制御情報とを合成し、前記拡張階層符号化ストリームを出力するストリーム合成部と、を含むことを特徴とする請求項１に記載の符号化装置。

【請求項3】

階層符号化により得られた符号化ストリームを復号する復号装置であって、
基本階層符号化ストリームを復号し、入力映像に含まれる主たる映像領域を出力する基本階層復号部と、
前記基本階層符号化ストリームと組み合わせて利用可能な拡張階層符号化ストリームを復号し、前記入力映像のうち前記主たる映像領域以外の映像領域を構成する複数のサブピクチャを出力する拡張階層復号部と、
前記拡張階層復号部が出力する前記複数のサブピクチャを合成し、前記主たる映像領域以外の映像領域を出力する領域合成部と、
前記基本階層復号部が出力する前記主たる映像領域と、前記領域合成部が出力する前記主たる映像領域以外の映像領域とを合成し、前記入力映像を復元する階層合成部と、を備えることを特徴とする復号装置。

【請求項4】

前記拡張階層復号部は、
前記拡張階層符号化ストリームを、前記複数のサブピクチャに対応する複数の符号化ストリームと、前記主たる映像領域の位置及び大きさを指定する切り出し制御情報とに分離するストリーム分離部と、
前記複数の符号化ストリームから前記複数のサブピクチャをそれぞれ復号する複数のサブデコーダと、を含み、
前記領域合成部は、前記切り出し制御情報に基づいて前記複数のサブピクチャを合成し、前記主たる映像領域以外の映像領域を出力することを特徴とする請求項３に記載の復号装置。

【請求項5】

符号化ストリームを復号し、入力映像に含まれる第１映像領域を出力する第１復号部と、
前記符号化ストリームと組み合わせて利用可能な符号化ストリームを復号し、前記入力映像のうち前記第１映像領域以外の映像領域を構成する１つ以上のサブピクチャを出力する第２復号部と、
前記第１映像領域の位置及び大きさを指定する制御情報を取得する取得部と、
前記制御情報に基づいて、前記第１復号部が出力する前記第１映像領域と、前記第２復号部が出力する前記１つ以上のサブピクチャとを合成し、前記入力映像を復元する合成部と、を備えることを特徴とする復号装置。

【請求項6】

コンピュータを請求項１又は２に記載の符号化装置として機能させることを特徴とするプログラム。

【請求項7】

コンピュータを請求項３乃至５のいずれか１項に記載の復号装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

大画面且つ高精細な映像を用いたサービスの実現が期待されているが、高精細な映像はデータの量が膨大となるため、伝送をともなうサービスには広帯域な伝送路が必要となる。伝送に電波を用いる場合、周波数帯域が限られるため、伝送帯域に応じて映像データを圧縮符号化する技術が用いられる。

【0003】

しかし、圧縮符号化は符号化劣化を引き起こし、圧縮率が大きいほど劣化も大きくなる。このため、サービスに適する品質を得るための圧縮率には限度があり、例えば、地上波（６ＭＨｚの伝送帯域幅）で８Ｋの放送を行おうとすると、十分な画質が得られず、このままではサービスを提供できない。

【0004】

十分な伝送帯域が確保できない条件では、映像の解像度を下げることで符号化劣化の発生は抑えることができるが、この場合はサービスそのものの品質が下がることとなる。例えば、８Ｋの映像を４Ｋにダウンコンバートして放送すれば、当然サービスは４Ｋの品質となる。

【0005】

そこで、付加的な伝送手段を用いて、補完情報を別途伝送し、これらの伝送路で送られてきたデータを共に用いることで高い品質の映像を得ることを考える。つまり、伝送帯域の限られる地上波では４Ｋのサービスを行い、別の伝送路で付加情報を伝送し、これと４Ｋのデータを組み合わせて８Ｋの映像を得ることを考える。このようなサービス形態を実現する手段として階層符号化を用いることが考えられる（例えば、特許文献１参照）。なお、階層符号化は、スケーラブル符号化と呼ばれることもある。

【0006】

階層符号化では、基本階層と拡張階層とを組み合わせると高品質な映像が再生でき、基本階層単独でも品質は落ちるが映像の再生が可能である。階層符号化を実現する技術として、これまでにいくつかの手法が提案されている。前述の４Ｋと８Ｋのような画素数（解像度）の異なる映像をスケーラブルに符号化する方法としては、空間階層符号化と呼ばれる方法がある。

【0007】

また、映像信号を粗い情報から細かい情報へと階層的に符号化する技術も知られている。（例えば、特許文献２参照）

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１７－１３５５２２号公報

【文献】特開２０１１－２４４４０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

空間階層符号化では、例えば、解像度の低い４Ｋ映像をアップコンバートして８Ｋ映像を生成し、４Ｋ映像から８Ｋ映像を生成するための付加情報を拡張階層として伝送するため、予測精度が悪く、符号化効率が低いことが課題とされている。特に、地上波を用いた放送など、高い圧縮率となる場合に、この傾向は顕著である。

【0010】

このため、伝送帯域が限られる中で空間階層符号化を用いて十分な品質の８Ｋ映像を得るためには、４Ｋに対して８Ｋを得るために必要な付加情報が増加する。したがって、階層符号化を用いずに４Ｋと８Ｋの映像をそのまま伝送する場合と比較して、同じ品質を得るために必要な伝送路容量がほとんど変わらないといったことも予想され、階層符号化を採用するメリットは小さいと考えられる。

【0011】

よって、従来の階層符号化は有用であるものの、条件によっては符号化効率が悪いという課題があった。

【0012】

そこで、本発明は、階層符号化における符号化効率を改善する符号化装置、復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

第１の態様に係る符号化装置は、入力映像を複数の映像に切り出し、切り出された前記複数の映像を階層的に符号化する装置である。前記符号化装置は、前記入力映像に含まれる主たる映像領域の位置及び大きさを指定する切り出し制御情報を出力する切り出し位置指定部と、前記切り出し制御情報に基づいて、前記入力映像に含まれる前記主たる映像領域を切り出す領域切り出し部と、前記入力映像を構成する前記主たる映像領域以外の映像領域を複数のサブピクチャに分割する領域分割部と、前記領域切り出し部が出力する前記主たる映像領域を符号化し、符号化された前記主たる映像のみの基本階層符号化ストリームを出力する基本階層符号化部と、前記領域分割部が出力する前記複数のサブピクチャのそれぞれを符号化し、前記基本階層符号化ストリームと組み合わせて利用可能な拡張階層符号化ストリームを出力する拡張階層符号化部とを備える。

【0014】

第２の態様に係る復号装置は、階層符号化により得られた符号化ストリームを復号する装置である。前記復号装置は、基本階層符号化ストリームを復号し、入力映像に含まれる主たる映像領域を出力する基本階層復号部と、前記基本階層符号化ストリームと組み合わせて利用可能な拡張階層符号化ストリームを復号し、前記入力映像のうち前記主たる映像領域以外の映像領域を構成する複数のサブピクチャを出力する拡張階層復号部と、前記拡張階層復号部が出力する前記複数のサブピクチャを合成し、前記主たる映像領域以外の映像領域を出力する領域合成部と、前記基本階層復号部が出力する前記主たる映像領域と、前記領域合成部が出力する前記主たる映像領域以外の映像領域とを合成し、前記入力映像を復元する階層合成部とを備える。

【0015】

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させる。

【0016】

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させる。

【発明の効果】

【0017】

本発明によれば、階層符号化における符号化効率を改善する符号化装置、復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0018】

【図1】実施形態に係る映像伝送システムの構成を示す図である。

【図2】実施形態に係る符号化装置の構成を示す図である。

【図3】実施形態に係る切り出し位置の指定方法を示す図である。

【図4】実施形態に係る領域分割部における第１の分割例を示す図である。

【図5】実施形態に係る領域分割部における第２の分割例を示す図である。

【図6】実施形態に係る領域分割部における第３の分割例を示す図である。

【図7】実施形態に係る拡張階層符号化部の構成を示す図である。

【図8】実施形態に係る復号装置の構成を示す図である。

【図9】実施形態に係る拡張階層復号部の構成を示す図である。

【発明を実施するための形態】

【0019】

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0020】

（映像伝送システム）
まず、実施形態に係る映像伝送システムについて説明する。図１は、実施形態に係る映像伝送システム１００の構成を示す図である。

【0021】

図１に示すように、映像伝送システム１００は、送信装置１０と、受信装置２０Ａと、受信装置２０Ｂとを有する。送信装置１０は、伝送路を介して受信装置２０Ａ及び２０Ｂに対する映像伝送を行う。送信装置１０は、入力映像に対して階層符号化を行う符号化装置１を有する。以下において、伝送する映像が８Ｋの映像である場合について例示するが、必ずしも８Ｋに限定する必要はない。

【0022】

符号化装置１は、階層符号化により基本階層符号化ストリーム及び拡張階層符号化ストリームを出力する。図１に示す例において、送信装置１０は、放送伝送路３０を介して基本階層符号化ストリームを受信装置２０Ａ及び２０Ｂに送信する。例えば、放送伝送路３０は、地上波を用いる伝送路である。送信装置１０は、伝送帯域の限られる地上波で４Ｋの映像伝送サービスを提供する。

【0023】

また、送信装置１０は、通信伝送路４０を介して拡張階層符号化ストリームを受信装置２０Ｂに送信する。例えば、通信伝送路４０は、インターネットなどの有線通信回線である。送信装置１０は、付加的な伝送手段を用いて、補完情報としての拡張階層符号化ストリームを別途伝送する。

【0024】

受信装置２０Ａは、放送伝送路３０を介して基本階層符号化ストリームを受信する。受信装置２０Ａは、基本階層符号化ストリームから４Ｋの映像を復号する復号装置２Ａを有する。受信装置２０Ａは、基本階層符号化ストリームにより、品質は落ちるものの映像の再生が可能である。

【0025】

受信装置２０Ｂは、放送伝送路３０を介して基本階層符号化ストリームを受信するとともに、通信伝送路４０を介して拡張階層符号化ストリームを受信する。受信装置２０Ｂは、基本階層符号化ストリームと拡張階層符号化ストリームとを組み合わせて８Ｋの映像を復号する復号装置２Ｂを有する。受信装置２０Ｂは、基本階層と拡張階層とを組み合わせて高品質な映像を再生可能である。

【0026】

このようにして、映像伝送システム１００は、階層符号化により４Ｋ及び８Ｋの映像伝送を行う。ここで、８Ｋのような大画面且つ高精細な映像サービスの場合、視聴者は画面全体を均等に注視し続けているわけではなく、通常は画面のある部分を中心に意識を集中させながら視聴することが一般的であると考えられる。

【0027】

その点を考慮すれば、８Ｋから４Ｋの映像を生成する際には、全画面を縮小する必要はなく、重要情報が集中している注目部分を含むように４Ｋ映像を（縮小することなく）切り出すことで、十分に情報を伝えることが可能である。

【0028】

実施形態に係る送信装置１０の符号化装置１は、８Ｋの映像内の主たる映像領域（以下、「基本階層領域」と呼ぶ）を切り出すことで４Ｋの映像を生成し、切り出した４Ｋの基本階層領域を階層符号化における基本階層に用い、残りの領域（以下、「基本階層領域」と呼ぶ）を拡張階層として伝送する。これにより、４Ｋ映像のサービスを行いながら、符号化効率を低下させずに８Ｋ映像のサービスを行うことが可能となる。

【0029】

ここで、４Ｋの基本階層領域を切り出す位置は、固定されていてもよいし、フレームごとに変更しても構わない。また、基本階層領域として、８Ｋの映像から４Ｋの映像を切り出す場合を例示するが、基本階層を表示する装置の性能にあわせるなど、基本階層領域の大きさを変更しても構わない。

【0030】

受信装置２０Ａの復号装置２Ａは、基本階層復号ストリームを復号し、４Ｋの基本階層の映像を得る。一方、受信装置２０Ｂの復号装置２Ｂは、基本階層ストリームから基本階層領域を復号するとともに、拡張階層ストリームから拡張階層領域を復号し、基本階層領域と拡張階層領域とを合成して８Ｋの映像を得る。このようにして、４Ｋの映像と８Ｋの映像をそれぞれ得ることができる。

【0031】

よって、実施形態に係る映像伝送システム１００によれば、符号化効率を低下させずに、４Ｋ（基本階層）及び８Ｋ（基本階層＋拡張階層）の映像を両立させることで、多様で高品質なサービスの実現が期待できる。これを用いて、帯域の狭い地上波で４Ｋを放送し、インターネットなどの有線通信で付加情報を送信するといった方法で、４Ｋと８Ｋの階層的なサービスを実現することができる。

【0032】

（符号化装置）
次に、実施形態に係る符号化装置について説明する。図２は、実施形態に係る符号化装置１の構成を示す図である。

【0033】

図２に示すように、符号化装置１は、切り出し位置指定部１１と、領域切り出し部１２と、基本階層符号化部１３と、領域分割部１４と、拡張階層符号化部１５とを有する。

【0034】

切り出し位置指定部１１は、基本階層領域の位置及び大きさを指定する切り出し制御情報を、領域切り出し部１２、領域分割部１４、及び拡張階層符号化部１５に出力する。ここで、切り出し位置の決定にあたっては、基本階層領域に重要な情報が含まれるように番組制作時に配慮することが望ましい。或いは、８Ｋ映像から重要情報として切り出す領域を判定する手段を別途用いて指定することも可能である。

【0035】

図３は、実施形態に係る切り出し位置の指定方法を示す図である。図３に示すように、切り出し位置指定部１１は、８Ｋの入力映像から切り出す４Ｋの基本階層領域の位置及び大きさを切り出し制御情報として指定する。例えば、切り出し位置指定部１１は、基本階層領域の左上の座標値（ｘ，ｙ）及び水平垂直の画素数（ｗ、ｈ）を切り出し制御情報として出力する。

【0036】

ここで、切り出し位置は、固定でも構わないし、映像コンテンツの内容に応じて変化させても構わない。座標値の指定は、コンテンツ制作時に決定した値を入力してもよいし、入力映像から自動的に検出して指定する方法を備えても構わない。例えば、切り出し位置指定部１１は、入力映像に対する顔認識処理等により、８Ｋ映像から重要情報として切り出す基本階層領域を指定してもよい。切り出す基本階層領域の大きさについても、映像コンテンツの内容に応じて変化させても構わない。

【0037】

また、４Ｋの基本階層領域の長辺が８Ｋの入力映像の長辺と平行になるように基本階層領域を配置する一例を示しているが、必ずしも平行でなくてもよく、基本階層領域が水平方向に対して傾きを有していてもよい。ただし、平行ではない場合、後述する拡張階層の分割方法や符号化処理はより複雑になる。

【0038】

領域切り出し部１２は、切り出し位置指定部１１が出力する切り出し制御情報、すなわち、座標値（ｘ，ｙ）及び領域の大きさ（ｗ、ｈ）に基づいて、入力映像から基本階層領域を切り出し、切り出した基本階層領域を基本階層符号化部１３及び領域分割部１４に出力する。

【0039】

基本階層符号化部１３は、領域切り出し部１２が出力する基本階層領域を符号化し、単独で利用可能な基本階層符号化ストリームを出力する。基本階層符号化部１３が用いる符号化方式は任意の方式で構わない。

【0040】

領域分割部１４は、切り出し位置指定部１１が出力する切り出し制御情報に基づいて、入力映像のうち基本階層領域以外の拡張階層領域を、拡張階層符号化部１５で符号化が可能な形状の領域に分割する。分割されたこれらの領域をそれぞれ「サブピクチャ」と呼ぶ。一般的な符号化方式では長方形の領域を入力として符号化を行うことを考慮し、各サブピクチャの形状は長方形であるものとする。分割の方法は事前に決定しておいてもよいし、コンテンツ内容等に応じて変更し、分割方法をその都度ストリームに多重するなどの方法によって復号側に伝えるとしてもよい。

【0041】

図４は、実施形態に係る領域分割部１４における第１の分割例を示す図である。

【0042】

図４に示すように、第１の分割例では、基本階層領域の垂直の辺を延長することによって基本階層領域以外の拡張階層領域を４つのサブピクチャに分割する。分割された矩形の領域、つまりサブピクチャをＡ、Ｂ、Ｃ、Ｄとする。サブピクチャＡ、Ｂ、Ｃ、Ｄのそれぞれの形状（水平、垂直画素数）は、切り出し制御情報として指定される値（ｘ，ｙ，ｗ，ｈ）が決まれば一意に決定される。つまり、「垂直の辺を延長することによって分割する」という分割方法が指定されていれば、サブピクチャＡ、Ｂ、Ｃ、Ｄの順番と（ｘ，ｙ，ｗ，ｈ）の情報のみによって、元の映像を復元することが可能である。

【0043】

図５は、実施形態に係る領域分割部１４における第２の分割例を示す図である。

【0044】

図５に示すように、第２の分割例では、基本階層領域の上辺を左方向に延長し、基本階層領域の左辺を下方向に延長し、基本階層領域の下辺を右方向に延長し、基本階層領域の右辺を上方向に延長することによって基本階層領域以外の領域を４つのサブピクチャに分割する。この場合でも第１の分割例と同様に、分割の方法を事前に指定しておけば、切り出し制御情報として指定される値（ｘ，ｙ，ｗ，ｈ）のみによって復元が可能となる。

【0045】

図６は、実施形態に係る領域分割部１４における第３の分割例を示す図である。

【0046】

図６に示すように、第３の分割例では、拡張階層領域をさらに小さい領域に分割して複数のサブピクチャを得る。例えば、同じ形状（同じサイズ）の小領域で拡張階層領域を分割できるような構成とすれば、後述の拡張階層符号化処理でのサブエンコーダをすべて同一にできるというメリットがある。ただし、拡張階層領域が水平垂直それぞれ整数個の同一の小領域で過不足なく分割できるような数値に（ｘ，ｙ，ｗ，ｈ）を限定する必要がある。

【0047】

拡張階層符号化部１５は、領域分割部１４が出力する複数のサブピクチャのそれぞれを符号化し、拡張階層符号化ストリームを出力する。図７は、実施形態に係る拡張階層符号化部１５の構成を示す図である。図７に示すように、拡張階層符号化部１５は、複数のサブエンコーダ１５１ａ，１５１ｂ，１５１ｃ・・・と、ストリーム合成部１５２とを有する。

【0048】

複数のサブエンコーダ１５１ａ，１５１ｂ，１５１ｃ・・・は、領域分割部１４が出力する複数のサブピクチャをそれぞれ符号化し、複数の符号化ストリームをストリーム合成部１５２に出力する。図４及び図５の例では、サブピクチャはＡ、Ｂ、Ｃ、Ｄの４つであるので、サブエンコーダも４系統を用いれば十分である。

【0049】

ストリーム合成部１５２は、複数のサブエンコーダ１５１ａ，１５１ｂ，１５１ｃ・・・が出力する複数の符号化ストリームと、切り出し位置指定部１１が出力する切り出し制御情報とを合成し、拡張階層符号化ストリームを出力する。合成の方法は任意の手法で構わないが、切り出し制御情報、及び、どのサブピクチャに該当するストリームであるかを判別して分離することを可能とするようにする。

【0050】

このように、実施形態に係る符号化装置１は、入力映像に対して階層符号化を行う装置であって、入力映像に含まれる主たる映像領域（基本階層領域）を切り出す領域切り出し部１２と、入力映像のうち主たる映像領域以外の残りの映像領域（拡張階層領域）を複数のサブピクチャに分割する領域分割部１４と、領域切り出し部１２が出力する主たる映像領域を符号化し、単独で利用可能な基本階層符号化ストリームを出力する基本階層符号化部１３と、領域分割部１４が出力する複数のサブピクチャのそれぞれを符号化し、基本階層符号化ストリームと組み合わせて利用可能な拡張階層符号化ストリームを出力する拡張階層符号化部１５とを有する。これにより、符号化効率を低下させずに、４Ｋ（基本階層）及び８Ｋ（基本階層＋拡張階層）の映像を両立させることで、多様で高品質なサービスの実現が期待できる。

【0051】

（復号装置）
次に、実施形態に係る復号装置について説明する。図８は、実施形態に係る復号装置２の構成を示す図である。ここでは、復号装置２として、図１に示す復号装置２Ｂの構成を示している。

【0052】

図８に示すように、復号装置２は、基本階層復号部２１と、拡張階層復号部２２と、領域合成部２３と、階層合成部２４とを有する。

【0053】

基本階層復号部２１は、基本階層符号化ストリームを復号し、基本階層領域を出力する。なお、復号装置２が図１に示す復号装置２Ａである場合、４Ｋの映像である基本階層領域のみが再生されることになる。

【0054】

拡張階層復号部２２は、拡張階層符号化ストリームを復号し、拡張階層領域を構成する複数のサブピクチャと切り出し制御情報とを出力する。図９は、実施形態に係る拡張階層復号部２２の構成を示す図である。図９に示すように、拡張階層復号部２２は、ストリーム分離部２２１と、複数のサブデコーダ２２２ａ，２２２ｂ，２２２ｃ・・・とを有する。

【0055】

ストリーム分離部２２１は、拡張階層符号化ストリームを、複数のサブピクチャに対応する複数の符号化ストリームと切り出し制御情報とに分離し、複数の符号化ストリームを複数のサブデコーダ２２２ａ，２２２ｂ，２２２ｃ・・・に出力するとともに、切り出し制御情報を領域合成部２３及び階層合成部２４に出力する。ここで、ストリームを分離して該当のサブデコーダに出力する方法は、符号化装置１のストリーム合成部１５２での合成方法に対応した方法とする。

【0056】

複数のサブデコーダ２２２ａ，２２２ｂ，２２２ｃ・・・は、ストリーム分離部２２１が出力する複数の符号化ストリームから複数のサブピクチャをそれぞれ復号し、復号したサブピクチャを領域合成部２３に出力する。

【0057】

領域合成部２３は、拡張階層復号部２２（複数のサブデコーダ２２２ａ，２２２ｂ，２２２ｃ・・・）が出力する複数のサブピクチャを合成し、拡張階層領域を出力する。合成の方法は、符号化装置１の領域分割部１４での分割の方法に対応した方法とする。上述したように、符号化装置１における分割の方法は事前に決定しておいてもよいし、コンテンツ内容等に応じて変更し、その都度ストリームに多重するなどの方法で伝えられる方法としてもよい。サブピクチャ分割の方法及び切り出し制御情報によって合成の方法は決定されるので、それに応じて、領域合成部２３が複数のサブピクチャを合成して拡張階層領域を出力する。

【0058】

階層合成部２４は、拡張階層復号部２２が出力する切り出し制御情報に基づいて、基本階層復号部２１が出力する基本階層領域と、領域合成部２３が出力する拡張階層領域とを合成し、８Ｋの映像を復元して出力する。

【0059】

このように、実施形態に係る復号装置２は、階層符号化により得られた符号化ストリームを復号する装置であって、単独で利用可能な基本階層符号化ストリームを復号し、入力映像に含まれる主たる映像領域（基本階層領域）を出力する基本階層復号部２１と、基本階層符号化ストリームと組み合わせて利用可能な拡張階層符号化ストリームを復号し、入力映像のうち主たる映像領域以外の残りの映像領域（拡張階層領域）を構成する複数のサブピクチャを出力する拡張階層復号部２２と、拡張階層復号部２２が出力する複数のサブピクチャを合成し、残りの映像領域を出力する領域合成部２３と、基本階層復号部２１が出力する主たる映像領域と、領域合成部２３が出力する残りの映像領域とを合成し、入力映像を復元する階層合成部２４とを有する。これにより、符号化効率を低下させずに、４Ｋ（基本階層）及び８Ｋ（基本階層＋拡張階層）の映像を両立させることで、多様で高品質なサービスの実現が期待できる。

【0060】

（その他の実施形態）
実施形態において、基本階層と拡張階層とを用いて２階層として階層符号化を構成する一例について説明したが、実施形態に係る方法を再帰的に用いて３階層以上とする、或いは、他の階層符号化と組み合わせるなどの方法も考えられる。

【0061】

通信伝送路４０を利用し、受信装置２０（復号装置２）側から送信装置１０（符号化装置１）側へ視聴者が注目する領域の情報をフィードバックしてもよい。この場合、切り出し位置指定部１１は、フィードバックされた情報に基づいて、重要情報として切り出す基本階層領域を判定してもよい。

【0062】

実施形態において、入力映像から切り出す基本階層領域が１つである一例について説明したが、領域切り出し部１２は、入力映像から２以上の基本階層領域を切り出してもよい。受信装置２０は、当該２以上の基本階層領域の中から復号する１つの基本階層領域を選択し、選択した基本階層領域のみを復号してもよい。

【0063】

符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0064】

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0065】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0066】

１ ：符号化装置
２ ：復号装置
２Ａ ：復号装置
２Ｂ ：復号装置
１０ ：送信装置
１１ ：切り出し位置指定部
１２ ：領域切り出し部
１３ ：基本階層符号化部
１４ ：領域分割部
１５ ：拡張階層符号化部
２０ ：受信装置
２０Ａ ：受信装置
２０Ｂ ：受信装置
２１ ：基本階層復号部
２２ ：拡張階層復号部
２３ ：領域合成部
２４ ：階層合成部
３０ ：放送伝送路
４０ ：通信伝送路
１００ ：映像伝送システム
１５１ａ ：サブエンコーダ
１５１ｂ ：サブエンコーダ
１５１ｃ ：サブエンコーダ
１５２ ：ストリーム合成部
２２１ ：ストリーム分離部
２２２ａ ：サブデコーダ
２２２ｂ ：サブデコーダ
２２２ｃ ：サブデコーダ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】