特開 2024-27758 マルチレイヤ符号化装置、シングルレイヤ符号化装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024027758

(43)【公開日】2024-03-01

(54)【発明の名称】マルチレイヤ符号化装置、シングルレイヤ符号化装置、及びプログラム

(51)【国際特許分類】

   H04N 19/30 20140101AFI20240222BHJP

   H04N 19/46 20140101ALI20240222BHJP

【ＦＩ】

H04N19/30

H04N19/46

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022130836

(22)【出願日】2022-08-19

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】井口 和久

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】近藤 雄一

(72)【発明者】

【氏名】新井 大地

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA17

5C159MA31

5C159MC11

5C159ME01

5C159PP04

5C159RC11

5C159SS26

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

【課題】マルチレイヤ符号化を用いる場合における開発コストの増大を抑制することを可能とする。
【解決手段】マルチレイヤ符号化を行うマルチレイヤ符号化装置１は、入力映像信号を符号化することでビットストリームを出力する第１シングルレイヤ符号化部１０と、第１シングルレイヤ符号化部１０の後段に設けられた第２シングルレイヤ符号化部２０と、を備える。第２シングルレイヤ符号化部２０は、第１シングルレイヤ符号化部１０により得られたビットストリームをベースレイヤのビットストリームとして出力し、第１シングルレイヤ符号化部１０により得られたビットストリームに対する復号処理を行って導出されたパラメータを用いて入力映像信号を符号化し、エンハンスメントレイヤのビットストリームを出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

マルチレイヤ符号化を行うマルチレイヤ符号化装置であって、
入力映像信号を符号化することでビットストリームを出力する第１シングルレイヤ符号化手段と、
前記第１シングルレイヤ符号化手段の後段に設けられた第２シングルレイヤ符号化手段と、を備え、
前記第２シングルレイヤ符号化手段は、
前記第１シングルレイヤ符号化手段により得られた前記ビットストリームをベースレイヤのビットストリームとして出力し、
前記第１シングルレイヤ符号化手段により得られた前記ビットストリームに対する復号処理を行って導出されたパラメータを用いて前記入力映像信号を符号化し、エンハンスメントレイヤのビットストリームを出力する
マルチレイヤ符号化装置。

【請求項2】

前記第２シングルレイヤ符号化手段は、前記第１シングルレイヤ符号化手段により得られた前記ビットストリームに含まれるプロファイル情報を含む高位シンタックス情報を、前記マルチレイヤ符号化の情報に付け替える
請求項１に記載のマルチレイヤ符号化装置。

【請求項3】

前記第１シングルレイヤ符号化手段での符号化の所要時間に応じた時間において前記入力映像信号をバッファするバッファ手段をさらに備え、
前記第２シングルレイヤ符号化手段は、前記バッファ手段が出力する前記入力映像信号を符号化することで前記エンハンスメントレイヤのビットストリームを出力する
請求項１に記載のマルチレイヤ符号化装置。

【請求項4】

前記入力映像信号の解像度を低下させるダウンコンバートを行うダウンコンバート手段をさらに備え、
前記第１シングルレイヤ符号化手段は、前記ダウンコンバート手段が出力する前記入力映像信号を符号化することで前記ビットストリームを出力する
請求項１乃至３のいずれか１項に記載のマルチレイヤ符号化装置。

【請求項5】

前記第２シングルレイヤ符号化手段は、
前記第１シングルレイヤ符号化手段により得られた前記ビットストリームを前記ベースレイヤのビットストリームとして出力し、
前記第１シングルレイヤ符号化手段により得られた前記ビットストリームに対する復号処理を行って導出されたパラメータに対してアップサンプリング処理を行い、アップサンプリング処理の結果を用いて前記入力映像信号を符号化し、前記エンハンスメントレイヤのビットストリームを出力する
請求項４に記載のマルチレイヤ符号化装置。

【請求項6】

前記第１シングルレイヤ符号化手段及び前記第２シングルレイヤ符号化手段は、共通の構成を有し、
前記共通の構成は、
前段にある他のシングルレイヤ符号化手段が出力するビットストリームに対する復号処理を行う復号処理手段と、
当該シングルレイヤ符号化手段がベースレイヤの符号化に用いられる場合において、前記復号処理手段を無効化するととともに、前記入力映像信号を符号化することでビットストリームを出力するビットストリーム生成手段と、を備え、
当該シングルレイヤ符号化手段がエンハンスメントレイヤの符号化に用いられる場合において、
前記前段にある他のシングルレイヤ符号化手段により得られた前記ビットストリームを前記ベースレイヤのビットストリームとして出力し、
前記復号処理手段を有効化するとともに、前記復号処理を行って導出されたパラメータを用いて前記ビットストリーム生成手段が前記入力映像信号を符号化することでエンハンスメントレイヤのビットストリームを出力する
請求項１に記載のマルチレイヤ符号化装置。

【請求項7】

前記共通の構成は、当該シングルレイヤ符号化手段が前記エンハンスメントレイヤの符号化に用いられる場合において、前記前段にある他のシングルレイヤ符号化手段が出力するビットストリームに含まれるプロファイル情報を含む高位シンタックス情報を、前記マルチレイヤ符号化の情報に付け替える付け替え手段をさらに備え、
当該シングルレイヤ符号化手段が前記ベースレイヤの符号化に用いられる場合において、前記付け替え手段を無効化する
請求項６に記載のマルチレイヤ符号化装置。

【請求項8】

コンピュータを請求項１に記載のマルチレイヤ符号化装置として機能させる
プログラム。

【請求項9】

シングルレイヤ符号化装置であって、
入力されたビットストリームに対する復号処理を行う復号処理手段と、
入力映像信号を符号化することでビットストリームを出力するビットストリーム生成手段と、
前記ビットストリームの入力を有効にするか否かのモードを切り替えるスイッチ手段と、を備え、
前記ビットストリームの入力が無効にされた場合には、前記復号処理を行わずに前記ビットストリーム生成手段によってシングルレイヤ符号化を行うよう動作し、
前記ビットストリームの入力が有効にされた場合には、自シングルレイヤ符号化装置を含む複数のシングルレイヤ符号化装置の直列接続構成によってマルチレイヤ符号化を行うよう動作する
シングルレイヤ符号化装置。

【請求項10】

前記ビットストリームの入力が有効にされた場合において、前記入力されたビットストリームに含まれるプロファイル情報を含む高位シンタックス情報を前記マルチレイヤ符号化の情報に付け替える付け替え手段をさらに備える
請求項９に記載のシングルレイヤ符号化装置。

【請求項11】

前記ビットストリームの入力が有効にされた場合において、
前記復号処理手段は、前段にある他のシングルレイヤ符号化装置が出力するビットストリームに対する前記復号処理を行い、
前記ビットストリーム生成手段は、前記復号処理を行って導出されたパラメータを用いて前記入力映像信号を符号化し、エンハンスメントレイヤのビットストリームを生成する
請求項９又は１０に記載のシングルレイヤ符号化装置。

【請求項12】

コンピュータを請求項９に記載のシングルレイヤ符号化装置として機能させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチレイヤ符号化装置、シングルレイヤ符号化装置、及びプログラムに関する。

【背景技術】

【0002】

放送の映像伝送では、基本的に１チャンネル１映像しか伝送できないモードを用いてきた。例えば、現在の４Ｋ８Ｋ衛星放送で用いられているＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる符号化方式では、Ｍａｉｎ１０プロファイルと呼ばれる符号化ツール群を用いて映像が伝送されている。また、ＨＥＶＣでは、複数の映像をレイヤ状に伝送するＳｃａｌａｂｌｅ Ｍａｉｎ １０プロファイルと呼ばれるツール群が存在する。これは、ベースレイヤとしてＭａｉｎ１０プロファイル相当の映像を伝送しながら、上位レイヤ（エンハンスメントレイヤ）として追加的な映像を重畳することができる符号化の仕組みである。同様に、最新の符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）においても、Ｍａｉｎ１０プロファイルに加えて、複数レイヤの映像伝送を実現するＭｕｌｔｉｌａｙｅｒ Ｍａｉｎ１０プロファイルが開発されている。

【0003】

このようなマルチレイヤ符号化の技術では、ベースレイヤを基本のストリームとし、その差分映像をエンハンスメントレイヤとして伝送する。マルチレイヤ符号化は、階層符号化又はスケーラブル符号化と称されることもある。復号側は、ベースレイヤ単体での復号に加え、ベースレイヤ及びエンハンスメントレイヤを組み合わせて復号することも可能である。マルチレイヤ符号化によれば、例えば、複数のレイヤのビットストリームを利用して復号すると高解像度あるいは高い品質の映像が再生されるのに対し、一部のレイヤ（ベースレイヤ）のビットストリームのみを復号しても低解像度あるいは低い品質の映像が再生可能である。

【0004】

マルチレイヤ符号化の第１の応用例として、ベースレイヤに対して品質向上のためのエンハンスメントレイヤを伝送することで、品質の異なる（低品質、高品質）映像サービスを実現するＳＮＲスケーラブルがある。第２の応用例として、ベースレイヤ（低解像度映像）に対して解像度向上のためのエンハンスメントレイヤ（高解像度映像）を伝送する空間スケーラブルがある。空間スケーラブルによれば、２Ｋ映像と４Ｋ映像とのセットや、４Ｋ映像と８Ｋ映像とのセット等、異なる解像度の放送サービスを効率的に同時に伝送可能である。

【0005】

特許文献１には、マルチレイヤ符号化（特に、ＳＮＲスケーラブル）を応用して映像の上乗せサービスを実現する技術が記載されている。具体的には、主映像をベースレイヤとして符号化するとともに、字幕や解説映像等の上乗せ情報（すなわち、副映像）を主映像に重畳した映像をエンハンスメントレイヤとして符号化し、ベースレイヤ及びエンハンスメントレイヤのそれぞれのビットストリームを送出する。このような方法によれば、ベースレイヤのみを受信する受信装置は主映像のみを再生可能である一方、ベースレイヤ及びエンハンスメントレイヤを受信する受信装置は、ベースレイヤのみの復号を行うことで主映像を、ベースレイヤ及びエンハンスメントレイヤの両方を復号することで副映像付きの主映像をそれぞれ再生可能となり、受信したいサービスの選択を受信装置側で行うことが可能となる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２２－５３５３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

マルチレイヤ符号化では、すでに符号化済みの一方の映像（ベースレイヤ：ＢＬ）を他方（エンハンスメントレイヤ：ＥＬ）の信号予測に用いることで効率的な符号化を実現している。ここで、ＥＬは１つとは限らず、異なる解像度又は異なる品質のＥＬは複数あってもよい。マルチレイヤ符号化は個別に符号化するよりもレイヤ間の信号相関を用いることで符号化効率に優れるが、その一方で、単一の符号化装置として複数の解像度の映像又は複数の品質の映像を符号化する能力を持たなければならない。

【0008】

例えばリアルタイム符号化装置を実現するにあたり、１つのＢＬ及び１つのＥＬからなる２レイヤの場合、単位時間あたりに２入力の映像信号をマルチレイヤ符号化装置が符号化しなければならず、非マルチレイヤ符号化に対して２倍の処理能力が必要となり、開発コストが増大する。このように、マルチレイヤ符号化においては、マルチレイヤのレイヤ数に応じた複雑度のマルチレイヤ符号化装置を開発しなければならないという問題がある。

【0009】

そこで、本発明は、マルチレイヤ符号化を用いる場合における開発コストの増大を抑制することを可能とするマルチレイヤ符号化装置、シングルレイヤ符号化装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

第１の態様に係るマルチレイヤ符号化装置は、マルチレイヤ符号化を行う装置である。前記マルチレイヤ符号化装置は、入力映像信号を符号化することでビットストリームを出力する第１シングルレイヤ符号化手段と、前記第１シングルレイヤ符号化手段の後段に設けられた第２シングルレイヤ符号化手段と、を備える。前記第２シングルレイヤ符号化手段は、前記第１シングルレイヤ符号化手段により得られた前記ビットストリームをベースレイヤのビットストリームとして出力し、前記第１シングルレイヤ符号化手段により得られた前記ビットストリームに対する復号処理を行って導出されたパラメータを用いて前記入力映像信号を符号化し、エンハンスメントレイヤのビットストリームを出力する。

【0011】

第２の態様に係るプログラムは、コンピュータを第１の態様に係るマルチレイヤ符号化装置として機能させる。

【0012】

第３の態様に係るシングルレイヤ符号化装置は、入力されたビットストリームに対する復号処理を行う復号処理手段と、入力映像信号を符号化することでビットストリームを出力するビットストリーム生成手段と、前記ビットストリームの入力を有効にするか否かのモードを切り替えるスイッチ手段と、を備え、前記ビットストリームの入力が無効にされた場合には、前記復号処理を行わずに前記ビットストリーム生成手段によってシングルレイヤ符号化を行うよう動作し、前記ビットストリームの入力が有効にされた場合には、自シングルレイヤ符号化装置を含む複数のシングルレイヤ符号化装置の直列接続構成によってマルチレイヤ符号化を行うよう動作する。

【0013】

第４の態様に係るプログラムは、コンピュータを第３の態様に係るシングルレイヤ符号化装置として機能させる。

【発明の効果】

【0014】

本発明によれば、マルチレイヤ符号化を用いる場合における開発コストの増大を抑制することを可能とするマルチレイヤ符号化装置、シングルレイヤ符号化装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0015】

【図1】第１実施形態に係るマルチレイヤ符号化装置の構成を示す図である。

【図2】第１実施形態に係る第２シングルレイヤ符号化部の構成を示す図である。

【図3】第１実施形態の変更例に係るマルチレイヤ符号化装置の構成を示す図である。

【図4】第２実施形態に係るマルチレイヤ符号化装置の構成を示す図である。

【図5】第２実施形態に係る第２シングルレイヤ符号化部の構成を示す図である。

【図6】第２実施形態の変更例に係るマルチレイヤ符号化装置の構成を示す図である。

【図7】第３実施形態に係るマルチレイヤ符号化装置の構成を示す図である。

【図8】第３実施形態に係るマルチレイヤ符号化装置の構成を示す図である。

【発明を実施するための形態】

【0016】

図面を参照して、実施形態について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0017】

（第１実施形態）
図１は、第１実施形態に係るマルチレイヤ符号化装置１の構成を示す図である。

【0018】

第１実施形態に係るマルチレイヤ符号化装置１は、マルチレイヤ符号化を行う装置である。具体的には、マルチレイヤ符号化装置１は、マルチレイヤ符号化により入力映像信号からベースレイヤ（ＢＬ）のビットストリーム（以下、「ＢＬストリーム」と称する）及びエンハンスメントレイヤ（ＥＬ）のビットストリームを（以下、「ＥＬストリーム」と称する）生成し、ＢＬストリーム及びＥＬストリームで構成される出力ビットストリームを出力する。ここで、マルチレイヤ符号化装置１は、ＢＬストリーム及びＥＬストリームを含む１本のストリームとして出力する態様であってもよいし、ＢＬストリームとｎ個のＥＬストリームとのそれぞれを別経路で複数本のストリームとして出力する態様であってもよい。そのため、用語「出力ビットストリーム」とは、両者の態様を含むものとする。なお、後者の態様の場合、後述のストリーム合成部を必ずしも設けなくてもよい。

【0019】

マルチレイヤ符号化装置１は、直列接続構成の複数のシングルレイヤ符号化部を含んで構成される。１段目のシングルレイヤ符号化部はＢＬストリームを生成し、２段目以降の各シングルレイヤ符号化部はＥＬストリームを生成する。以下において、マルチレイヤ符号化装置１が生成及び出力するＥＬストリームが１つである一例について説明するが、マルチレイヤ符号化装置１が２つ以上のＥＬストリームを生成及び出力するよう構成してもよい。

【0020】

このように、マルチレイヤ符号化装置１を直列接続構成の複数のシングルレイヤ符号化部によって構成することにより、各シングルレイヤ符号化部が単一のレイヤのビットストリームを生成すればよくなり、各シングルレイヤ符号化部の処理能力及び複雑度を低減できる。そのため、各シングルレイヤ符号化部は、複数のレイヤを同時に処理するマルチレイヤ符号化部を開発する場合に比べて、少ない開発コストで開発可能である。よって、マルチレイヤ符号化を用いる場合における開発コストの増大を抑制することが可能になる。

【0021】

第１実施形態に係るマルチレイヤ符号化装置１では、同じ解像度の映像を用いるスケーラブル符号化、すなわち、ＳＮＲスケーラブルを行う。なお、符号化方式としてＶＶＣを用いる一例について主として説明するが、符号化方式はＶＶＣ以外の方式、例えばＨＥＶＣ等であってもよい。

【0022】

図１に示すように、第１実施形態に係るマルチレイヤ符号化装置１は、第１シングルレイヤ符号化部１０と、第１シングルレイヤ符号化部１０の後段に設けられた第２シングルレイヤ符号化部２０と、バッファ部３０とを有する。第１シングルレイヤ符号化部１０は、ＢＬ用のシングルレイヤ符号化部に相当し、第２シングルレイヤ符号化部２０は、ＥＬ用のシングルレイヤ符号化部に相当する。

【0023】

第１シングルレイヤ符号化部１０は、入力映像信号（原画像）を符号化することでビットストリームを生成し、生成したビットストリームを第２シングルレイヤ符号化部２０に出力する。第１シングルレイヤ符号化部１０は、一般的な符号化部で構成可能である。例えば、第１シングルレイヤ符号化部１０は、マルチレイヤ符号化のプロファイルとは異なる一般的なプロファイル（例えば、Ｍａｉｎ１０プロファイル）による符号化を行う符号化部である。

【0024】

第２シングルレイヤ符号化部２０は、第１シングルレイヤ符号化部１０により得られたビットストリームをＢＬストリームとして出力する。第２シングルレイヤ符号化部２０は、第１シングルレイヤ符号化部１０により得られたビットストリームに含まれるプロファイル情報などの高位シンタックス情報を、マルチレイヤ符号化用の高位シンタックス情報に付け替える。例えば、第２シングルレイヤ符号化部２０は、シングルレイヤ符号化のプロファイル情報をマルチレイヤ符号化のプロファイル情報などに付け替える。

【0025】

また、第２シングルレイヤ符号化部２０は、第１シングルレイヤ符号化部１０により得られたビットストリームに対する復号処理を行って、復号映像、及びＢＬストリームに記録されたパラメータ情報を導出し、入力映像信号をＥＬ信号として符号化し、ＥＬストリームを生成及び出力する。具体的には、第２シングルレイヤ符号化部２０は、第１シングルレイヤ符号化部１０により得られたビットストリームに対する復号処理を行うことにより、マルチレイヤ符号化（インターレイヤ符号化）に必要な映像信号及びパラメータを取得し、当該映像信号およびパラメータを用いてＥＬストリームを生成及び出力する。ここで、第２シングルレイヤ符号化部２０は、Ｍｕｌｔｉｌａｙｅｒ Ｍａｉｎ１０プロファイルによりＥＬストリームを生成する。

【0026】

第２シングルレイヤ符号化部２０に入力される入力映像信号（原画像）は、バッファ部３０により一時的に保持された入力映像信号である。具体的には、バッファ部３０は、第１シングルレイヤ符号化部１０での符号化の所要時間に応じた時間において入力映像信号をバッファする。第２シングルレイヤ符号化部２０は、バッファ部３０が出力する入力映像信号を符号化することでＥＬストリームを生成及び出力する。バッファ部３０は第２シングルレイヤ符号化部２０に内蔵されてもよいが、ビットストリームと原画像のＥＬエンコード処理との遅延差を吸収し、適切なタイミングで第２シングルレイヤ符号化部２０がＥＬの符号化処理を行えるようにする。

【0027】

図２は、第１実施形態に係る第２シングルレイヤ符号化部２０の構成を示す図である。

【0028】

第２シングルレイヤ符号化部２０は、バッファ部３０が出力する入力映像信号（原映像）に加え、第１シングルレイヤ符号化部１０から出力されたビットストリームを入力とする。第２シングルレイヤ符号化部２０は、復号処理部２１と、ＨＬＳ（Ｈｉｇｈ Ｌｅｖｅｌ Ｓｙｎｔａｘ）付け替え部２２と、ビットストリーム生成部２００と、ストリーム合成部２８とを有する。

【0029】

復号処理部２１は、第１シングルレイヤ符号化部１０から出力されたビットストリームに対する復号処理を行い、復号画像をビットストリーム生成部２００のＤＰＢ（復号ピクチャバッファ）２４に出力し、復号画像及び動きベクトルをビットストリーム生成部２００の符号化処理部２５に出力する。復号処理部２１は、例えば、イントラ予測又はインター予測により予測画像を生成する予測処理を行う予測手段と、量子化変換係数に対する逆量子化処理を行って変換係数を出力する逆量子化手段と、変換係数に対する逆変換処理を行って予測残差を出力する逆変換手段と、予測画像に予測残差を加算して復号画像（再構成画像）を出力する加算手段と、復号画像に対するループフィルタ処理を行うループフィルタ手段とを含む。

【0030】

ＨＬＳ付け替え部２２は、第１シングルレイヤ符号化部１０が出力するビットストリームに含まれるプロファイル情報などの高位シンタックス情報をマルチレイヤ符号化信号として適切な情報に付け替え、当該付け替え後のビットストリームをＢＬストリームとしてストリーム合成部２８に出力する。ＨＬＳ付け替え部２２は、例えばＢＬがマルチレイヤ符号化と異なるプロファイル（例えばＭａｉｎ １０プロファイル）で符号化されている場合、プロファイル情報をマルチレイヤプロファイルに変更し、ＥＬと組み合わせて使うストリームであることを示す各種の高位シンタックスを修正する。ここで、ＢＬストリームはＨＬＳの付け替えのみを行い符号化処理を行わないため、きわめて軽量且つ高速に処理が行える。

【0031】

ビットストリーム生成部２００は、復号処理部２１が出力する各種パラメータ（復号画像及び動きベクトル等）を用いて、バッファ部３０が出力する入力映像信号（原映像）からＥＬストリームを生成及び出力する。ビットストリーム生成部２００は、並べ替え部２３と、ＤＰＢ２４と、符号化処理部２５と、復号処理部２６と、エントロピー符号化部２７とを有する。

【0032】

並べ替え部２３は、符号化効率を向上するために映像フレーム（原画像）を表示順と異なる順序に並べ替え、並べ替え後の映像フレームを符号化処理部２５に出力する。

【0033】

ＤＰＢ２４は、復号処理部２１及び２６が出力する復号画像を参照用の画像として蓄積し、当該参照画像を符号化処理部２５に出力する。

【0034】

符号化処理部２５は、ＤＰＢ２４が出力する参照画像を用いて、並べ替え部２３が出力する映像フレーム（原画像）に対する符号化処理を行って量子化変換係数を生成し、量子化変換係数を復号処理部２６及びエントロピー符号化部２７に出力する。符号化処理部２５は、例えば、イントラ予測又はインター予測により予測画像を生成する予測処理を行う予測手段と、原画像に対する予測画像の予測残差を生成する減算手段と、予測残差に対する変換処理を行って変換係数を出力する変換手段と、変換係数に対する量子化処理を行って量子化変換係数を出力する量子化手段とを含む。

【0035】

復号処理部２６は、符号化処理部２５が出力する量子化変換係数に対する復号処理を行って復号画像を生成し、復号画像をＤＰＢ２４に出力する。復号処理部２６は、例えば、量子化変換係数に対する逆量子化処理を行って変換係数を出力する逆量子化手段と、変換係数に対する逆変換処理を行って予測残差を出力する逆変換手段と、予測信号を復号済み信号から生成する予測手段と、生成した予測画像に予測残差を加算して復号画像（再構成画像）を出力する加算手段と、復号画像に対するループフィルタ処理を行うループフィルタ手段とを含む。再構成画像は、符号化処理部に予測参照信号として出力するとともに、インター予測のための参照信号としてＤＰＢ２４に格納する。例えば、復号処理部２６は、ＶＶＣやＨＥＶＣの復号処理を行う。

【0036】

エントロピー符号化部２７は、符号化処理部２５が出力する量子化変換係数に対するエントロピー符号化処理を行ってビットストリームを生成し、当該ビットストリームをＥＬストリームとしてストリーム合成部２８に出力する。

【0037】

ストリーム合成部２８は、ＢＬストリーム及びＥＬストリームを符号化方式で規定された順序に合成し、１つのストリームにして出力する。

【0038】

このように、第１実施形態に係るマルチレイヤ符号化装置１によれば、第１シングルレイヤ符号化部１０と第２シングルレイヤ符号化部２０とを直接に接続して構成する。第１シングルレイヤ符号化部１０及び第２シングルレイヤ符号化部２０のそれぞれは、単一のレイヤのビットストリームを生成すればよくなる。そのため、複数のレイヤを同時に処理するマルチレイヤ符号化部を構成する場合に比べて、第１シングルレイヤ符号化部１０及び第２シングルレイヤ符号化部２０のそれぞれの処理能力及び複雑度を低減でき、少ない開発コストで開発可能である。ここで、第１シングルレイヤ符号化部１０としては、マルチレイヤ符号化のプロファイルに非対応の一般的な符号化部（すなわち、既存の符号化部）を用いることができる。

【0039】

また、第１実施形態に係る第２シングルレイヤ符号化部２０は、一般的な符号化部に比べて復号処理部２１及びＨＬＳ付け替え部２２が追加で必要となるものの、ＢＬ符号化処理部を備える必要がなく、大幅に装置に求める性能を下げることができ、開発コストを低減できる。

【0040】

（第１実施形態の変更例）
第１実施形態の変更例について、上述の第１実施形態との相違点を主として説明する。図３は、第１実施形態の変更例に係るマルチレイヤ符号化装置１の構成を示す図である。

【0041】

本変更例では、上述の第１実施形態に係る第１シングルレイヤ符号化部１０及び第２シングルレイヤ符号化部２０として、共通のハードウェア構成を有するシングルレイヤ符号化部を用いる。具体的には、上述の第１実施形態に係る第２シングルレイヤ符号化部２０の一部の機能を無効化したものを第１シングルレイヤ符号化部１０として用いる。「無効化」とは、当該一部の機能を使用しないことを意味し、当該一部の機能の「ディスエーブル」と称されてもよい。例えば、この無効化の切り替えはスイッチ部２０１（２０１ａ及び２０１ｂ）により行う。スイッチ部２０１（２０１ａ及び２０１ｂ）は、物理的スイッチあるいは論理的スイッチであり、スイッチ部２０１（２０１ａ及び２０１ｂ）を切り替えることでモードの切り替えを実現できる。

【0042】

すなわち、上述の第１実施形態に係る第２シングルレイヤ符号化部２０を基本の共通装置として用いて、当該基本の共通装置を直列に接続することでマルチレイヤ符号化装置１を構成する。これにより、マルチレイヤ符号化装置１をより効率的に構成可能になる。本変更例において、上述の第１実施形態に係る第１シングルレイヤ符号化部１０として用いる当該基本の共通装置を、「シングルレイヤ符号化装置２０ａ」と称し、上述の第１実施形態に係る第２シングルレイヤ符号化部２０として用いる当該基本の共通装置を、「シングルレイヤ符号化装置２０ｂ」と称する。

【0043】

図３に示すように、シングルレイヤ符号化装置２０ａ及びシングルレイヤ符号化装置２０ｂのそれぞれは、外部入力にストリームを入力とし、デコード処理を内蔵した符号化装置であって、モード切替用のスイッチ部２０１（２０１ａ及び２０１ｂ）を物理的又は論理的に持ち、ストリーム入力を無効にした場合はシングルレイヤの符号化装置として動作可能であり、一方、ストリーム入力を有効にした場合は直列接続構成によってマルチレイヤ対応の動作を行う。本変更例では、シングルレイヤ符号化装置２０ａは、スイッチ部２０１ａによってストリーム入力を無効にしており、シングルレイヤの符号化装置として動作する。これに対し、シングルレイヤ符号化装置２０ｂは、スイッチ部２０１ｂによってストリーム入力を有効にしており、マルチレイヤ対応の動作を行う。

【0044】

具体的には、シングルレイヤ符号化装置２０ａ及びシングルレイヤ符号化装置２０ｂは、共通の構成を有する。当該共通の構成は、前段にある他のシングルレイヤ符号化装置が出力するビットストリームに対する復号処理を行う復号処理部２１（２１ａ、２１ｂ）と、当該シングルレイヤ符号化装置がＢＬの符号化に用いられる場合において、復号処理部２１ａを無効化するととともに、入力映像信号を符号化することでビットストリームを出力するビットストリーム生成部２００（２００ａ、２００ｂ）と、を有する。また、当該共通の構成は、ＨＬＳ付け替え部２２（２２ａ、２２ｂ）を有する。当該シングルレイヤ符号化装置がＢＬの符号化に用いられる場合において、ＨＬＳ付け替え部２２ａを無効化する。また、符号化処理部においては復号処理部２１ａからの入力がないため、インターレイヤ予測を無効化する。

【0045】

一方、当該シングルレイヤ符号化装置がＥＬの符号化に用いられる場合においては、当該シングルレイヤ符号化装置は、復号処理部２１及びＨＬＳ付け替え部２２を有効化する。当該シングルレイヤ符号化装置は、前段にある他のシングルレイヤ符号化部により得られたビットストリームをＢＬストリームとして出力し、復号処理を行って導出されたパラメータを用いてビットストリーム生成部２００が入力映像信号を符号化することでＥＬストリームを出力する。

【0046】

具体的には、ＢＬ用のシングルレイヤ符号化装置２０ａは、復号処理部２１ａ及びＨＬＳ付け替え部２２ａを有するものの、復号処理部２１ａ及びＨＬＳ付け替え部２２ａを無効化する。ＢＬ用のシングルレイヤ符号化装置２０ａのビットストリーム生成部２００ａは、入力映像信号からＢＬのビットストリームを生成及び出力する。ビットストリーム生成部２００ａは、並べ替え部２３ａと、ＤＰＢ２４ａと、符号化処理部２５ａと、復号処理部２６ａと、エントロピー符号化部２７ａとを有する。並べ替え部２３ａは、符号化効率を向上するために映像フレーム（原画像）を表示順と異なる順序に並べ替え、並べ替え後の映像フレームを符号化処理部２５ａに出力する。ＤＰＢ２４ａは、復号処理部２６ａが出力する復号画像を参照用の画像として蓄積し、当該参照画像を符号化処理部２５ａに出力する。符号化処理部２５ａは、ＤＰＢ２４ａが出力する参照画像を用いて、並べ替え部２３ａが出力する映像フレーム（原画像）に対する符号化処理を行って量子化変換係数を生成し、量子化変換係数を復号処理部２６ａ及びエントロピー符号化部２７ａに出力する。復号処理部２６ａは、符号化処理部２５ａが出力する量子化変換係数に対する復号処理を行って復号画像を生成し、復号画像をＤＰＢ２４ａに出力する。エントロピー符号化部２７ａは、符号化処理部２５ａが出力するＥＬに関するＨＬＳや量子化パラメータ、量子化変換係数や動きベクトルなど予測制御情報などの符号化情報に対するエントロピー符号化処理を行ってビットストリームを生成し、当該ビットストリームを出力する。

【0047】

一方、ＥＬ用のシングルレイヤ符号化装置２０ｂでは、復号処理部２１ｂ及びＨＬＳ付け替え部２２ｂを有効化する。復号処理部２１ｂは、シングルレイヤ符号化装置２０ａから出力されたビットストリームに対する復号処理を行い、復号画像をビットストリーム生成部２００ｂのＤＰＢ２４ｂに出力し、復号画像及び動きベクトルなどをビットストリーム生成部２００ｂの符号化処理部２５ｂに出力する。ＨＬＳ付け替え部２２ｂは、シングルレイヤ符号化装置２０ａが出力するビットストリームに含まれるプロファイル情報などの高位シンタックスを、マルチレイヤ符号化を示す情報（例えばプロファイル情報、対応レイヤ情報など）に付け替え、当該付け替え後のビットストリームをＢＬストリームとして出力する。ビットストリーム生成部２００ｂは、入力映像信号からＢＬのビットストリームを生成及び出力する。ビットストリーム生成部２００ｂは、並べ替え部２３ｂと、ＤＰＢ２４ｂと、符号化処理部２５ｂと、復号処理部２６ｂと、エントロピー符号化部２７ｂとを有する。並べ替え部２３ｂは、符号化効率を向上するために映像フレーム（原画像）を表示順と異なる順序に並べ替え、並べ替え後の映像フレームを符号化処理部２５ｂに出力する。ＤＰＢ２４ｂは、復号処理部２１及び２６が出力する復号画像を参照用の画像として蓄積し、当該参照画像を符号化処理部２５ｂに出力する。符号化処理部２５ｂは、ＤＰＢ２４ｂが出力する参照画像を用いて、並べ替え部２３ｂが出力する映像フレーム（原画像）に対する符号化処理を行って量子化変換係数を生成し、量子化変換係数などを復号処理部２６ｂ及びエントロピー符号化部２７ｂに出力する。復号処理部２６ｂは、符号化処理部２５ｂが出力する量子化変換係数などに対する復号処理を行って復号画像を生成し、復号画像をＤＰＢ２４ｂに出力する。エントロピー符号化部２７ｂは、符号化処理部２５ｂが出力する量子化変換係数などに対するエントロピー符号化処理を行ってビットストリームを生成し、当該ビットストリームをＥＬストリームとして出力する。

【0048】

このように、本変更例によれば、共通の構成を有する基本の共通装置を直列に接続することでマルチレイヤ符号化装置１を構成する。これにより、マルチレイヤ符号化装置１をより効率的に構成可能になる。具体的には、上述の第１実施形態のように第１シングルレイヤ符号化部１０及び第２シングルレイヤ符号化部２０のそれぞれを個別に製造・管理等する必要がなくなり、マルチレイヤ符号化装置１を容易に実装することが可能になる。

【0049】

（第２実施形態）
第２実施形態について、上述の第１実施形態との相違点を主として説明する。図４は、第２実施形態に係るマルチレイヤ符号化装置１の構成を示す図である。第２実施形態に係るマルチレイヤ符号化装置１では、異なる解像度の映像を用いるスケーラブル符号化、すなわち、空間スケーラブルを行う。

【0050】

図４に示すように、第２実施形態に係るマルチレイヤ符号化装置１は、入力映像信号の解像度を低下させるダウンコンバートを行うダウンコンバート部４０をさらに有する。例えば、ダウンコンバート部４０は、４Ｋ映像である入力映像信号を２Ｋ映像にダウンコンバートする、或いは、８Ｋ映像である入力映像信号を４Ｋ映像にダウンコンバートする。第１シングルレイヤ符号化部１０は、ダウンコンバート部４０が出力するダウンコンバート後の入力映像信号を符号化することでビットストリームを出力する。

【0051】

第２シングルレイヤ符号化部２０は、第１シングルレイヤ符号化部１０により得られたビットストリームをＢＬストリームとして出力する。また、第２シングルレイヤ符号化部２０は、第１シングルレイヤ符号化部１０により得られたビットストリームに対する復号処理を行って、復号映像、及びＢＬストリームに記録されたパラメータ情報を導出し、これらに対してアップサンプリング処理を行う。第２シングルレイヤ符号化部２０は、当該アップサンプリング処理の結果を用いて、バッファ部３０が出力する入力映像信号を符号化し、ＥＬストリームを生成及び出力する。

【0052】

図５は、第２実施形態に係る第２シングルレイヤ符号化部２０の構成を示す図である。

【0053】

第２実施形態に係る第２シングルレイヤ符号化部２０は、復号処理部２１が出力する復号画像をアップサンプリングするアップサンプリング部２０２と、復号処理部２１が出力する動きベクトルをアップサンプリングするアップサンプリング部２０３とをさらに有する。アップサンプリング部２０２及び２０３は、解像度の違いに適したスケールにするようアップサンプリング処理を行う。アップサンプリング部２０２は、アップサンプリング後の復号画像をＤＰＢ２４及び符号化処理部２５に出力する。アップサンプリング部２０３は、アップサンプリング後の復号画像を符号化処理部２５に出力する。その他の構成については、上述の第１実施形態と同様である。

【0054】

（第２実施形態の変更例）
第２実施形態の変更例について、上述の第２実施形態との相違点を主として説明する。図６は、第２実施形態の変更例に係るマルチレイヤ符号化装置１の構成を示す図である。

【0055】

本変更例に係るマルチレイヤ符号化装置１は、上述の第１実施形態の変更例と同様に、第１シングルレイヤ符号化部１０及び第２シングルレイヤ符号化部２０として共通のハードウェア構成を有するシングルレイヤ符号化部を用いる。具体的には、上述の第２実施形態に係る第２シングルレイヤ符号化部２０の一部の機能を無効化したものを第１シングルレイヤ符号化部１０として用いる。

【0056】

すなわち、上述の第２実施形態に係る第２シングルレイヤ符号化部２０を基本の共通装置として用いて、当該基本の共通装置を直列に接続することでマルチレイヤ符号化装置１を構成する。本変更例において、上述の第２実施形態に係る第１シングルレイヤ符号化部１０として用いる当該基本の共通装置を、「シングルレイヤ符号化装置２０ａ」と称し、上述の第２実施形態に係る第２シングルレイヤ符号化部２０として用いる当該基本の共通装置を、「シングルレイヤ符号化装置２０ｂ」と称する。

【0057】

ＢＬ用のシングルレイヤ符号化装置２０ａは、復号処理部２１ａ、ＨＬＳ付け替え部２２ａ、アップサンプリング部２０２ａ、及びアップサンプリング部２０３ａを有するものの、復号処理部２１ａ、ＨＬＳ付け替え部２２ａ、アップサンプリング部２０２ａ、及びアップサンプリング部２０３ａを無効化する。シングルレイヤ符号化装置２０ａは、ダウンコンバート部４０が出力するダウンコンバート後の入力映像信号を符号化することでビットストリームを出力する。

【0058】

一方、ＥＬ用のシングルレイヤ符号化装置２０ｂでは、復号処理部２１ｂ、ＨＬＳ付け替え部２２ｂ、アップサンプリング部２０２ｂ、及びアップサンプリング部２０３ｂを有効化する。シングルレイヤ符号化装置２０ｂは、シングルレイヤ符号化装置２０ａにより得られたビットストリームをＢＬストリームとして出力する。また、シングルレイヤ符号化装置２０ｂは、シングルレイヤ符号化装置２０ａにより得られたビットストリームに対する復号処理を行って導出されたパラメータに対してアップサンプリング部２０２ｂ及びアップサンプリング部２０３ｂがアップサンプリング処理を行い、当該アップサンプリング処理の結果を用いて、バッファ部３０が出力する入力映像信号を符号化し、ＥＬストリームを生成及び出力する。

【0059】

（第３実施形態）
上述の実施形態及びその変更例において、シングルレイヤ符号化部（シングルレイヤ符号化装置）を２段直列に接続した構成のマルチレイヤ符号化装置１について主として説明した。しかしながら、シングルレイヤ符号化部（シングルレイヤ符号化装置）を３段以上直列に接続した構成であってもよい。図７及び図８は、第３実施形態に係るマルチレイヤ符号化装置１の構成を示す図である。

【0060】

図７に示すように、第３実施形態に係るマルチレイヤ符号化装置１は、第１シングルレイヤ符号化部１０と、第１シングルレイヤ符号化部１０の後段に設けられた第２シングルレイヤ符号化部２０Ａと、第２シングルレイヤ符号化部２０Ａの後段に設けられた第３シングルレイヤ符号化部２０Ｂと、バッファ部３０Ａ及び３０Ｂとを有する。第１シングルレイヤ符号化部１０は、ＢＬ用のシングルレイヤ符号化部に相当し、第２シングルレイヤ符号化部２０Ａ及び第３シングルレイヤ符号化部２０Ｂのそれぞれは、ＥＬ用のシングルレイヤ符号化部に相当する。

【0061】

第１シングルレイヤ符号化部１０は、入力映像信号（原画像）を符号化することでビットストリームを生成し、生成したビットストリームを第２シングルレイヤ符号化部２０Ａに出力する。第１シングルレイヤ符号化部１０は、上述の第２実施形態と同様に、ダウンコンバート後の入力映像信号を符号化してもよい（図８参照）。第１シングルレイヤ符号化部１０は、一般的な符号化部で構成可能である。例えば、第１シングルレイヤ符号化部１０は、マルチレイヤ符号化のプロファイルとは異なる一般的なプロファイル（例えば、Ｍａｉｎ１０プロファイル）による符号化を行う符号化部である。

【0062】

或いは、第１シングルレイヤ符号化部１０は、第２シングルレイヤ符号化部２０Ａ及び第３シングルレイヤ符号化部２０Ｂのそれぞれとハードウェア構成が共通化されていてもよい。第１シングルレイヤ符号化部１０は、当該共通の構成における一部の機能が無効化されたものであってもよい（上述の変更例を参照）。

【0063】

第２シングルレイヤ符号化部２０Ａは、上述の実施形態に係る第２シングルレイヤ符号化部２０と同様に構成されている。第２シングルレイヤ符号化部２０Ａは、第１シングルレイヤ符号化部１０により得られたビットストリームをＢＬストリームとして第３シングルレイヤ符号化部２０Ｂに出力する。但し、第１シングルレイヤ符号化部１０がマルチレイヤ符号化と異なる符号化プロファイルによる符号化を行う場合において、第２シングルレイヤ符号化部２０Ａは、第１シングルレイヤ符号化部１０により得られたビットストリームに含まれるプロファイル情報を含む高位シンタックス情報をマルチレイヤ符号化の情報に付け替える。

【0064】

また、第２シングルレイヤ符号化部２０Ａは、第１シングルレイヤ符号化部１０により得られたビットストリームに対する復号処理を行って導出されたパラメータを用いて、バッファ部３０Ａが出力する入力映像信号を符号化し、ＥＬストリーム１を生成及び出力する。第２シングルレイヤ符号化部２０Ａは、ダウンコンバート後の入力映像信号を符号化してもよい（図８参照）。第２シングルレイヤ符号化部２０Ａは、第１シングルレイヤ符号化部１０により得られたビットストリームに対する復号処理を行うことにより、マルチレイヤ符号化（インターレイヤ符号化）に必要なパラメータを取得し、当該パラメータを用いてＥＬストリーム１を生成及び出力する。例えば、第２シングルレイヤ符号化部２０Ａは、Ｍｕｌｔｉｌａｙｅｒ Ｍａｉｎ１０プロファイルにより、ＥＬストリーム１を生成し、ＢＬストリーム及びＥＬストリーム１を合成したビットストリームを出力する。

【0065】

第３シングルレイヤ符号化部２０Ｂは、上述の実施形態に係る第２シングルレイヤ符号化部２０と同様に構成されている。第３シングルレイヤ符号化部２０Ｂは、第２シングルレイヤ符号化部２０Ａが出力するＢＬストリームをそのまま出力する。また、第３シングルレイヤ符号化部２０Ｂは、第２シングルレイヤ符号化部２０Ａが出力するＢＬストリームに対する復号処理を行って導出されたパラメータを用いて、バッファ部３０Ｂが出力する入力映像信号を符号化し、ＥＬストリーム２を生成及び出力する。具体的には、第３シングルレイヤ符号化部２０Ｂは、第２シングルレイヤ符号化部２０Ａが出力するＢＬストリームに対する復号処理を行うことにより、マルチレイヤ符号化（インターレイヤ符号化）に必要なパラメータを取得し、当該パラメータを用いてＥＬストリーム２を生成及び出力する。例えば、第２シングルレイヤ符号化部２０Ａは、Ｍｕｌｔｉｌａｙｅｒ Ｍａｉｎ１０プロファイルにより、ＥＬストリーム２を生成し、ＢＬストリームとＥＬストリーム１とＥＬストリーム２とを合成したビットストリームを出力する。

【0066】

第２シングルレイヤ符号化部２０Ａに入力される入力映像信号（原画像）は、バッファ部３０Ａにより一時的に保持された入力映像信号である。具体的には、バッファ部３０Ａは、第１シングルレイヤ符号化部１０での符号化の所要時間に応じた時間において入力映像信号をバッファする。第２シングルレイヤ符号化部２０Ａは、バッファ部３０Ａが出力する入力映像信号を符号化することでＥＬストリーム１を生成及び出力する。バッファ部３０Ａは第２シングルレイヤ符号化部２０Ａに内蔵されてもよいが、ビットストリームと原画像のＥＬエンコード処理との遅延差を吸収し、適切なタイミングで第２シングルレイヤ符号化部２０ＡがＥＬの符号化処理を行えるようにする。

【0067】

第３シングルレイヤ符号化部２０Ｂに入力される入力映像信号（原画像）は、バッファ部３０Ｂにより一時的に保持された入力映像信号である。具体的には、バッファ部３０Ｂは、第２シングルレイヤ符号化部２０Ａでの符号化の所要時間に応じた時間において、バッファ部３０Ａが出力する入力映像信号をバッファする。第３シングルレイヤ符号化部２０Ｂは、バッファ部３０Ｂが出力する入力映像信号を符号化することでＥＬストリーム２を生成及び出力する。バッファ部３０Ｂは第３シングルレイヤ符号化部２０Ｂに内蔵されてもよいが、適切なタイミングで第３シングルレイヤ符号化部２０ＢがＥＬの符号化処理を行えるようにする。

【0068】

なお、図８の構成例では、入力映像信号をダウンコンバートして第１シングルレイヤ符号化部１０に出力するダウンコンバート部４０Ａと、バッファ部３０Ａが出力する入力映像信号をダウンコンバートして第２シングルレイヤ符号化部２０Ａに出力するダウンコンバート部４０Ｂと、を有する。例えば、入力映像信号が８Ｋ映像信号である場合において、ダウンコンバート部４０Ａは２Ｋにダウンコンバートした映像信号を第１シングルレイヤ符号化部１０に出力し、ダウンコンバート部４０Ｂは４Ｋにダウンコンバートした映像信号を第２シングルレイヤ符号化部２０Ａに出力してもよい。

【0069】

（その他の実施形態）
マルチレイヤ符号化装置１又はシングルレイヤ符号化装置（シングルレイヤ符号化部）２０が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0070】

例えば、プログラムは、コンピュータをマルチレイヤ符号化装置１として機能させる。具体的には、当該プログラムは、コンピュータに、入力映像信号を符号化することでビットストリームを出力する第１シングルレイヤ符号化手順と、第１シングルレイヤ符号化手順の後段に設けられた第２シングルレイヤ符号化手順と、を実行させる。第２シングルレイヤ符号化手順は、第１シングルレイヤ符号化手順により得られたビットストリームをＢＬストリームとして出力する手順と、第１シングルレイヤ符号化手順により得られたビットストリームに対する復号処理を行って導出されたパラメータを用いて入力映像信号を符号化し、ＥＬストリームを出力する手順と、を含む。

【0071】

或いは、プログラムは、コンピュータをシングルレイヤ符号化装置２０として機能させるシングルレイヤ符号化プログラムモジュールであってもよい。具体的には、当該プログラムモジュールは、コンピュータに、前段にある他のシングルレイヤ符号化プログラムモジュールにより得られたビットストリームに対する復号処理を行う復号処理手順と、当該プログラムモジュールがベースレイヤの符号化に用いられる場合において、当該復号処理手順を無効化するととともに、入力映像信号を符号化することでビットストリームを出力するビットストリーム生成手順と、を実行させる。当該プログラムモジュールがエンハンスメントレイヤの符号化に用いられる場合において、当該プログラムモジュールは、前段にある他のシングルレイヤ符号化プログラムモジュールにより得られたビットストリームをＢＬストリームとして出力し、当該復号処理手順を有効化するととともに、復号処理を行って導出されたパラメータを用いて入力映像信号を符号化し、ＥＬストリームを出力する。

【0072】

マルチレイヤ符号化装置１又はシングルレイヤ符号化装置２０が行う各処理を実行する回路を集積化し、マルチレイヤ符号化装置１又はシングルレイヤ符号化装置２０を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

【0073】

本開示で使用されている「に基づいて（ｂａｓｅｄ ｏｎ）」、「に応じて（ｄｅｐｅｎｄｉｎｇ ｏｎ／ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ）」という記載は、別段に明記されていない限り、「のみに基づいて」、「のみに応じて」を意味しない。「に基づいて」という記載は、「のみに基づいて」及び「に少なくとも部分的に基づいて」の両方を意味する。同様に、「に応じて」という記載は、「のみに応じて」及び「に少なくとも部分的に応じて」の両方を意味する。「含む（ｉｎｃｌｕｄｅ）」、「備える（ｃｏｍｐｒｉｓｅ）」、及びそれらの変形の用語は、列挙する項目のみを含むことを意味せず、列挙する項目のみを含んでもよいし、列挙する項目に加えてさらなる項目を含んでもよいことを意味する。また、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。さらに、本開示で使用されている「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。本開示において、例えば、英語でのａ，ａｎ，及びｔｈｅのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

【0074】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0075】

１ ：マルチレイヤ符号化装置
１０ ：第１シングルレイヤ符号化部
２０ ：第２シングルレイヤ符号化部（シングルレイヤ符号化装置）
２０Ａ ：第２シングルレイヤ符号化部
２０Ｂ ：第３シングルレイヤ符号化部
２０ａ ：シングルレイヤ符号化装置
２０ｂ ：シングルレイヤ符号化装置
２１ ：復号処理部
２１ａ ：復号処理部
２１ｂ ：復号処理部
２２ ：ＨＬＳ付け替え部
２２ａ ：ＨＬＳ付け替え部
２２ｂ ：ＨＬＳ付け替え部
２３ ：並べ替え部
２３ａ ：並べ替え部
２３ｂ ：並べ替え部
２５ ：符号化処理部
２５ａ ：符号化処理部
２５ｂ ：符号化処理部
２６ ：復号処理部
２６ａ ：復号処理部
２６ｂ ：復号処理部
２７ ：エントロピー符号化部
２７ａ ：エントロピー符号化部
２７ｂ ：エントロピー符号化部
２８ ：ストリーム合成部
２８ａ ：ストリーム合成部
２８ｂ ：ストリーム合成部
３０ ：バッファ部
３０Ａ ：バッファ部
３０Ｂ ：バッファ部
４０ ：ダウンコンバート部
４０Ａ ：ダウンコンバート部
２００ ：ビットストリーム生成部
２００ａ ：ビットストリーム生成部
２００ｂ ：ビットストリーム生成部
２０１ａ ：スイッチ部
２０１ｂ ：スイッチ部
２０２ ：アップサンプリング部
２０２ａ ：アップサンプリング部
２０２ｂ ：アップサンプリング部
２０３ ：アップサンプリング部
２０３ａ ：アップサンプリング部
２０３ｂ ：アップサンプリング部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】