特許 7387924 復号装置、符号化装置、復号方法、及び符号化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-17

(45)【発行日】2023-11-28

(54)【発明の名称】復号装置、符号化装置、復号方法、及び符号化方法

(51)【国際特許分類】

   H04N 19/70 20140101AFI20231120BHJP

   H04N 19/117 20140101ALI20231120BHJP

   H04N 19/186 20140101ALI20231120BHJP

【ＦＩ】

H04N19/70

H04N19/117

H04N19/186

【請求項の数】 4

(21)【出願番号】P 2023001666

(22)【出願日】2023-01-10

(62)【分割の表示】P 2021184978の分割

【原出願日】2012-12-11

(65)【公開番号】P2023029538

(43)【公開日】2023-03-03

【審査請求日】2023-01-10

(31)【優先権主張番号】P 2012208837

(32)【優先日】2012-09-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】中條 健

(72)【発明者】

【氏名】児玉 知也

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０１１－０８３０２２（ＪＰ，Ａ）

【文献】特表２０１０－５３１６０９（ＪＰ，Ａ）

【文献】特開２００５－０１２４６０（ＪＰ，Ａ）

【文献】特開２００４－０８８７９５（ＪＰ，Ａ）

【文献】特開２０００－２３６５４７（ＪＰ，Ａ）

【文献】国際公開第２０１２／０９０３３４（ＷＯ，Ａ１）

【文献】国際公開第２０１０／００４７２６（ＷＯ，Ａ１）

【文献】CHUJOU, T.，Chroma sampling filter hint SEI，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JCTVC-K0152 (version 1)，ITU-T，2012年10月01日，pp. 1-5

【文献】BROSS, Benjamin et al.，High efficiency video coding (HEVC) text specification draft 8，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 10th，JCTVC-J1003 (version 8)，ITU-T，2012年07月28日，pp. 16-19,29-30,60-65,218,225,237-248

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データ、前記符号化データの色差成分の解像度を示す第１色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第２色差フォーマット、前記復号画像の色差フォーマット変換時に用いるフィルタを特定するためフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を受付ける受付部と、
前記符号化データを復号して前記復号画像を生成する復号部と、
前記フィルタ情報によって示されるフィルタを用いて、前記復号画像を色差フォーマット変換する変換部と、
前記再生時の画素ビット長、前記再生時の色差成分の最大値、および前記再生時の色差成分の最小値を満たすように、色差フォーマット変換された前記復号画像をクリッピング処理し、該クリッピング処理後の前記復号画像を再生画像として出力する出力部と、
を備え、
前記第１色差フォーマットおよび前記第２色差フォーマットは、それぞれ、４：４：４フォーマット、４：２：２フォーマット、または４：２：０フォーマットの色差成分の解像度を示し、
前記フィルタ情報は、フィルタの識別情報を含み、
前記変換部は、前記識別情報と前記第１色差フォーマットと前記第２色差フォーマットに基づいて、予め定められた複数のフィルタの中から、水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方を含む前記フィルタを選択する、
復号装置。

【請求項2】

原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データを生成する符号化部と、
前記符号化データの色差成分の解像度を示す第１色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第２色差フォーマット、前記復号画像の色差フォーマット変換時に用いる水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方であるフィルタを特定するためのフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を生成する生成部と、
前記伝送情報を出力する出力部と、
を備え、
前記第１色差フォーマットおよび前記第２色差フォーマットは、それぞれ、４：４：４フォーマット、４：２：２フォーマット、または４：２：０フォーマットの色差成分の解像度を示す、
符号化装置。

【請求項3】

原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データ、前記符号化データの色差成分の解像度を示す第１色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第２色差フォーマット、前記復号画像の色差フォーマット変換時に用いるフィルタを特定するためフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を受付ける受付ステップと、
前記符号化データを復号して前記復号画像を生成する復号ステップと、
前記フィルタ情報によって示されるフィルタを用いて、前記復号画像を色差フォーマット変換する変換ステップと、
前記再生時の画素ビット長、前記再生時の色差成分の最大値、および前記再生時の色差成分の最小値を満たすように、色差フォーマット変換された前記復号画像をクリッピング処理し、該クリッピング処理後の前記復号画像を再生画像として出力する出力ステップと、
を含み、
前記第１色差フォーマットおよび前記第２色差フォーマットは、それぞれ、４：４：４フォーマット、４：２：２フォーマット、または４：２：０フォーマットの色差成分の解像度を示し、
前記フィルタ情報は、フィルタの識別情報を含み、
前記変換ステップは、前記識別情報と前記第１色差フォーマットと前記第２色差フォーマットに基づいて、予め定められた複数のフィルタの中から、水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方を含む前記フィルタを選択する、
復号方法。

【請求項4】

原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データを生成する符号化ステップと、
前記符号化データの色差成分の解像度を示す第１色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第２色差フォーマット、前記復号画像の色差フォーマット変換時に用いる水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方であるフィルタを特定するためのフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を生成する生成ステップと、
前記伝送情報を出力する出力ステップと、
を含み、
前記第１色差フォーマットおよび前記第２色差フォーマットは、それぞれ、４：４：４フォーマット、４：２：２フォーマット、または４：２：０フォーマットの色差成分の解像度を示す、
符号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、復号装置、符号化装置、復号方法、及び符号化方法に関する。

【背景技術】

【0002】

輝度成分と色差成分を含む画像について、色差成分の解像度を変換した後に符号化することが行われている。また、復号時には、符号化データを復号した後に、色差成分の解像度を変換することが行われている。色差成分の解像度には、４：４：４フォーマット、４：２：２フォーマット、及び４：２：０フォーマット、等の色差フォーマットがある。

【0003】

色差成分の解像度の変換を繰り返す事により、画質劣化が生じる。このため、従来、画質劣化を抑制する試みがなされている。具体的には、画質劣化を抑制する条件を満たすフィルタを、色差成分の解像度の変換に用いるフィルタとして設計することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－１２３９１３号公報

【文献】特開２００９－２４６９２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来では、再生時の色差成分の解像度によっては、画質劣化が生じる場合があった。

【0006】

本発明が解決しようとする課題は、画質劣化を抑制することができる、復号装置、及び符号化装置を提供することである。

【課題を解決するための手段】

【0007】

実施形態の復号装置は、原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データ、前記符号化データの色差成分の解像度を示す第１色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第２色差フォーマット、前記復号画像の色差フォーマット変換時に用いるフィルタを特定するためフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を受付ける受付部と、前記符号化データを復号して前記復号画像を生成する復号部と、前記フィルタ情報によって示されるフィルタを用いて、前記復号画像を色差フォーマット変換する変換部と、前記再生時の画素ビット長、前記再生時の色差成分の最大値、および前記再生時の色差成分の最小値を満たすように、色差フォーマット変換された前記復号画像をクリッピング処理し、該クリッピング処理後の前記復号画像を再生画像として出力する出力部と、を備え、前記第１色差フォーマットおよび前記第２色差フォーマットは、それぞれ、４：４：４フォーマット、４：２：２フォーマット、または４：２：０フォーマットの色差成分の解像度を示し、前記フィルタ情報は、フィルタの識別情報を含み、前記変換部は、前記識別情報と前記第１色差フォーマットと前記第２色差フォーマットに基づいて、予め定められた複数のフィルタの中から、水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方を含む前記フィルタを選択する。

【図面の簡単な説明】

【0008】

【図1】符号化装置の機能的構成を示す図。

【図2】変換部の機能的構成を示す図。

【図3】符号化部の機能的構成を示す図。

【図4】生成部の機能的構成を示す図。

【図5】色差変換情報のシンタクスの一例を示す図。

【図6】定義情報のデータ構造の一例を示す図。

【図7】色差変換情報のシンタクスの一例を示す図。

【図8】色差変換情報のシンタクスの一例を示す図。

【図9】定義情報のデータ構造の一例を示す図。

【図10】定義情報のデータ構造の一例を示す図。

【図11】色差変換フィルタ情報を表現するシンタクスの一例を示す図。

【図12】色差変換情報のシンタクスの一例を示す図。

【図13】色差変換フィルタ情報を表現するシンタクスの一例を示す図。

【図14】定義情報のデータ構造の一例を示す図。

【図15】色差変換フィルタ情報を表現するシンタクスの一例を示す図。

【図16】定義情報のデータ構造の一例を示す図。

【図17】色差変換フィルタ情報を表現するシンタクスの一例を示す図。

【図18】符号化処理の手順を示すフローチャート。

【図19】符号化装置の機能的構成を示す図。

【図20】生成部の機能的構成を示す図。

【図21】変換部の機能的構成を示す図。

【図22】生成部の機能的構成を示す図。

【図23】符号化装置の機能的構成を示す図。

【図24】復号装置の機能的構成を示す図。

【図25】復号部の機能的構成を示す図。

【図26】復号部の機能的構成を示す図。

【図27】変換部の機能的構成を示す図。

【図28】復号処理の手順を示すフローチャート。

【図29】復号部の機能的構成を示す図。

【図30】変換部の機能的構成を示す図。

【図31】符号化装置、及び復号装置のハードウェア構成を示す図。

【発明を実施するための形態】

【0009】

（実施の形態１）
図１は、本実施の形態の符号化装置１０の機能的構成を示す模式図である。

【0010】

符号化装置１０は、原画像の色差成分の解像度を変更した後に符号化する。原画像は、輝度成分と色差成分とを含む画像である。色差成分の解像度には、４：４：４フォーマット、４：２：２フォーマット、及び４：２：０フォーマット、等の色差フォーマットがある。本実施の形態では、これらの色差フォーマットの内の何れかの色差フォーマットの原画像が符号化装置１０に入力される。

【0011】

なお、本実施の形態では、一例として、４：４：４フォーマットの色差フォーマットの原画像が符号化装置１０に入力される場合を説明するが、この形態に限定されない。

【0012】

符号化装置１０は、変換部１２、符号化部１４、生成部１６、ＮＡＬユニット生成部１８、及び伝送情報生成部２０を備える。

【0013】

変換部１２は、原画像に対するフィルタ処理によって、原画像の色差成分の解像度を変換する。変換部１２は、色差成分の解像度を変換した原画像を、色差変換画像として出力する。本実施の形態では、変換部１２は、原画像について、色差成分の解像度を拡大（アップサンプリング）する場合を説明する。

【0014】

図２は、変換部１２の機能的構成を示す模式図である。

【0015】

変換部１２は、符号化装置１０に入力された原画像について、色差成分の解像度を変換する１または複数の変換部を備える。なお、変換部１２による色差成分の解像度の変換を、色差フォーマット変換と称する場合がある。本実施の形態では、変換部１２は、変換部１２Ａ、変換部１２Ｂ、及び出力調整部１２Ｃを備える。

【0016】

変換部１２Ａは、４：４：４フォーマットの原画像を４：２：２フォーマットの画像に変換する。詳細には、変換部１２Ａは、４：４：４フォーマットの原画像を構成する画素の色差成分について、水平方向に１／２に間引くフィルタを用いたフィルタ処理を行う。これによって、変換部１２Ａは、４：４：４フォーマットの原画像を構成する画素の色差成分を、水平方向に１／２に間引くダウンサンプリングを行い、４：２：２フォーマットの画像に変換する。変換部１２Ａは、４：２：２フォーマットの画像を、変換部１２Ｂへ出力する。

【0017】

変換部１２Ｂは、変換部１２Ａから４：２：２フォーマットの画像を受け付ける。変換部１２Ｂは、受け付けた４：２：２フォーマットの画像を４：２：０フォーマットの画像に変換する。詳細には、変換部１２Ｂは、４：２：２フォーマットの画像を構成する画素の色差成分について、垂直方向に１／２に間引くフィルタを用いたフィルタ処理を行う。これによって、変換部１２Ｂは、４：２：２フォーマットの画像を構成する画素の色差成分を、垂直方向に１／２に間引くダウンサンプリングを行い、４：２：０フォーマットの画像に変換する。変換部１２Ｂは、４：２：０フォーマットの画像を、出力調整部１２Ｃへ出力する。

【0018】

出力調整部１２Ｃは、変換部１２Ｂから受け付けた４：２：０フォーマットの画像を構成する各画素値が、規格上定められた最小値以上であり且つ規格上定められた最大値以下の範囲となるように、クリッピング処理を行う。そして、クリッピング処理後の画像を、変換部１２で色差変換した色差変換画像として、符号化部１４へ出力する。色差変換画像は、変換部１２で色差成分の解像度を変換した後の原画像である。

【0019】

図１に戻り、変換部１２は、色差変換画像を符号化部１４へ出力する。また、変換部１２は、色差信号情報を生成部１６へ出力する。

【0020】

色差信号情報は、変換部１２でフィルタ処理に用いたフィルタ情報を含む。本実施の形態では、色差信号情報は、変換部１２Ａで受け付けた４：４：４フォーマットの原画像と、変換部１２Ａでフィルタ処理に用いたフィルタ情報と、変換部１２Ｂで受け付けた４：２：２フォーマットの画像と、変換部１２Ｂでフィルタ処理に用いたフィルタ情報と、を含む。

【0021】

なお、変換部１２Ａでフィルタ処理に用いたフィルタ情報は、本実施の形態では、水平ダウンサンプリングフィルタ情報である。また、変換部１２Ｂでフィルタ処理に用いたフィルタ情報は、本実施の形態では、垂直ダウンサンプリングフィルタ情報である。

【0022】

符号化部１４は、変換部１２から色差変換画像を受け付ける。符号化部１４は、受け付けた色差変換画像を符号化し、符号化データを生成する。本実施の形態では、符号化部１４は、１フレームを複数の画素領域からなるスライスに分割してスライス毎に符号化を行う。

【0023】

図３は、符号化部１４の機能的構成を示す模式図である。

【0024】

符号化部１４は、減算部１４Ａ、変換／量子化部１４Ｂ、エントロピー符号化部１４Ｃ、逆量子化／逆変換部１４Ｄ、加算部１４Ｅ、フレームメモリ１４Ｆ、予測画像生成部１４Ｇ、及び動きベクトル探索部１４Ｈを備える。

【0025】

減算部１４Ａは、変換部１２から色差変換画像を受け付ける。減算部１４Ａは、色差変換画像と予測画像生成部１４Ｇで生成された予測画像との差分を求め、この差分である誤差画像を生成する。

【0026】

変換／量子化部１４Ｂは、誤差画像を変換して変換係数を生成し、変換係数を量子化して量子化係数を生成する。誤差画像の変換方法としては、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）を用いた直交変換や、ウェーブレット変換や、独立成分解析等が挙げられる。変換／量子化部１４Ｂは、これらの何れかの変換方法を用いて誤差画像を変換する。また、変換／量子化部１４Ｂは、予め設定された量子化パラメータを用いて、変換係数を量子化する。

【0027】

変換／量子化部１４Ｂは、エントロピー符号化部１４Ｃ及び逆量子化／逆変換部１４Ｄに量子化係数を出力する。

【0028】

エントロピー符号化部１４Ｃは、変換／量子化部１４Ｂから量子化係数を受け付ける。また、エントロピー符号化部１４Ｃは、後述する動きベクトル探索部１４Ｈから動きベクトル情報を受け付ける。エントロピー符号化部１４Ｃは、量子化係数、及び動きベクトル情報を、予め決められたシンタクスに従ってエントロピー符号化し、符号化データを生成する。シンタクスとは、符号化データの設定規則である。

【0029】

エントロピー符号化部１４Ｃは、例えば、ハフマン符号化や算術符号化を用いてエントロピー符号化する。

【0030】

エントロピー符号化部１４Ｃは、生成した符号化データを、ＮＡＬユニット生成部１８へ出力する。

【0031】

逆量子化／逆変換部１４Ｄは、量子化係数を逆量子化した後に逆変換し、誤差画像を生成する。すなわち、逆量子化／逆変換部１４Ｄは、量子化係数に対して、変換／量子化部１４Ｂの処理と逆の処理を行う。具体的には、変換／量子化部１４Ｂがウェーブレット変換及び量子化を行なった場合には、逆量子化／逆変換部１４Ｄは、逆量子化及び逆ウェーブレット変換を行う。

【0032】

加算部１４Ｅは、逆量子化／逆変換部１４Ｄから誤差画像を受け取り、予測画像生成部１４Ｇから予測画像を受け取る。そして、加算部１４Ｅは、誤差画像と予測画像を加算して復号画像を生成する。この復号画像は、フレームメモリ１４Ｆに保存される。

【0033】

フレームメモリ１４Ｆは、復号画像にフィルタ処理を行い、参照画像として記憶する。フレームメモリ１４Ｆは、参照画像を、予測画像生成部１４Ｇと動きベクトル探索部１４Ｈに出力する。

【0034】

動きベクトル探索部１４Ｈは、変換部１２から受け付けた色差変換画像と、フレームメモリ１４Ｆから受け付けた参照画像と、を用いて、動きベクトル情報を生成する。動きベクトル探索部１４Ｈは、生成した動きベクトル情報を、予測画像生成部１４Ｇとエントロピー符号化部１４Ｃへ出力する。

【0035】

予測画像生成部１４Ｇは、参照画像と動きベクトル情報を用いて、予測画像を生成する。そして、予測画像生成部１４Ｇは、生成した予測画像を、加算部１４Ｅ及び減算部１４Ａへ出力する。

【0036】

ここで、フレームメモリ１４Ｆが生成した参照画像は、色差変換画像と同じ色差フォーマットの画像である。すなわち、参照画像は、本実施の形態では、変換部１２によって色差成分の解像度を変換されることによって得られた色差変換画像と同じ、４：２：０フォーマットの画像である。本実施の形態では、フレームメモリ１４Ｆは、この４：２：０フォーマットの参照画像を、生成部１６へ出力する。

【0037】

図１に戻り、生成部１６は、変換部１２から色差信号情報を受け付ける。また、生成部１６は、符号化部１４から、色差変換画像と同じ色差フォーマット（４：２：０フォーマット）の参照画像を受け付ける。生成部１６は、色差信号情報及び色差変換画像の色差フォーマットの参照画像、を用いて、色差変換情報を生成する。

【0038】

色差変換情報は、第１色差フォーマットと、符号化データを復号した復号画像の色差フォーマット変換時に用いるフィルタの特定情報と、を含む。

【0039】

本実施の形態では、一例として、色差変換フォーマットが、第１色差フォーマットと、第２色差フォーマットと、特定情報と、を含む場合を説明する。

【0040】

第１色差フォーマットは、符号化部１４で符号化した符号化データの色差成分の解像度、すなわち色差フォーマットを示す。言い換えれば、第１色差フォーマットは、色差変換画像の色差フォーマットである。本実施の形態では、第１色差フォーマットは、４：２：０フォーマットである。なお、以下では、色差成分の解像度を、単に、色差フォーマットと称して説明する場合がある。

【0041】

第２色差フォーマットは、符号化データを復号した復号画像の再生時の色差フォーマットである。復号画像の再生時、とは、符号化データを復号した復号画像を再生するときに用いる色差フォーマットであり、再生時の形態や再生機器等によって定まる。本実施の形態では、第２色差フォーマットは、生成部１６に予め設定されている。なお、第２色差フォーマットは、原画像と共に符号化装置１０で受信してもよい。また、第２色差フォーマットは、図示を省略する通信部を介して、外部装置等から受信してもよい。

【0042】

特定情報は、復号画像の色差フォーマット変換時に用いるフィルタを特定するための情報である。

【0043】

本実施の形態では、一例として、特定情報が、第１色差フォーマットの復号画像を第２色差フォーマットに変換するときに用いるフィルタを特定するための情報である場合を説明する。本実施の形態では、特定情報が、第１色差フォーマットの復号画像を第２色差フォーマットに変換するために用いるフィルタ情報である場合を説明する。フィルタ情報は、例えば、フィルタ係数を含む。

【0044】

なお、特定情報は、第２色差フォーマットの参照情報を含んでいてもよい。参照情報は、第２色差フォーマットを特定するためのフラグ等の情報であってもよいし、第２色差フォーマットそのものであってもよい。

【0045】

図４は、生成部１６の機能的構成を示す模式図である。

【0046】

生成部１６は、変換部１２から色差信号情報を受け付ける。また、生成部１６は、色差変換画像と同じ色差フォーマット（４：２：０フォーマット）の参照画像を符号化部１４から受け付ける。

【0047】

上述したように、本実施の形態では、色差信号情報は、変換部１２Ａで受け付けた４：４：４フォーマットの原画像と、変換部１２Ａでフィルタ処理に用いたフィルタ情報と、変換部１２Ｂで受け付けた４：２：２フォーマットの画像と、変換部１２Ｂでフィルタ処理に用いたフィルタ情報と、を含む。

【0048】

生成部１６は、垂直フィルタ情報生成部１６Ａ、変換部１６Ｂ、水平フィルタ情報生成部１６Ｃ、及び生成部１６Ｄを備える。

【0049】

垂直フィルタ情報生成部１６Ａは、色差信号情報に含まれる情報の内、４：２：２フォーマットの画像、及び変換部１２Ｂでフィルタ処理に用いたフィルタ情報（垂直ダウンサンプリングフィルタ情報）を受け付ける。また、垂直フィルタ情報生成部１６Ａは、符号化部１４から、色差変換画像と同じ色差フォーマット（４：２：０フォーマット）の参照画像を受け付ける。

【0050】

垂直フィルタ情報生成部１６Ａは、４：２：２フォーマットの画像と、変換部１２Ｂでフィルタ処理に用いた垂直ダウンサンプリングフィルタ情報と、変換部１２Ｂによる変換後の色差フォーマットの画像である４：２：０フォーマットの参照画像と、から、４：２：０フォーマットの画像を４：２：２フォーマットに変換するために用いるフィルタ情報を設計する。

【0051】

すなわち、垂直フィルタ情報生成部１６Ａは、４：２：０フォーマットの参照画像に対して垂直方向アップサンプリング処理を行うことで、４：２：２フォーマットの画像を得るために用いるフィルタ情報を設計する。そして、垂直フィルタ情報生成部１６Ａは、設計したフィルタ情報である垂直フィルタ情報を、変換部１６Ｂ及び生成部１６Ｄへ出力する。

【0052】

なお、フィルタ情報の設計には、下記式（１）～式（３）を用いる。

【0053】

【数1】

【0054】

式（１）～式（３）は、フィルタ処理前の画像の色差成分と、フィルタ処理後の画像の色差成分との差の二乗平均が最小となるフィルタ、すなわち、ウィナーフィルタの算出式である。

【0055】

式（１）中、Ｆは、フィルタ係数を示す。式（１）中、（ｆ_１～ｆ_ｎ）は、フィルタ係数を示す。なお、ｎは、１以上の整数を示す。

【0056】

式（２）中、Ｓは、フィルタ処理後の画像の色差成分を示す。式（２）中、ｘは、画素の位置を示す。式（２）及び式（３）中、Ｓ_Ｆ（ｘ）は、フィルタ処理後の画像信号を示す。式（３）中、Ｓ_ｏｒｇは、フィルタ処理前の画像の色差成分を示す。

【0057】

変換部１６Ｂは、符号化部１４から、色差変換画像と同じ色差フォーマット（４：２：０フォーマット）の参照画像を受け付ける。また、変換部１６Ｂは、垂直フィルタ情報生成部１６Ａから、垂直フィルタ情報を受け付ける。

【0058】

変換部１６Ｂは、受け付けた垂直フィルタ情報を用いたフィルタ処理を行い、色差変換画像と同じ色差フォーマット（４：２：０フォーマット）の参照画像の色差フォーマットを４：２：２フォーマットに変換する。変換部１６Ｂは、変換により得られた４：２：２フォーマットの画像を、水平フィルタ情報生成部１６Ｃに出力する。

【0059】

水平フィルタ情報生成部１６Ｃは、色差信号情報に含まれる情報の内、変換部１２Ａで受け付けた４：４：４フォーマットの原画像と、変換部１２Ａでフィルタ処理に用いたフィルタ情報（水平ダウンサンプリングフィルタ情報）と、を受け付ける。また、水平フィルタ情報生成部１６Ｃは、変換部１６Ｂから４：２：２フォーマットの画像を受け付ける。

【0060】

水平フィルタ情報生成部１６Ｃは、４：４：４フォーマットの原画像と、水平ダウンサンプリングフィルタ情報と、４：２：２フォーマットの画像と、から、４：２：２フォーマットの画像を４：４：４フォーマットに変換するために用いるフィルタ情報を設計する。フィルタ情報の設計には、上記式（１）～式（３）を用いる。

【0061】

すなわち、水平フィルタ情報生成部１６Ｃは、４：２：２フォーマットの画像に対して水平アップサンプリング処理を行うことで、４：４：４フォーマットの原画像を得るために用いるフィルタ情報を設計する。そして、水平フィルタ情報生成部１６Ｃは、設計したフィルタ情報である水平フィルタ情報を、生成部１６Ｄへ出力する。

【0062】

生成部１６Ｄは、色差変換情報を生成する。詳細には、生成部１６Ｄは、符号化部１４で符号化した符号化データの第１色差フォーマットとして、符号化部１４から受け付けた参照画像の色差フォーマット（４：２：０フォーマット）を用いる。また、生成部１６Ｄは、符号化データを復号した復号画像の再生時の第２色差フォーマットを、図示を省略するメモリから読取る。また、生成部１６Ｄは、特定情報として、垂直フィルタ情報生成部１６Ａから受け付けた垂直フィルタ情報と、水平フィルタ情報生成部１６Ｃから受け付けた水平フィルタ情報と、を用いる。そして、生成部１６Ｄは、第１色差フォーマットと、第２色差フォーマットと、特定情報と、を含む色差変換情報を生成する。

【0063】

なお、生成部１６Ｄは、予め決められた設定規則（シンタクス）に従って色差変換情報を生成する。

【0064】

図５は、色差変換情報のシンタクスの一例を示す図である。

【0065】

色差変換情報は、図５に示すように、ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃ、ｃｏｄｅｄ＿ｄａｔａ＿ｂｉｔ＿ｄｅｐｔｈ、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃ、ｔａｒｇｅｔ＿ｂｉｔ＿ｄｅｐｔｈ、ｍａｘ＿ｖａｌｕｅ、ｍｉｎ＿ｖａｌｕｅ、ｐｒｏｇｒｅｓｓｉｖｅ＿ｆｌａｇ、ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ、ｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１、ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ、ｉｍｐｌｉｃｉｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ、ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｈｏｒｉｚｏｎｔａｌ＿ｉｄｃ、ｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１、及びｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを含む。

【0066】

ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃは、第１色差フォーマットを示す。

【0067】

例えば、ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃの値が「０」である場合、第１色差フォーマットは、輝度のみ規定されたモノクロフォーマットである。ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」である場合、第１色差フォーマットは、４：２：０フォーマットである。ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃの値が「２」である場合、第１色差フォーマットは４：２：２フォーマットである。ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」である場合、第１色差フォーマットは４：４：４フォーマットである。

【0068】

ｃｏｄｅｄ＿ｄａｔａ＿ｂｉｔ＿ｄｅｐｔｈは、符号化データの画素ビット長を示す。

【0069】

ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃは、符号化データを復号した復号画像の再生時の色差フォーマットである第２色差フォーマットを示す。ｔａｒｇｅｔ＿ｂｉｔ＿ｄｅｐｔｈは、再生時の画素ビット長を示す。ｍａｘ＿ｖａｌｕｅは、再生時の色差成分の最大値を示す。ｍｉｎ＿ｖａｌｕｅは、再生時の色差成分の最小値を示す。

【0070】

ｐｒｏｇｒｅｓｓｉｖｅ＿ｆｌａｇは、符号化データがプログレッシブ信号であるか否かを示すフラグである。例えば、ｐｒｏｇｒｅｓｓｉｖｅ＿ｆｌａｇの値が「０」である場合、符号化データは、プログレッシブ信号ではなく、インターレース信号である。この場合、色差変換の処理は、フィールド単位で行う必要があることを示す。

【0071】

ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ、ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｉｄｃ、ｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１、ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ、ｉｍｐｌｉｃｉｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ、ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｈｏｒｉｚｏｎｔａｌ＿ｉｄｃ、ｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１、及びｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ、は、特定情報を示す。

【0072】

ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇは、予め定義した垂直方向のフィルタ情報を用いることを示すフラグである。ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｉｄｃは、予め定義した垂直方向のフィルタ情報の識別情報である。ｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１は、垂直方向のフィルタ係数のタップ長マイナス１の値を示している。

【0073】

ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆは、水平方向のフィルタ係数を示している。ｉｍｐｌｉｃｉｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇは、予め定めた水平方向のフィルタ情報を用いることを示すフラグである。Ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｈｏｒｉｚｏｎｔａｌ＿ｉｄｃは、予め定義した水平方向のフィルタ情報の識別情報である。ｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１は、水平方向のフィルタ係数のタップ長マイナス１の値を示す。ｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆは、水平方向のフィルタ係数を示す。

【0074】

例えば、ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」、すなわち、符号化データのフォーマットである第１色差フォーマットが４：２：０フォーマットであるとする。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」以上、すなわち、復号画像の再生時の色差フォーマットである第２色差フォーマットが４：２：２、または４：４：４フォーマットであるとする。この場合は、垂直方向にアップサンプリングの処理が必要である。このため、この場合、生成部１６は、垂直方向のフィルタ情報（垂直アップサンプリングフィルタ情報）を特定情報として生成する。

【0075】

また、ｃｏｄｅｄ＿ｆｒｏｍａｔ＿ｉｄｃの値が「１」より大きい、すなわち、符号化データのフォーマットである第１色差フォーマットが４：２：２フォーマット、または４：４：４フォーマットであるとする。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」、すなわち、再生時の色差フォーマットである第２色差フォーマットが、４：２：０フォーマットであるとする。この場合、特定情報は、垂直方向のフィルタ情報（垂直ダウンサンプリングフィルタ情報）である。

【0076】

また、ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」または「２」、すなわち、第１色差フォーマットが、４：２：０フォーマット、または４：２：２フォーマットであるとする。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」、すなわち、第２色差フォーマットが４：４：４フォーマットであるとする。この場合、特定情報は、水平方向のフィルタ情報（水平アップサンプリングフィルタ情報）である。

【0077】

また、ｃｏｄｅｄ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」、すなわち、第１色差フォーマットが、４：４：４フォーマットであるとする。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」または「２」、すなわち、第２色差フォーマットが、４：２：０フォーマット、または４：２：２フォーマットであるとする。この場合、特定情報は、水平方向のフィルタ情報（水平ダウンサンプリングフィルタ情報）である。

【0078】

なお、図５中、ｕ（ｎ）は、ｎビットの非負の２進表現を示す。ｎは、１以上の整数である。ｓｅ（ｖ）は、符号付きの０次のＥｘｐ－Ｇｏｌｏｍｂ符号を表す。

【0079】

なお、符号化装置１０は、予め定義した垂直方向のフィルタ情報、及び予め定義した水平方向のフィルタ情報と、これらのフィルタ情報を識別する識別情報と、を対応づけた定義テーブルを、予め生成部１６の図示を省略するメモリに記憶する。

【0080】

図６は、定義情報のデータ構造の一例を示す模式図である。

【0081】

定義情報は、Ｖａｌｕｅと、Ｔａｐ ｌｅｎｇｔｈと、Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓと、を対応づけたテーブルである。

【0082】

Ｖａｌｕｅは、フィルタ情報の識別情報である。Ｖａｌｕｅは、図５に示す色差変換情報に含まれる、ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｉｄｃ、またはｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｈｏｒｉｚｏｎｔａｌ＿ｉｄｃで示される値に対応している。

【0083】

Ｔａｐ ｌｅｎｇｔｈは、フィルタ情報の識別情報であるＶａｌｕｅの値に対応する、フィルタ係数のタップ長を示している。Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓは、フィルタ情報の識別情報であるＶａｌｕｅの値に対応する、フィルタ係数を示している。

【0084】

なお、色差変換情報は、符号化データから得られる情報や、規格化されている再生情報を、含まない形態であってもよい。

【0085】

図７は、符号化データから得られる情報や、規格化されている再生情報を含まない場合の、色差変換情報のシンタクスの一例を示す図である。

【0086】

具体的には、色差変換情報は、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃ、ｐｒｏｇｒｅｓｓｉｖｅ＿ｆｌａｇ、ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ、ｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１、ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ、ｉｍｐｌｉｃｉｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ、ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｈｏｒｉｚｏｎｔａｌ＿ｉｄｃ、ｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１、及びｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを含む。

【0087】

すなわち、図７に示す例では、色差変換情報は、符号化データの色差フォーマットである第１色差フォーマット、及び画素ビット長を含まない。また、図７に示す例では、色差変換情報は、再生時の画素ビット長、再生時の色差成分の最大値及び最小値を含まない。

【0088】

なお、上述したように、色差変換情報は、符号化データの色差成分の解像度を示す第１色差フォーマットと、符号化データを復号した復号画像の色差フォーマット変換時に用いるフィルタの特定情報と、を含む情報であればよい。

【0089】

図８は、色差変換情報のシンタクスの一例を示す模式図である。なお、図８は、色差変換情報が、第１色差フォーマット、符号化データの色差成分の画素サンプル位置と、特定情報と、を含む場合を示した。

【0090】

図８に示す例では、色差変換情報は、ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄ、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏを含む。

【0091】

ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、色差信号の画素位置、及び色差変換に関するフィルタ情報が存在するか否かを示すフラグである。例えば、ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」である場合、このフラグは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在することを示す。また、ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「０」である場合、このフラグは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在しないことを示す。

【0092】

ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄは、符号化データがインターレース走査を用いて符号化された符号化データであるときの、トップフィールドの色差成分の画素サンプル位置（サンプリング対象の画素位置）を示す。このトップフィールドの色差成分の画素サンプル位置には、輝度成分の画素サンプル位置との組み合わせにより、合計６通りの公知の組合せがある。

【0093】

ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄは、符号化データがインターレース走査を用いて符号化された符号化データであるときの、ボトムフィールドの色差成分の画素サンプル位置（サンプリング対象の画素位置）を示す。このボトムフィールドの色差成分の画素サンプル位置には、トップフィールドの場合と同様に、輝度成分の画素サンプル位置との組み合わせにより、合計６通りの公知の組合せがある。

【0094】

ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、色差変換に関するフィルタ情報が存在するか否かを示すフラグである。ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」である場合、色差変換に関するフィルタ情報が存在することを示す。ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「０」である場合、色差変換に関するフィルタ情報が存在しない事を示す。

【0095】

ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏは、色差変換フィルタ情報の識別情報である。色差変換フィルタ情報の識別情報に対応する色差変換フィルタ情報は、色差変換フィルタ定義情報に予め設定されている。

【0096】

図９は、色差変換フィルタ定義情報のデータ構造の一例を示す模式図である。色差変換フィルタ定義情報は、色差変換フィルタ情報の識別情報（図９中、「Ｖａｌｕｅ」に相当）と、該識別情報によって特定される色差変換フィルタ情報と、を対応づけたテーブルである。

【0097】

図９に示す例では、色差変換フィルタ情報は、Ｔａｐ ｌｅｎｇｔｈ、Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓ、Ｄｉｖｉｓｏｒ、Ｐｈａｓｅ ｓｈｉｆｔ、及びＰｕｒｐｏｓｅを含む。

【0098】

Ｔａｐ ｌｅｎｇｔｈは、フィルタ係数のタップ長を示す。Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓは、フィルタ係数を示す。Ｄｉｖｉｓｏｒは、フィルタ処理において、除算を行う場合の分母の数を示す。Ｐｈａｓｅ ｓｈｉｆｔは、フィルタの位相情報を示す。Ｐｕｒｐｏｓｅは、フィルタの種類を示す。具体的には、Ｐｕｒｐｏｓｅは、色差フォーマット変換する場合のダウンサンプリング用フィルタ、または、アップサンプリング用フィルタを示す。

【0099】

図１０は、色差変換フィルタ定義情報のデータ構造の別の例を示す模式図である。図１０に示す色差変換フィルタ定義情報は、図９と同様に、色差変換フィルタ情報の識別情報（図１０中、「Ｖａｌｕｅ」に相当）と、該識別情報によって特定される色差変換フィルタ情報と、を対応づけたテーブルである。

【0100】

図１０に示す例においても、図９と同様に、色差変換フィルタ情報は、Ｔａｐ ｌｅｎｇｔｈ、Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓ、Ｄｉｖｉｓｏｒ、Ｐｈａｓｅ ｓｈｉｆｔ、及びＰｕｒｐｏｓｅを含む。

【0101】

なお、図１０に示す色差変換フィルタ定義情報では、識別情報である「Ｖａｌｕｅ」の値が特定の値の場合には、予め定めたシンタクスに従って色差変換フィルタ情報を生成することを示す。

【0102】

図１１は、色差変換フィルタ情報のシンタクスの一例を示す図である。例えば、図１０に示す色差変換フィルタ定義情報における識別情報である「Ｖａｌｕｅ」の値が「１」である場合、図１１に示すシンタクスの色差変換フィルタ情報を予め対応づける。

【0103】

この場合、生成部１６は、色差変換フィルタ定義情報における識別情報である「Ｖａｌｕｅ」の値が「１」である場合、図１１に示すシンタクスの色差変換フィルタ情報に従って、色差変換フィルタ情報を生成する。

【0104】

図１１に示す色差変換フィルタ情報は、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃ、ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｍｉｎｕｓ１、ｔａｐ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１、ｆｉｌｔｅｒ＿ｃｏｅｆｆを含む。

【0105】

ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃは、上記と同様である。ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｍｉｎｕｓ１は、色差変換フィルタの数マイナス１の値を示す。ｔａｐ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１は、フィルタ係数のタップ長マイナス１の値を示す。ｆｉｌｔｅｒ＿ｃｏｅｆｆは、フィルタ係数を示す。

【0106】

図１２は、色差変換情報のシンタクスの他の一例を示す模式図である。なお、図１２は、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏを含まない点が、図８に示す色差変換情報と異なる。

【0107】

図１２に示す例では、色差変換情報は、ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄ、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含む。

【0108】

ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、色差変換に関するフィルタ情報が別途存在するか否かを示すフラグである。ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」である場合、色差変換に関するフィルタ情報が存在することを示す。ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「０」である場合、色差変換に関するフィルタ情報が存在しないことを示す。

【0109】

図１３は、図１２に示す色差変換情報における、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」である場合に存在する色差変換フィルタ情報の一例を示す図である。

【0110】

図１３に示す色差変換フィルタ情報は、ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｓｅｔ＿ｍｉｎｕｓ１と、ｉｍｐｌｉｃｉｔ＿ｆｉｌｔｅｒ＿ｓｅｔ＿ｆｌａｇと、ｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃと、ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｍｉｎｕｓ１と、ｉｍｐｌｉｃｉｔ＿ｆｉｌｔｅｒ＿ｆｌａｇと、ｆｉｌｔｅｒ＿ｉｄｃと、ｔａｐ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１と、ｆｉｌｔｅｒ＿ｃｏｅｆｆと、を含む。

【0111】

ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｓｅｔ＿ｍｉｎｕｓ１は、フィルタセットの数マイナス１を示す。ｉｍｐｌｉｃｉｔ＿ｆｉｌｔｅｒ＿ｓｅｔ＿ｆｌａｇは、予め定めたフィルタセットの情報を用いることを示すフラグである。ｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃは、予め定義したフィルタセットの情報の識別情報である。ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｍｉｎｕｓ１は、色差変換フィルタの数マイナス１の値を示す。ｉｍｐｌｉｃｉｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、予め定めたフィルタ情報を用いることを示すフラグである。ｆｉｌｔｅｒ＿ｉｄｃは、予め定義したフィルタ情報の識別情報である。ｔａｐ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１は、フィルタ係数のタップ長マイナス１の値を示す。ｆｉｌｔｅｒ＿ｃｏｅｆｆは、フィルタ係数を示す。

【0112】

図１４は、色差変換フィルタ定義情報のデータ構造の一例を示す模式図であり、図９とは異なる例を示す図である。図１４に示す例では、色差変換フィルタ定義情報は、ｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃと、ｆｉｌｔｅｒ＿ｉｄｃと、Ｔａｐ ｌｅｎｇｔｈと、Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓと、Ｄｉｖｉｓｏｒと、Ｐｈａｓｅ ｓｈｉｆｔと、Ｐｕｒｐｏｓｅと、を対応づけたテーブルである。

【0113】

ｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃは、フィルタセットの情報の識別情報である。このｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃの値は、図１３に示すｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃに対応する。

【0114】

ｆｉｌｔｅｒ＿ｉｄｃは、フィルタ情報の識別情報である。このｆｉｌｔｅｒ＿ｉｄｃの値は、図１３に示すｆｉｌｔｅｒ＿ｉｄｃに対応する。

【0115】

Ｔａｐ ｌｅｎｇｔｈは、上記と同様に、フィルタ係数のタップ長を示す。Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓは、フィルタ係数を示す。Ｄｉｖｉｓｏｒは、フィルタ処理において、除算を行う場合の分母の数を示す。Ｐｈａｓｅ ｓｈｉｆｔは、フィルタの位相情報を示す。Ｐｕｒｐｏｓｅは、フィルタの目的を示し、色差フォーマットを変換する場合のダウンサンプリング用、アップサンプリング用を示す。

【0116】

図１５は、色差変換フィルタ定義情報におけるｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」の場合に存在する色差変換フィルタ情報の一例を示す。

【0117】

図１５に示す色差変換フィルタ情報は、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃ、ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ、ｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃ、ｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１、ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ、ｓｅｃｏｎｄ＿ｆｉｌｔｅｒ＿ｆｌａｇ、ｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃ、ｔａｐ＿ｌｅｎｇｔｈ＿ｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１、ｓｅｃｏｎｄ＿ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ、ｉｍｐｌｉｃｉｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｌｔｅｒ＿ｉｄｃ、ｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１、及びｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを含む。

【0118】

ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃは、図５と同様に、第２色差フォーマットを示す。なお、図１５に示す色差変換フィルタ情報では、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値に対する意味付けが、図５とは異なる。具体的には、図１５に示す例では、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「０」である場合、第２色差フォーマットが輝度のみ規定されたモノクロフォーマットであることを示す。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」である場合、第２色差フォーマットが４：２：０フォーマットであることを示す。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「２」である場合、第２色差フォーマットが４：２：２フォーマットであることを示す。ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」である場合、第２色差フォーマットは４：４：４フォーマットであることを示す。

【0119】

なお、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは、符号化データに含まれ、第１色差フォーマットを示す。

【0120】

ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇは、予め定義した垂直方向のフィルタ情報を用いることを示すフラグである。ｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃは、予め定義した垂直方向のフィルタ情報の識別情報である。ｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１は、垂直方向のフィルタ係数のタップ長マイナス１の値を示す。

【0121】

ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆは、垂直方向のフィルタ係数を示す。ｓｅｃｏｎｄ＿ｆｉｌｔｅｒ＿ｆｌａｇは、フィールド信号の場合に、トップフィールドとボトムフィールドで、垂直方向で異なるフィルタセットを使う場合に定義されるフラグであり、もし、ｓｅｃｏｎｄ＿ｆｉｌｔｅｒ＿ｆｌａｇの値が「１」ならば、２つ目の垂直フィルタが定義できる。

【0122】

ｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃは、予め定義した２つ目の垂直方向のフィルタ情報の識別情報である。ｔａｐ＿ｌｅｎｇｔｈ＿ｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１は、２つ目の垂直方向のフィルタ係数のタップ長マイナス１の値を示す。ｓｅｃｏｎｄ＿ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆは、２つ目の垂直方向のフィルタ係数を示す。

【0123】

ｉｍｐｌｉｃｉｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇは、予め定めた水平方向のフィルタ情報を用いることを示すフラグである。

【0124】

ｈｏｒｉｚｏｎｔａｌ＿ｆｉｌｔｅｒ＿ｉｄｃは、予め定義した水平方向のフィルタ情報の識別情報である。ｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１は、水平方向のフィルタ係数のタップ長マイナス１の値を示す。ｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆは、水平方向のフィルタ係数を示す。

【0125】

例えば、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」、すなわち、符号化データのフォーマットである第１色差フォーマットが４：２：０フォーマットであるとする。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」以上、すなわち、復号画像の再生時の色差フォーマットである第２色差フォーマットが４：２：２、または４：４：４フォーマットであるとする。この場合、垂直方向にアップサンプリングの処理が必要である。このため、この場合、生成部１６は、垂直方向のフィルタ情報（垂直アップサンプリングフィルタ情報）を特定情報として生成する。

【0126】

また、ｃｈｒｏｍａ＿ｆｒｏｍａｔ＿ｉｄｃの値が「１」より大きい、すなわち、符号化データのフォーマットである第１色差フォーマットが４：２：２フォーマット、または４：４：４フォーマットであるとする。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」、すなわち、再生時の色差フォーマットである第２色差フォーマットが、４：２：０フォーマットであるとする。この場合、特定情報は、垂直方向のフィルタ情報（垂直ダウンサンプリングフィルタ情報）である。

【0127】

また、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」または「２」、すなわち、第１色差フォーマットが、４：２：０フォーマット、または４：２：２フォーマットであるとする。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」、すなわち、第２色差フォーマットが４：４：４フォーマットであるとする。この場合、特定情報は、水平方向のフィルタ情報（水平アップサンプリングフィルタ情報）である。

【0128】

また、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」、すなわち、第１色差フォーマットが、４：４：４フォーマットであるとする。また、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」または「２」、すなわち、第２色差フォーマットが、４：２：０フォーマット、または４：２：２フォーマットであるとする。この場合、特定情報は、水平方向のフィルタ情報（水平ダウンサンプリングフィルタ情報）である。

【0129】

図１６は、色差変換フィルタ定義情報のデータ構造の図１４とは異なる例を示す模式図である。

【0130】

図１６に示す色差変換フィルタ定義情報は、ｆｉｌｔｅｒ＿ｉｄｃと、Ｔａｐ ｌｅｎｇｔｈと、Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓと、Ｄｉｖｉｓｏｒと、Ｐｈａｓｅ ｓｈｉｆｔと、Ｐｕｒｐｏｓｅと、を対応づけたテーブルである。

【0131】

図１６中の、ｆｉｌｔｅｒ＿ｉｄｃは、フィルタセットの情報の識別情報である。図１５に示す色差変換情報に含まれるｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃ、ｓｅｃｏｎｄ＿ｆｉｌｔｅｒ＿ｉｄｃ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｌｔｅｒ＿ｉｄｃに対応する。

【0132】

Ｔａｐ ｌｅｎｇｔｈは、フィルタ係数のタップ長を示す。Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓは、フィルタ係数を示す。Ｄｉｖｉｓｏｒは、フィルタ処理において、除算を行う場合の分母の数を示す。Ｐｈａｓｅ ｓｈｉｆｔは、フィルタの位相情報を示す。Ｐｕｒｐｏｓｅは、フィルタの目的を示し、色差フォーマットを変換する場合のダウンサンプリング用、アップサンプリング用を示す。

【0133】

図１７は、図８や、図１２に示す色差変換情報におけるｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」の場合に存在する色差変換フィルタ情報の一例を示す。

【0134】

図１７に示す色差変換フィルタは、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃ、ｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１、ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ、ｓｅｃｏｎｄ＿ｆｉｌｔｅｒ＿ｆｌａｇ、ｔａｐ＿ｌｅｎｇｔｈ＿ｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１、ｓｅｃｏｎｄ＿ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ、ｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１、及びｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを含む。なお、図１７に示す色差変換フィルタと、図１５に示す色差変換フィルタとの違いは、全てのフィルタ情報が明示的に定義されている点である。

【0135】

図１へ戻り、生成部１６は、生成した色差変換情報をＮＡＬユニット生成部１８へ出力する。

【0136】

ＮＡＬユニット生成部１８は、符号化部１４から符号化データを受け付ける。また、ＮＡＬユニット生成部１８は、生成部１６から色差変換情報を受け付ける。

【0137】

ＮＡＬユニット生成部１８は、符号化部１４から受け付けた符号化データ、生成部１６から受け付けた色差変換情報、及びヘッダ情報及び書き込み読み出しの際の調整情報であるバイトアライメント情報等を含むＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット情報を生成する。ＮＡＬユニット生成部１８は、生成したＮＡＬユニット情報を、伝送情報生成部２０へ出力する。

【0138】

ＮＡＬユニット情報とは、符号化装置１０が出力する後述する伝送情報に含まれる、ハイレベルシンタクスに相当する情報である。ハイレベルシンタクスとは、伝送情報の構造（シンタクス）の内、スライスより上位のシンタクスであり、伝送情報のフレーム全体に影響を与えるパラメータを含む。本実施の形態では、上述したように、ＮＡＬユニット情報は、符号化データ、生成部１６から受け付けた色差変換情報、及びヘッダ情報及び書き込み読み出しの際の調整情報であるバイトアライメント情報等を含む。

【0139】

伝送情報生成部２０は、ＮＡＬユニット生成部１８からＮＡＬユニット情報を受け付ける。伝送情報生成部２０は、受け付けたＮＡＬユニット情報を、ＭＰＥＧ－２システムや、ＩＳＯファイルフォーマット等のシステムレイヤの情報に変換し、伝送情報を生成する。伝送情報生成部２０は、生成した伝送情報を出力する。

【0140】

次に、符号化装置１０で実行する符号化処理を説明する。

【0141】

図１８は、符号化装置１０で実行する符号化処理の手順を示すフローチャートである。

【0142】

まず、変換部１２が、符号化装置１０で受け付けた原画像について、色差成分の解像度を変換する色差変換処理を実行する（ステップＳ１００）。そして、変換部１２は、色差成分の解像度を変換した原画像を、色差変換画像として符号化部１４へ出力する。また、変換部１２は、色差信号情報を生成部１６へ出力する。

【0143】

次に、符号化部１４が、変換部１２から受け付けた色差変換画像を符号化し、符号化データを生成する（ステップＳ１０２）。符号化部１４は、符号化データをＮＡＬユニット生成部１８へ出力する。また、符号化部１４は、色差変換画像と同じ色差フォーマット（４：２：０フォーマット）の参照画像を生成部１６へ出力する。

【0144】

次に、生成部１６が、変換部１２から受け付けた色差信号情報と、符号化部１４から受け付けた、色差変換画像の色差フォーマットの参照画像と、を用いて、色差変換情報を生成する（ステップＳ１０４）。生成部１６は、生成した色差変換情報をＮＡＬユニット生成部１８へ出力する。

【0145】

次に、ＮＡＬユニット生成部１８が、符号化部１４から受け付けた符号化データ、生成部１６から受け付けた色差変換情報、及びヘッダ情報及び書き込み読み出しの際の調整情報であるバイトアライメント情報等を含む、ＮＡＬユニット情報を生成する（ステップＳ１０６）。ＮＡＬユニット生成部１８は、生成したＮＡＬユニット情報を、伝送情報生成部２０へ出力する。

【0146】

次に、伝送情報生成部２０が、ＮＡＬユニット生成部１８から受け付けたＮＡＬユニット情報をシステムレイヤの情報に変換し、伝送情報を生成する（ステップＳ１０８）。伝送情報生成部２０は、生成した伝送情報を出力する。

【0147】

以上説明したように、本実施の形態の符号化装置１０によれば、符号化部１４が、色差変換画像を符号化して符号化データを生成する。生成部１６は、符号化データの色差成分の解像度を示す第１色差フォーマットと、符号化データを復号した復号画像の再生時の色差成分の解像度を示す第２色差フォーマットと、第１色差フォーマットの符号化データの復号画像を第２色差フォーマットに変換するときに用いるフィルタを特定するための特定情報と、を含む色差変換情報を生成する。

【0148】

このため、符号化装置１０で符号化された符号化データを復号した復号画像の再生時には、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、第１色差フォーマットの符号化データの復号画像を第２色差フォーマットに変換することで、解像度変換による画質劣化を抑制することができる。

【0149】

従って、本実施の形態の符号化装置１０は、画質劣化を抑制することができる。

【0150】

（変形例１）
なお、上記実施の形態では、特定情報が、第１色差フォーマットの復号画像を第２色差フォーマットに変換するために用いるフィルタ情報である場合を説明した。

【0151】

しかし、特定情報は、第１色差フォーマットの復号画像を第２色差フォーマットに変換するときに用いるフィルタを特定するための情報であればよい。例えば、特定情報は、第１色差フォーマットの復号画像を第２色差フォーマットに変換するために用いるフィルタ情報を識別するための識別情報であってもよい。

【0152】

この場合には、フィルタ情報とフィルタ情報の識別情報とを対応づけた上記定義情報を、符号化装置１０と、符号化データを復号する復号装置（後述する復号装置等）と、に予め記憶すればよい。そして、符号化データを復号する装置側では、符号化データを復号した復号画像に、特定情報に含まれる識別情報に対応するフィルタ情報を用いたフィルタ処理を行うことで、復号画像の色差フォーマットを変換すればよい。

【0153】

また、特定情報は、変換部１２でフィルタ処理に用いたフィルタ情報であってもよい。

【0154】

この場合、符号化データを復号する復号装置では、特定情報に含まれるフィルタ情報から、第１色差フォーマットの復号画像を第２色差フォーマットに変換するときに用いるフィルタを設定する。そして、復号装置は、設定したフィルタを用いて、復号画像の色差フォーマットを変換すればよい。

【0155】

（実施の形態２）
本実施の形態では、実施の形態１とは異なる方法で色差変換情報を生成する形態を説明する。

【0156】

図１９は、本実施の形態の符号化装置１０Ａの機能的構成を示す模式図である。

【0157】

符号化装置１０Ａは、変換部１２０、符号化部１４、生成部１６０、ＮＡＬユニット生成部１８、及び伝送情報生成部２０を備える。

【0158】

符号化装置１０Ａは、変換部１２に替えて変換部１２０、生成部１６に替えて生成部１６０を備えた以外は、実施の形態１の符号化装置１０と同様の構成である。

【0159】

なお、変換部１２０は、色差信号情報として、変換部１２０で用いたフィルタ情報を生成部１６０へ出力する以外は、変換部１２と同様の構成である。具体的には、変換部１２０は、変換部１２Ａでフィルタ処理に用いたフィルタ情報と、変換部１２Ｂでフィルタ処理に用いたフィルタ情報と、を含む色差信号情報を生成部１６０へ出力する。なお、本実施の形態では、実施の形態１と同様に、変換部１２Ａで用いたフィルタ情報は、水平ダウンサンプリングフィルタ情報であり、変換部１２Ｂで用いたフィルタ情報は、垂直ダウンサンプリングフィルタ情報である。

【0160】

生成部１６０は、変換部１２０から色差信号情報を受け付ける。生成部１６０は、色差信号情報を用いて、色差変換情報を生成する。

【0161】

図２０は、生成部１６０の機能的構成を示す模式図である。

【0162】

生成部１６０は、垂直フィルタ情報生成部１６０Ａ、水平フィルタ情報生成部１６０Ｂ、及び生成部１６０Ｃを備える。

【0163】

垂直フィルタ情報生成部１６０Ａは、色差信号情報に含まれる情報の内、変換部１２Ｂでフィルタ処理に用いたフィルタ情報（垂直ダウンサンプリングフィルタ情報）を受け付ける。

【0164】

垂直フィルタ情報生成部１６０Ａは、変換部１２Ｂで用いた垂直ダウンサンプリングフィルタ情報から、４：２：０フォーマットの画像を４：２：２フォーマットに変換するために用いるフィルタ情報を設計する。すなわち、垂直フィルタ情報生成部１６０Ａは、４：２：０フォーマットの復号画像に対して垂直方向アップサンプリング処理を行うことで、４：２：２フォーマットの画像を得るために用いるフィルタ情報を設計する。該フィルタ情報の設計は、下記式（４）を用いて行う。そして、垂直フィルタ情報生成部１６０Ａは、設計したフィルタ情報である垂直フィルタ情報を、生成部１６０Ｃへ出力する。

【0165】

水平フィルタ情報生成部１６０Ｂは、色差信号情報に含まれる情報の内、変換部１２Ａでフィルタ処理に用いたフィルタ情報（水平ダウンサンプリングフィルタ情報）から、４：２：２フォーマットの画像を４：４：４フォーマットの原画像に変換するために用いるフィルタ情報を設計する。すなわち、水平フィルタ情報生成部１６０Ｂは、４：２：２フォーマットの画像に対して水平アップサンプリング処理を行うことで、４：４：４フォーマットの原画像を得るために用いるフィルタ情報を設計する。該フィルタ情報の設計は、下記式（４）を用いて行う。そして、水平フィルタ情報生成部１６０Ｂは、設計したフィルタ情報である水平フィルタ情報を、生成部１６０Ｃへ出力する。

【0166】

【数2】

【0167】

式（４）は、垂直フィルタ情報生成部１６０Ａ及び水平フィルタ情報生成部１６０Ｂがフィルタ設計時に用いるフィルタの算出式である。

【0168】

具体的には、式（４）は、一次元の画像と、該一次元の画像を構成する各画素における色差成分を２倍にアップサンプリングした後に各画素における色差成分を１／２にダウンサンプリングした画像と、が同じ画質の画像となるように、フィルタ情報を設計するための式である。

【0169】

式（４）中、Ｄは、ダウンサンプリングフィルタ係数を示すベクトルであり、ｄ_１～ｄ_２ｎ（ｎは１以上の整数）は、ダウンサンプリングフィルタのフィルタ係数を示す。Ｕ及びＶは、アップサンプリングフィルタ係数を示すベクトルであり、ｕ_１～ｕ_ｎ（ｎは１以上の整数）は、トップフィールド用のアップサンプリングに用いるフィルタ係数を示し、ｖ_１～ｖ_ｎ（ｎは１以上の整数）は、ボトムフィールド用のアップサンプリングに用いるフィルタ係数を示す。

【0170】

また、式（４）中、Ｘは、アップサンプリングフィルタ係数を要素とする２ｎ行（２ｎ－１）列の行列であり、Ｉは、要素数２ｎ－１でｎ番目が１で残りが０であるベクトルである。

【0171】

そして、ＤＸ＝Ｉを満たすように、Ｄ、Ｕ、Ｖを設計することで、フィルタ情報を設計する。

【0172】

式（４）を用いることによって、ダウンサンプリングフィルタ係数から、対応するアップサンプリングフィルタ係数を求めることができる。また、逆に、アップサンプリングフィルタ係数から、対応するダウンサンプリングフィルタ係数を求めることもできる。

【0173】

生成部１６０Ｃは、色差変換情報を生成する。詳細には、生成部１６０Ｃは、符号化部１４で符号化した符号化データの第１色差フォーマットとして、符号化部１４から受け付けた参照画像の色差フォーマット（４：２：０フォーマット）を用いる。また、生成部１６０Ｃは、第２色差フォーマットを、図示を省略するメモリから読取る。また、生成部１６０Ｃは、特定情報として、垂直フィルタ情報生成部１６０Ａから受け付けた垂直フィルタ情報と、水平フィルタ情報生成部１６０Ｂから受け付けた水平フィルタ情報と、を用いる。生成部１６０Ｃは、これらの第１色差フォーマット、第２色差フォーマット、及び特定情報を含む色差変換情報を生成し、ＮＡＬユニット生成部１８へ出力する。

【0174】

以上説明したように、本実施の形態の符号化装置１０Ａにおいては、生成部１６０が、変換部１２０で用いたフィルタ情報を色差信号情報として受け付ける。生成部１６０は、受け付けた色差信号情報を用いて、色差変換情報を生成する。

【0175】

このため、符号化装置１０Ａで符号化された符号化データを復号した復号画像の再生時には、色差変換情報に含まれる特定情報によって特定されるフィルタ情報を用いて、第１色差フォーマットの符号化データの復号画像を第２色差フォーマットに変換することで、解像度変換による画質劣化を抑制することができる。

【0176】

従って、実施の形態１とは異なる方法で色差変換情報を生成した場合についても、実施の形態１と同様の効果が得られる。

【0177】

また、実施の形態１における符号化装置１０による効果に加えて、生成部１６０（生成部１６）の構成を簡略化することができる。

【0178】

（変形例２）
なお、上記実施の形態では、変換部１２は、二つの変換部（変換部１２Ａ、変換部１２Ｂ）を備え、原画像について、色差成分の解像度を複数回変換する場合を説明した。しかし、変換部１２は、１回の色差変換を行う機能部であってもよい。また、上記実施の形態では、変換部１２は、色差成分の解像度を縮小するフィルタ処理（ダウンサンプリング）を行う場合を説明した。しかし、変換部１２は、色差成分の解像度を拡大するフィルタ処理（アップサンプリング）を行ってもよい。

【0179】

この場合、図１９に示すように、符号化装置１０Ａは、変換部１２０に替えて変換部１２２を備え、生成部１６０に替えて生成部１６２を備える。

【0180】

図２１は、変換部１２２の機能的構成を示す模式図である。変換部１２２は、変換部１２２Ａ、及び出力調整部１２２Ｂを備える。

【0181】

例えば、変換部１２２は、原画像として、４：２：０フォーマットの原画像を受け付ける。変換部１２２Ａは、受け付けた４：２：０フォーマットの原画像を４：２：２フォーマットの画像に変換する。変換部１２２Ａは、４：２：０フォーマットの原画像を構成する画素の色差成分について、垂直方向に画素補間を行うフィルタ情報を用いたフィルタ処理を行う。これによって、変換部１２２Ａは、４：２：０フォーマットの画像を構成する画素の色差成分を、垂直方向に補間するアップサンプリングを行う。すなわち、変換部１２２Ａは、４：２：０フォーマットの原画像を４：２：２フォーマットの画像に変換する。変換部１２２Ａは、変換後の４：２：２フォーマットの画像を、出力調整部１２２Ｂへ出力する。

【0182】

出力調整部１２２Ｂは、変換部１２２Ａから受け付けた４：２：２フォーマットの画像を構成する各画素値が、規格上定められた最小値以上であり且つ規格上定められた最大値以下の範囲となるように、クリッピング処理を行う。そして、クリッピング処理後の原画像を、変換部１２２で色差変換した色差変換画像として、符号化部１４へ出力する。

【0183】

また、出力調整部１２２Ｂは、変換部１２２Ａでフィルタ処理に用いたフィルタ情報を含む色差信号情報を、生成部１６２へ出力する。

【0184】

次に、生成部１６２について説明する。

【0185】

図２２は、生成部１６２の機能的構成を示す模式図である。

【0186】

生成部１６２は、水平フィルタ情報生成部１６２Ａ及び生成部１６２Ｂを備える。

【0187】

水平フィルタ情報生成部１６２Ａは、色差信号情報として、変換部１２２Ａでフィルタ処理に用いたフィルタ情報（水平アップサンプリングフィルタ情報）を受け付ける。

【0188】

水平フィルタ情報生成部１６２Ａは、変換部１２２Ａでフィルタ処理に用いた水平アップサンプリングフィルタ情報から、４：２：２フォーマットの画像を４：２：０フォーマットに変換するために用いるフィルタ情報を設計する。すなわち、水平フィルタ情報生成部１６２Ａは、４：２：２フォーマットの画像に対して水平方向ダウンサンプリング処理を行うことで、４：２：０フォーマットの画像を得るために用いるフィルタ情報を設計する。そして、水平フィルタ情報生成部１６２Ａは、設計したフィルタ情報である水平フィルタ情報を、生成部１６２Ｂへ出力する。

【0189】

生成部１６２Ｂは、色差変換情報を生成する。詳細には、生成部１６２Ｂは、符号化部１４で符号化した符号化データの第１色差フォーマットとして、符号化部１４から受け付けた参照画像の色差フォーマット（４：２：２フォーマット）を用いる。また、生成部１６２Ｂは、第２色差フォーマットを、図示を省略するメモリから読取る。また、生成部１６２Ｂは、特定情報として、水平フィルタ情報生成部１６２Ａから受け付けた水平フィルタ情報を用いる。

【0190】

生成部１６２Ｂは、これらの第１色差フォーマット、第２色差フォーマット、及び特定情報、を含む色差変換情報を生成し、ＮＡＬユニット生成部１８へ出力する。

【0191】

このように、変換部１２２が、色差成分の解像度を拡大するフィルタ処理（アップサンプリング）を行う場合についても、生成部１６２が、第１色差フォーマットと、第２色差フォーマットと、特定情報と、を含む色差変換情報を生成する。

【0192】

従って、本変形例においても、実施の形態１と同様の効果が得られる。

【0193】

（変形例３）
なお、上記実施の形態では、符号化装置１０、符号化装置１０Ａにおいて、色差変換を行う場合を説明したが、色差変換を行う変換部１２（変換部１２０、変換部１２２）を備えない構成であってもよい。

【0194】

図２３は、符号化装置１０Ｂの機能的構成を示す模式図である。

【0195】

符号化装置１０Ｂは、符号化部１４、ＮＡＬユニット生成部１８、伝送情報生成部２０、及び生成部１６を備える。

【0196】

符号化装置１０Ｂは、変換部１２を備えない構成である以外は、実施の形態１の符号化装置１０と同様の構成である。なお、本実施の形態においては、符号化装置１０Ｂの符号化部１４は、外部装置等から色差変換画像を受け付ける。また、生成部１６は、色差変換情報を外部装置等から受け付ける。

【0197】

このように、符号化装置１０Ｂは、変換部１２を備えない構成であってもよい。

【0198】

（実施の形態３）
本実施の形態では、復号装置を説明する。復号装置は、符号化装置１０、１０Ａ、１０Ｂで生成された伝送情報に含まれる符号化データを復号する装置である。

【0199】

図２４は、本実施の形態の復号装置の機能的構成を示す模式図である。本実施の形態の復号装置５０は、伝送情報復号部５２、ＮＡＬユニット復号部５４、復号部５６、復号部５８、及び変換部６０を備える。

【0200】

伝送情報復号部５２は、伝送情報を受け付ける。本実施の形態では、一例として、実施の形態１の符号化装置１０から伝送情報を受け付ける場合を説明する。また、本実施の形態では、符号化装置１０から、図５に示す色差変換情報を含む伝送情報を受け付ける場合を説明する。伝送情報復号部５２は、受け付けた伝送情報から、ＮＡＬユニット情報を生成する。

【0201】

ＮＡＬユニット復号部５４は、伝送情報復号部５２からＮＡＬユニット情報を受け付け、復号する。これにより、ＮＡＬユニット復号部５４は、符号化データ、色差変換情報、バイトアライメント情報等を得る。

【0202】

ＮＡＬユニット復号部５４は、ＮＡＬユニット情報から得た符号化データを、復号部５６へ出力する。また、ＮＡＬユニット復号部５４は、ＮＡＬユニット情報から得た色差変換情報を、復号部５８へ出力する。

【0203】

復号部５８は、色差変換情報を復号し、第１色差フォーマット、第２色差フォーマット、及び特定情報を得る。そして、変換部６０へ出力する。

【0204】

図２５は、復号部５８の機能的構成を示す模式図である。

【0205】

図２５に示すように、復号部５８は、復号部５８Ａを含む。復号部５８Ａは、色差変換情報を解析し、色差変換情報に含まれる、第１色差フォーマット、第２色差フォーマット、及び特定情報を読取る。そして、読取った第１色差フォーマット、第２色差フォーマット、及び特定情報を含む色差変換情報を、変換部６０へ出力する。

【0206】

なお、復号部５８Ａは、色差変換情報に含まれる特定情報が、第１色差フォーマットの復号画像を第２色差フォーマットに変換するときに用いるフィルタ情報である場合には、復号部５８Ａは、該特定情報をそのまま変換部６０へ出力する。

【0207】

一方、復号部５８Ａは、色差変換情報に含まれる特定情報が、第１色差フォーマットの復号画像を第２色差フォーマットに変換するときに用いるフィルタ情報の識別情報である場合には、識別情報に対応するフィルタ情報を、図示を省略するメモリに予め記憶した定義情報から読み取る。そして、読取ったフィルタ情報を、特定情報として変換部６０へ出力する。

【0208】

また、復号部５８Ａは、色差変換情報に含まれる特定情報が、符号化装置１０の変換部１２におけるフィルタ処理に用いたフィルタ情報である場合には、このフィルタ情報から、第１色差フォーマットの復号画像を第２色差フォーマットに変換するためのフィルタ情報を設計する。そして、設計したフィルタのフィルタ情報を、特定情報として変換部６０に出力する。

【0209】

図２４に戻り、復号部５６は、符号化データを復号し、復号画像を得る。復号部５６は、復号画像を、変換部６０へ出力する。

【0210】

図２６は、復号部５６の機能的構成を示す模式図である。

【0211】

図２６に示すように、復号部５６は、エントロピー復号部５６Ａ、逆量子化／逆変換部５６Ｂ、加算部５６Ｃ、フレームメモリ５６Ｄ、及び予測画像生成部５６Ｅを備える。

【0212】

エントロピー復号部５６Ａは、ＮＡＬユニット復号部５４から符号化データを受け付ける。エントロピー復号部５６Ａは、受け付けた符号化データを、予め決められたシンタクスに従ってエントロピー復号する。これによって、エントロピー復号部５６Ａは、量子化係数、動きベクトル情報を得る。

【0213】

エントロピー復号部５６Ａは、量子化係数を逆量子化／逆変換部５６Ｂへ出力し、動きベクトル情報を予測画像生成部５６Ｅへ出力する。

【0214】

逆量子化／逆変換部５６Ｂは、量子化係数を逆量子化した後に逆変換し、誤差画像を生成する。加算部５６Ｃは、逆量子化／逆変換部５６Ｂから誤差画像を受け取り、予測画像生成部５６Ｅから予測画像を受け取る。そして、加算部５６Ｃは、誤差画像と予測画像を加算して復号画像を生成する。この復号画像は、フレームメモリ５６Ｄに保存された後に、変換部６０及び予測画像生成部５６Ｅへ出力される。

【0215】

予測画像生成部５６Ｅは、復号画像と動きベクトル情報を用いて、予測画像を生成する。そして、予測画像生成部５６Ｅは、生成した予測画像を、加算部５６Ｃへ出力する。

【0216】

図２４へ戻り、変換部６０は、復号部５６から復号画像を受け付ける。また、変換部６０は、復号部５８から色差変換情報を受け付ける。変換部６０は、色差変換情報に含まれる、第１色差フォーマット、第２色差フォーマット、及び特定情報を読取る。そして、変換部６０は、第１色差フォーマットの復号画像について、特定情報によって特定されるフィルタを用いて色差成分の解像度の変換を行い、第２色差フォーマットに変換する。変換部６０は、復号画像の色差成分の解像度の変換によって得た再生画像を、再生装置等に出力する。

【0217】

図２７は、変換部６０の機能的構成を示す模式図である。

【0218】

変換部６０は、変換部６０Ａ、変換部６０Ｂ、及び出力調整部６０Ｃを備える。

【0219】

変換部６０Ａは、４：２：０フォーマットの復号画像を、４：２：２フォーマットに変換する。変換部６０Ａは、復号部５８から受け付けた色差変換情報から、特定情報として、変換部１２Ｂでフィルタ処理に用いたフィルタ情報を読取る。そして、読取ったフィルタ情報を用いてフィルタ処理を行い、４：２：０フォーマットの復号画像を、４：２：２フォーマットに変換する。

【0220】

変換部６０Ａは、変換によって得た４：２：２フォーマットの復号画像を、変換部６０Ｂへ出力する。変換部６０Ｂは、復号部５８から受け付けた色差変換情報から、特定情報として、変換部１２Ａでフィルタ処理に用いたフィルタ情報を読取る。そして、読取ったフィルタ情報を用いてフィルタ処理を行い、４：２：２フォーマットの復号画像を、４：４：４フォーマットに変換する。変換部６０Ｂは、変換後の４：４：４フォーマットの復号画像を、出力調整部６０Ｃへ出力する。

【0221】

出力調整部６０Ｃは、色差変換情報に規定される、再生時の画素ビット長、再生時の色差成分の最大値、再生時の色差成分の最小値を読取るか、或いは、予め定められた色差フォーマットの仕様に従った画素ビット長、最大値、最小値で、これらの値を満たすように、復号画像をクリッピング処理する。そして、クリッピング処理後の復号画像を再生画像として、出力する。

【0222】

次に、復号装置５０で実行する復号処理を説明する。

【0223】

図２８は、復号装置５０で実行する復号処理の手順を示すフローチャートである。

【0224】

まず、伝送情報復号部５２が、符号化装置１０から受け付けた伝送情報を復号する（ステップＳ２００）。ステップＳ２００の処理によって、ＮＡＬユニット情報を得る。

【0225】

次に、ＮＡＬユニット復号部５４が、ステップＳ２００で得られたＮＡＬユニット情報を復号する（ステップＳ２０２）。ステップＳ２０２の処理によってＮＡＬユニット復号部５４は、符号化データ、色差変換情報、バイトアライメント情報等を得る。

【0226】

次に、復号部５６が、ＮＡＬユニット復号部５４から受け付けた符号化データを復号し、復号画像を得る（ステップＳ２０４）。

【0227】

次に、復号部５８が、色差変換情報を復号する（ステップＳ２０６）。ステップＳ２０６の処理によって、復号部５８は、色差変換情報に含まれる、第１色差フォーマット、第２色差フォーマット、及び特定情報を読取る。そして、読取った第１色差フォーマット、第２色差フォーマット、及び特定情報を含む色差変換情報を、変換部６０へ出力する。

【0228】

次に、変換部６０が、復号部５６から受け付けた復号画像を、色差変換情報に規定される第２色差フォーマットに色差変換する（ステップＳ２０８）。変換部６０は、復号画像を色差変換することにより得た再生画像を、再生装置等に出力する。そして、本ルーチンを終了する。

【0229】

以上説明したように、復号装置５０は、色差変換情報と符号化データを含む伝送情報を受け付ける。そして、復号装置５０では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第１色差フォーマットの復号画像を、第２色差フォーマットに変換する。このため、復号装置５０は、解像度変換による画質劣化を抑制することができる。

【0230】

従って、本実施の形態の復号装置５０は、画質劣化を抑制することができる。

【0231】

（変形例４）
次に、伝送情報復号部５２が、図８に示す色差変換情報を含む伝送情報を符号化装置１０から受け付けた場合の、復号部５８及び復号部５８Ａ（図２５参照）の動作を説明する。

【0232】

この場合、復号部５８Ａは、図８に示すシンタクスに従って、色差変換情報を復号する。

【0233】

上述のように、図８に示す色差変換情報におけるｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在するか否かを示すフラグである。このｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「０」である場合、復号部５８Ａは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在しないとみなして、読み飛ばす。一方、ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」である場合、色差信号の画素位置及び色差変換に関するフィルタ情報が存在する。このため、この場合、復号部５８Ａは、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄと、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄと、の各々によって示される値で色差の画素サンプル位置を特定する。

【0234】

また、上述のように、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、色差変換に関するフィルタ情報が存在するか否かを示すフラグである。このため、復号部５８Ａは、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「０」である場合、色差変換に関するフィルタ情報が存在しないことから、読み飛ばす。一方、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」である場合、色差変換に関するフィルタ情報が存在する。このため、この場合、復号部５８Ａは、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏによって示される識別情報（Ｖａｌｕｅ）を、図９または図１０に示す色差変換フィルタ定義情報から読み取る。

【0235】

具体的には、復号部５８Ａは、図９または図１０に示す色差変換フィルタ定義情報における、該識別情報に対応する、フィルタ係数、フィルタ処理を行う場合の分母の数（Ｄｉｖｉｓｏｒ）、フィルタ処理後の色差画素のサンプル位置（Ｐｈａｓｅ ｓｈｉｆｔ）、当該フィルタ係数の用途及び第２色差フォーマットの情報（Ｐｕｒｐｏｓｅ）の各々に対応する情報を読取る。

【0236】

なお、図９及び図１０に示す色差変換フィルタ定義情報には、上述のように、第１色差フォーマットから、第２色差フォーマットへの色差変換を行うフィルタ係数以外にも、対となる符号化装置側において用いた、第２色差フォーマットから第１色差フォーマットへの色差変換を行ったフィルタ係数も含まれる。

【0237】

具体的には、図１０に示す色差変換フィルタ定義情報における、ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏの値が「１」である場合、復号部５８Ａは、図１１に示すシンタクスに従い、第２色差フォーマットであるｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃと、色差変換フィルタの数マイナス１の値を示すｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｍｉｎｕｓ１と、フィルタ係数を示すｆｉｌｔｅｒ＿ｃｏｅｆｆと、の各々の値を読取る。

【0238】

そして、復号部５８Ａは、これらの読み取った値を、変換部６０へ出力する。変換部６０の処理は、上記と同様である。

【0239】

このように、図８に示す色差変換情報を含む伝送情報を受け付けた場合についても同様に、復号装置５０では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第１色差フォーマットの復号画像を色差フォーマット変換する。このため、復号装置５０は、解像度変換による画質劣化を抑制することができる。

【0240】

（変形例５）
次に、伝送情報復号部５２が、図１２に示す色差変換情報を含む伝送情報を符号化装置１０から受け付けた場合の、復号部５８及び復号部５８Ａ（図２５参照）の動作を説明する。

【0241】

この場合、復号部５８Ａは、図１２に示すシンタクスに従って、色差変換情報を復号する。

【0242】

上述のように、図１２に示す色差変換情報におけるｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在するか否かを示すフラグである。ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「０」である場合、色差信号の画素位置及び色差変換に関するフィルタ情報が存在しないので、復号部５８Ａは、このフラグの値を読み飛ばす。

【0243】

一方、ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」である場合、色差信号の画素位置及び色差変換に関するフィルタ情報が存在する。このため、この場合、復号部５８Ａは、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄと、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄと、の各々の値から色差の画素サンプル位置を特定する。

【0244】

ｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、色差変換に関するフィルタ情報が存在するか否かを示すフラグである。このｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が「１」の場合、復号部５８Ａは、図１３、図１５、または図１７の色差変換フィルタ情報のシンタクスに従い、復号を行う。

【0245】

以下、復号部５８Ａが、図１３に示す色差変換フィルタ情報のシンタクスに従い、復号を行う場合を説明する。

【0246】

上述のように、ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｓｅｔ＿ｍｉｎｕｓ１は、フィルタセットの数マイナス１を示す値であり、フィルタセット数分だけ、ループ処理することを示す。また、ｉｍｐｌｉｃｉｔ＿ｆｉｌｔｅｒ＿ｓｅｔ＿ｆｌａｇは、予め定めたフィルタセットの情報を用いることを示すフラグである。このフラグが「１」である場合、復号部５８Ａは、予め定義したフィルタセットの情報の識別情報であるｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃを読み取る。一方、ｉｍｐｌｉｃｉｔ＿ｆｉｌｔｅｒ＿ｓｅｔ＿ｆｌａｇが「０」である場合、復号部５８Ａは、色差変換フィルタの数マイナス１の値を示すｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｍｉｎｕｓ１を読み取り、以下の色差変換フィルタ数のループを行う。

【0247】

上述のように、ｉｍｐｌｉｃｉｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、予め定めたフィルタ情報を用いることを示すフラグである。このフラグの値が「１」である場合、復号部５８Ａは、予め定義したフィルタ情報の識別情報であるｆｉｌｔｅｒ＿ｉｄｃを読み取る。一方、ｉｍｐｌｉｃｉｔ＿ｆｉｌｔｅｒ＿ｆｌａｇの値が「０」である場合、復号部５８Ａは、フィルタ係数のタップ長マイナス１の値を示すｔａｐ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１をよみ取る。そして、復号部５８Ａは、読取ったフィルタ係数タップ長分だけループを行い、フィルタ係数値を表すｆｉｌｔｅｒ＿ｃｏｅｆｆを読み取る。

【0248】

次に、復号部５８Ａは、ｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃ及びｆｉｌｔｅｒ＿ｉｄｃに対応する予め定義した色差変換フィルタ定義情報のフィルタ係数のタップ長（Ｔａｐ ｌｅｎｇｔｈ）、フィルタ係数（Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔ）、フィルタ処理を行う場合の分母の数（Ｄｉｖｉｓｏｒ）、フィルタ処理後の色差画素のサンプル位置（Ｐｈａｓｅ ｓｈｉｆｔ）、当該フィルタ係数の用途及び第２色差フォーマットの情報（Ｐｕｒｐｏｓｅ）の各々の値を読取る。なお、ｆｉｌｔｅｒ＿ｓｅｔ＿ｉｄｃでは、復号側でのフィルタ処理と対になる符号化側でのフィルタ処理でのフィルタ係数も定義できる。

【0249】

そして、復号部５８Ａは、これらの読み取った値を、変換部６０へ出力する。変換部６０の処理は、上記と同様である。

【0250】

このように、図１２に示す色差変換情報を含む伝送情報を受け付けた場合についても同様に、復号装置５０では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第１色差フォーマットの復号画像を色差フォーマット変換する。このため、復号装置５０は、解像度変換による画質劣化を抑制することができる。

【0251】

（変形例６）
次に、変形例５において、復号部５８Ａが、図１４に示す色差変換フィルタ情報のシンタクスに従い、復号を行う場合を説明する。

【0252】

上述のように、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃは、第２色差フォーマットを示す。また、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは、第１色差フォーマットを示す。

【0253】

ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」であり且つｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」より大きい場合、若しくは、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」より大きく且つｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」である場合、復号部５８Ａは、垂直方向のフィルタ情報を読み込む。

【0254】

上述のように、ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇは、予め定義した垂直方向のフィルタ情報を用いることを示すフラグである。このフラグの値が「１」である場合、復号部５８Ａは、予め定義した垂直方向のフィルタ情報の識別情報であるｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃを読み取る。一方、ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇの値が「０」である場合、復号部５８Ａは、垂直方向のフィルタ係数のタップ長マイナス１の値を示すｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１を読取り、タップ長分の垂直フィルタ係数ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを読み込む。

【0255】

そして、復号部５８Ａは、符号化データがフィールド信号である場合、トップフィールドとボトムフィールドにおいて、垂直方向で異なるフィルタセットを使う場合に定義されるフラグであるｓｅｃｏｎｄ＿ｆｉｌｔｅｒ＿ｆｌａｇを読み取る。そして、このフラグの値が「１」で有り、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」であり、且つ、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」より大きい場合、２つ目のフィルタ情報が存在する。

【0256】

一方、ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇの値が「１」である場合、復号部５８Ａは、予め定義した２つ目の垂直方向のフィルタ情報の識別情報であるｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃを読み取る。また、ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇの値が「０」である場合、復号部５８Ａは、２つ目の垂直方向のフィルタ係数のタップ長マイナス１の値を示すｔａｐ＿ｌｅｎｇｔｈ＿ｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１を読み取り、タップ長分の垂直フィルタ係数ｓｅｃｏｎｄ＿ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを読み込む。

【0257】

また、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」または「２」であり、且つ、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」である場合、或いは、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」であり、且つ、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃが「１」或いは「２」の場合、復号部５８Ａは、水平方向のフィルタ情報を読み込む。

【0258】

ｉｍｐｌｉｃｉｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇは、予め定義した水平方向のフィルタ情報を用いることを示すフラグである。このフラグの値が「１」である場合、復号部５８Ａは、予め定義した水平方向のフィルタ情報の識別情報であるｈｏｒｉｚｏｎｔａｌ＿ｆｉｌｔｅｒ＿ｉｄｃを読み取る。一方、ｉｍｐｌｉｃｉｔ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇの値が「０」の場合、復号部５８Ａは、水平方向のフィルタ係数のタップ長マイナス１の値を示すｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１を読取り、タップ長分の水平フィルタ係数ｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを読み込む。

【0259】

そして、復号部５８Ａは、図１５に示す、ｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃ、ｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｉｄｃ、またはｈｏｒｉｚｏｎｔａｌ＿ｆｉｌｔｅｒ＿ｉｄｃに対応する、図１６におけるｆｉｌｔｅｒ＿ｉｄｃを特定する。そして、復号部５８Ａは、特定したｆｉｌｔｅｒ＿ｉｄｃに対応する、予め定義した色差変換フィルタ定義情報のフィルタ係数のタップ長（Ｔａｐ ｌｅｎｇｔｈ）、フィルタ係数（Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓ）、フィルタ処理を行う場合の分母の数（Ｄｉｖｉｓｏｒ）、フィルタ処理後の色差画素のサンプル位置（Ｐｈａｓｅ ｓｈｉｆｔ）、当該フィルタ係数の用途及び第２色差フォーマットの情報（Ｐｕｒｐｏｓｅ）の各々の情報を得る。

【0260】

そして、復号部５８Ａは、これらの読み取った値を、変換部６０へ出力する。変換部６０の処理は、上記と同様である。

【0261】

このように、図１４に示す色差変換フィルタ情報のシンタクスに従い、復号を行った場合についても同様に、復号装置５０では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第１色差フォーマットの復号画像を色差フォーマット変換する。このため、復号装置５０は、解像度変換による画質劣化を抑制することができる。

【0262】

（変形例７）
次に、変形例５において、復号部５８Ａが、図１７に示す色差変換フィルタ情報のシンタクスに従い、復号を行う場合を説明する。

【0263】

ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」であり且つｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」より大きい場合、或いは、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」より大きく且つ、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃが「１」である場合、復号部５８Ａは、垂直方向のフィルタ情報を読み込む。

【0264】

具体的には、復号部５８Ａは、垂直方向のフィルタ係数のタップ長マイナス１の値を示すｔａｐ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１を読取り、タップ長分の垂直フィルタ係数ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを読み込む。

【0265】

なお、復号部５８Ａは、符号化データがフィールド信号である場合、トップフィールドとボトムフィールドで、垂直方向に異なるフィルタセットを使う場合に定義されるフラグであるｓｅｃｏｎｄ＿ｆｉｌｔｅｒ＿ｆｌａｇを読み込む。そして、このフラグの値が「１」であり、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」であり、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」より大きい場合、２つ目のフィルタ情報が存在することとなる。

【0266】

このため、この場合、復号部５８Ａは、２つ目の垂直方向のフィルタ係数のタップ長マイナス１の値を示すｔａｐ＿ｌｅｎｇｔｈ＿ｓｅｃｏｎｄ＿ｖｅｒｔｉｃａｌ＿ｍｉｎｕｓ１を読取り、タップ長分の垂直フィルタ係数ｓｅｃｏｎｄ＿ｖｅｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを読み込む。

【0267】

一方、もし、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「１」或いは「２」であり、且つ、ｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」である場合、或いは、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値が「３」であり且つｔａｒｇｅｔ＿ｆｏｒｍａｔ＿ｉｄｃが「１」または「２」の場合、復号部５８Ａは、水平方向のフィルタ情報を読み込む。

【0268】

水平方向のフィルタ係数のタップ長マイナス１の値をしめすｔａｐ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ＿ｍｉｎｕｓ１を読取り、タップ長分の水平フィルタ係数ｈｏｒ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆを読み込む。

【0269】

そして、復号部５８Ａは、これらの読み取った値を、変換部６０へ出力する。変換部６０の処理は、上記と同様である。

【0270】

このように、図１７に示す色差変換フィルタ情報のシンタクスに従い、復号を行った場合についても同様に、復号装置５０では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第１色差フォーマットの復号画像を色差フォーマット変換する。このため、復号装置５０は、解像度変換による画質劣化を抑制することができる。

【0271】

（変形例８）
次に、復号装置５０が、符号化装置１０の変換部１２におけるフィルタ処理に用いたフィルタ情報を特定情報として含む、伝送情報を受け付けた場合を具体的に説明する。

【0272】

この場合、図２４に示す復号装置５０は、復号部５８に替えて、復号部５８０を備えた構成とすればよい。

【0273】

図２９は、復号部５８０の機能的構成を示す模式図である。復号部５８０は、復号部５８０Ａ、垂直フィルタ情報生成部５８０Ｂ、及び水平フィルタ情報生成部５８０Ｃを備える。

【0274】

復号部５８０Ａは、色差変換情報を解析し、色差変換情報に含まれる、第１色差フォーマット、第２色差フォーマット、及び特定情報を読取る。本変形例では、特定情報は、符号化装置１０の変換部１２におけるフィルタ処理に用いたフィルタ情報である。また、本変形例では、特定情報として、垂直ダウンサンプリングフィルタ情報、及び水平ダウンサンプリングフィルタ情報を含む。

【0275】

垂直フィルタ情報生成部５８０Ｂは、特定情報に含まれる垂直ダウンサンプリングフィルタ情報から、復号装置５０の変換部６０でフィルタ処理時に用いる垂直アップサンプリングフィルタ情報を生成する。水平フィルタ情報生成部５８０Ｃは、特定情報に含まれる水平ダウンサンプリングフィルタ情報から、復号装置５０の変換部６０でフィルタ処理時に用いる水平アップサンプリングフィルタ情報を生成する。そして、復号部５８０は、垂直フィルタ情報生成部５８０Ｂで生成された垂直アップサンプリングフィルタ情報、及び水平フィルタ情報生成部５８０Ｃで生成された水平アップサンプリングフィルタ情報と、第１色差フォーマットと、第２色差フォーマットと、を含む色差変換情報を、変換部６０へ出力する。

【0276】

変換部６０では、上記実施の形態と同様にして、色差変換情報に含まれる、第１色差フォーマット、第２色差フォーマット、及び特定情報を読取る。そして、変換部６０は、第１色差フォーマットの復号画像について、特定情報によって特定されるフィルタを用いて色差成分の解像度の変換を行い、第２色差フォーマットに変換する。変換部６０は、復号画像の色差成分の解像度の変換によって得た再生画像を、再生装置等に出力する。

【0277】

このように、復号装置５０側で、復号装置５０の変換部６０のフィルタ処理に用いるフィルタ情報を生成してもよい。

【0278】

なお、復号部５８または復号部５８０が生成した色差変換情報に含まれる特定情報が、垂直ダウンサンプリングフィルタ情報を含むとする。

【0279】

この場合には、復号装置５０は、変換部６０に替えて変換部６００を備える。

【0280】

図３０は、変換部６００の機能的構成を示す模式図である。

【0281】

変換部６００は、変換部６００Ａ及び出力調整部６００Ｂを備える。

【0282】

変換部６００Ａは、復号部５６から４：２：２フォーマットの復号画像を受け付ける。変換部６００Ａは、受け付けた４：２：２フォーマットの復号画像を、復号部５８または復号部５８０から受け付けた色差変換情報に含まれる特定情報によって示される垂直ダウンサンプリングフィルタ情報を用いて、４：２：０フォーマットに色差変換する。すなわち、変換部６００Ａは、４：２：２フォーマットの復号画像を構成する画素の色差成分について、垂直ダウンサンプリングフィルタ情報を用いて、垂直方向に１／２に間引くダウンサンプリングを行う。変換部６００Ａは、変換後の４：２：０フォーマットの復号画像を、出力調整部６００Ｂへ出力する。

【0283】

出力調整部６００Ｂは、色差変換情報に規定される、再生時の画素ビット長、再生時の色差成分の最大値、再生時の色差成分の最小値を読取るか、或いは、予め定められた色差フォーマットの仕様に従った画素ビット長、最大値、最小値で、これらの値を満たすように、復号画像をクリッピング処理する。そして、クリッピング処理後の復号画像を、再生対象の再生画像として、出力する。

【0284】

（実施の形態４）
次に、符号化装置１０、１０Ａ、１０Ｂ、及び復号装置５０のハードウェア構成について説明する。図３１は、符号化装置１０、１０Ａ、１０Ｂ、及び復号装置５０のハードウェア構成を示すブロック図である。

【0285】

本実施の形態の符号化装置１０、１０Ａ、１０Ｂ、及び復号装置５０は、通信インタフェース（ＩＦ）８６、ＣＰＵ８０（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８２、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８４等がバスにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

【0286】

ＣＰＵ８０は、符号化装置１０、１０Ａ、１０Ｂ、及び復号装置５０の各々における、全体の処理を制御する演算装置である。ＲＡＭ８４は、ＣＰＵ８０による各種処理に必要なデータを記憶する。ＲＯＭ８２は、ＣＰＵ８０による各種処理を実現するプログラム等を記憶する。通信インタフェース（ＩＦ）８６は、外部装置と通信回線を介して接続し、接続した外部装置との間でデータを送受信するためのインタフェースである。

【0287】

なお、符号化装置１０、１０Ａ、１０Ｂで実行される符号化処理を実行するためのプログラム、及び復号装置５０で実行される復号処理を実行するためのプログラムは、ＲＯＭ８２等に予め組み込んで提供される。

【0288】

なお、符号化装置１０、１０Ａ、１０Ｂで実行される符号化処理を実行するためのプログラム、及び復号装置５０で実行される復号処理を実行するためのプログラムは、符号化装置１０、１０Ａ、１０Ｂ、及び復号装置５０にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

【0289】

また、符号化装置１０、１０Ａ、１０Ｂで実行される符号化処理を実行するためのプログラム、及び復号装置５０で実行される復号処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、符号化装置１０、１０Ａ、１０Ｂで実行される符号化処理を実行するためのプログラム、及び復号装置５０で実行される復号処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0290】

符号化装置１０、１０Ａ、１０Ｂで実行される符号化処理を実行するためのプログラム、及び復号装置５０で実行される復号処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ８０が、ＲＯＭ８２等から各種プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した機能構成が主記憶装置上に生成されるようになっている。

【0291】

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変換を行うことができる。これらの実施の形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0292】

１０、１０Ａ、１０Ｂ 符号化装置
１４ 符号化部
１６、１６０、１６２ 生成部
５０ 復号装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】