特許 7528944 画像処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】画像処理装置および方法

(51)【国際特許分類】

   H04N 19/126 20140101AFI20240730BHJP

   H04N 19/157 20140101ALI20240730BHJP

   H04N 19/176 20140101ALI20240730BHJP

   H04N 19/70 20140101ALI20240730BHJP

【ＦＩ】

H04N19/126

H04N19/157

H04N19/176

H04N19/70

【請求項の数】 12

(21)【出願番号】P 2021544048

(86)(22)【出願日】2020-09-04

(86)【国際出願番号】 JP2020033573

(87)【国際公開番号】W WO2021045188

(87)【国際公開日】2021-03-11

【審査請求日】2023-07-20

(31)【優先権主張番号】62/896,989

(32)【優先日】2019-09-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/901,895

(32)【優先日】2019-09-18

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】筑波 健史

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１９／００３６７６（ＷＯ，Ａ１）

【文献】M. Albrecht et al.，Description of SDR, HDR, and 360°video coding technology proposal by Fraunhofer HHI，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-J0014-v1，10th Meeting: San Diego, US，2018年04月，pp.i,31-34

【文献】Tung Nguyen et al.，Non-CE8: Minimum Allowed QP for Transform Skip Mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0405-v1，15th Meeting: Gothenburg, SE，2019年06月，pp.1-3

【文献】Marta Karczewicz et al.，Non-CE8: Minimum Allowed QP for Transform Skip Mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0919-v2，15th Meeting: Gothenburg, SE，2019年06月，pp.1-3

【文献】Tsung-Chuan Ma et al.，Lossless coding for VVC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O1061，15th Meeting: Gothenburg, SE，2019年07月，pp.1-17

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

依存量子化が適用され、かつ、変換スキップが適用されない場合、補正された量子化パラメータを用いて量子化係数を逆量子化する逆量子化部と、
前記変換スキップが適用されない場合、前記逆量子化により生成された変換係数を逆係数変換して、画像と前記画像の予測画像との残差である予測残差を生成し、前記変換スキップが適用される場合、前記逆係数変換をスキップする逆変換部と
を備える画像処理装置。

【請求項2】

前記逆量子化部は、補正された前記量子化パラメータとして、前記依存量子化に応じた値が加算された前記量子化パラメータを用いて前記量子化係数を逆量子化する
請求項１に記載の画像処理装置。

【請求項3】

前記逆量子化部は、前記依存量子化が適用されるかを示すフラグが真であり、かつ、前記変換スキップが適用されるかを示すフラグが偽である場合、補正された前記量子化パラメータを用いて前記量子化係数を逆量子化する
請求項１に記載の画像処理装置。

【請求項4】

前記逆量子化部は、前記依存量子化が適用されない場合、または、前記変換スキップが適用される場合、補正されていない前記量子化パラメータを用いて前記量子化係数を逆量子化する
請求項１に記載の画像処理装置。

【請求項5】

前記逆量子化部は、前記依存量子化が適用されるかを示すフラグが偽である場合、または、前記変換スキップが適用されるかを示すフラグが真である場合、補正されていない前記量子化パラメータを用いて前記量子化係数を逆量子化する
請求項１に記載の画像処理装置。

【請求項6】

依存量子化が適用され、かつ、変換スキップが適用されない場合、補正された量子化パラメータを用いて量子化係数を逆量子化し、
前記変換スキップが適用されない場合、前記逆量子化により生成された変換係数を逆係数変換して、画像と前記画像の予測画像との残差である予測残差を生成し、前記変換スキップが適用される場合、前記逆係数変換をスキップする
画像処理方法。

【請求項7】

変換スキップが適用されない場合、画像と前記画像の予測画像との残差である予測残差を係数変換して変換係数を生成し、前記変換スキップが適用される場合、前記係数変換をスキップする変換部と、
依存量子化が適用され、かつ、前記変換スキップが適用されない場合、補正された量子化パラメータを用いて前記変換係数を量子化する量子化部と
を備える画像処理装置。

【請求項8】

前記量子化部は、補正された前記量子化パラメータとして、前記依存量子化に応じた値が加算された前記量子化パラメータを用いて前記変換係数を量子化する
請求項７に記載の画像処理装置。

【請求項9】

前記量子化部は、前記依存量子化が適用されるかを示すフラグが真であり、かつ、前記変換スキップが適用されるかを示すフラグが偽である場合、補正された前記量子化パラメータを用いて前記変換係数を量子化する
請求項７に記載の画像処理装置。

【請求項10】

前記量子化部は、前記依存量子化が適用されない場合、または、前記変換スキップが適用される場合、補正されていない前記量子化パラメータを用いて前記変換係数または前記予測残差を量子化する
請求項７に記載の画像処理装置。

【請求項11】

前記量子化部は、前記依存量子化が適用されるかを示すフラグが偽である場合、または、前記変換スキップが適用されるかを示すフラグが真である場合、補正されていない前記量子化パラメータを用いて前記変換係数または前記予測残差を量子化する
請求項７に記載の画像処理装置。

【請求項12】

変換スキップが適用されない場合、画像と前記画像の予測画像との残差である予測残差を係数変換して変換係数を生成し、前記変換スキップが適用される場合、前記係数変換をスキップし、
依存量子化が適用され、かつ、前記変換スキップが適用されない場合、補正された量子化パラメータを用いて前記変換係数を量子化する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置および方法に関し、特に、符号化および復号による情報の損失を抑制することができるようにした画像処理装置および方法に関する。

【背景技術】

【0002】

従来、動画像の予測残差を導出し、係数変換し、量子化して符号化する符号化方法が提案された（例えば、非特許文献１）。また、その画像符号化において、変換量子化バイパスを使用して係数変換や量子化等をスキップ（省略）し、予測残差を可逆符号化するロスレス符号化が提案された（例えば、非特許文献２）。

【0003】

ところで、変換量子化バイパスを使用せずに、量子化係数Qcoefを量子化ステップサイズが1となるQP=4で逆量子化し、変換スキップすることで可逆符号化（ロスレスな符号化）を目指す方法があった。このようなアプローチを便宜的に”変換スキップ+QP4”アプローチと称する。

【先行技術文献】

【非特許文献】

【0004】

【文献】VTM-5.0 in https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM

【文献】Tsung-Chuan Ma, Yi-Wen Chen, Xiaoyu Xiu, Xianglin Wang, Tangi Poirier, Fabrice Le Leannec, Karam Naser, Edouard Francois, Hyeongmun Jang, Junghak Nam, Naeri Park, Jungah Choi, Seunghwan Kim, Jaehyun Lim, "Lossless coding for VVC", JVET-O1061, m49678, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、このような”変換スキップ+QP4”アプローチの場合、従来の方法では、パラメータの設定がロスレス符号化に対応しておらず、符号化および復号により情報が損失するおそれがあった。

【0006】

本開示は、このような状況に鑑みてなされたものであり、符号化および復号による情報の損失を抑制することができるようにするものである。

【課題を解決するための手段】

【0007】

本技術の一側面の画像処理装置は、依存量子化が適用され、かつ、変換スキップが適用されない場合、補正された量子化パラメータを用いて量子化係数を逆量子化する逆量子化部と、前記変換スキップが適用されない場合、前記逆量子化により生成された変換係数を逆係数変換して、画像と前記画像の予測画像との残差である予測残差を生成し、前記変換スキップが適用される場合、前記逆係数変換をスキップする逆変換部とを備える画像処理装置である。

【0008】

本技術の一側面の画像処理方法は、依存量子化が適用され、かつ、変換スキップが適用されない場合、補正された量子化パラメータを用いて量子化係数を逆量子化し、前記変換スキップが適用されない場合、前記逆量子化により生成された変換係数を逆係数変換して、画像と前記画像の予測画像との残差である予測残差を生成し、前記変換スキップが適用される場合、前記逆係数変換をスキップする画像処理方法である。

【0009】

本技術の他の側面の画像処理装置は、変換スキップが適用されない場合、画像と前記画像の予測画像との残差である予測残差を係数変換して変換係数を生成し、前記変換スキップが適用される場合、前記係数変換をスキップする変換部と、依存量子化が適用され、かつ、前記変換スキップが適用されない場合、補正された量子化パラメータを用いて前記変換係数を量子化する量子化部とを備える画像処理装置である。

【0010】

本技術の他の側面の画像処理方法は、変換スキップが適用されない場合、画像と前記画像の予測画像との残差である予測残差を係数変換して変換係数を生成し、前記変換スキップが適用される場合、前記係数変換をスキップし、依存量子化が適用され、かつ、前記変換スキップが適用されない場合、補正された量子化パラメータを用いて前記変換係数を量子化する画像処理方法である。

【0015】

本技術の一側面の画像処理装置および方法においては、依存量子化が適用され、かつ、変換スキップが適用されない場合、補正された量子化パラメータを用いて量子化係数が逆量子化され、その変換スキップが適用されない場合、その逆量子化により生成された変換係数が逆係数変換されて、画像と前記画像の予測画像との残差である予測残差が生成され、その変換スキップが適用される場合、逆係数変換がスキップされる。

【0016】

本技術の他の側面の画像処理装置および方法においては、変換スキップが適用されない場合、画像と前記画像の予測画像との残差である予測残差が係数変換されて変換係数が生成され、その変換スキップが適用される場合、その係数変換がスキップされ、依存量子化が適用され、かつ、前記変換スキップが適用されない場合、補正された量子化パラメータを用いてその変換係数が量子化される。

【図面の簡単な説明】

【0019】

【図1】変換スキップに基づく逆量子化逆変換および変換量子化の制御方法の例を説明する図である。

【図2】逆量子化逆変換装置の主な構成例を示すブロック図である。

【図3】逆量子化逆変換処理の流れの例を示すフローチャートである。

【図4】変換スキップに基づく量子化パラメータ制御の例を説明する図である。

【図5】変換スキップに基づくラウンディングオフセット制御の例を説明する図である。

【図6】変換スキップに基づくラウンディングオフセット制御の例を説明する図である。

【図7】変換量子化装置の主な構成例を示すブロック図である。

【図8】変換量子化処理の流れの例を示すフローチャートである。

【図9】逆量子化逆変換装置の主な構成例を示すブロック図である。

【図10】逆量子化逆変換処理の流れの例を示すフローチャートである。

【図11】変換スキップに基づくスケーリングパラメータ制御の例を説明する図である。

【図12】変換スキップに基づくスケーリングパラメータ制御の例を説明する図である。

【図13】変換スキップに基づくスケーリングパラメータ制御の例を説明する図である。

【図14】変換量子化装置の主な構成例を示すブロック図である。

【図15】変換量子化処理の流れの例を示すフローチャートである。

【図16】逆量子化逆変換装置の主な構成例を示すブロック図である。

【図17】逆量子化逆変換処理の流れの例を示すフローチャートである。

【図18】変換スキップに基づくスケーリングパラメータ制御の例を説明する図である。

【図19】変換スキップに基づくスケーリングパラメータ制御の例を説明する図である。

【図20】変換量子化装置の主な構成例を示すブロック図である。

【図21】変換量子化処理の流れの例を示すフローチャートである。

【図22】画像符号化装置の主な構成例を示すブロック図である。

【図23】画像符号化処理の流れの例を示すフローチャートである。

【図24】画像復号装置の主な構成例を示すブロック図である。

【図25】画像復号処理の流れの例を示すフローチャートである。

【図26】コンピュータの主な構成例を示すブロック図である。

【発明を実施するための形態】

【0020】

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．変換スキップによるニアロスレス符号化
２．第１の実施の形態（パラメータ制御）
３．第２の実施の形態（変換スキップ時の伸張処理のマージ）
４．第３の実施の形態（変換スキップ時の正規化処理のマージ）
５．第４の実施の形態（画像復号装置）
６．第５の実施の形態（画像符号化装置）
７．付記

【0021】

＜１．変換スキップによるニアロスレス符号化＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。

【0022】

非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 5)", N1001-v10, m48053, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019
非特許文献４：Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5)", JVET-N1002-v2, m48054, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019
非特許文献５：Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 6)", JVET-O2001-vE, m49908, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019
非特許文献６：Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6)", JVET-O2002-v2, m49914, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019
非特許文献７：Tsung-Chuan Ma, Yi-Wen Chen, Xiaoyu Xiu, Xianglin Wang, "Modifications to support the lossless coding", JVET-O0591, m48730, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019
非特許文献８：Hyeongmun Jang, Junghak Nam, Naeri Park, Jungah Choi Seunghwan Kim, Jaehyun Lim, "Comments on transform quantization bypassed mode", JVET-O0584, m48723, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019
非特許文献９：Tangi Poirier, Fabrice Le Leannec, Karam Naser, Edouard Francois, "On lossless coding for VVC" JVET-O0460, m48583, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019
非特許文献１０：Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
非特許文献１１：Recommendation ITU-T H.265 (02/18) "High efficiency video coding", february 2018

【0023】

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、上述の非特許文献に記載されているQuad-Tree Block Structure、QTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。

【0024】

また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献に記載されているTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。

【0025】

また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。

【0026】

また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。

【0027】

＜"変換スキップ+QP4"アプローチ＞
非特許文献２には、非特許文献１の画像符号化において、変換量子化バイパスを使用して係数変換や量子化等をスキップ（省略）し、予測残差を可逆符号化する符号化方法であるロスレス符号化が開示されている。

【0028】

ところで、変換量子化バイパスを使用せずに、量子化係数Qcoefを量子化ステップサイズが1となるQP=4で逆量子化し、変換スキップすることで可逆符号化（ロスレスな符号化）を目指す方法があった。このようなアプローチを便宜的に"変換スキップ+QP4"アプローチと称する。

【0029】

しかしながら、このような"変換スキップ+QP4"アプローチの場合、従来の方法では、パラメータの設定がロスレス符号化に対応しておらず、符号化および復号により情報が損失するおそれがあった。

【0030】

＜２．第１の実施の形態＞
＜逆量子化逆変換のパラメータ制御＞
そこで、逆量子化逆変換処理において、図１の表の上から１番目の段（最上段）に示されるように、損失する情報量を低減させるように、逆量子化逆変換に関するパラメータを設定する（方法１－１）。

【0031】

逆量子化逆変換処理は、量子化係数を逆量子化して変換係数を生成し、その変換係数を逆係数変換して予測残差を生成する処理である。予測残差は、画像とその画像の予測画像との残差である。予測画像は、その画像の時間的に周辺の情報、その画像の空間的に周辺の情報、またはその両方に基づいて生成される。時間的に周辺の情報とは、その画像と異なるフレームの情報である。空間的に周辺の情報とは、その画像と同一のフレームの情報である。逆係数変換は、予測残差を係数変換して変換係数を生成する処理である係数変換の逆処理である。逆量子化は、係数変換により生成された変換係数を量子化して量子化係数を生成する処理である量子化の逆処理である。つまり、逆量子化逆変換処理は、係数変換および量子化を行う変換量子化の逆処理である。したがって、逆量子化逆変換処理は、予測残差を変換量子化して生成された量子化係数を逆量子化逆変換して予測残差を生成することができる。

【0032】

このような逆量子化逆変換処理において、情報の損失を抑制するようにパラメータを制御することにより、この逆量子化逆変換処理を適用した復号による情報の損失を抑制することができる。つまり、"変換スキップ+QP4"アプローチによる復号を、可逆復号（ロスレス符号化）に近づけることができる。

【0033】

＜１－１：逆量子化逆変換装置＞
図２は、本技術を適用した画像処理装置の一態様である逆量子化逆変換装置の構成の一例を示すブロック図である。図２に示される逆量子化逆変換装置１００は、量子化係数を逆量子化逆変換し、予測残差を生成する装置である。

【0034】

なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、逆量子化逆変換装置１００において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0035】

図２に示されるように逆量子化逆変換装置１００は、逆量子化部１０１および逆変換部１０２を有する。逆量子化部１０１は、逆量子化に関する処理を行う。逆変換部１０２は、逆係数変換に関する処理を行う。

【0036】

逆量子化部１０１は、逆量子化処理部１１１および正規化部１１２を有する。逆量子化処理部１１１は、逆量子化逆変換装置１００に入力される量子化係数を取得する。逆量子化処理部１１は、取得した量子化係数に対して逆量子化を行い、変換係数を生成する。逆量子化処理部１１１は、生成した変換係数を正規化部１１２に供給する。正規化部１１２は、逆量子化処理部１１１から供給される変換係数を取得する。正規化部１１２は、取得した変換係数を正規化する。正規化部１１２は、正規化した変換係数を逆変換部１０２に供給する。

【0037】

逆変換部１０２は、選択部１２１、逆変換処理部１２２、選択部１２３、正規化部１２４、および伸張処理部１２５を有する。

【0038】

選択部１２１および選択部１２３は、逆係数変換をスキップするモードである変換スキップを適用するか否かを選択する。変換スキップは、係数変換処理においてその係数変換処理をスキップするモードであり、逆係数変換処理においてその逆係数変換処理をスキップするモードである。

【0039】

選択部１２１は、逆量子化部１０１から供給される変換係数を取得する。変換スキップを適用しない場合、すなわち、逆係数変換処理を行う場合、選択部１２１は、取得した変換係数を逆変換処理部１２２に供給する。また、選択部１２３は、逆変換処理部１２２から供給される予測残差を取得し、正規化部１２４に供給する。

【0040】

変換スキップを適用する場合、すなわち、逆係数変換処理をスキップする場合、選択部１２１は、取得した変換係数を伸張処理部１２５に供給する。この場合、係数変換処理がスキップされているので、この変換係数は予測残差である。また、選択部１２３は、伸張処理部１２５から供給される変換係数（つまり予測残差）を取得し、正規化部１２４に供給する。

【0041】

逆変換処理部１２２は、逆量子化部１０１から供給される変換係数を、選択部１２１を介して取得する。この変換係数は、正規化部１１２により正規化されたものである。逆変換処理部１２２は、取得した変換係数に対して逆係数変換を行い、予測残差を生成する。逆変換処理部１２２は、生成した予測残差を、選択部１２３を介して正規化部１２４に供給する。

【0042】

伸張処理部１２５は、逆量子化部１０１から供給される変換係数を、選択部１２１を介して取得する。この変換係数は、正規化部１１２により正規化されたものである。また、この変換係数は予測残差である。伸張処理部１２５は、取得した変換係数（つまり予測残差）を伸張する。伸張処理部１２５は、伸張した変換係数（つまり予測残差）を、選択部１２３を介して正規化部１２４に供給する。

【0043】

正規化部１２４は、変換スキップを適用しない場合、すなわち、逆係数変換処理を行う場合、逆変換処理部１２２から供給される予測残差を、選択部１２３を介して取得する。また、変換スキップを適用する場合、すなわち、逆係数変換処理をスキップする場合、正規化部１２４は、伸張処理部１２５から供給される変換係数（つまり予測残差）を、選択部１２３を介して取得する。正規化部１２４は、取得した予測残差を正規化する。正規化部１２４は、正規化した予測残差を逆量子化逆変換装置１００の外部に出力する。

【0044】

このような逆量子化逆変換装置１００において、上述の（方法１－１）を適用する。つまり、逆量子化逆変換装置１００は、情報の損失を抑制するように逆量子化逆変換に関するパラメータを設定する。逆量子化処理部１１１は、このように設定されたパラメータを用いて逆量子化を行うことができる。正規化部１１２は、このように設定されたパラメータを用いて正規化を行うことができる。正規化部１２４は、このように設定されたパラメータを用いて正規化を行うことができる。

【0045】

このようにすることにより、逆量子化逆変換装置１００は、この逆量子化逆変換処理を適用した復号による情報の損失を抑制することができる。つまり、逆量子化逆変換装置１００は、"変換スキップ+QP4"アプローチによる復号を、可逆復号（ロスレス符号化）に近づけることができる。

【0046】

＜逆量子化逆変換処理の流れ＞
次に、この逆量子化逆変換装置１００により実行される逆量子化逆変換処理の流れの例を、図３のフローチャートを参照して説明する。

【0047】

逆量子化逆変換処理が開始されると、逆量子化部１０１は、ステップＳ１０１において、逆量子化に関するパラメータを設定する。

【0048】

ステップＳ１０２において、逆量子化処理部１１１は、量子化係数に対して、ステップＳ１０１において設定されたパラメータを用いて逆量子化を行い、変換係数を生成する。

【0049】

ステップＳ１０３において、正規化部１１２は、ステップＳ１０２において生成された変換係数を、ステップＳ１０１において設定されたパラメータを用いて正規化する。

【0050】

ステップＳ１０４において、選択部１２１および選択部１２３は、変換スキップを適用するか否かを判定する。変換スキップを適用しないと判定された場合、処理はステップＳ１０５に進む。

【0051】

ステップＳ１０５において、逆変換部１０２は、逆係数変換に関するパラメータを設定する。

【0052】

ステップＳ１０６において、逆変換処理部１２２は、ステップＳ１０３において正規化された変換係数に対して、ステップＳ１０５において設定されたパラメータを用いて逆係数変換を行い、予測残差を生成する。ステップＳ１０６の処理が終了すると処理はステップＳ１０８に進む。

【0053】

また、ステップＳ１０４において、変換スキップを適用すると判定された場合、処理はステップＳ１０７に進む。ステップＳ１０７において、伸張処理部１２５は、ステップＳ１０３において正規化された変換係数（つまり予測残差）を伸張する。ステップＳ１０７の処理が終了すると処理はステップＳ１０８に進む。

【0054】

ステップＳ１０８において、正規化部１２４は、ステップＳ１０６において生成された予測残差、または、ステップＳ１０７において伸張された変換係数（つまり予測残差）を、ステップＳ１０５において設定されたパラメータを用いて正規化する。

【0055】

ステップＳ１０８の処理が終了すると逆量子化逆変換処理が終了する。

【0056】

このような逆量子化逆変換処理において、上述の（方法１－１）を適用する。つまり、ステップＳ１０１において、逆量子化部１０１は、情報の損失を抑制するように逆量子化に関するパラメータを設定する。ステップＳ１０２において、逆量子化処理部１１１は、このように設定されたパラメータを用いて逆量子化を行うことができる。ステップＳ１０３において、正規化部１１２は、このように設定されたパラメータを用いて正規化を行うことができる。また、ステップＳ１０５において、逆変換部１０２は、情報の損失を抑制するように逆係数変換に関するパラメータを設定する。ステップＳ１０８において、正規化部１２４は、このように設定されたパラメータを用いて正規化を行うことができる。

【0057】

このようにすることにより、逆量子化逆変換装置１００は、この逆量子化逆変換処理を適用した復号による情報の損失を抑制することができる。つまり、逆量子化逆変換装置１００は、"変換スキップ+QP4"アプローチによる復号を、可逆復号（ロスレス符号化）に近づけることができる。

【0058】

＜１－１－１：量子化パラメータの制御＞
上述のように、逆量子化に関するパラメータを制御するようにしてもよい。例えば、画像処理において、変換スキップを適用するかに応じた量子化パラメータを用いて、量子化係数に対する逆量子化を行うようにしてもよい。

【0059】

例えば、画像処理装置において、変換スキップを適用するかに応じた量子化パラメータを用いて、量子化係数に対する逆量子化を行う逆量子化部を備えるようにしてもよい。

【0060】

このようにすることにより、画像処理装置は、この逆量子化部による逆量子化を適用した復号による情報の損失を抑制することができる。つまり、画像処理装置は、"変換スキップ+QP4"アプローチによる復号を、可逆復号（ロスレス符号化）に近づけることができる。

【0061】

その際、その逆量子化部が、逆量子化において逆依存量子化を適用し、かつ、変換スキップを適用しない場合、量子化パラメータを補正し、補正した量子化パラメータを用いて逆量子化を行うようにしてもよい。つまり、図１の表の上から２番目の段に示されるように、変換スキップに基づいて依存量子化の量子化パラメータ（QP）の補正を制御してもよい（方法１－１－１）。

【0062】

例えば、非特許文献５に記載の符号化方法では、量子化のモードとして依存量子化（DQ（Dependent Quantization））が用意されている。依存量子化では、過去の処理対象の変換係数とパリティフラグに基づいて、現在の処理対象の係数に適用する量子化パラメータ（QP）に対応する量子化ステップサイズを奇数倍にするか偶数倍にするかの選択が行われる。つまり、ある量子化パラメータに対する量子化ステップサイズが前の状態に応じて変換する（分岐する）。このようにすることにより、符号化効率の低減を抑制することができる。

【0063】

図４のＡは、非特許文献５に記載されている、このような依存量子化に関するセマンティクスである。このセマンティクスに示されるように、依存量子化が適用される場合、量子化パラメータ（QP）が補正される。つまり、依存量子化が適用されない場合、式（8-960）のように、量子化パラメータ（qP）を用いて、スケーリングパラメータlsが導出される。これに対して、依存量子化が適用される場合、式（8-959）のように、補正された量子化パラメータ（qP' = qP + 1）を用いて、スケーリングパラメータlsが導出される。

【0064】

逆量子化においても同様に、依存量子化を適用することができる。実際には、逆量子化においては、依存量子化の逆処理（逆依存量子化とも称する）が適用される。したがって、逆量子化においても、依存量子化が適用される場合、量子化パラメータが同様に補正される。

【0065】

しかしながら、変換スキップが適用される場合、量子化パラメータの最小値は４であるので、このような依存量子化による量子化パラメータの補正（QP + 1）により、量子化ステップサイズを１にすることができなくなる。そのため、逆量子化による情報の損失が発生するおそれがあった。

【0066】

そこで、例えば図４のＢに示されるセマンティクスのように、上述の式（8-959）の条件に、「かつ、変換スキップフラグ（transform_skip_flag）が変換スキップを適用することを示す値（IS_SKIP）でない場合」を追加する。変換スキップフラグ（transform_skip_flag）は、変換スキップを適用するか否かを示すフラグ情報である。例えば、変換スキップフラグが真（例えば１）の場合、変換スキップを適用することを示す。変換スキップフラグが偽（例えば０）の場合、変換スキップを適用しないことを示す。付言するに、上述の式（8-960）の条件に、「または、変換スキップフラグ（transform_skip_flag）が真（IS_SKIP）である場合」を追加する。

【0067】

逆量子化処理部１１１は、このようなセマンティクスに従ってスケーリングパラメータlsを導出する。このようにすることにより、変換スキップを適用する場合、式（8-960）が適用され、依存量子化（逆依存量子化）による量子化パラメータの補正が省略される。したがって、逆量子化処理部１１１は、変換スキップを適用する場合の、逆依存量子化による情報の損失を抑制することができる。

【0068】

＜１－１－２：ラウンディングオフセットの符号制御＞
制御対象とする逆量子化に関するパラメータは、量子化パラメータ以外であってもよい。例えば、図１の表の上から３番目の段に示されるように、例えば、入力値である変換係数の符号に基づいて逆量子化における正規化処理のラウンディングオフセットの符号が設定されてもよい（方法１－１－２）。

【0069】

例えば、画像処理装置において、変換係数の符号に基づいてラウンディングオフセットの符号を設定し、そのラウンディングオフセットを用いて変換係数を正規化する逆量子化正規化部をさらに備えるようにしてもよい。そして、逆変換部が、変換スキップを適用しない場合、その逆量子化正規化部により正規化された変換係数に対して逆係数変換を行うようにしてもよい。

【0070】

図５のＡは、非特許文献５に記載されている、逆量子化における正規化処理（正規化部１１２による正規化処理）に関するセマンティクスである。このセマンティクスに示されるように、逆量子化における正規化処理においては、ラウンディングオフセットbdOffset1とスケーリングパラメータbdShift1を用いて、論理ビットシフトによる正規化が行われる（式（8-963））。ラウンディングオフセットbdOffset1は、スケーリングパラメータbdShift1を用いて以下の式（Ａ）のように導出される。

【0071】

bdOffset1 = (1<<(bdShift1-1)) ・・・（Ａ）

【0072】

このように正規化処理が論理ビットシフトであるため、丸め誤差（デッドゾーンとも称する）の符号（正負）に偏りが生じる。そのため、逆量子化が不可逆な処理となるおそれがあった。つまり、逆量子化において情報の損失が発生するおそれがあった。

【0073】

そこで、例えば図５のＢに示されるセマンティクスのように、入力値である変換係数の符号に基づいて逆量子化における正規化処理のラウンディングオフセットの符号が設定されるようにする。つまり、以下の式（Ｂ）に示されるように、変換係数レベルTransCoefLevel[xTbY][yTbY][cIdx](=dz[x][y])の符号sign(dz[x][y])がさらに乗算されるようにする。

【0074】

bdOffset1 = sign(dz[x][y])*(1<<(bdShift1-1)) ・・・（Ｂ）

【0075】

例えば、逆量子化逆変換装置１００において、逆量子化部１０１が、式（Ｂ）のように、ラウンディングオフセットbdOffset1を導出し、正規化部１１２が、そのラウンディングオフセットbdOffset1とスケーリングパラメータbdShift1とを用いて、正規化を行う。

【0076】

換言するに、逆量子化部１０１が、変換係数レベルTransCoefLevel[xTbY][yTbY][cIdx](=dz[x][y])の符号sign(dz[x][y])を乗算することにより、式（Ａ）により導出されるラウンディングオフセットbdOffset1を補正する。そして、正規化部１１２は、その補正後のラウンディングオフセットbdOffset1'とスケーリングパラメータbdShift1とを用いて、正規化を行う。

【0077】

このようにすることにより、正規化部１１２は、算術ビットシフトにより正規化処理を行うことができるので、丸め誤差の符号（正負）の偏りを低減し、逆量子化において情報の損失を抑制することができる。

【0078】

＜１－１－３：ラウンディングオフセットの符号制御＞
逆変換に関するパラメータを制御対象としてもよい。例えば、図１の表の上から４番目の段に示されるように、例えば、入力値である予測残差の符号に基づいて逆係数変換における正規化処理のラウンディングオフセットの符号が設定されてもよい（方法１－１－３）。

【0079】

例えば、画像処理装置において、変換スキップを適用しない場合、予測残差の符号に基づいてラウンディングオフセットの符号を設定し、そのラウンディングオフセットを用いて予測残差を正規化し、変換スキップを適用する場合、変換係数（つまり予測残差）の符号に基づいてラウンディングオフセットの符号を設定し、そのラウンディングオフセットを用いて変換係数（つまり予測残差）を正規化する逆変換正規化部をさらに備えるようにしてもよい。

【0080】

図６のＡは、非特許文献５に記載されている、逆係数変換における正規化処理（正規化部１２４による正規化処理）に関するセマンティクスである。このセマンティクスに示されるように、逆係数変換における正規化処理においては、ラウンディングオフセットbdOffset2とスケーリングパラメータbdShift2を用いて、論理ビットシフトによる正規化が行われる（式（8-946））。ラウンディングオフセットbdOffset2は、スケーリングパラメータbdShift2を用いて以下の式（Ｃ）のように導出される。

【0081】

bdOffset2 = (1<<(bdShift2-1)) ・・・（Ｃ）

【0082】

このように正規化処理が論理ビットシフトであるため、丸め誤差（デッドゾーンとも称する）の符号（正負）に偏りが生じる。そのため、逆係数変換が不可逆な処理となるおそれがあった。つまり、逆係数変換において情報の損失が発生するおそれがあった。

【0083】

そこで、例えば図６のＢに示されるセマンティクスのように、入力値である予測残差の符号に基づいて逆係数変換における正規化処理のラウンディングオフセットの符号が設定されるようにする。つまり、以下の式（Ｄ）に示されるように、予測残差r[x][y]の符号sign(r[x][y])がさらに乗算されるようにする。

【0084】

bdOffset2 = sign(r[x][y])*(1<<(bdShift2-1)) ・・・（Ｄ）

【0085】

例えば、逆量子化逆変換装置１００において、逆変換部１０２が、式（Ｄ）のように、ラウンディングオフセットbdOffset2を導出し、正規化部１２４が、そのラウンディングオフセットbdOffset2とスケーリングパラメータbdShift2とを用いて、正規化を行う。

【0086】

換言するに、逆変換部１０２が、予測残差r[x][y]の符号sign(r[x][y])を乗算することにより、式（Ｃ）により導出されるラウンディングオフセットbdOffset2を補正する。そして、正規化部１２４は、その補正後のラウンディングオフセットbdOffset2'とスケーリングパラメータbdShift2とを用いて、正規化を行う。

【0087】

このようにすることにより、正規化部１２４は、算術ビットシフトにより正規化処理を行うことができるので、丸め誤差の符号（正負）の偏りを低減し、逆係数変換において情報の損失を抑制することができる。

【0088】

＜１－１－４：組み合わせ＞
＜１－１－１：量子化パラメータの制御＞、＜１－１－２：ラウンディングオフセットの符号制御＞、および＜１－１－３：ラウンディングオフセットの符号制御＞のそれぞれにおいて説明した各方法は、適宜、組み合わせて適用することができる。より多くの方法を組み合わせることにより、逆量子化逆変換装置１００は、逆量子化逆変換処理における情報の損失をより抑制することができる。つまり、逆量子化逆変換装置１００は、上述の各方法をより多く組み合わせることにより、"変換スキップ+QP4"アプローチによる復号を、より可逆復号（ロスレス符号化）に近づけることができる。

【0089】

＜変換量子化のパラメータ制御＞
逆量子化逆変換処理の場合と同様に、変換量子化処理において、図１の表の上から５番目の段に示されるように、損失する情報量を低減させるように、変換量子化に関するパラメータを設定してもよい（方法１－２）。

【0090】

変換量子化処理において、情報の損失を抑制するようにパラメータを制御することにより、この変換量子化処理を適用した符号化による情報の損失を抑制することができる。つまり、"変換スキップ+QP4"アプローチによる符号化を、可逆符号化（ロスレス符号化）に近づけることができる。

【0091】

＜１－２：変換量子化装置＞
図７は、本技術を適用した画像処理装置の一態様である変換量子化装置の構成の一例を示すブロック図である。図７に示される変換量子化装置２００は、予測残差を変換量子化し、量子化係数を生成する装置である。

【0092】

なお、図７においては、処理部やデータの流れ等の主なものを示しており、図７に示されるものが全てとは限らない。つまり、変換量子化装置２００において、図７においてブロックとして示されていない処理部が存在したり、図７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0093】

図７に示されるように変換量子化装置２００は、変換部２０１および量子化部２０２を有する。変換部２０１は、係数変換に関する処理を行う。量子化部２０２は、量子化に関する処理を行う。

【0094】

変換部２０１は、選択部２１１、変換処理部２１２、選択部２１３、正規化部２１４、および伸張処理部２１５を有する。

【0095】

選択部２１１および選択部２１３は、変換スキップを適用するか否かを選択する。選択部２１１は、変換量子化装置２００に入力された予測残差を取得する。変換スキップを適用しない場合、すなわち、係数変換処理を行う場合、選択部２１１は、取得した予測残差を変換処理部２１２に供給する。また、選択部２１３は、変換処理部２１２から供給される変換係数を取得し、正規化部２１４に供給する。

【0096】

変換スキップを適用する場合、すなわち、係数変換処理をスキップする場合、選択部２１１は、取得した予測残差を伸張処理部２１５に供給する。選択部２１３は、伸張処理部２１５から供給される予測残差（伸張された予測残差）を取得し、正規化部２１４に供給する。

【0097】

変換処理部２１２は、変換量子化装置２００に入力された予測残差を、選択部２１１を介して取得する。変換処理部２１２は、取得した予測残差に対して係数変換を行い、変換係数を生成する。変換処理部２１２は、生成した変換係数を、選択部２１３を介して正規化部２１４に供給する。

【0098】

伸張処理部２１５は、変換量子化装置２００に入力された予測残差を、選択部２１１を介して取得する。伸張処理部２１５は、取得した予測残差を伸張する。伸張処理部２１５は、伸張した予測残差を、選択部２１３を介して正規化部２１４に供給する。

【0099】

正規化部２１４は、変換スキップを適用しない場合、すなわち、係数変換処理を行う場合、変換処理部２１２から供給される変換係数を、選択部２１３を介して取得する。また、変換スキップを適用する場合、すなわち、係数変換処理をスキップする場合、正規化部２１４は、伸張処理部２１５から供給される予測残差（伸張された予測残差）を、選択部２１３を介して取得する。つまり、変換スキップが適用される場合、係数変換がスキップされるので、予測残差が正規化部２１４に供給される。正規化部２１４以降の処理部は、この予測残差を変換係数として処理する。つまり、この予測残差は、変換処理部２１２において生成される変換係数の場合と同様に処理される。したがって、以下においては、この伸張処理部から供給される予測残差も変換係数として説明する。正規化部２１４は、取得した変換係数を正規化する。正規化部２１４は、正規化した変換係数を量子化部２０２に供給する。

【0100】

量子化部２０２は、量子化処理部２２１および正規化部２２２を有する。量子化処理部２２１は、変換部２０１から供給される変換係数を取得する。量子化処理部２２１は、取得した変換係数に対して量子化を行い、量子化係数を生成する。量子化処理部２２１は、生成した量子化係数を正規化部２２２に供給する。正規化部２２２は、量子化処理部２２１から供給される量子化係数を取得する。正規化部２２２は、取得した量子化係数を正規化する。正規化部２２２は、正規化した量子化係数を変換量子化装置２００の外部に出力する。

【0101】

このような変換量子化装置２００において、上述の（方法１－２）を適用する。つまり、変換量子化装置２００は、情報の損失を抑制するように変換量子化に関するパラメータを設定する。正規化部２１４は、このように設定されたパラメータを用いて正規化を行うことができる。量子化処理部２２１は、このように設定されたパラメータを用いて量子化を行うことができる。正規化部２２２は、このように設定されたパラメータを用いて正規化を行うことができる。

【0102】

このようにすることにより、変換量子化装置２００は、この変換量子化処理を適用した符号化による情報の損失を抑制することができる。つまり、変換量子化装置２００は、"変換スキップ+QP4"アプローチによる符号化を、可逆符号化（ロスレス符号化）に近づけることができる。

【0103】

＜変換量子化処理の流れ＞
次に、この変換量子化装置２００により実行される変換量子化処理の流れの例を、図８のフローチャートを参照して説明する。

【0104】

変換量子化処理が開始されると、選択部２１１および選択部２１３は、ステップＳ２０１において、変換スキップを適用するか否かを判定する。変換スキップを適用しないと判定された場合、処理はステップＳ２０２に進む。

【0105】

ステップＳ２０２において、変換部２０１は、係数変換に関するパラメータを設定する。

【0106】

ステップＳ２０３において、変換処理部２１２は、予測残差に対して、ステップＳ２０２において設定されたパラメータを用いて係数変換を行い、変換係数を生成する。ステップＳ２０３の処理が終了すると処理はステップＳ２０５に進む。

【0107】

また、ステップＳ２０１において、変換スキップを適用すると判定された場合、処理はステップＳ２０４に進む。ステップＳ２０４において、伸張処理部２１５は、予測残差を伸張する。ステップＳ２０４の処理が終了すると処理はステップＳ２０５に進む。

【0108】

ステップＳ２０５において、正規化部２１４は、ステップＳ２０３において生成された変換係数、または、ステップＳ２０４において伸張された予測残差（つまり変換係数）を、ステップＳ２０２において設定されたパラメータを用いて正規化する。

【0109】

ステップＳ２０６において、量子化部２０２は、量子化に関するパラメータを設定する。

【0110】

ステップＳ２０７において、量子化処理部２２１は、ステップＳ２０５において正規化された変換係数に対して、ステップＳ２０６において設定されたパラメータを用いて量子化を行い、量子化係数を生成する。

【0111】

ステップＳ２０８において、正規化部２２２は、ステップＳ２０７において生成された量子化係数を、ステップＳ２０６において設定されたパラメータを用いて正規化する。

【0112】

ステップＳ２０８の処理が終了すると変換量子化処理が終了する。

【0113】

このような変換量子化処理において、上述の（方法１－２）を適用する。つまり、ステップＳ２０２において、変換部２０１は、情報の損失を抑制するように係数変換に関するパラメータを設定する。ステップＳ２０５において、正規化部２１４は、このように設定されたパラメータを用いて正規化を行うことができる。また、ステップＳ２０６において、量子化部２０２は、情報の損失を抑制するように量子化に関するパラメータを設定する。ステップＳ２０７において、量子化処理部２２１は、このように設定されたパラメータを用いて量子化を行うことができる。ステップＳ２０８において、正規化部２２２は、このように設定されたパラメータを用いて正規化を行うことができる。

【0114】

このようにすることにより、変換量子化装置２００は、この変換量子化処理を適用した符号化による情報の損失を抑制することができる。つまり、変換量子化装置２００は、"変換スキップ+QP4"アプローチによる符号化を、可逆符号化（ロスレス符号化）に近づけることができる。

【0115】

＜１－２－１：量子化パラメータの制御＞
上述のように、量子化に関するパラメータを制御するようにしてもよい。例えば、画像処理において、変換スキップを適用するかに応じた量子化パラメータを用いて、変換係数に対する量子化を行うようにしてもよい。

【0116】

例えば、画像処理装置において、変換スキップを適用するかに応じた量子化パラメータを用いて、変換係数に対する量子化を行う量子化部を備えるようにしてもよい。

【0117】

このようにすることにより、画像処理装置は、この量子化部による量子化を適用した符号化による情報の損失を抑制することができる。つまり、画像処理装置は、"変換スキップ+QP4"アプローチによる符号化を、可逆符号化（ロスレス符号化）に近づけることができる。

【0118】

その際、その量子化部が、量子化において依存量子化を適用し、かつ、変換スキップを適用しない場合、量子化パラメータを補正し、補正した量子化パラメータを用いて量子化を行うようにしてもよい。つまり、図１の表の上から６番目の段に示されるように、変換スキップに基づいて依存量子化の量子化パラメータ（QP）の補正を制御してもよい（方法１－２－１）。

【0119】

上述したように、非特許文献５に記載の符号化方法では、図４のＡの例のように、依存量子化の適用に応じて量子化パラメータが補正される。つまり、量子化の場合も逆量子化の場合と同様に、変換スキップが適用されるときは依存量子化による量子化パラメータの補正（QP + 1）により、量子化ステップサイズを１にすることができなくなる。そのため、量子化による情報の損失が発生するおそれがあった。

【0120】

そこで、量子化の場合も逆量子化の場合と同様に、上述の式（8-959）の条件に、「かつ、変換スキップフラグ（transform_skip_flag）が変換スキップを適用することを示す値（IS_SKIP）でない場合」を追加する（図４のＢ）。付言するに、上述の式（8-960）の条件に、「または、変換スキップフラグ（transform_skip_flag）が真（IS_SKIP）である場合」を追加する（図４のＢ）。

【0121】

量子化処理部２２１は、このようなセマンティクスに従ってスケーリングパラメータlsを導出する。このようにすることにより、変換スキップを適用する場合、式（8-960）が適用され、依存量子化による量子化パラメータの補正が省略される。したがって、量子化処理部２２１は、変換スキップを適用する場合の、依存量子化による情報の損失を抑制することができる。

【0122】

＜１－２－２：ラウンディングオフセットの符号制御＞
制御対象とする量子化に関するパラメータは、量子化パラメータ以外であってもよい。例えば、図１の表の上から７番目の段に示されるように、例えば、入力値である量子化係数の符号に基づいて量子化における正規化処理のラウンディングオフセットの符号が設定されてもよい（方法１－２－２）。

【0123】

例えば、画像処理装置において、量子化係数の符号に基づいてラウンディングオフセットの符号を設定し、そのラウンディングオフセットを用いて量子化係数を正規化する量子化正規化部をさらに備えるようにしてもよい。

【0124】

量子化における正規化処理の場合も逆量子化における正規化処理の場合（図５のＡの式（8-963））と同様に、ラウンディングオフセットfwdbdOffset2とスケーリングパラメータfwdbdShift2を用いて、論理ビットシフトによる正規化が行われる。

【0125】

つまり、量子化における正規化処理の場合も逆量子化における正規化処理の場合と同様に、丸め誤差の符号（正負）に偏りが生じる。そのため、量子化が不可逆な処理となるおそれがあった。つまり、量子化において情報の損失が発生するおそれがあった。

【0126】

そこで、量子化における正規化処理の場合も逆量子化における正規化処理の場合（図５のＢ）と同様に、入力値である量子化係数の符号に基づいて量子化における正規化処理のラウンディングオフセットの符号が設定されるようにする。

【0127】

例えば、変換量子化装置２００において、量子化部２０２が、式（Ｂ）と同様に、スケーリングパラメータfwdbdShift2を用いてラウンディングオフセットfwdbdOffset2を導出し、正規化部２２２が、そのラウンディングオフセットfwdbdOffset2とスケーリングパラメータfwdbdShift2とを用いて、正規化を行う。

【0128】

換言するに、量子化部２０２が、量子化係数レベルの符号を乗算することにより、スケーリングパラメータfwdbdShift2を用いて導出されたラウンディングオフセットfwdbdOffset2を補正する。そして、正規化部２２２は、その補正後のラウンディングオフセットfwdbdOffset2'とスケーリングパラメータfwdbdShift2とを用いて、正規化を行う。

【0129】

このようにすることにより、正規化部２２２は、算術ビットシフトにより正規化処理を行うことができるので、丸め誤差の符号（正負）の偏りを低減し、量子化において情報の損失を抑制することができる。

【0130】

＜１－２－３：ラウンディングオフセットの符号制御＞
係数変換に関するパラメータを制御対象としてもよい。例えば、図１の表の上から８番目の段に示されるように、例えば、入力値である変換係数の符号に基づいて係数変換における正規化処理のラウンディングオフセットの符号が設定されてもよい（方法１－２－３）。

【0131】

例えば、画像処理装置において、変換スキップを適用しない場合、変換係数の符号に基づいてラウンディングオフセットの符号を設定し、そのラウンディングオフセットを用いて変換係数を正規化し、変換スキップを適用する場合、変換係数（つまり予測残差）の符号に基づいてラウンディングオフセットの符号を設定し、そのラウンディングオフセットを用いて変換係数（つまり予測残差）を正規化する変換正規化部をさらに備えるようにしてもよい。

【0132】

係数変換における正規化処理の場合も逆係数変換における正規化処理の場合（図６のＡの式（8-946））と同様に、ラウンディングオフセットfwdbdOffset1とスケーリングパラメータfwdbdShift1を用いて、論理ビットシフトによる正規化が行われる。

【0133】

つまり、係数変換における正規化処理の場合も逆係数変換における正規化処理の場合と同様に、丸め誤差の符号（正負）に偏りが生じる。そのため、係数変換が不可逆な処理となるおそれがあった。つまり、係数変換において情報の損失が発生するおそれがあった。

【0134】

そこで、係数変換における正規化処理の場合も逆係数変換における正規化処理の場合（図６のＢ）と同様に、入力値である変換係数の符号に基づいて係数変換における正規化処理のラウンディングオフセットの符号が設定されるようにする。

【0135】

例えば、変換量子化装置２００において、変換部２０１が、式（Ｄ）と同様に、スケーリングパラメータfwdbdShift1を用いてラウンディングオフセットfwdbdOffset1を導出し、正規化部２１４が、そのラウンディングオフセットfwdbdOffset1とスケーリングパラメータfwdbdShift1とを用いて、正規化を行う。

【0136】

換言するに、変換部２０１が、変換係数の符号を乗算することにより、スケーリングパラメータfwdbdShift1を用いて導出されたラウンディングオフセットfwdbdOffset1を補正する。そして、正規化部２１４は、その補正後のラウンディングオフセットfwdbdOffset1'とスケーリングパラメータfwdbdShift1とを用いて、正規化を行う。

【0137】

このようにすることにより、正規化部２１４は、算術ビットシフトにより正規化処理を行うことができるので、丸め誤差の符号（正負）の偏りを低減し、係数変換において情報の損失を抑制することができる。

【0138】

＜１－２－４：組み合わせ＞
＜１－２－１：量子化パラメータの制御＞、＜１－２－２：ラウンディングオフセットの符号制御＞、および＜１－２－３：ラウンディングオフセットの符号制御＞のそれぞれにおいて説明した各方法は、適宜、組み合わせて適用することができる。より多くの方法を組み合わせることにより、変換量子化装置２００は、変換量子化処理における情報の損失をより抑制することができる。つまり、変換量子化装置２００は、上述の各方法をより多く組み合わせることにより、"変換スキップ+QP4"アプローチによる符号化を、より可逆符号化（ロスレス符号化）に近づけることができる。

【0139】

なお、＜１－２－１：量子化パラメータの制御＞、＜１－２－２：ラウンディングオフセットの符号制御＞、および＜１－２－３：ラウンディングオフセットの符号制御＞のそれぞれにおいて説明した各方法は、＜１－１－１：量子化パラメータの制御＞、＜１－１－２：ラウンディングオフセットの符号制御＞、および＜１－１－３：ラウンディングオフセットの符号制御＞のそれぞれにおいて説明した各方法と、適宜、組み合わせて適用することができる。つまり、逆量子化逆変換装置１００が、"変換スキップ+QP4"アプローチによる復号を、可逆復号（ロスレス符号化）に近づけるとともに、変換量子化装置２００が、"変換スキップ+QP4"アプローチによる符号化を、より可逆符号化（ロスレス符号化）に近づけることができる。

【0140】

＜３．第２の実施の形態＞
＜変換スキップ時の伸張処理のマージ＞
変換スキップを適用する場合、冗長な処理が存在し、それにより逆量子化逆変換処理の負荷が増大するおそれがあった。例えば、変換スキップ時のデータパスにおいて、逆直交変換後の予測残差のダイナミックレンジと逆直交変換をスキップした場合の予測残差のダイナミックレンジを揃えるために、変換スキップ固有のTS係数伸張処理（<<tsShift）がある。しかしながら、このTS係数伸張処理は、逆量子化プロセスにおける正規化処理(>>bdShift1)と逆方向のビットシフトである。したがって、これらの処理を互いに異なる処理として行うことは冗長であった。

【0141】

そこで、逆量子化逆変換処理において、図１の表の上から９番目の段に示されるように、変換スキップにおける伸張処理（<<tsShift）を逆量子化における正規化処理で代替する（方法２－１）。

【0142】

例えば、画像処理方法において、変換スキップを適用するかに応じた量子化パラメータを用いて、量子化係数に対する逆量子化を行い、変換スキップを適用しない場合、逆量子化により生成された変換係数に対する逆係数変換を行い、画像とその画像の予測画像との残差である予測残差を生成し、変換スキップを適用する場合、逆係数変換をスキップする。

【0143】

例えば、画像処理装置において、量子化係数に対する逆量子化を行う逆量子化部と、変換スキップを適用するかに応じたスケーリングパラメータを用いて、逆量子化部による逆量子化により生成された変換係数を正規化する逆量子化正規化部と、変換スキップを適用しない場合、逆量子化正規化部により正規化された変換係数に対して逆係数変換を行い、画像とその画像の予測画像との残差である予測残差を生成し、変換スキップを適用する場合、逆係数変換をスキップする逆変換部とを備えるようにする。

【0144】

このようにすることにより、冗長な処理を低減させることができ、逆量子化逆変換処理の負荷の増大を抑制することができる。つまり、"変換スキップ+QP4"アプローチによる復号の負荷の増大を抑制することができる。

【0145】

＜２－１：逆量子化逆変換装置＞
図９は、この場合の逆量子化逆変換装置１００の構成の一例を示すブロック図である。なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、逆量子化逆変換装置１００において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0146】

図９に示されるように、この場合の逆量子化逆変換装置１００は、図２の場合と同様、逆量子化部１０１および逆変換部１０２を有する。逆量子化部１０１は、図２の場合と同様、逆量子化処理部１１１および正規化部１１２を有する。逆変換部１０２は、選択部１２１乃至正規化部１２４を有する。つまり、図２の場合と比べて、伸張処理部１２５が省略される。

【0147】

このような逆量子化逆変換装置１００において、上述の（方法２－１）を適用する。つまり、逆量子化逆変換装置１００は、変換スキップにおける伸張処理を逆量子化における正規化処理で代替する。つまり、正規化部１１２は、変換スキップを適用するかに応じたスケーリングパラメータを用いて、逆量子化処理部１１１による逆量子化により生成された変換係数を正規化する。そして変換スキップが適用される場合、図２の伸張処理部１２５により伸張処理は、図９の正規化部１１２による逆量子化における正規化処理とマージされる。

【0148】

このようにすることにより、逆量子化逆変換装置１００は、この逆量子化逆変換処理の負荷の増大を抑制することができる。つまり、逆量子化逆変換装置１００は、"変換スキップ+QP4"アプローチによる復号の負荷の増大を抑制することができる。

【0149】

＜逆量子化逆変換処理の流れ＞
次に、この場合の逆量子化逆変換処理の流れの例を、図１０のフローチャートを参照して説明する。

【0150】

この場合の逆量子化逆変換処理が開始されると、ステップＳ３０１乃至ステップＳ３０６の各処理が、図３のステップＳ１０１乃至ステップＳ１０６の各処理と基本的に同様に実行される。

【0151】

ただし、ステップＳ３０４において、変換スキップを適用すると判定された場合、処理はステップＳ３０７に進む。また、ステップＳ３０６の処理が終了すると処理はステップＳ３０７に進む。

【0152】

ステップＳ３０７の処理は、図３のステップＳ１０８の処理と同様に実行される。ステップＳ３０７の処理が終了すると逆量子化逆変換処理が終了する。

【0153】

このような逆量子化逆変換処理において、上述の（方法２－１）を適用する。つまり、ステップＳ３０３において、正規化部１１２は、変換スキップにおける伸張処理を代替するように、変換係数に対して正規化処理を行う。つまり、正規化部１１２は、変換スキップを適用するかに応じたスケーリングパラメータを用いて、逆量子化処理部１１１による逆量子化により生成された変換係数を正規化する。そして変換スキップが適用される場合、図３のステップＳ１０７において行われる伸張処理は、ステップＳ３０３における逆量子化における正規化処理とマージされる。

【0154】

このようにすることにより、逆量子化逆変換装置１００は、この逆量子化逆変換処理の負荷の増大を抑制することができる。つまり、逆量子化逆変換装置１００は、"変換スキップ+QP4"アプローチによる復号の負荷の増大を抑制することができる。

【0155】

＜２－１－１：変換スキップに応じたスケーリングパラメータの設定＞
逆量子化における正規化処理と、変換スキップにおける伸張処理とを別の処理として行う場合、その正規化処理に用いられるスケーリングパラメータbdShift1と、その伸張処理に用いられるスケーリングパラメータtsShiftとは、例えば、図１１のＡに示されるセマンティクスのように導出される。

【0156】

つまり、スケーリングパラメータbdShift1は、ビット深度に基づく成分（bitDepth）と、変換ブロックサイズと変換スキップフラグ（transform_skip_flag）とに基づく成分（(rectNonTsFlag ? 1:0)）と、変換ブロックサイズに基づく成分（(log2(nTbW)+log2(nTbH)/2)-5）と、依存量子化に基づく成分（dep_quant_enabled_flag）との和により導出される。また、スケーリングパラメータtsShiftは、変換ブロックサイズに基づく成分（5+(log2(nTbW)+log2(nTbH)/2)）により導出される。

【0157】

つまり、スケーリングパラメータbdShift1には、スケーリングパラメータtsShiftの正負を逆にした成分が含まれる。そこで、変換スキップを適用する場合、変換スキップにおける伸張処理のビットシフトを、逆量子化における正規化処理のビットシフトに反映させ、それらの処理をマージする。

【0158】

つまり、正規化部１１２が、変換スキップを適用しない場合、変換スキップにおける伸張処理を反映していないスケーリングパラメータを用いて変換係数を正規化し、変換スキップを適用する場合、変換スキップにおける伸張処理を反映したスケーリングパラメータを用いて変換係数を正規化するようにする。

【0159】

例えば、図１１のＢに示されるセマンティクスのように、逆量子化における正規化処理に用いられるスケーリングパラメータbdShift1を導出する際に、変換スキップフラグが変換スキップの適用を示す場合（transform_skip_flag == IS_SKIP）、変換ブロックサイズに基づく成分を「０」に設定する。また、変換スキップフラグが変換スキップの非適用を示す場合（transform_skip_flag != IS_SKIP）、変換ブロックサイズに基づく成分を（(log2(nTbW)+log2(nTbH)/2)-5）に設定する。

【0160】

このようにすることにより、逆量子化逆変換装置１００は、冗長な処理を低減させることができるので、逆量子化逆変換処理の負荷の増大を抑制することができる。つまり、逆量子化逆変換装置１００は、"変換スキップ+QP4"アプローチによる復号の負荷の増大を抑制することができる。

【0161】

なお、この場合のセマンティクスの表現方法は、任意であり、図１１のＢの例に限定されない。例えば、図１２のＡのセマンティクスのように、変数tsShiftを、変換スキップを適用するか否かに応じて設定し、その変数tsShiftを、変換ブロックサイズに基づく成分として用いて、スケーリングパラメータbdShift1を導出するようにしてもよい。

【0162】

また、図１２のＢのセマンティクスの例のように、さらに、依存量子化に基づく成分を、変換スキップを適用するか否かに応じて設定してもよい。この場合、変換スキップを適用しない場合のみ、スケーリングパラメータbdShift1に、依存量子化に基づく成分（dep_quant_enabled_flag）が加算される。

【0163】

これらの場合（図１２のＡ、図１２のＢ）も、図１１のＢの場合と同様に、冗長な処理を低減させることができる。

【0164】

＜２－１－２：量子化マトリックスに対応したスケーリングパラメータの設定＞
変換スキップフラグが変換スキップの適用を示す場合（transform_skip_flag == IS_SKIP）、スケーリングパラメータbdShift1の変換ブロックサイズに基づく成分を量子化マトリックスに応じた値に設定してもよい。

【0165】

例えば、図１３のＡに示されるセマンティクスのように、逆量子化における正規化処理に用いられるスケーリングパラメータbdShift1を導出する際に、変換スキップフラグが変換スキップの適用を示す場合（transform_skip_flag == IS_SKIP）、変換ブロックサイズに基づく成分を「－４」に設定する。また、変換スキップフラグが変換スキップの非適用を示す場合（transform_skip_flag != IS_SKIP）、変換ブロックサイズに基づく成分を（(log2(nTbW)+log2(nTbH)/2)-5）に設定する。

【0166】

このようにすることにより、逆量子化逆変換装置１００は、処理がオーバフローとなることを抑制することができる。

【0167】

なお、この場合のセマンティクスの表現方法は、任意であり、図１２のＡの例に限定されない。例えば、図１３のＢのセマンティクスのように、変数tsShiftを、変換スキップを適用するか否かに応じて設定し、その変数tsShiftを、変換ブロックサイズに基づく成分として用いて、スケーリングパラメータbdShift1を導出するようにしてもよい。

【0168】

また、図１３のＣのセマンティクスの例のように、さらに、依存量子化に基づく成分を、変換スキップを適用するか否かに応じて設定してもよい。この場合、変換スキップを適用しない場合のみ、スケーリングパラメータbdShift1に、依存量子化に基づく成分（dep_quant_enabled_flag）が加算される。

【0169】

これらの場合（図１３のＢ、図１３のＣ）も、図１３のＡの場合と同様に、処理がオーバフローとなることを抑制することができる。

【0170】

＜変換スキップ時の伸張処理のマージ＞
変換量子化処理においても、上述の逆量子化逆変換処理の場合と同様である。つまり、変換スキップを適用する場合、冗長な処理が存在し、それにより変換量子化処理の負荷が増大するおそれがあった。例えば、変換スキップ時のデータパスにおいて、直交変換後の変換係数のダイナミックレンジと直交変換をスキップした場合の予測残差のダイナミックレンジを揃えるために、変換スキップ固有のTS係数伸張処理（<<fwdtsShift）がある。しかしながら、このTS係数伸張処理は、量子化プロセスにおける正規化処理(>>fwdbdShift2)と逆方向のビットシフトである。したがって、これらの処理を互いに異なる処理として行うことは冗長であった。

【0171】

そこで、変換量子化処理において、図１の表の上から１０番目の段に示されるように、変換スキップにおける伸張処理（<<fwdtsShift）を量子化における正規化処理で代替する（方法２－２）。

【0172】

例えば、画像処理方法において、変換スキップを適用しない場合、画像とその画像の予測画像との残差である予測残差に対して係数変換を行い、変換係数を生成し、変換スキップを適用する場合、係数変換をスキップし、変換スキップを適用しない場合、変換係数に対する量子化を行い、変換スキップを適用する場合、予測残差に対する量子化を行い、変換スキップを適用するかに応じたスケーリングパラメータを用いて、量子化により生成された量子化係数を正規化する。

【0173】

例えば、画像処理装置において、変換スキップを適用しない場合、画像とその画像の予測画像との残差である予測残差に対して係数変換を行い、変換係数を生成し、変換スキップを適用する場合、係数変換をスキップする変換部と、変換スキップを適用しない場合、変換係数に対する量子化を行い、変換スキップを適用する場合、予測残差に対する量子化を行う量子化部と、変換スキップを適用するかに応じたスケーリングパラメータを用いて、量子化部による量子化により生成された量子化係数を正規化する量子化正規化部とを備えるようにする。

【0174】

このようにすることにより、冗長な処理を低減させることができ、変換量子化処理の負荷の増大を抑制することができる。つまり、"変換スキップ+QP4"アプローチによる符号化の負荷の増大を抑制することができる。

【0175】

＜２－２：変換量子化装置＞
図１４は、この場合の変換量子化装置２００の構成の一例を示すブロック図である。なお、図１４においては、処理部やデータの流れ等の主なものを示しており、図１４に示されるものが全てとは限らない。つまり、変換量子化装置２００において、図１４においてブロックとして示されていない処理部が存在したり、図１４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0176】

図１４に示されるように、この場合の変換量子化装置２００は、図７の場合と同様、変換部２０１および量子化部２０２を有する。変換部２０１は、選択部２１１乃至正規化部２１４を有する。つまり、図７の場合と比べて、伸張処理部２１５が省略される。量子化部２０２は、図７の場合と同様、量子化処理部２２１および正規化部２２２を有する。

【0177】

このような変換量子化装置２００において、上述の（方法２－２）を適用する。つまり、変換量子化装置２００は、変換スキップにおける伸張処理を量子化における正規化処理で代替する。つまり、正規化部２２２は、変換スキップを適用するかに応じたスケーリングパラメータを用いて、量子化処理部２２１による量子化により生成された量子化係数を正規化する。そして変換スキップが適用される場合、図７の伸張処理部２１５による伸張処理は、図１４の正規化部２２２による量子化における正規化処理とマージされる。

【0178】

このようにすることにより、変換量子化装置２００は、この変換量子化処理の負荷の増大を抑制することができる。つまり、変換量子化装置２００は、"変換スキップ+QP4"アプローチによる符号化の負荷の増大を抑制することができる。

【0179】

＜変換量子化処理の流れ＞
次に、この場合の変換量子化処理の流れの例を、図１５のフローチャートを参照して説明する。

【0180】

この場合の変換量子化処理が開始されると、ステップＳ３２１乃至ステップＳ３２７の各処理が、図８のステップＳ２０１乃至ステップＳ２０３、並びに、ステップＳ２０５乃至ステップＳ２０８の各処理と基本的に同様に実行される。

【0181】

ただし、ステップＳ３２１において、変換スキップを適用すると判定された場合、処理はステップＳ３２４に進む。また、ステップＳ３２３の処理が終了すると処理はステップＳ３２４に進む。

【0182】

ステップＳ３２７の処理が終了すると変換量子化処理が終了する。

【0183】

このような変換量子化処理において、上述の（方法２－２）を適用する。つまり、ステップＳ３２７において、正規化部２２２は、変換スキップにおける伸張処理を代替するように、量子化係数に対して正規化処理を行う。つまり、正規化部２２２は、変換スキップを適用するかに応じたスケーリングパラメータを用いて、量子化処理部２２１による量子化により生成された量子化係数を正規化する。そして変換スキップが適用される場合、図８のステップＳ２０４において行われる伸張処理は、ステップＳ３２７における量子化における正規化処理とマージされる。

【0184】

このようにすることにより、変換量子化装置２００は、この変換量子化処理の負荷の増大を抑制することができる。つまり、変換量子化装置２００は、"変換スキップ+QP4"アプローチによる符号化の負荷の増大を抑制することができる。

【0185】

＜２－２－１：変換スキップに応じたスケーリングパラメータの設定＞
量子化における正規化処理と、変換スキップにおける伸張処理とを別の処理として行う場合、その正規化処理に用いられるスケーリングパラメータfwdbdShift2と、その伸張処理に用いられるスケーリングパラメータfwdtsShiftとは、図１１のＡの例と同様に導出される。

【0186】

つまり、スケーリングパラメータfwdbdShift2には、スケーリングパラメータfwdtsShiftの正負を逆にした成分が含まれる。したがって、子化における正規化処理と、変換スキップにおける伸張処理とを別の処理として行うのは冗長である。そこで、変換スキップを適用する場合、変換スキップにおける伸張処理のビットシフトを、量子化における正規化処理のビットシフトに反映させ、それらの処理をマージする。

【0187】

つまり、変換処理部２１２は、変換スキップを適用しない場合、予測残差に対して係数変換を行い、変換スキップを適用する場合、伸張処理を行わずに係数変換をスキップし、正規化部２２２は、変換スキップを適用しない場合、その変換スキップにおける伸張処理を反映していないスケーリングパラメータを用いて量子化係数を正規化し、変換スキップを適用する場合、伸張処理を反映したスケーリングパラメータを用いて量子化係数を正規化するようにする。

【0188】

例えば、図１１のＢに示されるセマンティクスの場合と同様に、量子化における正規化処理に用いられるスケーリングパラメータfwdbdShift2を導出する際に、変換スキップフラグが変換スキップの適用を示す場合（transform_skip_flag == IS_SKIP）、変換ブロックサイズに基づく成分を「０」に設定する。また、変換スキップフラグが変換スキップの非適用を示す場合（transform_skip_flag != IS_SKIP）、変換ブロックサイズに基づく成分を（(log2(nTbW)+log2(nTbH)/2)-5）に設定する。

【0189】

このようにすることにより、変換量子化装置２００は、冗長な処理を低減させることができるので、変換量子化処理の負荷の増大を抑制することができる。つまり、変換量子化装置２００は、"変換スキップ+QP4"アプローチによる符号化の負荷の増大を抑制することができる。

【0190】

なお、この場合のセマンティクスの表現方法は、任意である。例えば、図１２のＡのセマンティクスの場合と同様に、変数fwdtsShiftを、変換スキップを適用するか否かに応じて設定し、その変数fwdtsShiftを、変換ブロックサイズに基づく成分として用いて、スケーリングパラメータfwdbdShift1を導出するようにしてもよい。

【0191】

また、図１２のＢのセマンティクスの場合と同様に、さらに、依存量子化に基づく成分を、変換スキップを適用するか否かに応じて設定してもよい。この場合、変換スキップを適用しない場合のみ、スケーリングパラメータfwdbdShift2に、依存量子化に基づく成分（dep_quant_enabled_flag）が加算される。

【0192】

これらの場合も、冗長な処理を低減させることができる。

【0193】

＜２－２－２：量子化マトリックスに対応したスケーリングパラメータの設定＞
また、この変換量子化処理の場合も、上述した逆量子化逆変換処理の場合と同様に、変換スキップフラグが変換スキップの適用を示す場合（transform_skip_flag == IS_SKIP）、スケーリングパラメータfwdbdShift2の変換ブロックサイズに基づく成分を量子化マトリックスに応じた値に設定してもよい。

【0194】

例えば、図１３のＡに示されるセマンティクスの場合と同様に、量子化における正規化処理に用いられるスケーリングパラメータfwdbdShift2を導出する際に、変換スキップフラグが変換スキップの適用を示す場合（transform_skip_flag == IS_SKIP）、変換ブロックサイズに基づく成分を「－４」に設定する。また、変換スキップフラグが変換スキップの非適用を示す場合（transform_skip_flag != IS_SKIP）、変換ブロックサイズに基づく成分を（(log2(nTbW)+log2(nTbH)/2)-5）に設定する。

【0195】

このようにすることにより、変換量子化装置２００は、処理がオーバフローとなることを抑制することができる。

【0196】

なお、この場合のセマンティクスの表現方法は、任意である。例えば、図１３のＢのセマンティクスの場合と同様に、変数fwdtsShiftを、変換スキップを適用するか否かに応じて設定し、その変数fwdtsShiftを、変換ブロックサイズに基づく成分として用いて、スケーリングパラメータfwdbdShift2を導出するようにしてもよい。

【0197】

また、図１３のＣのセマンティクスの場合と同様に、さらに、依存量子化に基づく成分を、変換スキップを適用するか否かに応じて設定してもよい。この場合、変換スキップを適用しない場合のみ、スケーリングパラメータfwdbdShift2に、依存量子化に基づく成分（dep_quant_enabled_flag）が加算される。

【0198】

これらの場合も、図１３のＡの場合と同様に、処理がオーバフローとなることを抑制することができる。

【0199】

なお、本実施の形態において説明した各方法は、適宜、第１の実施の形態において説明した各方法と組み合わせて適用することができる。

【0200】

＜４．第３の実施の形態＞
＜変換スキップ時の正規化処理のマージ＞
例えば、変換スキップ時のデータパスにおいて、逆係数変換後の予測残差のダイナミックレンジと逆係数変換をスキップした場合の変換係数（つまり予測残差）のダイナミックレンジを揃えるために、変換スキップ固有のTS係数伸張処理（<<tsShift）、および”bdShift2”による正規化処理がある。しかしながら、このTS係数身長処理および正規化処理におけるビットシフトは、逆量子化プロセスにおける正規化処理(>>bdShift1)におけるビットシフトとマージすることができる。つまり、これらのビットシフトをそれぞれ行うことは冗長であった。

【0201】

そこで、逆量子化逆変換処理において、図１の表の上から１１番目の段に示されるように、変換スキップの場合、変換スキップにおける伸張処理（<<tsShift）と逆係数変換における正規化処理とを逆量子化における正規化処理で代替する（方法３－１）。

【0202】

このようにすることにより、冗長な処理を低減させることができ、逆量子化逆変換処理の負荷の増大を抑制することができる。つまり、"変換スキップ+QP4"アプローチによる復号の負荷の増大を抑制することができる。

【0203】

＜３－１：逆量子化逆変換装置＞
図１６は、この場合の逆量子化逆変換装置１００の構成の一例を示すブロック図である。なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、逆量子化逆変換装置１００において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0204】

図１６に示されるように、この場合の逆量子化逆変換装置１００は、図２の場合と同様、逆量子化部１０１および逆変換部１０２を有する。逆量子化部１０１は、図２の場合と同様、逆量子化処理部１１１および正規化部１１２を有する。逆変換部１０２は、選択部１２１乃至正規化部１２４を有する。つまり、図２の場合と比べて、伸張処理部１２５が省略される。

【0205】

また、正規化部１２４は、逆変換処理部１２２と選択部１２３との間に設けられている。したがって、この場合、正規化部１２４は、変換スキップが適用されない場合、逆変換処理部１２２から供給される予測残差を取得し、その予測残差に対して正規化処理を行い、正規化された予測残差を、選択部１２３に供給する。選択部１２３は、変換スキップが適用されない場合、その正規化部１２４から供給される予測残差（正規化された予測残差）を取得し、それを、逆量子化逆変換装置１００の外部に出力する。

【0206】

このような逆量子化逆変換装置１００において、上述の（方法３－１）を適用する。つまり、逆量子化逆変換装置１００は、変換スキップの場合、変換スキップにおける伸張処理と、逆係数変換における正規化処理とを逆量子化における正規化処理で代替する。つまり、正規化部１１２は、変換スキップを適用するかに応じたスケーリングパラメータを用いて、逆量子化処理部１１１による逆量子化により生成された変換係数を正規化する。そして変換スキップが適用される場合、図２の伸張処理部１２５による伸張処理と、図２の正規化部１２４による逆係数変換における正規化処理は、図１６の正規化部１１２による逆量子化における正規化処理とマージされる。

【0207】

このようにすることにより、逆量子化逆変換装置１００は、この逆量子化逆変換処理の負荷の増大を抑制することができる。つまり、逆量子化逆変換装置１００は、"変換スキップ+QP4"アプローチによる復号の負荷の増大を抑制することができる。

【0208】

＜逆量子化逆変換処理の流れ＞
次に、この場合の逆量子化逆変換処理の流れの例を、図１７のフローチャートを参照して説明する。

【0209】

この場合の逆量子化逆変換処理が開始されると、ステップＳ３４１乃至ステップＳ３４７の各処理が、図１０のステップＳ３０１乃至ステップＳ３０７の各処理と基本的に同様に実行される。

【0210】

ただし、ステップＳ３４４において、変換スキップを適用すると判定された場合、ステップＳ３４５乃至ステップＳ３４７の各処理がスキップされ、逆量子化逆変換処理が終了する。

【0211】

このような逆量子化逆変換処理において、上述の（方法３－１）を適用する。つまり、ステップＳ３４３において、正規化部１１２は、変換スキップを適用する場合、変換スキップにおける伸張処理と逆係数変換における正規化処理を代替するように、変換係数に対して正規化処理を行う。つまり、正規化部１１２は、変換スキップを適用するかに応じたスケーリングパラメータを用いて、逆量子化処理部１１１による逆量子化により生成された変換係数を正規化する。そして変換スキップが適用される場合、図３のステップＳ１０７において行われる伸張処理と図３のステップＳ１０８において行われる正規化処理は、ステップＳ３４３における逆量子化における正規化処理とマージされる。

【0212】

このようにすることにより、逆量子化逆変換装置１００は、この逆量子化逆変換処理の負荷の増大を抑制することができる。つまり、逆量子化逆変換装置１００は、"変換スキップ+QP4"アプローチによる復号の負荷の増大を抑制することができる。

【0213】

＜３－１－１：変換スキップに応じたスケーリングパラメータの設定＞
逆量子化における正規化処理と、変換スキップにおける伸張処理と、逆係数変換における正規化処理とを別の処理として行う場合、逆量子化における正規化処理に用いられるスケーリングパラメータbdShift1と、伸張処理に用いられるスケーリングパラメータtsShiftと、逆係数変換における正規化処理に用いられるスケーリングパラメータbdShift2とは、例えば、図１８のＡに示されるセマンティクスのように導出される。

【0214】

つまり、スケーリングパラメータbdShift1とスケーリングパラメータtsShiftとは、それぞれ、第２の実施の形態において説明したように導出される。スケーリングパラメータbdShift2は、「２０」とビット深度（bitDepth）との差分と、「０」の内、大きい方の値に設定される。これらのスケーリングパラメータを用いたビットシフトをマージする。

【0215】

つまり、正規化部１２４が、変換スキップを適用しない場合、予測残差を正規化し、正規化部１１２が、変換スキップを適用する場合、正規化部１２４による予測残差に対する正規化処理を反映したスケーリングパラメータを用いて変換係数を正規化するようにする。

【0216】

例えば、図１８のＢに示されるセマンティクスのように、変換スキップフラグが変換スキップの適用を示す場合（transform_skip_flag == IS_SKIP）、逆量子化における正規化処理に用いられるスケーリングパラメータbdShift1は、変数trBdShiftと依存量子化に基づく成分（dep_quant_enabled_flag）との和により導出される。

【0217】

この変数trBdShiftは、図１８のＢに示されるセマンティクスのように、逆量子化に応じた値（INV_QUANT）と、スケーリングリストに応じた値（SCALING_LIST_BITS）との和として導出される。

【0218】

例えば、逆量子化に応じた値（INV_QUANT）は「６」に設定され、スケーリングリストに応じた値（SCALING_LIST_BITS）は「４」に設定される。つまり、変数trBdShiftは、「１０」に設定される。

【0219】

このようにすることにより、逆量子化逆変換装置１００は、冗長な処理を低減させることができるので、逆量子化逆変換処理の負荷の増大を抑制することができる。つまり、逆量子化逆変換装置１００は、"変換スキップ+QP4"アプローチによる復号の負荷の増大を抑制することができる。

【0220】

なお、この場合のセマンティクスの表現方法は、任意である。例えば、図１９のＡのセマンティクスのように、変数trBdShiftを、変換スキップを適用するか否かに応じて設定し、その変数trBdShiftを、変換ブロックサイズに基づく成分として用いて、スケーリングパラメータbdShift1を導出するようにしてもよい。

【0221】

また、図１９のＢのセマンティクスの例のように、さらに、依存量子化に基づく成分を、変換スキップを適用するか否かに応じて設定してもよい。この場合、変換スキップを適用しない場合のみ、スケーリングパラメータbdShift1に、依存量子化に基づく成分（dep_quant_enabled_flag）が加算される。

【0222】

これらの場合（図１９のＡ、図１９のＢ）も、図１８のＢの場合と同様に、冗長な処理を低減させることができる。

【0223】

＜変換スキップ時の正規化処理のマージ＞
変換量子化処理においても、上述の逆量子化逆変換処理の場合と同様である。つまり、変換スキップを適用する場合、冗長な処理が存在し、それにより変換量子化処理の負荷が増大するおそれがあった。例えば、変換スキップ時のデータパスにおいて、直交変換後の変換係数のダイナミックレンジと直交変換をスキップした場合の予測残差のダイナミックレンジを揃えるために、変換スキップ固有のTS係数伸張処理（<<fwdtsShift）および"fwdbdShift1"による正規化処理がある。しかしながら、このTS係数身長処理および正規化処理におけるビットシフトは、量子化プロセスにおける正規化処理(>>fwdbdShift2)におけるビットシフトとマージすることができる。つまり、これらのビットシフトをそれぞれ行うことは冗長であった。

【0224】

そこで、変換量子化処理において、図１の表の上から１２番目の段（最下段）に示されるように、変換スキップの場合、変換スキップにおける伸張処理（<<fwdtsShift）と係数変換における正規化処理とを、量子化における正規化処理で代替する（方法３－２）。

【0225】

このようにすることにより、冗長な処理を低減させることができ、変換量子化処理の負荷の増大を抑制することができる。つまり、"変換スキップ+QP4"アプローチによる符号化の負荷の増大を抑制することができる。

【0226】

＜３－２：変換量子化装置＞
図２０は、この場合の変換量子化装置２００の構成の一例を示すブロック図である。なお、図２０においては、処理部やデータの流れ等の主なものを示しており、図２０に示されるものが全てとは限らない。つまり、変換量子化装置２００において、図２０においてブロックとして示されていない処理部が存在したり、図２０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0227】

図２０に示されるように、この場合の変換量子化装置２００は、図７の場合と同様、変換部２０１および量子化部２０２を有する。変換部２０１は、選択部２１１乃至正規化部２１４を有する。つまり、図７の場合と比べて、伸張処理部２１５が省略される。

【0228】

また、正規化部２１４は、変換処理部２１２と選択部２１３との間に設けられている。したがって、この場合、正規化部２１４は、変換スキップが適用されない場合、変換処理部２１２から供給される変換係数を取得し、その変換係数に対して正規化処理を行い、正規化された変換係数を、選択部２１３に供給する。選択部２１３は、変換スキップが適用されない場合、その正規化部２１４から供給される変換係数（正規化された変換係数）を取得し、それを、変換量子化装置２００の外部に出力する。

【0229】

量子化部２０２は、図７の場合と同様、量子化処理部２２１および正規化部２２２を有する。

【0230】

このような変換量子化装置２００において、上述の（方法３－２）を適用する。つまり、変換量子化装置２００は、変換スキップにおける伸張処理と係数変換における正規化処理とを、量子化における正規化処理で代替する。つまり、正規化部２２２は、変換スキップを適用するかに応じたスケーリングパラメータを用いて、量子化処理部２２１による量子化により生成された量子化係数を正規化する。そして変換スキップが適用される場合、図７の伸張処理部２１５による伸張処理と、図７の正規化部２１４による正規化処理は、図２０の正規化部２２２による量子化における正規化処理とマージされる。

【0231】

このようにすることにより、変換量子化装置２００は、この変換量子化処理の負荷の増大を抑制することができる。つまり、変換量子化装置２００は、"変換スキップ+QP4"アプローチによる符号化の負荷の増大を抑制することができる。

【0232】

＜変換量子化処理の流れ＞
次に、この場合の変換量子化処理の流れの例を、図２１のフローチャートを参照して説明する。

【0233】

この場合の変換量子化処理が開始されると、ステップＳ３６１乃至ステップＳ３６７の各処理が、図１５のステップＳ３２１乃至ステップＳ３２７の各処理と基本的に同様に実行される。

【0234】

ただし、ステップＳ３６１において、変換スキップを適用すると判定された場合、ステップＳ３６２乃至ステップＳ３６４の各処理がスキップされ、処理はステップＳ３６５に進む。

【0235】

このような変換量子化処理において、上述の（方法３－２）を適用する。つまり、ステップＳ３６７において、正規化部２２２は、変換スキップを適用する場合、変換スキップにおける伸張処理と係数変換における正規化処理を代替するように、変換係数に対して正規化処理を行う。つまり、正規化部２２２は、変換スキップを適用するかに応じたスケーリングパラメータを用いて、量子化処理部２２１による量子化により生成された量子化係数を正規化する。そして変換スキップが適用される場合、図８のステップＳ２０４において行われる伸張処理と図８のステップＳ２０５において行われる正規化処理は、ステップＳ３６７における量子化における正規化処理とマージされる。

【0236】

このようにすることにより、変換量子化装置２００は、この変換量子化処理の負荷の増大を抑制することができる。つまり、変換量子化装置２００は、"変換スキップ+QP4"アプローチによる符号化の負荷の増大を抑制することができる。

【0237】

＜３－２－１：変換スキップに応じたスケーリングパラメータの設定＞
正規化部２１４が、変換スキップを適用しない場合、変換係数を正規化し、正規化部２２２が、変換スキップを適用する場合、正規化部２１４による予測残差に対する正規化処理を反映したスケーリングパラメータを用いて量子化係数を正規化するようにする。

【0238】

例えば、図１８のＢの場合と同様に、変換スキップフラグが変換スキップの適用を示す場合（transform_skip_flag == IS_SKIP）、量子化における正規化処理に用いられるスケーリングパラメータfwdbdShift2は、変数fwdtrBdShiftと依存量子化に基づく成分（dep_quant_enabled_flag）との和により導出される。

【0239】

この変数fwdtrBdShiftは、図１８のＢに示されるセマンティクスの場合と同様に、量子化に応じた値（QUANT）と、スケーリングリストに応じた値（SCALING_LIST_BITS）との和として導出される。

【0240】

例えば、量子化に応じた値（QUANT）は「６」に設定され、スケーリングリストに応じた値（SCALING_LIST_BITS）は「４」に設定される。つまり、変数fwdtrBdShiftは、「１０」に設定される。

【0241】

このようにすることにより、変換量子化装置２００は、冗長な処理を低減させることができるので、変換量子化処理の負荷の増大を抑制することができる。つまり、変換量子化装置２００は、"変換スキップ+QP4"アプローチによる符号化の負荷の増大を抑制することができる。

【0242】

なお、この場合のセマンティクスの表現方法は、任意である。例えば、図１９のＡのセマンティクスの場合と同様に、変数fwdtrBdShiftを、変換スキップを適用するか否かに応じて設定し、その変数fwdtrBdShiftを用いて、スケーリングパラメータfwdbdShift2を導出するようにしてもよい。

【0243】

また、図１９のＢのセマンティクスの例の場合と同様に、さらに、依存量子化に基づく成分を、変換スキップを適用するか否かに応じて設定してもよい。この場合、変換スキップを適用しない場合のみ、スケーリングパラメータfwdbdShift2に、依存量子化に基づく成分（dep_quant_enabled_flag）が加算される。

【0244】

これらの場合（図１９のＡ、図１９のＢ）も、図１８のＢの場合と同様に、冗長な処理を低減させることができる。

【0245】

＜５．第４の実施の形態＞
＜画像復号装置＞
第１の実施の形態乃至第３の実施の形態等において上述した本技術は、任意の装置、デバイス、システム等に適用することができる。例えば、画像データの符号化データを復号する画像復号装置に、本技術を適用することができる。画像データを符号化する画像符号化装置に適用することもできる。

【0246】

図２２は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図２２に示される画像復号装置５００は、動画像の符号化データを復号する装置である。例えば、画像復号装置５００は、上述した非特許文献に記載のVVC、AVC、HEVC等の符号化方式で符号化された動画像の符号化データを復号する。例えば、画像復号装置５００は、後述の画像符号化装置６００により生成された符号化データ（ビットストリーム）を復号することができる。

【0247】

なお、図２２においては、処理部やデータの流れ等の主なものを示しており、図２２に示されるものが全てとは限らない。つまり、画像復号装置５００において、図２２においてブロックとして示されていない処理部が存在したり、図２２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像復号装置５００内の処理部等を説明する他の図においても同様である。

【0248】

図２２において、画像復号装置５００は、制御部５０１、蓄積バッファ５１１、復号部５１２、逆量子化逆変換部５１３、演算部５１４、インループフィルタ部５１５、並べ替えバッファ５１６、フレームメモリ５１７、および予測部５１８を備えている。なお、予測部５１８は、不図示のイントラ予測部、およびインター予測部を備えている。

【0249】

＜制御部＞
制御部５０１は、復号の制御に関する処理を行う。例えば、制御部５０１は、ビットストリームに含まれる符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなど）を、復号部５１２を介して取得する。また、制御部５０１は、ビットストリームに含まれない符号化パラメータを推定しうる。さらに、制御部５０１は、取得した（または推定した）符号化パラメータに基づいて、画像復号装置５００の各処理部（蓄積バッファ５１１乃至予測部５１８）を制御することにより、復号を制御する。

【0250】

例えば、制御部５０１は、ヘッダ情報Hinfoを、逆量子化逆変換部５１３、予測部５１８、インループフィルタ部５１５に供給する。また、制御部５０１は、予測モード情報Pinfoを、逆量子化逆変換部５１３および予測部５１８に供給する。さらに、制御部５０１は、変換情報Tinfoを、逆量子化逆変換部５１３に供給する。また、制御部５０１は、残差情報Rinfoを、復号部５１２に供給する。さらに制御部５０１は、フィルタ情報Finfoを、インループフィルタ部５１５に供給する。

【0251】

もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。

【0252】

＜ヘッダ情報Hinfo＞
ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence ParameterSet）／PPS（Picture Parameter Set）／PH（ピクチャヘッダ）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。

【0253】

例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。

【0254】

＜予測モード情報Pinfo＞
予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。

【0255】

イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。

【0256】

また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）、色差MPM識別子（chroma_mpm_idx）、および、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）等が含まれる。

【0257】

コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。

【0258】

多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。

【0259】

色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。

【0260】

なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（に格納されて）伝送される。

【0261】

色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。

【0262】

動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。

【0263】

もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

【0264】

＜変換情報Tinfo＞
変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

【0265】

処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSize：２を底とする各TBWSize、TBHSizeの対数値log2TBWSize、log2TBHSizeであってもよい。
変換スキップフラグ（ts_flag）:（逆）プライマリ変換および（逆）セカンダリ変換をスキップか否かを示すフラグである。
スキャン識別子（scanIdx）
量子化パラメータ（qp）
量子化マトリックス（scaling_matrix）：例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax

【0266】

＜残差情報Rinfo＞
残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば以下のシンタックスが含まれる。

【0267】

cbf（coded_block_flag）：残差データ有無フラグ
last_sig_coeff_x_pos：ラスト非ゼロ係数X座標
last_sig_coeff_y_pos：ラスト非ゼロ係数Y座標
coded_sub_block_flag：サブブロック非ゼロ係数有無フラグ
sig_coeff_flag：非ゼロ係数有無フラグ
gr1_flag：非ゼロ係数のレベルが１より大きいかを示すフラグ(GR1フラグとも呼ぶ)
gr2_flag：非ゼロ係数のレベルが２より大きいかを示すフラグ(GR2フラグとも呼ぶ)
sign_flag：非ゼロ係数の正負を示す符号（サイン符号とも呼ぶ）
coeff_abs_level_remaining:非ゼロ係数の残余レベル(非ゼロ係数残余レベルとも呼ぶ)
など。

【0268】

もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

【0269】

＜フィルタ情報Finfo＞
フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれる。

【0270】

デブロッキングフィルタ(DBF)に関する制御情報
画素適応オフセット(SAO)に関する制御情報
適応ループフィルタ(ALF)に関する制御情報
その他の線形・非線形フィルタに関する制御情報

【0271】

より具体的には、例えば、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などが含まれる。もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

【0272】

＜蓄積バッファ＞
蓄積バッファ５１１は、画像復号装置５００に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ５１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームに含まれる符号化データを抽出し、復号部５１２に供給する。

【0273】

＜復号部＞
復号部５１２は、画像の復号に関する処理を行う。例えば、復号部５１２は、蓄積バッファ５１１から供給される符号化データを入力とし、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値をエントロピ復号（可逆復号）し、パラメータを導出する。

【0274】

シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部５１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。

【0275】

また、復号部５１２は、制御部５０１の制御に従って、このようなパースを行う。そして、復号部５１２は、パースして得られたこれらの情報を制御部５０１に供給する。

【0276】

さらに、復号部５１２は、残差情報Rinfoを参照して符号化データを復号する。その際、復号部５１２は、例えばCABACやCAVLC等のエントロピ復号（可逆復号）を適用する。つまり、復号部５１２は、画像符号化装置６００の符号化部６１４が行う符号化方式に対応する復号方式で符号化データを復号する。

【0277】

例えば、CABACを適用するとする。非ロスレス符号化モードの場合、復号部５１２は、符号化データに対してコンテキストモデルを用いる算術復号を行い、各変換ブロック内の各係数位置の量子化係数levelを導出する。復号部５１２は、その導出した量子化係数levelを逆量子化逆変換部５１３に供給する。

【0278】

また、ロスレス符号化モードの場合、復号部５１２は、符号化データに対してバイパスモードで算術復号を行い、残差データDを導出する。復号部５１２は、その導出した残差データDを逆量子化逆変換部５１３に供給する。

【0279】

＜逆量子化逆変換部＞
逆量子化逆変換部５１３は、逆量子化および逆係数変換に関する処理を行う。例えば、非ロスレス符号化モードの場合、逆量子化逆変換部５１３は、復号部５１２から供給される量子化係数levelを取得する。逆量子化逆変換部５１３は、その取得した量子化係数levelをスケーリング（逆量子化）し、変換係数Coeffを導出する。逆量子化逆変換部５１３は、その変換係数Coeffに対して、例えば逆直交変換等の逆係数変換を行い、残差データD'を導出する。逆量子化逆変換部５１３は、その残差データD'を演算部５１４に供給する。

【0280】

逆量子化逆変換部５１３は、これらの逆量子化および逆係数変換をスキップ（省略）しうる。例えば、ロスレス符号化モードの場合、逆量子化逆変換部５１３は、復号部５１２から供給される残差データDを取得する。逆量子化逆変換部５１３は、逆量子化および逆係数変換をスキップ（省略）し、その残差データDを残差データD'として演算部５１４に供給する。

【0281】

なお、逆量子化逆変換部５１３は、制御部５０１の制御に従ってこれらの処理を行う。例えば、逆量子化逆変換部５１３は、制御部５０１から供給される予測モード情報Pinfoや変換情報Tinfoに基づいて、これらの処理を行いうる。

【0282】

＜演算部＞
演算部５１４は、画像に関する情報の加算に関する処理を行う。例えば、演算部５１４は、逆量子化逆変換部５１３から供給される残差データD'と、予測部５１８から供給される予測画像とを入力とする。演算部５１４は、その残差データとその残差データに対応する予測画像（予測信号）とを加算し、局所復号画像を導出する。演算部５１４は、導出した局所復号画像を、インループフィルタ部５１５およびフレームメモリ５１７に供給する。

【0283】

＜インループフィルタ部＞
インループフィルタ部５１５は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部５１５は、演算部５１４から供給される局所復号画像と、制御部５０１から供給されるフィルタ情報Finfoとを入力とする。なお、インループフィルタ部５１５に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。

【0284】

インループフィルタ部５１５は、そのフィルタ情報Finfoに基づいて、局所復号画像に対して適宜フィルタ処理を行う。例えば、インループフィルタ部５１５は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。

【0285】

インループフィルタ部５１５は、符号化側（例えば画像符号化装置６００のインループフィルタ部６１８）により行われたフィルタ処理に対応するフィルタ処理を行う。もちろん、インループフィルタ部５１５が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部５１５がウィーナーフィルタ等を適用するようにしてもよい。

【0286】

インループフィルタ部５１５は、フィルタ処理された局所復号画像を並べ替えバッファ５１６およびフレームメモリ５１７に供給する。

【0287】

＜並べ替えバッファ＞
並べ替えバッファ５１６は、インループフィルタ部５１５から供給された局所復号画像を入力とし、それを保持（記憶）する。並べ替えバッファ５１６は、その局所復号画像を用いてピクチャ単位毎の復号画像を再構築し、保持する（バッファ内に格納する）。並べ替えバッファ５１６は、得られた復号画像を、復号順から再生順に並べ替える。並べ替えバッファ５１６は、並べ替えた復号画像群を動画像データとして画像復号装置５００の外部に出力する。

【0288】

＜フレームメモリ＞
フレームメモリ５１７は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ５１７は、演算部５１４より供給される局所復号画像を入力とし、ピクチャ単位毎の復号画像を再構築して、フレームメモリ５１７内のバッファへ格納する。

【0289】

また、フレームメモリ５１７は、インループフィルタ部５１５から供給される、インループフィルタ処理された局所復号画像を入力とし、ピクチャ単位毎の復号画像を再構築して、フレームメモリ５１７内のバッファへ格納する。フレームメモリ５１７は、適宜、その記憶している復号画像（またはその一部）を参照画像として予測部５１８に供給する。

【0290】

なお、フレームメモリ５１７が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。

【0291】

＜予測部＞
予測部５１８は、予測画像の生成に関する処理を行う。例えば、予測部５１８は、制御部５０１から供給される予測モード情報Pinfoと、フレームメモリ５１７から読み出す復号画像（またはその一部）を入力とする。予測部５１８は、予測モード情報Pinfoに基づいて符号化の際に採用された予測モードで予測処理を行い、復号画像を参照画像として参照して予測画像を生成する。予測部５１８は、生成した予測画像を演算部５１４に供給する。

【0292】

＜逆量子化逆変換装置の適用＞
以上のような画像復号装置５００の、逆量子化逆変換部５１３として、第１の実施の形態乃至第３の実施の形態において上述した逆量子化逆変換装置１００を適用してもよい。つまり、この逆量子化逆変換部５１３が、図２、図９、または図１６に示されるような構成を有するようにしてもよい。このようにすることにより、逆量子化逆変換部５１３は、第１の実施の形態乃至第３の実施の形態において上述した効果を得ることができる。つまり、画像復号装置５００は、その復号処理において、第１の実施の形態乃至第３の実施の形態において上述した効果を得ることができる。

【0293】

＜画像復号処理の流れ＞
次に、以上のような画像復号装置５００により実行される画像復号処理の流れの例を図２３のフローチャートを参照して説明する。

【0294】

画像復号処理が開始されると、蓄積バッファ５１１は、ステップＳ５０１において、画像復号装置５００の外部から供給されるビットストリーム（符号化データ）を取得して保持する（蓄積する）。

【0295】

ステップＳ５０２において、復号部５１２は、そのビットストリームから各種符号化パラメータをパースする（解析して取得する）。制御部５０１は、その取得した各種符号化パラメータを各種処理部に供給することにより、その各種符号化パラメータを設定する。

【0296】

ステップＳ５０３において、制御部５０１は、得られた符号化パラメータに基づいて、処理単位を設定する。

【0297】

ステップＳ５０４において、復号部５１２は、制御部５０１の制御に従って、ビットストリームを復号し、係数データ（量子化係数levelまたは残差データｒ）を得る。例えばCABACを適用すると、非ロスレス符号化モードの場合、復号部５１２は、コンテキストモデルを用いて算術復号を行い、各変換ブロック内の各係数位置の量子化係数levelを導出する。また、ロスレス符号化モードの場合、復号部５１２は、符号化データに対してバイパスモードで算術復号を行い、残差データDを導出する。

【0298】

ステップＳ５０５において、逆量子化逆変換部５１３は、逆量子化逆変換処理を行い、残差データｒ（D'）を生成する。逆量子化逆変換処理については後述する。

【0299】

ステップＳ５０６において、予測部５１８は、ステップＳ５０２において設定された符号化パラメータ等に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ５１７に記憶されている参照画像を参照する等して、予測画像Pを生成する。

【0300】

ステップＳ５０７において、演算部５１４は、ステップＳ５０５において得られた残差データD'と、ステップＳ５０６において得られた予測画像Pとを加算し、局所復号画像Rlocalを導出する。

【0301】

ステップＳ５０８において、インループフィルタ部５１５は、ステップＳ５０７の処理により得られた局所復号画像Rlocalに対して、インループフィルタ処理を行う。

【0302】

ステップＳ５０９において、並べ替えバッファ５１６は、ステップＳ５０８の処理によりフィルタ処理された局所復号画像Rlocalを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。再生順に並べ替えられた復号画像R群は、動画像として画像復号装置５００の外部に出力される。

【0303】

また、ステップＳ５１０において、フレームメモリ５１７は、ステップＳ５０７の処理により得られた局所復号画像Rlocal、および、ステップＳ５０８の処理によりフィルタ処理された局所復号画像Rlocalの内、少なくとも一方を記憶する。

【0304】

ステップＳ５１０の処理が終了すると、画像復号処理が終了する。

【0305】

＜逆量子化逆変換処理の適用＞
以上のような画像復号装置５００の、逆量子化逆変換処理（ステップＳ５０５）として、第１の実施の形態乃至第３の実施の形態において上述した逆量子化逆変換処理を適用してもよい。つまり、この逆量子化逆変換処理が、図３、図１０、または図１７に示されるフローチャートのような流れで実行されるようにしてもよい。このようにすることにより、逆量子化逆変換部５１３は、第１の実施の形態乃至第３の実施の形態において上述した効果を得ることができる。つまり、画像復号装置５００は、画像復号処理において、第１の実施の形態乃至第３の実施の形態において上述した効果を得ることができる。

【0306】

＜６．第５の実施の形態＞
＜画像符号化装置＞
図２４は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図２４に示される画像符号化装置６００は、動画像の画像データを符号化する装置である。例えば、画像符号化装置６００は、上述した非特許文献に記載のVVC（Versatile Video Coding）、AVC（Advanced Video Coding）、HEVC（High Efficiency Video Coding）等の符号化方式で動画像の画像データを符号化する。

【0307】

なお、図２４においては、処理部やデータの流れ等の主なものを示しており、図２４に示されるものが全てとは限らない。つまり、画像符号化装置６００において、図２４においてブロックとして示されていない処理部が存在したり、図２４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像符号化装置６００内の処理部等を説明する他の図においても同様である。

【0308】

図２４に示されるように画像符号化装置６００は、制御部６０１、並べ替えバッファ６１１、演算部６１２、変換量子化部６１３、符号化部６１４、および蓄積バッファ６１５を有する。また、画像符号化装置６００は、逆量子化逆変換部６１６、演算部６１７、インループフィルタ部６１８、フレームメモリ６１９、予測部６２０、およびレート制御部６２１を有する。

【0309】

＜制御部＞
制御部６０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ６１１により保持されている動画像データを処理単位のブロック（CU,PU,TUなど）へ分割する。また、制御部６０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。例えば、制御部６０１は、変換スキップフラグ等を設定することができる。

【0310】

これらの符号化パラメータの詳細については後述する。制御部６０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。

【0311】

ヘッダ情報Hinfoは、各ブロックに供給される。予測モード情報Pinfoは、符号化部６１４と予測部６２０とに供給される。変換情報Tinfoは、符号化部６１４、変換量子化部６１３、逆量子化逆変換部６１６に供給される。フィルタ情報Finfoは、インループフィルタ部６１８に供給される。

【0312】

＜並べ替えバッファ＞
画像符号化装置６００には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ６１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ６１１は、制御部６０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ６１１は、処理後の各入力画像を演算部６１２に供給する。

【0313】

＜演算部＞
演算部６１２は、並べ替えバッファ６１１から供給される処理単位のブロックに対応する画像から、予測部６２０より供給される予測画像Pを減算して、残差データDを導出し、それを変換量子化部６１３に供給する。

【0314】

＜変換量子化部＞
変換量子化部６１３は、係数変換と量子化に関する処理を行う。例えば、変換量子化部６１３は、演算部６１２から供給される残差データDを取得する。非ロスレス符号化モードの場合、変換量子化部６１３は、その残差データDに対して例えば直交変換等の係数変換を行い、変換係数Coeffを導出する。変換量子化部６１３は、その変換係数Coeffをスケーリング（量子化）し、量子化係数levelを導出する。変換量子化部６１３は、その量子化係数levelを符号化部６１４および逆量子化逆変換部６１６に供給する。

【0315】

変換量子化部６１３は、係数変換や量子化をスキップ（省略）することができる。ロスレス符号化モードの場合、変換量子化部６１３は、この係数変換や量子化をスキップし、取得した残差データDを符号化部６１４や逆量子化逆変換部６１６に供給する。

【0316】

なお、変換量子化部６１３は、制御部６０１の制御に従ってこれらの処理を行う。例えば、変換量子化部６１３は、制御部６０１から供給される予測モード情報Pinfoや変換情報Tinfoに基づいて、これらの処理を行いうる。また、変換量子化部６１３が行う量子化のレートは、レート制御部６２１により制御される。

【0317】

＜符号化部＞
符号化部６１４は、変換量子化部６１３から供給された量子化係数level（または残差データD）と、制御部６０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）と、インループフィルタ部６１８から供給されるフィルタ係数等のフィルタに関する情報と、予測部６２０から供給される最適な予測モードに関する情報とを入力とする。

【0318】

符号化部６１４は、量子化係数levelまたは残差データDに対して、例えばCABAC（Context-based Adaptive Binary Arithmetic Code）やCAVLC（Context-based Adaptive Variable Length Code）等のエントロピ符号化（可逆符号化）を行い、ビット列（符号化データ）を生成する。例えば、CABACを適用する場合、符号化部６１４は、非ロスレス符号化モードにおいて、量子化係数levelに対してコンテキストモデルを用いる算術符号化を行い、符号化データを生成する。また、ロスレス符号化モードにおいて、符号化部６１４は、残差データDに対してバイパスモードで算術符号化を行い、符号化データを生成する。

【0319】

また、符号化部６１４は、その量子化係数レベルや残差データから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。

【0320】

さらに、符号化部６１４は、インループフィルタ部６１８から供給されるフィルタに関する情報をフィルタ情報Finfoに含め、予測部６２０から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部６１４は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。

【0321】

また、符号化部６１４は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部６１４は、その符号化データを蓄積バッファ６１５に供給する。

【0322】

＜蓄積バッファ＞
蓄積バッファ６１５は、符号化部６１４において得られた符号化データを、一時的に保持する。蓄積バッファ６１５は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置６００の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ６１５は、符号化データ（ビットストリーム）を伝送する伝送部でもある。

【0323】

＜逆量子化逆変換部＞
逆量子化逆変換部６１６は、逆量子化と逆係数変換に関する処理を行う。例えば、非ロスレス符号化モードの場合、逆量子化逆変換部６１６は、変換量子化部６１３から供給される量子化係数levelと、制御部６０１から供給される変換情報Tinfoとを入力とする。逆量子化逆変換部６１６は、変換情報Tinfoに基づいて、量子化係数levelの値をスケーリング（逆量子化）し、変換係数Coeffを導出する。なお、この逆量子化は、変換量子化部６１３において行われる量子化の逆処理である。また、逆量子化逆変換部６１６は、変換情報Tinfoに基づいて、変換係数Coeffに対して逆係数変換（例えば逆直交変換）を行い、残差データD'を導出する。なお、この逆係数変換は、変換量子化部６１３において行われる係数変換の逆処理である。逆量子化逆変換部６１６は、導出した残差データD'を演算部６１７に供給する。

【0324】

なお、逆量子化逆変換部６１６は、この逆量子化や逆係数変換をスキップ（省略）することができる。例えば、ロスレス符号化モードが適用された場合、逆量子化逆変換部６１６は、変換量子化部６１３から供給される残差データDと、制御部６０１から供給される変換情報Tinfoとを入力とする。逆量子化逆変換部６１６は、この逆量子化や逆係数変換をスキップし、残差データDを（残差データD'として）演算部６１７に供給する。

【0325】

なお、この逆量子化逆変換部６１６は、復号側の逆量子化逆変換部（後述する）と同様であるので、逆量子化逆変換部６１６については、復号側について行う説明（後述する）を適用することができる。

【0326】

＜演算部＞
演算部６１７は、逆量子化逆変換部６１６から供給される残差データD'と、予測部６２０から供給される予測画像Pとを入力とする。演算部６１７は、その残差データD'と、その残差データD'に対応する予測画像とを加算し、局所復号画像を導出する。演算部６１７は、導出した局所復号画像をインループフィルタ部６１８およびフレームメモリ６１９に供給する。

【0327】

＜インループフィルタ部＞
インループフィルタ部６１８は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部６１８は、演算部６１７から供給される局所復号画像と、制御部６０１から供給されるフィルタ情報Finfoと、並べ替えバッファ６１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部６１８に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部６１８に入力されるようにしてもよい。

【0328】

インループフィルタ部６１８は、そのフィルタ情報Finfoに基づいて、局所復号画像に対して適宜フィルタ処理を行う。インループフィルタ部６１８は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。

【0329】

例えば、インループフィルタ部６１８は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用することができる。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。

【0330】

もちろん、インループフィルタ部６１８が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部６１８がウィーナーフィルタ等を適用するようにしてもよい。

【0331】

インループフィルタ部６１８は、フィルタ処理された局所復号画像をフレームメモリ６１９に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部６１８は、そのフィルタに関する情報を符号化部６１４に供給する。

【0332】

＜フレームメモリ＞
フレームメモリ６１９は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ６１９は、演算部６１７から供給される局所復号画像や、インループフィルタ部６１８から供給されるフィルタ処理された局所復号画像を入力とし、それを保持（記憶）する。また、フレームメモリ６１９は、その局所復号画像を用いてピクチャ単位毎の復号画像を再構築し、保持する（フレームメモリ６１９内のバッファへ格納する）。フレームメモリ６１９は、予測部６２０の要求に応じて、その復号画像（またはその一部）を予測部６２０に供給する。

【0333】

＜予測部＞
予測部６２０は、予測画像の生成に関する処理を行う。例えば、予測部６２０は、制御部６０１から供給される予測モード情報Pinfoと、並べ替えバッファ６１１から供給される入力画像（元画像）と、フレームメモリ６１９から読み出す復号画像（またはその一部）を入力とする。予測部６２０は、予測モード情報Pinfoや入力画像（元画像）を用い、インター予測やイントラ予測等の予測処理を行い、復号画像を参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像を生成する。予測部６２０は、生成した予測画像を演算部６１２および演算部６１７に供給する。また、予測部６２０は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部６１４に供給する。

【0334】

＜レート制御部＞
レート制御部６２１は、レート制御に関する処理を行う。例えば、レート制御部６２１は、蓄積バッファ６１５に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、変換量子化部６１３の量子化動作のレートを制御する。

【0335】

＜変換量子化装置の適用＞
以上のような画像符号化装置６００の、変換量子化部６１３として、第１の実施の形態乃至第３の実施の形態において上述した変換量子化装置２００を適用してもよい。つまり、この変換量子化部６１３が、図７、図１４、または図２０に示されるような構成を有するようにしてもよい。このようにすることにより、変換量子化部６１３は、第１の実施の形態乃至第３の実施の形態において上述した効果を得ることができる。つまり、画像符号化装置６００は、その復号処理において、第１の実施の形態乃至第３の実施の形態において上述した効果を得ることができる。

【0336】

＜画像符号化処理の流れ＞
図２５のフローチャートを参照して、画像符号化装置６００により実行される画像符号化処理の流れの例を説明する。

【0337】

画像符号化処理が開始されると、ステップＳ６０１において、並べ替えバッファ６１１は、制御部６０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。

【0338】

ステップＳ６０２において、制御部６０１は、並べ替えバッファ６１１が保持する入力画像についての符号化パラメータを決定（設定）する。

【0339】

ステップＳ６０３において、制御部６０１は、並べ替えバッファ６１１が保持する入力画像に対して、処理単位を設定する（ブロック分割を行う）。

【0340】

ステップＳ６０４において、予測部６２０は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部６２０は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。

【0341】

ステップＳ６０５において、演算部６１２は、入力画像と、ステップＳ６０４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部６１２は、入力画像と予測画像との残差データDを生成する。このようにして求められた残差データDは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。

【0342】

ステップＳ６０６において、変換量子化部６１３は、ステップＳ６０１において生成された変換モード情報に従って、ステップＳ６０５の処理により生成された残差データDに対して変換量子化処理を行う。

【0343】

ステップＳ６０７において、逆量子化逆変換部６１６は、逆量子化逆変換処理を行う。この逆量子化逆変換処理は、ステップＳ６０６の変換量子化処理の逆処理であり、上述した画像復号装置５００においても、同様の処理が実行される。したがって、この逆量子化逆変換処理の説明は、復号側（画像復号装置５００）を説明する際に行う。そしてその説明は、この逆量子化逆変換処理（ステップＳ６０７）に適用することができる。この処理により、逆量子化逆変換部６１６は、入力された係数データ（量子化係数levelまたは残差データｒ（D））に対して、適宜、逆量子化や逆係数変換を行い、残差データD'を生成する。

【0344】

ステップＳ６０８において、演算部６１７は、ステップＳ６０７の逆量子化逆変換処理により得られた残差データD'に、ステップＳ６０４の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。

【0345】

ステップＳ６０９において、インループフィルタ部６１８は、ステップＳ６０８の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。

【0346】

ステップＳ６１０において、フレームメモリ６１９は、ステップＳ６０８の処理により導出された、局所的に復号された復号画像や、ステップＳ６０９においてフィルタ処理された、局所的に復号された復号画像を記憶する。

【0347】

ステップＳ６１１において、符号化部６１４は、ステップＳ６０６の変換量子化処理により得られた量子化係数levelまたは残差データDを符号化し、符号化データを生成する。また、このとき、符号化部６１４は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo）を符号化する。さらに、符号化部６１４は、量子化係数levelや残差データDから残差情報RInfoを導出し、その残差情報RInfoを符号化する。

【0348】

ステップＳ６１２において、蓄積バッファ６１５は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置６００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部６２１は、必要に応じてレート制御を行う。ステップＳ６１２の処理が終了すると、画像符号化処理が終了する。

【0349】

＜変換量子化処理の適用＞
以上のような画像符号化装置６００の、変換量子化処理（ステップＳ６０６）として、第１の実施の形態乃至第３の実施の形態において上述した逆量子化逆変換処理を適用してもよい。つまり、この逆量子化逆変換処理が、図８、図１５、または図２１に示されるフローチャートのような流れで実行されるようにしてもよい。このようにすることにより、変換量子化部６１３は、第１の実施の形態乃至第３の実施の形態において上述した効果を得ることができる。つまり、画像符号化装置６００は、画像符号化処理において、第１の実施の形態乃至第３の実施の形態において上述した効果を得ることができる。

【0350】

＜７．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

【0351】

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0352】

図２６に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

【0353】

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

【0354】

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

【0355】

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0356】

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。

【0357】

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。

【0358】

その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

【0359】

＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。

【0360】

また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。

【0361】

さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。

【0362】

また、以上においては、本技術の適用例として、逆量子化逆変換装置１００、変換量子化装置２００、画像復号装置５００、および画像符号化装置６００について説明したが、本技術は、任意の構成に適用することができる。

【0363】

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。

【0364】

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

【0365】

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

【0366】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0367】

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

【0368】

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

【0369】

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

【0370】

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

【0371】

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

【0372】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0373】

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0374】

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0375】

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0376】

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0377】

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0378】

なお、本技術は以下のような構成も取ることができる。
（１） 変換スキップを適用するかに応じた量子化パラメータを用いて、量子化係数に対する逆量子化を行う逆量子化部と、
前記変換スキップを適用しない場合、前記逆量子化部による前記逆量子化により生成された変換係数に対する逆係数変換を行い、画像と前記画像の予測画像との残差である予測残差を生成し、前記変換スキップを適用する場合、前記逆係数変換をスキップする逆変換部と
を備える画像処理装置。
（２） 前記逆量子化部は、前記逆量子化において逆依存量子化を適用し、かつ、前記変換スキップを適用しない場合、前記量子化パラメータを補正し、補正した前記量子化パラメータを用いて前記逆量子化を行う
（１）に記載の画像処理装置。
（３） 前記変換係数の符号に基づいてラウンディングオフセットの符号を設定し、前記ラウンディングオフセットを用いて前記変換係数を正規化する逆量子化正規化部をさらに備え、
前記逆変換部は、前記変換スキップを適用しない場合、前記逆量子化正規化部により正規化された前記変換係数に対して前記逆係数変換を行う
（１）に記載の画像処理装置。
（４） 前記変換スキップを適用しない場合、前記予測残差の符号に基づいてラウンディングオフセットの符号を設定し、前記ラウンディングオフセットを用いて前記予測残差を正規化し、前記変換スキップを適用する場合、前記変換係数の符号に基づいて前記ラウンディングオフセットの符号を設定し、前記ラウンディングオフセットを用いて前記変換係数を正規化する逆変換正規化部をさらに備える
（１）に記載の画像処理装置。
（５） 変換スキップを適用するかに応じた量子化パラメータを用いて、量子化係数に対する逆量子化を行い、
前記変換スキップを適用しない場合、前記逆量子化により生成された変換係数に対する逆係数変換を行い、画像と前記画像の予測画像との残差である予測残差を生成し、前記変換スキップを適用する場合、前記逆係数変換をスキップする
画像処理方法。

【0379】

（６） 変換スキップを適用しない場合、画像と前記画像の予測画像との残差である予測残差に対する係数変換を行い、変換係数を生成し、前記変換スキップを適用する場合、前記係数変換をスキップする変換部と、
前記変換スキップを適用するかに応じた量子化パラメータを用いて、前記変換係数に対する量子化を行う量子化部と
を備える画像処理装置。
（７） 変換スキップを適用しない場合、画像と前記画像の予測画像との残差である予測残差に対する係数変換を行い、変換係数を生成し、前記変換スキップを適用する場合、前記係数変換をスキップし、
前記変換スキップを適用するかに応じた量子化パラメータを用いて、前記変換係数に対する量子化を行う
画像処理方法。

【0380】

（８） 量子化係数に対する逆量子化を行う逆量子化部と、
変換スキップを適用するかに応じたスケーリングパラメータを用いて、前記逆量子化部による前記逆量子化により生成された変換係数を正規化する逆量子化正規化部と、
前記変換スキップを適用しない場合、前記逆量子化正規化部により正規化された前記変換係数に対して逆係数変換を行い、画像と前記画像の予測画像との残差である予測残差を生成し、前記変換スキップを適用する場合、前記逆係数変換をスキップする逆変換部と
を備える画像処理装置。
（９） 前記逆量子化正規化部は、前記変換スキップを適用しない場合、前記変換スキップにおける伸張処理を反映していない前記スケーリングパラメータを用いて前記変換係数を正規化し、前記変換スキップを適用する場合、前記伸張処理を反映した前記スケーリングパラメータを用いて前記変換係数を正規化し、
前記逆変換部は、前記変換スキップを適用しない場合、前記逆量子化正規化部により前記伸張処理を反映していない前記スケーリングパラメータを用いて正規化された前記変換係数に対して前記逆係数変換を行い、前記変換スキップを適用する場合、前記伸張処理を行わずに前記逆係数変換をスキップする
（８）に記載の画像処理装置。
（１０） 前記逆量子化正規化部は、前記変換スキップを適用する場合、前記スケーリングパラメータの変換ブロックサイズに基づいて定まる成分を「０」に設定する
（９）に記載の画像処理装置。
（１１） 前記逆量子化正規化部は、前記変換スキップを適用する場合、前記スケーリングパラメータの変換ブロックサイズに基づいて定まる成分を、量子化マトリックスに応じた値に設定する
（９）に記載の画像処理装置。
（１２） 前記量子化マトリックスに応じた値は、「－４」である
（１１）に記載の画像処理装置。
（１３） 前記変換スキップを適用しない場合、前記予測残差を正規化する逆変換正規化部をさらに備え、
前記逆量子化正規化部は、前記変換スキップを適用する場合、前記逆変換正規化部による前記予測残差に対する正規化処理を反映した前記スケーリングパラメータを用いて前記変換係数を正規化する
（８）に記載の画像処理装置。
（１４） 前記逆量子化正規化部は、前記変換スキップを適用する場合、逆量子化およびスケーリングリストに応じた値と、逆依存量子化の適用に応じた値とを含む前記スケーリングパラメータを用いて前記変換係数を正規化する
（１３）に記載の画像処理装置。
（１５） 前記逆量子化および前記スケーリングリストに応じた値は、「１０」である
（１４）に記載の画像処理装置。
（１６） 量子化係数に対する逆量子化を行い、
変換スキップを適用するかに応じたスケーリングパラメータを用いて、前記逆量子化により生成された変換係数を正規化し、
前記変換スキップを適用しない場合、正規化された前記変換係数に対して逆係数変換を行い、画像と前記画像の予測画像との残差である予測残差を生成し、前記変換スキップを適用する場合、前記逆係数変換をスキップする
画像処理方法。

【0381】

（１７） 変換スキップを適用しない場合、画像と前記画像の予測画像との残差である予測残差に対して係数変換を行い、変換係数を生成し、前記変換スキップを適用する場合、前記係数変換をスキップする変換部と、
前記変換スキップを適用しない場合、前記変換係数に対する量子化を行い、前記変換スキップを適用する場合、前記予測残差に対する前記量子化を行う量子化部と、
前記変換スキップを適用するかに応じたスケーリングパラメータを用いて、前記量子化部による前記量子化により生成された量子化係数を正規化する量子化正規化部と
を備える画像処理装置。
（１８） 前記変換部は、前記変換スキップを適用しない場合、前記予測残差に対して前記係数変換を行い、前記変換スキップを適用する場合、伸張処理を行わずに前記係数変換をスキップし、
前記量子化正規化部は、前記変換スキップを適用しない場合、前記変換スキップにおける前記伸張処理を反映していない前記スケーリングパラメータを用いて前記量子化係数を正規化し、前記変換スキップを適用する場合、前記伸張処理を反映した前記スケーリングパラメータを用いて前記量子化係数を正規化する
（１７）に記載の画像処理装置。
（１９） 前記変換スキップを適用しない場合、前記変換係数を正規化する変換正規化部をさらに備え、
前記量子化正規化部は、前記変換スキップを適用する場合、前記変換正規化部による前記変換係数に対する正規化処理を反映した前記スケーリングパラメータを用いて前記量子化係数を正規化する
（１７）に記載の画像処理装置。
（２０） 変換スキップを適用しない場合、画像と前記画像の予測画像との残差である予測残差に対して係数変換を行い、変換係数を生成し、前記変換スキップを適用する場合、前記係数変換をスキップし、
前記変換スキップを適用しない場合、前記変換係数に対する量子化を行い、前記変換スキップを適用する場合、前記予測残差に対する前記量子化を行い、
前記変換スキップを適用するかに応じたスケーリングパラメータを用いて、前記量子化により生成された量子化係数を正規化する
画像処理方法。

【符号の説明】

【0382】

１００ 逆量子化逆変換装置， １０１ 逆量子化部， １０２ 逆変換部， １１１ 逆量子化処理部， １１２ 正規化部， １２１ 選択部， １２２ 逆変換処理部， １２３ 選択部， １２４ 正規化部， １２５ 伸張処理部， ２００ 変換量子化装置， ２０１ 変換部， ２０２ 量子化部， ２１１ 選択部， ２１２ 変換処理部， ２１３ 選択部， ２１４ 正規化部， ２１５ 伸張処理部， ２２１ 量子化処理部， ２２２ 正規化部， ５００ 画像復号装置， ５１３ 逆量子化逆変換部， ６００ 画像符号化装置， ６１３ 変換量子化部， ６１６ 逆量子化逆変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】