特開 2024-166234 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024166234

(43)【公開日】2024-11-28

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 19/85 20140101AFI20241121BHJP

   H04N 19/70 20140101ALI20241121BHJP

   H04N 19/186 20140101ALI20241121BHJP

【ＦＩ】

H04N19/85

H04N19/70

H04N19/186

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2024152944

(22)【出願日】2024-09-05

(62)【分割の表示】P 2021565674の分割

【原出願日】2020-12-18

(31)【優先権主張番号】62/951,896

(32)【優先日】2019-12-20

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/954,120

(32)【優先日】2019-12-27

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】近藤 健治

(57)【要約】

【課題】メモリサイズの増大を回避する。
【解決手段】適応色変換部は、符号化の対象となっている画像の色空間を適応的に変換する適応色変換処理を、画像の残差信号に対して施し、直交変換部は、画像の残差信号に対して、または、適応色変換処理が施された前記画像の残差信号に対して、処理単位となる直交変換ブロックごとに直交変換処理を施す。そして、制御部により、適応色変換処理の適用に関する制御が行われる。本技術は、例えば、ACT処理に対応した画像符号化装置および画像復号装置に適用できる。
【選択図】図２

【特許請求の範囲】

【請求項1】

直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを、ビットストリームからパースするパース部と、
前記パース部によりパースされた前記サイズ識別データが直交変換ブロックの最大のブロックサイズとして３２が適用されることを示す場合にのみ、画像の色空間を適応的に変換する適応色変換処理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データに従って、前記ビットストリームを復号して得られる変換係数に対して処理単位となる直交変換ブロックごとに逆直交変換処理を適用することにより生成された残差信号に対して、前記逆適応色変換処理を適用する逆適応色変換部と
を備える画像処理装置。

【請求項2】

前記サイズ識別データは、前記ビットストリームのシーケンスパラメータセットとして設定されている
請求項１に記載の画像処理装置。

【請求項3】

前記サイズ識別データは、sps_max_luma_transform_size_64_flagのシンタクスとして設定されている
請求項２に記載の画像処理装置。

【請求項4】

前記sps_max_luma_transform_size_64_flagの値が０に設定されている場合にのみ、前記識別データを参照する
請求項３に記載の画像処理装置。

【請求項5】

前記ビットストリームを算術復号して、量子化変換係数を生成する算術復号部と、
前記算術復号部により生成された前記量子化変換係数を逆量子化して、前記変換係数を生成する逆量子化部と
をさらに備える請求項１に記載の画像処理装置。

【請求項6】

直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを、ビットストリームからパースすることと、
前記サイズ識別データが直交変換ブロックの最大のブロックサイズとして３２が適用されることを示す場合にのみ、画像の色空間を適応的に変換する適応色変換処理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データに従って、前記ビットストリームを復号して得られる変換係数に対して処理単位となる直交変換ブロックごとに逆直交変換処理を適用することにより生成された残差信号に対して、前記逆適応色変換処理を適用することと
を含む画像処理方法。

【請求項7】

直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを直交変換ブロックの最大のブロックサイズとして３２が適用されるとして設定した場合にのみ、画像の色空間を適応的に変換する適応色変換理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データを設定する設定部と、
前記画像を符号化して、前記設定部により設定された前記識別データを含むビットストリームを生成する符号化部と
を備える画像処理装置。

【請求項8】

前記設定部は、前記サイズ識別データを、前記ビットストリームのシーケンスパラメータセットとして設定する
請求項７に記載の画像処理装置。

【請求項9】

前記設定部は、前記サイズ識別データを、sps_max_luma_transform_size_64_flagのシンタクスとして設定する
請求項８に記載の画像処理装置。

【請求項10】

前記設定部は、前記sps_max_luma_transform_size_64_flagの値を０に設定した場合にのみ、前記識別データを設定する
請求項９に記載の画像処理装置。

【請求項11】

前記画像の残差信号に対して、処理単位となる直交変換ブロックごとに直交変換処理を適用する施す直交変換部と、
前記直交変換部により生成された変換係数を量子化して、量子化変換係数を生成する量子化部と、
前記量子化部により生成された前記量子化変換係数を算術符号化して、前記ビットストリームを生成する算術符号化部と
をさらに備える請求項７に記載の画像処理装置。

【請求項12】

直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを直交変換ブロックの最大のブロックサイズとして３２が適用されるとして設定した場合にのみ、画像の色空間を適応的に変換する適応色変換理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データを設定することと、
前記画像を符号化して、前記識別データを含むビットストリームを生成することと
を含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置および画像処理方法に関し、特に、メモリサイズの増大を回避することができるようにした画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

従来、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮する符号化方式を採用して画像を圧縮符号化する装置が普及しつつある。

【0003】

この符号化方法には、例えば、MPEG (Moving Picture Experts Group)，H.264 and MPEG-4 Part 10 (Advanced Video Coding, hereinafter referred to as H.264/AVC)、およびH.265 and MPEG-H Part 2 (High Efficiency Video Coding, hereinafter referred to as H.265/HEVC)がある。

【0004】

また、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などに対する符号化効率をさらに向上させるために、VVC（Versatile Video Coding）と呼ばれるコーディング方式の標準化が進められている（後述する実施形態のサポート参照）。

【0005】

非特許文献１に開示されているように、VVCでは、画像の色空間を適応的に変換するACT(Adaptive Color Transform)に関する技術が開示されている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Xiaoyu Xiu, Yi-Wen Chen, Tsung-Chuan Ma, Hong-Jheng Jhu, Xianglin Wang, Support of adaptive color transform for 444 video coding in VVC, JVET-P0517_r1 (version 3 - date 2019-10-11)

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、ACT処理を適用して、例えば、RGB色空間をYCgCo色空間に変換する場合、その処理結果として出力されるYCgCo残差信号を一時的に蓄積する必要がある。そのため、ACT処理の後に行われる直交変換処理における直交変換ブロックのブロックサイズによっては、YCgCo残差信号を蓄積するためのメモリサイズを増大させる必要があると考えられる。

【0008】

本開示は、このような状況に鑑みてなされたものであり、メモリサイズの増大を回避することができるようにするものである。

【課題を解決するための手段】

【0009】

本開示の第１の側面の画像処理装置は、直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを、ビットストリームからパースするパース部と、前記パース部によりパースされた前記サイズ識別データが直交変換ブロックの最大のブロックサイズとして３２が適用されることを示す場合にのみ、画像の色空間を適応的に変換する適応色変換処理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データに従って、前記ビットストリームを復号して得られる変換係数に対して処理単位となる直交変換ブロックごとに逆直交変換処理を適用することにより生成された残差信号に対して、前記逆適応色変換処理を適用する逆適応色変換部とを備える。

【0010】

本開示の第１の側面の画像処理方法は、直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを、ビットストリームからパースすることと、前記サイズ識別データが直交変換ブロックの最大のブロックサイズとして３２が適用されることを示す場合にのみ、画像の色空間を適応的に変換する適応色変換処理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データに従って、前記ビットストリームを復号して得られる変換係数に対して処理単位となる直交変換ブロックごとに逆直交変換処理を適用することにより生成された残差信号に対して、前記逆適応色変換処理を適用することとを含む。

【0011】

本開示の第１の側面においては、直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データが、ビットストリームからパースされ、サイズ識別データが直交変換ブロックの最大のブロックサイズとして３２が適用されることを示す場合にのみ、画像の色空間を適応的に変換する適応色変換処理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データに従って、ビットストリームを復号して得られる変換係数に対して処理単位となる直交変換ブロックごとに逆直交変換処理を適用することにより生成された残差信号に対して、逆適応色変換処理が適用される。

【0012】

本開示の第２の側面の画像処理装置は、直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを直交変換ブロックの最大のブロックサイズとして３２が適用されるとして設定した場合にのみ、画像の色空間を適応的に変換する適応色変換理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データを設定する設定部と、前記画像を符号化して、前記設定部により設定された前記識別データを含むビットストリームを生成する符号化部とを備える。

【0013】

本開示の第２の側面の画像処理方法は、直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを直交変換ブロックの最大のブロックサイズとして３２が適用されるとして設定した場合にのみ、画像の色空間を適応的に変換する適応色変換理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データを設定することと、前記画像を符号化して、前記識別データを含むビットストリームを生成することとを含む。

【0014】

本開示の第２の側面においては、直交変換ブロックの最大のブロックサイズが６４であるか３２であるかを識別するサイズ識別データを直交変換ブロックの最大のブロックサイズとして３２が適用されるとして設定した場合にのみ、画像の色空間を適応的に変換する適応色変換理又は画像の色空間を適応的に逆変換する逆適応色変換処理がEnableであるか否かを識別する識別データが設定され、画像を符号化して、識別データを含むビットストリームが生成される。

【図面の簡単な説明】

【0015】

【図1】本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

【図2】画像符号化装置の構成例を示す図である。

【図3】画像復号装置の構成例を示す図である。

【図4】ハイレベルシンタックスのパラメータセットの一例を示す図である。

【図5】ハイレベルシンタックスのコーディングユニットの一例を示す図である。

【図6】ハイレベルシンタックスのパラメータセットの一例を示す図である。

【図7】本技術を適用したコンピュータベースのシステムの一実施の形態の構成例を示すブロック図である。

【図8】画像符号化装置の一実施の形態の構成例を示すブロック図である。

【図9】符号化処理を説明するフローチャートである。

【図10】画像復号装置の一実施の形態の構成例を示すブロック図である。

【図11】復号処理を説明するフローチャートである。

【図12】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0016】

＜技術内容・技術用語をサポートする文献等＞
本明細書で開示される範囲は、実施例の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF1～REF5の内容も、参照により本明細書に組み込まれる。つまり、参照文献REF1～REF5に記載されている内容もサポート要件について判断する際の根拠となる。さらに、参照文献REF1～REF5において参照している文献もサポート要件を判断する際の根拠となる。

【0017】

例えば、Quad-Tre Block Structureや、QTBT（Quad Tree Plus Binary Tree）、Block Structure、MTT（Multi-type Tree） Block Structureなどが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、ACT（Adaptive Color Transform）等の技術用途についても同等に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。

【0018】

REF1：Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
REF2：Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018
REF3：Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 7), JVET-P2001-v14 (version 14 - date 2019-11-14)
REF4: Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7), JVET-P2002-v1 (version 1 - date 2019-11-10)
REF5: Xiaoyu Xiu, Yi-Wen Chen, Tsung-Chuan Ma, Hong-Jheng Jhu, Xianglin Wang, Support of adaptive color transform for 444 video coding in VVC, JVET-P0517_r1 (version 3 - date 2019-10-11)

【0019】

＜用語＞
本願では、以下の用語を、以下のように定義する。

【0020】

＜ブロック＞
画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、TB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding TreeBlock）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。

【0021】

＜ブロックサイズの指定＞
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。

【0022】

＜情報・処理の単位＞
各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。

【0023】

＜制御情報＞
本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。

【0024】

＜フラグ＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

【0025】

＜メタデータを関連付ける＞
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

【0026】

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。

【0027】

予測ブロックとは、インター予測を行う際の処理単位となるブロックを意味し、予測ブロック内のサブブロックも含む。また、直交変換を行う際の処理単位となる直交変換ブロックや符号化処理を行う際の処理単位となる符号化ブロックと処理単位が統一されている場合には、予測ブロックと直交変換ブロック・符号化ブロックと同じブロックを意味する。

【0028】

インター予測とは、動き検出による動きベクトルの導出（Motion Prediction / Motion Estimation）や、動きベクトルを用いた動き補償（Motion Compensation）などのフレーム（予測ブロック）間の予測を伴う処理の総称であり、予測画像を生成する際に用いる一部の処理（例えば動き補償処理のみ）、または、全ての処理（例えば動き検出処理＋動き補償処理）を含む。インター予測モードとは、インター予測を行う際のモード番号、モード番号のインデックス、予測ブロックのブロックサイズ、予測ブロック内の処理単位となるサブブロックのサイズなど、インター予測モードを導出する際に参照する変数（パラメータ）を包括して意味する。

【0029】

本開示において、複数のパターンを識別する識別データを、ビットストリームのシンタックスとして設定することもできる。この場合、デコーダでは識別データをパース＋参照することにより、より効率的に処理を行うことが可能となる。ブロックサイズを識別する方法（データ）としては、ブロックサイズそのものを数値化（ビット化）するだけでなく、基準となるブロックサイズ（最大ブロックサイズ、最小ブロックサイズなど）に対する差分値を識別する方法（データ）を含む。

【0030】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0031】

＜画像処理システムの構成例＞
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

【0032】

図１に示すように、画像処理システム１１は、画像符号化装置１２および画像復号装置１３を備えて構成される。例えば、画像処理システム１１では、画像符号化装置１２に入力された画像が符号化されて、その符号化により得られるビットストリームが画像復号装置１３に伝送され、画像復号装置１３においてビットストリームから復号された復号画像が出力される。

【0033】

図１に示すように、画像符号化装置１２は、予測部２１、符号化部２２、記憶部２３、および制御部２４を有しており、画像復号装置１３は、予測部３１、復号部３２、記憶部３３、および制御部３４を有している。

【0034】

予測部２１は、インター予測またはイントラ予測を行って予測画像を生成する。例えば、予測部２１は、インター予測を行う場合、所定のブロックサイズの予測ブロック（Prediction Unit）を処理単位として予測画像を生成する。

【0035】

符号化部２２は、所定のブロックサイズの符号化ブロック（Coding Unit）を処理単位として、画像符号化装置１２に入力された画像を所定の符号化方式に従って符号化し、符号化データのビットストリームを画像復号装置１３へ送信する。また、このビットストリームには、図４乃至図６を参照して後述するようなブロックに関するパラメータなどが含まれている。

【0036】

記憶部２３は、画像符号化装置１２において画像を符号化する際に記憶する必要のある各種のデータを記憶する。例えば、記憶部２３は、図２を参照して後述するように、ACT処理によって出力されるYCgCo残差信号１、および、IACT処理の対象となるYCgCo残差信号２を一時的に蓄積する。

【0037】

制御部２４は、図２を参照して後述するようなACT処理およびIACT処理の適用に関する制御を行う。

【0038】

予測部３１は、インター予測またはイントラ予測を行って予測画像を生成する。例えば、予測部２１は、インター予測を行う場合、所定のブロックサイズの予測ブロックを処理単位として予測画像を生成する。

【0039】

復号部３２は、符号化部２２による符号化方式に対応して、画像符号化装置１２から送信されてきたビットストリームを復号し、復号された画像を出力する。

【0040】

記憶部３３は、画像復号装置１３において画像を復号する際に記憶する必要のある各種のデータを記憶する。例えば、記憶部３３は、図３を参照して後述するように、IACT処理の対象となるYCgCo残差信号２を一時的に蓄積する。

【0041】

制御部３４は、図３を参照して後述するようなIACT処理の適用に関する制御を行う。

【0042】

このように構成される画像処理システム１１では、ACT処理およびIACT処理に関する制御を適切に行うことによって、記憶部２３および記憶部３３のメモリサイズが増大することを回避することができる。

【0043】

図２に示すブロック図を参照して、画像符号化装置１２の構成について、さらに説明する。

【0044】

図２に示すように、画像符号化装置１２は、演算部４１、適応色変換部４２、直交変換部４３、量子化部４４、逆量子化部４５、逆直交変換部４６、逆適応色変換部４７、演算部４８、予測部４９、および符号化部５０を備えて構成される。

【0045】

演算部４１は、画像符号化装置１２に入力された画像から、予測部４９から供給される予測画像を減算する演算を行い、その演算により得られる差分情報であるRGB残差信号１を適応色変換部４２に供給する。

【0046】

適応色変換部４２は、演算部４１から供給されるRGB残差信号１に対して、符号化の対象となっている画像の色空間を適応的に変換するACT処理を施す。例えば、適応色変換部４２は、RGB色空間をYCgCo色空間に変換するACT処理を行うことによって、RGB残差信号１からYCgCo残差信号１を取得して直交変換部４３に供給する。

【0047】

直交変換部４３は、適応色変換部４２から供給されるYCgCo残差信号１に対して、処理単位となる直交変換ブロックごとに直交変換を行う直交変換処理を施すことによって変換係数を取得し、量子化部４４に供給する。また、直交変換部４３は、適応色変換部４２においてACT処理が施されないように制御されている場合、演算部４１から供給されるRGB残差信号１に対して直交変換処理を施すことができる。

【0048】

量子化部４４は、直交変換部４３から供給される変換係数を量子化して逆量子化部４５および符号化部５０に供給する。逆量子化部４５は、量子化部４４において量子化された変換係数を逆量子化して逆直交変換部４６に供給する。

【0049】

逆直交変換部４６は、逆量子化部４５から供給される変換係数に対して、処理単位となる直交変換ブロックごとに逆直交変換を行う逆直交変換処理を施すことによってYCgCo残差信号２を取得し、逆適応色変換部４７に供給する。また、逆直交変換部４６は、逆適応色変換部４７においてIACT処理が施されないように制御されている場合、逆直交変換処理によりRGB残差信号２を取得して演算部４８に供給することができる。

【0050】

逆適応色変換部４７は、逆直交変換部４６から供給されるYCgCo残差信号２に対して、画像の色空間を適応的に逆変換するIACT処理を施す。例えば、逆適応色変換部４７は、YCgCo色空間をRGB色空間に逆変換するIACT処理を行うことによって、YCgCo残差信号２からRGB残差信号２を取得して演算部４８に供給する。

【0051】

演算部４８は、逆適応色変換部４７から供給されるRGB残差信号２を、予測部４９から供給される予測画像に加算する演算を行うことによって局部的に画像を再構成（復号）し、その再構成した画像を表す再構成信号を出力する。また、演算部４８は、逆適応色変換部４７においてIACT処理が施されないように制御されている場合、逆直交変換部４６から供給されるRGB残差信号２から画像を再構成（復号）することができる。

【0052】

予測部４９は、図１の予測部２１に対応し、演算部４８において再構成された画像から予測される予測画像を生成して、演算部４１および演算部４８に供給する。

【0053】

符号化部５０は、図１の符号化部２２に対応し、量子化部４４において量子化された変換係数に対して、例えば、同値の連続に対して符号化効率が高い符号化方式であるCABAC（Context-based Adaptive Binary Arithmetic Coding）などを用いた符号化処理を施す。これにより、符号化部５０は、符号化データのビットストリームを取得し、画像復号装置１３へ送信する。

【0054】

このように構成される画像符号化装置１２では、適応色変換部４２においてRGB残差信号１をYCgCo残差信号１に変換するACT処理を行うことによって、信号のエネルギー集中度の向上を図ることができる。このように、信号のエネルギー集中度を向上させることによって、画像符号化装置１２は、少ない符号量で画像信号を表現することができ、符号化効率の改善が期待される。

【0055】

図３に示すブロック図を参照して、画像復号装置１３の構成について、さらに説明する。

【0056】

図３に示すように、画像復号装置１３は、復号部６１、逆量子化部６２、逆直交変換部６３、逆適応色変換部６４、演算部６５、および予測部６６を備えて構成される。

【0057】

復号部６１は、図１の復号部３２に対応し、画像符号化装置１２から送信されてきた符号化データのビットストリームに対して、図２の符号化部５０による符号化に対応した符号化方式（例えば、CABAC）を用いた復号処理を施す。これにより、復号部６１は、符号化データのビットストリームから、量子化された変換係数を取得して、逆量子化部６２に供給する。このとき、復号部６１は、符号化データのビットストリームに含まれている、図４乃至図６を参照して後述するようなブロックに関するパラメータなども取得する。

【0058】

逆量子化部６２は、復号部６１から供給される量子化された変換係数を逆量子化して逆直交変換部６３に供給する。

【0059】

逆直交変換部６３は、逆量子化部６２から供給される変換係数に対して、処理単位となる直交変換ブロックごとに逆直交変換を行う逆直交変換処理を施すことによってYCgCo残差信号２を取得し、逆適応色変換部６４に供給する。また、逆直交変換部６３は、逆適応色変換部６４においてIACT処理が施されないように制御されている場合、逆直交変換処理により取得したRGB残差信号２を演算部６５に供給することができる。

【0060】

逆適応色変換部６４は、図２の逆適応色変換部４７と同様に、逆直交変換部６３から供給されるYCgCo残差信号２に対して、画像の色空間を適応的に逆変換するIACT処理を施す。例えば、逆適応色変換部６４は、YCgCo色空間をRGB色空間に逆変換するIACT処理を行うことによって、YCgCo残差信号２からRGB残差信号２を取得して演算部６５に供給する。

【0061】

演算部６５は、逆適応色変換部６４から供給されるRGB残差信号２を、予測部６６から供給される予測画像に加算する演算を行うことによって局部的に画像を再構成（復号）し、その再構成した画像を表す再構成信号を出力する。また、演算部６５は、逆適応色変換部６４においてIACT処理が施されないように制御されている場合、逆直交変換部６３から供給されるRGB残差信号２から画像を再構成（復号）することができる。

【0062】

予測部６６は、図１の予測部３１に対応し、図２の予測部４９と同様に、演算部６５において再構成された画像から予測される予測画像を生成して、演算部６５に供給する。

【0063】

このように構成される画像復号装置１３では、画像符号化装置１２と同様に、符号化効率の改善に貢献することができる。

【0064】

以上のように画像処理システム１１は構成されており、適応色変換部４２においてRGB残差信号１をYCgCo残差信号１に変換するACT処理が行われ、逆適応色変換部４７および６４においてYCgCo残差信号２をRGB残差信号２に変換するIACT処理が行われる。

【0065】

このとき、画像符号化装置１２では、適応色変換部４２において３コンポーネント単位でACT処理が行われるため、３コンポーネント分のYCgCo残差信号１が、図１の記憶部２３に一時的に記憶される。従って、記憶部２３には、直交変換部４３における直交変換ブロックのブロックサイズ（例えば、３２×３２）に相当する３コンポーネント分のYCgCo残差信号１が記憶されることになる。また、記憶部２３には、逆直交変換部４６における直交変換ブロックのブロックサイズ（例えば、３２×３２）に相当する３コンポーネント分のYCgCo残差信号２が記憶される。

【0066】

同様に、画像復号装置１３では、逆直交変換部６３における直交変換ブロックのブロックサイズ（例えば、３２×３２）に相当する３コンポーネント分のYCgCo残差信号２が、図１の記憶部３３に記憶されることになる。

【0067】

このように、画像処理システム１１では、ACT処理およびIACT処理を適用する場合には、直交変換ブロックのブロックサイズに応じたYCgCo残差信号１およびYCgCo残差信号２が記憶可能となるように記憶部２３のメモリサイズを増大させる必要がある。同様に、ACT処理およびIACT処理を適用する場合には、直交変換ブロックのブロックサイズに応じたYCgCo残差信号２が記憶可能となるように記憶部３３のメモリサイズを増大させる必要がある。このため、メモリサイズの増大に伴って、画像処理システム１１の実装コストが増加することになる。

【0068】

そこで、画像処理システム１１では、制御部２４によって、適応色変換部４２によるACT処理および逆適応色変換部４７によるIACT処理の適用に関する制御が適切に行われることで、記憶部２３のメモリサイズが増大することを回避することができる。同様に、画像処理システム１１では、制御部３４によって、逆適応色変換部６４によるIACT処理の適用に関する制御が適切に行われることで、記憶部３３のメモリサイズが増大することを回避することができる。従って、画像処理システム１１は、メモリサイズの増大を回避するのに伴って、実装コストの増加を抑制することができる。

【0069】

＜ACT処理およびIACT処理の適用に関する第１のコンセプト＞

【0070】

例えば、画像処理システム１１では、画像を符号化する際の符号化ブロックに対して所定の制限（例えば、サイズ、面積、形状などの制限）が設けられている場合に、ACT処理およびIACT処理が適用されるように制御が行われる。

【0071】

例えば、このような制限を行うための符号化ブロックのパラメータとしては、サイズ、長辺サイズ、短辺サイズ、面積、および形状がある。サイズには、１６×１６、１６×８、８×１６などがある。長辺サイズには、１６×８ブロックに対する１６がある。短辺サイズには、１６×８ブロックに対する８がある。面積には、１６×１６、１６×８などがある。形状には、正方形、長方形などがある。

【0072】

従来、直交変換処理および逆直交変換処理における直交変換ブロックのブロックサイズは３２×３２が用いられていたため、３２×３２のブロックサイズで３コンポーネント分のYCgCo残差信号を蓄えることが可能なメモリサイズが必要であった。

【0073】

これに対し、画像処理システム１１では、ACT処理およびIACT処理が適用されるときの符号化ブロックのブロックサイズを所定サイズ（例えば、１６×１６）以下に制限を設ける。このような制限によって、記憶部２３は、１６×１６のブロックサイズで３コンポーネント分のYCgCo残差信号１を記憶するだけのメモリサイズでよい。同様に、YCgCo残差信号２についても、記憶部２３および記憶部３３は、１６×１６のブロックサイズで３コンポーネント分のYCgCo残差信号２を記憶するだけのメモリサイズでよい。

【0074】

例えば、ビットストリームのシンタックスに関して、ACT処理およびIACT処理が適用される条件に、符号化ブロックのパラメータ（サイズ、面積、形状など）を考慮する。つまり、画像符号化装置１２では、ACT処理を適用することを示すフラグを送信する際に、符号化ブロックのブロックサイズが所定サイズ（例えば、１６×１６）以下であることを確認する。そして、符号化ブロックのブロックサイズが所定サイズ（例えば、１６×１６）以下である場合にのみ、ACT処理を適用することを示すフラグを送信し、所定サイズ（例えば、１６×１６）より大きい場合には、ACT処理を適用することを示すフラグを送信しないように、シンタックスを取り決める。

【0075】

これにより、画像処理システム１１では、符号化ブロックのブロックサイズが所定サイズより大きい場合には、ACT処理を適用することを示すフラグの送信が不要となり、そのフラグをビットストリームから取り除くことができるので、符号化効率の改善を期待することができる。また、このような送信することが不要なフラグを送信しないことで、ビットストリームのシンタックスに曖昧な信号を取り除くことができる。

【0076】

また、符号化方式としてVVC（Versatile Video Coding）が用いられる場合について説明する。符号化方式としてVVCが用いられる場合、直交変換処理および逆直交変換処理における直交変換ブロックのブロックサイズとして６４×６４を使用することができる。そのため、符号化方式としてVVCが用いられる場合、６４×６４のブロックサイズで３コンポーネント分のYCgCo残差信号を蓄えることが可能なメモリサイズが必要であった。

【0077】

そこで、画像処理システム１１では、符号化方式としてVVCが用いられる場合、例えば、ACT処理およびIACT処理が適用されるときの符号化ブロックのブロックサイズを３２×３２以下に制限を設ける。このような制限によって、記憶部２３は、３２×３２のブロックサイズで３コンポーネント分のYCgCo残差信号１を記憶するだけのメモリサイズでよい。同様に、YCgCo残差信号２についても、記憶部２３および記憶部３３は、３２×３２のブロックサイズで３コンポーネント分のYCgCo残差信号２を記憶するだけのメモリサイズでよい。

【0078】

なお、符号化方式としてHEVC（High Efficiency Video Coding）が用いられる場合にもACT処理およびIACT処理を行う機構が備えられ、HEVCでは規格上、直交変換処理および逆直交変換処理における直交変換ブロックの最大ブロックサイズが３２×３２となっていた。これに対し、VVCでは、直交変換ブロックの最大ブロックサイズとして６４×６４をサポートできるようになったため、メモリサイズの増大がHEVCに比べてより大きくなる。そこで、画像処理システム１１では、符号化方式としてVVCが用いられる場合、ACT処理およびIACT処理が適用される際に、直交変換処理および逆直交変換処理における直交変換ブロックを制限することによって、HEVCと同じメモリサイズで処理を行ことが可能となる。

【0079】

図４には、ハイレベルシンタックスのパラメータセットの一例が示されている。

【0080】

図４に示すパラメータセットにおいて、sps_act_enabled_flagが１である場合、ACT処理およびIACT処理を適用することができ、コーディングユニットシンタックスにcu_act_enabled_flagが存在する可能性があることを指定する。一方、sps_act_enabled_flagが０である場合、ACT処理およびIACT処理が適用されず、コーディングユニットシンタックスにcu_act_enabled_flagが存在しないことを指定する。なお、パラメータセットにsps_act_enabled_flagが存在しない場合、sps_act_enabled_flagは０であると推測される。

【0081】

図４に示すパラメータセットにおいて、sps_log2_act_max_size_minus2は、ACT処理およびIACT処理において使用される最大ブロックサイズを０から７までの範囲で指定する。なお、パラメータセットにsps_log2_act_max_size_minus2が存在しない場合、sps_log2_act_max_size_minus2は０であると推測される。

【0082】

また、MaxActSize変数は、１が設定されている場合、sps_log2_act_max_size_minus2 + 2より十分に小さくなる（The variable MaxActSize is set equal to 1 << (sps_log2_act_max_size_minus2 + 2)）。例えば、sps_log2_act_max_size_minus2に２をセットすると、MaxActSize変数は１６（=1<<4）になる。これにより、MaxActSizeより大きいサイズでACT処理およびIACT処理が行われることを禁止することができる。

【0083】

図５には、ハイレベルシンタックスのコーディングユニットの一例が示されている。

【0084】

図５に示すコーディングユニットにおいて、cu_act_enabled_flagが１である場合、現在のコーディングユニットの残差がYCgCo色空間でコーディングされることを指定する。一方、cu_act_enabled_flagが０である場合、現在のコーディングユニットの残差が元の色空間でコーディングされることを指定する。なお、cu_act_enabled_flagが存在しない場合には、cu_act_enabled_flagは０であると推測される。

【0085】

ここで、符号化ブロックの幅が、ACT処理およびIACT処理におけるブロックサイズの最大サイズ以下、並びに、符号化ブロックの高さが、ACT処理およびIACT処理におけるブロックサイズの最大サイズ以下という条件（&& cbWidth <= MaxActSize && cbHeight <= MaxActSize）を、cu_act_enabled_flagを送信する条件に加えることで、ACT処理およびIACT処理で用いられるメモリサイズを制限することができる。

【0086】

また、符号化ブロックの幅または符号化ブロックの高さが、ACT処理およびIACT処理におけるブロックサイズの最大サイズ以下という条件（&& (cbWidth * cbHeight) <= (MaxActSize* MaxActSize)）を、cu_act_enabled_flagを送信する条件に加えることでも、メモリサイズを制限することができる。この場合、一辺がMaxActSizeを超えていても、もう一辺が小さく上記の条件を満たすのであれば、ACT処理およびIACT処理を適用することができる。

【0087】

＜ACT処理およびIACT処理の適用に関する第２のコンセプト＞
第２のコンセプトでは、画像処理システム１１で用いられる符号化ブロックまたは予想ブロックのブロックサイズが大きい場合であっても、符号化ブロックまたは予想ブロックのブロックサイズを分割した小さなサイズとした直交変換ブロックを用いて直交変換処理および逆直交変換処理を施すように制御が行われ、ACT処理およびIACT処理が適用されるように制御が行われる。つまり、画像処理システム１１で用いられる符号化ブロックまたは予想ブロックのブロックサイズが大きな場合においても、ACT処理およびIACT処理が適用される際は、符号化ブロックまたは予想ブロックのブロックサイズよりも小さな直交変換ブロックで直交変換処理および逆直交変換処理を行わせる。

【0088】

例えば、符号化ブロックのブロックサイズが６４×６４であって、インター予測の予測ブロックのブロックサイズが６４×６４である場合、通常、直交変換ブロックにおいても６４×６４のブロックサイズが用いられていた。これに対し、画像処理システム１１では、同様の場合であっても、ACT処理およびIACT処理が適用される際は自動的に、６４×６４より小さく分割されたブロックサイズの直交変換ブロック（例えば、３２×３２のブロックサイズの４つのブロック）が用いられる。

【0089】

例えば、ACT処理が適用されることを示す制御信号を参照することにより、ACT処理が適用される場合には、そのときの符号化ブロックまたは予測ブロックのブロックサイズを分割して小さなブロックサイズとした直交変換ブロックを用いて直交変換処理および逆直交変換処理を施すように制御が行われる。

【0090】

従って、画像処理システム１１では、このような第２のコンセプトに従った制御を行うことで、直交変換処理および逆直交変換処理における直交変換ブロックのブロックサイズが小さくなり、ACT処理およびIACT処理を適用する際に必要となるメモリサイズの増大を回避することができる。例えば、YCbCo残差信号１を蓄える記憶部２３は、６４×６４のブロックサイズで３コンポーネント分のメモリサイズではなく、３２×３２のブロックサイズで３コンポーネント分のメモリサイズとすることができる。その結果、画像処理システム１１では、実装コストの増加を抑制することができる。

【0091】

＜ACT処理およびIACT処理の適用に関する第３のコンセプト＞
第３のコンセプトでは、直交変換処理および逆直交変換処理における直交変換ブロックの最大ブロックサイズとして小さいサイズが用いられる場合に、ACT処理およびIACT処理が適用されるように制御が行われる。

【0092】

例えば、画像処理システム１１では、直交変換ブロックの最大ブロックサイズとして３２および６４が規定されている。そして、制御部２４は、直交変換ブロックの最大ブロックサイズとして３２を用いる場合に制限して、適応色変換部４２によるACT処理および逆適応色変換部４７によるIACT処理を行わせる。同様に、制御部３４は、直交変換ブロックの最大ブロックサイズとして３２を用いる場合に制限して、逆適応色変換部６４によるIACT処理を行わせる。

【0093】

このような第３のコンセプトに従った制御は、ハイレベルシンタックスのパラメータセットに含まれるsps_max_luma_transform_size_64_flagを利用することにより実現することができる。

【0094】

図６には、画像処理システム１１で用いられるハイレベルシンタックスのパラメータセットの一例が示されている。

【0095】

例えば、sps_max_luma_transform_size_64_flagが０である場合、直交変換ブロックの最大ブロックサイズとして３２を用いるように設定されている。一方、sps_max_luma_transform_size_64_flagが１である場合、直交変換ブロックの最大ブロックサイズとして６４を用いるように設定されている。

【0096】

そこで、画像処理システム１１では、sps_max_luma_transform_size_64_flagが０である場合にのみ、ACT処理およびIACT処理が適用されるように制御が行われる。つまり、画像処理システム１１では、sps_max_luma_transform_size_64_flagが１である場合には、ACT処理およびIACT処理が適用されない。

【0097】

そして、制御部２４は、sps_max_luma_transform_size_64_flagが０である場合に、適応色変換処理を適用するか否かを示すsps_act_enabled_flagに、適応色変換処理を適用することを示す１を設定し、画像復号装置１３へ送信する。この場合、cu_act_enabled_flagもコーディングユニットシンタックスに含まれることがある。なお、sps_act_enabled_flagが０である場合、適応色変換処理を適用しないことを示し、この場合、cu_act_enabled_flagはコーディングユニットシンタックスに含まれない。ここで、sps_act_enabled_flagがパラメータセットに含まれていない場合、sps_act_enabled_flagは０であると推測される。

【0098】

このように、sps_max_luma_transform_size_64_flagが０である場合、直交変換ブロックの最大ブロックサイズが３２に制限されるため、画像処理システム１１では、ACT処理およびIACT処理を適用する際に必要となるメモリサイズの増大を回避することができる。

【0099】

例えば、このような制御が行われない場合、つまり、直交変換ブロックの最大ブロックサイズが６４となり得る場合、記憶部２３および記憶部３３は、６４×６４のブロックサイズで３コンポーネント分のYCgCo残差信号を蓄えることが可能なメモリサイズが必要となる。これに対し、直交変換ブロックの最大ブロックサイズが３２に制限されたときのみ、ACT処理およびIACT処理を適用するような制御を行うことで、記憶部２３および記憶部３３は、３２×３２のブロックサイズで３コンポーネント分のYCgCo残差信号を記憶するだけのメモリサイズでよい。

【0100】

従って、画像処理システム１１では、このような第３のコンセプトに従った制御を行うことで、メモリサイズの増大を回避することができる結果、実装コストの増加を抑制することができる。

【0101】

＜コンピュータベースのシステムの構成例＞
図７は、本技術を適用したコンピュータベースのシステムの一実施の形態の構成例を示すブロック図である。

【0102】

図７は、１または複数のコンピュータやサーバなどがネットワークを介して接続されたネットワークシステムの構成例を示すブロック図である。なお、図７の実施の形態で示されているハードウェアおよびソフトウェア環境は、本開示によるソフトウェアおよび／または方法を実装するためのプラットフォームを提供することができる一例として示されている。

【0103】

図７に示すように、ネットワークシステム１０１は、コンピュータ１０２、ネットワーク１０３、リモートコンピュータ１０４、ウェブサーバ１０５、クラウドストレージサーバ１０６、およびコンピュータサーバ１０７を備えて構成される。ここで、本実施の形態では、図７に示される機能ブロックのうちの１または複数によって、複数のインスタンスが実行される。

【0104】

また、図７では、コンピュータ１０２の詳細な構成が図示されている。なお、コンピュータ１０２内に示されている機能ブロックは、例示的な機能を確立するために図示されており、このような構成に限定されるものではない。また、リモートコンピュータ１０４、ウェブサーバ１０５、クラウドストレージサーバ１０６、およびコンピュータサーバ１０７の詳細な構成は図示されていないが、これらは、コンピュータ１０２内に示されている機能ブロックと同様の構成が含まれている。

【0105】

コンピュータ１０２としては、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、携帯情報端末、スマートフォン、または、ネットワーク上の他のデバイスと通信可能な他のプログラム可能な電子デバイスを用いることができる。

【0106】

そして、コンピュータ１０２は、バス１１１、プロセッサ１１２、メモリ１１３、不揮発性ストレージ１１４、ネットワークインタフェース１１５、周辺機器インタフェース１１６、およびディスプレイインターフェース１１７を備えて構成される。これらの機能の各々は、ある実施の形態では、個々の電子サブシステム（集積回路チップまたはチップと関連デバイスの組み合わせ）に実装され、または、他の実施形態では、機能のいくつかが組み合わせられて単一チップ（システムオンチップまたはSoC（System on Chip））に実装されてもよい。

【0107】

バス１１１は、各種の独自仕様または業界標準の高速パラレルまたはシリアル周辺相互接続バスを採用することができる。

【0108】

プロセッサ１１２は、１または複数のシングルまたはマルチチップマイクロプロセッサとして設計および／または製造されたものを採用することができる。

【0109】

メモリ１１３および不揮発性ストレージ１１４は、コンピュータ１０２による読み込みが可能なストレージ媒体である。例えば、メモリ１１３は、DRAM（Dynamic Random Access Memory）やSRAM（Static RAM）などのような任意の適切な揮発性ストレージデバイスを採用することができる。不揮発性ストレージ１１４は、フレキシブルディスク、ハードディスク、SSD（Solid State Drive）、ROM（Read Only Memory）、EPROM（Erasable and Programmable Read Only Memory）、フラッシュメモリ、コンパクトディスク（CDまたはCD-ROM）、DVD（Digital Versatile Disc）、カード型メモリ、またはスティック型メモリのうち、少なくとも１つ以上を採用することができる。

【0110】

また、不揮発性ストレージ１１４には、プログラム１２１が格納されている。プログラム１２１は、例えば、特定のソフトウェア機能を作成、管理、および制御するために使用される機械可読命令および／またはデータの集合である。なお、メモリ１１３が不揮発性ストレージ１１４よりも非常に高速である構成では、プログラム１２１は、プロセッサ１１２により実行される前に、不揮発性ストレージ１１４からメモリ１１３に転送することができる。

【0111】

コンピュータ１０２は、ネットワークインタフェース１１５を介して、ネットワーク１０３を介した他のコンピュータとの通信および相互作用をすることができる。ネットワーク１０３は、例えば、LAN（Local Area Network）、インターネットなどのWAN（Wide Area Network）、または、LANおよびWANの組み合わせで、有線、無線、または光ファイバー接続が含まれた構成を採用することができる。一般に、ネットワーク１０３は、２つ以上のコンピュータと関連デバイス間の通信をサポートする接続およびプロトコルの任意の組み合わせからなる。

【0112】

周辺機器インタフェース１１６は、コンピュータ１０２にローカルに接続され得る他のデバイスとのデータの入出力を行うことができる。例えば、周辺機器インタフェース１１６は、外部デバイス１３１への接続を提供する。外部デバイス１３１には、キーボード、マウス、キーパッド、タッチスクリーン、および/または、その他の適切な入力デバイスが用いられる。外部デバイス１３１は、例えば、サムドライブ、ポータブル光学ディスクまたは磁気ディスク、およびメモリカードなどのポータブルコンピュータ可読記憶媒体も含み得る。

【0113】

本開示の実施の形態では、例えば、プログラム１２１を実施するために使用されるソフトウェアおよびデータは、そのようなポータブルコンピュータ可読記憶媒体に記憶されてもよい。そのような実施形態では、ソフトウェアは、不揮発性ストレージ１１４に、または周辺機器インタフェース１１６を介してメモリ１１３に直接ロードされてもよい。周辺機器インタフェース１１６は、外部デバイス１３１との接続に、例えば、RS-232またはUSB（Universal Serial Bus）などの業界標準を使用してもよい。

【0114】

ディスプレイインターフェース１１７は、コンピュータ１０２をディスプレイ１３２に接続することができ、ディスプレイ１３２を使用して、コマンドラインまたはグラフィカルユーザインターフェースを、コンピュータ１０２のユーザに提示することができる。例えば、ディスプレイインターフェース１１７には、VGA（Video Graphics Array）や、DVI（Digital Visual Interface）、DisplayPort、HDMI（High-Definition Multimedia Interface）（登録商標）などの業界標準を採用することができる。

【0115】

＜画像符号化装置の構成例＞
図８は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

【0116】

図８に示される画像符号化装置２０１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、VVC（Versatile Video Coding）方式やHEVC（High Efficiency Video Coding）方式などが用いられる。

【0117】

図８の画像符号化装置２０１は、A/D変換部２０２、画面並べ替えバッファ２０３、演算部２０４、直交変換部２０５、量子化部２０６、可逆符号化部２０７、および蓄積バッファ２０８を有する。また、画像符号化装置２０１は、逆量子化部２０９、逆直交変換部２１０、演算部２１１、デブロッキングフィルタ２１２、適応オフセットフィルタ２１３、適応ループフィルタ２１４、フレームメモリ２１５、選択部２１６、イントラ予測部２１７、動き予測・補償部２１８、予測画像選択部２１９、およびレート制御部２２０を有する。

【0118】

A/D変換部２０２は、入力された画像データ（Picture(s)）をA/D変換して画面並べ替えバッファ２０３に供給する。なお、A/D変換部２０２を設けずに、ディジタルデータの画像が入力される構成としてもよい。

【0119】

画面並べ替えバッファ２０３は、A/D変換部２０２から供給された画像データを記憶し、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２０３は、フレームの順番を並び替えた画像を、演算部２０４、イントラ予測部２１７、および動き予測・補償部２１８に出力する。

【0120】

演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、予測画像選択部２１９を介してイントラ予測部２１７若しくは動き予測・補償部２１８から供給される予測画像を減算し、その差分情報を直交変換部２０５に出力する。

【0121】

例えば、イントラ符号化が行われる画像の場合、演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、イントラ予測部２１７から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、動き予測・補償部２１８から供給される予測画像を減算する。

【0122】

直交変換部２０５は、演算部２０４から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２０６に供給する。

【0123】

量子化部２０６は、直交変換部２０５が出力する変換係数を量子化する。量子化部２０６は、量子化された変換係数を可逆符号化部２０７に供給する。

【0124】

可逆符号化部２０７は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。

【0125】

可逆符号化部２０７は、イントラ予測モードを示す情報などのパラメータをイントラ予測部２１７から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部２１８から取得する。

【0126】

可逆符号化部２０７は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタックス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２０７は、符号化して得られた符号化データを蓄積バッファ２０８に供給して蓄積させる。

【0127】

例えば、可逆符号化部２０７においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

【0128】

蓄積バッファ２０８は、可逆符号化部２０７から供給された符号化ストリーム（Encoded Data）を、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。すなわち、蓄積バッファ２０８は、符号化ストリームを伝送する伝送部でもある。

【0129】

また、量子化部２０６において量子化された変換係数は、逆量子化部２０９にも供給される。逆量子化部２０９は、その量子化された変換係数を、量子化部２０６による量子化に対応する方法で逆量子化する。逆量子化部２０９は、得られた変換係数を、逆直交変換部２１０に供給する。

【0130】

逆直交変換部２１０は、供給された変換係数を、直交変換部２０５による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部２１１に供給される。

【0131】

演算部２１１は、逆直交変換部２１０より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部２１９を介してイントラ予測部２１７若しくは動き予測・補償部２１８から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。

【0132】

例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部２１１は、その差分情報にイントラ予測部２１７から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部２１１は、その差分情報に動き予測・補償部２１８から供給される予測画像を加算する。

【0133】

その加算結果である復号画像は、デブロッキングフィルタ２１２およびフレームメモリ２１５に供給される。

【0134】

デブロッキングフィルタ２１２は、演算部２１１からの画像に対して、適宜デブロッキングフィルタ処理を行うことにより復号画像のブロック歪を抑制し、そのフィルタ処理結果を適応オフセットフィルタ２１３に供給する。デブロッキングフィルタ２１２は、量子化パラメータＱＰを基に求められるパラメータβおよびTcを有している。パラメータβおよびTcは、デブロッキングフィルタに関する判定に用いられる閾値（パラメータ）である。

【0135】

なお、デブロッキングフィルタ２１２が有するパラメータであるβおよびTcは、HEVC方式で規定されているβとTcから拡張されている。パラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２０７において符号化され、後述する図１０の画像復号装置３０１に送信される。

【0136】

適応オフセットフィルタ２１３は、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO: Sample adaptive offset)処理を行う。

【0137】

オフセットフィルタの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセットフィルタ２１３は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ２１３は、フィルタ処理後の画像を、適応ループフィルタ２１４に供給する。

【0138】

なお、画像符号化装置２０１において、quad-tree構造と分割領域毎のオフセット値は、適応オフセットフィルタ２１３により算出されて用いられる。算出されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２０７において符号化され、後述する図１０の画像復号装置３０１に送信される。

【0139】

適応ループフィルタ２１４は、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、適応ループフィルタ（ALF : Adaptive Loop Filter）処理を行う。適応ループフィルタ２１４においては、フィルタとして、例えば、２次元のウィナーフィルタ（Wiener Filter）が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。適応ループフィルタ２１４は、フィルタ処理結果をフレームメモリ２１５に供給する。

【0140】

なお、図８の例においては図示しないが、画像符号化装置２０１において、フィルタ係数は、処理単位毎に、画面並べ替えバッファ２０３からの原画像との残差を最小とするよう適応ループフィルタ２１４により算出されて用いられる。算出されたフィルタ係数は、適応ループフィルタパラメータとして、可逆符号化部２０７において符号化され、後述する図１０の画像復号装置３０１に送信される。

【0141】

フレームメモリ２１５は、所定のタイミングにおいて、蓄積されている参照画像を、選択部２１６を介してイントラ予測部２１７または動き予測・補償部２１８に出力する。

【0142】

例えば、イントラ符号化が行われる画像の場合、フレームメモリ２１５は、参照画像を、選択部２１６を介してイントラ予測部２１７に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ２１５は、参照画像を、選択部２１６を介して動き予測・補償部２１８に供給する。

【0143】

選択部２１６は、フレームメモリ２１５から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部２１７に供給する。また、選択部２１６は、フレームメモリ２１５から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部２１８に供給する。

【0144】

イントラ予測部２１７は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部２１７は、複数のモード（イントラ予測モード）によりイントラ予測を行う。

【0145】

イントラ予測部２１７は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部２１７は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部２１９を介して演算部２０４や演算部２１１に供給する。

【0146】

また、上述したように、イントラ予測部２１７は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部２０７に供給する。

【0147】

動き予測・補償部２１８は、インター符号化が行われる画像について、画面並べ替えバッファ２０３から供給される入力画像と、選択部２１６を介してフレームメモリ２１５から供給される参照画像とを用いて、動き予測を行う。また、動き予測・補償部２１８は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。

【0148】

動き予測・補償部２１８は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部２１８は、生成された予測画像を、予測画像選択部２１９を介して演算部２０４や演算部２１１に供給する。また、動き予測・補償部２１８は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部２０７に供給する。

【0149】

予測画像選択部２１９は、イントラ符号化を行う画像の場合、イントラ予測部２１７の出力を演算部２０４や演算部２１１に供給し、インター符号化を行う画像の場合、動き予測・補償部２１８の出力を演算部２０４や演算部２１１に供給する。

【0150】

レート制御部２２０は、蓄積バッファ２０８に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０６の量子化動作のレートを制御する。

【0151】

このように画像符号化装置２０１は構成されており、演算部２０４および直交変換部２０５の間に適応色変換部４２（図２）が設けられ、逆直交変換部２１０および演算部２１１の間に逆適応色変換部４７（図２）が設けられる。そして、画像符号化装置２０１では、上述した第１乃至第３のコンセプトに従った制御が行われることにより、メモリサイズの増大を回避することができる。

【0152】

＜画像符号化装置の動作＞
図９を参照して、以上のような画像符号化装置２０１により実行される符号化処理の流れについて説明する。

【0153】

ステップＳ１０１において、A/D変換部２０２は、入力された画像をA/D変換する。

【0154】

ステップＳ１０２において、画面並べ替えバッファ２０３は、A/D変換部２０２でA/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

【0155】

画面並べ替えバッファ２０３から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ２１５から読み出され、選択部２１６を介してイントラ予測部２１７に供給される。

【0156】

これらの画像に基づいて、ステップＳ１０３において、イントラ予測部２１７は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロッキングフィルタ２１２によりフィルタされていない画素が用いられる。

【0157】

この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部２１９に供給される。

【0158】

画面並べ替えバッファ２０３から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ２１５から読み出され、選択部２１６を介して動き予測・補償部２１８に供給される。これらの画像に基づいて、ステップＳ１０４において、動き予測・補償部２１８は、動き予測・補償処理を行う。

【0159】

この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部２１９に供給される。

【0160】

ステップＳ１０５において、予測画像選択部２１９は、イントラ予測部２１７および動き予測・補償部２１８より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部２１９は、決定した最適予測モードの予測画像を選択し、演算部２０４，２１１に供給する。この予測画像は、後述するステップＳ１０６，Ｓ１１１の演算に利用される。

【0161】

なお、この予測画像の選択情報は、イントラ予測部２１７または動き予測・補償部２１８に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部２１７は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部２０７に供給する。

【0162】

最適インター予測モードの予測画像が選択された場合、動き予測・補償部２１８は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部２０７に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。

【0163】

ステップＳ１０６において、演算部２０４は、ステップＳ１０２で並び替えられた画像と、ステップＳ１０５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部２１８から、イントラ予測する場合はイントラ予測部２１７から、それぞれ予測画像選択部２１９を介して演算部２０４に供給される。

【0164】

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

【0165】

ステップＳ１０７において、直交変換部２０５は演算部２０４から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

【0166】

ステップＳ１０８において、量子化部２０６は変換係数を量子化する。この量子化に際しては、後述するステップＳ１１８の処理で説明されるように、レートが制御される。

【0167】

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部２０９は、量子化部２０６により量子化された変換係数を量子化部２０６の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部２１０は、逆量子化部２０９により逆量子化された変換係数を直交変換部２０５の特性に対応する特性で逆直交変換する。

【0168】

ステップＳ１１１において、演算部２１１は、予測画像選択部２１９を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部２０４への入力に対応する画像）を生成する。

【0169】

ステップＳ１１２においてデブロッキングフィルタ２１２は、演算部２１１より出力された画像に対して、デブロッキングフィルタ処理を行う。このとき、デブロッキングフィルタに関する判定の閾値として、HEVC方式で規定されているβとTcから拡張されたパラメータβおよびTcが用いられる。デブロッキングフィルタ２１２からのフィルタ後の画像は、適応オフセットフィルタ２１３に出力される。

【0170】

なお、ユーザにより操作部などを操作することで入力されて、デブロッキングフィルタ２１２で用いられたパラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２０７に供給される。

【0171】

ステップＳ１１３において、適応オフセットフィルタ２１３は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ２１４に供給される。

【0172】

なお、決定されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２０７に供給される。

【0173】

ステップＳ１１４において、適応ループフィルタ２１４は、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。例えば、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、画像に対してフィルタ処理が行われ、フィルタ処理結果が、フレームメモリ２１５に供給される。

【0174】

ステップＳ１１５においてフレームメモリ２１５は、フィルタリングされた画像を記憶する。なお、フレームメモリ２１５には、デブロッキングフィルタ２１２、適応オフセットフィルタ２１３、および適応ループフィルタ２１４によりフィルタされていない画像も演算部２１１から供給され、記憶される。

【0175】

一方、上述したステップＳ１０８において量子化された変換係数は、可逆符号化部２０７にも供給される。ステップＳ１１６において、可逆符号化部２０７は、量子化部２０６より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。ここで、符号化される各パラメータとしては、デブロッキングフィルタのパラメータ、適応オフセットフィルタのパラメータ、適応ループフィルタのパラメータ、量子化パラメータ、動きベクトル情報や参照フレーム情報、予測モード情報などがあげられる。

【0176】

ステップＳ１１７において蓄積バッファ２０８は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ２０８に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。

【0177】

ステップＳ１１８においてレート制御部２２０は、蓄積バッファ２０８に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０６の量子化動作のレートを制御する。

【0178】

ステップＳ１１８の処理が終了すると、符号化処理が終了される。

【0179】

以上のような符号化処理において、ステップＳ１０６およびステップＳ１０７の間で適応色変換部４２（図２）によるACT処理が行われ、ステップＳ１１０およびステップＳ１１１の間で逆適応色変換部４７（図２）によるIACT処理が行われる。そして、符号化処理では、上述した第１乃至第３のコンセプトに従ってACT処理およびIACT処理の適用に関する制御が行われる。

【0180】

＜画像復号装置の構成例＞
図１０は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１０に示される画像復号装置３０１は、図８の画像符号化装置２０１に対応する復号装置である。

【0181】

画像符号化装置２０１より符号化された符号化ストリーム（Encoded Data）は、所定の伝送路を介して、この画像符号化装置２０１に対応する画像復号装置３０１に伝送され、復号されるものとする。

【0182】

図１０に示されるように、画像復号装置３０１は、蓄積バッファ３０２、可逆復号部３０３、逆量子化部３０４、逆直交変換部３０５、演算部３０６、デブロッキングフィルタ３０７、適応オフセットフィルタ３０８、適応ループフィルタ３０９、画面並べ替えバッファ３１０、D/A変換部３１１、フレームメモリ３１２、選択部３１３、イントラ予測部３１４、動き予測・補償部３１５、および選択部３１６を有する。

【0183】

蓄積バッファ３０２は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ３０２は、伝送されてきた符号化データを受け取って、蓄積する。この符号化データは、画像符号化装置２０１により符号化されたものである。可逆復号部３０３は、蓄積バッファ３０２から所定のタイミングで読み出された符号化データを、図８の可逆符号化部２０７の符号化方式に対応する方式で復号する。

【0184】

可逆復号部３０３は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部３１４に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３１５に供給する。また、可逆復号部３０３は、復号されたデブロッキングフィルタのパラメータを、デブロッキングフィルタ３０７に供給し、復号された適応オフセットパラメータを、適応オフセットフィルタ３０８に供給する。

【0185】

逆量子化部３０４は、可逆復号部３０３により復号されて得られた係数データ（量子化係数）を、図８の量子化部２０６の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部３０４は、画像符号化装置２０１から供給された量子化パラメータを用いて、図８の逆量子化部２０９と同様の方法で量子化係数の逆量子化を行う。

【0186】

逆量子化部３０４は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部３０５に供給する。逆直交変換部３０５は、図８の直交変換部２０５の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置２０１において直交変換される前の残差データに対応する復号残差データを得る。

【0187】

逆直交変換されて得られた復号残差データは、演算部３０６に供給される。また、演算部３０６には、選択部３１６を介して、イントラ予測部３１４若しくは動き予測・補償部３１５から予測画像が供給される。

【0188】

演算部３０６は、その復号残差データと予測画像とを加算し、画像符号化装置２０１の演算部２０４により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部３０６は、その復号画像データをデブロッキングフィルタ３０７に供給する。

【0189】

デブロッキングフィルタ３０７は、演算部３０６からの画像に対して、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を抑制し、そのフィルタ処理結果を適応オフセットフィルタ３０８に供給する。デブロッキングフィルタ３０７は、図８のデブロッキングフィルタ２１２と基本的に同様に構成される。すなわち、デブロッキングフィルタ３０７は、量子化パラメータを基に求められるパラメータβおよびTcを有している。パラメータβおよびTcは、デブロッキングフィルタに関する判定に用いられる閾値である。

【0190】

なお、デブロッキングフィルタ３０７が有するパラメータであるβおよびTcは、HEVC方式で規定されているβとTcから拡張されている。画像符号化装置２０１により符号化されたデブロッキングフィルタのパラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、画像復号装置３０１において受信されて、可逆復号部３０３により復号されて、デブロッキングフィルタ３０７により用いられる。

【0191】

適応オフセットフィルタ３０８は、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO)処理を行う。

【0192】

適応オフセットフィルタ３０８は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ３０８は、フィルタ処理後の画像を、適応ループフィルタ３０９に供給する。

【0193】

なお、このquad-tree構造と分割領域毎のオフセット値は、画像符号化装置２０１の適応オフセットフィルタ２１３により算出され、適応オフセットパラメータとして、符号化されて送られてきたものである。そして、画像符号化装置２０１により符号化されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、画像復号装置３０１において受信されて、可逆復号部３０３により復号されて、適応オフセットフィルタ３０８により用いられる。

【0194】

適応ループフィルタ３０９は、適応オフセットフィルタ３０８によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、フレームメモリ３１２および画面並べ替えバッファ３１０に供給する。

【0195】

なお、図１０の例においては図示しないが、画像復号装置３０１において、フィルタ係数は、画像符号化装置２０１の適応ループフィルタ２１４によりLUC毎に算出され、適応ループフィルタパラメータとして、符号化されて送られてきたものが可逆復号部３０３により復号されて用いられる。

【0196】

画面並べ替えバッファ３１０は、画像の並べ替えを行って、D/A変換部３１１に供給する。すなわち、図８の画面並べ替えバッファ２０３により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。

【0197】

D/A変換部３１１は、画面並べ替えバッファ３１０から供給される画像（Decoded Picture(s)）をD/A変換して図示せぬディスプレイに出力し、表示させる。なお、D/A変換部３１１を設けずに、ディジタルデータのままで画像を出力する構成としてもよい。

【0198】

適応ループフィルタ３０９の出力は、さらに、フレームメモリ３１２に供給される。

【0199】

フレームメモリ３１２、選択部３１３、イントラ予測部３１４、動き予測・補償部３１５、および選択部３１６は、画像符号化装置２０１のフレームメモリ２１５、選択部２１６、イントラ予測部２１７、動き予測・補償部２１８、および予測画像選択部２１９にそれぞれ対応する。

【0200】

選択部３１３は、インター処理される画像と参照される画像をフレームメモリ３１２から読み出し、動き予測・補償部３１５に供給する。また、選択部３１３は、イントラ予測に用いられる画像をフレームメモリ３１２から読み出し、イントラ予測部３１４に供給する。

【0201】

イントラ予測部３１４には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部３０３から適宜供給される。イントラ予測部３１４は、この情報に基づいて、フレームメモリ３１２から取得した参照画像から予測画像を生成し、生成した予測画像を選択部３１６に供給する。

【0202】

動き予測・補償部３１５には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部３０３から供給される。

【0203】

動き予測・補償部３１５は、可逆復号部３０３から供給されるそれらの情報に基づいて、フレームメモリ３１２から取得した参照画像から予測画像を生成し、生成した予測画像を選択部３１６に供給する。

【0204】

選択部３１６は、動き予測・補償部３１５またはイントラ予測部３１４により生成された予測画像を選択し、演算部３０６に供給する。

【0205】

このように画像復号装置３０１は構成されており、逆直交変換部３０５および演算部３０６の間に逆適応色変換部６４（図３）が設けられる。そして、画像復号装置３０１では、上述した第１乃至第３のコンセプトに従った制御が行われることにより、メモリサイズの増大を回避することができる。

【0206】

＜画像復号装置の動作＞
図１１を参照して、以上のような画像復号装置３０１により実行される復号処理の流れの例を説明する。

【0207】

復号処理が開始されると、ステップＳ２０１において、蓄積バッファ３０２は、伝送されてきた符号化ストリーム（データ）を受け取り、蓄積する。ステップＳ２０２において、可逆復号部３０３は、蓄積バッファ３０２から供給される符号化データを復号する。図８の可逆符号化部２０７により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

【0208】

ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）などのパラメータの情報も復号される。

【0209】

予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部３１４に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部３１５に供給される。また、デブロッキングフィルタのパラメータおよび適応オフセットパラメータも復号され、デブロッキングフィルタ３０７および適応オフセットフィルタ３０８にそれぞれ供給される。

【0210】

ステップＳ２０３において、イントラ予測部３１４または動き予測・補償部３１５は、可逆復号部３０３から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。

【0211】

すなわち、可逆復号部３０３からイントラ予測モード情報が供給された場合、イントラ予測部３１４はイントラ予測モードのイントラ予測画像を生成する。可逆復号部３０３からインター予測モード情報が供給された場合、動き予測・補償部３１５は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。

【0212】

この処理により、イントラ予測部３１４により生成された予測画像（イントラ予測画像）、または動き予測・補償部３１５により生成された予測画像（インター予測画像）が、選択部３１６に供給される。

【0213】

ステップＳ２０４において、選択部３１６は予測画像を選択する。すなわち、イントラ予測部３１４により生成された予測画像、または、動き予測・補償部３１５により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部３０６に供給され、後述するステップＳ２０７において逆直交変換部３０５の出力と加算される。

【0214】

上述したステップＳ２０２において、可逆復号部３０３により復号された変換係数は、逆量子化部３０４にも供給される。ステップＳ２０５において、逆量子化部３０４は可逆復号部３０３により復号された変換係数を、図８の量子化部２０６の特性に対応する特性で逆量子化する。

【0215】

ステップＳ２０６において逆直交変換部３０５は、逆量子化部３０４により逆量子化された変換係数を、図８の直交変換部２０５の特性に対応する特性で逆直交変換する。これにより図８の直交変換部２０５の入力（演算部２０４の出力）に対応する差分情報が復号されたことになる。

【0216】

ステップＳ２０７において、演算部３０６は、上述したステップＳ２０４の処理で選択され、選択部３１６を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。

【0217】

ステップＳ２０８においてデブロッキングフィルタ３０７は、演算部３０６より出力された画像に対して、デブロッキングフィルタ処理を行う。このとき、デブロッキングフィルタに関する判定の閾値として、HEVC方式で規定されているβとTcから拡張されたパラメータβおよびTcが用いられる。デブロッキングフィルタ３０７からのフィルタ後の画像は、適応オフセットフィルタ３０８に出力される。なお、デブロッキングフィルタ処理においては、可逆復号部３０３から供給されるデブロッキングフィルタのパラメータβおよびTcの各オフセットも用いられる。

【0218】

ステップＳ２０９において、適応オフセットフィルタ３０８は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ３０９に供給される。

【0219】

ステップＳ２１０において、適応ループフィルタ３０９は、適応オフセットフィルタ３０８によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ３０９は、処理単位毎に計算されたフィルタ係数を用いて、入力画像に対して、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、画面並べ替えバッファ３１０およびフレームメモリ３１２に供給する。

【0220】

ステップＳ２１１においてフレームメモリ３１２は、フィルタリングされた画像を記憶する。

【0221】

ステップＳ２１２において、画面並べ替えバッファ３１０は、適応ループフィルタ３０９後の画像の並べ替えを行った後、D/A変換部３１１に供給する。すなわち画像符号化装置２０１の画面並べ替えバッファ２０３により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

【0222】

ステップＳ２１３において、D/A変換部３１１は、画面並べ替えバッファ３１０で並べ替えられた画像をD/A変換して図示せぬディスプレイに出力し、画像が表示される。

【0223】

ステップＳ２１３の処理が終了すると、復号処理が終了される。

【0224】

以上のような復号処理において、ステップＳ２０６およびステップＳ２０７の間で逆適応色変換部６４（図３）によるIACT処理が行われる。そして、復号処理では、上述した第１乃至第３のコンセプトに従ってACT処理およびIACT処理の適用に関する制御が行われる。

【0225】

＜コンピュータの構成例＞
次に、上述した一連の処理（画像処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0226】

図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0227】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１００５やROM１００３に予め記録しておくことができる。

【0228】

あるいはまた、プログラムは、ドライブ１００９によって駆動されるリムーバブル記録媒体１０１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１０１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１０１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0229】

なお、プログラムは、上述したようなリムーバブル記録媒体１０１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１００５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0230】

コンピュータは、CPU(Central Processing Unit)１００２を内蔵しており、CPU１００２には、バス１００１を介して、入出力インタフェース１０１０が接続されている。

【0231】

CPU１００２は、入出力インタフェース１０１０を介して、ユーザによって、入力部１００７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１００３に格納されているプログラムを実行する。あるいは、CPU１００２は、ハードディスク１００５に格納されたプログラムを、RAM(Random Access Memory)１００４にロードして実行する。

【0232】

これにより、CPU１００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０１０を介して、出力部１００６から出力、あるいは、通信部１００８から送信、さらには、ハードディスク１００５に記録等させる。

【0233】

なお、入力部１００７は、キーボードや、マウス、マイク等で構成される。また、出力部１００６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0234】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0235】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0236】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0237】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0238】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0239】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0240】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0241】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0242】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0243】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
符号化の対象となっている画像の色空間を適応的に変換する適応色変換処理を、前記画像の残差信号に対して施す適応色変換部と、
前記画像の残差信号に対して、または、前記適応色変換処理が施された前記画像の残差信号に対して、処理単位となる直交変換ブロックごとに直交変換処理を施す直交変換部と、
前記適応色変換処理の適用に関する制御を行う制御部と
を備える画像処理装置。
（２）
前記直交変換ブロックの最大のブロックサイズとして、第１のブロックサイズと、その第１のブロックサイズよりも大きな第２のブロックサイズとが規定されており、
前記制御部は、前記直交変換ブロックの最大のブロックサイズとして前記第１のブロックサイズを用いる場合に、前記適応色変換処理を適用するように前記適応色変換部に対する制御を行う
上記（１）に記載の画像処理装置。
（３）
前記第１のブロックサイズは３２であり、前記第２のブロックサイズは６４であって、
前記制御部は、前記直交変換ブロックの最大のブロックサイズとして３２を用いる場合に制限して、前記適応色変換処理を適用させる
上記（２）に記載の画像処理装置。
（４）
前記制御部は、ハイレベルシンタックスのパラメータセットに含まれるsps_max_luma_transform_size_64_flagが０である場合に、前記適応色変換処理を適用することを示すsps_act_enabled_flagを復号側に送信する
上記（３）に記載の画像処理装置。
（５）
前記制御部は、前記画像を符号化する際の符号化ブロックに対して所定の制限が設けられている場合に、前記適応色変換処理を適用するように前記適応色変換部に対する制御を行う
上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
前記制御部は、前記画像を符号化する際の処理単位となる符号化ブロックのブロックサイズが所定サイズ以下に制限されている場合に、前記適応色変換処理を適用させる
上記（５）に記載の画像処理装置。
（７）
前記制御部は、前記符号化ブロックのブロックサイズが１６×１６以下に制限されている場合に、前記適応色変換処理を適用させる
上記（６）に記載の画像処理装置。
（８）
前記制御部は、前記画像を符号化する際の処理単位となる符号化ブロックのブロックサイズが所定サイズより大きい場合、前記符号化ブロックを分割して小さなブロックサイズとした前記直交変換ブロックを用いて前記直交変換処理を施すように前記直交変換部に対する制御を行い、前記適応色変換処理を適用するように前記適応色変換部に対する制御を行う
上記（１）から（７）までのいずれかに記載の画像処理装置。
（９）
前記制御部は、前記符号化ブロックのブロックサイズが６４×６４である場合、前記直交変換ブロックを３２×３２として前記直交変換処理を行わせ、前記適応色変換処理を適用させる
上記（８）に記載の画像処理装置。
（１０）
前記直交変換処理が施されることにより得られた変換係数に対して、前記直交変換ブロックごとに逆直交変換処理を施すことにより前記残差信号を取得する逆直交変換部と、
前記逆直交変換部により取得された前記残差信号に対して、画像の色空間を適応的に逆変換する逆適応色変換処理を施す逆適応色変換部と
をさらに備え、
前記制御部は、前記適応色変換処理に対応させて前記逆適応色変換処理の適用に関する制御を行う
上記（１）から（９）までのいずれかに記載の画像処理装置。
（１１）
符号化の対象となっている画像の色空間を適応的に変換する適応色変換処理を、前記画像の残差信号に対して施すことと、
前記画像の残差信号に対して、または、前記適応色変換処理が施された前記画像の残差信号に対して、処理単位となる直交変換ブロックごとに直交変換処理を施すことと、
前記適応色変換処理の適用に関する制御を行うことと
を含む画像処理方法。
（１２）
復号の対象となっている画像の残差信号に対して符号化側で直交変換処理が施された変換係数に対して、処理単位となる直交変換ブロックごとに逆直交変換処理を施すことにより前記残差信号を取得する逆直交変換部と、
前記残差信号に対して、画像の色空間を適応的に逆変換する逆適応色変換処理を施す逆適応色変換部と、
前記逆適応色変換処理の適用に関する制御を行う制御部と
を備える画像処理装置。
（１３）
復号の対象となっている画像の残差信号に対して符号化側で直交変換処理が施された変換係数に対して、処理単位となる直交変換ブロックごとに逆直交変換処理を施すことにより前記残差信号を取得することと、
前記残差信号に対して、画像の色空間を適応的に逆変換する逆適応色変換処理を施すことと、
前記逆適応色変換処理の適用に関する制御を行うことと
を含む画像処理方法。

【0244】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0245】

１１ 画像処理システム， １２ 画像符号化装置， １３ 画像復号装置， ２１ 予測部， ２２ 符号化部， ２３ 記憶部， ２４ 制御部， ３１ 予測部， ３２ 復号部， ３３ 記憶部， ３４ 制御部， ４１ 演算部， ４２ 適応色変換部， ４３ 直交変換部， ４４ 量子化部， ４５ 逆量子化部， ４６ 逆直交変換部， ４７ 逆適応色変換部， ４８ 演算部， ４９ 予測部， ５０ 符号化部， ６１ 復号部， ６２ 逆量子化部， ６３ 逆直交変換部， ６４ 逆適応色変換部， ６５ 演算部， ６６ 予測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】