特開 2024-109832 適応色空間変換の符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024109832

(43)【公開日】2024-08-14

(54)【発明の名称】適応色空間変換の符号化

(51)【国際特許分類】

   H04N 19/12 20140101AFI20240806BHJP

   H04N 19/70 20140101ALI20240806BHJP

   H04N 19/176 20140101ALI20240806BHJP

【ＦＩ】

H04N19/12

H04N19/70

H04N19/176

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024084224

(22)【出願日】2024-05-23

(62)【分割の表示】P 2022151630の分割

【原出願日】2014-04-01

(31)【優先権主張番号】13/940,025

(32)【優先日】2013-07-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】13/905,889

(32)【優先日】2013-05-30

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】トラピス， アレキサンドロス

(57)【要約】      （修正有）

【課題】効率的に画像データを変換し符号化するシステム及び方法並びに復号化するシステム及び方法を提供する。
【解決手段】符号化システム１００において、分析器１３０は、入力ビデオ１１０の現在の画像領域を分析して、変換を選択する。選択可能な残差変換器１６０は、分析器に制御されて、現在の画像領域及び予測された現在の画像領域から生成される残差画像に対して、選択可能な変換を実行して、変換された残差画像を生成する。符号器１７０は、変換された残差画像を符号化して出力データを生成する。分析器は、符号器が、選択可能な変換を特定する情報を符号化し、現在の画像領域に関する選択可能な変換は入力ビデオの以前の画像領域の変換と異なることを示すように、符号器を制御する。復号化システムは、符号器システムからの出力データを復号化するのに適切な複合移器及び調整器を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力ビデオの現在の画像領域を分析して変換を選択する分析器と、
前記分析器に制御されて、前記現在の画像領域及び予測された現在の画像領域から生成される残差画像に対して、前記選択可能な変換を実行して、変換された残差画像を生成する選択可能な残差変換器と、
前記変換された残差画像を符号化して、出力データを生成する符号器と、
を備え、前記符号器が、前記選択可能な変換を特定する情報を符号化し、前記現在の画像領域に関する前記選択可能な変換は前記入力ビデオの以前の画像領域の変換と異なることを示すように、前記分析器は前記符号器を制御し、
前記変換された残差画像の１つの色成分は、前記残差画像の１つの色成分だけに基づいて生成され、
前記変換された残差画像の他の色成分は、前記残差画像の２つ以上の色成分に基づいて生成されることを特徴とする、システム。

【請求項2】

前記現在の画像領域は、フレーム、スライス、及び符号化ツリーユニットの１つであることを特徴とする、請求項１に記載のシステム。

【請求項3】

前記変換された残差画像の前記他の色成分は、前記変換された残差画像の、前記１つの色成分の再構成された残差画像に基づいて生成されることを特徴とする、請求項１に記載のシステム。

【請求項4】

前記選択可能な変換を特定する前記符号化情報は、選択可能な逆変換の係数を指定することを特徴とする、請求項１に記載のシステム。

【請求項5】

前記選択可能な変換を特定する前記符号化情報は、前記現在の画像領域の符号化された残差画像データに先行するシーケンスパラメータセット、ピクチャパラメータセット、及びスライスヘッダのうちの１つに包含されることを特徴とする、請求項１に記載のシステム。

【請求項6】

入力データを受信し、復号化する復号器と、
前記復号器に制御されて、前記復号化された入力データに対して、選択可能な逆変換を実行して、逆変換された残差画像を生成する選択可能な残差逆変換器と、
前記逆変換された残差画像を、現在の画像領域に関する予測画像と組み合わせて、出力ビデオの復元された現在の画像領域を生成する積算器と、
を備え、前記復号器は、前記入力データ中の符号化情報に基づいて、前記選択可能な逆変換を選択し、前記符号化情報は、前記選択可能な逆変換を特定し、前記現在の画像領域に関する前記選択可能な逆変換が前記出力ビデオの以前の画像領域の変換と異なることを示し、
前記逆変換された残差画像の１つの色成分は、前記復号化された入力データの１つの色成分だけに基づき、
前記逆変換された残差画像の他の色成分は、前記復号化された入力データの２つ以上の色成分に基づいて生成されることを特徴とする、システム。

【請求項7】

前記現在の画像領域は、フレーム、スライス、及び符号化ツリーユニットの１つであることを特徴とする、請求項６に記載のシステム。

【請求項8】

前記復号器は、エントロピ復号器であることを特徴とする、請求項６に記載のシステム。

【請求項9】

前記選択可能な逆変換を特定する前記符号化情報は、選択可能な逆変換の係数を指定することを特徴とする、請求項６に記載のシステム。

【請求項10】

前記選択可能な変換を特定する前記符号化情報は、前記現在の画像領域の符号化された残差画像データに先行するシーケンスパラメータセット、ピクチャパラメータセット及びスライスヘッダのうちの１つに包含されることを特徴とする、請求項６に記載のシステム。

【請求項11】

分析器により、入力ビデオの現在の画像領域を分析して変換を選択する工程と、
前記分析器に制御された選択可能な残差変換器により、前記現在の画像領域及び予測された現在の画像領域から生成される残差画像に対して、前記選択可能な変換を実行して、変換された残差画像を生成する工程と、
符号器により、前記変換された残差画像を符号化して、出力データを生成する工程と、
を含み、前記符号器が、前記選択可能な変換を特定する情報を符号化し、前記現在の画像領域に関する前記選択可能な変換は前記入力ビデオの以前の画像領域の変換と異なることを示すように、前記分析器は前記符号器を制御し、
前記変換された残差画像の１つの色成分は、前記残差画像の１つの色成分だけに基づき、
前記変換された残差画像の他の色成分は、前記残差画像の２つ以上の色成分に基づいて生成されることを特徴とする、方法。

【請求項12】

前記現在の画像領域は、フレーム、スライス、及び符号化ツリーユニットの１つであることを特徴とする、請求項１１に記載の方法。

【請求項13】

前記変換された残差画像の前記他の色成分は、前記変換された残差画像の、前記１つの色成分の再構成された残差画像に基づいて生成されることを特徴とする、請求項１１に記載の方法。

【請求項14】

前記選択可能な変換を特定する前記符号化情報は、選択可能な逆変換の係数を指定することを特徴とする、請求項１１に記載の方法。

【請求項15】

前記選択可能な変換を特定する前記符号化情報は、前記現在の画像領域の符号化された残差画像データに先行するシーケンスパラメータセット、ピクチャパラメータセット及びスライスヘッダのうちの１つに包含されることを特徴とする、請求項１１に記載の方法。

【請求項16】

復号器により、入力データを受信し、復号化を行う工程と、
前記復号器に制御された選択可能な残差逆変換器により、前記復号化された入力データに対して、選択可能な逆変換を実行して、逆変換された残差画像を生成する工程と、
積算器により、前記逆変換された残差画像を、現在の画像領域に関する予測画像と組み合わせて、出力ビデオの復元された現在の画像領域を生成する工程と、
を含み、前記復号器は、前記入力データ中の符号化情報に基づいて、前記選択可能な逆変換を選択し、前記符号化情報は、前記選択可能な逆変換を特定し、前記現在の画像領域に関する前記選択可能な逆変換が前記出力ビデオの以前の画像領域の変換と異なることを示し、
前記逆変換された残差画像の１つの色成分は、前記復号化された入力データの１つの色成分だけに基づき、
前記逆変換された残差画像の他の色成分は、前記復号化された入力データの２つ以上の色成分に基づいて生成されることを特徴とする、方法。

【請求項17】

前記現在の画像領域は、フレーム、スライス及び符号化ツリーユニットの１つであることを特徴とする、請求項１６に記載の方法。

【請求項18】

前記復号器は、エントロピ復号器であることを特徴とする、請求項１６に記載の方法。

【請求項19】

前記選択可能な逆変換を特定する前記符号化情報は、選択可能な逆変換の係数を指定することを特徴とする、請求項１６に記載の方法。

【請求項20】

前記選択可能な変換を特定する前記符号化情報は、前記現在の画像領域の符号化された残差画像データに先行するシーケンスパラメータセット、ピクチャパラメータセット及びスライスヘッダのうちの１つに包含されることを特徴とする、請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、適応色空間変換の符号化に関する。

【0002】

本出願は、２０１３年７月１１日に出願の米国特許出願番号第１３／９４０，０２５号（２０１３年５月３０日に出願の米国特許出願番号第１３／９０５，８８９号の一部継続出願）の優先権を主張し、その全体が、本明細書に参考として組み込まれる。

【背景技術】

【0003】

画像データ（ビデオに包含されるものなど）は、色、ピクセル位置及び時間に関する多量の情報を包含する可能性がある。かかる多量の情報を処理するためには、元のビデオからあまりに多くの情報を失うことなく、同時に、データ圧縮の複雑さを増大する（画像データ処理速度を減少させる恐れがある）ことなしに、画像データを圧縮するか又は符号化する必要があり得る。符号化された画像データは、後で復号化して、逆変換する、又は元のビデオ情報に復元する必要があり得る。

【0004】

画像を符号化するために、ピクセル色データは、最初に、適切な色空間座標系における色データに変換することができる。続いて、変換されたデータは符号化される。例えば、画像データは、赤／緑／青（ＲＧＢ）色空間座標系で、生のピクセル色データを有する可能性がある。画像データを符合化するために、ＲＧＢ色空間の生のピクセル色データは、輝度成分及び色成分を分離することにより、ＹＣｂＣｒ色空間座標系の色データに変換することができる。次に、ＹＣｂＣｒ色空間座標系の色データを符号化することができる。そうすることにより、色空間変換中に、冗長性を除去することにより、元の３色の間に存在し得る冗長情報を圧縮することができる。

【0005】

画像データの追加の冗長性は、変換された画像データの符号化の間に、空間予測及び時間予測を実行することにより、除去することができる。続いて、望ましい任意の範囲の残りの残差データに関する追加の符号化、並びに、一時点での個別フレームデータ及び／又はビデオシーケンス継続期間中のデータ、のエントロピ符号化を伴ってもよい。空間予測は、時間的に単一のフレームにおける画像データを予測して、同じフレームの異なるピクセル間の冗長情報を除去することができる。時間予測は、ビデオシーケンスの継続期間における画像データを予測して、異なるフレーム間の冗長情報を除去することができる。残差画像は、非符号化画像データと予測画像データとの間の差分から生成することができる。

【0006】

いくつかの色空間フォーマット（ＲＧＢ ４：４：４など）は、異なる色空間を効果的に非相関にさせられないので、ネーティブに符号化するには、効率性がより少ない可能性がある。即ち、符号化の間に除去することができない冗長情報が、異なる成分の間に存在する可能性があり、これによって、別の色空間に対して低下した符号化効率をもたらす恐れがある。一方、一部のアプリケーションにおいて、ＹＵＶ ４：４：４又はＹＣｏＣｇ及びＹＣｏＣｇ－Ｒ ４：４：４などの別の色空間で、この素材を符号化することは、符号化ループの外で実行しなければならない可能性のある色変換のせいにより、並びにカラー変換により導入される可能性がある起こりうる欠損のために、望ましくない恐れがある。

【0007】

したがって、効率的に画像データを変換し符号化する改善された方法が必要である。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施形態に係る符号化システムを例示する。

【図2】本開示の一実施形態に係る復号化システムを例示する。

【図3】本開示の一実施形態に係る符号化方法を例示する。

【図4】本開示の一実施形態に係る復号化方法を例示する。

【発明を実施するための形態】

【0009】

図１に示すような実施形態によれば、システム１００は、分析器１３０、選択可能な残差変換器１６０及び符号器１７０を含む。

【0010】

分析器１３０は、入力ビデオ１１０の現在の画像領域を分析して、変換を選択することができる。選択可能な残差変換器１６０は、現在の画像領域及び予測された現在の画像領域から生成される残差画像に対して、選択可能な変換を実行して、変換された残差画像を生成するように、分析器１３０により制御することができる。符号器１７０は、変換された残差画像を符号化して、出力データ１９０を生成することができる。分析器１３０は、符号器１７０が、選択可能な変換を特定する情報を符号化し、現在の画像領域に関する選択可能な変換は入力ビデオの以前の画像領域の変換と異なることを示すように、符号器１７０を制御することができる。

【0011】

選択的に、システム１００は、入力ビデオ１１０の情報（例えば、以前処理された画像データ）を記憶するフレームバッファ１２０を含んでもよい。フレームバッファ１２０のかかるデータは、インタ予測１５０により用いられて、時間予測を実行するように、即ち、以前のフレームのデータに基づいて、現在の画像領域の予測画像データを生成するように、分析器１３０により制御することができる。あるいは、フレームバッファ１２０のかかるデータは、イントラ予測１５２により用いられて、空間予測を実行するように、即ち、現在のフレームの別の部分のデータに基づいて、現在の画像領域の予測画像データを生成するように、分析器１３０により制御することができる。選択的に、分析器１３０は、フレームバッファ１２０に記憶されたデータに基づく分析を実行することができる。インタ予測１５０及び／又はイントラ予測１５２により生成された現在の画像領域の予測画像領域は、積算器１４０により、入力ビデオ１１０の現在の画像領域と組み合わせ（又は、それから減じられ）て、残差画像を生成することができる。

【0012】

一実施形態によれば、現在の画像領域は、フレーム、スライス及び符号化ツリーユニットの１つとすることができる。選択可能な変換は、色空間変換を含むことができる。符号器１７０は、エントロピ符号器を含むことができる。選択可能な変換を特定する符号化情報は、選択可能な逆変換の係数を指定してもよい。選択可能な変換を特定する符号化情報は、現在の画像領域の符号化された残差画像データに先行するシーケンスパラメータセット、ピクチャパラメータセット及びスライスヘッダのうちの１つに、包含することができる。符号器１７０は、変換器１７２及び／又は、分析器１３０により、量子化を実行するように制御することができる、量子化器１７４を含むことができる。

【0013】

分析器１３０は、選択可能な残差変換器１６０の選択可能な変換を選択し、変更することができる。そして、それに応じて、例えば、インタ予測１５０、イントラ予測１５２及び符号器１７０に関するパラメータを変更して、データ符号化、データ復号化、符号化データサイズ、誤差率、及び／又は、符号化若しくは復号化に必要なシステムリソース、を最適にすることができる。

【0014】

次世代の高能率映像符号化（High Efficiency Video Coding:ＨＥＶＣ）規格は、以前の映像符号化規格及び技術（ＭＰＥＧ－２、ＭＰＥＧ－４ ｐａｒｔ２、ＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４、ＶＣ１、及び特にＶＰ８など）に対して、映像符号化効率を改善する努力において、いくつかの新しい映像符号化ツールを導入した。

【0015】

新しい規格は、十分に定義されたプロファイル（例えば、Ｍａｉｎ、Ｍａｉｎ １０及びＭａｉｎ Ｓｔｉｌｌ Ｐｉｃｔｕｒｅプロファイル）を用いて、ＹＵＶ ４：２：０ ８又は１０ビット素材の符号化をサポートすることができる。専門的なアプリケーション（映画のアプリケーション、記録、ビデオ編集、アーカイブ処理、ゲーム及び民生用アプリケーション、特に画面コンテンツ圧縮及び共有に関するもの、など）において、より高い（１０ビットを超える）サンプル精度（ビット深度）、並びに異なる色サンプリングフォーマット及び色空間（ＹＵＶ又はＲＧＢ ４：４：４を含む）をサポートするフォーマットを開発する相当な関心が存在する。

【0016】

より高い色サンプリングフォーマット／空間の符号化原則は、より少ないサンプリング精度（即ち、４：２：０のＹＵＶ）のフォーマットのものと同様であり、彩度成分の分解能の相違を適切に処理することができる。色成分のうちの１つは、４：２：０のＹＵＶ符号化の輝度成分に等しいと認めることができることに対して、残りの色成分は彩度成分と同様に処理することができると同時に、より高い分解能を補償することができる。即ち、イントラ予測及び動き補償などの予測ツールは、分解能の増分を補償する必要があり、変換及び量子化プロセスもまた、色成分の追加の残差データを処理する必要がある。同様に、エントロピ符号化、デブロッキング、及び特にサンプル適応オフセット（ＳＡＯ）などの他のプロセスは、ビデオデータの増加を処理するように拡張する必要があり得る。あるいは、あらゆる色成分は、個別の単色像として別々に符号化することができ、各色成分は、符号化又は復号化プロセスの間に、輝度情報の役割を果たす。

【0017】

符号化性能を改善するために、あらゆる色成分の間でより良い非相関性（より少ない冗長性）を生じることができる追加の色空間変換を、残差データに対して実行してもよい。選択可能な色空間変換は、適応的に導出された以下のような色空間変換行列を用いて、非量子化（逆量子化）及び逆変換された残差データに対して適用してもよい。

【0018】

【数1】

【0019】

色変換行列は、現在の変換ユニットの左又は上にある画像データ、又は、以前のフレームにおける変換ユニットの画像データなどの、以前回復した画像データを用いて、導出することができる。この導出には、参照サンプルから平均値を減ずることにより、及び、全ての色空間にわたって、共分散行列を計算し、正規化することにより、各色空間において、参照サンプルを正規化することを含むことができる。これにより、ＨＥＶＣ仕様において、任意の新しいシグナリングオーバーヘッドを追加することなく、一部の「局所的」な符号化性能の恩恵をうけることができる。しかし、これは変換パラメータの導出について、符号器と復号器の双方において、複雑さを追加する恐れがある。

【0020】

ビデオ符号化及び復号化において、適応色変換を簡素化するために、色変換は、残差データに対してだけ、適用される。追加の色変換は選択可能であり、符号器によってシグナリングしてもよい。そして、本発明に従って、符号化データから復号化されるシグナリングに基づいて、復号器が対応する逆色変換を選択し、実行することができる。

【0021】

特に、１つ以上の色変換は、ＨＥＶＣなどのコーデック内の異なるレベルで、暗黙に又は明示的にシグナリングすることができる。例えば、符号器は、ＲＧＢ色空間からの既知の色変換（ＹＵＶ Ｒｅｃ．７０９、Ｒｅｃ．２０２０又はＲｅｃ．６０１、並びにＹＣｏＣｇ、の限定された又は全範囲における変換など）を暗黙にシグナリングしてもよい。符号器は、所定の精度を有する全ての逆色変換係数をシグナリングするか又は指定する（例えば、変換係数、又は、符号化データの一部における関係性をリストする）ことにより、色変換を明示的にシグナリングしてもよい。種類、パラメータ及び係数を含む色変換は、シーケンスパラメータセット（ＳＰＳ）ＮＡＬＵ、ピクチャパラメータセット（ＰＰＳ）及び／又はスライスヘッダ、の中でシグナリングするか、又は特定してもよい。符号化ツリーユニット（ＣＴＵ）内でのシグナリングもまた、可能であり得る。但し、それは、ビットレートの観点から、もう少しコストがかかる恐れがあり、望ましいことではあり得ない。

【0022】

かかる変換情報が、ビデオシーケンスの異なるレベル（即ち、シーケンス、フレーム及びＣＴＵのピクセルブロック）に関して特定される場合には、続いて、変換は、これらの構成要素の階層の中で、予測することができる。即ち、ＰＰＳにおける変換は、ＳＰＳで定義される変換から予測することができ、スライスヘッダにおける変換は、ＰＰＳ及び／又はＳＰＳにおける変換から予測することができる。新しいシンタックス要素及びユニットを、ビデオシーケンス階層の異なるレベル間のこの変換予測を許すように、特定の変換又は高次変換からの変換の予測又は非予測を含むように、並びに変換係数及び係数自体の精度の予測又は非予測に関して、定義し、用いることができる。明示的に定義された色変換の導出は、全てのシーケンス、ピクチャ、スライス又はＣＴＵからのサンプルデータなどの、利用可能なデータに基づくことができる。符号器は、利用可能な場合には、現在のピクセルサンプルに該当するデータを使うことを選ぶか若しくは選択するか、又は、すでに符号化された過去のフレーム又はユニットのデータを用いることができる。主成分分析法（例えば、共分散法、反復法、非線形の反復性部分最小二乗法その他）は、変換係数を導出するために使用することができる。

【0023】

システムは、ただ１つの変換だけを、全てのシーケンスについて用いるべきであることを、指示することができる。したがって、シグナリング又はセマンティクスにより（即ち、コーデック又はプロファイル／レベルにより強制されて）、シーケンスの任意のサブ構成要素内（即ち、ピクチャ、スライス、ＣＴＵ又は変換ユニット（ＴＵ）内）で、色変換の任意の変更は許されないことになる。同様な制限は、より低いレベル（即ち、ピクチャ、スライス又はＣＴＵ内で）において、実行することができる。

【0024】

しかし、システムはまた、シーケンス、ピクチャ、スライス又は更にＣＴＵの中で、色変換の切替を可能とすることができる。あらゆるピクチャ及びスライスに関する色変換の切替は、各新規データブロックに関する新しい色変換パラメータをシグナリングして、より高次の又は以前のブロックの変換パラメータを上書きすることにより、行うことができる。追加の変換パラメータは、下位層においてシグナリングすることにより、全てのＣＴＵ、符号化ユニット（ＣＵ）又は更にＴＵに関する色変換の切替を効率的に可能とすることができる。しかし、かかるシグナリングは、結果として生じる符号化されたデータストリームにおいて、著しいビット数を占め、これによって、データストリームサイズが増大する恐れがある。

【0025】

あるいは、色変換は、ビット列におけるさまざまな定義済み又はシグナリングされた状態に基づいて、導出することができる。特に、特定の色変換は、特定の変換ブロックサイズ、符号化ユニットサイズ、又は、予測モード（例えば、イントラ対インタ）に前もって割り当てることができる。例えば、輝度及び彩度データの変換ユニットが、特定のビデオシーケンスに関して整列配置されている（aligned）と想定すると、使用される輝度変換のサイズが１６ｘ１６である場合には、色変換Ａを用いる。８ｘ８輝度変換が使用される場合には、色変換Ｂを用い、３２ｘ３２又は４ｘ４変換については、色変換は適用されない。輝度及び彩度データの変換ユニットが整列配置されていない場合には、色変換の予め定める条件つきの導出に関して、変換ユニットの不良配置を補償する別の、しかし同様な方法を用いることができる。

【0026】

システムは、符号化又は復号化において、予め定義された色変換を探すことができるコードブック（例えば、検索テーブル（ＬＵＴ）による）を記憶することができるように、関連する処理アルゴリズムと共に多数の所定の色変換をバッファ又はキャッシュすることができる。システムは更に、色変換を計算するか又は予測することができ、後の検索のために、それらをバッファに記憶することができる。

【0027】

一部のコーデック規格では、予測ユニット（ＰＵ）及びＴＵは、２者の間で厳格な依存性なく、ＣＵの中で定義することができる。したがって、予測ユニット（ＰＵ）及びＴＵは、サイズに関して、直接関連しない可能性がある。他のコーデック規格では、ＴＵがＰＵ内で厳格に定義されている場合には、予測リスト及び参照指標などのＰＵ情報は、色変換を導出するために、用いることができる。

【0028】

複雑さが関心事でないシステムでは、上述した方法の組合せを用いることができる。即ち、あらゆるＣＴＵ、ＣＵ又は変換ブロックに関して、符号器は、符号化されたデータストリームにおいて、以前定義された／シグナリングされた色変換を用いるかどうか、又は、近隣情報に基づいて、現在のユニットに関して、色変換を別に導出しなければならないかどうかを、シグナリングすることができる。これにより、システムは復号器の複雑さを制御し、近隣から色変換を導出する情報が不十分であるケースを避けることができる。これは、物体又は色境界又は雑音が多いデータのまわりで、近隣データに相関性がない場合に、特にあてはまる可能性がある。適応的に計算された色変換は、より頻繁でない時間間隔で（例えばＣＴＵ行ごとに、又は更にＣＴＵごとに）、計算及び更新し、復号器の複雑性を低減することができる。色変換の安定度は、以前生成した値を用いて、色変換をゆっくり適応させることにより、増大することができる。即ち、ユニット（例えば、変換ユニット）ｎにおける現在の色変換の計算は、次のように実行することができる。
変換（ｎ）＝ｗ₀＊変換（ｎ－１）＋ｗ₁＊計算変換（ｎ）

【0029】

ここで、計算変換（ｎ）は、ローカルなピクセルグループ情報に基づいてのみ、推定される変換である。２つの重み、ｗ₀及びｗ₁は、システムで、予め定義するか、又はシグナリングすることにより、色変換の計算を制御する方法に更なる柔軟性を提供することができる。即ち、ｗ₁に対してｗ₀の値を増加させることは、結果として生じる色変換である変換（ｎ）の、隣接する色変換である変換（ｎ－１）に対する依存性を、増加させることになる。

【0030】

符号化システムは、例えば、ビデオシーケンスの画像データを分析することにより、ビデオシーケンスを符号化するために必要な全ての変換を決定することができる。そして、コストに有利な評価を実行して、符号化、復号化、データの品質及び／又は符号化データのサイズを最適化することができる。例えば、符号化システムが十分な計算リソースを有する場合には、全ての個別のフレーム及び変換ユニットに対して、複数の可能な色変換を実行することにより、「力ずくの」分析を実行することができる。これに続いて、各変換ユニットに関して、レート歪を最適化すべき場合には、最少のレート歪をもたらす１つの色変換を選択する。しかし、かかる「力ずくの」分析は、多くの計算リソースを必要とし、速度が遅いので、したがって、符号化を「リアルタイム」（例えば、「ライブ」ビデオストリーミング）に近く行う必要があるアプリケーションには、有用とはなり得ない。

【0031】

ブロックごとに異なる色変換の使用は、符号化及び復号化処理の他の部分に影響を及ぼす恐れがある。特に、エントロピ符号化（例えば、コンテキスト適応型２値算術符号（ＣＡＢＡＣ）に基づく）は、次のことを想定している。即ち、隣接するブロックの係数が、同じ色領域におけること、エントロピ符号化処理に関する統計が、それに応じて蓄積することができること、及びデブロッキングが、ブロック縁部をフィルター処理するときに、各色成分に関して用いられる量子化パラメータ（ＱＰ）を利用することができること、である。

【0032】

しかし、これは、符号化性能に影響を及ぼす恐れのあるブロックレベルの適応色変換を使用するシステムの場合には、あてはまらない可能性がある。エントロピ符号化の場合、影響は取るに足らず、したがって、色空間での相違は無視することができる。同じ色空間にある隣接データを考慮することに処理を限定することは、用いることができた各新規の色変換に関して、より多くのコンテキストを処理し、補償する必要があるため、複雑性及び実装に関して、性能を不利にする恐れがある。したがって、システムは、適応色変換に関して、符号化処理を変更する必要はなくてもよい。

【0033】

一方、適応色変換の変更は、デブロッキングの間には、容易に補償することができる。特に、各色成分に関するデブロッキングに適切な閾値を導出するときに、シグナリングされたＱＰ値を用いると同時に、用いる色空間を無視することができる。あるいは、変換された残差の符号化に用いるＱＰ値があるとすれば、ＱＰ値は、元の色ドメインにおいて近似することができる。例えば、単純な方法は、残差データに対して適用される同じ色変換を、量子化値にもまた適用することである。あるいは、変換された残差に用いられた量子化値を元の色空間の量子化値に変換する、のに役立つであろう追加の変換を定義し、シグナリングすることである。簡単化のため、システムは、適応色変換のために、量子化値を変換するか、又は調整する必要はあり得ない。

【0034】

図２に例示されるような実施形態によれば、システム２００は、復号器２３０、選択可能な残差逆変換器２２０及び積算器２４０を含んでもよい。

【0035】

復号器２３０は、入力データ２１０を受信し、復号化することができる。選択可能な残差逆変換器２２０は、復号化された入力データに対して、選択可能な逆変換を実行して、逆変換された残差画像を生成するように、復号器２３０により制御することができる。積算器２４０は、逆変換された残差画像を、現在の画像領域に関する予測画像と組み合わせて、出力ビデオ２９０の復元された現在の画像領域を生成することができる。復号器２３０は、入力データ２１０中の符号化情報に基づいて、選択可能な逆変換を選択してもよい。この符号化情報は選択可能な逆変換を特定し、現在の画像領域に関する選択可能な逆変換が出力ビデオ２９０の以前の画像領域の変換と異なることを示す。

【0036】

選択的に、システム２００は、出力ビデオ２９０の情報（例えば、以前処理された画像データ）を記憶するフレームバッファ２８０を含んでもよい。フレームバッファ２８０のかかるデータは、インタ予測２５０により用いられて、時間予測を実行するように、即ち、以前のフレームのデータに基づいて、現在の画像領域の予測画像データを生成するように、復号器２３０により制御することができる。イントラ予測２６０は、空間予測を実行するように、即ち、現在のフレームの別の部分のデータに基づいて、現在の画像領域の予測画像データを生成するように、復号器２３０により制御することができる。インタ予測２５０及び／又はイントラ予測２６０により生成する現在の画像領域の予測画像領域は、積算器２４０により、選択可能な残差逆変換器２２０からの逆変換された残差画像と組み合わせて（又は、それに追加して）、出力ビデオ２９０の復元された現在の画像領域を生成することができる。システム２２０は、出力ビデオ２９０の復元された現在の画像領域を調整する調整器２７０を含んでもよい。調整器２７０は、デブロッキング２７２及びサンプル適応オフセット（ＳＡＯ）２７４を含むことができる。調整器２７０は、出力ビデオ２９０及び／又はフレームバッファ２８０に出力することができる。

【0037】

一実施形態によれば、現在の画像領域は、フレーム、スライス及び符号化ツリーユニットの１つとすることができる。選択可能な逆変換は、色空間変換を含むことができる。復号器２３０は、エントロピ復号器を含むことができる。選択可能な逆変換を特定する符号化情報は、選択可能な逆変換の係数を指定してもよい。選択可能な逆変換を特定する符号化情報は、現在の画像領域の符号化された残差画像データに先行するシーケンスパラメータセット、ピクチャパラメータセット及びスライスヘッダのうちの１つに、包含することができる。復号器２３０は、逆変換器２３２及び／又は量子化を実行する逆量子化器２３４を含んでもよい。出力ビデオ２９０は、表示装置（図示せず）に接続し、表示することができる。

【0038】

復号器２３０は、選択可能な残差逆変換器２２０の選択可能な逆変換を選択し、変更することができる。そして、それに応じて、選択可能な逆変換を特定する受信した入力データの符号化情報に基づいて、例えば、インタ予測２５０、イントラ予測２６０及び調整器２７０に関するパラメータを変更することができる。

【0039】

図３は、一実施形態に係る方法３００を例示する。

【0040】

方法３００は、分析器により、入力ビデオの現在の画像領域を分析して変換を選択するブロック３１０を、含むことができる。

【0041】

ブロック３２０において、分析器に制御されて、選択可能な残差変換器により、現在の画像領域及び予測された現在の画像領域から生成される残差画像に対して、選択可能な変換を実行して、変換された残差画像を生成する。

【0042】

ブロック３３０では、符号器により、変換された残差画像を符号化して、出力データを生成する。

【0043】

一実施形態によれば、符号器が、選択可能な変換を特定する情報を符号化し、現在の画像領域に関する選択可能な変換は入力ビデオの以前の画像領域の変換と異なることを示すように、分析器は符号器を制御することができる。

【0044】

一実施形態によれば、分析器は、入力ビデオを分析し、全てのビデオシーケンスに関する全体的なシーケンス色変換を選択してもよい。そして、個別のフレーム、スライス、ピクセルブロック、ＣＴＵ、その他に関する残差色変換を解析し、選択することができる。分析器は、入力ビデオを絶えず分析し、そして、入力ビデオが受信され、符号化の処理をされるにつれて、各フレームに関して、色変換のその場選択を実行してもよい。あるいは、分析器は、色変換を選択し、符号化を開始する前に、完全に全ての入力ビデオシーケンスを分析してもよい。

【0045】

図４は、一実施形態に係る方法４００を例示する。

【0046】

方法４００は、復号器により、入力データを受信し、復号化を行うブロック４１０を含むことができる。

【0047】

ブロック４２０において、復号器に制御されて、選択可能な残差逆変換器により、復号化された入力データに対して、選択可能な逆変換を実行して、逆変換された残差画像を生成する。

【0048】

ブロック４３０では、積算器２４０により、逆変換された残差画像を、現在の画像領域に関する予測画像と組み合わせて、出力ビデオの復元された現在の画像領域を生成することができる。

【0049】

一実施形態によれば、復号器は、入力データ中の符号化情報に基づいて、選択可能な逆変換を選択してもよい。この符号化情報は、選択可能な逆変換を特定し、現在の画像領域に関する選択可能な逆変換は、入力ビデオの以前の画像領域の変換と異なることを示す。

【0050】

一実施形態によれば、図１の選択可能な残差変換器１６０は、結果の１つの色成分が、入力のただ１つの色成分だけに基づくことができる色変換を実行してもよい。例えば、選択可能な残差変換器１６０は以下の色変換を実行することができる。
a）
［Ｇ ］ ［ １ ０ ０］［Ｇ］
［Ｒｂ］ ＝ ［－１ １ ０］［Ｂ］
［Ｒｒ］ ［－１ ０ １］［Ｒ］

b）
［Ｇ ］ ［ １ ０ ０］［Ｇ］
［Ｒｂ ］ ＝［－１ １ ０］［Ｂ］
［Ｒｒｂ］ ［ ０ －１ １］［Ｒ］

c）
［Ｇ ］ ［ １ ０ ０］［Ｇ］
［Ｒ ］ ＝［ ０ １ ０］［Ｂ］
［Ｒｒｂ］ ［ ０ －１ １］［Ｒ］

【0051】

入力データが各々Ｎビットを有する場合には、色変換は、符号を含む単純なＮビットへの量子化と組み合わせることができる。上述の計算の減法は、２つの方法で行うことができる。第１には、右シフト処理（即ち、符号化されたＲｂは、（Ｂ－Ｇ＋１）＞＞１により、導出することができる）による。第２には、クリッピング処理による。［即ち、ｍｉｎ（ｍａｘ＿ｒａｎｇｅ，ｍａｘ（ｍｉｎ＿ｒａｎｇｅ，Ｂ－Ｇ））による。ここで、ｍｉｎ＿ｒａｎｇｅ及びｍａｘ＿ｒａｎｇｅは、変換で許された最小値及び最大値であり、プロトコルで予め指定され、符号化システムによりシグナリングされるか、又は、動的に計算される（例えば、ｍａｘ＿ｒａｎｇｅ＝（１＜＜（Ｎ－１））－１，及びｍｉｎ＿ｒａｎｇｅ＝－ｍａｘ＿ｒａｎｇｅ－１）］。

【0052】

上述の変換は、「因果的」であり、画像データの色成分が復号化される可能性がある順序（例えば、通常、緑（又は、ＹＣｂＣｒ又はＹＣｇＣｏ／ＹＣｇＣｏ－Ｒ色空間の輝度）から始まって、それからＢ（又はＣｂ）、続いてＲ（又はＣｒ））に対応しているため、有益であり得る。第１の色成分は、入力データの１つの色成分だけに依存し、入力データの他の（まだ符号化されていない）色成分から独立することができる。しかし、第１の色成分が符号化されたあと、他の色成分の予測を計算する因子として、それを用いることができる。対応する復号化システムは、上述した色変換に対応する逆色変換を実行することができる。これにより、かかる色空間上で逐次的に動作する符号化及び復号化システムの実装が可能となり得る。したがって、上述に示される比較的簡単な計算を用いて、全ての色成分が待ち行列に入れられ、及び／又は処理されることを待つ特別な遅延を追加することなく、色成分が順番に送信又は受信されるに従って、それらを処理することができる。図１の選択可能な残差変換器１６０は、各色成分に関して、個別の又は分離した処理経路を実行することができる。ここで、入力データは、個別の色成分に分離することができ、結果として生じる変換された色成分は、符号器１７０により、後でマージすることができる。

【0053】

一実施形態によれば、図１の選択可能な残差変換器１６０は、色変換の「閉じた」ループの最適化を用いて、実装することができる。即ち、選択可能な残差変換器１６０は、色変換で使用するフィードバックデータを受信することができる。

【0054】

選択可能な残差変換器１６０は、入力データとして、元のサンプルを用いて、色変換を実行することができる。例えば、ＧＲｂＲｒ変換において、元のＧＢＲ色空間データサンプルは、元のＧＢＲ色空間データサンプルの新しいセットを用いて独立して計算された結果として生じる変換されたデータの各新規のセットと共に、色変換を実行するために用いることができる。

【0055】

上述の例で示された色変換の逐次的性質を考慮すると、緑の成分データは、最初に、色変換されて符号化することができ、他の色がその後に続く。図１の選択可能な残差変換器１６０は、他の色成分の色変換に関する入力として、例えば、以下の方程式を用いて、再構成された緑成分データを使用することができる。
Ｇ＊＝ＩＱＴ（ＱＴ（Ｇ’）
ここで、ＱＴは、量子化関数、ＩＱＴは対応する逆量子化関数、Ｇ’は緑の残差データ、そして、Ｇ＊は再構成された緑の残差データを表す。
Ｒｂ’＝（Ｂ－Ｇ＊）
ここで、Ｂは、青成分データを表し、Ｒｂ’はＲｂ成分に関する残差データを表す。
Ｒｂ＊＝ＩＱＴ（ＱＴ（Ｒｂ’）
ここで、Ｒｂ＊は、再構成されたＲｂ残差データを表す。
Ｒｒ’＝（Ｒ－Ｇ＊）
ここで、Ｒは、赤成分データを表し、Ｒｒ’はＲｒ成分に関する残差データを表す。
Ｒｒ＊＝ＩＱＴ（ＱＴ（Ｒｒ’）
ここで、Ｒｒ＊は、再構成されたＲｒ残差データを表す。

【0056】

上述した色変換により、符号化データ成分Ｒｂ’、Ｒｂ＊、Ｒｒ’及びＲｒ＊は、再構成された緑の残差データに基づいて、生成される。これは、対応する復号化システムがより良い性能を実現するのに、役立つことができる。対応する復号化システムは、逆色変換に関して、元の色データサンプルではなく、再構成された色成分データ（Ｇ＊などの）だけを有することができるので、再構成された色成分データを用いる符号化システムは、復号化システムによりよく適合することになる。これによって、量子化処理で生じた任意の潜在的な色成分リーク（color component leakage）を、低減することができる。

【0057】

本開示は、記載された実施形態に限定されず、相反する装備が存在する任意の数のシナリオ及び実施形態は、解決することができることが理解される。

【0058】

本開示は、いくつかの例示的な実施形態に関して記載されてきたが、用いた単語は、限定する単語であるよりもむしろ、説明及び例示する単語であることが理解される。態様において、本開示の趣旨及び範囲を逸脱することなしに、添付の特許請求の範囲内で、現在定められ、また補正されるように、変更を行ってもよい。特定の手段、材料及び実施形態に関して、本開示を説明したが、本発明の開示を、開示した事項に限定することを意図したものではない。むしろ、本発明の開示は、添付の特許請求の範囲内に入るような、機能的に均等な全ての構成、方法及び用途に及ぶ。

【0059】

コンピュータ可読媒体は単一の媒体として記載できるが、「コンピュータ可読媒体」という用語は、集中型又は分散型のデータベースなどの単一の媒体若しくは複数の媒体、及び／又は、１組以上の命令を記憶する関連するキャッシュ及びサーバを含んでいる。「コンピュータ可読媒体」という用語はまた、本明細書で開示される任意の１つ以上の実施形態を、プロセッサにより実行するための、又はコンピュータシステムに実行させる、１組の命令を記憶し、符号化し、又は携帯することができる任意の媒体を含むものとする。

【0060】

コンピュータ可読媒体は非一時的なコンピュータ可読媒体（単数又は複数）を含むことができ、及び／又は一時的なコンピュータ可読媒体（単数又は複数）を含むことができる。特定の非限定的、例示的な実施形態において、コンピュータ可読媒体は、メモリカード、又は、１つ以上の不揮発性読み出し専用メモリを収容する別のパッケージ、などの固体メモリを含むことができる。更に、コンピュータ可読媒体は、ランダムアクセスメモリ又は他の揮発性書換え可能メモリとすることができる。更に、コンピュータ可読媒体は、伝送媒体上で通信される信号などの搬送波信号をキャプチャするディスク又はテープ又は他の記憶装置などの光磁気又は光学的媒体を含むことができる。したがって、本開示は、データ又は命令を記憶することができる任意のコンピュータ可読媒体又は他の等価物及び後継媒体を含むと考えられる。

【0061】

本出願は、コンピュータ読み取り可能な媒体のコードセグメントとして実現することができる特定の実施形態について記載している。しかし、特定用途向け集積回路、プログラマブルロジックアレイ及び他のハードウェアデバイスなどの専用のハードウェア実装が、本明細書で記載する実施形態の１つ以上を実行するように構成することができることを理解されたい。本明細書で述べる種々の実施形態を含み得るアプリケーションは、さまざまな電子の及びコンピュータのシステムを広く包含することができる。したがって、本出願は、ソフトウェア、ファームウェア、及びハードウェアの実装、又はその組合せを含むことができる。

【0062】

本明細書は、特定の規格及びプロトコルに準拠した特定の実施形態において実行することができる構成要素及び機能について記載しているが、本発明の開示は、かかる規格及びプロトコルには限定されない。そのような規格は、実質的に同じ機能を有する、より高速な又はより効率的な同等物により、周期的に取って代わられる。したがって、同じ又は同様な機能を有する更新規格及びプロトコルは、その同等物と考えられる。

【0063】

本明細書で記載する実施形態の実例は、さまざまな実施形態の全般的な知識を提供するように意図されている。これらの実例は、本明細書に記載された構造及び方法を利用する装置及びシステムの、全ての要素及び機能の完全な説明としての役割を果たすようには意図されていない。多数の他の実施形態は、本開示を検討すればすぐに、当業者に明白となり得る。他の実施形態は、本開示から利用し、導出することができるので、本開示の範囲を逸脱することなく、構造的及び論理的な置換及び変更を行うことができる。更に、図面は単に説明のためであり、寸法通りに描かれていない可能性がある。図面内の特定の大きさは誇張されている一方で、他の大きさは最小化されている可能性がある。したがって、開示及び図は、制限的というよりは、むしろ例示的と考えるべきである。

【0064】

自発的にこの出願の範囲を任意の特定の開示又は発明の概念に限定する意図なしに、開示の１つ以上の実施形態は、本明細書で、単に便宜上「開示」という用語により、個別に及び／又は全体的に、参照することができる。更に、特定の実施形態が、本明細書に例示され、記載されているが、同じ又は同様な目的を実現するように設計された任意の後続の構成を、本明細書に示された特定の実施形態の代わりに、使用することができることを理解されたい。この開示は、さまざまな実施形態のあらゆる全ての後続の改訂又は変型に及ぶように、意図されている。上述した実施形態の組合せ、及び、本明細書で具体的には記載されていないその他の実施形態は、本明細書の説明を検討すればすぐに、当業者に明白となるであろう。

【0065】

更に、上述の発明を実施するための形態において、開示を簡素化する目的で、さまざまな機能は、共にグループ化するか、又は単一の実施形態に記載することができる。特許請求された実施形態は、それぞれの請求項において、明示的に列挙される特長よりも多くの特長を必要とする、という意図をこの開示が反映するものと、解釈してはならない。むしろ、以下の特許請求の範囲が表すように、発明の主題事項は、任意の開示された実施形態の全ての特長よりも、少ない特長を対象とする可能性がある。したがって、以下の請求項は、発明を実施するための形態に組み込まれており、それぞれの請求項が、特許請求された主題事項を別々に画定するように、独立して存在している。

【0066】

上述した開示された主題事項は、例示的であり制限的ではないと考えなければならない。そして、添付の請求項は、本開示の真の趣旨と範囲内に入る全てのかかる修正、改良及び他の実施形態に及ぶことを意図している。したがって、法律により許される最大の程度で、本開示の範囲は、以下の請求項及び均等物の最も幅広く許容される解釈により、決定しなければならない。そして、上述の発明を実施するための形態により、制限されたり又は限定されたりするべきではない。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-06-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオ符号化のシステムであって、
ソース画像データと予測画像データとを組み合わせて、変換ユニット（ＴＵ）のための残差画像データを生成する積算器と、
ここで前記ＴＵは、符号化ユニット（ＣＵ）の一部であり、
前記残差画像データ上に選択された色変換を実行し、変換残差画像データを生成する選択可能な残差変換器と、
前記変換残差画像データを、符号化ビットストリーム内のＴＵシンタックス層内の前記選択された色変換の指標を含む前記符号化ビットストリームへと符号化する符号器と、
ここで、前記ＴＵシンタックス層は、シンタックス階層の中で、ＣＵシンタックス層および符号化ツリーユニット（ＣＴＵ）シンタックス層よりも低いシンタックス層である
を備えるビデオ符号化のシステム。

【請求項2】

前記変換残差画像データの第１の色成分は、前記変換残差画像データの１つの色成分だけに基づいて生成され、
前記変換残差画像データの他の色成分は、前記変換残差画像データの前記第１の色成分に基づいて予測される、
請求項１に記載のシステム。

【請求項3】

前記符号化ビットストリーム内の画像データは、個々の色成分に分割され、色成分それぞれへの処理経路は、互いに分離されている
請求項１に記載のシステム。

【請求項4】

前記符号器は、エントロピー符号器を含む
請求項１に記載のシステム。

【請求項5】

前記選択された色変換を示す前記ＴＵシンタックス層は、前記選択された色変換の１つまたは２つの係数を特定する
請求項１に記載のシステム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】変更

【補正の内容】

【0018】

【数1】

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００３６

【補正方法】変更

【補正の内容】

【0036】

選択的に、システム２００は、出力ビデオ２９０の情報（例えば、以前処理された画像データ）を記憶するフレームバッファ２８０を含んでもよい。フレームバッファ２８０のかかるデータは、インタ予測２５０により用いられて、時間予測を実行するように、即ち、以前のフレームのデータに基づいて、現在の画像領域の予測画像データを生成するように、復号器２３０により制御することができる。イントラ予測２６０は、空間予測を実行するように、即ち、現在のフレームの別の部分のデータに基づいて、現在の画像領域の予測画像データを生成するように、復号器２３０により制御することができる。インタ予測２５０及び／又はイントラ予測２６０により生成する現在の画像領域の予測画像領域は、積算器２４０により、選択可能な残差逆変換器２２０からの逆変換された残差画像と組み合わせて（又は、それに追加して）、出力ビデオ２９０の復元された現在の画像領域を生成することができる。システム２００は、出力ビデオ２９０の復元された現在の画像領域を調整する調整器２７０を含んでもよい。調整器２７０は、デブロッキング２７２及びサンプル適応オフセット（ＳＡＯ）２７４を含むことができる。調整器２７０は、出力ビデオ２９０及び／又はフレームバッファ２８０に出力することができる。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正の内容】

【0037】

一実施形態によれば、現在の画像領域は、フレーム、スライス及び符号化ツリーユニットの１つとすることができる。選択可能な逆変換は、色空間変換を含むことができる。復号器２３０は、エントロピ復号器を含むことができる。選択可能な逆変換を特定する符号化情報は、選択可能な逆変換の係数を指定してもよい。選択可能な逆変換を特定する符号化情報は、現在の画像領域の符号化された残差画像データに先行するシーケンスパラメータセット、ピクチャパラメータセット及びスライスヘッダのうちの１つに、包含することができる。復号器２３０は、逆変換器２３２及び／又は量子化を実行する逆量子化器２３３を含んでもよい。出力ビデオ２９０は、表示装置（図示せず）に接続し、表示することができる。

【外国語明細書】