知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッドの特許一覧
特開2024-161393パレットモードを用いたビデオ符号化復号化方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161393
(43)【公開日】2024-11-19
(54)【発明の名称】パレットモードを用いたビデオ符号化復号化方法及び装置
(51)【国際特許分類】
H04N 19/70 20140101AFI20241112BHJP
H04N 19/126 20140101ALI20241112BHJP
H04N 19/136 20140101ALI20241112BHJP
【ＦＩ】
H04N19/70
H04N19/126
H04N19/136
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024118444
(22)【出願日】2024-07-24
(62)【分割の表示】P 2022556692の分割
【原出願日】2021-03-29
(31)【優先権主張番号】63/001,235
(32)【優先日】2020-03-27
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】521147444
【氏名又は名称】ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(72)【発明者】
【氏名】チュウ ホンチェン
(72)【発明者】
【氏名】ワン シエンリン
(72)【発明者】
【氏名】シュウ シャオユウ
(72)【発明者】
【氏名】チェン イーウェン
(72)【発明者】
【氏名】マー ツン－チュアン
(72)【発明者】
【氏名】チェン ウェイ
(72)【発明者】
【氏名】ユウ ビン
(57)【要約】 （修正有）
【課題】パレットモードに関して符号化効率を改善するビデオデータの符号化及び復号方法を提供する。
【解決手段】ビデオデコーダによる復号方法は、ビットストリームから符号化ユニットの符号化木のタイプ及びローカル二分木モードがこの符号化ユニットに対して有効であるかどうかを示す複数の構文要素を受信することと、この符号化ユニットの符号化木のタイプが単一木でありローカル二分木モードがこの符号化ユニットに対して有効であると決定したことに応じて、この符号化ユニットが予め定められた閾値以下のサイズを有する場合、この符号化ユニットに対してパレットモードを無効にすることと、を含む。
【選択図】図６
【解決手段】ビデオデコーダによる復号方法は、ビットストリームから符号化ユニットの符号化木のタイプ及びローカル二分木モードがこの符号化ユニットに対して有効であるかどうかを示す複数の構文要素を受信することと、この符号化ユニットの符号化木のタイプが単一木でありローカル二分木モードがこの符号化ユニットに対して有効であると決定したことに応じて、この符号化ユニットが予め定められた閾値以下のサイズを有する場合、この符号化ユニットに対してパレットモードを無効にすることと、を含む。
【選択図】図６
【特許請求の範囲】
【請求項1】
ビットストリームから、符号化ユニットに関連して前記符号化ユニットの符号化木のタ
イプ及び、ローカル二分木モードが前記符号化ユニットに対して有効であるかどうかを示
す複数の構文要素を受信することと、
前記符号化ユニットの符号化木のタイプが単一木であり且つ前記ローカル二分木モード
が前記符号化ユニットに対して有効であると決定したことに応じて、
前記符号化ユニットが予め定められた閾値以下のサイズを有する場合、前記符号化ユニ
ットに対してパレットモードを無効にすることと、
を含む、ビデオデータを復号化するための方法。
イプ及び、ローカル二分木モードが前記符号化ユニットに対して有効であるかどうかを示
す複数の構文要素を受信することと、
前記符号化ユニットの符号化木のタイプが単一木であり且つ前記ローカル二分木モード
が前記符号化ユニットに対して有効であると決定したことに応じて、
前記符号化ユニットが予め定められた閾値以下のサイズを有する場合、前記符号化ユニ
ットに対してパレットモードを無効にすることと、
を含む、ビデオデータを復号化するための方法。
【請求項2】
前記符号化ユニットに対してパレットモードを無効にすることは、
前記符号化ユニットの輝度成分および彩度成分の両方に対して前記パレットモードを無
効にすること
を含む、請求項１に記載の方法。
前記符号化ユニットの輝度成分および彩度成分の両方に対して前記パレットモードを無
効にすること
を含む、請求項１に記載の方法。
【請求項3】
前記符号化ユニットに対してパレットモードを無効にすることは、
前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすること
を含む、請求項１に記載の方法。
前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすること
を含む、請求項１に記載の方法。
【請求項4】
前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすることは、
前記複数の構文要素から前記符号化ユニットのビデオ成分が彩度成分であるか、輝度成
分であるかをさらに決定することと、
前記符号化ユニットのビデオ成分が彩度成分であると決定したことに応じて、
前記符号化ユニットの彩度成分に対して前記パレットモードを無効にすることと
を含む、請求項３に記載の方法。
前記複数の構文要素から前記符号化ユニットのビデオ成分が彩度成分であるか、輝度成
分であるかをさらに決定することと、
前記符号化ユニットのビデオ成分が彩度成分であると決定したことに応じて、
前記符号化ユニットの彩度成分に対して前記パレットモードを無効にすることと
を含む、請求項３に記載の方法。
【請求項5】
前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすることは、
前記複数の構文要素から前記符号化ユニットのビデオ成分が彩度成分であるか、輝度成
分であるかをさらに決定することと、
前記符号化ユニットのビデオ成分が輝度成分であると決定したことに応じて、
前記ビットストリームから前記符号化ユニットの輝度成分に関連付けられたパレッ
トモードイネーブルフラグを受信し、
前記パレットモードイネーブルフラグに従って前記符号化ユニットを復号化すること
と
を含む、請求項３に記載の方法。
前記複数の構文要素から前記符号化ユニットのビデオ成分が彩度成分であるか、輝度成
分であるかをさらに決定することと、
前記符号化ユニットのビデオ成分が輝度成分であると決定したことに応じて、
前記ビットストリームから前記符号化ユニットの輝度成分に関連付けられたパレッ
トモードイネーブルフラグを受信し、
前記パレットモードイネーブルフラグに従って前記符号化ユニットを復号化すること
と
を含む、請求項３に記載の方法。
【請求項6】
前記ビットストリームからパレット予測イネーブル構文を受信することと、
前記パレット予測イネーブル構文に従って、前記符号化ユニットの輝度成分のパレット
予測を更新することと
を含む、請求項５に記載の方法。
前記パレット予測イネーブル構文に従って、前記符号化ユニットの輝度成分のパレット
予測を更新することと
を含む、請求項５に記載の方法。
【請求項7】
前記符号化ユニットの輝度成分のパレット予測の更新を禁止すること
を更に含む、請求項５に記載の方法。
を更に含む、請求項５に記載の方法。
【請求項8】
最小パレットモード輝度ブロックサイズを決定することと、
前記符号化ユニットの輝度成分のサイズが前記最小パレットモード輝度ブロックサイズ
以下であると判定したことに応じて、
前記符号化ユニットの輝度成分のパレット予測の更新を禁止することと
を更に含む、請求項５に記載の方法。
前記符号化ユニットの輝度成分のサイズが前記最小パレットモード輝度ブロックサイズ
以下であると判定したことに応じて、
前記符号化ユニットの輝度成分のパレット予測の更新を禁止することと
を更に含む、請求項５に記載の方法。
【請求項9】
前記最小パレットモード輝度ブロックサイズが、３２×３２輝度サンプルである、
請求項８に記載の方法。
請求項８に記載の方法。
【請求項10】
前記最小パレットモード輝度ブロックサイズが、８×８輝度サンプルである、
請求項８に記載の方法。
請求項８に記載の方法。
【請求項11】
前記複数の構文要素に含まれ、ローカル二分木モードが前記符号化ユニットに対して有
効であるかどうかを示す構文要素が、MODE_TYPE_INTRAである、
請求項１に記載の方法。
効であるかどうかを示す構文要素が、MODE_TYPE_INTRAである、
請求項１に記載の方法。
【請求項12】
前記複数の構文要素に含まれ、前記符号化ユニットのビデオ成分が彩度成分であるか輝
度成分であるかを示する構文要素が、DUAL_TREE_CHROMAである
請求項４に記載の方法。
度成分であるかを示する構文要素が、DUAL_TREE_CHROMAである
請求項４に記載の方法。
【請求項13】
前記予め定められた閾値は、３２×３２サンプルである
請求項１に記載の方法。
請求項１に記載の方法。
【請求項14】
前記予め定められた閾値は、１６×１６サンプルである、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項15】
電子装置であって、
１つまたは複数の処理ユニットと、
前記１つまたは複数の処理ユニットに接続されているメモリと、
前記メモリに格納されている複数のプログラムと、
を含み、
前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、
当該電子装置に請求項１～１４のいずれか一項に記載の方法を実行させる、
電子装置。
１つまたは複数の処理ユニットと、
前記１つまたは複数の処理ユニットに接続されているメモリと、
前記メモリに格納されている複数のプログラムと、
を含み、
前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、
当該電子装置に請求項１～１４のいずれか一項に記載の方法を実行させる、
電子装置。
【請求項16】
１つまたは複数の処理ユニットを有する電子装置によって実行される複数のプログラム
を格納している非一時的なコンピュータ読取可能な記憶媒体であって、
前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、
前記電子装置に請求項１～１４のいずれか一項に記載の方法を実行させる
非一時的なコンピュータ読取可能な記憶媒体。
を格納している非一時的なコンピュータ読取可能な記憶媒体であって、
前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、
前記電子装置に請求項１～１４のいずれか一項に記載の方法を実行させる
非一時的なコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、２０２０年３月２７日に出願された、発明の名称が「パレットモードを用い
たビデオ符号化復号化方法及び装置」である米国仮出願第６３／００１２３５号に対する
優先権を主張するものであり、この特許出願の明細書全体を参照によって本願明細書に引
用する。
たビデオ符号化復号化方法及び装置」である米国仮出願第６３／００１２３５号に対する
優先権を主張するものであり、この特許出願の明細書全体を参照によって本願明細書に引
用する。
【技術分野】
【0002】
本発明は、全般的にビデオデータ符号化復号化および圧縮に関し、特に、パレットモー
ドを用いたビデオ符号化復号化の方法及びシステムに関する。
ドを用いたビデオ符号化復号化の方法及びシステムに関する。
【背景技術】
【0003】
デジタル・テレビ、ラップトップまたはデスクトップ・コンピュータ、タブレット・コ
ンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、
ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置など
の各種電子装置はデジタル・ビデオを支持する。電子装置は、ＭＰＥＧ-４、ＩＴＵ-Ｔ
Ｈ.２６３、ＩＴＵ-Ｔ Ｈ.２６４／ＭＰＥＧ-４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ
Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ
Ｃｏｄｉｎｇ（ＨＥＶＣ）及びＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ
）の標準で定義されたビデオ圧縮/展開の標準を実行することで、デジタル・ビデオ・デ
ータを受送信し、符号化し、復号化や格納する。ビデオ圧縮は、通常、空間（フレーム内
）予測および／または時間（フレーム間）予測を実行して、ビデオデータに固有の冗長性
を低減または削除することを含む。ブロックに基づくビデオ符号化では、ビデオフレーム
が、符号化木ユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ ＵＮＩＴ)と呼ばれる複数の
ビデオブロックをそれぞれ含む１つ又は複数のスライスに区画される。各ＣＴＵは、１つ
の符号化ユニット（ＣＵ）を含み、または構文定められた最小のＣＵサイズに達するまで
より小さなＣＵに再帰的に区画されることがある。各ＣＵ（リーフＣＵとも呼ばれる）に
は、１つまたは複数の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）と、１つま
たは複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）とが含まれる。各Ｃ
Ｕは、イントラ、インター、またはＩＢＣモードのいずれかで符号化されることが可能で
ある。１つのビデオフレームにおけるイントラ符号化された（I）スライス内のビデオブ
ロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測で
符号化される。１つのビデオフレームにおけるインター符号化された（ＰまたはＢ）スラ
イス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに
関する空間予測、または他の以前および／または将来の参照ビデオフレームにおける参照
サンプルに関する時間予測を使用する。
ンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、
ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置など
の各種電子装置はデジタル・ビデオを支持する。電子装置は、ＭＰＥＧ-４、ＩＴＵ-Ｔ
Ｈ.２６３、ＩＴＵ-Ｔ Ｈ.２６４／ＭＰＥＧ-４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ
Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ
Ｃｏｄｉｎｇ（ＨＥＶＣ）及びＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ
）の標準で定義されたビデオ圧縮/展開の標準を実行することで、デジタル・ビデオ・デ
ータを受送信し、符号化し、復号化や格納する。ビデオ圧縮は、通常、空間（フレーム内
）予測および／または時間（フレーム間）予測を実行して、ビデオデータに固有の冗長性
を低減または削除することを含む。ブロックに基づくビデオ符号化では、ビデオフレーム
が、符号化木ユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ ＵＮＩＴ)と呼ばれる複数の
ビデオブロックをそれぞれ含む１つ又は複数のスライスに区画される。各ＣＴＵは、１つ
の符号化ユニット（ＣＵ）を含み、または構文定められた最小のＣＵサイズに達するまで
より小さなＣＵに再帰的に区画されることがある。各ＣＵ（リーフＣＵとも呼ばれる）に
は、１つまたは複数の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）と、１つま
たは複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）とが含まれる。各Ｃ
Ｕは、イントラ、インター、またはＩＢＣモードのいずれかで符号化されることが可能で
ある。１つのビデオフレームにおけるイントラ符号化された（I）スライス内のビデオブ
ロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測で
符号化される。１つのビデオフレームにおけるインター符号化された（ＰまたはＢ）スラ
イス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに
関する空間予測、または他の以前および／または将来の参照ビデオフレームにおける参照
サンプルに関する時間予測を使用する。
【0004】
以前符号化された参照ブロック、例えば隣接ブロックに基づく空間予測又は時間予測で
は、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロックを
発現する処理は、ブロックマッチングアルゴリズムによって実現されることが可能である
。符号化対象である現在ブロックと予測ブロックとの間の画素差を示す残差データは、残
差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成し
た参照フレームにおける参照ブロックに指す動きベクトルと、残差ブロックとに応じて符
号化される。動きベクトルを決定する処理は、通常、動き推定と呼ばれる。イントラ符号
化ブロックは、イントラ予測モードと残差ブロックに応じて符号化されたものである。更
なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され
、結果としてその後定量化される残差変換係数が得られる。そして、最初に二次元行列で
配置され且つ定量化された変換係数は、走査されて変換係数の一次元ベクトルを生成し、
その後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化さ
れる。
は、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロックを
発現する処理は、ブロックマッチングアルゴリズムによって実現されることが可能である
。符号化対象である現在ブロックと予測ブロックとの間の画素差を示す残差データは、残
差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成し
た参照フレームにおける参照ブロックに指す動きベクトルと、残差ブロックとに応じて符
号化される。動きベクトルを決定する処理は、通常、動き推定と呼ばれる。イントラ符号
化ブロックは、イントラ予測モードと残差ブロックに応じて符号化されたものである。更
なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され
、結果としてその後定量化される残差変換係数が得られる。そして、最初に二次元行列で
配置され且つ定量化された変換係数は、走査されて変換係数の一次元ベクトルを生成し、
その後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化さ
れる。
【0005】
そして、符号化されたビデオ・ビットストリームは、コンピュータ読取可能な記憶媒体
（例えば、フラッシュメモリ）に保存されて、デジタル・ビデオ能力を持つ別の電子装置
によってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして
、この電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビッ
トストリームから構文要素を取得し、このビットストリームから取得された構文要素の少
なくとも一部に基づいてデジタル・ビデオデータをこの符号化されたビデオストリームか
ら元のフォーマットに再構成することで、ビデオ展開（上述したビデオ圧縮とは反対のプ
ロセス）を実行しており、この再構成されたデジタル・ビデオデータをこの電子装置のデ
ィスプレイに再現する。
（例えば、フラッシュメモリ）に保存されて、デジタル・ビデオ能力を持つ別の電子装置
によってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして
、この電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビッ
トストリームから構文要素を取得し、このビットストリームから取得された構文要素の少
なくとも一部に基づいてデジタル・ビデオデータをこの符号化されたビデオストリームか
ら元のフォーマットに再構成することで、ビデオ展開（上述したビデオ圧縮とは反対のプ
ロセス）を実行しており、この再構成されたデジタル・ビデオデータをこの電子装置のデ
ィスプレイに再現する。
【0006】
デジタル・ビデオの品質が高解像度から４Ｋ×２Ｋ乃至８Ｋ×４Ｋに進んでいるにつれ
て、符号化／復号化対象となるビデオデータの量は指数関数的に増加する。復号化された
ビデオデータの画像品質を維持しながらビデオデータをより効率的に符号化／復号化する
ことは、常に課題である。
て、符号化／復号化対象となるビデオデータの量は指数関数的に増加する。復号化された
ビデオデータの画像品質を維持しながらビデオデータをより効率的に符号化／復号化する
ことは、常に課題である。
【発明の概要】
【0007】
本願は、ビデオデータ符号化および復号化、特に、パレットモードを用いたビデオ符号
化および復号化のシステム及び方法に関する実現を説明する。
化および復号化のシステム及び方法に関する実現を説明する。
【0008】
本願の第１の方面に従い、ビットストリームから、符号化ユニットに関連して前記符号
化ユニットの符号化木のタイプ及び、ローカル二分木モードが前記符号化ユニットに対し
て有効であるかどうかを示す複数の構文要素を受信することと、前記符号化ユニットの符
号化木のタイプが単一木であり且つ前記ローカル二分木モードが前記符号化ユニットに対
して有効であると決定したことに応じて、前記符号化ユニットが予め定められた閾値以下
のサイズを有する場合、前記符号化ユニットに対してパレットモードを無効にすることと
、を含む、ビデオデータを復号化するための方法を提供する。
化ユニットの符号化木のタイプ及び、ローカル二分木モードが前記符号化ユニットに対し
て有効であるかどうかを示す複数の構文要素を受信することと、前記符号化ユニットの符
号化木のタイプが単一木であり且つ前記ローカル二分木モードが前記符号化ユニットに対
して有効であると決定したことに応じて、前記符号化ユニットが予め定められた閾値以下
のサイズを有する場合、前記符号化ユニットに対してパレットモードを無効にすることと
、を含む、ビデオデータを復号化するための方法を提供する。
【0009】
ある実施形態では、前記符号化ユニットに対してパレットモードを無効にすることは、
前記符号化ユニットの輝度成分および彩度成分の両方に対して前記パレットモードを無効
にすることを含む。
前記符号化ユニットの輝度成分および彩度成分の両方に対して前記パレットモードを無効
にすることを含む。
【0010】
ある実施形態では、前記符号化ユニットに対してパレットモードを無効にすることは、
前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすることを含む
。
前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすることを含む
。
【0011】
本願の第２の方面に従い、電子装置は、１つまたは複数の処理ユニットと、メモリと、
前記メモリに格納されている複数のプログラムと、を含む。前記複数のプログラムは、前
記１つまたは複数の処理ユニットによって実行されると、当該電子装置に上述のビデオデ
ータを復号化するための方法を実行させる。
前記メモリに格納されている複数のプログラムと、を含む。前記複数のプログラムは、前
記１つまたは複数の処理ユニットによって実行されると、当該電子装置に上述のビデオデ
ータを復号化するための方法を実行させる。
【0012】
本願の第３の方面に従い、非一時的なコンピュータ読取可能な記憶媒体は、１つまたは
複数の処理ユニットを有する電子装置によって実行される複数のプログラムを格納してい
る。前記プログラムは、前記１つまたは複数の処理ユニットによって実行されると、当該
電子装置に上述のビデオデータを復号化するための方法を実行させる。
複数の処理ユニットを有する電子装置によって実行される複数のプログラムを格納してい
る。前記プログラムは、前記１つまたは複数の処理ユニットによって実行されると、当該
電子装置に上述のビデオデータを復号化するための方法を実行させる。
【図面の簡単な説明】
【0013】
本発明の実現のさらなる理解を提供する、本明細書の一部として本明細書に引き入れる
添付図面は、上述した実現を示し、その説明とともに基礎原理を説明するためものである
。なお、同一符号は同一または相当な部分を示す。
添付図面は、上述した実現を示し、その説明とともに基礎原理を説明するためものである
。なお、同一符号は同一または相当な部分を示す。
【0014】
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の実施の形態を詳細に説明する。以下の詳細な説明におい
て、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述
べる。ただし、本発明は、特許請求の範囲及びその趣旨から逸脱することではなく種々の
変形により実施することができることは当業者には明らかである。例えば、本明細書に述
べる趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得ることは、当
業者にとって明らかである。
て、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述
べる。ただし、本発明は、特許請求の範囲及びその趣旨から逸脱することではなく種々の
変形により実施することができることは当業者には明らかである。例えば、本明細書に述
べる趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得ることは、当
業者にとって明らかである。
【0016】
図１は、本開示のある実施形態に係る、ビデオブロックを並列に符号化および復号化す
るための例示的なシステム１０を示すブロック図である。図１に示すように、システム１
０は、目標装置１４によって将来、復号化されるビデオデータを生成し符号化するソース
装置１２を含む。ソース装置１２および目標装置１４には、デスクトップまたはラップト
ップ・コンピュータ、タブレット・コンピュータ、スマートフォン、セットトップボック
ス、デジタル・テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲー
ム機、ビデオ・ストリーミング装置などを含む多種の電子装置のいずれかを含んでもよい
。ある実施形態では、ソース装置１２および目標装置１４は、無線通信機能を備えている
。
るための例示的なシステム１０を示すブロック図である。図１に示すように、システム１
０は、目標装置１４によって将来、復号化されるビデオデータを生成し符号化するソース
装置１２を含む。ソース装置１２および目標装置１４には、デスクトップまたはラップト
ップ・コンピュータ、タブレット・コンピュータ、スマートフォン、セットトップボック
ス、デジタル・テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲー
ム機、ビデオ・ストリーミング装置などを含む多種の電子装置のいずれかを含んでもよい
。ある実施形態では、ソース装置１２および目標装置１４は、無線通信機能を備えている
。
【0017】
ある実施形態では、目標装置１４が、リンク１６を介して復号化対象の符号化されたビ
デオデータを受信する。リンク１６には、符号化されたビデオデータをソース装置１２か
ら目標装置１４に移動できる任意のタイプの通信媒体または装置を含むことが可能である
。一つの例では、リンク１６には、ソース装置１２に符号化されたビデオデータを目標装
置１４にリアルタイムで直接送信させることができる通信媒体を含んでもよい。符号化さ
れたビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１
４に送信される。通信媒体には、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）
スペクトルや１つまたは複数の物理的な伝送路などの任意の無線または有線通信媒体を含
むことが可能である。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワ
ーク、またはインターネット等のグローバルネットワークなどのようなパケットベースの
ネットワークの一部として構成してもよい。通信媒体には、ルーター、交換機、基地局や
、ソース装置１２から目標装置１４への通信に役立つ他の任意の装置を含んでもよい。
デオデータを受信する。リンク１６には、符号化されたビデオデータをソース装置１２か
ら目標装置１４に移動できる任意のタイプの通信媒体または装置を含むことが可能である
。一つの例では、リンク１６には、ソース装置１２に符号化されたビデオデータを目標装
置１４にリアルタイムで直接送信させることができる通信媒体を含んでもよい。符号化さ
れたビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１
４に送信される。通信媒体には、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）
スペクトルや１つまたは複数の物理的な伝送路などの任意の無線または有線通信媒体を含
むことが可能である。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワ
ーク、またはインターネット等のグローバルネットワークなどのようなパケットベースの
ネットワークの一部として構成してもよい。通信媒体には、ルーター、交換機、基地局や
、ソース装置１２から目標装置１４への通信に役立つ他の任意の装置を含んでもよい。
【0018】
他のある実施形態では、符号化されたビデオデータは、出力インターフェース２２から
ストレージ装置３２に送信される。その後、ストレージ装置３２にある符号化されたビデ
オデータは、入力インターフェース２８を介して目標装置１４によってアクセスされる。
ストレージ装置３２には、ハードドライブ、Ｂｌｕ-ｒａｙディスク、ＤＶＤ、ＣＤ－Ｒ
ＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化されたビデオデータを
格納するための他の適切なデジタル記憶媒体などのような多種の分散型またはローカルに
アクセスされるデータ記憶媒体のいずれかを含むことが可能である。別の例では、ストレ
ージ装置３２は、ファイルサーバ、やソース装置１２によって生成された符号化ビデオデ
ータを保持することができる別の中間ストレージ装置に対応してもよい。目標装置１４は
、ストリーミングまたはダウンロードによりストレージ装置３２から格納されたビデオデ
ータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納
し、この符号化されたビデオデータを目標装置１４に送信することができる任意のタイプ
のコンピュータであってよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェ
ブサイト用もの）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、または
ローカルディスクドライブを含む。目標装置１４は、ファイルサーバーに保存されている
符号化ビデオデータへのアクセスに適する無線チャネル（例えば、Ｗｉ―Ｆｉ接続）、有
線接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはそれらの組み合わせを含む任意
の標準的なデータ接続を介して、符号化されたビデオデータをアクセスすることができる
。ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、
ダウンロード送信、またはそれらの組み合わせであってもよい。
ストレージ装置３２に送信される。その後、ストレージ装置３２にある符号化されたビデ
オデータは、入力インターフェース２８を介して目標装置１４によってアクセスされる。
ストレージ装置３２には、ハードドライブ、Ｂｌｕ-ｒａｙディスク、ＤＶＤ、ＣＤ－Ｒ
ＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化されたビデオデータを
格納するための他の適切なデジタル記憶媒体などのような多種の分散型またはローカルに
アクセスされるデータ記憶媒体のいずれかを含むことが可能である。別の例では、ストレ
ージ装置３２は、ファイルサーバ、やソース装置１２によって生成された符号化ビデオデ
ータを保持することができる別の中間ストレージ装置に対応してもよい。目標装置１４は
、ストリーミングまたはダウンロードによりストレージ装置３２から格納されたビデオデ
ータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納
し、この符号化されたビデオデータを目標装置１４に送信することができる任意のタイプ
のコンピュータであってよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェ
ブサイト用もの）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、または
ローカルディスクドライブを含む。目標装置１４は、ファイルサーバーに保存されている
符号化ビデオデータへのアクセスに適する無線チャネル（例えば、Ｗｉ―Ｆｉ接続）、有
線接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはそれらの組み合わせを含む任意
の標準的なデータ接続を介して、符号化されたビデオデータをアクセスすることができる
。ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、
ダウンロード送信、またはそれらの組み合わせであってもよい。
【0019】
図１に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、お
よび出力インターフェース２２を含む。ビデオソース１８には、ビデオ・キャプチャ装置
（例えばビデオカメラ）、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコン
テンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/ま
たはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュー
タグラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可
能である。一つの例として、ビデオソース１８がセキュリティ監視システムのビデオカメ
ラである場合、ソース装置１２および目標装置１４は、カメラ付き携帯電話またはビデオ
電話を構成できる。しかしながら、本願で説明する実施形態は、一般にビデオ符号化に適
用可能であり、そして無線および／または有線アプリケーションに適用可能である。
よび出力インターフェース２２を含む。ビデオソース１８には、ビデオ・キャプチャ装置
（例えばビデオカメラ）、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコン
テンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/ま
たはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュー
タグラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可
能である。一つの例として、ビデオソース１８がセキュリティ監視システムのビデオカメ
ラである場合、ソース装置１２および目標装置１４は、カメラ付き携帯電話またはビデオ
電話を構成できる。しかしながら、本願で説明する実施形態は、一般にビデオ符号化に適
用可能であり、そして無線および／または有線アプリケーションに適用可能である。
【0020】
ビデオエンコーダ２０は、捕れるビデオ、予め捕らえられたビデオ、またはコンピュー
タによって生成されたビデオを符号化することができる。符号化されたビデオデータは、
ソース装置１２の出力インターフェース２２を介して目標装置１４に直接送信されること
が可能である。これに加えて（または選択的に）、符号化されたビデオデータは、その後
目標装置１４または他の装置によってアクセスされて復号化および／または再生されるよ
うに、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデムお
よび／または送信機をさらに含んでもよい。
タによって生成されたビデオを符号化することができる。符号化されたビデオデータは、
ソース装置１２の出力インターフェース２２を介して目標装置１４に直接送信されること
が可能である。これに加えて（または選択的に）、符号化されたビデオデータは、その後
目標装置１４または他の装置によってアクセスされて復号化および／または再生されるよ
うに、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデムお
よび／または送信機をさらに含んでもよい。
【0021】
目標装置１４は、入力インターフェース２８、ビデオデコーダ３０、および表示装置３
４を含む。入力インターフェース２８は受信機および／またはモデムを含み、リンク１６
を介して符号化されたビデオデータを受信する。リンク１６を介して通信された、または
ストレージ装置３２に提供された符号化ビデオデータには、ビデオエンコーダ２０によっ
て生成されかつビデオデコーダ３０によるビデオデータの復号化に使用される多くの構文
要素を含んでもよい。これらの符号化されたビデオデータは、通信媒体で送信されたか、
記憶媒体に記憶されているか、ファイルサーバーに記憶されているかに関わらず、そのよ
うな構文要素を含んでもよい。
４を含む。入力インターフェース２８は受信機および／またはモデムを含み、リンク１６
を介して符号化されたビデオデータを受信する。リンク１６を介して通信された、または
ストレージ装置３２に提供された符号化ビデオデータには、ビデオエンコーダ２０によっ
て生成されかつビデオデコーダ３０によるビデオデータの復号化に使用される多くの構文
要素を含んでもよい。これらの符号化されたビデオデータは、通信媒体で送信されたか、
記憶媒体に記憶されているか、ファイルサーバーに記憶されているかに関わらず、そのよ
うな構文要素を含んでもよい。
【0022】
ある実施形態では、目標装置１４が、集積された表示装置や、目標装置１４と通信でき
るように構成された外部表示装置である表示装置３４を含んでもよい。表示装置３４は、
復号化されたビデオデータをユーザに表示するものであって、液晶ディスプレイ（ＬＣＤ
）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別の
タイプの表示装置などの各種の表示装置のいずれかを含んでもよい。
るように構成された外部表示装置である表示装置３４を含んでもよい。表示装置３４は、
復号化されたビデオデータをユーザに表示するものであって、液晶ディスプレイ（ＬＣＤ
）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別の
タイプの表示装置などの各種の表示装置のいずれかを含んでもよい。
【0023】
ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ-４
、Ｐａｒｔ１０、高度なビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄ
ｉｎｇ）、またはそのような標準の拡張などの専門または業界標準に従って動作する。な
お、本願は、特定のビデオ符号化／復号化の標準に限定されず、他のビデオ符号化／復号
化標準にも適用可能であることが理解されるべきである。ソース装置１２のビデオエンコ
ーダ２０は、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化す
るように構成される。同様に、目標装置１４のビデオデコーダ３０は、これらの現在また
は将来の標準のいずれかに従ってビデオデータを復号化するように構成される。
、Ｐａｒｔ１０、高度なビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄ
ｉｎｇ）、またはそのような標準の拡張などの専門または業界標準に従って動作する。な
お、本願は、特定のビデオ符号化／復号化の標準に限定されず、他のビデオ符号化／復号
化標準にも適用可能であることが理解されるべきである。ソース装置１２のビデオエンコ
ーダ２０は、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化す
るように構成される。同様に、目標装置１４のビデオデコーダ３０は、これらの現在また
は将来の標準のいずれかに従ってビデオデータを復号化するように構成される。
【0024】
ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイク
ロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）
、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、離散な論理、ソフトウェ
ア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、種
々の適切なエンコーダ回路のいずれかによって実現されることが可能である。ソフトウェ
アによって一部実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的なコ
ンピュータ読取可能な媒体に格納し、１つまたは複数のプロセッサによってハードウェア
における命令を実行することで本開示に述べたビデオ符号化／復号化操作を実行してもよ
い。ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれの装置において結合式
エンコーダ/デコーダ（ＣＯＤＥＣ）の一部として集積された一つまたは複数のエンコー
ダまたはデコーダに含まれてもよい。
ロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）
、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、離散な論理、ソフトウェ
ア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、種
々の適切なエンコーダ回路のいずれかによって実現されることが可能である。ソフトウェ
アによって一部実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的なコ
ンピュータ読取可能な媒体に格納し、１つまたは複数のプロセッサによってハードウェア
における命令を実行することで本開示に述べたビデオ符号化／復号化操作を実行してもよ
い。ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれの装置において結合式
エンコーダ/デコーダ（ＣＯＤＥＣ）の一部として集積された一つまたは複数のエンコー
ダまたはデコーダに含まれてもよい。
【0025】
図２は、本願で説明されるある実施形態に係るビデオエンコーダ２０を例示するブロッ
ク図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックに対してイン
トラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化
は空間予測に依存し、所定のビデオフレームまたは画像内のビデオデータの空間的冗長性
を低減または削除する。インター予測符号化は、時間予測に依存し、ビデオシーケンスの
隣接するビデオフレームまたは画像内のビデオデータの時間的冗長性を低減または削除す
る。
ク図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックに対してイン
トラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化
は空間予測に依存し、所定のビデオフレームまたは画像内のビデオデータの空間的冗長性
を低減または削除する。インター予測符号化は、時間予測に依存し、ビデオシーケンスの
隣接するビデオフレームまたは画像内のビデオデータの時間的冗長性を低減または削除す
る。
【0026】
図２に示すように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理部４
１、復号化画像バッファ（ＤＰＢ）６４、加算器５０、変換処理部５２、定量化部５４、
エントロピー符号化部５６を備えている。予測処理部４１は、動き推定部４２、動き補償
部４４、区画部４５、イントラ予測処理部４６、イントラブロックコピー（ＢＣ）部４８
をさらに備えている。ある実施形態では、ビデオエンコーダ２０はまた、ビデオブロック
再構成のための逆定量化部５８、逆変換処理部６０、および加算器６２をさらに備えてい
る。加算器６２とＤＰＢ６４との間には、再構成されたビデオからブロック同士の境界を
フィルタリングしてブロック性アーチファクトを除去するデブロッキング・フィルタ（図
示せず）を配置することが可能である。また、加算器６２の出力をフィルタリングするた
めに、デブロッキング・フィルタに加えて、環内フィルタ（図示せず）を用いてもよい。
ビデオエンコーダ２０は、固定的、またはプログラマブル・ハードウェアユニットの形態
で形成してもよいし、または図示された固定的またはプログラマブル・ハードウェアユニ
ットの１つ又は複数内で区画されてもよい。
１、復号化画像バッファ（ＤＰＢ）６４、加算器５０、変換処理部５２、定量化部５４、
エントロピー符号化部５６を備えている。予測処理部４１は、動き推定部４２、動き補償
部４４、区画部４５、イントラ予測処理部４６、イントラブロックコピー（ＢＣ）部４８
をさらに備えている。ある実施形態では、ビデオエンコーダ２０はまた、ビデオブロック
再構成のための逆定量化部５８、逆変換処理部６０、および加算器６２をさらに備えてい
る。加算器６２とＤＰＢ６４との間には、再構成されたビデオからブロック同士の境界を
フィルタリングしてブロック性アーチファクトを除去するデブロッキング・フィルタ（図
示せず）を配置することが可能である。また、加算器６２の出力をフィルタリングするた
めに、デブロッキング・フィルタに加えて、環内フィルタ（図示せず）を用いてもよい。
ビデオエンコーダ２０は、固定的、またはプログラマブル・ハードウェアユニットの形態
で形成してもよいし、または図示された固定的またはプログラマブル・ハードウェアユニ
ットの１つ又は複数内で区画されてもよい。
【0027】
ビデオデータメモリ４０は、ビデオエンコーダ２０における部品によって符号化対象の
ビデオデータを格納する。ビデオデータメモリ４０におけるビデオデータは、例えばビデ
オソース１８から得られる。ＤＰＢ６４は、ビデオエンコーダ２０によってビデオデータ
を（例えば、イントラ予測またはインター予測符号化モードで）符号化する際に使用され
る参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６
４は、種々のメモリデバイスのいずれかで形成されることが可能である。種々の例では、
ビデオデータメモリ４０は、ビデオエンコーダ２０における他の部品とともにオンチップ
であってもよく、またはそれらの部品に対するオフチップであってもよい。
ビデオデータを格納する。ビデオデータメモリ４０におけるビデオデータは、例えばビデ
オソース１８から得られる。ＤＰＢ６４は、ビデオエンコーダ２０によってビデオデータ
を（例えば、イントラ予測またはインター予測符号化モードで）符号化する際に使用され
る参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６
４は、種々のメモリデバイスのいずれかで形成されることが可能である。種々の例では、
ビデオデータメモリ４０は、ビデオエンコーダ２０における他の部品とともにオンチップ
であってもよく、またはそれらの部品に対するオフチップであってもよい。
【0028】
図２に示すように、ビデオデータを受信した後、予測処理部４１における区画部４５は
、このビデオデータをビデオブロックに区画する。この区画には、このビデオデータに関
するｑｕａｄ－ｔｒｅｅ構造のような予め定められた区画構造に従って、ビデオフレーム
をスライス、タイルまたは他のより大きい符号化ユニット（ＣＵ）に区画することを含ん
でもよい。ビデオフレームは、複数のビデオブロック（または、タイルと称されるビデオ
ブロックトセット）に区画されることができる。予測処理部４１は、現在のビデオブロッ
クに対して、エラー結果（例えば、符号化率および歪みレベル）に基づいて、複数のイン
トラ予測符号化モードのうちの１つまたは複数のインター予測符号化モードのうちの１つ
を選択するように、複数の可能な予測符号化モードのうちの１つを選択する。そして、予
測処理部４１は、得られたイントラ又はインター予測符号化ブロックを加算器５０に提供
して残差ブロックを生成し、その後の参照フレームの一部として使用するように符号化ブ
ロックを再構成する。また、予測処理部４１は、さらに動きベクトル、イントラモードイ
ンジケータ、区画情報及び他の構文情報のような構文要素をエントロピー符号化部５６に
提供する。
、このビデオデータをビデオブロックに区画する。この区画には、このビデオデータに関
するｑｕａｄ－ｔｒｅｅ構造のような予め定められた区画構造に従って、ビデオフレーム
をスライス、タイルまたは他のより大きい符号化ユニット（ＣＵ）に区画することを含ん
でもよい。ビデオフレームは、複数のビデオブロック（または、タイルと称されるビデオ
ブロックトセット）に区画されることができる。予測処理部４１は、現在のビデオブロッ
クに対して、エラー結果（例えば、符号化率および歪みレベル）に基づいて、複数のイン
トラ予測符号化モードのうちの１つまたは複数のインター予測符号化モードのうちの１つ
を選択するように、複数の可能な予測符号化モードのうちの１つを選択する。そして、予
測処理部４１は、得られたイントラ又はインター予測符号化ブロックを加算器５０に提供
して残差ブロックを生成し、その後の参照フレームの一部として使用するように符号化ブ
ロックを再構成する。また、予測処理部４１は、さらに動きベクトル、イントラモードイ
ンジケータ、区画情報及び他の構文情報のような構文要素をエントロピー符号化部５６に
提供する。
【0029】
予測処理部４１におけるイントラ予測処理部４６は、現在のビデオブロックに適するイ
ントラ予測符号化モードを選択するために、符号化対象である現在ブロックと同一のフレ
ーム内の１つまたは複数の隣接ブロックと関連して、現在のビデオブロックのイントラ予
測符号化を実行することで空間予測を行うことができる。予測処理部４１における動き推
定部４２および動き補償部４４は、一つ又は複数の参照フレーム内の一つ又は複数の予測
ブロックに関連して、現在のビデオブロックのインター予測符号化を実行することで時間
予測を行う。ビデオエンコーダ２０は、複数のパスの符号化処理を実行して、例えばビデ
オデータにおける各ブロックに適切な符号化モードを選択してもよい。
ントラ予測符号化モードを選択するために、符号化対象である現在ブロックと同一のフレ
ーム内の１つまたは複数の隣接ブロックと関連して、現在のビデオブロックのイントラ予
測符号化を実行することで空間予測を行うことができる。予測処理部４１における動き推
定部４２および動き補償部４４は、一つ又は複数の参照フレーム内の一つ又は複数の予測
ブロックに関連して、現在のビデオブロックのインター予測符号化を実行することで時間
予測を行う。ビデオエンコーダ２０は、複数のパスの符号化処理を実行して、例えばビデ
オデータにおける各ブロックに適切な符号化モードを選択してもよい。
【0030】
ある実施形態では、動き推定部４２は、ビデオフレームのシーケンスの予め定められた
パターンに従って、現在のビデオフレームについて、参照ビデオフレーム内における予測
ブロックと関連する現在のビデオフレーム内におけるビデオブロックの予測ユニット（Ｐ
Ｕ）の変位を示す動きベクトルを生成することで、インター予測モードを決定する。動き
推定部４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクト
ルを生成する処理である。動きベクトルは、例えば、現在のビデオ・フレームまたは画像
内の符号化されている現在のビデオブロックに対する参照フレーム（または他の符号化ユ
ニット）内の予測ブロックに対して、現在のビデオ・フレーム（または他の符号化ユニッ
ト）内のビデオブロックのＰＵの変位を示すことができる。シーケンスの予め定められた
パターンは、このシーケンスにおけるビデオ・フレームをＰフレームまたはＢフレームと
して指定できる。イントラＢＣ部４８は、動き推定部４２によるインター予測のための動
きベクトル決定と同様な方法により、イントラＢＣ符号化のためのベクトル、例えばブロ
ックベクトルを決定してもよいし、または動き推定部４２を利用してこのブロックベクト
ルを決定してもよい。
パターンに従って、現在のビデオフレームについて、参照ビデオフレーム内における予測
ブロックと関連する現在のビデオフレーム内におけるビデオブロックの予測ユニット（Ｐ
Ｕ）の変位を示す動きベクトルを生成することで、インター予測モードを決定する。動き
推定部４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクト
ルを生成する処理である。動きベクトルは、例えば、現在のビデオ・フレームまたは画像
内の符号化されている現在のビデオブロックに対する参照フレーム（または他の符号化ユ
ニット）内の予測ブロックに対して、現在のビデオ・フレーム（または他の符号化ユニッ
ト）内のビデオブロックのＰＵの変位を示すことができる。シーケンスの予め定められた
パターンは、このシーケンスにおけるビデオ・フレームをＰフレームまたはＢフレームと
して指定できる。イントラＢＣ部４８は、動き推定部４２によるインター予測のための動
きベクトル決定と同様な方法により、イントラＢＣ符号化のためのベクトル、例えばブロ
ックベクトルを決定してもよいし、または動き推定部４２を利用してこのブロックベクト
ルを決定してもよい。
【0031】
予測ブロックは、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又はその他の差メ
トリックによって決定できる画素差に関して符号化対象のビデオブロックのＰＵと厳密に
マッチングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエン
コーダ２０が、ＤＰＢ６４に格納されている参照フレームのサブ整数画素位置の値を算出
することが可能である。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位
置、１／８の画素位置、または他の分数の画素位置の値を補間してよい。したがって、動
き推定装置４２は、すべての画素位置および分数画素位置に対して動き探索処理を実行し
て、分数画素精度を有する動きベクトルを出力ことが可能である。
トリックによって決定できる画素差に関して符号化対象のビデオブロックのＰＵと厳密に
マッチングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエン
コーダ２０が、ＤＰＢ６４に格納されている参照フレームのサブ整数画素位置の値を算出
することが可能である。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位
置、１／８の画素位置、または他の分数の画素位置の値を補間してよい。したがって、動
き推定装置４２は、すべての画素位置および分数画素位置に対して動き探索処理を実行し
て、分数画素精度を有する動きベクトルを出力ことが可能である。
【0032】
動き推定部４２は、インター予測符号化フレーム内のビデオブロックのＰＵの位置と、
それぞれＤＰＢ６４に格納されている１つまたは複数の参照フレームを識別する第１の参
照フレームリスト（Ｌｉｓｔ０）または第２の参照フレームリスト（Ｌｉｓｔ１）から選
択された参照フレームの予測ブロックの位置と比較することで、このＰＵのための動きベ
クトルを算出する。動き推定部４２は、算出された動きベクトルを動き補償部４４に送信
し、そして、エントロピー符号化部５６に送信する。
それぞれＤＰＢ６４に格納されている１つまたは複数の参照フレームを識別する第１の参
照フレームリスト（Ｌｉｓｔ０）または第２の参照フレームリスト（Ｌｉｓｔ１）から選
択された参照フレームの予測ブロックの位置と比較することで、このＰＵのための動きベ
クトルを算出する。動き推定部４２は、算出された動きベクトルを動き補償部４４に送信
し、そして、エントロピー符号化部５６に送信する。
【0033】
動き補償部４４によって実行される動き補償には、動き推定部４２によって決定された
動きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部
４４は、現在のビデオブロックのＰＵのための動きベクトルを受信すると、参照フレーム
リストの１つにおいてこの動きベクトルが指している予測ブロックを位置決めし、ＤＰＢ
６４からこの予測ブロックを探し、この予測ブロックを加算器５０に転送する。そして、
加算器５０は、符号化されている現在のビデオブロックの画素値から動き補償部４４によ
って提供された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロック
を形成する。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、
あるいはその両方を含み得る。また、動き補償部４４は、ビデオフレームのビデオブロッ
クに関する構文要素をさらに生成することが可能であり、これらの構文要素は、ビデオデ
コーダ３０によってビデオフレームのビデオブロックを復号化する際に使用される。構文
要素には、例えば、この予測ブロックを識別するための動きベクトルを定義する構文要素
、予測モードを示す任意のフラグ、または本明細書で説明される任意の他の構文情報を含
んでよい。なお、動き推定部４２および動き補償部４４は、概念的な目的のために個別に
示されているが、高度に集積されてもよい。
動きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部
４４は、現在のビデオブロックのＰＵのための動きベクトルを受信すると、参照フレーム
リストの１つにおいてこの動きベクトルが指している予測ブロックを位置決めし、ＤＰＢ
６４からこの予測ブロックを探し、この予測ブロックを加算器５０に転送する。そして、
加算器５０は、符号化されている現在のビデオブロックの画素値から動き補償部４４によ
って提供された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロック
を形成する。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、
あるいはその両方を含み得る。また、動き補償部４４は、ビデオフレームのビデオブロッ
クに関する構文要素をさらに生成することが可能であり、これらの構文要素は、ビデオデ
コーダ３０によってビデオフレームのビデオブロックを復号化する際に使用される。構文
要素には、例えば、この予測ブロックを識別するための動きベクトルを定義する構文要素
、予測モードを示す任意のフラグ、または本明細書で説明される任意の他の構文情報を含
んでよい。なお、動き推定部４２および動き補償部４４は、概念的な目的のために個別に
示されているが、高度に集積されてもよい。
【0034】
ある実施形態では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４に関
して上述した方法と同様の方法でベクトルを生成し、予測ブロックを取得することができ
るが、ここで、予測ブロックは符号化されている現在ブロックと同じフレームにあり、ベ
クトルは、動きベクトルではなくブロックベクトルと呼ばれる。特に、イントラＢＣ部４
８は、現在ブロックを符号化することに用いられるイントラ予測モードを決定することが
できる。ある例では、イントラＢＣ部４８は、例えば個別のパスの符号化において、各種
のイントラ予測モードを使用して現在ブロックを符号化し、レート歪み解析によりそれら
のパフォーマンスを試験することが可能である。次に、イントラＢＣ部４８は、種々の試
験されたイントラ予測モードから、一つの適切なイントラ予測を選択し使用して、対応す
るイントラモードインジケータを生成する。例えば、イントラＢＣ部４８は、レート歪み
解析により種々の試験されたイントラ予測モードのレート歪み値を算出し、試験されたモ
ードからレート歪み特性が最適なイントラ予測モードを適切なイントラ予測モードとして
選択し使用してもよい。レート歪み解析では、通常、符号化されているブロックとこの符
号化されたブロックを符号化されて生成した、符号化されない元のブロックとの間の歪み
（又は、エラー）の量、および、この符号化されるブロックを生成するために使用される
ビットレート（すなわち、ビットの数）を決定する。イントラＢＣ部４８は、種々の符号
化されるブロックについて歪み及びレートから比率を算出して、どのイントラ予測モード
がこのブロックに対して最適なレート歪み値を示しているかを決定してもよい。
して上述した方法と同様の方法でベクトルを生成し、予測ブロックを取得することができ
るが、ここで、予測ブロックは符号化されている現在ブロックと同じフレームにあり、ベ
クトルは、動きベクトルではなくブロックベクトルと呼ばれる。特に、イントラＢＣ部４
８は、現在ブロックを符号化することに用いられるイントラ予測モードを決定することが
できる。ある例では、イントラＢＣ部４８は、例えば個別のパスの符号化において、各種
のイントラ予測モードを使用して現在ブロックを符号化し、レート歪み解析によりそれら
のパフォーマンスを試験することが可能である。次に、イントラＢＣ部４８は、種々の試
験されたイントラ予測モードから、一つの適切なイントラ予測を選択し使用して、対応す
るイントラモードインジケータを生成する。例えば、イントラＢＣ部４８は、レート歪み
解析により種々の試験されたイントラ予測モードのレート歪み値を算出し、試験されたモ
ードからレート歪み特性が最適なイントラ予測モードを適切なイントラ予測モードとして
選択し使用してもよい。レート歪み解析では、通常、符号化されているブロックとこの符
号化されたブロックを符号化されて生成した、符号化されない元のブロックとの間の歪み
（又は、エラー）の量、および、この符号化されるブロックを生成するために使用される
ビットレート（すなわち、ビットの数）を決定する。イントラＢＣ部４８は、種々の符号
化されるブロックについて歪み及びレートから比率を算出して、どのイントラ予測モード
がこのブロックに対して最適なレート歪み値を示しているかを決定してもよい。
【0035】
別の例では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４の全体また
は一部を使用して、本明細書に記載の実施形態に従うイントラＢＣ予測に係る機能を実行
してもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロックが
、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）または他の差メトリックによって決
定できる画素差に関して、符号化対象のブロックと厳密にマッチングすると考えられるも
のであり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合がある
。
は一部を使用して、本明細書に記載の実施形態に従うイントラＢＣ予測に係る機能を実行
してもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロックが
、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）または他の差メトリックによって決
定できる画素差に関して、符号化対象のブロックと厳密にマッチングすると考えられるも
のであり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合がある
。
【0036】
ビデオエンコーダ２０は、予測ブロックがイントラ予測に基づいて同じフレームからの
ものであるか、インター予測に基づいて異なるフレームからのものであるかに関わらず、
符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて
画素差値を生成することで、残差ビデオブロックを生成することができる。残差ビデオブ
ロックを形成する画素差値には、輝度成分差及び彩度成分差の両方を含んでよい。
ものであるか、インター予測に基づいて異なるフレームからのものであるかに関わらず、
符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて
画素差値を生成することで、残差ビデオブロックを生成することができる。残差ビデオブ
ロックを形成する画素差値には、輝度成分差及び彩度成分差の両方を含んでよい。
【0037】
イントラ予測処理部４６は、上述した動き推定部４２および動き補償部４４によって実
行されるインター予測、またはイントラＢＣ部４８によって実行されるイントラ・ブロッ
ク・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができ
る。特に、イントラ予測処理部４６は、１つのイントラ予測モードを決定して現在ブロッ
クを符号化することができる。それを実現するために、イントラ予測処理部４６は、例え
ば、個別のパスの符号化処理において、種々のイントラ予測モードを使用して現在ブロッ
クを符号化し、イントラ予測処理部４６（またはある例では、モード選択部）は、試験さ
れたイントラ予測モードから１つの適切なイントラ予測モードを選択し使用してもよい。
イントラ予測処理部４６は、このブロックに関して選択されたイントラ予測モードを示す
情報をエントロピー符号化部５６に提供してもよい。エントロピー符号化部５６は、選択
されたイントラ予測モードを示す情報をビットストリームに符号化することができる。
行されるインター予測、またはイントラＢＣ部４８によって実行されるイントラ・ブロッ
ク・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができ
る。特に、イントラ予測処理部４６は、１つのイントラ予測モードを決定して現在ブロッ
クを符号化することができる。それを実現するために、イントラ予測処理部４６は、例え
ば、個別のパスの符号化処理において、種々のイントラ予測モードを使用して現在ブロッ
クを符号化し、イントラ予測処理部４６（またはある例では、モード選択部）は、試験さ
れたイントラ予測モードから１つの適切なイントラ予測モードを選択し使用してもよい。
イントラ予測処理部４６は、このブロックに関して選択されたイントラ予測モードを示す
情報をエントロピー符号化部５６に提供してもよい。エントロピー符号化部５６は、選択
されたイントラ予測モードを示す情報をビットストリームに符号化することができる。
【0038】
予測処理部４１がインター予測またはイントラ予測により現在のビデオブロックの予測
ブロックを決定した後、加算器５０は、現在のビデオブロックからこの予測ブロックを差
し引くことで残差ビデオブロックを生成する。残差ブロック内の残差ビデオデータは、１
つまたは複数の変換ユニット（ＴＵ）に含まれて変換処理部５２に提供される。変換処理
部５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などにより、残差ビ
デオデータを残差変換係数に変換する。
ブロックを決定した後、加算器５０は、現在のビデオブロックからこの予測ブロックを差
し引くことで残差ビデオブロックを生成する。残差ブロック内の残差ビデオデータは、１
つまたは複数の変換ユニット（ＴＵ）に含まれて変換処理部５２に提供される。変換処理
部５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などにより、残差ビ
デオデータを残差変換係数に変換する。
【0039】
変換処理部５２は、得られた変換係数を定量化部５４に送信する。定量化部５４は、こ
れらの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これ
らの係数の一部または全部に関連するビット深度を減らすことができる。 定量化の度合
いは、定量化パラメータを調整することによって変更されることができる。そして、ある
例では、定量化部５４は、定量化された変換係数を含む行列に対する走査を実行すること
ができる。この走査は、エントロピー符号化部５６によって実行されてもよい。
れらの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これ
らの係数の一部または全部に関連するビット深度を減らすことができる。 定量化の度合
いは、定量化パラメータを調整することによって変更されることができる。そして、ある
例では、定量化部５４は、定量化された変換係数を含む行列に対する走査を実行すること
ができる。この走査は、エントロピー符号化部５６によって実行されてもよい。
【0040】
定量化に続いて、エントロピー符号化部５６は、例えば、コンテキスト適応可変長符号
化復号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化復号化（ＣＡＢＡＣ）、
構文ベースのコンテキスト適応バイナリ算術符号化復号化（ＳＢＡＣ）、確率間隔区画エ
ントロピー（ＰＩＰＥ）符号化復号化や別のエントロピー符号化方法または技術により、
定量化された変換係数を、ビデオ・ビットストリームにエントロピー符号化する。そして
、符号化されたビットストリームは、ビデオデコーダ３０に送信されてもよいし、または
その後にビデオデコーダ３０へ送信するか、またはビデオデコーダ３０によって検索する
ためにストレージ装置３２にアーカイブされてもよい。また、エントロピー符号化部５６
は、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素を
エントロピー符号化してもよい。
化復号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化復号化（ＣＡＢＡＣ）、
構文ベースのコンテキスト適応バイナリ算術符号化復号化（ＳＢＡＣ）、確率間隔区画エ
ントロピー（ＰＩＰＥ）符号化復号化や別のエントロピー符号化方法または技術により、
定量化された変換係数を、ビデオ・ビットストリームにエントロピー符号化する。そして
、符号化されたビットストリームは、ビデオデコーダ３０に送信されてもよいし、または
その後にビデオデコーダ３０へ送信するか、またはビデオデコーダ３０によって検索する
ためにストレージ装置３２にアーカイブされてもよい。また、エントロピー符号化部５６
は、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素を
エントロピー符号化してもよい。
【0041】
逆定量化部５８および逆変換処理部６０は、それぞれ、逆定量化および逆変換により、
他のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差
ビデオブロックを再構成する。以上で述べたように、動き補償部４４は、ＤＰＢ６４に格
納されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成する
ことができる。また、動き補償部４４は、この予測ブロックに１つまたは複数の補間フィ
ルタを適用して、動き推定に使用されるサブ整数画素値を算出してもよい。
他のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差
ビデオブロックを再構成する。以上で述べたように、動き補償部４４は、ＤＰＢ６４に格
納されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成する
ことができる。また、動き補償部４４は、この予測ブロックに１つまたは複数の補間フィ
ルタを適用して、動き推定に使用されるサブ整数画素値を算出してもよい。
【0042】
加算器６２は、再構成された残差ブロックを動き補償部４４によって生成された動き補
償予測ブロックに加算して、ＤＰＢ６４に格納する参照ブロックを生成する。そして、こ
の参照ブロックは、予測ブロックとして、イントラＢＣ部４８、動き推定部４２および動
き補償部４４によって使用されて後続のビデオフレーム内の別のビデオブロックをインタ
ー予測することが可能である。
償予測ブロックに加算して、ＤＰＢ６４に格納する参照ブロックを生成する。そして、こ
の参照ブロックは、予測ブロックとして、イントラＢＣ部４８、動き推定部４２および動
き補償部４４によって使用されて後続のビデオフレーム内の別のビデオブロックをインタ
ー予測することが可能である。
【0043】
図３は、本願のある実施形態に係る例示的なビデオデコーダ３０を示すブロック図であ
る。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測
処理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える
。予測処理部８１は、動き補償部８２、イントラ予測処理部８４及びイントラＢＣ部８５
をさらに備える。ビデオデコーダ３０は、図２を参照してビデオエンコーダ２０に関して
上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば
、動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルに基づいて予
測データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイン
トラ予測モードインジケータに基づいて予測データを生成することができる。
る。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測
処理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える
。予測処理部８１は、動き補償部８２、イントラ予測処理部８４及びイントラＢＣ部８５
をさらに備える。ビデオデコーダ３０は、図２を参照してビデオエンコーダ２０に関して
上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば
、動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルに基づいて予
測データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイン
トラ予測モードインジケータに基づいて予測データを生成することができる。
【0044】
ある例では、ビデオデコーダ３０における一つの構成要素が本願の実施を実行する任務
を負ってもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０における１つ
または複数の構成要素に区画されてもよい。例えば、イントラＢＣ部８５は、本願の実施
を単独で実現してもよいし、または動き補償部８２、イントラ予測処理部８４およびエン
トロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実
現してもよい。ある例では、ビデオデコーダ３０がイントラＢＣ部８５を含まなく、イン
トラＢＣ部８５の機能が動き補償部８２のようなの予測処理部８１における他の構成要素
によって実現されてもよい。
を負ってもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０における１つ
または複数の構成要素に区画されてもよい。例えば、イントラＢＣ部８５は、本願の実施
を単独で実現してもよいし、または動き補償部８２、イントラ予測処理部８４およびエン
トロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実
現してもよい。ある例では、ビデオデコーダ３０がイントラＢＣ部８５を含まなく、イン
トラＢＣ部８５の機能が動き補償部８２のようなの予測処理部８１における他の構成要素
によって実現されてもよい。
【0045】
ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素によって復号化
される符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデ
オデータメモリ７９に格納されたビデオデータは、例えば、ビデオデータの有線または無
線ネットワーク通信や物理的なデータ記憶媒体（例えば、フラッシュドライブやハードデ
ィスク）へのアクセスにより、ストレージ装置３２やカメラなどのローカルビデオソース
から取得した。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの
符号化されたビデオデータを格納する符号化画像バッファ（ＣＰＢ）を含んでもよい。ビ
デオデコーダ３０における復号化画像バッファ（ＤＰＢ）９２は、ビデオデコーダ３０に
よる（例えば、イントラ予測またはインター予測符号化復号化モードでの）ビデオデータ
の復号化に使用される参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰ
Ｂ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗型ＲＡＭ（
ＲＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または他のタイプ
のメモリデバイスなどの種々のメモリデバイスのいずれかによって形成されることが可能
である。説明の便利上、ビデオデータメモリ７９およびＤＰＢ９２は、図３ではビデオデ
コーダ３０における２つの個別の構成要素として示されている。しかし、当業者にとって
は、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリデバイス又は個別のメモリデ
バイスによって提供されることは明らかである。ある例では、ビデオデータメモリ７９は
、ビデオデコーダ３０における他の構成要素とともにオンチップであってもよく、それら
の構成要素に対するオフチップであってもよい。
される符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデ
オデータメモリ７９に格納されたビデオデータは、例えば、ビデオデータの有線または無
線ネットワーク通信や物理的なデータ記憶媒体（例えば、フラッシュドライブやハードデ
ィスク）へのアクセスにより、ストレージ装置３２やカメラなどのローカルビデオソース
から取得した。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの
符号化されたビデオデータを格納する符号化画像バッファ（ＣＰＢ）を含んでもよい。ビ
デオデコーダ３０における復号化画像バッファ（ＤＰＢ）９２は、ビデオデコーダ３０に
よる（例えば、イントラ予測またはインター予測符号化復号化モードでの）ビデオデータ
の復号化に使用される参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰ
Ｂ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗型ＲＡＭ（
ＲＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または他のタイプ
のメモリデバイスなどの種々のメモリデバイスのいずれかによって形成されることが可能
である。説明の便利上、ビデオデータメモリ７９およびＤＰＢ９２は、図３ではビデオデ
コーダ３０における２つの個別の構成要素として示されている。しかし、当業者にとって
は、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリデバイス又は個別のメモリデ
バイスによって提供されることは明らかである。ある例では、ビデオデータメモリ７９は
、ビデオデコーダ３０における他の構成要素とともにオンチップであってもよく、それら
の構成要素に対するオフチップであってもよい。
【0046】
ビデオデコーダ３０は、復号化プロセスにおいて、符号化されたビデオフレームのビデ
オブロックおよび関連する構文要素を示す符号化されたビデオビットストリームを受信す
る。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベル
で構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号化部８０は、この
ビットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたはイ
ントラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピー
復号化部８０は、動きベクトルおよび他の構文要素を予測処理部８１に転送する。
オブロックおよび関連する構文要素を示す符号化されたビデオビットストリームを受信す
る。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベル
で構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号化部８０は、この
ビットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたはイ
ントラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピー
復号化部８０は、動きベクトルおよび他の構文要素を予測処理部８１に転送する。
【0047】
ビデオフレームがイントラ予測符号化（Ｉ）フレームに符号化され、または他のタイプ
のフレームにおけるイントラ符号化予測ブロックに用いられる場合、予測処理部８１にお
けるイントラ予測処理部８４は、信号で通知されたイントラ予測モード、および現在フレ
ームの以前復号化されたブロックからの参照データに基づいて、現在のビデオフレームの
ビデオブロックのための予測データを生成することが可能である。
のフレームにおけるイントラ符号化予測ブロックに用いられる場合、予測処理部８１にお
けるイントラ予測処理部８４は、信号で通知されたイントラ予測モード、および現在フレ
ームの以前復号化されたブロックからの参照データに基づいて、現在のビデオフレームの
ビデオブロックのための予測データを生成することが可能である。
【0048】
ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームに符号化され
た場合、予測処理部８１における動き補償部８２は、エントロピー復号化部８０から受信
した動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロッ
クのための１つまたは複数の予測ブロックを生成することが可能である。各予測ブロック
は、参照フレームリストのうちの１つ内の参照フレームから生成される。ビデオデコーダ
３０は、ＤＰＢ９２に格納された参照フレームに基いて、デフォルトの構成技術によりこ
れらの参照フレームリスト、Ｌｉｓｔ０およびＬｉｓｔ１を構成することが可能である。
た場合、予測処理部８１における動き補償部８２は、エントロピー復号化部８０から受信
した動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロッ
クのための１つまたは複数の予測ブロックを生成することが可能である。各予測ブロック
は、参照フレームリストのうちの１つ内の参照フレームから生成される。ビデオデコーダ
３０は、ＤＰＢ９２に格納された参照フレームに基いて、デフォルトの構成技術によりこ
れらの参照フレームリスト、Ｌｉｓｔ０およびＬｉｓｔ１を構成することが可能である。
【0049】
ある例では、ビデオブロックがここで述べたイントラＢＣモードに従って符号化された
場合には、予測処理部８１におけるイントラＢＣ部８５は、エントロピー復号化部８０か
ら受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのた
めの予測ブロックを生成する。この予測ブロックは、ビデオエンコーダ２０によって决定
された現在のビデオブロックと同一の画像の再構成領域にあり得る。
場合には、予測処理部８１におけるイントラＢＣ部８５は、エントロピー復号化部８０か
ら受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのた
めの予測ブロックを生成する。この予測ブロックは、ビデオエンコーダ２０によって决定
された現在のビデオブロックと同一の画像の再構成領域にあり得る。
【0050】
動き補償部８２および／またはイントラＢＣ部８５は、動きベクトルおよび他の構文要
素を解析することで現在のビデオフレームのビデオブロックのための予測情報を決定し、
そして、この予測情報を使用して復号化されている現在のビデオブロックのための予測ブ
ロックを生成する。例えば、動き補償部８２は、受信した構文要素の一部を使用して、こ
のビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ予
測またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、このフ
レームのための１つまたは複数の参照フレームリストの構造情報、このフレームの各イン
ター予測符号化ビデオブロックの動きベクトル、このフレームの各インター予測符号化ビ
デオブロックのインター予測状態、および現在のビデオフレームにおけるビデオブロック
を復号化するための他の情報を決定する。
素を解析することで現在のビデオフレームのビデオブロックのための予測情報を決定し、
そして、この予測情報を使用して復号化されている現在のビデオブロックのための予測ブ
ロックを生成する。例えば、動き補償部８２は、受信した構文要素の一部を使用して、こ
のビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ予
測またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、このフ
レームのための１つまたは複数の参照フレームリストの構造情報、このフレームの各イン
ター予測符号化ビデオブロックの動きベクトル、このフレームの各インター予測符号化ビ
デオブロックのインター予測状態、および現在のビデオフレームにおけるビデオブロック
を復号化するための他の情報を決定する。
【0051】
同様に、イントラＢＣ部８５は、受信した構文要素の一部、例えばフラグを使用して、
現在のビデオブロックがイントラＢＣモードで予測されること、このフレームにおけるど
のビデオブロックが再構成領域にあり且つＤＰＢ９２に格納されるべきかに関する構造情
報、このフレームにおける各イントラＢＣ予測ビデオブロックのブロックベクトル、この
フレームにおける各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在
のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定することが
できる。
現在のビデオブロックがイントラＢＣモードで予測されること、このフレームにおけるど
のビデオブロックが再構成領域にあり且つＤＰＢ９２に格納されるべきかに関する構造情
報、このフレームにおける各イントラＢＣ予測ビデオブロックのブロックベクトル、この
フレームにおける各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在
のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定することが
できる。
【0052】
また、動き補償部８２は、ビデオエンコーダ２０がビデオブロックの符号化において使
用した補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を
算出することもできる。この場合、動き補償部８２は、受信した構文要素からビデオエン
コーダ２０によって使用された補間フィルタを決定し、この補間フィルタを使用して予測
ブロックを生成してもよい。
用した補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を
算出することもできる。この場合、動き補償部８２は、受信した構文要素からビデオエン
コーダ２０によって使用された補間フィルタを決定し、この補間フィルタを使用して予測
ブロックを生成してもよい。
【0053】
逆定量化部８６は、ビデオエンコーダ２０によって定量化の度合いを決定するためにこ
のビデオフレーム内の各ビデオブロックに対して算出された定量化パラメータと同じもの
を使用して、ビットストリームに提供され且つエントロピー復号化部８０によってエント
ロピー復号化された定量化の変換係数を逆定量化する。逆変換処理部８８は、画素領域に
ある残差ブロックを再構成するように、逆変換、例えば逆ＤＣＴ、逆整数変換、または概
念的に類似の逆変換処理をこれらの変換係数に適用する。
のビデオフレーム内の各ビデオブロックに対して算出された定量化パラメータと同じもの
を使用して、ビットストリームに提供され且つエントロピー復号化部８０によってエント
ロピー復号化された定量化の変換係数を逆定量化する。逆変換処理部８８は、画素領域に
ある残差ブロックを再構成するように、逆変換、例えば逆ＤＣＴ、逆整数変換、または概
念的に類似の逆変換処理をこれらの変換係数に適用する。
【0054】
動き補償部８２またはイントラＢＣ部８５がベクトルおよび他の構文要素に基づいて現
在のビデオブロックのための予測ブロックを生成した後、加算器９０は、逆変換処理部８
８からの残差ブロックと動き補償部８２及びイントラＢＣ部８５によって生成された対応
する予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデ
オブロックを再構成する。加算器９０とＤＰＢ９２との間には、インループフィルタ（図
示せず）を配置して、この復号化されたビデオブロックをさらに処理することが可能であ
る。そして、所定のフレーム内のこれらの復号化されたビデオブロックは、次のビデオブ
ロックの将来の動き補償に使用される参照フレームを格納するＤＰＢ９２に格納される。
また、ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスには、図１の表示装置３４
などのような表示装置にその後表示されるように、復号化されたビデオも格納されること
が可能である。
在のビデオブロックのための予測ブロックを生成した後、加算器９０は、逆変換処理部８
８からの残差ブロックと動き補償部８２及びイントラＢＣ部８５によって生成された対応
する予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデ
オブロックを再構成する。加算器９０とＤＰＢ９２との間には、インループフィルタ（図
示せず）を配置して、この復号化されたビデオブロックをさらに処理することが可能であ
る。そして、所定のフレーム内のこれらの復号化されたビデオブロックは、次のビデオブ
ロックの将来の動き補償に使用される参照フレームを格納するＤＰＢ９２に格納される。
また、ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスには、図１の表示装置３４
などのような表示装置にその後表示されるように、復号化されたビデオも格納されること
が可能である。
【0055】
典型的なビデオ符号化復号化プロセスでは、１つのビデオシーケンスが、通常、順序付
けられたフレームまたは画像のセットを含む。各フレームには、ＳＬ、ＳＣｂおよびＳＣ
ｒで示す３つのサンプル行列を含むことが可能である。ＳＬは、輝度サンプルの２次元行
列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元行列である。ＳＣｒは、Ｃｒ彩度サンプ
ルの２次元行列である。別の例では、フレームがモノクロであることがあり、この場合、
輝度サンプルの１つの２次元行列のみが含まれる。
けられたフレームまたは画像のセットを含む。各フレームには、ＳＬ、ＳＣｂおよびＳＣ
ｒで示す３つのサンプル行列を含むことが可能である。ＳＬは、輝度サンプルの２次元行
列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元行列である。ＳＣｒは、Ｃｒ彩度サンプ
ルの２次元行列である。別の例では、フレームがモノクロであることがあり、この場合、
輝度サンプルの１つの２次元行列のみが含まれる。
【0056】
図４Ａに示すように、ビデオエンコーダ２０（または、より具体的には区画部４５）は
、まずフレームを１組の符号化木ユニットに区画することにより、このフレームの符号化
表現を生成する。ビデオフレームには、ラスター走査順で左から右、および上から下に連
続的に順序付けられた整数個のＣＴＵが含まれる。各ＣＴＵは、最大の論理的な符号化ユ
ニットであり、幅および高さが、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８
、６４×６４、３２×３２及び１６×１６のうちの１つである同じサイズを有するように
、ビデオエンコーダ２０によってシーケンスパラメータセットで通知される。なお、本願
は必ずしも特定のサイズに限定されない。図４Ｂに示すように、各ＣＴＵは、輝度サンプ
ルの１つの符号化木ブロック（ＣＴＢ）、彩度サンプルの２つの対応する符号化木ブロッ
ク、および符号化木ブロックのサンプルを符号化するために使用される構文要素を含み得
る。構文要素は、画素の符号化ブロックの異なるタイプのユニットの属性、及びどのよう
にビデオシーケンスがビデオデコーダ３０において再構成されるかを記述するものであっ
て、例えば、インター予測またはイントラ予測、イントラ予測モード、動きベクトルおよ
び他のパラメータを含む。モノクロ画像または３つの個別の色平面を有する画像では、１
つのＣＴＵが、単一の符号化木ブロックと、この符号化木ブロックのサンプルを符号化す
るために使用される構文要素とを含み得る。符号化木ブロックは、Ｎ×Ｎのサンプルブロ
ックであることが可能である。
、まずフレームを１組の符号化木ユニットに区画することにより、このフレームの符号化
表現を生成する。ビデオフレームには、ラスター走査順で左から右、および上から下に連
続的に順序付けられた整数個のＣＴＵが含まれる。各ＣＴＵは、最大の論理的な符号化ユ
ニットであり、幅および高さが、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８
、６４×６４、３２×３２及び１６×１６のうちの１つである同じサイズを有するように
、ビデオエンコーダ２０によってシーケンスパラメータセットで通知される。なお、本願
は必ずしも特定のサイズに限定されない。図４Ｂに示すように、各ＣＴＵは、輝度サンプ
ルの１つの符号化木ブロック（ＣＴＢ）、彩度サンプルの２つの対応する符号化木ブロッ
ク、および符号化木ブロックのサンプルを符号化するために使用される構文要素を含み得
る。構文要素は、画素の符号化ブロックの異なるタイプのユニットの属性、及びどのよう
にビデオシーケンスがビデオデコーダ３０において再構成されるかを記述するものであっ
て、例えば、インター予測またはイントラ予測、イントラ予測モード、動きベクトルおよ
び他のパラメータを含む。モノクロ画像または３つの個別の色平面を有する画像では、１
つのＣＴＵが、単一の符号化木ブロックと、この符号化木ブロックのサンプルを符号化す
るために使用される構文要素とを含み得る。符号化木ブロックは、Ｎ×Ｎのサンプルブロ
ックであることが可能である。
【0057】
より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号化
木ブロックに対して二分木区画、四分木区画、またはそれらの組み合わせなどの木区画を
再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することがで
きる。より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符
号化木ブロックに対して二分木区画、三分木区画、四分木区画、またはそれらの組み合わ
せなどの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に
区画することができる。図４Ｃに示すように、６４×６４のＣＴＵ４００は、まず、３２
×３２ブロックサイズの４つのより小さなＣＵに区画される。これらの４つのより小さい
ＣＵのうち、ＣＵ４１０及びＣＵ４２０は、それぞれ１６×１６ブロックサイズの４つの
ＣＵに区画される。１６×１６ブロックサイズの２つのＣＵ４３０および４４０は、それ
ぞれ８×８ブロックサイズの４つのＣＵにさらに区画される。図４Ｄは、図４Ｃに示され
たＣＴＵ４００の区画プロセスの最終的な結果を表す四分木データ構造を示し、四分木の
各リーフノードは、３２×３２から８×８までの各サイズの１つのＣＵに対応する。図４
Ｂに示されたＣＴＵのように、各ＣＵは、フレームの同じサイズの輝度サンプルの１つの
符号化ブロック（ＣＢ）と、彩度サンプルの２つの対応する符号化ブロックと、これらの
符号化ブロックのサンプルを符号化するために使用される構文要素とを含み得る。モノク
ロ画像または３つの個別の色平面を有する画像には、１つのＣＵが、単一の符号化ブロッ
クと、この符号化ブロックのサンプルを符号化するために使用される構文構造とを含み得
る。なお、図４Ｃおよび図４Ｄに示す四分木区画は、例示的にすぎず、１つのＣＴＵが四
分/三分/二分木区画に基づいて各種のローカル特性に適するＣＵに分割されることができ
る。マルチタイプ木構造では、１つのＣＴＵが四分木構造に従って分割され、各四分木リ
ーフＣＵが、二分木および三分木構造に従ってさらに分割されることができる。図４Ｅに
示すように、５種の区画タイプ、すなわち、四元区画、水平二元区画、垂直二元区画、水
平三元区画、および垂直三元区画がある。
木ブロックに対して二分木区画、四分木区画、またはそれらの組み合わせなどの木区画を
再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することがで
きる。より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符
号化木ブロックに対して二分木区画、三分木区画、四分木区画、またはそれらの組み合わ
せなどの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に
区画することができる。図４Ｃに示すように、６４×６４のＣＴＵ４００は、まず、３２
×３２ブロックサイズの４つのより小さなＣＵに区画される。これらの４つのより小さい
ＣＵのうち、ＣＵ４１０及びＣＵ４２０は、それぞれ１６×１６ブロックサイズの４つの
ＣＵに区画される。１６×１６ブロックサイズの２つのＣＵ４３０および４４０は、それ
ぞれ８×８ブロックサイズの４つのＣＵにさらに区画される。図４Ｄは、図４Ｃに示され
たＣＴＵ４００の区画プロセスの最終的な結果を表す四分木データ構造を示し、四分木の
各リーフノードは、３２×３２から８×８までの各サイズの１つのＣＵに対応する。図４
Ｂに示されたＣＴＵのように、各ＣＵは、フレームの同じサイズの輝度サンプルの１つの
符号化ブロック（ＣＢ）と、彩度サンプルの２つの対応する符号化ブロックと、これらの
符号化ブロックのサンプルを符号化するために使用される構文要素とを含み得る。モノク
ロ画像または３つの個別の色平面を有する画像には、１つのＣＵが、単一の符号化ブロッ
クと、この符号化ブロックのサンプルを符号化するために使用される構文構造とを含み得
る。なお、図４Ｃおよび図４Ｄに示す四分木区画は、例示的にすぎず、１つのＣＴＵが四
分/三分/二分木区画に基づいて各種のローカル特性に適するＣＵに分割されることができ
る。マルチタイプ木構造では、１つのＣＴＵが四分木構造に従って分割され、各四分木リ
ーフＣＵが、二分木および三分木構造に従ってさらに分割されることができる。図４Ｅに
示すように、５種の区画タイプ、すなわち、四元区画、水平二元区画、垂直二元区画、水
平三元区画、および垂直三元区画がある。
【0058】
ある実施形態では、ビデオエンコーダ２０が、さらにＣＵの符号化ブロックを１つまた
は複数のＭ×Ｎ予測ブロック（ＰＢ）に区画するこができる。予測ブロックは、同じ予測
（インター予測またはイントラ予測）が適用される長方形（正方形または非正方形）のサ
ンプルブロックである。ＣＵの予測ユニット（ＰＵ）は、１つの輝度サンプルの予測ブロ
ック、彩度サンプルの２つの対応する予測ブロック、およびこれらの予測ブロックを予測
するために使用される構文要素を含み得る。モノクロ画像または３つの個別の色平面を有
する画像では、ＰＵが単一の予測ブロックと、この予測ブロックを予測するために使用さ
れる構文構造とを含み得る。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度予測ブロック
、Ｃｂ予測ブロックおよびＣｒ予測ブロックに対する予測的な輝度ブロック、予測的なＣ
ｂブロックおよび予測的なＣｒブロックを生成することができる。
は複数のＭ×Ｎ予測ブロック（ＰＢ）に区画するこができる。予測ブロックは、同じ予測
（インター予測またはイントラ予測）が適用される長方形（正方形または非正方形）のサ
ンプルブロックである。ＣＵの予測ユニット（ＰＵ）は、１つの輝度サンプルの予測ブロ
ック、彩度サンプルの２つの対応する予測ブロック、およびこれらの予測ブロックを予測
するために使用される構文要素を含み得る。モノクロ画像または３つの個別の色平面を有
する画像では、ＰＵが単一の予測ブロックと、この予測ブロックを予測するために使用さ
れる構文構造とを含み得る。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度予測ブロック
、Ｃｂ予測ブロックおよびＣｒ予測ブロックに対する予測的な輝度ブロック、予測的なＣ
ｂブロックおよび予測的なＣｒブロックを生成することができる。
【0059】
ビデオエンコーダ２０は、イントラ予測またはインター予測により、ＰＵに対してこれ
らの予測ブロックを生成することができる。ビデオエンコーダ２０は、イントラ予測によ
りＰＵの予測ブロックを生成する場合、このＰＵに関連するフレームの復号化されたサン
プルに基づいて、このＰＵの予測的なブロックを生成することができる。ビデオエンコー
ダ２０は、インター予測によりＰＵの予測的なブロックを生成する場合、このＰＵに関連
するフレーム以外の１つまたは複数のフレームの復号化されたサンプルに基づいて、この
ＰＵの予測的なブロックを生成することができる。
らの予測ブロックを生成することができる。ビデオエンコーダ２０は、イントラ予測によ
りＰＵの予測ブロックを生成する場合、このＰＵに関連するフレームの復号化されたサン
プルに基づいて、このＰＵの予測的なブロックを生成することができる。ビデオエンコー
ダ２０は、インター予測によりＰＵの予測的なブロックを生成する場合、このＰＵに関連
するフレーム以外の１つまたは複数のフレームの復号化されたサンプルに基づいて、この
ＰＵの予測的なブロックを生成することができる。
【0060】
ビデオエンコーダ２０は、ＣＵの１つまたは複数のＰＵの予測的な輝度ブロック、予測
的なＣｂブロック、および予測的なＣｒブロックを生成した後、ＣＵの元の輝度符号化ブ
ロックからＣＵの予測的な輝度ブロックを差し引くことで、このＣＵの輝度残差ブロック
を生成し、ここで、このＣＵの輝度残差ブロックにおける各サンプルが、このＣＵの予測
的な輝度ブロックのうち１つの予測的な輝度ブロックにおける輝度サンプルとこのＣＵの
元の輝度符号化ブロックにおける対応するサンプルとの差を示す。同様に、ビデオエンコ
ーダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成し、ここで
、このＣＵのＣｂ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｂブロック
のうち１つの予測的なＣｂブロックにおけるＣｂサンプルとこのＣＵの元のＣｂ符号化ブ
ロックにおける対応するサンプルとの差を示し、このＣＵのＣｒ残差ブロックにおける各
サンプルが、このＣＵの予測的なＣｒブロックのうち１つの予測的なＣｒブロックにおけ
るＣｒサンプルとこのＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの差を
示す。
的なＣｂブロック、および予測的なＣｒブロックを生成した後、ＣＵの元の輝度符号化ブ
ロックからＣＵの予測的な輝度ブロックを差し引くことで、このＣＵの輝度残差ブロック
を生成し、ここで、このＣＵの輝度残差ブロックにおける各サンプルが、このＣＵの予測
的な輝度ブロックのうち１つの予測的な輝度ブロックにおける輝度サンプルとこのＣＵの
元の輝度符号化ブロックにおける対応するサンプルとの差を示す。同様に、ビデオエンコ
ーダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成し、ここで
、このＣＵのＣｂ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｂブロック
のうち１つの予測的なＣｂブロックにおけるＣｂサンプルとこのＣＵの元のＣｂ符号化ブ
ロックにおける対応するサンプルとの差を示し、このＣＵのＣｒ残差ブロックにおける各
サンプルが、このＣＵの予測的なＣｒブロックのうち１つの予測的なＣｒブロックにおけ
るＣｒサンプルとこのＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの差を
示す。
【0061】
さらに、図４Ｃに示すように、ビデオエンコーダ２０は、四分木区画により、ＣＵの輝
度残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを１つまたは複数の輝度変
換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに展開することができる。変換
ブロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルブロック
である。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、彩度サンプルの
２つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用される
構文要素を含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロッ
クおよびＣｒ変換ブロックに関連付けられることが可能である。ある例では、ＴＵに関連
付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであり得る。Ｃ
ｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロッ
クは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロ画像または３つの個
別の色平面を有する画像では、ＴＵが、単一の変換ブロックと、この変換ブロックのサン
プルを変換するために使用される構文構造とを含み得る。
度残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを１つまたは複数の輝度変
換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに展開することができる。変換
ブロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルブロック
である。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、彩度サンプルの
２つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用される
構文要素を含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロッ
クおよびＣｒ変換ブロックに関連付けられることが可能である。ある例では、ＴＵに関連
付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであり得る。Ｃ
ｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロッ
クは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロ画像または３つの個
別の色平面を有する画像では、ＴＵが、単一の変換ブロックと、この変換ブロックのサン
プルを変換するために使用される構文構造とを含み得る。
【0062】
ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して
、このＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２
次元行列であってもよい。変換係数はスカラー量であってもよい。ビデオエンコーダ２０
は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、このＴＵのＣｂ係数ブ
ロックを生成することができる。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵ
のＣｒ変換ブロックに適用して、このＴＵのＣｒ係数ブロックを生成することができる。
、このＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２
次元行列であってもよい。変換係数はスカラー量であってもよい。ビデオエンコーダ２０
は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、このＴＵのＣｂ係数ブ
ロックを生成することができる。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵ
のＣｒ変換ブロックに適用して、このＴＵのＣｒ係数ブロックを生成することができる。
【0063】
ビデオエンコーダ２０は、係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロッ
クまたはＣｒ係数ブロック）を生成した後、係数ブロックを定量化してもよい。定量化と
は、一般的に、変換係数を定量化してこれらの変換係数を示すデータの量をなるべく低減
し、更なる圧縮に達することを意味する。ビデオエンコーダ２０は、係数ブロックを定量
化した後、定量化された変換係数を示す構文要素をエントロピー符号化することが可能で
ある。例えば、ビデオエンコーダ２０は、定量化された変換係数を示す構文要素に対して
コンテキスト適応型バイナリ算術符号化復号化（ＣＡＢＡＣ）を実行してもよい。最終的
に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を構成する
ビットシーケンスを含むビットストリームを出力して、ストレージ装置３２に保存するか
、または目標装置１４に送信する。
クまたはＣｒ係数ブロック）を生成した後、係数ブロックを定量化してもよい。定量化と
は、一般的に、変換係数を定量化してこれらの変換係数を示すデータの量をなるべく低減
し、更なる圧縮に達することを意味する。ビデオエンコーダ２０は、係数ブロックを定量
化した後、定量化された変換係数を示す構文要素をエントロピー符号化することが可能で
ある。例えば、ビデオエンコーダ２０は、定量化された変換係数を示す構文要素に対して
コンテキスト適応型バイナリ算術符号化復号化（ＣＡＢＡＣ）を実行してもよい。最終的
に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を構成する
ビットシーケンスを含むビットストリームを出力して、ストレージ装置３２に保存するか
、または目標装置１４に送信する。
【0064】
ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリーム
を受信した後、このビットストリームを解析して、ビットストリームから構文要素を取得
する。ビデオデコーダ３０は、ビットストリームから取得された構文要素の少なくとも一
部に基づいて、ビデオデータのフレームを再構成することができる。ビデオデータを再構
成するプロセスは、一般的に、ビデオエンコーダ２０によって実行された符号化プロセス
と逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連する係数ブロックに
対して逆変換を実行して、現在ＣＵのＴＵに関連する残差ブロックを再構成することが可
能である。また、ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックのサンプ
ルと現在ＣＵのＴＵの変換ブロックの対応するサンプルとを加算することによって、現在
ＣＵの符号化ブロックを再構成する。フレームの各ＣＵの符号化ブロックが再構成された
後、ビデオデコーダ３０はこのフレームを再構成することが可能である。
を受信した後、このビットストリームを解析して、ビットストリームから構文要素を取得
する。ビデオデコーダ３０は、ビットストリームから取得された構文要素の少なくとも一
部に基づいて、ビデオデータのフレームを再構成することができる。ビデオデータを再構
成するプロセスは、一般的に、ビデオエンコーダ２０によって実行された符号化プロセス
と逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連する係数ブロックに
対して逆変換を実行して、現在ＣＵのＴＵに関連する残差ブロックを再構成することが可
能である。また、ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックのサンプ
ルと現在ＣＵのＴＵの変換ブロックの対応するサンプルとを加算することによって、現在
ＣＵの符号化ブロックを再構成する。フレームの各ＣＵの符号化ブロックが再構成された
後、ビデオデコーダ３０はこのフレームを再構成することが可能である。
【0065】
上述したように、ビデオ符号化復号化では、主に２つのモード、即ちイントラフレーム
予測（またはイントラ予測）及びインターフレーム予測（またはインター予測）を使用し
てビデオ圧縮を実現する。パレットベースの符号化は、多くのビデオ符号化復号化標準で
採用されているもう１つの符号化復号化スキームである。スクリーン生成コンテンツ符号
化に特に適しているパレットベースの符号化復号化では、ビデオコーダ（例えば、ビデオ
エンコーダ２０またはビデオデコーダ３０）が、所定のブロックのビデオデータを表す色
のパレットテーブルを生成する。パレットテーブルは、所定のブロック内の最も主要な（
例えば、頻繁に使用される）画素値を含む。所定のブロックのビデオデータで頻繁に表現
されない画素値は、パレットテーブルに含まれないか、エスケープ色として含まれる。
予測（またはイントラ予測）及びインターフレーム予測（またはインター予測）を使用し
てビデオ圧縮を実現する。パレットベースの符号化は、多くのビデオ符号化復号化標準で
採用されているもう１つの符号化復号化スキームである。スクリーン生成コンテンツ符号
化に特に適しているパレットベースの符号化復号化では、ビデオコーダ（例えば、ビデオ
エンコーダ２０またはビデオデコーダ３０）が、所定のブロックのビデオデータを表す色
のパレットテーブルを生成する。パレットテーブルは、所定のブロック内の最も主要な（
例えば、頻繁に使用される）画素値を含む。所定のブロックのビデオデータで頻繁に表現
されない画素値は、パレットテーブルに含まれないか、エスケープ色として含まれる。
【0066】
パレットテーブル内の各エントリは、パレットテーブル内の対応する画素値のインデッ
クスを含む。ブロック内のサンプルのパレットインデックスを符号化して、パレットテー
ブル内のどのエントリがどのサンプルを予測または再構成するために使用されるかを表し
てもよい。このパレットモードは、画像、スライス、タイル、または他のビデオブロック
のこのようなグループの最初のブロックのためのパレット予測子を生成するプロセスから
開始する。後述するように、後続のビデオブロックのためのパレット予測子は、通常、以
前に使用されたパレット予測子を更新することによって生成される。説明のために、仮定
パレット予測子は画像レベルで定義されている。言い換えれば、画像は、それぞれが自分
のパレットテーブルを有する複数の符号化ブロックを含むことが可能であるが、画像全体
に対して１つのパレット予測子がある。
クスを含む。ブロック内のサンプルのパレットインデックスを符号化して、パレットテー
ブル内のどのエントリがどのサンプルを予測または再構成するために使用されるかを表し
てもよい。このパレットモードは、画像、スライス、タイル、または他のビデオブロック
のこのようなグループの最初のブロックのためのパレット予測子を生成するプロセスから
開始する。後述するように、後続のビデオブロックのためのパレット予測子は、通常、以
前に使用されたパレット予測子を更新することによって生成される。説明のために、仮定
パレット予測子は画像レベルで定義されている。言い換えれば、画像は、それぞれが自分
のパレットテーブルを有する複数の符号化ブロックを含むことが可能であるが、画像全体
に対して１つのパレット予測子がある。
【0067】
ビデオビットストリーム中のパレットエントリを信号で通知するために必要なビットを
低減するために、ビデオデコーダは、パレット予測子を利用して、ビデオブロックを再構
成するためのパレットテーブル中の新しいパレットエントリを決定することができる。例
えば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを
含むか、または最近使用されたパレットテーブルのすべてのエントリを含むことでこの最
近使用されたパレットテーブルで初期化されてもよい。ある実施形態では、パレット予測
子は、最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを
含めて、以前に使用された他のパレットテーブルからのエントリの一部を組み込んでもよ
い。パレット予測子は、異なるブロックを符号化復号化するためのパレットテーブルと同
じサイズであってもよいし、異なるブロックを符号化復号化するためのパレットテーブル
よりも大きいか小さいかのサイズであってもよい。一例では、パレット予測子は、６４個
のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実現される。
低減するために、ビデオデコーダは、パレット予測子を利用して、ビデオブロックを再構
成するためのパレットテーブル中の新しいパレットエントリを決定することができる。例
えば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを
含むか、または最近使用されたパレットテーブルのすべてのエントリを含むことでこの最
近使用されたパレットテーブルで初期化されてもよい。ある実施形態では、パレット予測
子は、最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを
含めて、以前に使用された他のパレットテーブルからのエントリの一部を組み込んでもよ
い。パレット予測子は、異なるブロックを符号化復号化するためのパレットテーブルと同
じサイズであってもよいし、異なるブロックを符号化復号化するためのパレットテーブル
よりも大きいか小さいかのサイズであってもよい。一例では、パレット予測子は、６４個
のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実現される。
【0068】
ビデオデコーダは、パレット予測子からビデオデータのブロックのためのパレットテー
ブルを生成するために、符号化されたビデオビットストリームからこのパレット予測子の
各エントリのための１ビットフラグを受け取ることができる。この１ビットフラグは、こ
のパレット予測子の関連エントリがこのパレットテーブルに含まれるべきであることを示
す第１の値（例えば、バイナリの１）、または、このパレット予測子の関連エントリがこ
のパレットテーブルに含まれないことを示す第２の値（例えば、バイナリのゼロ）を有し
てもよい。ビデオデコーダは、パレット予測子のサイズがビデオデータのブロックのため
のパレットテーブルよりも大きい場合、パレットテーブルの最大サイズに達すると、それ
以上のフラグの受信を停止してもよい。
ブルを生成するために、符号化されたビデオビットストリームからこのパレット予測子の
各エントリのための１ビットフラグを受け取ることができる。この１ビットフラグは、こ
のパレット予測子の関連エントリがこのパレットテーブルに含まれるべきであることを示
す第１の値（例えば、バイナリの１）、または、このパレット予測子の関連エントリがこ
のパレットテーブルに含まれないことを示す第２の値（例えば、バイナリのゼロ）を有し
てもよい。ビデオデコーダは、パレット予測子のサイズがビデオデータのブロックのため
のパレットテーブルよりも大きい場合、パレットテーブルの最大サイズに達すると、それ
以上のフラグの受信を停止してもよい。
【0069】
ある実施形態では、パレットテーブル内のエントリの一部は、パレット予測子を使用し
て決定されたことに代えて、符号化されたビデオビットストリーム内で直接に信号で通知
されてもよい。ビデオデコーダは、このようなエントリに対して、符号化されたビデオビ
ットストリームから、このエントリに関連付けられた輝度及び２つの彩度の成分のための
画素値を示す３つの個別のｍビット値を受信してもよく、ここで、ｍはビデオデータのビ
ット深度を表す。信号で直接に通知されるパレットエントリが必要とする複数のｍビット
値と比べて、パレット予測子から導き出されたパレットエントリは、１ビットフラグしか
必要としない。したがって、パレット予測子を使用してパレットエントリの一部または全
部を信号で通知することは、新しいパレットテーブルのエントリを信号で通知するのに必
要なビット数を大幅に削減し、パレットモード符号化復号化の全体的な符号化復号化効率
を向上させることができる。
て決定されたことに代えて、符号化されたビデオビットストリーム内で直接に信号で通知
されてもよい。ビデオデコーダは、このようなエントリに対して、符号化されたビデオビ
ットストリームから、このエントリに関連付けられた輝度及び２つの彩度の成分のための
画素値を示す３つの個別のｍビット値を受信してもよく、ここで、ｍはビデオデータのビ
ット深度を表す。信号で直接に通知されるパレットエントリが必要とする複数のｍビット
値と比べて、パレット予測子から導き出されたパレットエントリは、１ビットフラグしか
必要としない。したがって、パレット予測子を使用してパレットエントリの一部または全
部を信号で通知することは、新しいパレットテーブルのエントリを信号で通知するのに必
要なビット数を大幅に削減し、パレットモード符号化復号化の全体的な符号化復号化効率
を向上させることができる。
【0070】
多くの場合、１つのブロックのためのパレット予測子は、１つ又は複数の以前に符号化
されたブロックを符号化するためのパレットテーブルに基づいて決定される。しかし、画
像、スライス、またはタイル内の最初の符号化木ユニットが符号化復号化される場合、以
前に符号化復号化されたブロックのパレットテーブルは利用不能であることがある。した
がって、以前に使用されたパレットテーブルのエントリを使用してパレット予測子を生成
することはできない。この場合、以前に使用されたパレットテーブルが利用不能であると
、パレット予測子を生成するための値であるパレット予測子初期化値のシーケンスは、シ
ーケンスパラメータセット（ＳＰＳ：sequence parameter set）および/または画像パラ
メータセット（ＰＰＳ：picture parameter set）内で信号で通知されてもよい。ＳＰＳ
は、一般的には、符号化ビデオシーケンス（ＣＶＳ：coded video sequence）と呼ばれる
一連の連続した符号化ビデオ画像に適用されるの構文要素の構文構造を指し、各スライス
セグメントヘッダ内に見出された構文要素によって参照されるＰＰＳ内に見出された構文
要素の内容によって決定される。ＰＰＳは、一般に、ＣＶＳ内の１つ又は複数の個々の画
像に適用される構文要素の構文構造を指し、各フラグメントタイトル内に見出された構文
要素によって決定される。したがって、ＳＰＳは一般的にＰＰＳよりも高いレベルの構文
構造であると考えられ、ＳＰＳに含まれる構文要素は一般的にＰＰＳに含まれる構文要素
と比較して、変化が頻繁に発生することでなく、ビデオデータのより大きな部分に適用さ
れることを意味する。
されたブロックを符号化するためのパレットテーブルに基づいて決定される。しかし、画
像、スライス、またはタイル内の最初の符号化木ユニットが符号化復号化される場合、以
前に符号化復号化されたブロックのパレットテーブルは利用不能であることがある。した
がって、以前に使用されたパレットテーブルのエントリを使用してパレット予測子を生成
することはできない。この場合、以前に使用されたパレットテーブルが利用不能であると
、パレット予測子を生成するための値であるパレット予測子初期化値のシーケンスは、シ
ーケンスパラメータセット（ＳＰＳ：sequence parameter set）および/または画像パラ
メータセット（ＰＰＳ：picture parameter set）内で信号で通知されてもよい。ＳＰＳ
は、一般的には、符号化ビデオシーケンス（ＣＶＳ：coded video sequence）と呼ばれる
一連の連続した符号化ビデオ画像に適用されるの構文要素の構文構造を指し、各スライス
セグメントヘッダ内に見出された構文要素によって参照されるＰＰＳ内に見出された構文
要素の内容によって決定される。ＰＰＳは、一般に、ＣＶＳ内の１つ又は複数の個々の画
像に適用される構文要素の構文構造を指し、各フラグメントタイトル内に見出された構文
要素によって決定される。したがって、ＳＰＳは一般的にＰＰＳよりも高いレベルの構文
構造であると考えられ、ＳＰＳに含まれる構文要素は一般的にＰＰＳに含まれる構文要素
と比較して、変化が頻繁に発生することでなく、ビデオデータのより大きな部分に適用さ
れることを意味する。
【0071】
図５Ａ～５Ｂは、本開示のある実施形態に係る、ビデオデータを符号化復号化するため
にパレットモードを用いる例を示すブロック図である。
にパレットモードを用いる例を示すブロック図である。
【0072】
パレット（ＰＦＴ）モードの信号による通知の場合、パレットモードは、符号化ユニッ
トのための予測モードとして符号化され、すなわち、符号化ユニットのための予測モード
は、MODE_INTRA、MODE_INTER、MODE_IBC、およびMODE_PLTであることが可能である。パレ
ットモードを使用する場合、ＣＵ内の画素値は、代表的な色の小さいセットで表される。
このセットはパレットと呼ばれる。パレット色に近い値を持つ画素については、パレット
インデックスが信号で送信される。パレット外の値を持つ画素については、エスケープシ
ンボルで表現され、定量化された画素値が直接に信号で通知される。以下の表１と表２に
は、現在のＶＶＣドラフト仕様におけるパレットモードの構文及び関連する意味をそれぞ
れ示している。
トのための予測モードとして符号化され、すなわち、符号化ユニットのための予測モード
は、MODE_INTRA、MODE_INTER、MODE_IBC、およびMODE_PLTであることが可能である。パレ
ットモードを使用する場合、ＣＵ内の画素値は、代表的な色の小さいセットで表される。
このセットはパレットと呼ばれる。パレット色に近い値を持つ画素については、パレット
インデックスが信号で送信される。パレット外の値を持つ画素については、エスケープシ
ンボルで表現され、定量化された画素値が直接に信号で通知される。以下の表１と表２に
は、現在のＶＶＣドラフト仕様におけるパレットモードの構文及び関連する意味をそれぞ
れ示している。
【0073】
デコーダは、パレットモードで符号化されたブロックを復号化するために、ビットスト
リームからパレット色およびインデックスを復号化する必要がある。パレット色は、パレ
ットテーブルによって定義され、パレットテーブル符号化構文(たとえば、palette_predi
ctor_run、num_signaled_palette_entrients、new_palette_entrients)によって符号化さ
れる。エスケープフラグpalette_escape_val_present_flagは、各ＣＵについて現在のＣ
Ｕにエスケープシンボルが存在するかどうかを示すように送信される。エスケープシンボ
ルが存在する場合、パレットテーブルにエントリが追加され、最後のインデックスがエス
ケープモードに割り当てられる。ＣＵ内のすべての画素のパレットインデックスは、パレ
ットインデックスマップを形成し、パレットインデックスマップ符号化構文（例えば、nu
m_palette_indices_minus1、palette_idx_idc、copy_above_indices_for_final_run_flag
、palette_transpose_flag、copy_above_palette_indices_flag、palette_run_prefix、p
alette_run_suffix）により符号化される。パレットモードで符号化されたＣＵの例が図
５Ａに示されており、ここで、パレットサイズは４である。ＣＵ内の最初の３つのサンプ
ルは、それぞれパレットエントリ２、０及び３を使用して再構成される。このＣＵにおけ
るサンプル「Ｘ」は、エスケープシンボルを表す。ＣＵレベルのフラグpalette_escape_v
al_present_flagは、このＣＵにいすれかのエスケープシンボルが存在するかどうかを示
す。エスケープシンボルが存在する場合、パレットサイズは１つ増加し、最後のインデッ
クスはこのエスケープシンボルを示すために使用される。したがって、図５Ａでは、イン
デックス４がこのエスケープシンボルに割り当てられる。
リームからパレット色およびインデックスを復号化する必要がある。パレット色は、パレ
ットテーブルによって定義され、パレットテーブル符号化構文(たとえば、palette_predi
ctor_run、num_signaled_palette_entrients、new_palette_entrients)によって符号化さ
れる。エスケープフラグpalette_escape_val_present_flagは、各ＣＵについて現在のＣ
Ｕにエスケープシンボルが存在するかどうかを示すように送信される。エスケープシンボ
ルが存在する場合、パレットテーブルにエントリが追加され、最後のインデックスがエス
ケープモードに割り当てられる。ＣＵ内のすべての画素のパレットインデックスは、パレ
ットインデックスマップを形成し、パレットインデックスマップ符号化構文（例えば、nu
m_palette_indices_minus1、palette_idx_idc、copy_above_indices_for_final_run_flag
、palette_transpose_flag、copy_above_palette_indices_flag、palette_run_prefix、p
alette_run_suffix）により符号化される。パレットモードで符号化されたＣＵの例が図
５Ａに示されており、ここで、パレットサイズは４である。ＣＵ内の最初の３つのサンプ
ルは、それぞれパレットエントリ２、０及び３を使用して再構成される。このＣＵにおけ
るサンプル「Ｘ」は、エスケープシンボルを表す。ＣＵレベルのフラグpalette_escape_v
al_present_flagは、このＣＵにいすれかのエスケープシンボルが存在するかどうかを示
す。エスケープシンボルが存在する場合、パレットサイズは１つ増加し、最後のインデッ
クスはこのエスケープシンボルを示すために使用される。したがって、図５Ａでは、イン
デックス４がこのエスケープシンボルに割り当てられる。
【0074】
【0075】
ある実施形態では、エンコーダ側では、ＣＵと共に使用されるための適切なパレットを
導出する必要がある。非可逆な符号化のためのパレットの導出には、改良されたＫ-平均
クラスタリングアルゴリズムが使用される。ブロックの最初のサンプルは、パレットに追
加される。そして、このブロックからの各後続サンプルについて、該当サンプルと各現在
のパレット色との間の絶対差分の和（ＳＡＤ：sum of absolute difference）が算出され
る。各成分の歪みが最小のＳＡＤに対応するパレットエントリに対する閾値よりも小さい
場合、このパレットエントリに属するクラスタに該当サンプルを追加する。それ以外の場
合、該当サンプルは新しいパレットエントリとして追加される。クラスタにマッピングさ
れたサンプルの数が閾値を超えると、このクラスタの重心が更新されて、該当クラスタの
パレットエントリとなる。
導出する必要がある。非可逆な符号化のためのパレットの導出には、改良されたＫ-平均
クラスタリングアルゴリズムが使用される。ブロックの最初のサンプルは、パレットに追
加される。そして、このブロックからの各後続サンプルについて、該当サンプルと各現在
のパレット色との間の絶対差分の和（ＳＡＤ：sum of absolute difference）が算出され
る。各成分の歪みが最小のＳＡＤに対応するパレットエントリに対する閾値よりも小さい
場合、このパレットエントリに属するクラスタに該当サンプルを追加する。それ以外の場
合、該当サンプルは新しいパレットエントリとして追加される。クラスタにマッピングさ
れたサンプルの数が閾値を超えると、このクラスタの重心が更新されて、該当クラスタの
パレットエントリとなる。
【0076】
次のステップでは、使用についてクラスタを降順にソートする。そして、各エントリに
対応するパレットエントリを更新する。一般に、クラスタ重心はパレットエントリとして
使用される。しかし、パレットエントリを符号化するコストを考慮すると、レート歪み分
析は、パレット予測子からのエントリのいずれかが、重心よりも更新されたパレットエン
トリとして使用されるのに適しているかどうかを分析するように実行される。このプロセ
スは、すべてのクラスタが処理されたか、最大パレットサイズに達するまで継続して行わ
れる。最後に、クラスタにサンプルが１つしかなく、対応するパレットエントリがパレッ
ト予測子にない場合、このサンプルはエスケープシンボルに変換される。さらに、重複す
るパレットエントリは削除され、それらのクラスタはマージされる。
対応するパレットエントリを更新する。一般に、クラスタ重心はパレットエントリとして
使用される。しかし、パレットエントリを符号化するコストを考慮すると、レート歪み分
析は、パレット予測子からのエントリのいずれかが、重心よりも更新されたパレットエン
トリとして使用されるのに適しているかどうかを分析するように実行される。このプロセ
スは、すべてのクラスタが処理されたか、最大パレットサイズに達するまで継続して行わ
れる。最後に、クラスタにサンプルが１つしかなく、対応するパレットエントリがパレッ
ト予測子にない場合、このサンプルはエスケープシンボルに変換される。さらに、重複す
るパレットエントリは削除され、それらのクラスタはマージされる。
【0077】
パレットの導出された後、ブロック内の各サンプルには、（ＳＡＤ内の）最も近いパレ
ットエントリのインデックスが割り当てられる。そして、このサンプルは「INDEX」また
は「COPY_ABOVE」モードに割り当てられる。「INDEX」または「COPY_ABOVE」モードが可
能である各サンプルについて、各モードの動作を決定する。そして、このモードを符号化
するコストを算出する。コストが低いモードが選択される。
ットエントリのインデックスが割り当てられる。そして、このサンプルは「INDEX」また
は「COPY_ABOVE」モードに割り当てられる。「INDEX」または「COPY_ABOVE」モードが可
能である各サンプルについて、各モードの動作を決定する。そして、このモードを符号化
するコストを算出する。コストが低いモードが選択される。
【0078】
パレットテーブルを符号化するために、パレット予測子が維持される。パレットの最大
サイズおよびパレット予測子の最大サイズは、いずれもＳＰＳ（またはＰＰＳ、スライス
ヘッダなどの他の符号化レベル）で信号として通知されてもよい。パレット予測子は、パ
レット予測子が０にリセットされた各スライスの先頭で初期化される。パレット予測子に
おける各エントリについて、このエントリが現在のパレットの一部であるか否かを示す再
利用フラグは、信号で通知される。図５Ｂに示すように、再利用フラグpalette_predicto
r_runが送信される。そして、num_signaled_palette_entrients構文によって、０次の指
数Golombコードを使用して、新しいパレットエントリの数を信号で通知する。最後に、新
しいパレットエントリnew_palette_entrients[]の成分値は、信号で通知される。現在の
ＣＵを符号化した後、パレット予測子は現在のパレットを使用して更新され、現在のパレ
ットで再利用されていない以前のパレット予測子からのエントリは、許容される最大サイ
ズに達するまで、新しいパレット予測子の最後に追加される。
サイズおよびパレット予測子の最大サイズは、いずれもＳＰＳ（またはＰＰＳ、スライス
ヘッダなどの他の符号化レベル）で信号として通知されてもよい。パレット予測子は、パ
レット予測子が０にリセットされた各スライスの先頭で初期化される。パレット予測子に
おける各エントリについて、このエントリが現在のパレットの一部であるか否かを示す再
利用フラグは、信号で通知される。図５Ｂに示すように、再利用フラグpalette_predicto
r_runが送信される。そして、num_signaled_palette_entrients構文によって、０次の指
数Golombコードを使用して、新しいパレットエントリの数を信号で通知する。最後に、新
しいパレットエントリnew_palette_entrients[]の成分値は、信号で通知される。現在の
ＣＵを符号化した後、パレット予測子は現在のパレットを使用して更新され、現在のパレ
ットで再利用されていない以前のパレット予測子からのエントリは、許容される最大サイ
ズに達するまで、新しいパレット予測子の最後に追加される。
【0079】
パレットインデックスマッピングを符号化するために、図５Ｃに示すように、インデッ
クスは水平トラバース走査または垂直トラバース走査により符号化される。走査の順序は
、ビットストリーム内にpalette_transpose_flagで明示的に信号で通知される。
クスは水平トラバース走査または垂直トラバース走査により符号化される。走査の順序は
、ビットストリーム内にpalette_transpose_flagで明示的に信号で通知される。
【0080】
パレットインデックスは、「INDEX」及び「COPY_ABOVE」の２つの主要なパレットサン
プルモードで符号化される。「INDEX」モードでは、パレットインデックスが明示的に信
号で通知される。「COPY_ABOVE」モードでは、上方の行におけるサンプルのパレットイン
デックスがコピーされる。「INDEX」モード及び「COPY_ABOVE」モードの両方では、同じ
モードで符号化される画素数を示すラン値が信号で通知される。水平走査の場合には、最
初の行以外の行に対し、一方、垂直走査の場合又は以前のモードが「COPY_ABOVE」である
場合には、１列目以外の列目に対して、このモードがフラグにより信号で通知される。
プルモードで符号化される。「INDEX」モードでは、パレットインデックスが明示的に信
号で通知される。「COPY_ABOVE」モードでは、上方の行におけるサンプルのパレットイン
デックスがコピーされる。「INDEX」モード及び「COPY_ABOVE」モードの両方では、同じ
モードで符号化される画素数を示すラン値が信号で通知される。水平走査の場合には、最
初の行以外の行に対し、一方、垂直走査の場合又は以前のモードが「COPY_ABOVE」である
場合には、１列目以外の列目に対して、このモードがフラグにより信号で通知される。
【0081】
ある実施形態では、インデックスマップの符号化順序は、まず、構文num_palette_indi
ces_minus1によりＣＵのインデックス値の数を信号で通知し、続いて構文palette_idx_id
cによりＣＵ全体の実際のインデックス値を信号で通知する。インデックス数及びインデ
ックス値の両方がバイパスモードで符号化される。これは、インデックスに関連するバイ
パス符号化ビンをグループ化する。次に、構文copy_above_palette_indices_flag、palet
te_run_prefix、およびpalette_run_suffixにより、パレットモード(INDEXまたはCOPY_AB
OVE)及びランをインターリーブで通知する。copy_above_palette_indices_flagはコンテ
キスト符号化フラグ（１つのビンのみ）であり、palette_run_prefixの符号語は以下の表
３に示す手順で決定され、ここで、最初の５つのビンはコンテキスト符号化される。pale
tte_run_suffixはバイパスビンとして符号化される。最後に、ＣＵ全体のエスケープサン
プルに対応する成分エスケープ値がグループ化され、バイパスモードで符号化される。他
の１つの構文要素copy_above_indices_for_final_run_flagは、インデックス値の信号に
よる通知の後に信号で通知される。この構文要素をインデックス数と組み合わせて使用す
ると、ブロック内における最後のランに対応するラン値の信号による通知の必要がなくな
る。
ces_minus1によりＣＵのインデックス値の数を信号で通知し、続いて構文palette_idx_id
cによりＣＵ全体の実際のインデックス値を信号で通知する。インデックス数及びインデ
ックス値の両方がバイパスモードで符号化される。これは、インデックスに関連するバイ
パス符号化ビンをグループ化する。次に、構文copy_above_palette_indices_flag、palet
te_run_prefix、およびpalette_run_suffixにより、パレットモード(INDEXまたはCOPY_AB
OVE)及びランをインターリーブで通知する。copy_above_palette_indices_flagはコンテ
キスト符号化フラグ（１つのビンのみ）であり、palette_run_prefixの符号語は以下の表
３に示す手順で決定され、ここで、最初の５つのビンはコンテキスト符号化される。pale
tte_run_suffixはバイパスビンとして符号化される。最後に、ＣＵ全体のエスケープサン
プルに対応する成分エスケープ値がグループ化され、バイパスモードで符号化される。他
の１つの構文要素copy_above_indices_for_final_run_flagは、インデックス値の信号に
よる通知の後に信号で通知される。この構文要素をインデックス数と組み合わせて使用す
ると、ブロック内における最後のランに対応するラン値の信号による通知の必要がなくな
る。
【0082】
ＶＶＣ（ＶＴＭ）では、Iスライスに対して輝度及び彩度成分のための符号化単位区画
を個別化する二分木を可能にする。その結果、輝度（Ｙ成分）と彩度（Ｃｂ、Ｃｒ成分）
にパレットが個別的に適用される。二分木が無効になっている場合には、パレットがＹ、
Ｃｂ、Ｃｒ成分に合わせて適用される。
を個別化する二分木を可能にする。その結果、輝度（Ｙ成分）と彩度（Ｃｂ、Ｃｒ成分）
にパレットが個別的に適用される。二分木が無効になっている場合には、パレットがＹ、
Ｃｂ、Ｃｒ成分に合わせて適用される。
【表1-1】
【表1-2】
【表1-3】
【表1-4】
【表2-1】
【表2-2】
【表2-3】
【表2-4】
【表3-1】
【表3-2】
【0083】
変換係数符号化に用いる係数群（ＣＧ：coefficient group）として、１つのＣＵは、
それぞれがｍ個のサンプルからなる複数のラインベースの係数群に分割され、各ＣＧ毎に
エスケープモード用のインデックスラン、パレットインデックス値及び定量化色は順次符
号化・解析される。その結果、構文要素、例えばＣＧのインデックスラン、パレットイン
デックス値、エスケープ定量化色を解析した後に、行ベースのＣＧにおける画素は、再構
成されることができ、再構成の前にＣＵ全体の構文要素を解析（および格納）しなければ
ならないＶＴＭ６．０におけるパレットモードでのバッファ必要を大幅に削減することが
できる。
それぞれがｍ個のサンプルからなる複数のラインベースの係数群に分割され、各ＣＧ毎に
エスケープモード用のインデックスラン、パレットインデックス値及び定量化色は順次符
号化・解析される。その結果、構文要素、例えばＣＧのインデックスラン、パレットイン
デックス値、エスケープ定量化色を解析した後に、行ベースのＣＧにおける画素は、再構
成されることができ、再構成の前にＣＵ全体の構文要素を解析（および格納）しなければ
ならないＶＴＭ６．０におけるパレットモードでのバッファ必要を大幅に削減することが
できる。
【0084】
本願では、図５Ｄに示すように、トラバース走査モードに基づいて、パレットモードの
各ＣＵをｍ個のサンプル毎（本試験ではｍ＝８）に複数のセグメントに分割する。
各ＣＵをｍ個のサンプル毎（本試験ではｍ＝８）に複数のセグメントに分割する。
【0085】
各セグメントにおけるパレットラン符号化の符号化順序は以下の通りである。各画素に
ついて、コンテキスト符号化されたビンrun_copy_flag=0は、その画素が前の画素と同じ
モードであること、すなわち、前の走査された画素と現在の画素が両方ともランタイプCO
PY_ABOVEであること、または前の走査された画素と現在の画素が両方ともランタイプINDE
Xであって、同じインデックス値であることを示すように信号で通知される。そうでない
場合は、run_copy_flag=1が信号で通知される。
ついて、コンテキスト符号化されたビンrun_copy_flag=0は、その画素が前の画素と同じ
モードであること、すなわち、前の走査された画素と現在の画素が両方ともランタイプCO
PY_ABOVEであること、または前の走査された画素と現在の画素が両方ともランタイプINDE
Xであって、同じインデックス値であることを示すように信号で通知される。そうでない
場合は、run_copy_flag=1が信号で通知される。
【0086】
現在の画素と前の画素が異なるモードである場合、コンテキスト符号化されたビンcopy
_above_palette_indices_flagは、その画素がランタイプ、すなわちINDEXまたはCOPY_ABO
VEであることを示すように信号で通知される。この場合、サンプルが最初の行(水平トラ
バース走査)または最初の列(垂直トラバース走査)にあると、デフォルトではINDEXモード
が使用されるので、デコーダがランタイプを解析する必要はない。以前に解析されたラン
タイプがCOPY_ABOVEである場合も、デコーダがランタイプを解析する必要はない。
_above_palette_indices_flagは、その画素がランタイプ、すなわちINDEXまたはCOPY_ABO
VEであることを示すように信号で通知される。この場合、サンプルが最初の行(水平トラ
バース走査)または最初の列(垂直トラバース走査)にあると、デフォルトではINDEXモード
が使用されるので、デコーダがランタイプを解析する必要はない。以前に解析されたラン
タイプがCOPY_ABOVEである場合も、デコーダがランタイプを解析する必要はない。
【0087】
一つのセグメント内の画素をパレットラン符号化した後、インデックス値（INDEXモー
ド用）および定量化されたエスケープ色をコンテキスト符号化ビンの符号化/解析から分
けってバイパスビンとして符号化しグループ化し、各行ベースのＣＧ内のスループットを
向上させる。インデックス値がラン符号化の後に符号化/解析されるので、エンコーダー
がインデックス値の数num_palette_indices_minus1及び最後のランタイプcopy_above_ind
ices_for_final_run_flagを信号で通知する必要はない。表４には、ＣＧパレットモード
の構文要素を示す。
ド用）および定量化されたエスケープ色をコンテキスト符号化ビンの符号化/解析から分
けってバイパスビンとして符号化しグループ化し、各行ベースのＣＧ内のスループットを
向上させる。インデックス値がラン符号化の後に符号化/解析されるので、エンコーダー
がインデックス値の数num_palette_indices_minus1及び最後のランタイプcopy_above_ind
ices_for_final_run_flagを信号で通知する必要はない。表４には、ＣＧパレットモード
の構文要素を示す。
【表4-1】
【表4-2】
【表4-3】
【表4-4】
【0088】
【0089】
ＶＶＣにおけるパレットモードでは、６４×６４画素以下のＣＵにパレットモードを適
用することができる。ある実施形態では、最小パレットモードブロックサイズは、最小パ
レットモードブロックサイズ以下のサイズの符号化ユニットについてパレットモードを無
効にするように、使用されて複雑さを低減させる。例えば、一定のしきい値より小さいサ
イズのすべてのブロック、例えば１６つのサンプルについては、パレット・モードを無効
にする。異なる彩度フォーマット（例えば、４：４：４、４：２：２、４：２：０）およ
び異なる符号化木タイプ（例えば、SINGLE_TREE、DUAL_TREE_LUMAおよびDUAL_TREE_CHROM
A）があるため、このしきい値は異なることがある。「SINGLE_TREE」は、画像の輝度成分
及び彩度成分が同様に区画されてパレットモードで同じパレットテーブル及びパレット予
測子を共有することを意味する。逆に、「DUAL_TREE」は、画像の輝度成分及び彩度成分
が個別に区画されてパレットモードで異なるパレットテーブル及びパレット予測子を有す
ることを意味する。例えば、「DUAL_TREE」タイプの場合、つまり彩度成分が個別に考慮
されている場合、１６つのサンプル以下のＣＵの彩度成分については、複雑さを低減する
ようにパレットモードを無効にする必要がある。以下の表５には、設計された構文の例を
示す。
用することができる。ある実施形態では、最小パレットモードブロックサイズは、最小パ
レットモードブロックサイズ以下のサイズの符号化ユニットについてパレットモードを無
効にするように、使用されて複雑さを低減させる。例えば、一定のしきい値より小さいサ
イズのすべてのブロック、例えば１６つのサンプルについては、パレット・モードを無効
にする。異なる彩度フォーマット（例えば、４：４：４、４：２：２、４：２：０）およ
び異なる符号化木タイプ（例えば、SINGLE_TREE、DUAL_TREE_LUMAおよびDUAL_TREE_CHROM
A）があるため、このしきい値は異なることがある。「SINGLE_TREE」は、画像の輝度成分
及び彩度成分が同様に区画されてパレットモードで同じパレットテーブル及びパレット予
測子を共有することを意味する。逆に、「DUAL_TREE」は、画像の輝度成分及び彩度成分
が個別に区画されてパレットモードで異なるパレットテーブル及びパレット予測子を有す
ることを意味する。例えば、「DUAL_TREE」タイプの場合、つまり彩度成分が個別に考慮
されている場合、１６つのサンプル以下のＣＵの彩度成分については、複雑さを低減する
ようにパレットモードを無効にする必要がある。以下の表５には、設計された構文の例を
示す。
【表5】
【0090】
表５には、pred_mode_plt_flagが、符号化ユニットについてパレットモードを有効（例
えば値１）にするか無効（例えば値０）にするかを指定する。SubWidthCおよびSubHeight
Cのようなパラメータは、以下のようにこの符号化ユニットの彩度フォーマットに関連付
けられている：
モノクロサンプリングでは、名目上で輝度配列と考えられている一つのサンプル配列しか
ない。４：２：０サンプリングでは、各２彩度配列がそれぞれ、輝度配列の半分の高さ及
び半分の幅を有する。４：２：２サンプリングでは、各２彩度配列がそれぞれ、輝度配列
と同じ高さ及び半分の幅を有する。４：４：４サンプリングでは、各２彩度配列がそれぞ
れ、輝度配列と同じ高さ及び幅を有する。
えば値１）にするか無効（例えば値０）にするかを指定する。SubWidthCおよびSubHeight
Cのようなパラメータは、以下のようにこの符号化ユニットの彩度フォーマットに関連付
けられている：
モノクロサンプリングでは、名目上で輝度配列と考えられている一つのサンプル配列しか
ない。４：２：０サンプリングでは、各２彩度配列がそれぞれ、輝度配列の半分の高さ及
び半分の幅を有する。４：２：２サンプリングでは、各２彩度配列がそれぞれ、輝度配列
と同じ高さ及び半分の幅を有する。４：４：４サンプリングでは、各２彩度配列がそれぞ
れ、輝度配列と同じ高さ及び幅を有する。
【0091】
別の実施形態では、単一木の場合、小さなサイズの輝度ブロックを有するＣＵに対して
、パレットモードを無効にする。一例では、単一木の場合、１６画素以下の輝度ブロック
を有するＣＵに対してパレットモードを無効にする。ある特定の例では、パレットの有効
化が彩度のサイズに関係なく輝度サンプルのサイズを条件とするので、８×４輝度サンプ
ル及び２つの４×２彩度サンプルを含む８×４ＣＵに対してパレットモードを有効にして
もよい。
、パレットモードを無効にする。一例では、単一木の場合、１６画素以下の輝度ブロック
を有するＣＵに対してパレットモードを無効にする。ある特定の例では、パレットの有効
化が彩度のサイズに関係なく輝度サンプルのサイズを条件とするので、８×４輝度サンプ
ル及び２つの４×２彩度サンプルを含む８×４ＣＵに対してパレットモードを有効にして
もよい。
【0092】
ある実施形態では、単一木の場合、ＣＵの輝度成分（例えば、Ｙ）及び彩度成分（例え
ば、Ｃｂ及びＣｒ）が同様に区画される。二分木の場合、輝度成分及び彩度成分は異なる
区画木を有する。ローカル二分木の場合、輝度及び彩度成分は、単一木の場合と異なるパ
レットテーブルを有する。ローカル二分木の場合、ＣＵ内の輝度成分及び彩度成分を個別
にパレット符号化復号化する。
ば、Ｃｂ及びＣｒ）が同様に区画される。二分木の場合、輝度成分及び彩度成分は異なる
区画木を有する。ローカル二分木の場合、輝度及び彩度成分は、単一木の場合と異なるパ
レットテーブルを有する。ローカル二分木の場合、ＣＵ内の輝度成分及び彩度成分を個別
にパレット符号化復号化する。
【0093】
別の実施形態では、ローカル二分木の場合、小さいサイズのブロックに対し、パレット
モードを無効にする。一例では、ローカル二分木の場合、３２画素以下のＣＵに対してパ
レットモードを無効にする。
モードを無効にする。一例では、ローカル二分木の場合、３２画素以下のＣＵに対してパ
レットモードを無効にする。
【0094】
ある実施形態では、パレットモードが、ローカルな二分木の場合を除外して適用される
。ＶＶＣでは、単一木の場合、６４×６４画素以下４×４画素より大きい輝度ブロックを
有するＣＵにパレットモードを適用する。二分木の場合、６４×６４画素以下４×４画素
より大きいＣＵについて、パレットモードを輝度成分及び彩度成分の両方に適用してもよ
い。別の実施形態では、複雑さを低減するために、ローカル二分木の場合には、パレット
モードを無効にする。次の表６には、ＶＶＣ設計における構文の一つの例を示す。ＣＵの
modeTypeがＶＶＣにおけるMODE_TYPE_INTRAに等しい場合、このＣＵがローカル二分木状
態にあることを意味する。ＶＶＣへの変更は以下のとおりである。
。ＶＶＣでは、単一木の場合、６４×６４画素以下４×４画素より大きい輝度ブロックを
有するＣＵにパレットモードを適用する。二分木の場合、６４×６４画素以下４×４画素
より大きいＣＵについて、パレットモードを輝度成分及び彩度成分の両方に適用してもよ
い。別の実施形態では、複雑さを低減するために、ローカル二分木の場合には、パレット
モードを無効にする。次の表６には、ＶＶＣ設計における構文の一つの例を示す。ＣＵの
modeTypeがＶＶＣにおけるMODE_TYPE_INTRAに等しい場合、このＣＵがローカル二分木状
態にあることを意味する。ＶＶＣへの変更は以下のとおりである。
【表6】
【0095】
別の実施形態では、ローカル二分木の場合、彩度成分のみに対してパレットモードを無
効にする。言い換えれば、ローカル二分木の場合、パレットモードは、輝度ＣＵに適用す
ることが可能であるが、彩度ＣＵに適用されることができない。以下の表７には、ＶＶＣ
設計における構文の一つの例を示す。ＶＶＣ設計において、ＣＵのmodeTypeがMODE_TYPE_
INTRAに等しく、ＣＵのtreeTypeがDUAL_TREE_CHROMAに等しいことは、このＣＵが彩度成
分であってローカル二分木にあることを意味する。ＶＶＣへの変更は、表７に示される。
効にする。言い換えれば、ローカル二分木の場合、パレットモードは、輝度ＣＵに適用す
ることが可能であるが、彩度ＣＵに適用されることができない。以下の表７には、ＶＶＣ
設計における構文の一つの例を示す。ＶＶＣ設計において、ＣＵのmodeTypeがMODE_TYPE_
INTRAに等しく、ＣＵのtreeTypeがDUAL_TREE_CHROMAに等しいことは、このＣＵが彩度成
分であってローカル二分木にあることを意味する。ＶＶＣへの変更は、表７に示される。
【表7】
【0096】
ある実施形態では、ローカル二分木の場合、カラーパレット予測は、輝度成分および彩
度成分の両方について更新される。現在のＶＶＣ標準によれば、ローカル二分木の場合、
パレット予測の更新処理は彩度成分のみに対して実行される。より具体的には、各輝度Ｃ
Ｕをパレットモードでローカル二分木に符号化復号化している場合、パレット予測は更新
されないことがある。パレット予測は、ローカル二分木における各パレットモード彩度Ｃ
Ｕの最後の彩度成分が符号化復号化された後に更新されてもよい。
度成分の両方について更新される。現在のＶＶＣ標準によれば、ローカル二分木の場合、
パレット予測の更新処理は彩度成分のみに対して実行される。より具体的には、各輝度Ｃ
Ｕをパレットモードでローカル二分木に符号化復号化している場合、パレット予測は更新
されないことがある。パレット予測は、ローカル二分木における各パレットモード彩度Ｃ
Ｕの最後の彩度成分が符号化復号化された後に更新されてもよい。
【0097】
上述したようにＶＶＣで定義されているパレット予測の更新処理は、符号化性能が十分
ではない。本出願で開示されるある実施形態では、符号化復号化効率を向上させるために
、ローカル二分木の場合に、輝度および彩度ＣＵの両方に対してパレット予測の更新処理
を実行する。より具体的には、ローカル二分木で各輝度ＣＵを符号化復号化している時に
、最初にパレット予測を更新し、その後、同じローカル二分木で各彩度ＣＵを符号化する
ことが可能である。以下の表８には、ＶＶＣ設計における構文の一つの例を示す。ＶＶＣ
設計では、変数cIdxが現在のＣＵの色/ビデオ成分を指定し、０が輝度、１がＣｂ成分、
２がＣｒ成分を表す。ＶＶＣへの変更は以下のとおりである。
ではない。本出願で開示されるある実施形態では、符号化復号化効率を向上させるために
、ローカル二分木の場合に、輝度および彩度ＣＵの両方に対してパレット予測の更新処理
を実行する。より具体的には、ローカル二分木で各輝度ＣＵを符号化復号化している時に
、最初にパレット予測を更新し、その後、同じローカル二分木で各彩度ＣＵを符号化する
ことが可能である。以下の表８には、ＶＶＣ設計における構文の一つの例を示す。ＶＶＣ
設計では、変数cIdxが現在のＣＵの色/ビデオ成分を指定し、０が輝度、１がＣｂ成分、
２がＣｒ成分を表す。ＶＶＣへの変更は以下のとおりである。
【表8】
【0098】
ある実施形態では、パレット予測が、ローカル二分木の場合に部分的に更新される。上
述したように、ローカル二分木の場合には、パレット予測の更新処理が、輝度および彩度
ＣＵの両方について実行される。より具体的には、パレット予測が、最初に、ローカル二
分木で各輝度ＣＵを符号化復号化する間に更新され、その後、同じローカル二分木で各彩
度ＣＵを符号化復号化してもよい。
述したように、ローカル二分木の場合には、パレット予測の更新処理が、輝度および彩度
ＣＵの両方について実行される。より具体的には、パレット予測が、最初に、ローカル二
分木で各輝度ＣＵを符号化復号化する間に更新され、その後、同じローカル二分木で各彩
度ＣＵを符号化復号化してもよい。
【0099】
仮にローカル二分木におけるＣＵがすべて小さなサイズＣＵであるとし、これらのＣＵ
に対してパレット予測の更新プロセスを逐次的に実行するには、大量の計算サイクルが必
要である。ある実施形態によれば、複雑さを低減するために、ローカル二分木の場合には
、テーブル更新なしに、共有パレットテーブルが一部またはすべてのＣＵに適用される。
に対してパレット予測の更新プロセスを逐次的に実行するには、大量の計算サイクルが必
要である。ある実施形態によれば、複雑さを低減するために、ローカル二分木の場合には
、テーブル更新なしに、共有パレットテーブルが一部またはすべてのＣＵに適用される。
【0100】
一例では、ローカル二分木の場合、パレット予測の更新処理がパレット・モードで無効
になる。以下の表９には、表８における４５０から４５６までのコード行が削除されたＶ
ＶＣ設計の構文の一つの例を示している。ＶＶＣ設計では、変数cIdxが現在のＣＵの色成
分を指定し、０が輝度、１はＣｂ成分、２はＣｒ成分を表す。ＶＶＣの変化を以下に示す
。
になる。以下の表９には、表８における４５０から４５６までのコード行が削除されたＶ
ＶＣ設計の構文の一つの例を示している。ＶＶＣ設計では、変数cIdxが現在のＣＵの色成
分を指定し、０が輝度、１はＣｂ成分、２はＣｒ成分を表す。ＶＶＣの変化を以下に示す
。
【表9】
【0101】
ある実施形態では、ローカル二分木の場合、輝度ブロックサイズが３２画素以下である
ＣＵについて、パレットモードでのパレット予測の更新プロセスを無効にする。この場合
、パレットモードでのパレット予測の更新プロセスは、少なくとも８×８の輝度サンプル
を含む８×８以上のＣＵに対して有効にされてもよい。
ＣＵについて、パレットモードでのパレット予測の更新プロセスを無効にする。この場合
、パレットモードでのパレット予測の更新プロセスは、少なくとも８×８の輝度サンプル
を含む８×８以上のＣＵに対して有効にされてもよい。
【0102】
さらに別の実施形態では、ローカル二分木の場合、彩度ＣＵについてのみパレット予測
の更新処理を無効にする。以下の表１０には、ＶＶＣ設計における構文の一例を示す。Ｖ
ＶＣ設計では、変数cIdxが現在のＣＵの色成分を指定し、０が輝度、１がＣｂ成分、２が
Ｃｒ成分を表す。ＶＶＣの変化を以下に示す。
の更新処理を無効にする。以下の表１０には、ＶＶＣ設計における構文の一例を示す。Ｖ
ＶＣ設計では、変数cIdxが現在のＣＵの色成分を指定し、０が輝度、１がＣｂ成分、２が
Ｃｒ成分を表す。ＶＶＣの変化を以下に示す。
【表10】
【0103】
ある実施形態では、ローカル二分木の場合、異なるビデオ成分についてパレットモード
でのパレット予測の更新プロセスを個別に更新する。
でのパレット予測の更新プロセスを個別に更新する。
【0104】
上述したように、ローカル二分木の場合、パレット予測の更新処理を順次実行する。こ
れは、また、ローカル二分木でのパレット・モードにおける彩度ＣＵの復号化は、同じロ
ーカル二分木でのすべての輝度ＣＵが復号されたまで開始することができないことを意味
する。これは、ハードウェアコーデック実行に望ましくない遅延が生じる可能性がある。
れは、また、ローカル二分木でのパレット・モードにおける彩度ＣＵの復号化は、同じロ
ーカル二分木でのすべての輝度ＣＵが復号されたまで開始することができないことを意味
する。これは、ハードウェアコーデック実行に望ましくない遅延が生じる可能性がある。
【0105】
上記の問題を解決するために、ある実施形態によれば、パレット予測更新プロセスは、
ローカル二分木内の異なるビデオ成分（例えば、輝度および彩度）に対して個別に実行さ
れ、彩度成分のパレットモード符号化復号化が輝度成分と並行して行われることができる
。本実施形態の一例では、ローカル二分木では、このローカル二分木の先頭にあるパレッ
トを輝度ＣＵと彩度ＣＵの両方の開始パレットとして使用する。
ローカル二分木内の異なるビデオ成分（例えば、輝度および彩度）に対して個別に実行さ
れ、彩度成分のパレットモード符号化復号化が輝度成分と並行して行われることができる
。本実施形態の一例では、ローカル二分木では、このローカル二分木の先頭にあるパレッ
トを輝度ＣＵと彩度ＣＵの両方の開始パレットとして使用する。
【0106】
ある実施形態では、ローカル二分木の場合におけるパレット予測の更新プロセスが改善
される。ローカル二分木の場合、輝度成分と彩度成分についてパレット予測の更新プロセ
スを個別に実行される。より具体的には、パレット予測は、最初に、ローカル二分木で各
輝度ＣＵを符号化復号化する間に更新され、その後、同じローカル二分木で各彩度ＣＵを
符号化復号化してもよい。その結果、ローカル二分木で輝度ＣＵを符号化復号化しながら
パレット予測を更新する際に、コロケーテッド画素の彩度情報を利用できない場合があり
、その逆も同様である。
される。ローカル二分木の場合、輝度成分と彩度成分についてパレット予測の更新プロセ
スを個別に実行される。より具体的には、パレット予測は、最初に、ローカル二分木で各
輝度ＣＵを符号化復号化する間に更新され、その後、同じローカル二分木で各彩度ＣＵを
符号化復号化してもよい。その結果、ローカル二分木で輝度ＣＵを符号化復号化しながら
パレット予測を更新する際に、コロケーテッド画素の彩度情報を利用できない場合があり
、その逆も同様である。
【0107】
ある実施形態では、符号化復号化効率を改善するために、ローカル二分木で１つのビデ
オ成分（例えば、輝度および/または彩度）のＣＵを符号化復号化しながらパレット予測
を更新する際に、パレット内で以前に利用可能な候補の他のビデオ成分（例えば、彩度お
よび/または彩度）値を使用してもよい。ローカル二分木の場合の一例では、輝度成分の
パレット予測の更新プロセス中に、第１の利用可能な候補の彩度成分を新たに追加された
パレットエントリの彩度成分として利用することができる。以下の表１１には、ＶＶＣ設
計における構文の一例を示す。ＶＶＣの変化を以下に示す。
オ成分（例えば、輝度および/または彩度）のＣＵを符号化復号化しながらパレット予測
を更新する際に、パレット内で以前に利用可能な候補の他のビデオ成分（例えば、彩度お
よび/または彩度）値を使用してもよい。ローカル二分木の場合の一例では、輝度成分の
パレット予測の更新プロセス中に、第１の利用可能な候補の彩度成分を新たに追加された
パレットエントリの彩度成分として利用することができる。以下の表１１には、ＶＶＣ設
計における構文の一例を示す。ＶＶＣの変化を以下に示す。
【表11】
【0108】
ある実施形態では、図６に示すように、ビデオデコーダ３０は、ビットストリームから
符号化ユニットに関連してこの符号化ユニットの符号化木のタイプ及びローカル二分木モ
ードがこの符号化ユニットに対して有効かどうかを示す複数の構文要素を受信する（６１
０）。
符号化ユニットに関連してこの符号化ユニットの符号化木のタイプ及びローカル二分木モ
ードがこの符号化ユニットに対して有効かどうかを示す複数の構文要素を受信する（６１
０）。
【0109】
ビデオデコーダ３０は、この符号化ユニットの符号化木タイプが単一木であり且つロー
カル二分木モードがこの符号化ユニットに対して有効であると判定したことに応じて（６
２０）、この符号化ユニットが予め定められた閾値以下のサイズを有する場合に、この符
号化ユニットに対してパレットモードを無効にする（６３０）。
カル二分木モードがこの符号化ユニットに対して有効であると判定したことに応じて（６
２０）、この符号化ユニットが予め定められた閾値以下のサイズを有する場合に、この符
号化ユニットに対してパレットモードを無効にする（６３０）。
【0110】
ある実施形態では、この符号化ユニットに対してパレットモードを無効にする（６３０）
ことは、この符号化ユニットの輝度成分および彩度成分の両方に対してパレットモードを
無効にすることを含む（６４０）。
ことは、この符号化ユニットの輝度成分および彩度成分の両方に対してパレットモードを
無効にすることを含む（６４０）。
【0111】
ある実施形態では、符号化ユニットに対してパレットモードを無効にすること（６３０
）は、この符号化ユニットの彩度成分のみに対してパレットモードを無効にすること（６
５０）を含む。
）は、この符号化ユニットの彩度成分のみに対してパレットモードを無効にすること（６
５０）を含む。
【0112】
ある実施形態では、符号化ユニットの彩度成分のみに対してパレットモードを無効にす
ることは、複数の構文要素からこの符号化ユニットのビデオ成分が彩度成分であるか、輝
度成分であるかをさらに決定することと、この符号化ユニットのビデオ成分が彩度成分で
あると決定したことに応じて、この符号化ユニットの彩度成分に対してパレットモードを
無効にすることを含む。
ることは、複数の構文要素からこの符号化ユニットのビデオ成分が彩度成分であるか、輝
度成分であるかをさらに決定することと、この符号化ユニットのビデオ成分が彩度成分で
あると決定したことに応じて、この符号化ユニットの彩度成分に対してパレットモードを
無効にすることを含む。
【0113】
ある実施形態では、符号化ユニットの彩度成分のみに対してパレットモードを無効にす
ることは、複数の構文要素からこの符号化ユニットのビデオ成分が彩度成分であるか、輝
度成分であるかをさらに決定することと、この符号化ユニットのビデオ成分が輝度成分で
あると決定したことに応じて、上述のビットストリームからこの符号化ユニットの輝度成
分に関連付けられたパレットモードイネーブルフラグを受信し、このパレットモードイネ
ーブルフラグに従ってこの符号化ユニットを復号化する。
ることは、複数の構文要素からこの符号化ユニットのビデオ成分が彩度成分であるか、輝
度成分であるかをさらに決定することと、この符号化ユニットのビデオ成分が輝度成分で
あると決定したことに応じて、上述のビットストリームからこの符号化ユニットの輝度成
分に関連付けられたパレットモードイネーブルフラグを受信し、このパレットモードイネ
ーブルフラグに従ってこの符号化ユニットを復号化する。
【0114】
ある実施形態では、ビデオデコーダ３０が、上述のビットストリームからパレット予測
イネーブル構文を受信し、このパレット予測イネーブル構文に従って、この符号化ユニッ
トの輝度成分のパレット予測を更新する。
イネーブル構文を受信し、このパレット予測イネーブル構文に従って、この符号化ユニッ
トの輝度成分のパレット予測を更新する。
【0115】
ある実施形態では、ビデオデコーダ３０が、この符号化ユニットの輝度成分のパレット
予測の更新を禁止する。
予測の更新を禁止する。
【0116】
ある実施形態では、ビデオデコーダ３０が、最小パレットモード輝度ブロックサイズを
決定し、上述の符号化ユニットの輝度成分のサイズが最小パレットモード輝度ブロックサ
イズ以下であると判定したことに応じて、この符号化ユニットの輝度成分のパレット予測
の更新を禁止する。
決定し、上述の符号化ユニットの輝度成分のサイズが最小パレットモード輝度ブロックサ
イズ以下であると判定したことに応じて、この符号化ユニットの輝度成分のパレット予測
の更新を禁止する。
【0117】
ある実施形態では、最小パレットモード輝度ブロックサイズが、３２×３２輝度サンプ
ルである。
ルである。
【0118】
ある実施形態では、最小パレットモード輝度ブロックサイズが、８×８輝度サンプルで
ある。
ある。
【0119】
ある実施形態では、上述の複数の構文要素に含まれ、ローカル二分木モードがこの符号
化ユニットに対して有効であるかどうかを示す構文要素が、MODE_TYPE_INTRAである。
化ユニットに対して有効であるかどうかを示す構文要素が、MODE_TYPE_INTRAである。
【0120】
ある実施形態では、複数の構文要素に含まれ、符号化ユニットのビデオ成分が彩度成分
であるか輝度成分であるかを示する構文要素が、DUAL_TREE_CHROMAである。
であるか輝度成分であるかを示する構文要素が、DUAL_TREE_CHROMAである。
【0121】
ある実施形態では、ステップ６３０における予め定められた閾値が、３２×３２サンプ
ルである。
ルである。
【0122】
ある実施形態では、ステップ６３０における予め定められた閾値が、１６×１６サンプ
ルである。
ルである。
【0123】
図７は、本開示のある実施形態に係る、例示的なコンテキスト適応型バイナリ算術符号
化復号化（ＣＡＢＡＶ）エンジンの例を示すブロック図である。
化復号化（ＣＡＢＡＶ）エンジンの例を示すブロック図である。
【0124】
コンテキスト適応型バイナリ算術符号化復号化（ＣＡＢＡＣ）は、Ｈ.２６４／ＭＰＥ
Ｇ-４ ＡＶＣ、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶ
Ｃ）及びＶＶＣなどの多くのビデオ符号化復号化標準で使用されているエントロピー符号
化形式である。ＣＡＢＡＣは、算術符号化復号化に基づくものであって、ビデオ符号化復
号化標準のニーズに対応するために少しの革新及び更新が行われた。例えば、ＣＡＢＡＣ
は、複雑さを低く保ち、任意のシンボルにおけるよりも頻繁に使用されるビットの確率モ
デル化を可能にするようにバイナリシンボルを符号化する。符号化復号化モードが一般的
にローカルに良好に相関するため、確率モデルが、確率をより良くモデル化するように、
ローカルコンテキストに基づいて適応的に選択される。最後に、ＣＡＢＡＣは、定量化さ
れた確率範囲及び確率状態により、乗算なし範囲除算を使用する。
Ｇ-４ ＡＶＣ、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶ
Ｃ）及びＶＶＣなどの多くのビデオ符号化復号化標準で使用されているエントロピー符号
化形式である。ＣＡＢＡＣは、算術符号化復号化に基づくものであって、ビデオ符号化復
号化標準のニーズに対応するために少しの革新及び更新が行われた。例えば、ＣＡＢＡＣ
は、複雑さを低く保ち、任意のシンボルにおけるよりも頻繁に使用されるビットの確率モ
デル化を可能にするようにバイナリシンボルを符号化する。符号化復号化モードが一般的
にローカルに良好に相関するため、確率モデルが、確率をより良くモデル化するように、
ローカルコンテキストに基づいて適応的に選択される。最後に、ＣＡＢＡＣは、定量化さ
れた確率範囲及び確率状態により、乗算なし範囲除算を使用する。
【0125】
ＣＡＢＡＣは、異なるコンテキストに対して複数の確率モデルを持つ。これはまず、す
べての非バイナリシンボルをバイナリシンボルに変換すれ。次に、コーダは、各ビン（ま
たはビットと呼ばれる）について、どの確率モデルを使用するかを選択し、次に、近傍の
要素からの情報を使用して確率推定を最適化する。最後に、算術符号化復号化を適用して
データを圧縮する。
べての非バイナリシンボルをバイナリシンボルに変換すれ。次に、コーダは、各ビン（ま
たはビットと呼ばれる）について、どの確率モデルを使用するかを選択し、次に、近傍の
要素からの情報を使用して確率推定を最適化する。最後に、算術符号化復号化を適用して
データを圧縮する。
【0126】
コンテキストモデリングは、符号化シンボルの条件付き確率の推定を提供する。適切な
コンテキストモデルを使用すると、符号化復号化される現在のシンボルの近傍で既に符号
化復号化されたシンボルに応じて異なる確率モデル間を切り替えることによって、所定の
シンボル間冗長性を利用することができる。データシンボルを符号化復号化することは、
以下の段階を含む。
コンテキストモデルを使用すると、符号化復号化される現在のシンボルの近傍で既に符号
化復号化されたシンボルに応じて異なる確率モデル間を切り替えることによって、所定の
シンボル間冗長性を利用することができる。データシンボルを符号化復号化することは、
以下の段階を含む。
【0127】
二値化：ＣＡＢＡＣはバイナリ算術符号化復号化を使用し、これは、バイナリ決定(１
または０)のみが符号化されることを意味する。算術符号化の前に、非バイナリ値シンボ
ル（例えば、変換係数または動きベクトル）が、バイナリ符号に「二値化」されるか変換
される。このプロセスは、データシンボルを可変長コードに変換するプロセスと同様であ
るが、バイナリコードは、送信前にさらに（算術コーダによって）符号化される。二値化
されたシンボルの各ビン(または「ビット」)に対して各段階を繰り返する。
または０)のみが符号化されることを意味する。算術符号化の前に、非バイナリ値シンボ
ル（例えば、変換係数または動きベクトル）が、バイナリ符号に「二値化」されるか変換
される。このプロセスは、データシンボルを可変長コードに変換するプロセスと同様であ
るが、バイナリコードは、送信前にさらに（算術コーダによって）符号化される。二値化
されたシンボルの各ビン(または「ビット」)に対して各段階を繰り返する。
【0128】
コンテキストモデル選択：「コンテキストモデル」は、二値化されたシンボルの１つ又
は複数のビンに対する確率モデルである。このモデルは、最近符号化されたデータシンボ
ルの統計に基づいて、利用可能なモデルの選択から選定されることができる。コンテキス
トモデルは、各ビンが「１」または「０」である確率を格納する。
は複数のビンに対する確率モデルである。このモデルは、最近符号化されたデータシンボ
ルの統計に基づいて、利用可能なモデルの選択から選定されることができる。コンテキス
トモデルは、各ビンが「１」または「０」である確率を格納する。
【0129】
算術符号化：算術コーダは、選択した確率モデルに基づいて各ビンを符号化する。なお
、各ビンについて、２つのサブ範囲(「０」と「１」に対応)しかない。
、各ビンについて、２つのサブ範囲(「０」と「１」に対応)しかない。
【0130】
確率更新：実際の符号化された値に基づいて、選択したコンテキストモデルを更新する
(たとえば、ビン値が「１」であると、「１」の頻度カウントが増加する)。
(たとえば、ビン値が「１」であると、「１」の頻度カウントが増加する)。
【0131】
各非バイナリ構文要素値はビンシーケンスに展開され、ＣＡＢＡＣにおける各ビン値の
さらなる処理は、通常モードまたはバイパスモードのいずれかとして関連する選択可能な
符号化復号化モード決定に依存する。後者のモードは、一様に分布していると仮定された
ビンに対して、結果として通常のバイナリ算術符号化（および復号化）プロセス全体が単
純にバイナリされるように選択される。通常の符号化復号化モードでは、通常のバイナリ
算術符号化復号化エンジンにより各ビン値を符号化し、ここで、関連する確率モデルが、
構文要素の二値化された表現における構文要素のタイプおよびビン位置またはビンインデ
ックス（binIdx）に基づいて固定選択として決定されるか、または関連するサイド情報（
例えば、ＣＵ／ＰＵ／ＴＵの空間的隣、成分、深さまたはサイズ、またはＴＵ内における
位置）に従って２つ以上の確率モデルから適応的に選択される。確率モデルの選択は、コ
ンテキストモデル化と呼ばれる。設計上の重要な決定として、後者のモードは、一般に最
もよく着目されるビンにのみ適用され、一方、もう一つのモードでは、一般に着目されな
いビンが、一般に０次の結合確率モデルにより処理される。これにより、ＣＡＢＡＣは、
サブシンボルレベルでの選択的適応確率モデル化を可能にし、したがって、全体的なモデ
ル化または学習コストを大幅に削減して、シンボル間の冗長性を利用するための効果的な
手段を提供する。なお、固定および適応の場合の両者では、原理的に、１つの確率モデル
からもう一つの確率モデルへの切り替えが、任意の２つの連続する規則符号化ボックスの
間で発生するおそれがある。一般的には、ＣＡＢＡＣにおけるコンテキストモデルの設計
は、モデル化コストの不必要なオーバーヘッドを回避し、統計的依存性を大きく活用する
という矛盾する２つの目標の間に、良好なトレードオフを見出すという目的を反映してい
る。
さらなる処理は、通常モードまたはバイパスモードのいずれかとして関連する選択可能な
符号化復号化モード決定に依存する。後者のモードは、一様に分布していると仮定された
ビンに対して、結果として通常のバイナリ算術符号化（および復号化）プロセス全体が単
純にバイナリされるように選択される。通常の符号化復号化モードでは、通常のバイナリ
算術符号化復号化エンジンにより各ビン値を符号化し、ここで、関連する確率モデルが、
構文要素の二値化された表現における構文要素のタイプおよびビン位置またはビンインデ
ックス（binIdx）に基づいて固定選択として決定されるか、または関連するサイド情報（
例えば、ＣＵ／ＰＵ／ＴＵの空間的隣、成分、深さまたはサイズ、またはＴＵ内における
位置）に従って２つ以上の確率モデルから適応的に選択される。確率モデルの選択は、コ
ンテキストモデル化と呼ばれる。設計上の重要な決定として、後者のモードは、一般に最
もよく着目されるビンにのみ適用され、一方、もう一つのモードでは、一般に着目されな
いビンが、一般に０次の結合確率モデルにより処理される。これにより、ＣＡＢＡＣは、
サブシンボルレベルでの選択的適応確率モデル化を可能にし、したがって、全体的なモデ
ル化または学習コストを大幅に削減して、シンボル間の冗長性を利用するための効果的な
手段を提供する。なお、固定および適応の場合の両者では、原理的に、１つの確率モデル
からもう一つの確率モデルへの切り替えが、任意の２つの連続する規則符号化ボックスの
間で発生するおそれがある。一般的には、ＣＡＢＡＣにおけるコンテキストモデルの設計
は、モデル化コストの不必要なオーバーヘッドを回避し、統計的依存性を大きく活用する
という矛盾する２つの目標の間に、良好なトレードオフを見出すという目的を反映してい
る。
【0132】
ＣＡＢＡＣにおける確率モデルのパラメータは適応的であり、これは、ビン源の統計的
変動に対するモデル確率の適応が、エンコーダおよびデコーダにおいて、後方適応的かつ
同期的にビン単位で実行されることを意味する。このプロセスを確率推定と呼ぶ。このた
め、ＣＡＢＡＣ内の各確率モデルは、区間[0:01875；0:98125] の範囲にある相関するモ
デル確率値ｐで１２６つの異なる状態から１つを選択することができる。各確率モデルの
２つのパラメータは、最小可能シンボル（ＬＰＳ：the least probable symbol）のモデ
ル確率pLPSを表す６３つの確率状態のそれぞれに対する６ビットと、最高可能シンボル（
ＭＰＳ：the most probable symbol）の値nMPSに対する１ビットとを含む７ビットのエン
トリとしてコンテキストメモリに格納される。
変動に対するモデル確率の適応が、エンコーダおよびデコーダにおいて、後方適応的かつ
同期的にビン単位で実行されることを意味する。このプロセスを確率推定と呼ぶ。このた
め、ＣＡＢＡＣ内の各確率モデルは、区間[0:01875；0:98125] の範囲にある相関するモ
デル確率値ｐで１２６つの異なる状態から１つを選択することができる。各確率モデルの
２つのパラメータは、最小可能シンボル（ＬＰＳ：the least probable symbol）のモデ
ル確率pLPSを表す６３つの確率状態のそれぞれに対する６ビットと、最高可能シンボル（
ＭＰＳ：the most probable symbol）の値nMPSに対する１ビットとを含む７ビットのエン
トリとしてコンテキストメモリに格納される。
【0133】
１つまたは複数の例では、上述した機能は、ハードウェア、ソフトウェア、ファームウ
ェア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、
それらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒
体に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実
行される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコ
ンピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所か
ら別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含む
ことが可能である。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一
時的な有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通
信媒体、に対応することが可能である。データ記憶媒体は、１つまたは複数のコンピュー
タまたは１つまたは複数のプロセッサによってアクセスされて、本願で説明された実施形
態を実現するための命令、コード、および／またはデータ構造を検索することができる任
意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取
可能な媒体を含んでもよい。
ェア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、
それらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒
体に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実
行される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコ
ンピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所か
ら別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含む
ことが可能である。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一
時的な有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通
信媒体、に対応することが可能である。データ記憶媒体は、１つまたは複数のコンピュー
タまたは１つまたは複数のプロセッサによってアクセスされて、本願で説明された実施形
態を実現するための命令、コード、および／またはデータ構造を検索することができる任
意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取
可能な媒体を含んでもよい。
【0134】
ここで実施形態を説明するために使用される用語は、特定の実施形態を説明することの
みを目的としており、特許請求の範囲を限定することを意図することがではない。実施形
態の説明および添付の特許請求の範囲で使用されるように、単数形「一」、「１つの」、
および「この」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図してい
る。 ここで使用される「および／または」という用語は、１つまたは複数の関する、列
挙された項目の任意及びすべての可能な組み合わせを意味しかつ含むことも理解されべき
である。本明細書で使用された「含む」という用語は、記載された特徴、要素、および／
または成分の存在を指示するが、１つまたは複数の他の機能、要素、成分、および/また
はそれらの組の存在または追加を排除するものではないことがさらに理解されべきである
。
みを目的としており、特許請求の範囲を限定することを意図することがではない。実施形
態の説明および添付の特許請求の範囲で使用されるように、単数形「一」、「１つの」、
および「この」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図してい
る。 ここで使用される「および／または」という用語は、１つまたは複数の関する、列
挙された項目の任意及びすべての可能な組み合わせを意味しかつ含むことも理解されべき
である。本明細書で使用された「含む」という用語は、記載された特徴、要素、および／
または成分の存在を指示するが、１つまたは複数の他の機能、要素、成分、および/また
はそれらの組の存在または追加を排除するものではないことがさらに理解されべきである
。
【0135】
ここで、第１、第２などの用語を使用して各種の要素を説明したことが、これらの要素
はこれらの用語によって限定されないことも理解されべきである。これらの用語は、ある
要素を別の要素と区別するためにのみ使用された。例えば、実施形態の範囲から逸脱する
ことない限り、第１の電極は、第２の電極と呼ばれてよく、同様に、第２の電極は、第１
の電極と呼ばれてもよい。第１の電極と第２の電極は両方とも電極であるが、同じ電極で
はない。
はこれらの用語によって限定されないことも理解されべきである。これらの用語は、ある
要素を別の要素と区別するためにのみ使用された。例えば、実施形態の範囲から逸脱する
ことない限り、第１の電極は、第２の電極と呼ばれてよく、同様に、第２の電極は、第１
の電極と呼ばれてもよい。第１の電極と第２の電極は両方とも電極であるが、同じ電極で
はない。
【0136】
本願の説明は、例示および説明のために提示されており、網羅的なまたは開示された形
態の発明に限定されるものではない。各種の変更、変形、および置換した実現は、前述の
説明および関連する図面に提示された教示を得った当業者にとっては明らかである。実施
形態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のために本発
明を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を
最もよく利用できるようにするために選択されおよび説明されたものである。したがって
、特許請求の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も
、添付の特許請求の範囲に含まれることを理解されるべきである。
態の発明に限定されるものではない。各種の変更、変形、および置換した実現は、前述の
説明および関連する図面に提示された教示を得った当業者にとっては明らかである。実施
形態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のために本発
明を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を
最もよく利用できるようにするために選択されおよび説明されたものである。したがって
、特許請求の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も
、添付の特許請求の範囲に含まれることを理解されるべきである。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【手続補正書】
【提出日】2024-08-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
符号化ユニットの符号化木のタイプ及び、ローカル二分木モードが前記符号化ユニットに対して有効であるかどうかを示す変数を決定することと、
前記符号化ユニットに関連する複数の構文要素を通知することであって、前記複数の構文要素は、前記符号化ユニットの符号化木のタイプを示す変数及び、ローカル二分木モードが前記符号化ユニットに対して有効であるかどうかを示す変数を含む複数の変数を導出するために使用されること、とを含み、
前記符号化ユニットの符号化木のタイプが単一木であり且つ前記ローカル二分木モードが前記符号化ユニットに対して有効であると決定したことに応じて、
前記符号化ユニットが予め定められた閾値以下のサイズを有する場合、前記符号化ユニットに対してパレットモードを無効にする、 ビデオデータを符号化するための方法。
前記符号化ユニットに関連する複数の構文要素を通知することであって、前記複数の構文要素は、前記符号化ユニットの符号化木のタイプを示す変数及び、ローカル二分木モードが前記符号化ユニットに対して有効であるかどうかを示す変数を含む複数の変数を導出するために使用されること、とを含み、
前記符号化ユニットの符号化木のタイプが単一木であり且つ前記ローカル二分木モードが前記符号化ユニットに対して有効であると決定したことに応じて、
前記符号化ユニットが予め定められた閾値以下のサイズを有する場合、前記符号化ユニットに対してパレットモードを無効にする、 ビデオデータを符号化するための方法。
【請求項2】
前記符号化ユニットに対してパレットモードを無効にすることは、
前記符号化ユニットの輝度成分および彩度成分の両方に対して前記パレットモードを無効にすること
を含む、請求項１に記載の方法。
前記符号化ユニットの輝度成分および彩度成分の両方に対して前記パレットモードを無効にすること
を含む、請求項１に記載の方法。
【請求項3】
前記符号化ユニットの符号化木のタイプが単一木であり且つ前記ローカル二分木モードが前記符号化ユニットに対して有効であると決定したことに応じて、
前記符号化ユニットが予め定められた閾値よりも大きいサイズを有する場合、前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすること
を含む、請求項１に記載の方法。
前記符号化ユニットが予め定められた閾値よりも大きいサイズを有する場合、前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすること
を含む、請求項１に記載の方法。
【請求項4】
前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすることは、
前記符号化ユニットのビデオ成分が彩度成分であるか、輝度成分であるかを決定することと、
前記符号化ユニットのビデオ成分が彩度成分であると決定したことに応じて、
前記符号化ユニットの彩度成分に対して前記パレットモードを無効にすることと
を含む、請求項３に記載の方法。
前記符号化ユニットのビデオ成分が彩度成分であるか、輝度成分であるかを決定することと、
前記符号化ユニットのビデオ成分が彩度成分であると決定したことに応じて、
前記符号化ユニットの彩度成分に対して前記パレットモードを無効にすることと
を含む、請求項３に記載の方法。
【請求項5】
前記符号化ユニットの彩度成分のみに対して前記パレットモードを無効にすることは、
前記符号化ユニットのビデオ成分が彩度成分であるか、輝度成分であるかを決定することと、
少なくとも前記符号化ユニットのビデオ成分が輝度成分であると決定したことに応じて、
前記符号化ユニットの前記輝度成分に関連付けられたパレットモードイネーブルフラグを通知することと
を含み、
前記パレットモードイネーブルフラグに従って前記符号化ユニットが復号される、請求項３に記載の方法。
前記符号化ユニットのビデオ成分が彩度成分であるか、輝度成分であるかを決定することと、
少なくとも前記符号化ユニットのビデオ成分が輝度成分であると決定したことに応じて、
前記符号化ユニットの前記輝度成分に関連付けられたパレットモードイネーブルフラグを通知することと
を含み、
前記パレットモードイネーブルフラグに従って前記符号化ユニットが復号される、請求項３に記載の方法。
【請求項6】
ローカル二分木フラグを導出するための構文要素を通知することを含み、
前記構文要素に従って、１として導出された前記ローカル二分木フラグに応じて、前記符号化ユニットの輝度成分のパレット予測は更新される、請求項５に記載の方法。
前記構文要素に従って、１として導出された前記ローカル二分木フラグに応じて、前記符号化ユニットの輝度成分のパレット予測は更新される、請求項５に記載の方法。
【請求項7】
前記構文要素に従って、１として導出された前記ローカル二分木フラグに応じて、前記符号化ユニットの彩度成分のパレット予測の更新が禁止される、請求項６に記載の方法。
【請求項8】
パレットモード輝度ブロックサイズ閾値を決定することと、
前記符号化ユニットの輝度成分のサイズが前記パレットモード輝度ブロックサイズ閾値以下であると判定したことに応じて、
前記符号化ユニットの輝度成分のパレット予測の更新を禁止することと
を更に含む、請求項５に記載の方法。
前記符号化ユニットの輝度成分のサイズが前記パレットモード輝度ブロックサイズ閾値以下であると判定したことに応じて、
前記符号化ユニットの輝度成分のパレット予測の更新を禁止することと
を更に含む、請求項５に記載の方法。
【請求項9】
前記パレットモード輝度ブロックサイズ閾値が、３２×３２輝度サンプルである、
請求項８に記載の方法。
請求項８に記載の方法。
【請求項10】
前記パレットモード輝度ブロックサイズ閾値が、８×８輝度サンプルである、
請求項８に記載の方法。
請求項８に記載の方法。
【請求項11】
前記複数の変数に含まれる１つの変数がMODE_TYPE_INTRAであるかどうかに基づいて、前記ローカル二分木モードが前記符号化ユニットに対して有効であるかどうかを決定する、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項12】
前記複数の変数に含まれる１つの変数がDUAL_TREE_CHROMAであるかどうかに基づいて、前記符号化ユニットのビデオ成分が彩度成分であるか輝度成分であるかを決定する
請求項４に記載の方法。
請求項４に記載の方法。
【請求項13】
前記予め定められた閾値は、１６である
請求項１に記載の方法。
請求項１に記載の方法。
【請求項14】
電子装置であって、
１つまたは複数の処理ユニットと、
前記１つまたは複数の処理ユニットに接続されているメモリと、
前記メモリに格納されている複数のプログラムと、
を含み、
前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、当該電子装置に請求項１～１３のいずれか一項に記載の方法を実行させる、
電子装置。
１つまたは複数の処理ユニットと、
前記１つまたは複数の処理ユニットに接続されているメモリと、
前記メモリに格納されている複数のプログラムと、
を含み、
前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、当該電子装置に請求項１～１３のいずれか一項に記載の方法を実行させる、
電子装置。
【請求項15】
１つまたは複数の処理ユニットを有する電子装置によって実行される複数のプログラムを格納している非一時的なコンピュータ読取可能な記憶媒体であって、
前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、前記電子装置に請求項１～１３のいずれか一項に記載の方法を実行させて、ビットストリームを生成させ、前記ビットストリームを前記非一時的なコンピュータ読取可能な記憶媒体に記憶させる
非一時的なコンピュータ読取可能な記憶媒体。
前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、前記電子装置に請求項１～１３のいずれか一項に記載の方法を実行させて、ビットストリームを生成させ、前記ビットストリームを前記非一時的なコンピュータ読取可能な記憶媒体に記憶させる
非一時的なコンピュータ読取可能な記憶媒体。
【請求項16】
ビットストリームの記憶のための命令を有するコンピュータプログラムであって、
前記ビットストリームは、請求項１から１３のいずれか一項に記載の方法によって生成された、符号化されたビデオデータを含む、コンピュータプログラム。
前記ビットストリームは、請求項１から１３のいずれか一項に記載の方法によって生成された、符号化されたビデオデータを含む、コンピュータプログラム。
【請求項17】
ビットストリームを記憶するための方法であって、
コンピュータ読取可能な記憶媒体に前記ビットストリームを記憶することを含み、前記ビットストリームは、請求項１から１３のいずれか一項に記載の方法によって生成される、方法。
コンピュータ読取可能な記憶媒体に前記ビットストリームを記憶することを含み、前記ビットストリームは、請求項１から１３のいずれか一項に記載の方法によって生成される、方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【0043】
図３は、本願のある実施形態に係る例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測処理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える。予測処理部８１は、動き補償部８２、イントラ予測部８４及びイントラＢＣ部８５をさらに備える。ビデオデコーダ３０は、図２を参照してビデオエンコーダ２０に関して上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルに基づいて予測データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイントラ予測モードインジケータに基づいて予測データを生成することができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【0044】
ある例では、ビデオデコーダ３０における一つの構成要素が本願の実施を実行する任務を負ってもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０における１つまたは複数の構成要素に区画されてもよい。例えば、イントラＢＣ部８５は、本願の実施を単独で実現してもよいし、または動き補償部８２、イントラ予測部８４およびエントロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実現してもよい。ある例では、ビデオデコーダ３０がイントラＢＣ部８５を含まなく、イントラＢＣ部８５の機能が動き補償部８２のようなの予測処理部８１における他の構成要素によって実現されてもよい。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【0047】
ビデオフレームがイントラ予測符号化（Ｉ）フレームに符号化され、または他のタイプのフレームにおけるイントラ符号化予測ブロックに用いられる場合、予測処理部８１におけるイントラ予測部８４は、信号で通知されたイントラ予測モード、および現在フレームの以前復号化されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックのための予測データを生成することが可能である。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【0079】
パレットインデックスマッピングを符号化するために、図５Ｃに示すように、インデックスは水平走査または垂直走査により符号化される。走査の順序は、ビットストリーム内にpalette_transpose_flagで明示的に信号で通知される。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【0082】
ＶＶＣ（ＶＴＭ）では、Iスライスに対して輝度及び彩度成分のための符号化単位区画を個別化する二分木を可能にする。その結果、輝度（Ｙ成分）と彩度（Ｃｂ、Ｃｒ成分）にパレットが個別的に適用される。二分木が無効になっている場合には、パレットがＹ、Ｃｂ、Ｃｒ成分に合わせて適用される。
【表1-1】
【表1-2】
【表1-3】
【表1-4】
【表2-1】
【表2-2】
【表2-3】
【表2-4】
【表3-1】
【表3-2】
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【0084】
本願では、図５Ｄに示すように、走査モードに基づいて、パレットモードの各ＣＵをｍ個のサンプル毎（本試験ではｍ＝８）に複数のセグメントに分割する。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【0086】
現在の画素と前の画素が異なるモードである場合、コンテキスト符号化されたビンcopy_above_palette_indices_flagは、その画素がランタイプ、すなわちINDEXまたはCOPY_ABOVEであることを示すように信号で通知される。この場合、サンプルが最初の行(水平走査)または最初の列(垂直走査)にあると、デフォルトではINDEXモードが使用されるので、デコーダがランタイプを解析する必要はない。以前に解析されたランタイプがCOPY_ABOVEである場合も、デコーダがランタイプを解析する必要はない。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【0108】
ある実施形態では、図６に示すように、ビデオデコーダ３０は、ビットストリームから符号化ユニットに関連する複数の構文要素を受信し、これらの複数の構文要素は、この符号化ユニットの符号化木のタイプ及びローカル二分木モードがこの符号化ユニットに対して有効かどうかを示す（６１０）。
【外国語明細書】