ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-21
(54)【発明の名称】データの符号化及び復号化
(51)【国際特許分類】
H04N 19/46 20140101AFI20240614BHJP
H04N 19/50 20140101ALI20240614BHJP
【ＦＩ】
H04N19/46
H04N19/50
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023579125
(86)(22)【出願日】2022-06-20
(85)【翻訳文提出日】2024-02-16
(86)【国際出願番号】 GB2022051567
(87)【国際公開番号】W WO2023275512
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】2109461.0
(32)【優先日】2021-06-30
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】ブラウン エイドリアン リチャード
(72)【発明者】
【氏名】キーティング ステファン マーク
(72)【発明者】
【氏名】シャーマン カール ジェームス
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC01
5C159MC11
5C159ME01
5C159RC12
5C159UA02
5C159UA05
(57)【要約】
1つ以上の符号化パラメータを生成するステップと、復号化処理によって使用される上記1つ以上の符号化パラメータを通信するステップと、画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するステップと、を含むデータ符号化方法であって、この方法は、上記符号化ステップは、上記生成ステップによって生成された上記1つ以上の符号化パラメータに基づいて符号化を実行し、上記生成ステップは、画像データサンプルの少なくともサブセットに関する上記残差データの推定値を導出し、その導出した推定値に基づいて上記1つ以上の符号化パラメータを生成するステップを含む。
【選択図】図２７
【選択図】図２７
【特許請求の範囲】
【請求項1】
1つ以上の符号化パラメータを生成するステップと、復号化処理によって使用される前記1つ以上の符号化パラメータを通信するステップと、
前記生成ステップにおいて、画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するステップと、
を含むデータ符号化方法であって、
前記符号化ステップは、前記生成ステップによって生成された前記1つ以上の符号化パラメータに基づいて符号化を実行し、
前記生成ステップは、一連の画像データサンプルに関する前記残差データの推定値を導出し、その導出した推定値に基づいて前記1つ以上の符号化パラメータを生成するステップを含む
方法。
【請求項2】
所定の画像データサンプルに関する前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルに対する所定の画像データ位置にある別の画像データサンプルと比較し、前記所定の画像データサンプルと他の画像データサンプルとの差に基づいて、前記所定の画像データサンプル用の残差データの推定値を導出することを含む請求項１に記載の方法。
【請求項3】
前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルとは異なる、所定のそれぞれの画像位置にある2つ以上の他の画像データサンプルと比較し、前記所定の画像データサンプルと前記2つ以上の他の画像データサンプルとの間のそれぞれ最小の差に基づいて、前記所定の画像データサンプル用の残差データの推定値を導出することを含む請求項２に記載の方法。
【請求項4】
所定の画像データサンプルに関する前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルに対する所定のそれぞれの画像位置にある2つ以上の他の画像データサンプルの所定の組み合せとして導出された値と比較し、前記所定の画像データサンプルと前記所定の組み合せとして導出された値と間の差に基づいて前記所定の画像データサンプル用の残差データの推定値を導出することを含む請求項１に記載の方法。
【請求項5】
1つ以上の符号化パラメータを生成するステップは、前記一連の画像データサンプル用の前記推定された残差データを示すデータの累計頻度分布を生成し、前記累計頻度分布に基づいて前記1つ以上の符号化パラメータを導出することを含む請求項１に記載の方法。
【請求項6】
1つ以上の符号化パラメータを生成するステップは、前記推定された残差データを示すデータに関して、値を検出することを含み、この値は、前記推定された残差データを示す前記データが、前記一連の画像データサンプルの所定の割合に対して、その値を下回るようにするものである請求項５に記載の方法。
【請求項7】
前記累積頻度分布を生成するステップは、前記推定された残差データに調整を適用して、前記推定された残差データを示すデータを生成することを含み、この調整は、前記一連の画像データサンプルに適用可能な量子化パラメータに少なくとも基づく請求項５に記載の方法。
【請求項8】
この調整は、前記一連の画像データサンプルに適用可能なビット深度に少なくとも基づく請求項７に記載の方法。
【請求項9】
前記符号化ステップは、一連の1つ以上のデータセットを使用して所定の画像データサンプルを符号化することと、
前記画像データサンプルの少なくとも一部について、前記第1の閾値が1より大きいかを選択することと、
を含み、
各一連のデータセットは、前記画像データサンプルの値のそれぞれの範囲を表し、前記一連の1つ以上のデータセットは、所定の画像データサンプルが少なくとも第1の閾値の値を有するか否かを示すための少なくとも1つ以上の有意なインジケータを含み、
前記1つ以上の符号化パラメータは、少なくとも前記第1の閾値を示す
請求項１に記載の方法。
【請求項10】
前記1つ以上のデータセットは、有意性インジケータを含む有意性データセットと、
所定の画像データサンプルがmのそれぞれの値より大きいかどうかを示す1以上のmより大きいデータセット、及び、
画像データサンプルの最下位ビットの値を示すパリティデータセット
を含むリストから選択された0個以上のデータセットと
を含む
請求項９に記載の方法。
【請求項11】
前記閾値は2nに等しい整数であり、nはゼロ以上の整数である請求項１０に記載の方法。
【請求項12】
前記画像データサンプルはマルチビットデータワードである請求項１１に記載の方法。
【請求項13】
nがゼロより大きいpビット画像データサンプルに対して、第2の符号化技術によって最上位(p-n)ビットによって表される前記画像データサンプルの第1の部分を符号化することと、
第1の符号化技術によって最下位nビットによって表される前記画像データサンプルの第2の部分を符号化することと
を含む
請求項１２に記載の方法。
【請求項14】
前記第1の符号化技術は、前記第2の符号化技術と異なる請求項１３に記載の方法。
【請求項15】
前記第1の符号化技術は、蓋然性が等しい2進算術符号化によって、最下位nビットの少なくとも一部を符号化することを含む請求項１４に記載の方法。
【請求項16】
前記第1の符号化技法は、前記第1の閾値よりも低い第2の閾値に関する第2の有意インジケータを生成することを含む請求項１５に記載の方法。
【請求項17】
前記第2の符号化技術が、1つ以上のさらなるデータセットを生成することを含む請求項１３に記載の方法。
【請求項18】
前記第2の符号化技術は、前記所定の画像データサンプルの任意の超過値に対して、前記所定の画像データサンプルが前記有意性データセット及び前記1つ以上のさらなるデータセットによって符号化可能な最大値を超える量である超過値を含み、第1の部分と、第2の部分のサイズに基づいてビット単位の長さを有する非単項符号化の第2の部分とを含むエスケープコードとして前記超過値を符号化することを含む請求項１７に記載の方法。
【請求項19】
前記有意性インジケータは、前記所定の画像データサンプルの絶対値が少なくとも前記第1の閾値を有するか否かを示すように構成される請求項９に記載の方法。
【請求項20】
前記符号化ステップは、pビット画像データサンプルに対して、前記画像データサンプルの第1の部分を第1の符号化技術によって符号化することと、
前記第1の符号化技術が第2の符号化技術と異なる前記第2の符号化技術によって前記画像データサンプルの第2の部分を符号化することと
を含み、
前記第1の符号化技術及び前記第2の符号化技術の少なくとも1つは、少なくとも部分的に、前記1つ以上の符号化パラメータによって定義される
請求項１に記載の方法。
【請求項21】
前記第1の符号化技術および前記第2の符号化技術の少なくとも1つは、前記1つ以上の符号化パラメータに基づくライスパラメータによって少なくとも部分的に定義されるライス符号化を含む請求項２０に記載の方法。
【請求項22】
前記符号化ステップが、周波数変換を選択的に適用するか又は変換スキップ処理を適用することを含み、前記画像データサンプルが、変換スキップ処理が適用された画像データサンプルである請求項２１に記載の方法。
【請求項23】
前記符号化ステップは、前記画像データサンプルを複数のブロックとして符号化することと、所与のブロックについて、所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータを符号化することとを含み、1つ以上の符号化パラメータを生成するステップは、前記複数のブロックに関して、ブロック内の位置を示す前記データを生成するために使用される原点を示す原点インジケータを生成することを含む請求項１の方法。
【請求項24】
前記符号化ステップは、所定の処理順序に従って、前記複数のブロック内のサンプルを処理することを含み、前記所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータが、所定の値範囲内の値を有する前記所定の処理順序における第1の画像データサンプルのそのブロック内の位置を示すデータを含む請求項２３に記載の方法。
【請求項25】
前記原点インジケータは、左上の原点または右下の原点を示す請求項２３に記載の方法。
【請求項26】
原点インジケータを生成するステップは、前記残差データの推定値の分布に応答して符号化されるべきデータ値の少なくとも閾値比率を有するブロックの比率の予測を示す占有予測を生成することを含む
請求項２３に記載の方法。
【請求項27】
占有予測を生成するステップは、閾値を下回る値を有する前記残差データの推定値の比率を検出することを含む請求項２６に記載の方法。
【請求項28】
所定の特性を有する画像データサンプルのブロック内の位置を示すデータを符号化すべきか否かを判定することを含み、この判定に応答して所定の特性を有する画像データサンプルのブロック内の位置を示すデータを選択的に符号化することを含む
請求項２３に記載の方法。
【請求項29】
前記判定に応答して、所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されているか否かを示すインジケータを生成かつ符号化するステップを含む請求項２８に記載の方法。
【請求項30】
前記符号化ステップは、前記画像データサンプルを複数のブロックとして符号化することと、所定のブロックについて、所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータを選択的に符号化することと、を含み、前記方法は、所定の特性を有する画像データサンプルのブロック内の位置を示すデータを符号化すべきか否かを判定することを含む請求項１に記載の方法。
【請求項31】
前記判定に応答して、所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されているか否かを示すインジケータを生成かつ符号化するステップを含む請求項３０に記載の方法。
【請求項32】
符号化される画像または画像部分に関して一度ステップを生成し通信することを実行することを含み、一連の前記画像データサンプルは、符号化されるその画像または画像部分の前記画像データサンプルの少なくとも一部を含む請求項１に記載の方法。
【請求項33】
コンピュータによって実行されるとき、請求項１に記載の方法を前記コンピュータに実行させるコンピュータソフトウェア。
【請求項34】
請求項３３に記載のコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体。
【請求項35】
請求項１に記載の方法によって生成された、符号化されたデータ信号。
【請求項36】
請求項３５に記載の符号化されたデータ信号を記憶する非一時的な機械可読可能な記憶媒体。
【請求項37】
1つ以上の符号化パラメータを生成するように構成されたパラメータ生成回路と、復号化処理によって使用される前記1つ以上の符号化パラメータを通信するように構成された通信回路と、
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するように構成された符号化回路と、
を具備し、
前記符号化回路は、前記パラメータ生成回路によって生成された前記1つ以上の符号化パラメータに基づいて符号化を実行するように構成され、
前記パラメータ生成回路は、前記画像データサンプルの少なくともサブセットに関する前記残差データの推定値を導出し、その導出した推定値に基づいて前記1つ以上の符号化パラメータを生成するように構成されている
装置。
【請求項38】
請求項３７に記載の装置を具備するビデオデータキャプチャ、送信機、ディスプレイ及び/又は記憶装置。
【請求項39】
1つ以上の画像の1つ以上の符号化パラメータを検出することと、前記1つ以上の符号化パラメータを使用して圧縮データを復号することを含む画像データの複合化方法であって、前記符号化パラメータは、請求項３４に記載の非一時的な機械可読記憶媒体によって記憶されたコンピュータソフトウェアによって作成される方法。
【請求項40】
画像データを復号するように構成されたデコーダ回路を具備する装置であって、前記デコーダ回路は、1つ以上の画像を表す圧縮データに関連する1つ以上の符号化パラメータを検出するように構成された検出回路を備えており、
前記デコーダ回路は、前記1つ以上の符号化パラメータを使用して前記圧縮データを復号するように構成されており、前記符号化パラメータは、請求項３７に記載の装置によって作成されている
装置。
【請求項41】
連続する画像データサンプルを復号する方法であって、所定のブロックについて、符号化の態様を示すインジケータを復号するステップと、
前記インジケータに応答して前記所定のブロックを復号するステップと
を含み、
画像データサンプルのそのブロック内の位置を示すデータは、所定の特性を有する
方法。
【請求項42】
前記インジケータは、複数の前記ブロックに関して、前記ブロック内の位置を示すデータを復号するために使用される原点、及び、
所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されるか否か
のいずれか1つまたは両方を示す
請求項４１に記載の方法。
【請求項43】
コンピュータによって実行されるとき、前記コンピュータに請求項４０に記載の方法を実行させるコンピュータソフトウェア。
【請求項44】
請求項４３に記載のコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体。
【請求項45】
所定のブロックについて、符号化の態様を示すインジケータを復号し、かつ、前記インジケータに応答して前記所定のブロックを復号する
ように構成されたデコーダ回路を具備し、
データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す
装置。
【請求項46】
請求項４５に記載の装置を具備するビデオデータキャプチャ、送信機、ディスプレイ及び/又は記憶装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データの符号化及び復号化に関する。
【背景技術】
【0002】
本明細書の「背景技術」の記載は、本出願における背景を一般的に説明するためのものである。本発明者らの技術は、この背景技術の欄で説明される範囲において、本出願の出願時点で従来技術でないのであれば従来技術と見なしてはならない説明の態様と同様に、明示または黙示を問わず、本出願に対する従来技術として認められるものではない。
【0003】
ビデオデータを周波数領域表現に変換し、得られた周波数領域係数を量子化し、その後、当該量子化された係数に或る種のエントロピー符号化を適用するビデオまたは画像データ符号化システム及びビデオまたは画像データ復号化システムなどのシステムがいくつか存在する。これにより、ビデオデータを圧縮することができる。対応する復号化または解凍技術を適用することにより、元のビデオデータを再構築して復元する。
【0004】
いくつかの例では、エントロピー符号化プロセスは、1つ以上の「データセット」(有意性マップ、1より大きいマップ、2より大きいマップおよび/または他のデータセットなど)を生成して係数のブロックを記述することを含み、有意性マップだけでは符号化できない超過値は、いわゆるエスケープ値として符号化される。エスケープ値の符号化は、(いくつかの例では)第1の部分(例えば、プレフィックスのような単項または切捨て単項符号化部分)と、第2の部分のサイズ値に依存する長さをビット単位で有する非単項符号化第2の部分(例えば、サフィックス)とを生成することによって実行することができる。
【発明の概要】
【0005】
本開示は、この処理から生じる課題に対処または軽減する。
【0006】
本開示は、1つ以上の符号化パラメータを生成するステップと、
復号化処理によって使用される上記1つ以上の符号化パラメータを通信するステップと、
上記生成ステップにおいて、画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するステップと、
を含むデータ符号化方法を提供し、
上記符号化ステップは、上記生成ステップによって生成された上記1つ以上の符号化パラメータに基づいて符号化を実行し、
上記生成ステップは、一連の画像データサンプルに関する上記残差データの推定値を導出し、その導出した推定値に基づいて上記1つ以上の符号化パラメータを生成するステップを含む。
復号化処理によって使用される上記1つ以上の符号化パラメータを通信するステップと、
上記生成ステップにおいて、画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するステップと、
を含むデータ符号化方法を提供し、
上記符号化ステップは、上記生成ステップによって生成された上記1つ以上の符号化パラメータに基づいて符号化を実行し、
上記生成ステップは、一連の画像データサンプルに関する上記残差データの推定値を導出し、その導出した推定値に基づいて上記1つ以上の符号化パラメータを生成するステップを含む。
【0007】
本開示は、1つ以上の画像の1つ以上の符号化パラメータを検出することと、上記1つ以上の符号化パラメータを使用して圧縮データを復号することを含む画像データの複合化方法をさらに提供し、上記符号化パラメータは、上述した方法によってコンピュータソフトウェアによって作成される。
【0008】
本開示は、連続する画像データサンプルを復号する方法をさらに提供し、この方法は、
所定のブロックについて、符号化の態様を示すインジケータを復号するステップと、
上記インジケータに応答して上記所定のブロックを復号するステップと
を含み、
画像データサンプルのそのブロック内の位置を示すデータは、所定の特性を有する。
所定のブロックについて、符号化の態様を示すインジケータを復号するステップと、
上記インジケータに応答して上記所定のブロックを復号するステップと
を含み、
画像データサンプルのそのブロック内の位置を示すデータは、所定の特性を有する。
【0009】
本開示は、コンピュータによって実行されるとき、上記コンピュータにこのような方法のいずれかを実行させるコンピュータソフトウェアと、このようなコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体とをさらに提供する。
【0010】
本開示は、1つ以上の符号化パラメータを生成するように構成されたパラメータ生成回路と、
復号化処理によって使用される上記1つ以上の符号化パラメータを通信するように構成された通信回路と、
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するように構成された符号化回路と、
を具備する装置をさらに提供し、
上記符号化回路は、上記パラメータ生成回路によって生成された上記1つ以上の符号化パラメータに基づいて符号化を実行するように構成され、
上記パラメータ生成回路は、上記画像データサンプルの少なくともサブセットに関する上記残差データの推定値を導出し、その導出した推定値に基づいて上記1つ以上の符号化パラメータを生成するように構成されている。
復号化処理によって使用される上記1つ以上の符号化パラメータを通信するように構成された通信回路と、
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するように構成された符号化回路と、
を具備する装置をさらに提供し、
上記符号化回路は、上記パラメータ生成回路によって生成された上記1つ以上の符号化パラメータに基づいて符号化を実行するように構成され、
上記パラメータ生成回路は、上記画像データサンプルの少なくともサブセットに関する上記残差データの推定値を導出し、その導出した推定値に基づいて上記1つ以上の符号化パラメータを生成するように構成されている。
【0011】
本開示は、画像データを復号するように構成されたデコーダ回路を具備する装置をさらに提供し、
上記デコーダ回路は、1つ以上の画像を表す圧縮データに関連する1つ以上の符号化パラメータを検出するように構成された検出回路を備えており、
上記デコーダ回路は、上記1つ以上の符号化パラメータを使用して上記圧縮データを復号するように構成されており、上記符号化パラメータは、上述した装置によって作成されている。
上記デコーダ回路は、1つ以上の画像を表す圧縮データに関連する1つ以上の符号化パラメータを検出するように構成された検出回路を備えており、
上記デコーダ回路は、上記1つ以上の符号化パラメータを使用して上記圧縮データを復号するように構成されており、上記符号化パラメータは、上述した装置によって作成されている。
【0012】
本開示は、所定のブロックについて、符号化の態様を示すインジケータを復号し、かつ、上記インジケータに応答して上記所定のブロックを復号する
ように構成されたデコーダ回路を具備する装置をさらに提供し、
データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す。
ように構成されたデコーダ回路を具備する装置をさらに提供し、
データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す。
【0013】
本開示は、このような装置のいずれか1つを具備するビデオデータキャプチャ、送信機、ディスプレイ及び/又は記憶装置をさらに提供する。
【0014】
本開示のさらなるそれぞれの態様及び特徴は、添付の特許請求の範囲において定義される。
【0015】
なお、上述の一般的な説明及び以降の詳細な説明は、本技術の一例であり、本技術を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【0016】
添付図面と共に以下の詳細な説明を参照することによって、本技術の完全な理解及びその優位性の多くが容易に理解される。
【図1】ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ（Ａ／Ｖ）データ送受信システムを示す概略図である。
【図2】ビデオデータ解凍を行うビデオ表示システムを示す概略図である。
【図3】ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。
【図4】ビデオデータの圧縮を行うビデオカメラを示す概略図である。
【図5】記憶媒体を示す概略図である。
【図6】記憶媒体を示す概略図である。
【図7】ビデオデータ圧縮及び解凍装置を示す概略図である。
【図8】予測部を示す概略図である。
【図9】変換スキップモードを示している。
【図10】a、bは、それぞれの走査方向を概略的に示す。
【図11】a、bは、それぞれの走査方向を概略的に示す。
【図12】符号化装置を示す模式図である。
【図13】復号化装置を示す模式図である。
【図14】データワードを符号化する例を概略的に表している。
【図15】一方法を示す概略フローチャートである。
【図16】一方法を示す概略フローチャートである。
【図17】一方法を示す概略フローチャートである。
【図18】一方法を示す概略フローチャートである。
【図19】一方法を示す概略フローチャートである。
【図20】データワードを符号化する一例を概略的に示す。
【図21】データワードを符号化する一例を概略的に示す。
【図22】それぞれの方法を示す概略フローチャートである。
【図23】それぞれの方法を示す概略フローチャートである。
【図24】それぞれの方法を示す概略フローチャートである。
【図25】一方法を示す概略フローチャートである。
【図26】一方法を示す概略フローチャートである。
【図27】一方法を示す概略フローチャートである。
【図28】一方法を示す概略フローチャートである。
【図29】残留推定の生成の様子を概略的に示している。
【図30】回路図ヒストグラムの表示例である。
【図31】回路図ヒストグラムの表示例である。
【図32】回路図ヒストグラムの表示例である。
【図33】概略的な累積頻度表示の一例である。
【図34】概略的な累積頻度表示の一例である。
【図35】概略的な累積頻度表示の一例である。
【図36】概略的な累積頻度表示の一例である。
【図37】それぞれの方法を示す概略的なフローチャートである。
【図38】トランスフォーム・ブロック・エンコーディングの一態様を概略的に示している。
【図39】トランスフォーム・ブロック・エンコーディングの一態様を概略的に示している。
【図40】それぞれの方法を示す概略フローチャートである。
【図41】それぞれの方法を示す概略フローチャートである。
【図42】一方法を示す概略フローチャートである。
【図43】一方法を示す概略フローチャートである。
【図44】例示的な一装置を概略的に示す。
【図45】例示的な一装置を概略的に示す。
【発明を実施するための形態】
【0017】
【0018】
以下に説明する全てのデータ圧縮装置及び／またはデータ解凍装置は、ハードウェアで実現されてもよいし、例えば、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）、或いはこれらの組み合わせ等のようなプログラム可能なハードウェアとして、汎用コンピュータ等の汎用データ処理装置上で動作するソフトウェアで実現されてもよい。ソフトウェア及び／またはファームウェアで実現される実施形態の場合、このようなソフトウェア及び／またはファームフェア、並びに、このようなソフトウェア及び／またはファームウェアが記憶または提供される非一時的なデータ記録媒体が本技術の実施形態と見なされることが理解されるであろう。
【0019】
図１は、ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオデータ送受信システムを示す概略図である。この例では、符号化または復号されるデータ値は、画像データを表す。
【0020】
入力オーディオ／ビデオ信号１０は、少なくともオーディオ／ビデオ信号１０のビデオ要素を圧縮するビデオデータ圧縮装置２０に供給され、例えば、ケーブル、光ファイバ、無線リンク等の送信ルート３０に沿って送信される。圧縮された信号は、解凍装置４０によって処理され、これにより、出力オーディオ／ビデオ信号５０が提供される。リターンパスでは、圧縮装置６０がオーディオ／ビデオ信号を圧縮し、当該オーディオ／ビデオ信号は送信ルート３０に沿って解凍装置７０に送信される。
【0021】
したがって、圧縮装置２０及び解凍装置７０は、送信リンクの１つのノードを構成することができる。また、解凍装置４０及び圧縮装置６０は、当該送信リンクの他の１つのノードを構成することができる。もちろん、送信リンクが単方向である場合は、これらのノードのうちの一方のノードのみが圧縮装置を必要とし、他方のノードのみが解凍装置を必要とすることになる。
【0022】
図２は、ビデオデータ解凍を行うビデオ表示システムを示す概略図である。具体的には、圧縮されたオーディオ／ビデオ信号１００は解凍装置１１０によって処理され、これにより、表示装置１２０上で表示することができる解凍信号が提供される。解凍装置１１０は、例えば、表示装置１２０と同じ筐体内に設けることにより、表示装置１２０と一体的に形成してもよい。或いは、解凍装置１１０は、（例えば）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。なお、「セットトップ」という用語は、当該ボックスを表示装置１２０に対して特定の方向または位置に配置する必要があることを意味するわけではない。この用語は、単に、周辺機器として表示部に接続可能なデバイスを示すために当該技術分野で使用されているに過ぎない。
【0023】
図３は、ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。入力オーディオ／ビデオ信号１３０は、圧縮信号を生成する圧縮装置１４０に供給され、例えば、磁気ディスク装置、光ディスク装置、磁気テープ装置、または半導体メモリやその他の記憶装置等の固体記憶装置等の記憶装置１５０に記憶される。再生時においては、圧縮データが記憶装置１５０から読み出され、解凍装置１６０に送られて解凍される。これにより、出力オーディオ／ビデオ信号１７０が提供される。
【0024】
圧縮または符号化された信号及び当該信号を記憶する非一過性の装置可読記憶媒体等の記憶媒体が本技術の実施形態として見なされることが理解されるであろう。
【0025】
図４は、ビデオデータの圧縮を行うビデオカメラを示す概略図である。
図４において、ＣＣＤ（Charge Coupled Device）イメージセンサ及びそれに付随する制御及び読出電子機器等の画像キャプチャ装置１８０は、圧縮装置１９０に送るビデオ信号を生成する。１つ以上のマイクロフォン２００は、圧縮装置１９０に送るオーディオ信号を生成する。圧縮装置１９０は、記憶及び／または送信する（ステージ２２０として包括的に表す）圧縮オーディオ／ビデオ信号２１０を生成する。
図４において、ＣＣＤ（Charge Coupled Device）イメージセンサ及びそれに付随する制御及び読出電子機器等の画像キャプチャ装置１８０は、圧縮装置１９０に送るビデオ信号を生成する。１つ以上のマイクロフォン２００は、圧縮装置１９０に送るオーディオ信号を生成する。圧縮装置１９０は、記憶及び／または送信する（ステージ２２０として包括的に表す）圧縮オーディオ／ビデオ信号２１０を生成する。
【0026】
以下に説明する技術は、主に、ビデオデータの圧縮及び解凍に関する。オーディオデータの圧縮を行うために、以下に説明するビデオデータ圧縮技術と共に多くの既存の技術を用いて圧縮オーディオ／ビデオ信号を生成してもよいことが理解される。したがって、オーディオデータの圧縮について別途説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは一般的に、（圧縮及び非圧縮を問わず）オーディオデータに関連するデータレートよりもはるかに高いことも理解されるであろう。したがって、非圧縮オーディオデータを圧縮ビデオデータに追加して圧縮オーディオ／ビデオ信号とすることができることが理解される。さらに、本発明の実施形態（図１～図４参照）はオーディオ／ビデオデータに関するものであるが、以下に説明する技術は、単にビデオデータを処理（すなわち、圧縮、解凍、記憶、表示、及び／または送信）するシステムに使用してもよいことが理解される。すなわち、これらの実施形態は、必ずしもオーディオデータ処理と関連している必要はなく、ビデオデータの圧縮に適用することができる。
【0027】
したがって、図４は、画像センサと、以下で説明するタイプの符号化装置とを含むビデオキャプチャ装置の一例を提供する。したがって、図２は、以下で説明するタイプの復号化装置の例と、復号化された画像が出力される表示装置を提供する。
【0028】
図２及び４の組み合わせは、画像センサ１８０及び符号化装置１９０、復号化装置１１０、及び、復号化された画像が出力される表示装置１２０を含むビデオキャプチャ装置を提供することができる。
【0029】
図５及び図６は、装置２０、６０によって生成される（例えば）圧縮データ、装置１１０に入力される圧縮データ、または、記憶媒体すなわちストレージ１５０、２２０を記憶する記憶媒体を示す概略図である。図５は、磁気ディスクまたは光ディスク等のディスク型記憶媒体を示す概略図である。図６は、フラッシュメモリ等の固体記憶媒体を示す概略図である。なお、図５及び図６は、コンピュータによって実行されることによって後述の方法のうちの１つ以上の方法を当該コンピュータに実行させるコンピュータソフトウェアを記憶する非一過性の装置可読記憶媒体の例も示す。
【0030】
したがって、上記の構成は、本技術のいずれかを具体化するビデオ記憶装置、キャプチャ装置、送受信装置の例を提供する。
【0031】
図7は、1つ以上の画像を表すビデオまたは画像データを符号化及び/または復号するための、画像データ圧縮及び解凍装置の模式図を提供する。
【0032】
制御部３４３は、ビデオデータ圧縮及び解凍装置の全体的な動作を制御する。制御部３４３は、特に、圧縮モードについて言えば、ブロックのサイズ及び形状等の種々の動作形態を選択する選択器として動作することによって、試行符号化処理を制御する。また、制御部３４３は、ビデオデータが符号化されるに当たって損失が生じるか否かを制御する。この制御部は、画像エンコーダまたは画像デコーダ（場合による）の一部を構成すると見なされる。入力ビデオ信号３００の連続画像は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０については、図８を参照して後で詳述する。画像エンコーダまたは画像デコーダ（場合による）は、図８のイントラ画像予測部と共に、図７に示す装置からの特徴を用いてもよい。しかしながら、この画像エンコーダまたは画像デコーダは、必ずしも図７に示す全ての特徴を必要とするわけではない。
【0033】
加算部３１０は、「＋」入力上で入力ビデオ信号３００を受信し、「－」入力上で画像予測部３２０の出力を受信する事実上の減算（負の加算）動作を実行する。これにより、入力画像から予測画像が減算される。この結果、実画像と予測画像との差を表すいわゆる残差画像信号３３０が生成される。
【0034】
残差画像信号を生成する理由の１つは次の通りである。説明を行うデータ符号化技術、すなわち、残差画像信号に適用される技術は、符号化される画像において「エネルギ」が少ない場合に、より効率的に作用する傾向がある。ここで、「効率的」という用語は、生成した符号化データの量が少ないことを示す。特定の画像品質レベルにおいては、生成するデータができるだけ少ないことが望ましい（且つ、「効率的」と考えられる）。残差画像における「エネルギ」は、残差画像に含まれる情報量に関連する。仮に、予測画像と実画像とが同一だとすると、これら２つの画像の差（すなわち、残差画像）は、ゼロの情報（ゼロエネルギ）を含み、非常に容易に少量の符号化データに符号化することができる。一般的に、予測画像の内容が、符号化される画像の内容と同様になるように、予測処理を或る程度良好に実行することができる場合、残差画像データは、入力画像よりも情報が少なく（エネルギが少ない）、容易に少量の符号化データに符号化することができると予想される。
【0035】
従って、符号化(加算器３１０を使用)は、符号化される画像に対する画像領域を予測することと、予測画像領域と符号化される画像の対応領域との差に依存する残余画像領域を生成することとを含む。以下に説明する技術に関連して、データ値の順序付けられた配列は、残差画像領域の表現のデータ値を含む。復号化は、復号されるべき画像に対する画像領域の予測;予測画像領域と復号される画像の対応する領域との間の差異を示す残留画像領域の生成;データ値の順序付けられた配列が、残留画像領域の表現のデータ値を含む;及び予測画像領域と残留画像領域とを結合することを含む。
【0036】
（残差または差分画像を符号化する）エンコーダとして動作する装置の残りの部分を説明する。
【0037】
残差画像データ３３０は、残差画像データのブロックまたは領域の離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）表現を生成する変換部すなわち回路３４０に供給される。このＤＣＴ技術自体は広く知られているため、ここでは詳しく説明しない。また、ＤＣＴの使用は、一構成例の例示に過ぎない。他の変換方式として、例えば、離散サイン変換（ＤＳＴ：Discrete Sine Transform）を用いることができるであろう。変換方式は、例えば、１つの変換方式に別の変換方式が（直接的または間接的に）続く構成等、個々の変換方式を組み合わせてもよい。変換方式の選択は、明示的に決定されてもよく、且つ／または、エンコーダ及びデコーダを構成するのに用いられる付帯情報（side information）に依存してもよい。他の例では、変換（トランスフォーム）が適用されない、いわゆる「変換スキップ（トランスフォームスキップ）」モードを選択的に使用することができる。
【0038】
したがって、例えば、符号化及び/または復号化方法は、符号化される画像に対する画像領域を予測するステップと、予測画像領域と符号化される画像の対応する領域との差に依存する残留画像領域を生成するステップと、を含み、データ値の順序付けられた配列(後述する)が、残留画像領域の表現のデータ値を含む。
【0039】
変換部３４０の出力、すなわち（例えば）、画像データにおける各変換ブロックに対する一連のＤＣＴ係数は、量子化部３５０に供給される。量子化スケーリング要素による単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの応用に至るまで、様々な量子化技術がビデオデータ圧縮の分野において広く知られている。その目的として一般的なものには２つある。１つ目は、変換データが取り得る値を量子化処理により減少させることである。２つ目は、変換データの値がゼロである可能性を量子化処理により増加させることである。これらにより、少量の圧縮ビデオデータの生成において、後述するエントロピー符号化処理をより効率的に行うことができる。
【0040】
スキャン部３６０により、データスキャン処理が適用される。スキャン処理の目的は、非ゼロの量子化変換係数をできるだけひとまとめにするため、また、もちろん、これにより、ゼロ値の係数をできるだけひとまとめにするために、量子化変換データを再整理することである。これらの機能により、いわゆるランレングス符号化または同様の技術を効率的に適用することができる。したがって、スキャン処理は、（ａ）スキャンの一部として全ての係数が一度は選択されるように、且つ、（ｂ）スキャンにより所望の再整理を行うことができるように、「スキャン順」に従って、量子化変換データ、及び、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有効な結果をもたらすスキャン順の一例は、いわゆるUp-right Diagonalスキャン順のような対角線順である。
【0041】
スキャン順序は、変換スキップブロックと変換ブロック(少なくとも1つの空間周波数変換が行われたブロック)とで異なってもよい。
【0042】
スキャンされた係数は、その後、エントロピーエンコーダ（ＥＥ）３７０に送られる。この場合もやはり、各種エントロピー符号化を実行してもよい。２つの例は、いわゆるＣＡＢＡＣ（Context Adaptive Binary Coding）システムの変形、及び、いわゆるＣＡＶＬＣ（Context Adaptive Variable-Length Coding）システムの変形である。一般的に、ＣＡＢＡＣは効率がよいと考えられている。或る研究では、ＣＡＢＡＣにおける符号化出力データの量は、同等の画像品質に対して、ＣＡＶＬＣよりも１０～２０％少ないことが示されている。しかしながら、ＣＡＶＬＣが示す（実行する上での）複雑性のレベルは、ＣＡＢＡＣの複雑性のレベルよりもはるかに低いと考えられている。なお、スキャン処理及びエントロピー符号化処理は、別々の処理として示されているが、実際には、組み合わせるか、または、一緒に扱うことができる。すなわち、エントロピーエンコーダへのデータの読み出しは、スキャン順で行うことができる。これは、後述する各逆処理の場合も同様である。
【0043】
エントロピーエンコーダ３７０の出力により、例えば、予測部３２０が予測画像を生成する方法を定義する（上述及び／または後述の）追加データと共に、圧縮されたデータが変換されたか変換スキップされたか等で、圧縮出力ビデオ信号３８０が提供される。
【0044】
一方、予測部３２０自体の動作は解凍された圧縮出力データに依存するため、リターンパス３９０も提供される。
【0045】
この機能の理由は以下の通りである。解凍処理（後述する）における適切なステージで、解凍された残差データが生成される。この解凍残差データは、出力画像を生成するために、予測画像に追加する必要がある（なぜなら、元の残差データは、入力画像と予測画像との差であったため）。圧縮側と解凍側とでこの処理が同等となるように、予測部３２０によって生成される予測画像は、圧縮処理中及び解凍処理中において、同一であるべきである。もちろん、装置は、解凍時において元の入力画像にアクセスすることができない。装置がアクセスすることができるのは、解凍画像のみである。したがって、圧縮時において、予測部３２０は、解凍された圧縮画像に基づいて（少なくともインター画像符号化について）その予測を行う。
【0046】
エントロピーエンコーダ３７０により実行されるエントロピー符号化処理は、（少なくともいくつかの例では）「無損失（lossless）」であると考えられる。すなわち、エントロピーエンコーダ３７０に最初に供給されたデータと全く同じデータに置き換えることができる。したがって、このような例では、リターンパスは、エントロピー符号化ステージよりも前に実装することができる。実際、スキャン部３６０によって実行されるスキャン処理も無損失であると考えられるので、本実施形態では、リターンパス３９０は、量子化部３５０の出力から、補足逆量子化部４２０の入力までとされている。ステージによって損失が生じるまたは損失が生じる可能性がある場合、当該ステージ（及びその逆）は、リターンパスによって形成されるフィードバックループに含めてもよい。例えば、エントロピー符号化ステージは、例えば、ビットをパリティ情報において符号化する技術によって、少なくとも原理的には損失を生じるものとされ得る。このような例では、エントロピー符号化及び復号化は、フィードバックループの一部を形成する必要がある。
【0047】
一般的には、エントロピーデコーダ４１０、逆スキャン部４００、逆量子化部４２０、逆変換部すなわち回路４３０は、それぞれ、エントロピーエンコーダ３７０、スキャン部３６０、量子化部３５０、及び変換部３４０の逆機能を提供する。ここでは、圧縮処理について説明を続け、入力圧縮ビデオ信号を解凍するための処理については、別途後述する。
【0048】
圧縮処理において、スキャンされた係数は、リターンパス３９０により量子化部３５０から、スキャン部３６０の逆動作を実行する逆量子化部４２０に送られる。逆量子化処理及び逆変換処理が逆量子化部４２０、逆変換部４３０により実行され、圧縮－解凍残差画像信号４４０が生成される。
【0049】
画像信号４４０は、加算部４５０で予測部３２０の出力に追加され、再構築出力画像４６０が生成される（ただし、これは、出力される前に、いわゆるループフィルタリング及び/または他のフィルタリングの対象となる場合がある。以下を参照する。）。
これにより、後述するように、画像予測部３２０への１つの入力が構成される。
これにより、後述するように、画像予測部３２０への１つの入力が構成される。
【0050】
受信した圧縮ビデオ信号４７０を解凍するために適用される復号化処理について説明する。圧縮ビデオ信号４７０は、まず、エントロピーデコーダ４１０に供給され、そこから逆スキャン部４００、逆量子化部４２０、及び逆変換部４３０の順に供給される。その後、加算部４５０によって画像予測部３２０の出力に追加される。したがって、デコーダ側では、デコーダは、残差画像を再構築し、これを（ブロック単位で）（加算部４５０によって）予測画像に適用することで各ブロックを復号化する。端的に言うと、加算部４５０の出力４６０が、（以下で説明するフィルタリング・プロセスの対象となる）出力解凍ビデオ信号４８０を形成する。実際には、信号を出力する前に、さらに（例えば、フィルタ５６５を用いて）フィルタリングを任意選択で施してもよい。このフィルタ５６５は、図８に示す。図８に比べて全体的な構成を示す図７では、ループフィルタ５６５は、見易さのために省略している。
【0051】
図７及び図８に示す装置は、圧縮（符号化）装置または解凍（復号化）装置として動作することができる。二種類の装置の機能が実質的に重複する。スキャン部３６０及びエントロピーエンコーダ３７０は、解凍モードでは使用されない。予測部３２０（後で詳述する）及び他の各部の動作は、受信した圧縮ビットストリームに含まれるモード及びパラメータ情報に従い、自らはこれらの情報を生成しない。
【0052】
図８は、予測画像の生成を示す概略図であり、特に、画像予測部３２０の動作を示している。
【0053】
２つの基本的な予測モードが画像予測部３２０によって実行される。２つの基本的な予測モードとは、いわゆるイントラ画像予測及びいわゆるインター画像予測または動き補償（ＭＣ：Motion-Compensated）予測である。エンコーダ側では、これらの予測はそれぞれ、予測対象である現在のブロックについて予測方向を検出し、（同じ（イントラ）または別の（インター）画像における）他のサンプルに応じてサンプルの予測ブロックを生成することを含む。
加算部３１０または４５０により、予測ブロックと実際のブロックとの差異を符号化または復号化することで、ブロックをそれぞれ符号化または復号化する。
加算部３１０または４５０により、予測ブロックと実際のブロックとの差異を符号化または復号化することで、ブロックをそれぞれ符号化または復号化する。
【0054】
（デコーダ側またはエンコーダの逆復号化側では、この予測方向の検出は、どの方向がエンコーダで用いられたかを示す、エンコーダによる符号化データに関係付けられたデータに応じるものであってもよい。或いは、当該予測方向の検出は、エンコーダで決定された要素と同じものに応じるものであってもよい。）
【0055】
イントラ画像予測は、同一画像内から得られるデータにおける画像ブロックまたは領域の内容の予測を基礎としている。これは、他のビデオ圧縮技術における、いわゆるＩフレーム符号化に対応する。しかし、画像全体をイントラ符号化によって符号化するＩフレーム符号化とは対照的に、本実施形態では、イントラ符号化及びインター符号化の選択を、ブロック毎に行うことができる。他の実施形態では、当該選択が依然として画像毎に行われる。
【0056】
動き補償予測は、インター画像予測の一例であり、他の隣接画像または近接画像において、現在の画像において符号化される画像詳細のソースを定義しようとする動き情報が用いられる。したがって、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像において同じ位置またはわずかに異なる位置に存在する対応ブロックを示す参照（動きベクトル）として、非常に容易に符号化することができる。
【0057】
「ブロックコピー」予測として知られる技術は、現在の予測ブロックを生成するためにコピーすべき、同一の画像内の現在の予測ブロックから変位した位置にある、サンプルから成るブロックを示すベクトルを用いるため、いくつかの点において、上記２つの予測のハイブリッドと言える。
【0058】
図８に戻る。図８には（イントラ画像予測及びインター画像予測に対応する）２つの画像予測構成が示されており、その予測結果が、加算部３１０及び４５０に供給するための予測画像のブロックを提供するように、（例えば、制御部３４３の）モード信号５１０の制御下において乗算部５００によって選択される。当該選択は、どちらを選択すれば最少の「エネルギ」（上述のように、符号化が必要な情報の量と考えてもよい）となるかに基づいて行われ、また、当該選択は、符号化出力データストリームでデコーダに通知される。これに関して、例えば、入力画像から、２つのバージョンの予測画像の領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、当該２つのバージョンのうち、その画像領域に関連する差分画像の平均乗算値が低いのはどちらのバージョンかを特定することによって、画像エネルギを検出することができる。他の例では、選択毎にまたはあり得る選択毎に試行符号化を実行することができる。そして、符号化に必要なビット数及び当該画像に対する歪みのうちの一方または両方に関する、あり得る選択毎の費用に応じて選択が行われる。
【0059】
イントラ予測システムでは、実際の予測は、（ループフィルタリングによってフィルタリングされる、以下を参照）信号４６０の一部として受信された画像ブロックに基づいて行われる。すなわち、予測は、解凍装置において全く同じ予測を行うことができるように、符号化－復号化画像ブロックに基づいて行われる。しかしながら、データを入力ビデオ信号３００から導出して、イントラモード選択部５２０により、イントラ画像予測部５３０の動作を制御することもできる。
【0060】
インター画像予測では、動き補償（ＭＣ）予測部５４０は、例えば、動き推定部５５０によって入力ビデオ信号３００から導出された動きベクトル等の動き情報を用いる。動き補償予測部５４０は、これら動きベクトルを再構築画像４６０に適用し、インター画像予測のブロックを生成する。
【0061】
したがって、イントラ画像予測部５３０及び動き補償予測部５４０（推定部５５０と共に動作する）はそれぞれ、予測対象である現在のブロックについての予測方向を検出する検出部として、また、予測方向によって画定される他のサンプルに応じてサンプルの予測ブロック（加算部３１０及び４５０に送る予測結果の一部をなす）を生成する生成部として動作する。
【0062】
ここで、信号４６０に適用される処理について説明する。
【0063】
まず、信号は、いわゆるループフィルタ５６５によってフィルタリングされ得る。様々なタイプのループフィルタを使用することができる。１つの技術は、変換ユニット３４０及びそれに続く動作によって実行されるブロックベースの処理の効果を除去するか、または、少なくとも低減する傾向にある「非ブロック化（deblocking）」フィルタを適用することを含む。また、いわゆるサンプル適応オフセット(SAO:Sample Adaptive Offsetting)フィルタを適用することを含むさらなる技術を用いることができる。一般に、サンプル適応オフセット・フィルタでは、フィルタ・パラメータ・データ(エンコーダで導出され、デコーダに伝送される)は、(i)所与の中間ビデオサンプル、または、(ii)所与の中間ビデオサンプルと所定の空間関係を有する1つ以上の中間ビデオサンプルの値に依存して、サンプル適応オフセット・フィルタによって所与の中間ビデオサンプル(信号460のサンプル)と選択的に結合される1つ以上のオフセット量を定義する。
【0064】
また、再構築信号４６０及び入力ビデオ信号３００を処理することによって得られる係数を使用して、適応ループフィルタが任意選択で適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリング対象のデータに対して適応フィルタ係数を適用するフィルタの一種である。すなわち、フィルタ係数は、各種要素に基づいて変化し得る。どのフィルタ係数を用いるかを定義するデータは、符号化出力データストリームの一部に挿入される。
【0065】
装置が解凍装置として動作している場合、ループフィルタ部５６５からのフィルタリングされた出力は、実際には、出力ビデオ信号４８０を形成する。この信号は、１つ以上の画像またはフレーム記憶部５７０に記憶される。連続画像の記憶は、動き補償予測処理、特に、動きベクトルの生成において必要となる。必要なメモリを確保するため、画像記憶部５７０に記憶される画像は、圧縮形式で保持され、その後、動きベクトルの生成に用いるために解凍されてもよい。この特定の目的のために、公知のいかなる圧縮／解凍システムを用いてもよい。記憶画像は、より高い解像度の記憶画像を生成する補間フィルタ５８０に送られ得る。この例では、補間フィルタ５８０によって出力される補間画像の解像度が、輝度チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の４倍（各寸法）となるように、色チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の８倍（各寸法）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０及び動き補償予測部５４０への入力として送られる。
【0066】
ここで、圧縮処理のために画像を分割する方法について説明する。基本的なレベルでは、圧縮対象の画像は、サンプルから成るブロックまたは領域の配列として考えることができる。このような画像のブロックまたは領域への分割は、SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of Audiovisual services - Coding of moving video High efficiency video coding Recommendation ITU-T H. 265 2016 年 12 月と、参照によりその内容が本明細書に援用されるHigh Efficiency Video Coding (HEVC) Algorithms and Architectures, Editors: Madhukar Budagavi, Gary J. Sullivan, Vivienne Sze; chapter 3, ISBN 978-3-319-06894-7; 2014とに、記載されているような決定木によって行うことができる。
【0067】
いくつかの例では、結果として得られるブロックまたは領域は、様々なサイズを有し、場合によっては、決定木により、全体的に当該画像内の画像特徴の配列に沿った形状を有する。これだけでも符号化効率を向上させることができる。というのも、類似の画像特徴を表すかまたはこれらに沿うサンプルは、このような構成によって、グループ化される傾向にあるからである。いくつかの例では、異なるサイズの正方形ブロックまたは領域（例えば、４×４サンプル～例えば６４×６４、またはより大きいブロック）が、選択に利用可能である。他の構成例では、（例えば、垂直方向または水平方向に配向された）矩形ブロックまたは配列（アレイ）等の異なる形状のブロックまたは領域を用いることができる。他の非正方形及び非矩形ブロックも包含される。このような画像のブロックまたは領域への分割結果として、（少なくとも本例では）画像のサンプルがそれぞれ１つの、さらには、１つのみに割り当てられるブロックまたは領域サンプルに割り当てられる。
【0068】
（変換スキップモード（transform-skipモード））
図９は、いわゆる変換スキップモードを概略的に示している。
このモードでは、サンプルのブロック、例えば矩形符号化ブロック、またはいわゆる変換部(TU)のようなサンプルの配列に、例えば制御部３４３の機能の一部によって、「変換スキップ」モードインジケータが割り当てられる。図９の回路図バイパスパスパス９００によって示されるように、変換スキップインジケータが設定されると、変換部３４０(符号化パス内)および逆変換部４３０(符号化側の復号パス内またはデコーダ内)がバイパスされ、空間周波数変換がその特定のブロック内のサンプルに適用されない。
図９は、いわゆる変換スキップモードを概略的に示している。
このモードでは、サンプルのブロック、例えば矩形符号化ブロック、またはいわゆる変換部(TU)のようなサンプルの配列に、例えば制御部３４３の機能の一部によって、「変換スキップ」モードインジケータが割り当てられる。図９の回路図バイパスパスパス９００によって示されるように、変換スキップインジケータが設定されると、変換部３４０(符号化パス内)および逆変換部４３０(符号化側の復号パス内またはデコーダ内)がバイパスされ、空間周波数変換がその特定のブロック内のサンプルに適用されない。
【0069】
変換スキップモードは、制御部３４３によって、DCT、DST、または他の変換モードの可能な選択とともに、問題となっているブロックの特性、近傍のブロックの特性、試用(完全または部分)エンコーディングなどに依存して選択可能である。一般に、制御部３４３によって実行される選択アルゴリズムの目的は、問題のブロックの符号化の効率を向上させることである。
【0070】
以前に提案された幾つかの例の構成では、変換キップモードは4x4ブロックサイズ以下に制限されていた。最近の例では、この制限が緩和され変換スキップモードをより大きなブロックに選択的に適用することができる。変換スキップモードは、TUが実際に複数の(より小さい)サブTUとして処理される場合でも、TUに適用できる。
【0071】
図１０ａおよび図１１ａは、それぞれの走査方向を概略的に示し、図１０ａは、4x4の変換スキップブロックに適用可能な例を提供し、図１１ａは、いわゆる変換ブロックに適用可能な例を提供する。すなわち、変換スキップモードが有効にされておらず、したがって、ブロックが符号化中に変換部３４０による空間周波数変換(または複数の周波数変換)を受けたブロックである。
【0072】
図１０ａを参照すると、変換スキップブロックの場合、走査順序は、この例では、左上(「1」)から右下(「16」)までの対角順序である。対照的に、図１１ａに示すように、変換ブロックの場合(符号化ブロックの例として)、走査順序は、右下から左上への対角順序である。スキャン順序を使用すると、後続のサンプルまたは係数のエンコードパラメータの導出に使用するために、どの係数またはサンプルが「既に符号化」されているか、または「既にデコード」されているかという点以外に、後述する手法とは実質的な違いがほとんどないことに注意する。
【0073】
より大きなブロックの場合には、同様の走査順序を使用することができ、または、サブTUのような4x4係数のサブブロックを図のように走査することができ、所定のパターンが、各サブブロックを順番に走査するために使用される。
【0074】
一般的に言えば、サンプルまたは係数のブロックは、データ値のグループ(または符号化されたデータ値のグループ)と見なされ、各々は関連する符号化順序(換言すれば、図１０ａおよび１１ａの例によって示される走査順序)を有する。
【0075】
図１０ｂおよび図１１ｂを参照すると、後述する処理の少なくともいくつかの例において、与えられた係数1000、1100のエンコードまたはデコードの前にエンコードまたはデコードされたサンプルまたは係数(変換スキップブロックの場合であっても、単一の一般用語「係数」によって後述することがある)が参照される。変換スキップの場合、以下で説明する少なくとも一部の技術に関連する以前に処理された係数は、網掛け表示（シェード）された形式(各係数に対して1つのボックス)で示される所定のグループ化またはパターンの複数の係数であり、これらは与えられた係数1000の上及び左にある。非変換スキップ演算の場合は、同様の所定のパターン又はグループ化が使用されるが、ここでは、後述する技術の少なくとも一部に関連する先に処理された係数が、与えられた係数1100の下及び右にある係数(網掛け表示)である。前述したように、これらの係数は、以下の少なくとも一部の技術によって参照される。例えば、他のブロックに分類されるか、まだ符号化されていないか、まだ復号されていないブロックに分類されるために、該当する網掛けグループのいずれかの係数が利用できない場合、その係数は、単に各プロセスから省略され、必要に応じて、プロセスの結果は、減少された係数に正規化され得る。(例えば、正規化は、網掛け係数の平均を導出するプロセスに関連するが、網掛け係数の最大値又は最小値を検出するプロセスには関連しない)。
【0076】
（データセット及びエスケープコード）
(例えば、エントロピーデコーダ４１０によって逆プロセスが実行されるエントロピーエンコーダ３７０によって実行される)エントロピー符号化ステージは、走査された量子化された変換係数を符号化することを含む(スキャン部３６０によって適用される走査は、それぞれ変換スキップおよび変換ブロックについて図１０および図１１に示された例に従う)。
(例えば、エントロピーデコーダ４１０によって逆プロセスが実行されるエントロピーエンコーダ３７０によって実行される)エントロピー符号化ステージは、走査された量子化された変換係数を符号化することを含む(スキャン部３６０によって適用される走査は、それぞれ変換スキップおよび変換ブロックについて図１０および図１１に示された例に従う)。
【0077】
エントロピー符号化は、データセットによって符号化されない残りの値のためのエスケープコードと共に、1つ以上のいわゆるデータセットとして値を符号化するように配置される。
【0078】
データセットを生成するために、符号化されるデータ値はエンコーディング順(スキャン順など)で処理される。4x4ブロックまたはより大きなブロックの4x4(またはその他)のサブ部分などのサンプルのブロックに関して生成されたデータセットは、候補データセットのグループ(つまり、データセットは、特定の係数またはサブTU、その他のブロックまたはグループに対して有効にされていないだけで、有効にすることができる)のゼロ個以上として選択可能であり、候補データセットのグループは、以下の1つ以上を含んでもよい。
【0079】
これらのパラメータは、先に提案された構成に関係し、以下で議論される実施例との比較のためにここで提供されることに留意されたい。
・ 有意性マップ(Significance map、Sig)。ここでは、いわゆる「有意である」係数またはサンプルの位置を示す。これは、非ゼロの係数またはサンプルと言う。0以外の値を示す有意フラグは、ブロック内の各係数位置に対してコーディングされる。
・ 各有効係数の絶対値が1より大きいかどうかを示す1より大きいフラグ(GT1)。4x4ブロックのいくつかの例では、このフラグは符号化順序の最初の8つの有意係数に対してのみ送信される。他の例では、有意な係数ごとに送信できる。他の例では、有意フラグが送信されると、GT1フラグが常に送信される。
・ 「値 & 1」フラグまたはパリティフラグは、この段階で実質的に最下位ビット(LSB)である(「&」は論理AND演算を意味する)。
・ 係数の絶対値が、このプロパティのスキャン順序の最初の係数まで2より大きいかどうかを示す2より大きいフラグ(GT2)。このフラグは、GT1フラグで示される1より大きい係数についてのみ送信されることに注意する。
・ 有意性マップ(Significance map、Sig)。ここでは、いわゆる「有意である」係数またはサンプルの位置を示す。これは、非ゼロの係数またはサンプルと言う。0以外の値を示す有意フラグは、ブロック内の各係数位置に対してコーディングされる。
・ 各有効係数の絶対値が1より大きいかどうかを示す1より大きいフラグ(GT1)。4x4ブロックのいくつかの例では、このフラグは符号化順序の最初の8つの有意係数に対してのみ送信される。他の例では、有意な係数ごとに送信できる。他の例では、有意フラグが送信されると、GT1フラグが常に送信される。
・ 「値 & 1」フラグまたはパリティフラグは、この段階で実質的に最下位ビット(LSB)である(「&」は論理AND演算を意味する)。
・ 係数の絶対値が、このプロパティのスキャン順序の最初の係数まで2より大きいかどうかを示す2より大きいフラグ(GT2)。このフラグは、GT1フラグで示される1より大きい係数についてのみ送信されることに注意する。
【0080】
いくつかの例では、スキャン順序で2より大きい第1の係数が発生した後、GT2フラグはそれ以上送信されない。しかしながら、説明されている本例の少なくとも一部では、GT2フラグは、計算された各オカレンスにおいて、または、少なくともサブTUの係数あたりの特定のオカレンス数まで(例えば、最大4つのオカレンス、以下に論じられるように、許容されるオカレンス数はサブTUに対して選択可能である)送られてもよい。
【0081】
一部の例では、非TS（非変換スキップ）動作では、GT1フラグがセットされるたびにGT2フラグが符号化される。4の制限はTS（変換スキップ）に適用され、各係数に最大4回適用されるか、設定されなくなるまで適用される。したがって、第1のGT2フラグがセットされていない場合、値は1または2になり(パリティに応じて)、第1のフラグがセットされ、第2のフラグがセットされていない場合、値は3または4になり、これら最初の2つのフラグがセットされていた場合、値は5または6のようになる。
【0082】
・ 有意な係数に対して提供される係数符号。
上記の配列の各コーディングパスに応じて絶対係数値(ABS(COEFF))が変更され、変更された値が次のパスで使用される。この変更例は、
・ 有意性マップの生成で、1を減算する;
・ GT1マップの生成時に1を減算する;
・ 値&1フラグが生成されると、2で除算される。
上記の配列の各コーディングパスに応じて絶対係数値(ABS(COEFF))が変更され、変更された値が次のパスで使用される。この変更例は、
・ 有意性マップの生成で、1を減算する;
・ GT1マップの生成時に1を減算する;
・ 値&1フラグが生成されると、2で除算される。
【0083】
これは、1つ以上のデータセットが選択された場合に、第1の技法による符号化が、そのデータセットによって符号化可能な値を説明するために、与えられたデータセットによって符号化された後のデータ値を修正することを含む例を提供する。
【0084】
言い換えれば、1つのGT2フラグが実際に生成された係数は、次の例に示すように最小値4であり、各データセットが順に示され、前述の修正後に符号化されるべき残りの値(Val)を示す次の列が示される。
【表1】
【0085】
（エスケープコード）
エスケープコードは、上記のデータセットで符号化されていない残りの絶対レベル、つまりレベル情報を符号化するために使用される。上述の4の効果的な減算のため、適用されるときに1つのGT2フラグが常に送られる構成では、残りの絶対レベルは"coeff - 4"のためだけに符号化される必要がある。係数に対して複数のGT2フラグが送信される場合、連続する各GT2フラグによって表される値に対する増加の寄与を表すために、オフセットが増加する。
エスケープコードは、上記のデータセットで符号化されていない残りの絶対レベル、つまりレベル情報を符号化するために使用される。上述の4の効果的な減算のため、適用されるときに1つのGT2フラグが常に送られる構成では、残りの絶対レベルは"coeff - 4"のためだけに符号化される必要がある。係数に対して複数のGT2フラグが送信される場合、連続する各GT2フラグによって表される値に対する増加の寄与を表すために、オフセットが増加する。
【0086】
残りの絶対レベルは、例えば、第1の部分と非単項符号化された第2の部分とを備えるエスケープコードによって符号化される。第2の部分は、いわゆるライス（Rice）パラメータによって定義される第2の部分のサイズ値に依存する長さ(ビット単位)を有してもよい。
【0087】
このような構成は、符号化されるべき値が2つの部分(上述の第1および第2の部分)と見なされるゴロンブ・ライス符号と呼ばれることがある。第1の部分は、Mによって符号化される値の除算の結果である。ここで、M = 2bであり、第2の部分は、例えば符号化される値の最も重要でないビットの余りbである。ここでの説明では、パラメータbを第2の部分サイズ値と呼ぶ。
【0088】
例では、この商または第1の部分は単項コーディングを使用して符号化され、その後に切り捨てられたバイナリエンコーディングなどを使用して符号化された余りが続く。M = 1 の場合、この符号化は単項コードと同等であることに注意する。
【0089】
例示的な実施形態では、第1の部分はプレフィックスであり、第2の部分はサフィックスである。例えば、第1の部分は、単項エンコード値を含んでもよい。例えば、第1の部分は、切り捨てられた単項値を含むことができる。しかしながら、「第1」および「第2」という用語は、単に識別子であり、符号化または送信順序において第2の部分の前にある第1の部分に対する要件を必ずしも意味しないことに注意されたい。
【0090】
（データセットおよびエスケープコードを符号化および復号化するための装置）
図１２は、一例の符号化装置を概略的に示す。
図１２は、一例の符号化装置を概略的に示す。
【0091】
図１２を参照すると、データ値1200は、スキャン部３６０からのスキャン順序で受信される。生成器1210は、上述のデータセット、即ち、有意性マップ、GT1フラグ、LSB又はパリティ(val & 1)フラグ、及びGT2フラグを生成する。これらは、符号化されたデータストリームに出力するために、出力部1220に提供される。
【0092】
エンコーダ1230は、エスケープコードを符号化する。エンコーダ1230は、符号化されるべき残りの絶対値があるかどうかを検出する検出器1240、及び第2の部分サイズ値を生成する生成器1250に応答し、この処理は、以前に提案された技術を使用して実行される。
【0093】
つまり、現在のデータ値が、使用中のデータセットで符号化可能な最大値を超えているかどうかを検出する。
【0094】
生成器1250は、各データ値1200に関して、そのデータ値がエスケープコードを必要とするか否かにかかわらず、第2の部分サイズ値1265を生成することができる。あるいは、第2の部分のサイズ値は、実際にエスケープコードを必要とするデータ値に関してのみ生成され得る。
【0095】
次に、エンコーダ1230は、上述のようにエスケープコード符号化を実行し、データストリームに出力するためのエスケープコードを出力部1220に提供する。
【0096】
残りの値が大きすぎて、エスケープコードで完全に表現できない場合(例えば、値が、一般的なパラメータを使用したエスケープコードで表現できる最大値より大きい場合)、さらなる種類のコード(エスケープエスケープコード)を提供してもよい。
【0097】
図１３を参照すると、復号化装置は、上述のデータセット(GT2フラグまで)を復号するように構成されたデータセットデコーダ1300を含む。検出器1310は、何らかのエスケープコード又は値が提供されているか否かを検出し、提供されている場合、これらをエスケープコードデコーダ1320に渡し、エスケープコード符号化、即ち、ゴロンブ-ライス(Golomb-Rice)デコードに逆の動作を適用する。これを行うために、生成器1250の機能に対応する生成器1340によって提供される第2の部分サイズ値情報1330を、デコーダ1320は使用する。
【0098】
デコーダ1320は、第2の部分サイズ値情報1330を用いてエスケープコードをデコードし、この処理の出力を形成し、かつ、入力1360を生成器1340に形成するデコードされたデータ1370として、任意のデコードされたエスケープコードを有するデコードされたデータセットの組合せを出力する。
【0099】
（符号化および復号化技術の例）
上述の有意性データの使用とは対照的に、例示的な実施形態では、以下で説明するように、異なるまたは修正された有意性フラグを使用する。これは、さまざまなタイプのデータワードに適用できるが、これらの例では、データ項目はマルチビットデータワード(pビットワードなど)である。これらは、映像信号を表す映像データ項目であってもよく、いくつかの例では、有意性フラグまたはインジケータは、与えられたデータ項目の絶対値が少なくとも第1の閾値を有するか否かを示すように構成されている。
上述の有意性データの使用とは対照的に、例示的な実施形態では、以下で説明するように、異なるまたは修正された有意性フラグを使用する。これは、さまざまなタイプのデータワードに適用できるが、これらの例では、データ項目はマルチビットデータワード(pビットワードなど)である。これらは、映像信号を表す映像データ項目であってもよく、いくつかの例では、有意性フラグまたはインジケータは、与えられたデータ項目の絶対値が少なくとも第1の閾値を有するか否かを示すように構成されている。
【0100】
先に提案した例では、有意性フラグは、係数の絶対値がゼロを超えたかどうか(つまり、1以上であるかどうか)に関連する。例示的な実施形態では、有意性試験が実行される閾値は1よりも大きくてもよく、例えば、試験は2n以上であってもよく、ここでnは潜在的に0よりも大きい整数である。これは、高ビット深度映像信号に関連する映像データ(例えば、ビット深さ>10ビット)が使用されている場合の潜在的な問題に対処する。これは、このようなデータから生成された係数が以前に提案された有意性試験(>=1)を通過する可能性が、低ビット深度映像データの場合よりも潜在的に高いためである。この変更された可能性は、以前に提案された有意性試験を高ビット深度映像データに対してあまり有用でなくすることができる。
【0101】
いくつかの例では、nの値は適応的であってもよく、ビデオデータの処理内の様々な時には、(これは、前に提案されたテストと同等の有意性試験を提供する)0であってもよいが、nの適応性は、より高い閾値に基づく有意性試験を適用することを可能にする。一般に、有意性試験の閾値は、2nに等しい整数であってもよい。ここで、nは、0以上の整数である。
【0102】
他の例では、nは少なくとも1に制約できる。
【0103】
例示的な実施形態では、有意性フラグは、係数の絶対値が2n以上であるか否かを示すために生成される。ここで、nは、ゼロより大きい整数である。例えば、n=7の場合、有意性試験は、係数が128以上であるかどうかの検定として、実質的に左シフトされる。これは、16ビットのデータ値を示す図14によって概略的に表され、各ボックスはビット位置を表わし、最上位ビット(MSB)が左に描画され、最下位ビット(LSB)が右に描画される。有意性検定は、n=7で「27以上であるか？」と言う意味で適用される。
【0104】
状況によっては、係数コードのためのコンテキストコードされたビンのブロックごとの許容値が使い果たされることがある。例えば、これは、所与の4x4サブブロックについて、(例えば)28個のフラグのコーディングを提供することができる。この状況では(いったん使用可能なフラグが使用されると)、有意性フラグはコード化されず、上位ビットの値は別のメカニズム、例えば、ライス符号化を使用してコード化されてもよい。
【0105】
下位7ビットは図14で網掛けされており、以下の議論では「重要でない」と呼ばれる。これは、現在の議論の目的のためにそれらを区別するための単なる用語であり、いかなる特定のシステムにおいても、それらの実際の重要度のいかなる評価も表しないことに注意されたい。
【0106】
図14の網掛けのないビット位置は、有意性試験の閾値を上回るビット位置を表す。2nでの有意性試験に合格しない場合、エンコードされるビットはない。しかしながら、データワードが少なくとも2nであるように有意性試験に合格した場合、上位ビットのさらなるコードが必要とされ得る。符号化を必要とするか必要とする閾値より上のビットは、「有意性」ビットまたは値として(ここでも、純粋に、実際の重要性に関する提案なしに、議論の目的のために)言及される。
【0107】
この構成は、様々な考慮事項に導き、各々は、以下でより詳細に議論される。これらは、(a)「重要である」値をコーディングする方法、(b)「重要でない」値をコーディングする方法、(c)nの値を決定する方法である。
【0108】
(a)及び(b)について、これは、nがゼロより大きいpビットのデータ項目に対して、第1の符号化技術によって最下位nビットデータ項目の第1の部分を符号化することと、第2の符号化技術によって最上位(p-n)ビットで表されるデータ項目の第2の部分を符号化することとを含む例を提供することができる。いくつかの例では、第1の符号化技法は第2の符号化技法と異なってもよい。
【0109】
（(a) 符号化有効値）
図15を参照すると、いくつかの例では、重要ビットの符号化は、上記で議論した先に提案したシステムのものと同様の技術を使用して行われるが、重要な閾値2nの開始地点から行われる。
図15を参照すると、いくつかの例では、重要ビットの符号化は、上記で議論した先に提案したシステムのものと同様の技術を使用して行われるが、重要な閾値2nの開始地点から行われる。
【0110】
ステップ1500で、係数の絶対値が2n以上であるか否かの試験に基づいて、有意性フラグが符号化される。
【0111】
係数が有意である場合、ステップ1510で、GT1フラグがブール結果としてエンコードされる。
GT1 = ((係数の絶対値) >> n) > 1
ここで、">> n"はnビットの右シフトを表す。
GT1 = 真 の場合、ステップ1520で、パリティフラグは
Parity = ((係数の絶対値) >> n) & 1
としてエンコードされる。
ステップ1530で、GT2フラグは次のようにコーディングされる:
GT2 = (((係数の絶対値) >> n) - parity) > 2
GT2フラグがセットされている場合、ステップ1540において、余りがエスケープコードとしてコード化される。例えば、ライス符号化を使用する:
remainder= (((係数の絶対値) >> n) - 4) >> 1
ステップ1550で、重要でないビットはすべて、以下で説明する技術を使用してコード化される。別の構成例を図16に概略的に示す。
GT1 = ((係数の絶対値) >> n) > 1
ここで、">> n"はnビットの右シフトを表す。
GT1 = 真 の場合、ステップ1520で、パリティフラグは
Parity = ((係数の絶対値) >> n) & 1
としてエンコードされる。
ステップ1530で、GT2フラグは次のようにコーディングされる:
GT2 = (((係数の絶対値) >> n) - parity) > 2
GT2フラグがセットされている場合、ステップ1540において、余りがエスケープコードとしてコード化される。例えば、ライス符号化を使用する:
remainder= (((係数の絶対値) >> n) - 4) >> 1
ステップ1550で、重要でないビットはすべて、以下で説明する技術を使用してコード化される。別の構成例を図16に概略的に示す。
【0112】
ここでは、(エスケープ値がコーディングされているかのように)ライスコーディングを使用するだけでコーディングを実行できる。あるいは、任意選択的に、有意性フラグは、まず、ステップ1600でコード化することができる(上述のステップ1500に対応する)。任意の重要なビット又は重要なフラグが符号化されていない場合は0が次いでステップ1610でライス符号化によって符号化され、ステップ1620で任意の重要でないビットが以下で説明する技術を使用して符号化される。
【0113】
上述のように有意性フラグをコード化し、ゼロ以上のフラグをコード化することは、以下を含む1つ以上のデータセットを使用する符号化の例を提供する:
有意性インジケータを含む有意性データセット;
および、以下で構成されるリストから選択される0個以上のデータセット:
特定のデータ項目がmのそれぞれの値より大きいかどうかを示す、1つ以上のmより大きいデータセット（mは第1の閾値より大きい）;
データ項目の最下位ビットの値を示すパリティデータセット。
有意性インジケータを含む有意性データセット;
および、以下で構成されるリストから選択される0個以上のデータセット:
特定のデータ項目がmのそれぞれの値より大きいかどうかを示す、1つ以上のmより大きいデータセット（mは第1の閾値より大きい）;
データ項目の最下位ビットの値を示すパリティデータセット。
【0114】
したがって、いくつかの例では、第2の符号化技術は、さらなるデータセットの1つ以上を生成することを含む。例において、第2の符号化技法は、与えられたデータ項目の超過値について、その超過値は、与えられたデータ項目が有意性データセットによって符号化可能な最大値を超える量であり、1つ以上のデータセットは、第1の部分と、第2の部分のサイズに依存してビット単位の長さを有する非単項符号化第2の部分とを含むエスケープコードとして符号化する。
【0115】
（(b) 重要でない値の符号化）
以下の説明では、さまざまなオプションについて説明する。有意性試験の結果にかかわらず、「重要でない」ビット(n個のLSBで表されるワード値の部分を示す)が存在する可能性があることに注意する。したがって、有意性試験に合格するか否かにかかわらず、これらのnビットを符号化できるようにするための準備が必要である(ただし、有意性試験の結果に応じて、異なるLSB符号化技法を使用してもよい)。図17-19に関連して、実施例の構成を説明する。図20は、符号化されるn個のLSBを概略的に示す。
以下の説明では、さまざまなオプションについて説明する。有意性試験の結果にかかわらず、「重要でない」ビット(n個のLSBで表されるワード値の部分を示す)が存在する可能性があることに注意する。したがって、有意性試験に合格するか否かにかかわらず、これらのnビットを符号化できるようにするための準備が必要である(ただし、有意性試験の結果に応じて、異なるLSB符号化技法を使用してもよい)。図17-19に関連して、実施例の構成を説明する。図20は、符号化されるn個のLSBを概略的に示す。
【0116】
図17を参照すると、第1の可能性は、単に、蓋然性が等しい(EP) CABACビンを使用して、n個のLSBによって表される任意のデータを符号化することである(ステップ1700において)。
【0117】
図18を参照すると、n個のLSBは、第2のフラグを使用して符号化することができ、これは、例えば、前に提案されたシステムと同様のフラグであり、例えば、第2の有意性フラグ(1以上の試験)に加えて、GT1、パリティ、GT2などの1つ以上の後続フラグを加えたものである。一部の例では、GT2は使用されない場合がある。GT2を符号化しない場合、符号化されるフラグの最大数は4(第1および第2の有意性+ GT1 + パリティ)に維持される。これにより、余りの計算のオフセットが4から2に変更される。第2のフラグで符号化可能な制限を超えるn個のLSBの値は、エスケープコードとして符号化できる。図18では、フラグがステップ1800で生成され、n個のLSBがステップ1810で符号化される。
【0118】
図19では、第2の有意性フラグが再び使用され(そして実際にはステップ1900で生成される)、n個のLSBがステップ1910で符号化される。図18に関する相違点は、第2の有意性フラグは、絶対係数値が>=1であるか否かの試験の代表的なものではなく、絶対係数値が>=2(n-m)であるか否かの試験である。ここで、mは、n以下の所定の整数である。
n=1の場合、m = 1。それ以外の場合、n>1であればm < n。
n=1の場合、m = 1。それ以外の場合、n>1であればm < n。
【0119】
例えば、この例のようにn = 7である場合、図20に概略的に示されるように、mは、第2の有意性試験が第1の有意性試験に対して2ビット右側(有意でない方向)に実装されるように2に等しくてもよい。
ここで、第2の有意性試験は、以下の試験として表現されてもよい:
(絶対係数値 >> max(n-m,0)) > 0
ここで、第2の有意性試験は、以下の試験として表現されてもよい:
(絶対係数値 >> max(n-m,0)) > 0
【0120】
上記のように、n個のLSBは、第2の有意性試験が合格されるか否かにかかわらず、何らかの形で符号化されなければならない。しかしながら、それらを符号化するために使用されるアプローチまたは技術は、第2の有意性試験の結果に依存して異なる可能性がある。
【0121】
一例では、図21において、(この例では)m = 2およびn = 7であり、LSBからのビットにビット0としてナンバリングする場合、以下の技術が使用されてもよい:
第2の有意性試験に合格した場合は、以下の(i)および(ii)を適用する:
(i) ビット6および5を次のように符号化する:
第2の有意性フラグ(n = 1 またはm = 1 の場合、これは符号化する必要があるすべてであることに注意する。GT1またはパリティは必要ない);
GT1フラグ(絶対係数値 >> max(n-m,0)) > 1
GT1が設定され、n>1の場合、(絶対係数値 >> max(n-m,0)) & 1としてパリティを符号化する。
(ii) n > 2の場合、残りのLSB(この例ではビット0-4)をEP CABACビンとして符号化する。
第2の有意性試験に合格した場合は、以下の(i)および(ii)を適用する:
(i) ビット6および5を次のように符号化する:
第2の有意性フラグ(n = 1 またはm = 1 の場合、これは符号化する必要があるすべてであることに注意する。GT1またはパリティは必要ない);
GT1フラグ(絶対係数値 >> max(n-m,0)) > 1
GT1が設定され、n>1の場合、(絶対係数値 >> max(n-m,0)) & 1としてパリティを符号化する。
(ii) n > 2の場合、残りのLSB(この例ではビット0-4)をEP CABACビンとして符号化する。
【0122】
第2の有意性試験に合格しない場合は、以下の(i)および(ii)を適用する:
(i) n>2 の場合、残りのLSBをEP CABACビンとして符号化する。
(ii) n=1または2の場合、ビットは上記のフラグを使用してすでに符号化されているため、LSBをさらに符号化する必要はないことに注意する。
(i) n>2 の場合、残りのLSBをEP CABACビンとして符号化する。
(ii) n=1または2の場合、ビットは上記のフラグを使用してすでに符号化されているため、LSBをさらに符号化する必要はないことに注意する。
【0123】
したがって、少なくともいくつかの例では、第1の符号化技法は、蓋然性が等しい2進算術符号化によって、最下位nビットの少なくとも一部を符号化することを含む。例において、第1の符号化技法は、第1の閾値よりも低い第2の閾値に関する第2の有意性インジケータを生成することを含む。
【0124】
（(c) nの値を決定する方法）
nの値は、エンコーダ側及びデコーダ側での対応又は対称プロセスによって導出されるか、もしくは、所定のビットストリームで信号化され得る。いくつかの例では、nの値は、例えば、エンコーダ及びデコーダ側で同等の技術を使用して適応可能であり、その結果、同じ適応は、例えば、それぞれの場合においてコントローラ343によって両側で等価的に実行され得る。nの多値は、例えば、トランスフォーム又はトランスフォームスキップなどにかかわらず、成分、成分タイプ、ブロックサイズによって信号を送ることができる。この値は、シーケンス毎に1回、スライス毎に1回、CTU毎に1回、画像毎に1回等の信号を送ることができる。
nの値は、エンコーダ側及びデコーダ側での対応又は対称プロセスによって導出されるか、もしくは、所定のビットストリームで信号化され得る。いくつかの例では、nの値は、例えば、エンコーダ及びデコーダ側で同等の技術を使用して適応可能であり、その結果、同じ適応は、例えば、それぞれの場合においてコントローラ343によって両側で等価的に実行され得る。nの多値は、例えば、トランスフォーム又はトランスフォームスキップなどにかかわらず、成分、成分タイプ、ブロックサイズによって信号を送ることができる。この値は、シーケンス毎に1回、スライス毎に1回、CTU毎に1回、画像毎に1回等の信号を送ることができる。
【0125】
図22aは、ステップ2200でnの値が生成され、nの値(またはそれの表現)が、例えばステップ2210で設定された画像ヘッダまたはパラメータで信号化され、nの生成値を使用してステップ2220で1つ以上の係数値(例えば、全体画像を表すもの)が符号化された後、制御がステップ2200に戻ってnの次の値が生成される。
【0126】
同図22bでは、デコーダ側での等価プロセスが示されており、ステップ2230で、デコーダは信号された値n(ステップ2210で提供される)を受信し、ステップ2240で、制御をステップ2230に戻す前に、1つ以上の係数値(例えば、全体像を表すもの)をデコードする。
【0127】
比較として(図23a及び23bは、関連するパラメータが符号化器側によって導出され、符号化される図27に関して説明したものではなく、上述の実施形態に適用可能であるという意味で)、図23a及び23bは、符号化器側及び復号器側において、符号器と復号器の間のようにn(または他のパラメータ)の値を信号送信する必要がない、ステップをそれぞれ概略的に示す。特に、図23aでは、ステップ2300で、nの値がローカルに(すなわち、エンコーダ側で)生成され、ステップ2310で、1つ以上の係数値をエンコードするために使用される。同様に、デコーダ側では、ステップ2320でデコーダに利用可能な情報からローカルにnの値も生成され、ステップ2330で、1つ以上の係数値がnのその値を使用してデコードされる。
【0128】
図24aに示されたステップ2200の例は、nの値が、現在の係数に関連する任意のエスケープコードの符号化のために生成されたライスパラメータに相対的なオフセット量(例えば、+pまたは-p、ここでpはゼロより大きい整数)として表されることである。オフセット量はあらかじめ決めることができる。図24aにおいて、ステップ2400は、ライスパラメータの生成に関するものであり(これは、符号化処理の別個の部分としてとにかく実行されてもよい)、ステップ2410は、生成されたライスパラメータからの固定または所定のオフセットとしてnを生成することを含む。
【0129】
さらに別の例を図24bに概略的に示す。ここで、nの値は有意性メトリックに基づいている。ステップ2420で、値が開始される。すなわち:
n = 0(nは上述の有意性試験の定義に使用した値);
s = 0 (sは有意な係数のカウント、つまり、有効なnで定義された有意性試験に合格した係数の数);
c = 0(cは符号化された係数数のカウントである)、および
min_c = 8(min_cは、後述するステップ2440で何らかの変動が行われる前の、値cの閾値下限である)。
n = 0(nは上述の有意性試験の定義に使用した値);
s = 0 (sは有意な係数のカウント、つまり、有効なnで定義された有意性試験に合格した係数の数);
c = 0(cは符号化された係数数のカウントである)、および
min_c = 8(min_cは、後述するステップ2440で何らかの変動が行われる前の、値cの閾値下限である)。
【0130】
各係数が符号化されると、cおよび(適切であれば)sは、ステップ2430で1インクリメントされる。
【0131】
次いで、ステップ2440で、nが適応的に変動される。プロセスは、例えば、以下のようになる:
c < min_cの場合は何もしない。
さもなくば
s/c > upper_thresholdの場合、n = n +1; min_cの一般的な値を2倍にしてs、cを0にリセットする;
さもなくば
s/c < lower_threshold の場合、n = n - 1(ゼロ未満にならないという制約がある)で、min_cの値を2 倍し、s、cを0にリセットする。
言い換えると、nへの変更が行われる如何なる変化に対しても、cは少なくともmin_c (nが変更されるたびに2倍になる) と等しい。
c < min_cの場合は何もしない。
さもなくば
s/c > upper_thresholdの場合、n = n +1; min_cの一般的な値を2倍にしてs、cを0にリセットする;
さもなくば
s/c < lower_threshold の場合、n = n - 1(ゼロ未満にならないという制約がある)で、min_cの値を2 倍し、s、cを0にリセットする。
言い換えると、nへの変更が行われる如何なる変化に対しても、cは少なくともmin_c (nが変更されるたびに2倍になる) と等しい。
【0132】
nが変更されると、インクリメントか減分かにかかわらず、min_cが変更され(たとえば、2倍)、sとcの両方がゼロにリセットされる。
【0133】
upper_thresholdとlower_thresholdは、例えば、low n(例えば、5以下)の場合は[0.8; 0.6]である。nが大きい場合、例は[0.6、0.4]である。
【0134】
s/cの閾値テストのどちらも渡されない場合、nまたはmin_cは変化されない。このプロセスは、スライスまたはコードツリーユニット、CTU(または他のブロック)のコード開始時にリセットすることができる(ステップ2420)。
【0135】
これらの技術は、例えば、適応変動が、それらのデータ項目が少なくとも第1の閾値を有することを意味する有意インジケータを示す符号化データ項目の割合(例えばs/c)に応答して第1の閾値を変化させることを含む、符号化データ項目のデータ値に応答して第1の閾値を適応的に変化させる例を提供する。
【0136】
他の例では、nは、1またはゼロより高い別の整数にリセットされ、上述の適応プロセスにおいて1(またはその他の整数)以下にならないように制約され得る。
【0137】
（有意性ブロックまたはサブブロックフラグの意味に対する変化の可能性）
有意なサブブロックフラグは、サブブロック内の少なくとも1つの値が新たな有意性試験に合格したことを示すように解釈されてもよい(任意の係数の絶対値 >= 2 n？)。これは、データ項目のブロックのための標識を符号化する例(または復号化側において、復号化)を提供し、データ項目のブロックの中の何れかのデータ項目が少なくとも第1の閾値の絶対値を有するか否かを示す。
有意なサブブロックフラグは、サブブロック内の少なくとも1つの値が新たな有意性試験に合格したことを示すように解釈されてもよい(任意の係数の絶対値 >= 2 n？)。これは、データ項目のブロックのための標識を符号化する例(または復号化側において、復号化)を提供し、データ項目のブロックの中の何れかのデータ項目が少なくとも第1の閾値の絶対値を有するか否かを示す。
【0138】
nビット単位のシフトは、各係数に対して、もしくはブロックまたはサブブロックの処理の最後に実行できる。処理の終わりにシフトを適用すると、ブロックまたはサブブロックの処理内で(以前に提案されたシステムで使用されたものと比較して)同等の処理を使用できるようになる。例えば、ブロックまたはサブブロック内の隣接する値に依存する任意のプロセスなどである。例では、重要なサブブロックフラグが設定されていない場合、各係数の重要な比率のコーディングはサブブロックに対して行われず、サブブロック内の各係数の重要な比率はゼロに設定される。このような場合、LSBのみが重要でない値として符号化される。重要でない値は、例えば、ブロックまたはサブブロックの終わりにEPエンコードされ、処理の残りが実行された後に、デコード時にブロックに戻される。このようにまとめることで、CABACビットストリームのアラインメントが向上する可能性がある。
【0139】
したがって、これは、データ項目のブロックのデータ項目の符号化された第1の部分の後に、蓋然性が等しい2進算術符号化によって符号化されたデータ項目のブロックのための最下位ビットを、出力データストリームの中でグループ化する例を提供する。
【0140】
デコード側では、この構成は、データ項目のブロックの一例を提供する:
n = 0の値を使用して、データ項目のそのブロックのデータ項目の第1の部分をデコードする;
データ項目のデコードされた第1の部分へのnビットのビットシフトを適用する;
データ項目のそのブロックに対するデータ項目の第2の部分を復号し、かつ、
データ項目の復号化された第2の部分を、適用ステップによって生成されたそれぞれのビットシフトされた第1の部分と結合する。
n = 0の値を使用して、データ項目のそのブロックのデータ項目の第1の部分をデコードする;
データ項目のデコードされた第1の部分へのnビットのビットシフトを適用する;
データ項目のそのブロックに対するデータ項目の第2の部分を復号し、かつ、
データ項目の復号化された第2の部分を、適用ステップによって生成されたそれぞれのビットシフトされた第1の部分と結合する。
【0141】
有意性ブロックフラグは、ブロック内の少なくとも1つの値が新たな有意性試験(abs値 >= 2n)をパスすることを示すと解釈されてもよい。有意性ブロックフラグが設定されていない場合、各係数の有意性比率のコーディングはブロックに対してそれ以上行われず、ブロック内の各係数の有意性比率はゼロに設定される。有意性ブロックフラグが設定されている場合、サブブロックがコード化される。nがゼロの場合、有意性ブロックフラグはコード化されない(設定されているとみなされる)。
【0142】
（その他の例）
さらなる例として、擬似ライスパラメータを生成してもよい。これは、GB 2015486.0およびGB 2009255.7のように履歴ストアが提供されることを前提としている(それぞれのコンテンツは参照によって本書に組み込まれている)。格納された履歴には、各係数に対して更新されるsay shiftCountersと呼ばれるカウンタの配列(以前のように分割される可能性がある)が含まれているとする。上記の場合、これはいくつかの例で非ゼロ係数に制限されていたが、ここではすべて更新されている。
shiftCounter = shiftCountersのいずれかを選択する
shift = shiftCounter / 除数;
if (abs(value) >= (3 << shift)) {
shiftCounter += increment;
} else if ((abs(value) << 1) < (1 << shift)){
shiftCounter = std::max(0, count - decrement);
}
さらなる例として、擬似ライスパラメータを生成してもよい。これは、GB 2015486.0およびGB 2009255.7のように履歴ストアが提供されることを前提としている(それぞれのコンテンツは参照によって本書に組み込まれている)。格納された履歴には、各係数に対して更新されるsay shiftCountersと呼ばれるカウンタの配列(以前のように分割される可能性がある)が含まれているとする。上記の場合、これはいくつかの例で非ゼロ係数に制限されていたが、ここではすべて更新されている。
shiftCounter = shiftCountersのいずれかを選択する
shift = shiftCounter / 除数;
if (abs(value) >= (3 << shift)) {
shiftCounter += increment;
} else if ((abs(value) << 1) < (1 << shift)){
shiftCounter = std::max(0, count - decrement);
}
【0143】
この提案では、参照された構成においてn、従って減少>増分を過小評価するのが一般的に良い。コーディング時には、上で計算したn = shiftを使用する。
（表２：実用例- 有意性試験）
（表３：実用例- コーディング85(1010101)）
（表２：実用例- 有意性試験）
【表2】
【表3】
【0144】
なお、「ライスでコード化した値」は、数式の左側の値である。この値の合計に対する寄与は、右側に示される。パリティは1のシフトに関係する。
【0145】
（値85 (1010101)の符号化された重要でないビットの実用例）
1. 下位7ビット1010101のみ
2. 第2の有意性
- 有意性=1、GT1 = 1、GT2 = 1、Parity = 1、ライスとしてコード40
- 有意性=1、GT1 = 1、Parity = 1、ライスとしてコード41
・ (4の第1の有意性を含む)合計フラグを保持するためにGT2を使用しない
3. 第2の有意性オフセット(m = 2)
- 有意性(>32) = 1、GT1 (>64) = 1、Parity(& 100000) = 0、コード5の最下位ビット10101
・ この定式化では、有意性が1の場合はGT 1のみがシグナリングされ、有意性とGT 1の両方が1の場合のみParityシグナリングされる。
- GT1 (>64) = 1、Parity(& 100000) = 0、コード5の最下位ビット10101
・ この定式化では、両方のフラグを通知する必要がある
- 基本的には、CABACコンテキストビンを使用して上位2つのLSBを符号化する。
4. 第2の有意性オフセット(m = 1)
- 有意性(>64) = 1、コード6の最下位ビット010101
・ 基本的には、CABACコンテキストビンを使用して上位のLSBを符号化する
1. 下位7ビット1010101のみ
2. 第2の有意性
- 有意性=1、GT1 = 1、GT2 = 1、Parity = 1、ライスとしてコード40
- 有意性=1、GT1 = 1、Parity = 1、ライスとしてコード41
・ (4の第1の有意性を含む)合計フラグを保持するためにGT2を使用しない
3. 第2の有意性オフセット(m = 2)
- 有意性(>32) = 1、GT1 (>64) = 1、Parity(& 100000) = 0、コード5の最下位ビット10101
・ この定式化では、有意性が1の場合はGT 1のみがシグナリングされ、有意性とGT 1の両方が1の場合のみParityシグナリングされる。
- GT1 (>64) = 1、Parity(& 100000) = 0、コード5の最下位ビット10101
・ この定式化では、両方のフラグを通知する必要がある
- 基本的には、CABACコンテキストビンを使用して上位2つのLSBを符号化する。
4. 第2の有意性オフセット(m = 1)
- 有意性(>64) = 1、コード6の最下位ビット010101
・ 基本的には、CABACコンテキストビンを使用して上位のLSBを符号化する
【0146】
（装置の概要）
図12の装置は、ここで説明した技術に従って動作し、例えば、図7及び図8と関連して、連続するデータ項目を符号化するための装置の一例を提供する。装置は、以下を備える:
一連の1つ以上のデータセットを使用して所定のデータ項目を符号化するように構成された符号化回路1210、1240、1230。各データセットは、データ項目の値のそれぞれの範囲を表し、一連の1つ以上のデータセットは、所与のデータ項目が少なくとも第1の閾値を有するか否かを示すための有意性インジケータを少なくとも含み、
少なくとも一部のデータ項目について、1より大きい第1の閾値を選択するように構成された制御回路343、1250。
図12の装置は、ここで説明した技術に従って動作し、例えば、図7及び図8と関連して、連続するデータ項目を符号化するための装置の一例を提供する。装置は、以下を備える:
一連の1つ以上のデータセットを使用して所定のデータ項目を符号化するように構成された符号化回路1210、1240、1230。各データセットは、データ項目の値のそれぞれの範囲を表し、一連の1つ以上のデータセットは、所与のデータ項目が少なくとも第1の閾値を有するか否かを示すための有意性インジケータを少なくとも含み、
少なくとも一部のデータ項目について、1より大きい第1の閾値を選択するように構成された制御回路343、1250。
【0147】
図13の装置は、本明細書で説明した技術に従って動作し、例えば図7および図8に関連して、連続するデータ項目を表す入力データ信号をデコードする装置の一例を提供する。この装置は、以下を含む:
一連の1つ以上のデータセットを用いて所与のデータ項目を復号化するように構成された復号化回路1300、1310、1320。各データセットは、データ項目の値のそれぞれの範囲を表し、一連の1つ以上のデータセットは、所与のデータ項目が少なくとも第1の閾値を有するか否かを示すための有意性インジケータを少なくとも含み、
少なくとも一部のデータ項目について、1より大きい第1の閾値を選択するように構成された制御回路343、1340。
一連の1つ以上のデータセットを用いて所与のデータ項目を復号化するように構成された復号化回路1300、1310、1320。各データセットは、データ項目の値のそれぞれの範囲を表し、一連の1つ以上のデータセットは、所与のデータ項目が少なくとも第1の閾値を有するか否かを示すための有意性インジケータを少なくとも含み、
少なくとも一部のデータ項目について、1より大きい第1の閾値を選択するように構成された制御回路343、1340。
【0148】
なお、実施例では、上記の有意性インジケータは、フラグの潜在的な連続性(有意性、GT1、GT2など)における第1のフラグであってもよい。ここで議論したように、さらに有意性のあるフラグを使用してもよい。
【0149】
図12及び図13は、エンコード回路及びデコード回路をそれぞれの場合には2つのそれぞれのユニットとするが、各インスタンスの第1及び第2の回路は、それぞれの機能の両方を有する単一の共通回路として実現することができることに留意されたい。
【0150】
上述したように、これらの装置のいずれも、そのような装置を備えるビデオデータキャプチャ、伝送、ディスプレイおよび/または記憶装置として実施することができることに留意されたい。
【0151】
（方法の要約）
図25は、連続するデータ項目を符号化する方法を示す模式的なフローチャートであり、この方法は、以下を含む:
（ステップ2500において）所与のデータ項目を、一連の1つ以上のデータセットを用いて符号化すること（各データセットは、データ項目の値のそれぞれの範囲を表し、一連の1つ以上のデータセットは、所与のデータ項目が少なくとも第1の閾値を有するか否かを示すための有意性インジケータを少なくとも含む）、および、
少なくとも一部のデータ項目については、1より大きい第1の閾値を選択すること(ステップ2510で)。
図25は、連続するデータ項目を符号化する方法を示す模式的なフローチャートであり、この方法は、以下を含む:
（ステップ2500において）所与のデータ項目を、一連の1つ以上のデータセットを用いて符号化すること（各データセットは、データ項目の値のそれぞれの範囲を表し、一連の1つ以上のデータセットは、所与のデータ項目が少なくとも第1の閾値を有するか否かを示すための有意性インジケータを少なくとも含む）、および、
少なくとも一部のデータ項目については、1より大きい第1の閾値を選択すること(ステップ2510で)。
【0152】
図26は、連続するデータ項目を復号する方法を示す模式的なフローチャートであり、この方法は、以下を備える:
（ステップ2600において）所与のデータ項目を、一連の1つ以上のデータセットを用いて復号化すること（各データセットは、データ項目の値のそれぞれの範囲を表し、一連の1つ以上のデータセットは、所与のデータ項目が少なくとも第1の閾値を有するか否かを示すための有意性インジケータを少なくとも含む）、および、
少なくとも一部のデータ項目については、1より大きい第1の閾値を選択すること(ステップ2610で)。
（ステップ2600において）所与のデータ項目を、一連の1つ以上のデータセットを用いて復号化すること（各データセットは、データ項目の値のそれぞれの範囲を表し、一連の1つ以上のデータセットは、所与のデータ項目が少なくとも第1の閾値を有するか否かを示すための有意性インジケータを少なくとも含む）、および、
少なくとも一部のデータ項目については、1より大きい第1の閾値を選択すること(ステップ2610で)。
【0153】
上記の符号化技術のいずれか1つ以上を、図7及び/又は8及び/又は12の装置によって実施することができる。
【0154】
上記の復号化技術のいずれか1つ以上を、図7及び/又は8及び/又は13の装置によって実施することができる。
【0155】
（ステップ2200に関連するさらなる例(デコーダに信号を送るためのエンコーダ側におけるnの生成)）
ここで、上述のようにパラメータnの生成に使用することができるが、この使用法に加えて、またはこの使用法の代わりに、他の、異なる使用法を有することもある、さらなる例を説明する。
ここで、上述のようにパラメータnの生成に使用することができるが、この使用法に加えて、またはこの使用法の代わりに、他の、異なる使用法を有することもある、さらなる例を説明する。
【0156】
図27は、例えば、以下の目的の1つ以上(または実際に他の目的のため)のエンコーダ側で実施可能な技術の概要を示す概略フローチャートである:
・上述のnの生成;
・後述するいわゆる「変換スキップ残留符号化」(TSRC)におけるような符号化の他の態様で使用するためのパラメータの生成;
・「最後のx,y」パラメータと呼ばれるパラメータの導出に使用するための好ましい走査方向の検出;
・このような「最後のx,y」パラメータがシグナリングされるかどうかを示すパラメータの生成(例えば、デコーダ側へのシグナリング)。
・上述のnの生成;
・後述するいわゆる「変換スキップ残留符号化」(TSRC)におけるような符号化の他の態様で使用するためのパラメータの生成;
・「最後のx,y」パラメータと呼ばれるパラメータの導出に使用するための好ましい走査方向の検出;
・このような「最後のx,y」パラメータがシグナリングされるかどうかを示すパラメータの生成(例えば、デコーダ側へのシグナリング)。
【0157】
この技術は、符号化されるべき残差データの1つ以上の態様の推定値を生成することに基づいている(完全符号化処理において、これは入力画像と入力画像の予測との間の差330である)。本解析の目的のために、ステップ2700は、完全符号化に使用される形式の画像間及び画像内予測のような特定の画像予測のより複雑で時間のかかる生成を必要とすることなく、残差データ330の比較的単純な推定値を生成することを含む。
【0158】
例えば、図27のステップは、その画像の完全な符号化の前に、画像に関して実行されてもよく、したがって、この例では、ステップ2200は、1つの画像につき1回実行され、ステップ2210は、例えば、画像ヘッダ及び/又は画像パラメータセットにおいて、1つの画像につき1回、n(及び/又は、上述のように、この技術を使用して得られた他の情報)の派生値の信号送信を含んでもよい。しかしながら、ステップ2200(換言すれば、図27の技術)は、これよりも頻繁に又はそれ以下に実行することができ、ステップ2210でのシグナリングは、デコーダが、符号化画像データのデコードに使用するために、上述のn(及び/又は他のパラメータ)の一般的な適切な値を提供されるように実行することができることが理解される。これは、符号化される一画像又は画像部分に関して生成および通信ステップを一度実行する例を提供するものであり、一連の画像データサンプルは、符号化されるその画像又は画像部分の画像データサンプルの少なくとも一部を含む。
【0159】
代わりに、サンプル2900(図29)に対する推定予測値は、サンプル2900の上のサンプル値2910またはサンプル2900の左側のサンプル値2920とされ得る。
【0160】
ステップ2700のいくつかの例では、これらのサンプル値2910、2920のうちの1つは、所定のベースで選択され、サンプル2900に対応する残差データの推定値が、以下のように、予測として使用され得る:
residual = abs(value - pred)
ここで、「value」はサンプル2900、「pred」は予測に使用される選択されたサンプルを表し、「abs」は絶対値を表す。
residual = abs(value - pred)
ここで、「value」はサンプル2900、「pred」は予測に使用される選択されたサンプルを表し、「abs」は絶対値を表す。
【0161】
これは、与えられた画像データサンプルを、与えられた画像データサンプルに相対的な所定の画像位置にある別の画像データサンプルと比較し、与えられた画像データサンプルと他の画像データサンプルとの差に依存して、与えられた画像データサンプルに対する残差データの推定値を導出する例を提供する。
【0162】
ステップ2700の別の例では、予測predは、例えば、サンプル2900に対する所定の空間関係を有する2つ以上のサンプルの平均であるとみなすことができる:
pred = mean(値2910、値2920)
pred = mean(値2910、値2920)
【0163】
predを生成するために平均化される一連のサンプル値には、2つ以上のサンプル値を含めることができる。平均化処理は、例えば、サンプル2910、2920の値が、サンプル2910から空間的に離れている他のサンプルの値よりも重み付けされるように、重み付けされた平均とすることができる。predの生成が基になるサンプルは、サンプル2900からの任意の方向に変位され得るが、例示的な構成では、それらは、サンプル2900の上および/または左に変位される。サンプル2900の位置が1つ以上の画像端に隣接しているなどの理由で、このようなサンプルが欠落している場合、予測predは、実際に存在する1つ以上のサンプルに基づくことができる。他の例では、推定される予測predの値は、サンプルの最上行及び／又は左端列の位置以外のサンプル2900の位置に対して生成され得る。
【0164】
これは、与えられた画像データサンプルと、与えられた画像データサンプルに相対的な所定の各画像位置にある2つ以上の他の画像データサンプルの所定の組み合わせとして導出された値とを比較し、与えられた画像データサンプルと所定の組み合わせとして導出された値との差に依存して、与えられた画像データサンプルの残差データの推定値を導出する例を提供する。
【0165】
ステップ2700の別の例では、複数の推定値が生成され(例えば、図28のステップ2800で)、次いで、ステップ2810でこれらの推定値の中から選択することによって得られる残差が生成される。
【0166】
例えば、一連の予測pred1...predN (N > 1)の場合、導出は次のようになる:
residual = min(abs(value - pred1), abs(value - pred2),...abs(value - predN))
ここで、「min」は最小関数を表す。
residual = min(abs(value - pred1), abs(value - pred2),...abs(value - predN))
ここで、「min」は最小関数を表す。
【0167】
これは、与えられた画像データサンプルを、与えられた画像データサンプルに対して異なる、予め定められた各画像位置において、2つ以上の他の画像データサンプルと比較し、与えられた画像データサンプルと2つ以上の他の画像データサンプルとの間の最小の各差に依存して、与えられた画像データサンプルに対する残差データの推定値を導出する例を提供する。
【0168】
図27を参照すると、次のステップ2710は、推定された残留値の頻度分布、例えば、ヒストグラム表現を生成することを含む。「ヒストグラム」という言葉は、グラフィカルな表現を意味することがあるが(実際には、以下の説明ではグラフィカルな例を示している)、現在のコンテキストでは、グラフィカルな表現ではなく、頻度分布データの生成を意味する。
【0169】
図30は、そのようなヒストグラムの概略的な例を提供する。ここで、縦軸は、任意のスケール(当然、検討中の画像のサンプル数に依存する)での発生頻度を表す。横軸は、上述のいずれかの技法を使用して、サンプルについて導出された残差データを表す各ビン値を示す各々の「ビン」を表す。
【0170】
ビンに入力するために、以下の例の処理を実行してもよい:
bin = log2(residual) * 6
ここで、log2は底2の対数を示す。
bin = log2(residual) * 6
ここで、log2は底2の対数を示す。
【0171】
6による乗算は、6のQP(量子化パラメータ)の変化がこの例の2の量子化ステップを示す多くの符号化システム(いわゆるVersatile Video Codingシステム)の機能を可能にするために適用される。QPをマッピングする方法が異なる場合もある。したがって、それは、事実上、数値的残差データと以下に論じるQP精算処理との間のような、スケーリング操作である。これは、等価に、示された段階で6による乗算と除算を適用せず、代わりに、以下に導出された「調整」値を6で除算することによって行うことができた。6による乗算は、後で6による除算によって逆になる。
【0172】
図30のヒストグラムは、後述するステップ2720の前のステップ2710で生成され、「QP調整」のプロセスが適用されるデータを表す概念的表示として、「QP調整なし」とラベル付けされる。
【0173】
ステップ2720を参照すると、QP調整処理が提供される。これは、量子化パラメータ(QP)情報、特に、考慮中の画像データのビット深度(以下の発現におけるビット深度)に依存するいわゆるbaseQPと、サンプル2900の各々を含む画像スライスに適用可能なスライスQP(そして、画像の完全符号化が実行される前に導出される)を利用する。例では:
baseQP = 4 - (ビット深度-8) * 6
adjustment = sliceQP - baseQP
adjustedBin = max(0, initialBin - adjustment)
ここで、「max」は最大関数を表す。
baseQP = 4 - (ビット深度-8) * 6
adjustment = sliceQP - baseQP
adjustedBin = max(0, initialBin - adjustment)
ここで、「max」は最大関数を表す。
【0174】
この効果は、ヒストグラムを左に「移動」させ、ヒストグラムの左側のゼロビンの値を蓄積することである。ビンの内容は、初期ビン(initialBin)から調整済みビン(adjustedBin)に移動される。ただし、「max」関数は、調整済みビンをビン0よりも低くすることはできないこと、つまり、ヒストグラムの左側のビンを描画することを意味する。このプロセスは、ここで議論される推定を生成する目的のために、完全符号化の間に適用される量子化プロセスを少なくとも部分的にシミュレートする。
【0175】
【0176】
【0177】
同図33～35は、それぞれ累積頻度グラフを表している。繰り返しになるが、これは、生成されたデータに関連する基礎技術プロセスの記述のための、単なる視覚的表現である。各累積頻度チャートは、図30～32の各ヒストグラムについて、各ビン値(横軸)に関連付けられたパーセンタイル(縦軸)を示す。
【0178】
いくつかの例において、ステップ2730は、例えば、第2のパーセンタイル(37.5%パーセンタイル)の中心点におけるビンの検出を含み、検出されたビン値を6で除算して、値nを(ステップ2740で)として生成する、単一ビンの検出を含むことができる:
n = (37.5%パーセンタイルのビン) / 6
他の例では、平均化処理を使用することができる:
n = ((a + 2b + c) / 4) / 6
ここで:
・a = 25%パーセンタイルでのビン
・b = 37.5%のパーセンタイルでのビン
・c = 50パーセンタイルでのビン。
n = (37.5%パーセンタイルのビン) / 6
他の例では、平均化処理を使用することができる:
n = ((a + 2b + c) / 4) / 6
ここで:
・a = 25%パーセンタイルでのビン
・b = 37.5%のパーセンタイルでのビン
・c = 50パーセンタイルでのビン。
【0179】
したがって、これらの例では、例えば、その画像のサンプルの符号化に使用するために、ピクチャ毎に1回値nを生成し、例えば、符号化されたデータストリームの一部として、又は別個のサイドチャネルによって、対応する符号化されたデータの復号化に使用するために、復号化側に通信するための技術が提供される。
【0180】
上述のパーセンタイルの検出(および実際にはステップ2730)は、推定残差データを示すデータに関して、値を検出する例を提供するものであり、その値は、推定残差データを示すデータが、画像データサンプルの組の所与の比率に対して、その値を下回るようになっている。累積頻度分布を生成するステップは、(例えば、ステップ2720で)調整を推定残差データに適用して、推定残差データを示すデータを生成することを含んでもよく、この調整は、一連の画像データサンプルに適用可能な量子化パラメータに少なくとも依存する。この調整は、(例えば、baseQPを介して)画像データサンプルの集合に適用可能なビット深度に少なくとも依存してもよい。
【0181】
ステップ2740は、1つ以上の符号化パラメータを生成する一例を提供し、一連の画像データサンプルに対する推定残差データを示すデータの累計頻度分布を生成し、累計頻度分布に依存して1つ以上の符号化パラメータを導出することを含む。
【0182】
（擬似コードの例）
以下の擬似コードの例は、ステップ2710で生成されたヒストグラム表現の累積頻度表現への変換及び上述のような値nの計算に関する。
targetB = (total*3)/8; //totalはヒストグラムのエントリ数である。
targetA = targetB-total/8;
targetC = targetB+total/8;
a = -1;
b = -1;
current = 0;
for (i = 0; i < 128; i++) {
current += hist[i] // histはスライス/フレームに対して計算されたヒストグラムである。
if (current >= targetA && a == -1) {a = i} // 到達した傍受a
if (current >= targetB && b == -1) {b = i} // 到達した傍受b
if (current >= targetC) { // 到達した傍受c
c = i
n = (((a + 2 * b + c) / 4) / 6)
break
}
}
以下の擬似コードの例は、ステップ2710で生成されたヒストグラム表現の累積頻度表現への変換及び上述のような値nの計算に関する。
targetB = (total*3)/8; //totalはヒストグラムのエントリ数である。
targetA = targetB-total/8;
targetC = targetB+total/8;
a = -1;
b = -1;
current = 0;
for (i = 0; i < 128; i++) {
current += hist[i] // histはスライス/フレームに対して計算されたヒストグラムである。
if (current >= targetA && a == -1) {a = i} // 到達した傍受a
if (current >= targetB && b == -1) {b = i} // 到達した傍受b
if (current >= targetC) { // 到達した傍受c
c = i
n = (((a + 2 * b + c) / 4) / 6)
break
}
}
【0183】
（バリエーション）
いくつかの例では、ステップ2700～2720は、一度に1つの画素を処理する1つのループに結合することができる。他の例では、ステップ2700～2710を結合することができ、及び/又はステップ2720の調整を代わりに傍受(intercept)a、b、およびcに対して実行することができる。
いくつかの例では、ステップ2700～2720は、一度に1つの画素を処理する1つのループに結合することができる。他の例では、ステップ2700～2710を結合することができ、及び/又はステップ2720の調整を代わりに傍受(intercept)a、b、およびcに対して実行することができる。
【0184】
（例- TSRC パラメータ）
TSRC技術は、例えば、JVET-T0089「AHG12:トランスフォームスキップ残差符号化のためのライスパラメータ選択に基づいたスライス」、H.-J.Jhu, X. Xiu, Y.-W.Chen, T.-C. Ma, C.-W.Kuo, X. Wang (Kwai Inc.)において提案されており、その内容は、参照によって本明細書に組み込まれており、ここで、エンコーダ側は、少なくとも係数値の一部である、いわゆるライス符号化（例えばゴロンブライス及び／又は累乗の指数を含んだライス符号化）において使用するために、ライスパラメータに適用されるオフセット値を生成し、信号を送る。以前に提案された例では、このオフセットは以前に符号化されたフレームを使用して計算される。しかしながら、このような構成は、第1のフレーム又は静止画像に関するこのようなオフセットの生成を提供せず、第1のフレームに関するオフセットの不適切又は不正確な生成をもたらしたり、画像又はスライス間の画像内容の著しい変化の後にもたらしたりする可能性があることに留意されたい。
TSRC技術は、例えば、JVET-T0089「AHG12:トランスフォームスキップ残差符号化のためのライスパラメータ選択に基づいたスライス」、H.-J.Jhu, X. Xiu, Y.-W.Chen, T.-C. Ma, C.-W.Kuo, X. Wang (Kwai Inc.)において提案されており、その内容は、参照によって本明細書に組み込まれており、ここで、エンコーダ側は、少なくとも係数値の一部である、いわゆるライス符号化（例えばゴロンブライス及び／又は累乗の指数を含んだライス符号化）において使用するために、ライスパラメータに適用されるオフセット値を生成し、信号を送る。以前に提案された例では、このオフセットは以前に符号化されたフレームを使用して計算される。しかしながら、このような構成は、第1のフレーム又は静止画像に関するこのようなオフセットの生成を提供せず、第1のフレームに関するオフセットの不適切又は不正確な生成をもたらしたり、画像又はスライス間の画像内容の著しい変化の後にもたらしたりする可能性があることに留意されたい。
【0185】
TSRC技術は、pビット画像データサンプルのために以下を含むことができる:
画像データサンプルの第1の部分を第1の符号化技術によって符号化することと、
第1の符号化技術が第2の符号化技術と異なる、第2の符号化技術によって画像データサンプルの第2の部分を符号化すること。
この場合、第1の符号化技術と第2の符号化技術の少なくとも1つは、少なくとも部分的に、1つ以上の符号化パラメータによって定義される。
画像データサンプルの第1の部分を第1の符号化技術によって符号化することと、
第1の符号化技術が第2の符号化技術と異なる、第2の符号化技術によって画像データサンプルの第2の部分を符号化すること。
この場合、第1の符号化技術と第2の符号化技術の少なくとも1つは、少なくとも部分的に、1つ以上の符号化パラメータによって定義される。
【0186】
例えば、第1の符号化技術と第2の符号化技術の少なくとも1つは、後述するように、1つ以上の符号化パラメータによって決まるライスパラメータによって少なくとも部分的に定義されるライス符号化を含んでもよい。
【0187】
TSRCの場合、符号化は、周波数変換を選択的に適用するか、変換スキップ処理を適用することと、TSRCが適用される画像データサンプルと、変換スキップ処理が適用された画像データサンプルとを含んでもよい。
【0188】
本実施例では、上述したものに関連する技術を使用して、図27のステップを使用して、そのフレームのデータを処理することにより、各フレームに関するオフセット値を生成することができる。
【0189】
同図37aは、エンコーダ側におけるこのようなプロセスの模式図を提供し、この例では、ステップ3700でライスパラメータオフセットの値が生成され、ライスパラメータオフセットの値(またはそれの表現)が、例えばステップ3710で設定されたピクチャヘッダまたはパラメータで信号化され、生成されたnの値を使用してステップ3720で1つ以上の係数値(例えば、全体像を表すもの)が符号化されてから、制御がライスパラメータオフセットの次の値が生成されるステップ3700に戻る。
【0190】
同図37bでは、ステップ3730において、デコーダは、ステップ3710で提供されるライスパラメータオフセットの信号化された値を受信し、ステップ3740において、制御をステップ3730に戻す前に、1つ以上の係数値(例えば、全体像を表すもの)をデコードする等価プロセスを示す。
【0191】
ライスパラメータオフセット(「オフセット」)は、ステップ3700で次のように生成できる。
offset = bin at X%パーセンタイル(例: 指定されたパーセンタイル、例: 75パーセンタイル) - この例では、値の最小の50%がフラグと符号化されていると仮定した場合、これは残りの値の中点を表すと推論される。これは、ライスコーディングの使用の性質上、nの生成と関連して説明したものとは異なるパーセンタイル値である可能性があることに留意する(ライスコーディングは、値の残りの部分に使用される(有意性がある場合は、GT1、GT2が初期部分に使用される)。ここで、オフセットは、上述のステップ2740で導出された出力を表す。
offset = bin at X%パーセンタイル(例: 指定されたパーセンタイル、例: 75パーセンタイル) - この例では、値の最小の50%がフラグと符号化されていると仮定した場合、これは残りの値の中点を表すと推論される。これは、ライスコーディングの使用の性質上、nの生成と関連して説明したものとは異なるパーセンタイル値である可能性があることに留意する(ライスコーディングは、値の残りの部分に使用される(有意性がある場合は、GT1、GT2が初期部分に使用される)。ここで、オフセットは、上述のステップ2740で導出された出力を表す。
【0192】
（ビン選択の数式のバリエーション）
上記で説明した式「bin = log2(residual)*6」の代わりに、以下を使用することができる:
bin = log2(max(1, residual - m))
ここで、mは、有意性、GT1、GT2、例えば、各値の初期部分を符号化するようなフラグの使用を可能にするためのさらなるオフセットである。
上記で説明した式「bin = log2(residual)*6」の代わりに、以下を使用することができる:
bin = log2(max(1, residual - m))
ここで、mは、有意性、GT1、GT2、例えば、各値の初期部分を符号化するようなフラグの使用を可能にするためのさらなるオフセットである。
【0193】
（例- 最後の有意なゼロ係数位置 - 方向）
ここで、上述の残差の予測を用いて、変換ブロックの最後の有効ゼロ係数位置(いわゆる「最後のx、y」位置)の符号化のための符号化方向を決定する一例を説明する。
ここで、上述の残差の予測を用いて、変換ブロックの最後の有効ゼロ係数位置(いわゆる「最後のx、y」位置)の符号化のための符号化方向を決定する一例を説明する。
【0194】
図38と図39は、走査プロセスを概略的に示す。図38では、例示的な16×16の係数変換ブロックを、4×4の係数の16のサブブロック3800に分割している。変換ブロックのサブブロックの処理には逆対角スキャンパターンを用いる。
【0195】
変換ブロックごとに、構文要素(コード化されたブロックパターン)が符号化され、変換ブロックにゼロ以外の変換係数レベルが含まれているかどうかが示される。これが「はい」を示すように符号化される場合は、走査順序における最初の非ゼロレベルの位置(最後の有意係数位置とも呼ばれる)が符号化される。逆対角スキャンパターンに従う処理は、最後の有意係数位置によって識別される係数で始まる。
【0196】
図38では、16×16変換ブロックの符号化ブロックパターンが符号化されて、変換ブロックが1つ以上の非ゼロ変換係数レベルを含むことを示す。サブブロック3810は、最後の有意係数位置としてフラグが立てられた係数3820を含む。変換ブロックの処理は、サブブロック3810で(逆対角スキャン順序で)開始し、図39のサブブロック3810の拡大図で示すように、サブブロック3810内の処理は、係数位置3820で逆対角スキャン順序で開始する。
【0197】
最後の有意係数位置を符号化する場合、このタイプのシステム内の符号化の他の多くの態様と共通して、より大きい値よりも小さい値を符号化することは、「より安価」と考えられる(符号化されたデータストリームに含まれるために生成されるデータの結果の量に関して、それほど面倒ではない)。係数位置3820の符号化に関連して、係数位置3820が、その位置を規定するx、y座標が導出される原点により概ね近い状況では、より小さな値が期待され得る。
【0198】
一般的に、ここでは2つの選択肢を考える。すなわち、これらの目的の原点は、(i)左上の係数位置または(ii)右下の係数位置とみなされる。現在の適用の優先日におけるいわゆるVersatile Video符号化標準の一般的な例では、符号化は、左上の係数位置にある原点から実行される。
【0199】
残差を推定するための上記の技術は、図27を参照して得られたデータの態様に従って、最後の有意な係数位置の導出のための原点の位置の適応的な修正を提供することができる。
【0200】
いくつかの例では、残差データの「小さい」数(またはゼロ)から「大きい」数の割合を使用して、ブロックが「いっぱい」(つまり、ゼロ以外の係数データによって占有される方法)になる方法を推定することができる。
【0201】
ステップ2700で導出された推定残差値の集合に関するこの計算の一例は次のようになる:
Fraction = [ビン0～pの占有率] / [ビンの占有率> p]
(ここで、pは0、6、12などの小さな値である。)
Fraction = [ビン0～pの占有率] / [ビンの占有率> p]
(ここで、pは0、6、12などの小さな値である。)
【0202】
代わりに、分母は[すべてのビンの占有率]である可能性がある。
【0203】
ステップ2730における処理された累積頻度に関するこの計算の一例(したがって、ステップ2740における出力の導出例を表す)は、以下の通りである。ここで、CF[bin] = 所与のビンに関連する累積頻度値):
Fraction = CF[bin1]、ここでbin1 = 0、またはp (ここでp は6、12などの小さな値で、pは、非ゼロ係数値を意味するヒストグラムの最低ビンを示す)。
Fraction = CF[bin1]、ここでbin1 = 0、またはp (ここでp は6、12などの小さな値で、pは、非ゼロ係数値を意味するヒストグラムの最低ビンを示す)。
【0204】
上記のfractionが大きい場合(0.5のような閾値Thr以上)、これは比較的完全な(またはほぼ完全である)ブロックを意味し、最後の有意な係数位置符号化の原点位置は逆にする必要がある(つまり、原点は右下に位置する必要がある)。
【0205】
上記の分数が小さい場合(例えば、閾値Thrより小さい場合)、これは比較的空のブロックを意味し、最後の有意な係数位置符号化の原点位置は(VVC v1の規格として)左上として維持される必要がある。
【0206】
このコンテキストにおける閾値によるデータセットの分割は、閾値に等しい値が閾値グループの「上」または「下」に含まれるように表現できることに留意されたい。つまり、このようなパーティション化は次のように表現できる:
設定1: < Thr1; 設定2: =>Thr1
または
設定1: <= Thr2; 設定2: > Thr2
設定1: < Thr1; 設定2: =>Thr1
または
設定1: <= Thr2; 設定2: > Thr2
【0207】
閾値の決定を表現するこれらの方法は技術的に等価であり、Thr1、Thr2の値の1つの差異がある(またはそれと等価である)可能性があるため、同じ結果になる可能性があることが理解される。
【0208】
また、分母が[binの占有率> p]であり、[すべてのbinの占有率]である場合には、それぞれ異なる閾値が適用可能であることが理解される。
【0209】
一例では、iの閾値は1 (分数分母の除数は[binの占有率> p])で、これは係数の50%がゼロでないと期待される閾値を意味する。小数部が閾値よりも大きい場合、50%を超える値はゼロ以外になる可能性が高いため、ブロックがいっぱいになる可能性が高くなる。
【0210】
図40aは、ステップ4000において、符号化方向(左上または右下原点の指示)が生成され、その符号化方向(またはその表現)が、例えば、ステップ4010で設定された画像ヘッダまたはパラメータで信号化され、1つ以上の係数値(例えば、全体像を表すもの)が、そのプロセスの少なくとも一部として、符号化方向の次の例が生成されるステップ4000に制御が戻る前に、生成された符号化方向を用いてこれが関連するブロック用の最後の有意な係数位置の符号化を含むステップ4020で符号化される。
【0211】
図40bにおいて、デコーダ側における等価プロセスが示され、ステップ4030において、デコーダは、(ステップ4010において提供されるように)信号付き符号化方向を受信し、ステップ4040において、ステップ4030に制御を戻す前に、その信号付き符号化方向を使用して、1つ以上の係数値(例えば、全体画像を表すもの)を復号化する。
【0212】
（例- 最後の有意な係数位置- 符号化するかどうか）
任意の態様として(それ自体で、または上述の方向符号化に加えて)、最後の有意な係数位置または最後のx,yがデータストリームに符号化されるべきであるかどうかについて、上述の演算を使用して(データストリームにおいて符号化されることができる)インジケータを導き出すことができる。特に、配列は、上述の閾値比較が(例のいずれかにおいて)ブロックがほぼ満杯であると予測されることを示す場合には、最後の有意な係数位置が符号化されないことであってもよい。ブロックが100%満たされない場合、最初の数個のゼロ値係数を符号化する必要があるが、(平均して)これらの数が少ない場合、符号化データの量に関しては、最後の有意な係数位置を符号化するよりもコストが少なくなる可能性があることに注意する。図41aは、エンコーダ側におけるこのようなプロセスの概略を示しており、ここでは、最後の有意な係数位置を符号化すべきか否かのインジケータが、上述の技術を使用して、ステップ4100において生成される。インジケータ(またはその表現)は、ステップ4110において、例えば、画像ヘッダまたはパラメータセットにおいて信号が送られる。ステップ4120において、1つ以上の係数値(例えば、全体像を表すもの)が符号化され、このプロセスは、少なくともプロセスの一部として選択的に含まれ、ステップ4100によって生成されたインジケータが、最後の有意な係数位置が符号化されていることを示す場合、これが関連するブロックのための最後の有意な係数位置の符号化は、制御がステップ4100に戻り、インジケータの次のインスタンスが生成される。
任意の態様として(それ自体で、または上述の方向符号化に加えて)、最後の有意な係数位置または最後のx,yがデータストリームに符号化されるべきであるかどうかについて、上述の演算を使用して(データストリームにおいて符号化されることができる)インジケータを導き出すことができる。特に、配列は、上述の閾値比較が(例のいずれかにおいて)ブロックがほぼ満杯であると予測されることを示す場合には、最後の有意な係数位置が符号化されないことであってもよい。ブロックが100%満たされない場合、最初の数個のゼロ値係数を符号化する必要があるが、(平均して)これらの数が少ない場合、符号化データの量に関しては、最後の有意な係数位置を符号化するよりもコストが少なくなる可能性があることに注意する。図41aは、エンコーダ側におけるこのようなプロセスの概略を示しており、ここでは、最後の有意な係数位置を符号化すべきか否かのインジケータが、上述の技術を使用して、ステップ4100において生成される。インジケータ(またはその表現)は、ステップ4110において、例えば、画像ヘッダまたはパラメータセットにおいて信号が送られる。ステップ4120において、1つ以上の係数値(例えば、全体像を表すもの)が符号化され、このプロセスは、少なくともプロセスの一部として選択的に含まれ、ステップ4100によって生成されたインジケータが、最後の有意な係数位置が符号化されていることを示す場合、これが関連するブロックのための最後の有意な係数位置の符号化は、制御がステップ4100に戻り、インジケータの次のインスタンスが生成される。
【0213】
図41bでは、デコーダ側における等価プロセスが示されており、ステップ4130で、デコーダは(ステップ4110で提供されるような)符号化方向についての信号化されたインジケータを受信し、ステップ4140で、ステップ4130に制御を戻す前に、信号化されて復号化された最後のx, yまたは最後の有意な係数位置を使用して、1つ以上の係数値(例えば、全体画像を表すもの)を復号する。インジケータが最後の有意な係数位置が符号化されていないことを示す場合には、ステップ4140は、最後の有意な係数位置を復号化することを含まず(これは、符号化されたデータストリーム内に存在しない)、最後の有意な係数位置を伴わない1つ以上の係数値を復号することを含む。
【0214】
（最後のx,y技術-要約）
最後のx, y技術(適宜個別にまたは集合的に、いずれか一方または両方が実行されることに留意して)は、符号化が複数のブロックとして画像データサンプルを符号化することを含む例を提供し、所与のブロックについて、所定の特性を有する画像データサンプルのそのブロック内の位置(最後のx、yなど)を示すデータを符号化する。この場合、1つ以上の符号化パラメータを生成するステップは、ブロック内の位置を示すデータを生成するために、複数のブロックに関して、使用される原点を示す原点インジケータを生成することを含む。
最後のx, y技術(適宜個別にまたは集合的に、いずれか一方または両方が実行されることに留意して)は、符号化が複数のブロックとして画像データサンプルを符号化することを含む例を提供し、所与のブロックについて、所定の特性を有する画像データサンプルのそのブロック内の位置(最後のx、yなど)を示すデータを符号化する。この場合、1つ以上の符号化パラメータを生成するステップは、ブロック内の位置を示すデータを生成するために、複数のブロックに関して、使用される原点を示す原点インジケータを生成することを含む。
【0215】
例では、サンプルは、所定の処理順序に従ってブロック内で処理され、所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータは、所定の値範囲内の値を有する所定の処理順序における第1の画像データサンプルのそのブロック内の位置を示すデータを含む。
【0216】
原点インジケータは、左上の原点または右下の原点を示してもよい。
【0217】
上述したように、原点インジケータの生成は、残差データの推定値の分布に応答して符号化されるべきデータ値の少なくとも閾値比率を有するブロックの割合の予測を示す占有予測を生成することを含むことができる。例えば、占有予測の生成は、閾値を下回る値を有する残差データの推定値の割合を検出することを含むことができる。
【0218】
また、本技術は、所定の特性を有する画像データサンプルのブロック内の位置を示すデータを符号化すべきか否かを決定することと、決定に応答して所定の特性を有する画像データサンプルのブロック内の位置を示すデータを選択的に符号化することとを含んでもよい。例えば、判定に応答して、インジケータを生成し、符号化して、所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されているか否かを示すことができる。
【0219】
（その他の要約方法）
図42は、データ符号化方法を示す概略フローチャートであり、この方法は:
1つ以上の符号化パラメータを生成することと(ステップ4200で);
復号化処理によって使用される1つ以上の符号化パラメータを伝達することと(ステップ4210において);
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって画像の画像データサンプルを表すデータ項目を符号化することと(ステップ4220において)
を含み、この符号化することは、生成することによって生成される1つ以上の符号化パラメータに依存して符号化を実行する。
ここで、生成ステップ4200は、画像データサンプルの少なくともサブセットに関する残差データの推定値を導出し、導出推定値に依存して1つ以上の符号化パラメータを生成することを含む。
図42は、データ符号化方法を示す概略フローチャートであり、この方法は:
1つ以上の符号化パラメータを生成することと(ステップ4200で);
復号化処理によって使用される1つ以上の符号化パラメータを伝達することと(ステップ4210において);
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって画像の画像データサンプルを表すデータ項目を符号化することと(ステップ4220において)
を含み、この符号化することは、生成することによって生成される1つ以上の符号化パラメータに依存して符号化を実行する。
ここで、生成ステップ4200は、画像データサンプルの少なくともサブセットに関する残差データの推定値を導出し、導出推定値に依存して1つ以上の符号化パラメータを生成することを含む。
【0220】
この方法は、上述した装置により、例えば、少なくとも一部はコントローラ343(ステップ4200、4210に関して)及び図7を用いて説明した符号化装置及びその他の図面(ステップ4220)によって実行されてもよい。
【0221】
図43は、連続する画像データサンプルを復号する方法を示す模式的なフローチャートであり、この方法は、以下を含む:
（ステップ4300において、）所定のブロックについて、符号化の態様を示すインジケータを復号すること。データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す。
(ステップ4310において)インジケータに応答して、所定のブロックを復号すること。
（ステップ4300において、）所定のブロックについて、符号化の態様を示すインジケータを復号すること。データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す。
(ステップ4310において)インジケータに応答して、所定のブロックを復号すること。
【0222】
この方法は、上述した装置によって、例えば少なくとも一部はコントローラ343によって(ステップ4300に関して)、また、図7および他の図面に関して説明した装置の復号側によって実行されてもよい(ステップ4310)。
【0223】
しかしながら、追加の表記として、図44及び図45は、それぞれの装置を概略的に示す(ここでも、これは、上述した回路によって実現することができる)。特に、図44は、以下を具備する装置を概略的に示す:
1つ以上の符号化パラメータを生成するように構成されたパラメータ生成回路4400;
復号化プロセスによって使用される1つ以上の符号化パラメータを通信するように構成された通信回路4410;および、
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって画像の画像データサンプルを表すデータ項目を符号化するように構成された符号化回路4420。符号化回路は、パラメータ生成回路によって生成された1つ以上の符号化パラメータに依存して符号化を行うように構成されている。
ここで、パラメータ生成器回路は、画像データサンプルの少なくともサブセットに関して残留データの推定値を導き出し、導き出された推定値に依存して1つ以上の符号化パラメータを生成するように構成されている。
1つ以上の符号化パラメータを生成するように構成されたパラメータ生成回路4400;
復号化プロセスによって使用される1つ以上の符号化パラメータを通信するように構成された通信回路4410;および、
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって画像の画像データサンプルを表すデータ項目を符号化するように構成された符号化回路4420。符号化回路は、パラメータ生成回路によって生成された1つ以上の符号化パラメータに依存して符号化を行うように構成されている。
ここで、パラメータ生成器回路は、画像データサンプルの少なくともサブセットに関して残留データの推定値を導き出し、導き出された推定値に依存して1つ以上の符号化パラメータを生成するように構成されている。
【0224】
図45は、以下を具備する装置を概略的に示す:
所定のブロックについて、符号化の態様を示すインジケータを復号し、インジケータに応答して所定のブロックを復号するように構成されたデコーダ回路4500。ここで、データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す。
所定のブロックについて、符号化の態様を示すインジケータを復号し、インジケータに応答して所定のブロックを復号するように構成されたデコーダ回路4500。ここで、データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す。
【0225】
（組み合わせ）
図27のプロセス(またはその一部)の使用のうちの任意の2つ以上は、組み合わせることができ、言い換えれば、同時に使用することも、同じシステムまたは方法で使用することもできることに留意されたい。実際、これは、図27のプロセスの一部を実行するために必要な処理を、生成された結果を複数使用できる場合には、より価値があるものにすることができる。複数の使用がデータで行われる場合、プロセスの結果を示す個別のデータ(例えば、n、ライスパラメータおよび最後のx,y原点の2つ以上の別々の指示)を通信することは不可能であり、代わりに、それぞれの結果がデコーダ側で導かれるデータを通信することは可能である。
図27のプロセス(またはその一部)の使用のうちの任意の2つ以上は、組み合わせることができ、言い換えれば、同時に使用することも、同じシステムまたは方法で使用することもできることに留意されたい。実際、これは、図27のプロセスの一部を実行するために必要な処理を、生成された結果を複数使用できる場合には、より価値があるものにすることができる。複数の使用がデータで行われる場合、プロセスの結果を示す個別のデータ(例えば、n、ライスパラメータおよび最後のx,y原点の2つ以上の別々の指示)を通信することは不可能であり、代わりに、それぞれの結果がデコーダ側で導かれるデータを通信することは可能である。
【0226】
本開示の実施形態が、少なくとも部分的に、ソフトウェア制御型のデータ処理装置によって実装されるものとして説明されている限り、光ディスク、磁気ディスク、半導体メモリなど、そのようなソフトウェアを搬送する非一時的な機械可読媒体も、本開示の一実施形態を表すと考えられることが理解される。同様に、上述の方法に従って生成された符号化データを含むデータ信号(非一時的な機械可読媒体上に具現されるか否かにかかわらず)も、本開示の一実施形態を表すものと考えられる。
【0227】
上記の教示に照らして、本開示の多数の修正及び変形が可能であることは明らかであろう。したがって、添付の特許請求の範囲内で、技術は、本明細書に明記されたもの以外の方法で実施可能であることが理解される。
【0228】
発明を明確にするために、上記の説明は、異なる機能ユニット、回路、および/またはプロセッサを参照して実施形態を説明したことが理解される。しかしながら、本発明の実施形態から逸脱することなく、異なる機能ユニット、回路、および/またはプロセッサ間の機能における任意の適切な分散が使用されることは明らかである。
【0229】
本明細書で説明された実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の適切な形態で実装される。本明細書で記載された実施形態は、任意選択で、1つ以上のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。任意の実施形態における部品および構成要件が、任意の適切な方法で物理的に、機能的に、および、論理的に実装される。実際、機能は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として実装され得る。したがって、本開示の実施形態は、単一のユニットで実装されてもよく、または異なるユニット、回路、および/またはプロセッサの間で物理的および機能的に分散されてもよい。
【0230】
本開示は、いくつかの実施形態に関連して説明されたが、本明細書に記載された特定の形態に限定されることは意図されていない。さらに、本開示の特徴は、特定の実施形態に関連して説明されているように見えるが、当業者は、説明された実施形態の種々の特徴が、本技法を実施するのに適した任意の方法で組み合わされ得ることを認識する。
【0231】
それぞれの態様及び特徴は、以下の番号付きの条項によって定義される。
1. 1つ以上の符号化パラメータを生成するステップと、
復号化処理によって使用される前記1つ以上の符号化パラメータを通信するステップと、
前記生成ステップにおいて、画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するステップと、
を含むデータ符号化方法であって、
前記符号化ステップは、前記生成ステップによって生成された前記1つ以上の符号化パラメータに基づいて符号化を実行し、
前記生成ステップは、一連の画像データサンプルに関する前記残差データの推定値を導出し、その導出した推定値に基づいて前記1つ以上の符号化パラメータを生成するステップを含む
方法。
2. 所定の画像データサンプルに関する前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルに対する所定の画像データ位置にある別の画像データサンプルと比較し、前記所定の画像データサンプルと他の画像データサンプルとの差に基づいて、前記所定の画像データサンプル用の残差データの推定値を導出することを含む
1に記載の方法。
3. 前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルとは異なる、所定のそれぞれの画像位置にある2つ以上の他の画像データサンプルと比較し、前記所定の画像データサンプルと前記2つ以上の他の画像データサンプルとの間のそれぞれ最小の差に基づいて、前記所定の画像データサンプル用の残差データの推定値を導出することを含む
2に記載の方法。
4. 所定の画像データサンプルに関する前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルに対する所定のそれぞれの画像位置にある2つ以上の他の画像データサンプルの所定の組み合せとして導出された値と比較し、前記所定の画像データサンプルと前記所定の組み合せとして導出された値と間の差に基づいて前記所定の画像データサンプル用の残差データの推定値を導出することを含む
前記条項のいずれか1つに記載の方法。
5. 1つ以上の符号化パラメータを生成するステップは、前記一連の画像データサンプル用の前記推定された残差データを示すデータの累計頻度分布を生成し、前記累計頻度分布に基づいて前記1つ以上の符号化パラメータを導出することを含む
前記条項のいずれか1つに記載の方法。
6. 1つ以上の符号化パラメータを生成するステップは、前記推定された残差データを示すデータに関して、値を検出することを含み、この値は、前記推定された残差データを示す前記データが、前記一連の画像データサンプルの所定の割合に対して、その値を下回るようにするものである
5に記載の方法。
7. 前記累積頻度分布を生成するステップは、前記推定された残差データに調整を適用して、前記推定された残差データを示すデータを生成することを含み、この調整は、前記一連の画像データサンプルに適用可能な量子化パラメータに少なくとも基づく
5に記載の方法。
8. この調整は、前記一連の画像データサンプルに適用可能なビット深度に少なくとも基づく
7に記載の方法。
9. 前記符号化ステップは、
一連の1つ以上のデータセットを使用して所定の画像データサンプルを符号化することと、
前記画像データサンプルの少なくとも一部について、前記第1の閾値が1より大きいかを選択することと、
を含み、
各一連のデータセットは、前記画像データサンプルの値のそれぞれの範囲を表し、前記一連の1つ以上のデータセットは、所定の画像データサンプルが少なくとも第1の閾値の値を有するか否かを示すための少なくとも1つ以上の有意なインジケータを含み、
前記1つ以上の符号化パラメータは、少なくとも前記第1の閾値を示す
前記条項のいずれか1つに記載の方法。
10. 前記1つ以上のデータセットは、
有意性インジケータを含む有意性データセットと、
所定の画像データサンプルがmのそれぞれの値より大きいかどうかを示す1以上のmより大きいデータセット、及び、
画像データサンプルの最下位ビットの値を示すパリティデータセット
を含むリストから選択された0個以上のデータセットと
を含む
9に記載の方法。
11. 前記閾値は2nに等しい整数であり、nはゼロ以上の整数である
10に記載の方法。
12. 前記画像データサンプルはマルチビットデータワードである
11に記載の方法。
13. nがゼロより大きいpビット画像データサンプルに対して、
第2の符号化技術によって最上位(p-n)ビットによって表される前記画像データサンプルの第1の部分を符号化することと、
第1の符号化技術によって最下位nビットによって表される前記画像データサンプルの第2の部分を符号化することと
を含む
12に記載の方法。
14. 前記第1の符号化技術は、前記第2の符号化技術と異なる
13に記載の方法。
15. 前記第1の符号化技術は、蓋然性が等しい2進算術符号化によって、最下位nビットの少なくとも一部を符号化することを含む
14に記載の方法。
16. 前記第1の符号化技法は、前記第1の閾値よりも低い第2の閾値に関する第2の有意インジケータを生成することを含む
15に記載の方法。
17. 前記第2の符号化技術が、1つ以上のさらなるデータセットを生成することを含む
13～16のいずれか1つに記載の方法。
18. 前記第2の符号化技術は、前記所定の画像データサンプルの任意の超過値に対して、前記所定の画像データサンプルが前記有意性データセット及び前記1つ以上のさらなるデータセットによって符号化可能な最大値を超える量である超過値を含み、第1の部分と、第2の部分のサイズに基づいてビット単位の長さを有する非単項符号化の第2の部分とを含むエスケープコードとして前記超過値を符号化することを含む
17に記載の方法。
19. 前記有意性インジケータは、前記所定の画像データサンプルの絶対値が少なくとも前記第1の閾値を有するか否かを示すように構成される
9～18のいずれか1つに記載の方法。
20. 前記符号化ステップは、pビット画像データサンプルに対して、
前記画像データサンプルの第1の部分を第1の符号化技術によって符号化することと、
前記第1の符号化技術が第2の符号化技術と異なる前記第2の符号化技術によって前記画像データサンプルの第2の部分を符号化することと
を含み、
前記第1の符号化技術及び前記第2の符号化技術の少なくとも1つは、少なくとも部分的に、前記1つ以上の符号化パラメータによって定義される
前記条項のいずれか1つに記載の方法。
21. 前記第1の符号化技術および前記第2の符号化技術の少なくとも1つは、前記1つ以上の符号化パラメータに基づくライスパラメータによって少なくとも部分的に定義されるライス符号化を含む
20に記載の方法。
22. 前記符号化ステップが、周波数変換を選択的に適用するか又は変換スキップ処理を適用することを含み、前記画像データサンプルが、変換スキップ処理が適用された画像データサンプルである
21に記載の方法。
23. 前記符号化ステップは、前記画像データサンプルを複数のブロックとして符号化することと、所与のブロックについて、所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータを符号化することとを含み、1つ以上の符号化パラメータを生成するステップは、前記複数のブロックに関して、ブロック内の位置を示す前記データを生成するために使用される原点を示す原点インジケータを生成することを含む
前記条項のいずれか1つに記載の方法。
24. 前記符号化ステップは、所定の処理順序に従って、前記複数のブロック内のサンプルを処理することを含み、前記所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータが、所定の値範囲内の値を有する前記所定の処理順序における第1の画像データサンプルのそのブロック内の位置を示すデータを含む
23に記載の方法。
25. 前記原点インジケータは、左上の原点または右下の原点を示す
23または24に記載の方法。
26. 原点インジケータを生成するステップは、
前記残差データの推定値の分布に応答して符号化されるべきデータ値の少なくとも閾値比率を有するブロックの比率の予測を示す占有予測を生成することを含む
23～25のいずれか1つに記載の方法。
27. 占有予測を生成するステップは、閾値を下回る値を有する前記残差データの推定値の比率を検出することを含む
26に記載の方法。
28. 所定の特性を有する画像データサンプルのブロック内の位置を示すデータを符号化すべきか否かを判定することを含み、
この判定に応答して所定の特性を有する画像データサンプルのブロック内の位置を示すデータを選択的に符号化することを含む
23～26のいずれか1つに記載の方法。
29. 前記判定に応答して、所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されているか否かを示すインジケータを生成かつ符号化するステップを含む
28に記載の方法。
30. 前記符号化ステップは、前記画像データサンプルを複数のブロックとして符号化することと、所定のブロックについて、所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータを選択的に符号化することと、を含み、前記方法は、所定の特性を有する画像データサンプルのブロック内の位置を示すデータを符号化すべきか否かを判定することを含む
上記条項のいずれか1つに記載の方法。
31. 前記判定に応答して、所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されているか否かを示すインジケータを生成かつ符号化するステップを含む
30に記載の方法。
32. 符号化される画像または画像部分に関して一度ステップを生成し通信することを実行することを含み、一連の前記画像データサンプルは、符号化されるその画像または画像部分の前記画像データサンプルの少なくとも一部を含む
上記条項のいずれか1つに記載の方法。
33. コンピュータによって実行されるとき、先行する条項のいずれか1つに記載の方法を前記コンピュータに実行させるコンピュータソフトウェア。
34. 33に記載のコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体。
35. 1～32のいずれか1つに記載の方法によって生成された、符号化されたデータ信号。
36. 35に記載の符号化されたデータ信号を記憶する非一時的な機械可読可能な記憶媒体。
37. 1つ以上の符号化パラメータを生成するように構成されたパラメータ生成回路と、
復号化処理によって使用される前記1つ以上の符号化パラメータを通信するように構成された通信回路と、
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するように構成された符号化回路と、
を具備し、
前記符号化回路は、前記パラメータ生成回路によって生成された前記1つ以上の符号化パラメータに基づいて符号化を実行するように構成され、
前記パラメータ生成回路は、前記画像データサンプルの少なくともサブセットに関する前記残差データの推定値を導出し、その導出した推定値に基づいて前記1つ以上の符号化パラメータを生成するように構成されている
装置。
38. 37に記載の装置を具備するビデオデータキャプチャ、送信機、ディスプレイ及び/又は記憶装置。
39. 1つ以上の画像の1つ以上の符号化パラメータを検出することと、前記1つ以上の符号化パラメータを使用して圧縮データを復号することを含む画像データの複合化方法であって、前記符号化パラメータは、34に記載の非一時的な機械可読記憶媒体によって記憶されたコンピュータソフトウェアによって作成される
方法。
40. 画像データを復号するように構成されたデコーダ回路を具備する装置であって、
前記デコーダ回路は、1つ以上の画像を表す圧縮データに関連する1つ以上の符号化パラメータを検出するように構成された検出回路を備えており、
前記デコーダ回路は、前記1つ以上の符号化パラメータを使用して前記圧縮データを復号するように構成されており、前記符号化パラメータは、37に記載の装置によって作成されている
装置。
41. 連続する画像データサンプルを復号する方法であって、
所定のブロックについて、符号化の態様を示すインジケータを復号するステップと、
前記インジケータに応答して前記所定のブロックを復号するステップと
を含み、
画像データサンプルのそのブロック内の位置を示すデータは、所定の特性を有する
方法。
42. 前記インジケータは、
複数の前記ブロックに関して、前記ブロック内の位置を示すデータを復号するために使用される原点、及び、
所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されるか否か
のいずれか1つまたは両方を示す
41に記載の方法。
43. コンピュータによって実行されるとき、前記コンピュータに40に記載の方法を実行させるコンピュータソフトウェア。
44. 43に記載のコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体。
45. 所定のブロックについて、符号化の態様を示すインジケータを復号し、かつ、
前記インジケータに応答して前記所定のブロックを復号する
ように構成されたデコーダ回路を具備し、
データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す
装置。
46. 40又は45に記載の装置を具備するビデオデータキャプチャ、送信機、ディスプレイ及び/又は記憶装置。
1. 1つ以上の符号化パラメータを生成するステップと、
復号化処理によって使用される前記1つ以上の符号化パラメータを通信するステップと、
前記生成ステップにおいて、画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するステップと、
を含むデータ符号化方法であって、
前記符号化ステップは、前記生成ステップによって生成された前記1つ以上の符号化パラメータに基づいて符号化を実行し、
前記生成ステップは、一連の画像データサンプルに関する前記残差データの推定値を導出し、その導出した推定値に基づいて前記1つ以上の符号化パラメータを生成するステップを含む
方法。
2. 所定の画像データサンプルに関する前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルに対する所定の画像データ位置にある別の画像データサンプルと比較し、前記所定の画像データサンプルと他の画像データサンプルとの差に基づいて、前記所定の画像データサンプル用の残差データの推定値を導出することを含む
1に記載の方法。
3. 前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルとは異なる、所定のそれぞれの画像位置にある2つ以上の他の画像データサンプルと比較し、前記所定の画像データサンプルと前記2つ以上の他の画像データサンプルとの間のそれぞれ最小の差に基づいて、前記所定の画像データサンプル用の残差データの推定値を導出することを含む
2に記載の方法。
4. 所定の画像データサンプルに関する前記導出ステップは、前記所定の画像データサンプルを、前記所定の画像データサンプルに対する所定のそれぞれの画像位置にある2つ以上の他の画像データサンプルの所定の組み合せとして導出された値と比較し、前記所定の画像データサンプルと前記所定の組み合せとして導出された値と間の差に基づいて前記所定の画像データサンプル用の残差データの推定値を導出することを含む
前記条項のいずれか1つに記載の方法。
5. 1つ以上の符号化パラメータを生成するステップは、前記一連の画像データサンプル用の前記推定された残差データを示すデータの累計頻度分布を生成し、前記累計頻度分布に基づいて前記1つ以上の符号化パラメータを導出することを含む
前記条項のいずれか1つに記載の方法。
6. 1つ以上の符号化パラメータを生成するステップは、前記推定された残差データを示すデータに関して、値を検出することを含み、この値は、前記推定された残差データを示す前記データが、前記一連の画像データサンプルの所定の割合に対して、その値を下回るようにするものである
5に記載の方法。
7. 前記累積頻度分布を生成するステップは、前記推定された残差データに調整を適用して、前記推定された残差データを示すデータを生成することを含み、この調整は、前記一連の画像データサンプルに適用可能な量子化パラメータに少なくとも基づく
5に記載の方法。
8. この調整は、前記一連の画像データサンプルに適用可能なビット深度に少なくとも基づく
7に記載の方法。
9. 前記符号化ステップは、
一連の1つ以上のデータセットを使用して所定の画像データサンプルを符号化することと、
前記画像データサンプルの少なくとも一部について、前記第1の閾値が1より大きいかを選択することと、
を含み、
各一連のデータセットは、前記画像データサンプルの値のそれぞれの範囲を表し、前記一連の1つ以上のデータセットは、所定の画像データサンプルが少なくとも第1の閾値の値を有するか否かを示すための少なくとも1つ以上の有意なインジケータを含み、
前記1つ以上の符号化パラメータは、少なくとも前記第1の閾値を示す
前記条項のいずれか1つに記載の方法。
10. 前記1つ以上のデータセットは、
有意性インジケータを含む有意性データセットと、
所定の画像データサンプルがmのそれぞれの値より大きいかどうかを示す1以上のmより大きいデータセット、及び、
画像データサンプルの最下位ビットの値を示すパリティデータセット
を含むリストから選択された0個以上のデータセットと
を含む
9に記載の方法。
11. 前記閾値は2nに等しい整数であり、nはゼロ以上の整数である
10に記載の方法。
12. 前記画像データサンプルはマルチビットデータワードである
11に記載の方法。
13. nがゼロより大きいpビット画像データサンプルに対して、
第2の符号化技術によって最上位(p-n)ビットによって表される前記画像データサンプルの第1の部分を符号化することと、
第1の符号化技術によって最下位nビットによって表される前記画像データサンプルの第2の部分を符号化することと
を含む
12に記載の方法。
14. 前記第1の符号化技術は、前記第2の符号化技術と異なる
13に記載の方法。
15. 前記第1の符号化技術は、蓋然性が等しい2進算術符号化によって、最下位nビットの少なくとも一部を符号化することを含む
14に記載の方法。
16. 前記第1の符号化技法は、前記第1の閾値よりも低い第2の閾値に関する第2の有意インジケータを生成することを含む
15に記載の方法。
17. 前記第2の符号化技術が、1つ以上のさらなるデータセットを生成することを含む
13～16のいずれか1つに記載の方法。
18. 前記第2の符号化技術は、前記所定の画像データサンプルの任意の超過値に対して、前記所定の画像データサンプルが前記有意性データセット及び前記1つ以上のさらなるデータセットによって符号化可能な最大値を超える量である超過値を含み、第1の部分と、第2の部分のサイズに基づいてビット単位の長さを有する非単項符号化の第2の部分とを含むエスケープコードとして前記超過値を符号化することを含む
17に記載の方法。
19. 前記有意性インジケータは、前記所定の画像データサンプルの絶対値が少なくとも前記第1の閾値を有するか否かを示すように構成される
9～18のいずれか1つに記載の方法。
20. 前記符号化ステップは、pビット画像データサンプルに対して、
前記画像データサンプルの第1の部分を第1の符号化技術によって符号化することと、
前記第1の符号化技術が第2の符号化技術と異なる前記第2の符号化技術によって前記画像データサンプルの第2の部分を符号化することと
を含み、
前記第1の符号化技術及び前記第2の符号化技術の少なくとも1つは、少なくとも部分的に、前記1つ以上の符号化パラメータによって定義される
前記条項のいずれか1つに記載の方法。
21. 前記第1の符号化技術および前記第2の符号化技術の少なくとも1つは、前記1つ以上の符号化パラメータに基づくライスパラメータによって少なくとも部分的に定義されるライス符号化を含む
20に記載の方法。
22. 前記符号化ステップが、周波数変換を選択的に適用するか又は変換スキップ処理を適用することを含み、前記画像データサンプルが、変換スキップ処理が適用された画像データサンプルである
21に記載の方法。
23. 前記符号化ステップは、前記画像データサンプルを複数のブロックとして符号化することと、所与のブロックについて、所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータを符号化することとを含み、1つ以上の符号化パラメータを生成するステップは、前記複数のブロックに関して、ブロック内の位置を示す前記データを生成するために使用される原点を示す原点インジケータを生成することを含む
前記条項のいずれか1つに記載の方法。
24. 前記符号化ステップは、所定の処理順序に従って、前記複数のブロック内のサンプルを処理することを含み、前記所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータが、所定の値範囲内の値を有する前記所定の処理順序における第1の画像データサンプルのそのブロック内の位置を示すデータを含む
23に記載の方法。
25. 前記原点インジケータは、左上の原点または右下の原点を示す
23または24に記載の方法。
26. 原点インジケータを生成するステップは、
前記残差データの推定値の分布に応答して符号化されるべきデータ値の少なくとも閾値比率を有するブロックの比率の予測を示す占有予測を生成することを含む
23～25のいずれか1つに記載の方法。
27. 占有予測を生成するステップは、閾値を下回る値を有する前記残差データの推定値の比率を検出することを含む
26に記載の方法。
28. 所定の特性を有する画像データサンプルのブロック内の位置を示すデータを符号化すべきか否かを判定することを含み、
この判定に応答して所定の特性を有する画像データサンプルのブロック内の位置を示すデータを選択的に符号化することを含む
23～26のいずれか1つに記載の方法。
29. 前記判定に応答して、所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されているか否かを示すインジケータを生成かつ符号化するステップを含む
28に記載の方法。
30. 前記符号化ステップは、前記画像データサンプルを複数のブロックとして符号化することと、所定のブロックについて、所定の特性を有する画像データサンプルのそのブロック内の位置を示すデータを選択的に符号化することと、を含み、前記方法は、所定の特性を有する画像データサンプルのブロック内の位置を示すデータを符号化すべきか否かを判定することを含む
上記条項のいずれか1つに記載の方法。
31. 前記判定に応答して、所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されているか否かを示すインジケータを生成かつ符号化するステップを含む
30に記載の方法。
32. 符号化される画像または画像部分に関して一度ステップを生成し通信することを実行することを含み、一連の前記画像データサンプルは、符号化されるその画像または画像部分の前記画像データサンプルの少なくとも一部を含む
上記条項のいずれか1つに記載の方法。
33. コンピュータによって実行されるとき、先行する条項のいずれか1つに記載の方法を前記コンピュータに実行させるコンピュータソフトウェア。
34. 33に記載のコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体。
35. 1～32のいずれか1つに記載の方法によって生成された、符号化されたデータ信号。
36. 35に記載の符号化されたデータ信号を記憶する非一時的な機械可読可能な記憶媒体。
37. 1つ以上の符号化パラメータを生成するように構成されたパラメータ生成回路と、
復号化処理によって使用される前記1つ以上の符号化パラメータを通信するように構成された通信回路と、
画像データサンプルとその画像データサンプルの予測バージョンとの差を示す残差データを生成することによって、画像の画像データサンプルを表すデータ項目を符号化するように構成された符号化回路と、
を具備し、
前記符号化回路は、前記パラメータ生成回路によって生成された前記1つ以上の符号化パラメータに基づいて符号化を実行するように構成され、
前記パラメータ生成回路は、前記画像データサンプルの少なくともサブセットに関する前記残差データの推定値を導出し、その導出した推定値に基づいて前記1つ以上の符号化パラメータを生成するように構成されている
装置。
38. 37に記載の装置を具備するビデオデータキャプチャ、送信機、ディスプレイ及び/又は記憶装置。
39. 1つ以上の画像の1つ以上の符号化パラメータを検出することと、前記1つ以上の符号化パラメータを使用して圧縮データを復号することを含む画像データの複合化方法であって、前記符号化パラメータは、34に記載の非一時的な機械可読記憶媒体によって記憶されたコンピュータソフトウェアによって作成される
方法。
40. 画像データを復号するように構成されたデコーダ回路を具備する装置であって、
前記デコーダ回路は、1つ以上の画像を表す圧縮データに関連する1つ以上の符号化パラメータを検出するように構成された検出回路を備えており、
前記デコーダ回路は、前記1つ以上の符号化パラメータを使用して前記圧縮データを復号するように構成されており、前記符号化パラメータは、37に記載の装置によって作成されている
装置。
41. 連続する画像データサンプルを復号する方法であって、
所定のブロックについて、符号化の態様を示すインジケータを復号するステップと、
前記インジケータに応答して前記所定のブロックを復号するステップと
を含み、
画像データサンプルのそのブロック内の位置を示すデータは、所定の特性を有する
方法。
42. 前記インジケータは、
複数の前記ブロックに関して、前記ブロック内の位置を示すデータを復号するために使用される原点、及び、
所定の特性を有する画像データサンプルのブロック内の位置を示すデータが符号化されるか否か
のいずれか1つまたは両方を示す
41に記載の方法。
43. コンピュータによって実行されるとき、前記コンピュータに40に記載の方法を実行させるコンピュータソフトウェア。
44. 43に記載のコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体。
45. 所定のブロックについて、符号化の態様を示すインジケータを復号し、かつ、
前記インジケータに応答して前記所定のブロックを復号する
ように構成されたデコーダ回路を具備し、
データは、所定の特性を有する画像データサンプルのそのブロック内の位置を示す
装置。
46. 40又は45に記載の装置を具備するビデオデータキャプチャ、送信機、ディスプレイ及び/又は記憶装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【国際調査報告】