▶ カカデゥ アール アンド ディー ピーティーワイ リミテッドの特許一覧
特表2023-501909高スループットＪＰＥＧ２０００（ＨＴＪ２Ｋ）符号化における複雑度制御のための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-20
(54)【発明の名称】高スループットＪＰＥＧ２０００（ＨＴＪ２Ｋ）符号化における複雑度制御のための方法および装置
(51)【国際特許分類】
H04N 19/126 20140101AFI20230113BHJP
H04N 19/63 20140101ALI20230113BHJP
H04N 19/147 20140101ALI20230113BHJP
【ＦＩ】
H04N19/126
H04N19/63
H04N19/147
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2022523830
(86)(22)【出願日】2020-10-26
(85)【翻訳文提出日】2022-06-06
(86)【国際出願番号】 AU2020051151
(87)【国際公開番号】W WO2021077178
(87)【国際公開日】2021-04-29
(31)【優先権主張番号】2019904032
(32)【優先日】2019-10-25
(33)【優先権主張国・地域又は機関】AU
(81)【指定国・地域】
(71)【出願人】
【識別番号】522161568
【氏名又は名称】カカデゥ アール アンド ディー ピーティーワイ リミテッド
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】トーブマン デイビッド スコット
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA41
5C159MC11
5C159TA46
5C159TC38
5C159UA02
5C159UA05
(57)【要約】
【課題】画像及びビデオ符号化のための、例えばＪＰＥＧ２０００標準ファミリに属するアルゴリズムのための、符号化複雑度を管理する方法であり、ここで符号化プロセスは、画像又はビデオシーケンスの各フレームの所与の圧縮サイズ（すなわち符号化全長）を対象とする。
【解決手段】ＨＴＪ２Ｋコードストリームの複雑度制約付き符号化のための一連の方法を記載しており、各サブバンド（各コードブロックではない）のローカル統計値又はグローバル統計値の収集、空間変換及び量子化プロセスによってまだ生成されていないサブバンドサンプルの統計値の予測の生成、及びグローバル量子化パラメータを生成するためのこの情報の使用を含み、各コードブロックで生成すべき最も粗いビットプレーンを導出することができる。符号化長の推定値は、低い計算複雑度を維持しながら、符号化画像品質に対してレイテンシ及びメモリが別々に最適化されるような方法で生成される。
【解決手段】ＨＴＪ２Ｋコードストリームの複雑度制約付き符号化のための一連の方法を記載しており、各サブバンド（各コードブロックではない）のローカル統計値又はグローバル統計値の収集、空間変換及び量子化プロセスによってまだ生成されていないサブバンドサンプルの統計値の予測の生成、及びグローバル量子化パラメータを生成するためのこの情報の使用を含み、各コードブロックで生成すべき最も粗いビットプレーンを導出することができる。符号化長の推定値は、低い計算複雑度を維持しながら、符号化画像品質に対してレイテンシ及びメモリが別々に最適化されるような方法で生成される。
【特許請求の範囲】
【請求項1】
目標全長制約を受ける、ＪＰＥＧ２０００および高スループットＪＰＥＧ２０００のコードストリームを含む、コードストリームの複雑度制約付き符号化のための方法であって、ａ．空間変換によって生成されたサブバンドサンプルに関する情報を収集するステップと、
ｂ．複数の潜在的なビットプレーン切り捨て点について、前記収集された情報から符号化長の推定値を生成するステップと、
ｃ．各サブバンドの各関連するコードブロックのベースビットプレーンインデックスに量子化パラメータ（ＱＰ値）をマッピングした後、これらのビットプレーンインデックスで切り捨てたときに推定される全体の符号化長が前記目標全長制約を超えない見込みとなるように、これらの長さ推定値からＱＰ値を決定するステップと、
ｄ．前記ＱＰ値をそのような各コードブロックのベースビットプレーンインデックスにマッピングするステップと、
ｅ．各関連するコードブロックを、対応するベースビットプレーンインデックスに関連する精度で符号化するステップと、各コードブロックからの１つ以上の追加符号化パスを符号化するステップと、
ｆ．このようにして生成されたすべての符号化パスを、圧縮後レート歪み最適化プロセスにかけて、圧縮結果として各コードブロックから出力される符号化パスの最終セットを決定するステップと、を含む方法。
【請求項2】
ＪＰＥＧ２０００パート１のブロック符号化アルゴリズムが用いられる、請求項１に記載の方法。
【請求項3】
ＪＰＥＧ２０００パート１５の高スループットブロック符号化アルゴリズムが用いられ、コードブロックに対するベースビットプレーンは、そのコードブロックに対して生成された第１の高スループット（Ｈｉｇｈ Ｔｈｒｏｕｇｈｐｕｔ：ＨＴ）Ｃｌｅａｎｕｐパスに対応する、請求項１に記載の方法。
【請求項4】
グローバルＱＰ値を決定する前に、各サブバンドのすべてのサンプルについて符号化長の推定値が形成され、その後、すべてのコードブロックについてのベースビットプレーンインデックスが決定され、次いで、これらのインデックスに基づいて、関連する符号化パスの符号化を進めることができる、請求項１から３のいずれか一項に記載の方法。
【請求項5】
サブバンドサンプルが空間変換から利用可能になるにつれて、符号化長の推定値が増分的に形成される、請求項１から３のいずれか一項に記載の方法。
【請求項6】
前記ＱＰ値は、目標全長制約と等しい状態で開始する符号化長バジェットに従って増分的に更新され、コードブロックが符号化のために増分的に利用可能となり、前記コードブロックは、「ディスパッチされたコードブロック」として識別され、以下、ａ．サブバンドに利用可能になったサンプルに基づく長さ推定値を推定長レコードへ収集するステップと、
ｂ．サブバンドにまだ利用可能になっていないサンプルについて推定される符号化長を予測する予測長レコードを生成するステップと、
ｃ．各サブバンドの各ディスパッチされていないコードブロックについてＱＰ値をベースビットプレーンインデックスにマッピングした後、これらのビットプレーンインデックスで切り捨てたときに、ディスパッチされていないコードブロックの推定された全体の符号化長が残りの長さバジェットを超えない見込みとなるように、推定長レコードおよび予測長レコードに基づいてＱＰ値を増分的に決定するステップと、
ｄ．前記ＱＰ値を、サブバンドサンプルが利用可能であり、「アクティブコードブロック」として識別されるディスパッチされていないコードブロックのベースビットプレーンインデックスにマッピングするステップと、
ｅ．アクティブコードブロックをディスパッチされたコードブロックのセットに入力すると共に、それぞれのベースビットプレーンインデックスにおける切り捨てに対応する推定符号化長を符号化長バジェットから減算するステップと、
ｆ．ディスパッチされたコードブロックをそれぞれのベースビットプレーンインデックスに関連付けられた精度に符号化し、そのような各コードブロックからの１つ以上の追加の符号化パスを符号化するステップと、
ｇ．すべてのそのような生成された符号化パスを圧縮後レート歪み最適化プロセスに利用可能にするステップと、を含む、請求項５に記載の方法。
【請求項7】
サブバンドサンプルの収集のための符号化長の推定値が、実際の符号化プロセスの１つ以上の特徴を欠くブロック符号化プロセスの簡略化モデルを使用して形成され、所与のビットプレーン切り捨て点に対する推定長が、ほぼ確実に、その同じ点における実際の符号化長よりも大きくなる、請求項１から６のいずれか一項に記載の方法。
【請求項8】
サブバンドサンプルの収集のための符号化長の推定値は、有意性統計値から形成され、サンプルは、そのビットプレーンにおける量子化された大きさが非ゼロである場合、ビットプレーン境界において有意である、請求項７に記載の方法。
【請求項9】
サブバンドサンプルの収集のための符号化長の推定値は、クワッド有意性数から形成され、クワッドは４つのサンプルからなり、所与のビットプレーンについての数は、そのビットプレーン内に少なくとも１つの有意なサンプルを含むであろう前記収集からのクワッドの数を識別する、請求項８に記載の方法。
【請求項10】
長さ予測は、同じサブバンド内の利用可能なサブバンドサンプルから決定された推定長を外挿することによって得られる、請求項６に記載の方法。
【請求項11】
予測は、以前に収集された類似の画像コンテンツの典型的な推定長に関するバックグラウンド情報を組み込む、請求項６または請求項１０に記載の方法。
【請求項12】
複雑度制約付き符号化手順は、ビデオに適用され、現在のビデオフレーム内の所与のサブバンドの長さ予測は、前のフレームで観測されたサブバンドサンプルを使用して決定される、請求項６に記載の方法。
【請求項13】
現在のビデオフレームの所与のサブバンド内でまだ利用可能でないサンプルについての長さ予測が、ここでは時間予測として識別される、前のフレーム内の対応するサブバンドサンプルについて形成された長さ推定値を、ここでは空間予測として識別される、現在のフレーム内の利用可能なサブバンドサンプルから形成された外挿長さ推定値と組み合わせることによって形成される、請求項１２に記載の方法。
【請求項14】
時間および空間予測が、フレームにわたる利用可能なサブバンドサンプルの長さ推定値の一貫性と、現在のフレームにおいてそれぞれ利用可能および利用不可能なサブバンドサンプルと前のフレームにおける長さ推定値の一貫性とを比較する信頼性尺度に基づいて組み合わされる、請求項１３に記載の方法。
【請求項15】
画像またはビデオフレームのコードブロックは、各フラッシュセットがそれ自体の符号化長制約を有するようにフラッシュセットに区分され、ＱＰ生成、ベースビットプレーンマッピング、ブロック符号化、および圧縮後レート歪み最適化プロセスはすべて、個々のフラッシュセット長さ制約に基づいて、フラッシュセット毎に動作する、請求項１から１４のいずれか一項に記載の方法。
【請求項16】
コードストリームの複雑度制約付き符号化のための装置であって、請求項１から１５のいずれか一項の方法を実施するように構成されたエンコーダを備える装置。
【請求項17】
請求項１から１５のいずれか一項に記載の方法を実施するようにコンピュータを制御するための命令を含む、コンピュータプログラム。
【請求項18】
請求項１７に記載のコンピュータプログラムを提供する不揮発性コンピュータ可読媒体。
【請求項19】
請求項１７に記載のコンピュータプログラムを含む、データ信号。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像およびビデオ符号化に関する。より詳細には、限定はしないが、本発明は符号化複雑度の管理に関し、特に、ただし限定的にではなく、ＪＰＥＧ２０００標準ファミリに属するアルゴリズムの符号化複雑度の管理に関し、ここで、符号化プロセスは、画像またはビデオシーケンスの各フレームの所与の圧縮サイズ（すなわち、符号化全長）を対象とする。
【0002】
本開示に記載される実施形態は、ＪＰＥＧ２０００標準ファミリのパート１５、正式にはＩＴＵ－Ｔ Ｒｅｃ Ｔ．８１４｜ＩＳＯ／ＩＥＣ１５４４４－１５に記載されている高スループットＪＰＥＧ２０００（ＨＴＪ２Ｋ）として知られている符号化技術に適用される場合に特に有益である。ＨＴＪ２Ｋは、ＪＰＥＧ２０００標準ファミリの他のパートの圧縮技術で使用できる新規の「ＨＴブロック符号化アルゴリズム」を定義している。しかしながら、本開示に記載される実施形態は、ビデオコンテンツをＪＰＥＧ２０００パート１の元のブロック符号化アルゴリズムで符号化するときにも利点を有し得る。
【背景技術】
【0003】
ほとんどの従来の圧縮アルゴリズムにおいて、目標の圧縮サイズを達成する唯一の方法は、量子化パラメータのセットを調整することであり、通常は、品質係数（ＪＰＥＧ）またはＱＰパラメータ（Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ）などのマスタパラメータを介して行われる。これは、圧縮サイズが目標値に近づくまで、画像レベル全体で反復符号化を行うか、または圧縮品質が画像全体にわたって変化するようにオンラインプログレッシブ適応を行うかのいずれかで行われる。第１のケースでは、計算およびメモリ消費が非常に高くなる可能性があり、第２のケースでは、画質が低下する可能性があり、圧縮サイズを確定的に制約することができない。
【0004】
これとは対照的に、ＪＰＥＧ２０００は、量子化パラメータの反復または適応を必要とせずに目標の圧縮サイズを達成することができる。これは、各サブバンドの各コードブロックが埋め込み表現を有し、符号化が完了した後に、各ブロックの埋め込みビットストリームを切り捨てるだけで、ほぼ最適な形で圧縮サイズと歪みを交換できるためである。これは、通常、ＪＰＥＧ２０００のベースとなる元の最適切り捨てによる埋め込みブロック符号化（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍａｌ Ｔｒｕｎｃａｔｉｏｎ：ＥＢＣＯＴ）アルゴリズムと併せて記載される圧縮後レート歪み最適化（Ｐｏｓｔ Ｃｏｍｐｒｅｓｓｉｏｎ Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ：ＰＣＲＤ－ｏｐｔ）アルゴリズムを使用して達成される。
【0005】
最近、ＪＰＥＧ２０００標準ファミリに新規のパート１５が追加された。「高スループットＪＰＥＧ２０００」としても知られているパート１５では、新規の高スループットブロック符号化アルゴリズムが記載される。便宜上、ここでは元の埋め込みブロック符号化アルゴリズムを「Ｊ２Ｋ－１」と呼び、新規のアルゴリズムを高スループット（Ｈｉｇｈ Ｔｈｒｏｕｇｈｐｕｔ）の「ＨＴ」と呼ぶ。Ｊ２Ｋ－１とは異なり、ＨＴアルゴリズムは、各コードブロックに対して完全な埋め込みビットストリームを生成しない。しかしながら、ＨＴアルゴリズムは、いわゆる「ＨＴセット」に編成される部分的な埋め込み符号化パスのセットを生成する。単一のＨＴセットは、ＨＴ Ｃｌｅａｎｕｐ符号化パス、ＨＴ ＳｉｇＰｒｏｐ符号化パス、およびＨＴ ＭａｇＲｅｆ符号化パスを含み、これらはＪ２Ｋ－１ブロックコーダによって生成されたＣｌｅａｎｕｐ、ＳｉｇＰｒｏｐ、およびＭａｇＲｅｆ符号化パスと直接関連付けることができる。
【0006】
Ｊ２Ｋ－１符号化パスとＨＴ符号化パスとの関係を図１に示す。各ＨＴセットは、ベースビットプレーンインデックスｐに関連付けられる。そのセットのＨＴ Ｃｌｅａｎｕｐパスは、コードブロック内のすべてのサンプルをビットプレーンｐの大きさに関連する精度に符号化し、一方、ＨＴ ＳｉｇＰｒｏｐおよびＨＴ ＭａｇＲｅｆ符号化パスは、存在する場合、特定のサンプルの精度を次のより微細なビットプレーンｐ－１にリファインする。したがって、これらの最後の２つのパスは、ＨＴリファインメントパスとして知られている。Ｊ２Ｋ－１は、ＨＴ Ｃｌｅａｎｕｐパスがすべてのサンプルをビットプレーンｐに完全に符号化する（埋め込まれない）場合、対応するＪ２Ｋ－１ Ｃｌｅａｎｕｐパスが、前の符号化パス（埋め込まれた）によって提供されたすべての情報を考慮して、すべてのサンプルをビットプレーンｐの精度にリファインすることを除いて、同じことを行う。
【0007】
ＨＴブロック符号化アルゴリズムの利点は、ソフトウェアとハードウェアの両方ではるかに高いスループットで実行でき、計算エネルギーの消費がはるかに少ないことである。復号化においては、１つのＨＴセットをデコードするだけでよい。複数のＨＴセットが符号化される場合であっても、典型的には、それらのうちの１つのみが最終コードストリーム内に含まれ、デコーダが、コードブロック毎に最大で１つのＨＴセット、つまり、同じＨＴセット内に存在する１つのＨＴ Ｃｌｅａｎｕｐパス（存在する場合）、ならびに任意のＨＴ ＳｉｇＰｒｏｐおよびＨＴ ＭａｇＲｅｆリファインメントパスを処理することで常に十分である。
【0008】
エンコーダのＨＴブロック符号化アルゴリズムは、複雑度／スループットと画質との間のトレードオフを最適化するより幅広い機会を提供する。図２は、ＨＴＪ２Ｋエンコーダの要素を示す図である。ＨＴＪ２Ｋは、ＪＰＥＧ２０００の既存のアーキテクチャおよびコードストリーム構文を実質的に保存する。画像は、最初に、ＪＰＥＧ２０００のパート１またはパート２によって可能にされるように、任意の必要なマルチコンポーネント変換および／または非線形点変換を受け、その後、変換された画像成分は、可逆または不可逆離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ：ＤＷＴ）によって処理され、ＤＷＴは、各成分を詳細サブバンドおよび１つのベース（ＬＬ）サブバンドの階層に分解する。
【0009】
すべてのサブバンドは、サイズが４０９６サンプル以下のブロックに分割され、典型的な寸法は６４×６４または３２×３２であり、１０２４×４などの非常に幅が広く、短いブロックも、低レイテンシアプリケーションにとって重要である。各ブロックは個別に量子化され（不可逆な場合）、符号化されて、０以上の符号化パスを含むブロックビットストリームが生成される。
【0010】
エンコーダでは、オプションの圧縮後レート歪み最適化（Ｐｏｓｔ Ｃｏｍｐｒｅｓｓｉｏｎ Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ：ＰＣＲＤ－ｏｐｔ）フェーズを使用して、グローバル（コードストリーム全体）またはローカル（コードブロックの小ウィンドウ）であり得るレートまたは歪みの目標を達成するように、生成された符号化パスを破棄する。最後に、各コードブロックからの選択された符号化パスに属するビットがＪ２Ｋパケットに組み立てられ、最終的なコードストリームが形成される。
【0011】
Ｊ２Ｋ－１およびＨＴブロックコーダの両方において、エンコーダは、最終コードストリームに含まれる情報から任意の数の末尾の符号化パスをドロップすることができる。実際、エンコーダは、そのような符号化パスがドロップされることを合理的に予測できる場合には、そのような符号化パスをそもそも生成する必要はない。これを行うための戦略は、Ｄ．Ｔａｕｂｍａｎによる「Ｓｏｆｔｗａｒｅ ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ ＪＰＥＧ２０００」、ＤＳＰに関するＩＥＥＥ国際会議プロシーディングス、ギリシャ、サントリーニ（２００２）に記載されており、少なくともソフトウェア実装において日常的に展開されている。
【0012】
ＨＴブロックコーダでは、最初に出力された符号化パスがＣｌｅａｎｕｐパスである限り、先頭の符号化パスと末尾の符号化パスの両方がエンコーダによってドロップされ得る（または生成されない）。結果として、ＨＴエンコーダは、通常、図１においてＨＴセット－１およびＨＴセット－２として識別されたもののような２つの連続するＨＴセットに対応するたった６つの符号化パスを生成するだけで十分である。その後、図２に示すＰＣＲＤ－ｏｐｔ段階は、最終コードストリームに含めるために各コードブロックから生成された符号化パスの最大３つのパスを選択し、選択されたパスは単一のＨＴセットに属する。
【0013】
場合によっては、エンコーダが複数のＨＴ Ｃｌｅａｎｕｐパスを生成する必要はない。これは、ｐ＝０に対するＣｌｅａｎｕｐパスのみが対象となる可逆圧縮に確かに当てはまり、このパスは、図１において「ＨＴ Ｍａｘ」セットとして識別される縮退ＨＴセットに属し、リファインメントパスを有さない可能性がある。不可逆圧縮の間、ＨＴ Ｍａｘセットに関連する歪みは、ＪＰＥＧおよび他のほとんどのメディアコーデックにおいて圧縮を制御するために量子化が使用されるのと全く同じ方法で、所望のレベルの画質を達成するために設定され得る量子化パラメータに依存する。
【0014】
上述したように、ＨＴＪ２Ｋエンコーダが画像またはビデオソースを圧縮するための複数の方法がある。最も単純な手法は、シングルパスＨＴ Ｍａｘセットのみを生成し、量子化パラメータを変調することによって画質と圧縮サイズとの間のトレードオフを管理することである。
【0015】
これとは逆に、エンコーダは、すべての可能なＨＴ符号化パス（各コードブロックの有意な大きさのビットプレーン毎に１つのＨＴセット）を生成でき、ＰＣＲＤ－ｏｐｔレート制御アルゴリズムに、各コードブロックの質を切り捨てる最適点の決定を任せ、次いで、各コードブロックの決定された切り捨て点について最終的なコードストリームに含まれる必要があるＣｌｅａｎｕｐパス、ＳｉｇＰｒｏｐパスおよびＭａｇＲｅｆパス（それぞれの多くとも１つ）を選択する。これは、計算およびメモリ両方の全くの無駄である。最適化された実装形態では、この手法は、Ｊ２Ｋ－１アルゴリズムと比較して、依然として何倍も計算上有利であるが（例えば、４～５倍速い）、複数のＨＴ Ｃｌｅａｎｕｐパスに冗長な情報が含まれているため、符号化データをメモリに一時的にバッファリングするコストは、Ｊ２Ｋ－１の場合よりもかなり高くなる。参照のため、これを「ＨＴ－Ｆｕｌｌ」符号化と呼ぶ。
【0016】
出願人の先の国際出願ＡＵ２０１９／０５１１０５号明細書（国際公開第２０２０／０７３０９８号として現在公開されている）は、ビデオ符号化アプリケーションにおいてドロップする先頭の符号化パスの数（すなわち、生成する最も粗いＨＴセット）を決定するための様々な方法を記載している。第１の方法では、エンコーダは、前のフレームから収集された情報を使用して、現在のフレーム内の各コードブロックの生成されたＨＴ符号化パスの符号化長に対する制約を確立し、反復符号化技術を使用して、少なくともいくつかのパスが制約を満たすことを確実にし、その後、ＰＣＲＤ－ｏｐｔアルゴリズムが実行される。この方法は、各コードブロックに対して生成される必要がある符号化パスの数を、事前に決定論的に制限することができないという困難性を有する。
【0017】
国際公開第２０２０／０７３０９８号に記載される第２の方法では、前のフレーム内の各コードブロックに対して行われたＰＣＲＤ－ｏｐｔ決定の様々な属性が、後続フレーム内の同じコードブロックに対して生成する適切な範囲の符号化パスの決定に使用するために記録され、その結果、生成された符号化パスのセットは、コードブロック毎に、より高いまたは低い精度に経時的に適応する。その目的は、任意の所与のコードブロックに対して生成されるパスの数を決定論的な方法で制約しながら、現在のフレームのＰＣＲＤ－ｏｐｔアルゴリズムに適切な範囲のオプションを提供することである。後の実験比較の参照のために、この方法は、本明細書では「ＰＣＲＤ－Ｓｔａｔｓ」法と呼ぶ。「ＰＣＲＤ－Ｓｔａｔｓ」法は、時間の経過に伴うシーンの複雑度の変化、例えばシーンカットに迅速に応答することができないという欠点を有する。これらの方法はどちらも、静止画像符号化とは対照的に、ビデオ符号化にのみ適している。
【0018】
国際公開第２０２０／０７３０９８号には、モデルベースの技術を使用して、各コードブロックの量子化されたサブバンド統計の統計値を、切り捨て点の大きなセットの各々における符号化長および歪みの推定値に変換するさらなる方法が記載されている。各コードブロックの推定される歪み長特性は、目標圧縮全長に基づいて各コードブロックのおおよそ最適な切り捨て点を推定する粗ＰＣＲＤ－ｏｐｔアルゴリズムに供給される。次いで、これらの推定される切り捨て点を使用して、実際に生成する符号化パスの範囲を決定し、その結果はフルＰＣＲＤ－ｏｐｔ段階に供給される。この方法は実装が複雑であり、最初の（粗）ＰＣＲＤ－ｏｐｔ段階のために統計値が収集される時点と、コードブロックサンプルが実際に符号化される時点との間のサブバンドサンプルをバッファするために大量のメモリを必要とする可能性がある。
【発明の概要】
【0019】
本発明の実施形態は、ＨＴＪ２Ｋコードストリームの複雑度制約付き符号化のための新規の一連の方法を記載しており、各サブバンド（各コードブロックではない）のローカル統計値またはグローバル統計値の収集、空間変換および量子化プロセスによるまだ生成されていないサブバンドサンプル統計値の予測の生成、およびグローバル量子化パラメータ生成のためのこの情報の使用を含み、各コードブロックで生成すべき最も粗いビットプレーンを簡単な方法で導出することができる。一実施形態では、方法の適用は、サブバンドサンプルが生成されるときにオンラインで（すなわち、動的に）実行されて、量子化サンプルが利用可能なコードブロック毎に生成するＨＴセットの集合を決定することができる。この方法はまた、画像またはビデオフレームのためのすべてのサブバンドサンプルが生成され、メモリにバッファされるまで延期でき、最も粗いビットプレーン、したがって、画像またはフレームにおけるすべてのコードブロックのために生成されるべき一連のＨＴセットが生成され、その後、符号化自体が行われ得る。これらのバリエーションは、低メモリおよび高メモリ構成を含む様々なアプリケーションおよび展開プラットフォームをサポートする。実施形態は、静止画像であっても目標圧縮サイズへの低メモリ符号化を達成するために使用することができる予測方法を記載しており、シーン複雑度の急激な変化に対してロバスト性を維持しながら、ビデオ符号化アプリケーションにおいて時間的情報を利用することができる効率的な適応予測方法が開示される。
【0020】
本明細書に記載される実施形態と、部分的にのみ埋め込まれたブロック符号化アルゴリズムを用いた複雑度制約付き符号化について前述した方法との違いは、以下を含む（Ｄ．Ｔａｕｂｍａｎ、Ａ．ＮａｍａｎおよびＲ．Ｍａｔｈｅｗによる「ＦＢＣＯＴ：ａ ｆａｓｔ ｂｌｏｃｋ ｃｏｄｉｎｇ ｏｐｔｉｏｎ ｆｏｒ ＪＰＥＧ２０００」、ＳＰＩＥ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ：Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ、サンディエゴ（２０１７）も参照されたい）。
１．新規方法の実施形態は、目標サイズに依存しないマッピングと共に、目標圧縮サイズに依存する単一の量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ：ＱＰ）を、各コードブロック内で生成するためにＱＰ値から最も粗いビットプレーンまで決定することを含む。
２．新規方法の実施形態は、各サブバンドの単純な統計セットの収集を含み、そこから上述のＱＰ値の各値の圧縮サイズを推定することが可能である。
３．新規方法の実施形態は、まだ生成されていないサブバンドサンプルに関連する統計値を予測することを含み、その結果、ＱＰ値は、観測サンプルおよび予測サンプルから一緒に導出された推定される圧縮サイズに基づいて定期的に更新され得る。
４．ビデオアプリケーションの場合、シーケンス内の前のフレームからの情報は、現在のフレーム内の見えないサブバンドサンプルの統計の適応的予測を介して実施形態の方法に組み込まれ、予測は空間推論と時間推論の両方を使用して形成される。
１．新規方法の実施形態は、目標サイズに依存しないマッピングと共に、目標圧縮サイズに依存する単一の量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ：ＱＰ）を、各コードブロック内で生成するためにＱＰ値から最も粗いビットプレーンまで決定することを含む。
２．新規方法の実施形態は、各サブバンドの単純な統計セットの収集を含み、そこから上述のＱＰ値の各値の圧縮サイズを推定することが可能である。
３．新規方法の実施形態は、まだ生成されていないサブバンドサンプルに関連する統計値を予測することを含み、その結果、ＱＰ値は、観測サンプルおよび予測サンプルから一緒に導出された推定される圧縮サイズに基づいて定期的に更新され得る。
４．ビデオアプリケーションの場合、シーケンス内の前のフレームからの情報は、現在のフレーム内の見えないサブバンドサンプルの統計の適応的予測を介して実施形態の方法に組み込まれ、予測は空間推論と時間推論の両方を使用して形成される。
【0021】
本明細書で記載される実施形態は、ＧＰＵ配置を含む低メモリおよび高メモリソフトウェアベースの符号化配置、ならびに低レイテンシおよび高レイテンシハードウェア配置におけるアプリケーションを有する。実施形態は、低い計算複雑度を維持しながら、符号化画像品質に対してレイテンシおよびメモリを別々に最適化することを可能にする。実験的研究において、本発明の実施形態は、画質およびスループット／複雑度の両方に関して、以前に報告された複雑度制約付き符号化戦略を大幅に上回ることができる。実施形態の主な焦点は、画像およびビデオの複雑度制約付きＨＴＪ２Ｋ符号化であるが、実施形態を使用して、ビデオの従来の（すなわち、Ｊ２Ｋ－１）ＪＰＥＧ２０００符号化のロバスト性を改善することもできる。
【0022】
本発明は、目標全長制約を受ける、ＪＰＥＧ２０００および高スループットＪＰＥＧ２０００コードストリームを含む、ＪＰＥＧ２０００コードストリームの複雑度制約付き符号化のための方法を提供し、本方法は、以下、
ａ．空間変換によって生成されたサブバンドサンプルに関する情報を収集するステップと、
ｂ．複数の潜在的なビットプレーン切り捨て点について、前記収集された情報から符号化長の推定値を生成するステップと、
ｃ．各サブバンドの各関連するコードブロックのベースビットプレーンインデックスに量子化パラメータ（ＱＰ値）をマッピングした後、これらのビットプレーンインデックスで切り捨てたときに推定される全体の符号化長が前記目標全長制約を超えない見込みとなるように、これらの長さ推定値からＱＰ値を決定するステップと、
ｄ．前記ＱＰ値を各コードブロックのベースビットプレーンインデックスにマッピングするステップと、
ｅ．各関連するコードブロックを、対応するベースビットプレーンインデックスに関連する精度で符号化し、各コードブロックからの１つ以上の追加符号化パスを符号化するステップと、
ｆ．このようにして生成されたすべての符号化パスを、圧縮後レート歪み最適化プロセスにかけて、圧縮結果として各コードブロックから出力される符号化パスの最終セットを決定するステップ、を含む。
ａ．空間変換によって生成されたサブバンドサンプルに関する情報を収集するステップと、
ｂ．複数の潜在的なビットプレーン切り捨て点について、前記収集された情報から符号化長の推定値を生成するステップと、
ｃ．各サブバンドの各関連するコードブロックのベースビットプレーンインデックスに量子化パラメータ（ＱＰ値）をマッピングした後、これらのビットプレーンインデックスで切り捨てたときに推定される全体の符号化長が前記目標全長制約を超えない見込みとなるように、これらの長さ推定値からＱＰ値を決定するステップと、
ｄ．前記ＱＰ値を各コードブロックのベースビットプレーンインデックスにマッピングするステップと、
ｅ．各関連するコードブロックを、対応するベースビットプレーンインデックスに関連する精度で符号化し、各コードブロックからの１つ以上の追加符号化パスを符号化するステップと、
ｆ．このようにして生成されたすべての符号化パスを、圧縮後レート歪み最適化プロセスにかけて、圧縮結果として各コードブロックから出力される符号化パスの最終セットを決定するステップ、を含む。
【0023】
一実施形態は、符号化長の推定値を生成するための方法を記載する。一実施形態は、ブロック符号化の前にサブバンドサンプルをバッファするために必要なメモリ量を削減するために、観測されないサブバンドサンプルの推定符号化長の予測を利用して、ＱＰパラメータを増分的に決定する方法を記載する。一実施形態は、予測方法を拡張して、ビデオアプリケーションのための空間予測および時間予測のロバストな組合せを組み込む。一実施形態は、低レイテンシ画像およびビデオ符号化への上記で開示された方法の適用を含む。
【0024】
本発明はさらに、コードストリームの複雑度制約付き符号化のための装置であって、上記の方法を実施するように構成されたエンコーダを備える装置を提供する。
【0025】
本発明はさらに、上記の方法を実施するようにコンピュータを制御するための命令を含むコンピュータプログラムを提供する。
【0026】
本発明はさらに、上記によるコンピュータプログラムを提供する不揮発性コンピュータ可読媒体を提供する。
【0027】
本発明はさらに、上記によるコンピュータプログラムを含むデータ信号を提供する。
【図面の簡単な説明】
【0028】
本発明の特徴および利点は、添付の図面を参照して、単なる例として、その実施形態の以下の説明から明らかになるであろう。
【図1】Ｊ２Ｋ－１およびＨＴアルゴリズムによって生成された符号化パスのビットプレーン寄与を示す図である。
【図2】最適化切り捨てによるＦＡＳＴブロック符号化（ＦＡＳＴ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｓｅｄ Ｔｒｕｎｃａｔｉｏｎ：ＦＢＣＯＴ）パラダイムに基づくＨＴＪ２Ｋ符号化システムのブロック図である。
【図3】本発明の一実施形態によるコア複雑度制御方法を示す図である。
【図4】本発明の一実施形態によるオンライン適応複雑度制御方法を示す図である。
【図5】本発明の一実施形態による低レイテンシ符号化のためのフラッシュセットの生成および符号化を示す図であり、２つのレベルのマラー型ＤＷＴについて示されている。ストライプバッファから符号化プロセスへのすべての接続が示されているわけではない。
【図6】６つのセグメントで構成され、そのうちの４つはフレームの上半分において非常に低い複雑度を有する、シーン複雑度の急激な変化を伴うビデオ上の１ｂｐｂにおける複雑度制御戦略の探索を示すグラフである。
【発明を実施するための形態】
【0029】
本発明の実施形態の以下の説明では、５つの「実施の形態」が議論される。
実施の形態１：符号化長の推定値を使用するＱＰベースの複雑度制御
実施の形態１：符号化長の推定値を使用するＱＰベースの複雑度制御
【0030】
この実施形態の背後にある重要な原理は、変換画像の量子化パラメータのほぼ最適なセットがすべて、ここではＱＰ（これは、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＡＶＣ、またはＡＶ１などの最新のビデオコーデックで使用されるＱＰパラメータと同じではないが、関連する役割を果たすことに留意されたい）として識別される単一のグローバルパラメータに関して記載され得ることである。まず、この特性について説明する。
【0031】
画像内のすべてのサンプルを表すベクトルとしてｘを、変換サブバンドｂからのサブバンドサンプルの２Ｄシーケンス（ｎ≡［ｎ１，ｎ２］によってインデックス付けされる）についてｙｂ［ｎ］を記すと、変換ドメイン表現と画像ドメイン表現との間の関係は、以下のように表すことができる。
式中、ｓｂ，ｎは、バンドｂ内の位置ｎに関連付けられた合成ベクトルである。次に、サブバンドサンプルの量子化による、画像ドメインにおける予測二乗誤差歪みＤは、以下のように記すことができる。
式中、
は、サブバンドｂのサンプルにおける予測二乗量子化誤差であり、
は、「エネルギー利得係数」であり、合成ベクトルｓｂ，ｎの二乗ユークリッドノルム（サンプル値の二乗和）であり、これらはすべて互いに変換されているので、画像境界付近を除いてすべて同じユークリッドノルムを持つことに留意されたい。
【数1】
【数2】
【数3】
【数4】
【0032】
より一般的には、視覚的に重み付けされた歪みメトリックの最小化を対象とすることが多く、次のように記すことができる。
式中、Ｄｂは、依然としてサブバンドｂの予測平均二乗量子化誤差であり、Ｗｂは、異なる空間周波数バンドの歪みに対する人間の視覚システムの様々な感度を説明する重み係数である。
【数5】
【0033】
高ビットレートでは、サブバンドサンプル量子化プロセスにおける一般的な歪みレートモデルは、以下のようになる。
式中、Ｎｂはサブバンドｂ内のサンプル数であり、σｂ
２はこれらの分散であり、Ｌｂはこれらのサンプルの符号化表現に関連するビット数であり、ｇおよびａは定数とすることができる。重要なのは、このモデルの指数関数的性質であり、その性質から、符号化長
の制約に従ってＤを最小化するサブバンド量子化割り当てを以下のように最小化しなければならないことを導き出すことができる。
一部のλ＞０の場合、その解は以下となる。
すなわち、サブバンドｂにおける平均二乗量子化誤差は、以下である。
【数6】
【数7】
【数8】
【数9】
【数10】
【0034】
サブバンドｂに対して選択された量子化ステップサイズについてΔｂを、量子化されたサブバンドサンプルから破棄された最下位の大きさのビットプレーンの数についてＰｂを記すと、以下のようになり、
したがって、所与の動作点λにおいて破棄すべきビットプレーンの正しい数は、おおよそ以下となる。
【数11】
【数12】
【0035】
以降、上式の右辺の第１項および第２項をそれぞれサブバンド固有バイアスパラメータβｂおよびグローバル量子化パラメータＱＰとして、以下のように解釈する。
【数13】
【0036】
本発明の複雑度制御方法は、ビットプレーンに対応するように、サブバンドｂのコードブロックにおいて、Ｃｕｐ０で示される「ベースＣｌｅａｎｕｐパス」を割り当てる。
式中、Ｒｏｆｆは、Ｒｏｆｆ＝１／２などの丸めオフセットである。Ｒｏｆｆの実際の値は、すべてのサブバンドｂにわたって一貫している限り、実際には重要ではない。Ｐｂの値は、コードストリームがサブバンド内のすべてのコードブロックについてこのベースＣｌｅａｎｕｐパスＣｕｐ０のみを含む場合に、サブバンドｂの量子化されたサンプルから効果的に破棄される最下位の大きさのビットプレーンの数として解釈することができる。
【数14】
【0037】
これらの準備作業が終了したので、図３に示す本発明のコア複雑度制御方法を記載することができる。
【0038】
サブバンドｂの各コードブロックにおいて、ビットプレーンＰｂから開始して、多くともＺ個の符号化パスが生成され、ここで、Ｚの好ましい値は６である。Ｐｂの値は、Ｇの整数倍に量子化されるＱＰ値を使用して、式（１）から決定され、Ｇは、連続する整数間の「グリッド」点の数として解釈することができる。図３ではＧ＝４であり、これは良好な選択である。Ｇに関しては、ＱＰは以下のように整数Ｆを用いて表すことができ、
式（１）は以下のように書き直すことができる。
式中、
はサブバンドｂの整数バイアスである。式（２）は、図３の参照番号１および２で示されるボックスによって実施される。
【数15】
【数16】
【数17】
【0039】
Ｆ（すなわち、ＱＰ）の値を見出すために、Ｐｂにおける各候補値ｐに関連するバイト数が推定され、各サブバンドｂおよび各実現可能なベースビットプレーンｐにおける推定長Ｌｐ
（ｂ）を含む「推定長レコード」（またはベクトル）Ｌ（ｂ）を形成する。実際の長さの推定方法は、本明細書で後述するように、本発明の実施の形態２を形成する。しかしながら、ここでは、これらの推定値が保守的であること、すなわち、サブバンドｂのすべてのコードブロックにわたるビットプレーンｐにおけるＣｌｅａｎｕｐパスに関連する符号化バイトの総数が、Ｌｐ
（ｂ）に近いが、それより大きくないことが非常に重要であることに留意する。
【0040】
各推定長レコードＬ（ｂ）の要素は、Ｇ回複製され、以下を形成するようにバイアスされる。
すなわち、Ｌ（ｂ）ベクトルの各要素Ｌｐ
（ｂ）が、
の要素から開始して、
ベクトルのＧ要素
にコピーされる。これは、図３において参照番号３および４で示されるボックスの機能である。
【数18】
【数19】
【数20】
【数21】
【0041】
拡張長さベクトル
が累積されて
が形成され、その要素は以下の通りである。
【数22】
【数23】
【数24】
【0042】
明らかに、整数Ｆがｆに等しくなるように選択された場合、Ｌｆは、すべてのコードブロックのベースＣｌｅａｎｕｐパスＣｕｐ０によって生成された符号化バイトの（保守的な）推定数である。ＱＰ選択操作（図３で参照番号５で示されたボックス）は、単純に以下を選択する。
式中、Ｌｍａｘは符号化バイトの目標最大数である。長さの推定値は保守的であるため、すべてのベースＣｌｅａｎｕｐパスに関連する実際の符号化バイト数は、Ｌｍａｘよりも大幅に小さくなければならないが、すべてのコードブロックからの次のより微細なＣｌｅａｎｕｐパスに関連する符号化バイトの総数は、Ｌｍａｘよりも大きくなる可能性が高い。Ｚ＞３の符号化パスが各コードブロックに対して生成される限り、ＰＣＲＤ－ｏｐｔアルゴリズムは、Ｌｍａｘに非常に近い総圧縮サイズを達成するのに十分な素材を有する可能性が高い。
【数25】
【0043】
本発明において、長さ推定プロセスは、それ自体がレート制御（すなわち、所望の符号化長を有するコードストリームを生成すること）の基礎ではないという事実を強調する価値がある。長さ推定プロセスは、理想的には大幅な差をつけて、符号化長を意図的に過小推定し、符号化長の推定方法は、好ましくは非常に単純であるため、信頼できるレート制御には適していない。その代わりに、レート制御は、コードブロックに対する複数の切り捨て点の利用可能性、すなわち、コードブロックに対する複数の符号化長および関連する歪みを利用する、圧縮後レート歪み最適化手順によって実行される。実際、本発明の着想の１つの源は、非常に高い確率で所望のレベルの保守性を有する低複雑度の長さ推定器を考案することが可能であるという本発明者らの最近の発見（本明細書において後に実験的に実証される）である。
【0044】
ここで記載される複雑度制御方法は、ＨＴブロックコーダを使用した、高スループットＪＰＥＧ２０００を対象としているが、他のメディア符号化システムに適用することができる。最も注目すべきことは、同じ複雑度制御方法を使用して、Ｊ２Ｋ－１ブロック符号化アルゴリズムによって生成される符号化パスの数を制限することができ、その結果、サブバンドｂ内の任意の所与のコードブロックに対して、多くともＺ－１のパスがベースビットプレーンＰｂに関連するＣｌｅａｎｕｐパスを超えて生成されることである。Ｊ２Ｋ－１ブロックコーダの符号化効率は、通常、ＨＴブロックデコーダの符号化効率（例えば、約１０％良好）と同様であるため、両方の場合で同じ符号化長の推定方法を使用することができる。
【0045】
ＨＴブロック符号化アルゴリズムとＪ２Ｋ－１ブロック符号化アルゴリズムとの主な違いは、Ｊ２Ｋ－１が完全に埋め込まれているため、Ｊ２Ｋ－１ブロックコーダは、コードブロックがそれらのより粗いビットプレーンで有意なサンプルを含む限り、ベースビットプレーンＰｂよりも粗いビットプレーンに関連するすべての符号化パスを生成しなければならないが、ＨＴブロックコーダはこれを行う必要がないことである。それにもかかわらず、ビットプレーンＰｂでのＣｌｅａｎｕｐパスの後に符号化がＺ－１のパスを停止できるという事実は、各コードブロックに対してすべての可能な符号化パスを単純に生成することと比較して、依然として著しい計算上の節約を表すことができる。
【0046】
この方法は、ＨＴブロック符号化アルゴリズムを使用するコードブロックとＪ２Ｋ－１ブロック符号化アルゴリズムを使用するコードブロックとが混在するコードストリームを生成するためにも使用することができる。
実施の形態２：サブバンドサンプル統計を使用した符号化長推定
実施の形態２：サブバンドサンプル統計を使用した符号化長推定
【0047】
ここで、図３の参照番号６および７で示されるボックスによって実施されるように、推定長Ｌｐ
（ｂ）をどのように形成すべきかという問題に注目する。本方法は、以下の量子化インデックスを符号化するためのアルゴリズムの符号化コストをモデル化する。
式中、
は、それぞれ符号および量子化された大きさであり、ｐは、ビットプレーンｐ内のＣｌｅａｎｕｐパスを超えて切り捨てた場合に、各サンプルから破棄される最下位の大きさビットの数であるため、有効量子化ステップサイズは実際のステップサイズΔｂ時間２ｐであることに留意されたい。
【数26】
【数27】
【0048】
モデル化されたアルゴリズムは、大きさμｂ，ｐ［ｎ］、および大きさが非ゼロであるサンプルの符号χｂ［ｎ］のみを符号化する。好ましい実施形態では、モデル化されたアルゴリズムは、実際の符号化アルゴリズムの粗近似である。特に、ＨＴ Ｃｌｅａｎｕｐエンコーダのモデル化されたアルゴリズムは、符号化長Ｌｐ
（ｂ）の保守的な推定値を得るために、実際のＨＴ Ｃｌｅａｎｕｐアルゴリズムを効率的にする特徴の多くを意図的に省略する。本明細書では、計算が効率的であり、かつ実際に効果的である特定の実施形態について記載する。
【0049】
推定手順の第１のステップは、各ビットプレーンｐに対するクワッド有意性統計値Ｃｂ，ｐの収集を含む。具体的には、サブバンドサンプルは、以下の場合に、サンプルｙｂ［ｎ］がクワッドｑに属するように、ｑ≡［ｑ１，ｑ２］によってインデックス付けされた２×２個のクワッドに分割される。
各クワッドについて、そのサンプルのいずれかが非ゼロの大きさμｂ，ｐ［ｎ］を有する場合、バイナリ有意値σｂ，ｐ［ｑ］がビットプレーンｐにおいて１に設定され、すなわち、
であり、次に、σｂ，ｐ［ｑ］値を累積することによって以下のようにクワッド有意性統計値が取得される。
【数28】
【数29】
【数30】
【0050】
なお、統計値Ｃｂ，ｐは、個々のμｂ，ｐ［ｎ］値を明示的に求めることなく算出することができることに留意されたい。各クワッドに対する最大の大きさを最初に形成し、量子化して以下を得るだけで十分である。
【数31】
【0051】
次いで、各候補ビットプレーンｐについて、
と２ｐとを比較する。具体的には、Ｃｂ，ｐは、
に対応するクワッドの数ｑである。
【数32】
【数33】
【0052】
推定手順の第２のステップは、統計値Ｃｂ，ｐを推定バイト数に変換することを含む。ＨＴ Ｃｌｅａｎｕｐ符号化アルゴリズムは、ＭａｇＳｇｎバイトストリーム、ＶＬＣバイトストリーム、およびＭＥＬバイトストリームとして知られる３つのバイトストリームを生成する。クワッドｑからＭａｇＳｇｎバイトストリームにパックされるビット数は、クワッド内の量子化された大きさの精度の境界に依存する。実際のアルゴリズムでは、この境界は、いわゆる「大きさ指数」Ｅｂ，ｐ［ｑ］に基づいており、Ｅｂ，ｐ［ｑ］－１は、クワッド内の任意のサンプルに対してμｂ，ｐ［ｎ］－１を表すのに必要なビット数であり、追加の１は、非ゼロサンプルの符号ビットを伝達する必要があることを示している。ここで簡略化されたモデルの場合、以下のように数量を使用する方が便利であり、
Ｅｂ，ｐ［ｑ］－１≦Ｐｂ，ｐ［ｑ］≦Ｅｂ，ｐ［ｑ］であることに留意されたい。クワッドｑ内の４つのサンプルがすべてＰｂ，ｐ［ｑ］の大きさビットを受信し、非ゼロサンプルのみが符号ビットを受信する、非常に単純なモデルを採用する。非ゼロであるクワッド内のサンプルの割合は、１－２－Ｐｂ，ｐ［ｑ］としてモデル化される。このモデルは、本質的に、量子化されたサブバンドサンプルの大きさμｂ，ｐ［ｎ］が、０から２Ｐｂ，ｐ［ｑ］－１までの間にわたって均一に分布すると仮定しており、これは、実際にはラプラシアン確率分布に近いものに従う傾向があるサブバンドデータに対する非常に保守的な仮定である。このモデルの下でのＭａｇＳｇｎビットの総数は、以下のように拡張することができる。
【数34】
【数35】
【0053】
大きさおよび符号ビットに加えて、Ｐｂ，ｐ［ｑ］値を伝達するコストのための単純なモデルを採用する。実際のＨＴ Ｃｌｅａｎｕｐエンコーダは、第１の理由として大きさ指数Ｅｂ，ｐ［ｑ］がＰｂ，ｐ［ｑ］値と同一でない（境界付けされた大きさに１のオフセットがある）ため、第２の理由としてＨＴブロックコーダが指数境界を伝達する方法に複雑なサンプル間（単にクワッド間ではない）依存性があるため、Ｐｂ，ｐ［ｑ］値を伝達するのとは異なる大きさ指数境界を差動的に伝達する。これをすべてモデル化しようと試みることも可能であるが、好ましい実施形態は、代わりに、同じ情報を記載する単純なコーダが実際のＣｌｅａｎｕｐアルゴリズムの符号化長の上限を提供すべきであるという仮定に依拠する。ここで推奨される単純なコーダは、有意性の確率が０．５未満であるときはいつでもクワッド有意性シンボルの０次エントロピを達成すると仮定される符号化機構を有するクワッド有意性シンボルの適応ランレングス符号化と（非有意性クワッドのランを介して）組み合わされた、単項（コンマ）符号を使用した、各有意性クワッドに対するＰｂ，ｐ［ｑ］の独立したシグナリングを含み、適応ランレングスコーダは、各ランに対して１ビット未満を使用することができないため、有意性尤度が０．５より大きくなると、各クワッドに対して単一の有意性ビットを出力するように縮退する。これらの２つの実施の形態（クワッド有意性符号化および有意性クワッドのＰｂ，ｐ［ｑ］の単項符号化）は、それぞれＨＴ ＣｌｅａｎｕｐコーダのＭＥＬおよびＶＬＣバイトストリームを介して伝達される情報に若干類似している。
【0054】
単項符号の場合、第１のビットは、クワッドが有意である（すなわち、Ｐｂ，ｐ［ｑ］＞０）ことを条件としてＰｂ，ｐ［ｑ］＞１であるか否かを示し、第２のビットは、Ｐｂ，ｐ［ｑ］＞１を条件としてＰｂ，ｐ［ｑ］＞２であるか否かを示し、以下同様である。したがって、サブバンドの単項符号ビットの総数は、単純に以下の通りである。
【数36】
【0055】
重要度のランレングス符号化の場合、ビット数は以下のように近似される。
式中、Ｑｂはサブバンドのクワッドの総数であり、Ｈ（ｕ）は確率ｍｉｎ｛０．５，ｕ｝を有するバイナリランダム変数のエントロピである。関数Ｈ（ｕ）を評価するために、好ましい実施形態は、ルックアップテーブルへのインデックスとして、ｕの浮動小数点表現から最上位ビットのいくつかを取ることによって得られるような、ｕの量子化された対数様表現を使用する。
【数37】
【0056】
いくつかの実施形態では、ＨＴ Ｃｌｅａｎｕｐパスによって用いられるランレングス符号化手順の適応性は、サブバンド内の個々のラインペアｊにわたって最初にクワッド有意性統計値を累積し、
と、各ラインペアｊについてランレングスビットカウントを以下のように別々に計算することによって組み込むことができる。
式中、Ｑｂ
ｌｉｎｅ－ｐａｉｒは、単一のラインペア内のクワッドの数である。次に、式（５）は次のように置き換えられる。
【数38】
【数39】
【数40】
【0057】
いずれにしても、サブバンドｂのビットプレーンｐについての最終的な推定バイト数は、上記で展開された３つの成分を加算し、８で除算することによって単純に形成され、以下の式が得られる。
【数41】
【0058】
実際には、Ｌｂ，ｐは、ビットプレーンｐのＨＴ Ｃｌｅａｎｕｐ符号化によって必要とされるバイト数を常に過大推定するが、次のより微細なビットプレーンｐ－１のＨＴ Ｃｌｅａｎｕｐ符号化によって必要とされるバイト数よりも小さい傾向があることが観察され、これは、各コードブロックに対して生成された符号化パスの数が少なくともＺ＝４である場合に、図３の全体的な複雑度制御アルゴリズムが成功するために必要な特性である。各サブバンドｂについて、任意のクワッドが有意である最大ビットプレーンＰｂ
ｍａｘが存在する。すべてのｐ＞Ｐｂ
ｍａｘおよびＣｂ，ｐ＝０についても、式（６）に対する唯一の非ゼロの寄与は、すべてのクワッドが重要でないという事実を伝達するためのごくわずかなコストＲｂ，ｐである。特に、ｐ＞Ｐｂ
ｍａｘについて、上記の手順を使用して求められるＬｂ，ｐの値は、最大でサブバンド寸法に依存する。Ｐｂ
ｍａｘ自体はデータ依存であるが、量子化ステップサイズΔｂ、サブバンドサンプルを生成するために使用される変換の特性、およびＰｂ
ｍａｘ≦Ｐｂ
ｂｏｕｎｄのような、元の画像サンプル値のビット深度のみに依存する明確な境界Ｐｂ
ｂｏｕｎｄが存在する。本方法の実施態様は、この境界を使用して、各サブバンドｂについて収集される必要があるクワッド有意性統計値Ｃｂ，ｐの数を決定することができる。
【0059】
いくつかのアプリケーションでは、Δｂ、変換特性または画像ビット深度に関係なく、サブバンドｂについて収集されるクワッド有意性統計値Ｃｂ，ｐの数に固定限界Ｓを課すことが望ましい。これは、ｐ≪Ｐｂ
ｍａｘについて（すなわち、非常に高い精度で）、以下の関係が成り立つ傾向があるという事実を利用することによって、本方法の有効性を著しく損なうことなく行うことができる。
【数42】
【0060】
これは、非常に高い精度では、サブバンド内のほとんどのサンプルが有意になり、Ｃｂ，ｐ≒Ｑｂ、（Ｖｂ，ｐ－Ｖｂ，ｐ＋１）≒Ｑｂ、（Ｍｂ，ｐ－Ｍｂ，ｐ＋１）≒４Ｑｂおよび（Ｒｂ，ｐ－Ｒｂ，ｐ＋１）≒０となるためである。この関係を使用して、実施形態は、統計値Ｃｂ，ｐを収集し、以下のようにそれらのビットプレーンｐについてのみ長さ推定値Ｌｂ，ｐを明示的に計算することができる。
Ｌｂ，ｐ＝Ｌｂ，Ｐｂｍｉｎ＋（５／８）Ｑｂ（Ｐｂ
ｍｉｎ－ｐ）から各ｐ∈［０，Ｐｂ
ｍｉｎ）について長さ推定値を導出する。
【数43】
【0061】
読者は、上述した符号化長の推定方法が、ＨＴ Ｃｌｅａｎｕｐ符号化手順によって生成されたバイト数の保守的なモデルを提供するために使用することができる多くの関連する方法のうちの１つにすぎないことを理解するであろう。実際のエンコーダの挙動をより正確に模倣するより精巧なモデルを使用することができるが、実際の経験は、ＨＴ Ｃｌｅａｎｕｐエンコーダ自体の複雑度が低く、生成された符号化パスＺの数が少ない場合でも上記の非常に単純なモデルで十分であるという事実を考慮すると、これらは正当化されない可能性があることを示唆している。
実施の形態３：予測統計を使用したオンラインＱＰ適応
実施の形態３：予測統計を使用したオンラインＱＰ適応
【0062】
実施の形態１に記載される複雑度制御方法では、ＱＰパラメータが算出され得る前に、すべてのサブバンドサンプルから収集された統計値から符号化長が推定される必要がある。これにより、ブロック符号化プロセスによって生成される符号化パスが決定される。結果として、ブロック符号化プロセスが開始され得る前に、画像全体、その量子化されたサブバンドサンプル、または何らかの同等のデータセットをメモリにバッファリングする必要がある。多くの場合、計算量が少なくても、メモリの複雑度が高くなる。
【0063】
この実施の形態３は、空間変換プロセスによって実際に生成されたサブバンドサンプルに基づいてＱＰ値を動的に更新することによって高いメモリ複雑度を回避する。図４は、この方法を例示し、１つのサブバンドｂのみに焦点を当てながら、他のサブバンドが果たす役割を識別している。空間変換（ここでは離散ウェーブレット変換）は、画像全体がメモリにバッファリングされる必要がないようにパイプライン化される。周知のように、画像ラインは、トップダウン方式で離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ：ＤＷＴ）に増分的にプッシュすることができ、この方式では、適度な量の内部状態メモリのみを使用して、各サブバンドｂについてサブバンドサンプルのラインを増分的に生成する。当然ながら、画像データのボトムアップおよび列方向の増分プッシュも、適切な場合、同様に実現することができるが、ほとんどのアプリケーションでは、画像データはラスタスキャン順序で到着するので、ここでは特にその場合の手法について記載する。サブバンドサンプルは、メモリバッファ内で収集され、そこからブロック符号化プロセスによって消費される。
【0064】
サブバンドサンプルをストライプに収集することが有用であり、各ストライプは、サブバンドのコードブロックの総数（典型的にはコードブロックの１行）を表す。図に示すように、プロセスの任意の所与の点で、以下のように４つのカテゴリのサブバンドサンプルを識別することができる。
１．「アクティブなストライプ」ｋは、変換によって生成され、ＱＰ値（等価的に、Ｆ値）が割り当てられる準備ができているサブバンドサンプルに対応し、ベースＣｌｅａｎｕｐビットプレーンＰｂが割り当てられ、これらのサンプルのブロック符号化が続行されることを可能にする。
２．「ディスパッチされたストライプ」は、ＱＰ値（すなわち、Ｆ値）が既に割り当てられている、以前にアクティブであったサブバンドサンプルに対応し、したがって、ブロック符号化を進めるためのベースＣｌｅａｎｕｐビットプレーンＰｂに対応する。これらのサンプルは既に符号化されている可能性があるが、これは厳密な要件ではない。並列処理環境では、コードブロックは、アクティブなストライプのＱＰ値が決定されている間、１つ以上のディスパッチされたストライプが依然として実行中であり得るように、２つ以上のストライプにまたがることができる同時処理エンジンに分配され得る。ここで記載される方法は、複雑度制御プロセスとブロック符号化プロセスとの間の厳密な同期を必要としない。
３．「事前データ」は、変換によって生成されたが、まだストライプ全体に収集されていないか、またはそれらのストライプがまだＱＰ割り当ての準備ができていないサブバンドサンプルに対応する。事前データの高さは、サブバンドサンプルの新規のラインの生成と、それらのサンプルがＱＰ割り当ておよび符号化のためにアクティブになる点との間の遅延として理解することができる。より大きな遅延は、アクティブなストライプを超えて存在するサンプルの符号化長を予測するためのより既知の統計を提供するが、これはより多くのメモリを消費する。多くのアプリケーションでは、新規のストライプがアクティブになる時点で事前データが全く存在しないように、遅延を０に低減することが望ましい。
４．「見えないデータ」は、変換によってまだ生成されていないサブバンドサンプルに対応する。
１．「アクティブなストライプ」ｋは、変換によって生成され、ＱＰ値（等価的に、Ｆ値）が割り当てられる準備ができているサブバンドサンプルに対応し、ベースＣｌｅａｎｕｐビットプレーンＰｂが割り当てられ、これらのサンプルのブロック符号化が続行されることを可能にする。
２．「ディスパッチされたストライプ」は、ＱＰ値（すなわち、Ｆ値）が既に割り当てられている、以前にアクティブであったサブバンドサンプルに対応し、したがって、ブロック符号化を進めるためのベースＣｌｅａｎｕｐビットプレーンＰｂに対応する。これらのサンプルは既に符号化されている可能性があるが、これは厳密な要件ではない。並列処理環境では、コードブロックは、アクティブなストライプのＱＰ値が決定されている間、１つ以上のディスパッチされたストライプが依然として実行中であり得るように、２つ以上のストライプにまたがることができる同時処理エンジンに分配され得る。ここで記載される方法は、複雑度制御プロセスとブロック符号化プロセスとの間の厳密な同期を必要としない。
３．「事前データ」は、変換によって生成されたが、まだストライプ全体に収集されていないか、またはそれらのストライプがまだＱＰ割り当ての準備ができていないサブバンドサンプルに対応する。事前データの高さは、サブバンドサンプルの新規のラインの生成と、それらのサンプルがＱＰ割り当ておよび符号化のためにアクティブになる点との間の遅延として理解することができる。より大きな遅延は、アクティブなストライプを超えて存在するサンプルの符号化長を予測するためのより既知の統計を提供するが、これはより多くのメモリを消費する。多くのアプリケーションでは、新規のストライプがアクティブになる時点で事前データが全く存在しないように、遅延を０に低減することが望ましい。
４．「見えないデータ」は、変換によってまだ生成されていないサブバンドサンプルに対応する。
【0065】
実施の形態１に記載される複雑度制御方法の場合のように、サブバンドサンプルは、ベースＣｌｅａｎｕｐパス（Ｃｕｐ０）ビットプレーンＰｂの各候補ｐについて、符号化長の推定値Ｌｐ
（ｂ）を生成するために使用される。ここでの違いは、符号化長の推定値が、サブバンドの１つのストライプのみを記載するレコードに収集されることである。具体的には、レコードＬｋ
（ｂ）内のエントリＬｋ，ｐ
（ｂ）は、ビットプレーンｐに対するＨＴ Ｃｌｅａｎｕｐパス内で、サブバンドｂのストライプｋ内のサブバンドサンプルの符号化によって生成される符号化バイト数の保守的な推定値を提供する。一般に、これらの長さは、複数のコードブロック、具体的には、ストライプｋ内に存在するすべてのコードブロックを表す。
【0066】
いくつかの実施形態では、長さ推定値Ｌｋ，ｐ
（ｂ）は、整数ではなく分数または浮動小数点値を取り得る。本発明の実施の形態２に記載される符号化長の推定方法は、当然ながら、サブバンド内の個々のラインペアからの長さ寄与を推定するように適合されているので、小数精度でラインペア長さの推定値を計算し、集約することに有用であり得る。これはまた、上記で定義されたような任意の「事前データ」から部分長の推定値を形成し、部分レコードＬａｄｖ
（ｂ）内で収集することを可能にする。
【0067】
この実施の形態では、すべての見えないデータが利用可能になるのを待つことなく、サブバンドｂ内のアクティブなストライプｋに対してＱＰ値が生成される。これらの動的ＱＰ値を生成するための方法は、実施の形態１で記載したものと実質的に同様である。主な違いは以下の通りである。
１．アクティブなストライプを超えて存在するサブバンドサンプルに関連する符号化長を予測する必要がある。
２．ディスパッチされたストライプに属するコードブロックのベースＣｌｅａｎｕｐパスに関連する推定バイト数を追跡する必要があり、これは、それらが異なるＱＰ値を有することができ、このＱＰ値に基づいてベースビットプレーンＰｂが以前にコミットされているためである。
１．アクティブなストライプを超えて存在するサブバンドサンプルに関連する符号化長を予測する必要がある。
２．ディスパッチされたストライプに属するコードブロックのベースＣｌｅａｎｕｐパスに関連する推定バイト数を追跡する必要があり、これは、それらが異なるＱＰ値を有することができ、このＱＰ値に基づいてベースビットプレーンＰｂが以前にコミットされているためである。
【0068】
図４に示すように、ここで述べた第１の問題は、アクティブなストライプｋを超えるすべてのサンプルに関連する推定長を表すための予測長レコードΛｋ
（ｂ）を生成する「長さ予測器」によって対処される。予測プロセスについては、以下でさらに説明する。
【0069】
第２の問題は、ベースビットプレーンＰｂがＱＰ値（等価的に、ＱＰ＝Ｆ／Ｇであるような整数値Ｆ）を使用して決定される時点でレコードＬｋ
（ｂ）から推定長Ｂｋ
（ｂ）を抽出することによって対処される。これは、図において参照番号１０で示されるボックスによって行われ、式（２）を使用してストライプｋ内のコードブロックについてＰｂを取得し、以下のように報告する。
【数44】
【0070】
これらのＢｋ
（ｂ）値は、コミットされたバイトの総数Ｂａｃｃを追跡するために、すべてのサブバンドのすべてのディスパッチされたストライプについて累積される。Ｂｋ
（ｂ）およびＢａｃｃ値はスカラーであるが、Ｌｋ
（ｂ）およびΛｋ
（ｂ）はベクトル値レコードであり、アクティブなストライプｋに対してまだ決定されていないベースビットプレーンに対する多数の仮説ｐを表すことに留意されたい。
【0071】
ＱＰ推定手順は、目標最大バイト数Ｌｍａｘが既にコミットされたバイト数Ｂａｃｃだけ減少され、式（４）が次のようになることを除いて、実施の形態１で用いられるものと同様である。
および
は、すべてのサブバンドｂの最新の予測およびコミットされていないアクティブなレコードからオンラインで（すなわち、適応的に）計算される。特に、任意の所与のサブバンドｂに対する最新のアクティブなストライプのインデックスについてｋｂを、式（３）に従って、推定長レコードＬｋｂ
（ｂ）の拡張されバイアスされたバージョンについて
を、最新の予測レコードΛｋｂ
（ｂ）の同様に拡張されバイアスされたバージョンについて
を、サブバンドｂに対するすべてのディスパッチされたストライプインデックスのセットについてＤ（ｂ）を記し、
は、以下から求められる。
【数45】
【数46】
【数47】
【数48】
【数49】
【数50】
【0072】
具体的には、式（３）の拡張およびバイアス演算は、ここでは以下のようになる。
および式（８）は、以下を意味する。
は、式（７）によって求められる値Ｆに関する各仮説ｆについて、サブバンド内のディスパッチされたストライプに属さないすべてのサブバンドサンプルの（保守的な）推定符号化長について説明することに留意されたい。ディスパッチされたストライプは、上述したように、すべてのディスパッチされたストライプにＦ値（すなわち、ＱＰ）が既に割り当てられ、Ｂａｃｃ内のタリーにバイトがコミットされているため、除外される。
【数51】
および式（８）は、以下を意味する。
【数52】
【数53】
【0073】
ＱＰ（すなわち、Ｆ）割り当て手順は、任意のサブバンドに対して新しいアクティブなストライプが利用可能になるたびに実行することができる。この場合、式（８）の第２の合計は、割り当てが実行されているサブバンドｂのみを含む可能性があり、他のすべてのサブバンドは、それらの最新のアクティブなストライプが以前にディスパッチされたことがある。しかしながら、この手順は、より少ない頻度で実行することもでき、いくつかのサブバンドがＱＰ割り当ての準備ができたアクティブなストライプを有するまで待機し、その結果、式（８）の第２の合計は複数の項を含む。ＱＰ割り当て手順を少ない頻度で実行すると、推定長レコードおよび予測長レコードを拡張、バイアス、および累積することに関連する全体的な計算が減少するが、この計算は過度な負担にはならない。
【0074】
ここで、予測長レコードΛｋ
（ｂ）の作成に注目する。図４に示すように、予測を生成するために利用可能な情報は、アクティブなおよび過去の推定長レコード｛Ｌｉ
（ｂ）｝０≦ｉ≦ｋのセットと共に、事前データの一部または全部から既に形成された任意の部分推定長レコードＬａｄｖ
（ｂ）からなる。
【0075】
これらの長さレコードによって表されるサブバンドラインの数についてＮｋ
（ｂ）を、サブバンドの高さについてＨ（ｂ）を記し、単純な予測手法が、以下のように設定される。
【数54】
【0076】
いくつかの実施形態では、この単純な一様平均は、より最近の推定長レコードにより重点を置く加重平均によって置き換えられてもよく、これは、予測が適用されるサブバンドラインの数Ｈ（ｂ）－Ｎｋ
（ｂ）よりもＮｋ
（ｂ）が大きいときに有益であり得る。
【0077】
最初に、変換が少数のサブバンドサンプルしか生成しなかった場合、いくつかのサブバンドは、ディスパッチされたまたはそうでない、アクティブなストライプをまだ累積していない可能性がある。これらのサブバンドｂについては、最新のアクティブなストライプは存しないため、ｋｂ＝－１である。式（８）の第１の合計は、すべてのサブバンドからの予測を含むことが重要である。いくつかの実施形態では、この要件は、任意のサブバンドから第１のアクティブなストライプをディスパッチする前に、すべてのサブバンドがアクティブストライプを有するまで待機することによって対処することができる。しかしながら、これは、深いＤＷＴ階層において、かなりのメモリリソースを消費し得る。好ましい手法は、すべてのサブバンドが、部分符号化長の推定値Ｌａｄｖ
（ｂ）を累積するとすぐに、第１の予測長レコードΛ－１
（ｂ）を生成することである。これは、サブバンドに対する単一のラインペアの生成後に行うことができ、したがって、ＱＰ割り当て手順の最初の実行は、すべてのサブバンドが少なくとも１つのラインペアを受信するまで遅延される。
【0078】
遅延およびメモリ消費をさらに低減するために、いくつかの実施形態では、変換から任意のデータが利用可能になる前に、深いＤＷＴ階層内のサブバンドに対する初期予測を生成することができる。これは、関連するサンプリング密度に従って、他のより高い分解能のサブバンドによって生成された予測をスケーリングすることによって行うことができる。幸いなことに、ＱＰ割り当て手順が最初に実行されるときにサブバンドサンプルが利用できない可能性がある低分解能サブバンドは、非常に低いサンプル密度を有する傾向があり、したがって、式（７）のＱＰ割り当てで使用される
ベクトルに対してわずかな影響しか及ぼさない傾向がある。
【数55】
【0079】
他の実施形態では、他の画像データからの、オフラインで推定された長さを含む「バックグラウンド」推定長レコードＬｂｇ
（ｂ）を、一部またはすべてのサブバンドに使用することができる。次いで、このバックグラウンドデータから以下のように初期予測を生成することができる。
式中、Ｗ（ｂ）はサブバンドｂの幅であり、Ｓｂｇ
（ｂ）はバックグラウンド長レコードがＬｂｇ
（ｂ）導出されるサンプルの総数であり、あるいはバックグラウンド長レコードは、Ｌｂｇ
（ｂ）／Ｓｂｇ
（ｂ）として正規化された形式で保持されてもよい。いくつかの実施形態は、後の予測Λｋ
（ｂ）を生成するとき、特にｋが小さいとき、そのようなバックグラウンドレコードからの寄与を含むことができる。
【数56】
【0080】
上記の説明では、ＱＰ選択が集中化されたプロセスであり、すべてのサブバンドからの同期された情報を使用して、ブロック符号化のためのベースビットプレーン値Ｐｂの決定に使用される決定を形成し、配布するということを示唆しているように思われるかもしれない。しかしながら、ＱＰ選択プロセスは、実際には、必ずしも同期されていない情報を使用して、分散して実行することができる。特に、各サブバンドまたはサブバンドのグループには、図４の参照番号１０で示されるボックスの自身のローカルコピーを割り当てることができ、これらのボックスは、コミットされたバイトＢｋ
（ｂ）を累積し、ＱＰ（等価的に、Ｆ）値を決定する。分散実装では、コミットされたバイトアキュムレータおよびＱＰ生成プロセスのそのような各ローカルインスタンスは、依然として他のすべてのサブバンドからの入力を必要とするが、この入力は、ＱＰ推定値がアクティブに生成されているアクティブなストライプに対して、遅延または部分的に事前集約され得る。特に、ローカルＱＰ生成プロセスの正しい動作のために必要とされる唯一の外部入力は、外部サブバンドｂからのすべてのコミットされたバイト数の累積和と、外部サブバンドΛｋ
（ｂ）からの最新の予測を累積する拡張予測ベクトルと、まだコミットされていない外部のアクティブなストライプからの任意の長さ推定値Ｌｋ
（ｂ）である。
【0081】
ここでの複雑度制約方法は符号化プロセス自体を含まないということを指摘して、この実施の形態３の説明を終了する。多くの従来のコーダによって採用されている適応量子化方式とは異なり、ＱＰ値を決定するために、実際の符号化長は使用されない。さらに、ブロックエンコーダは、ビットプレーンＰｂがＱＰに依存するベースＣｌｅａｎｕｐパスだけでなく、Ｚ－１追加符号化パスを生成するので、ＱＰ値自体は量子化されたサブバンドサンプル値を直接決定しない。これらの特性は、ブロック符号化プロセスを複雑度制御手順から大幅に切り離すことができることを意味し、独立したブロック符号化によって与えられるかなりの並列性をサポートする実装を可能にする。さらに、ＰＣＲＤ－ｏｐｔアルゴリズムは、任意の点において、個々のコードブロックに関連する歪み長のトレードオフを自由に最適化することができる。いくつかの実施形態では、ＰＣＲＤ－ｏｐｔ手順は、画像またはフレームのすべての符号化データが生成されたときにのみ実行され、シーンの複雑度に従ってビットを不均一に分配する機会を最大化することができる。他の実施形態では、ＰＣＲＤ－ｏｐｔ手順は、最終コードストリームコンテンツを漸進的に出力し、メモリ消費およびレイテンシを低減するように、増分的に実行されてもよい。しかしながら、その場合でも、ＰＣＲＤ－ｏｐｔ手順が実行される頻度は、ＱＰ割り当て手順が実行される頻度とは、両者が分離されているため、非常に異なる可能性がある。
【0082】
これらの特性と機会はすべて最終的に、先に入念に説明したように、符号化長推定プロセスがレート制御に使用されないという事実に由来する。
実施の形態４：ビデオアプリケーションのための強化された予測
実施の形態４：ビデオアプリケーションのための強化された予測
【0083】
ビデオアプリケーションでは、以前に圧縮されたフレームは、現在のフレーム内の見えないデータの符号化長の予測に寄与することができる。開始点として、上述のバックグラウンド長レコードＬｂｇ
（ｂ）は、以前に圧縮されたフレームのサブバンドｂ内の推定長レコードから導出することができ、このバックグラウンド情報は、初期予測長レコードΛ－１
（ｂ）を形成するために使用することができるだけでなく、各サブバンドの初期ストライプ（小さなｋ）における通常の予測長レコードΛｋ
（ｂ）に寄与することもできる。この実施の形態４は、さらに、前のフレームからの長さ推定値の信頼性を決定し、この信頼性に基づいて前のフレームからの長さ推定値を現在のフレーム内の予測長に組み込む方法を提供する。
【0084】
この実施の形態４では、Ｊ個の「前のフレーム」の要約長レコードＰｊ
（ｂ）のセットが、各サブバンドｂに対して保持され、ここで、０≦ｊ＜Ｊおよびレコードｊは、前のフレームにおけるサブバンドからＨｊ
（ｂ）ラインに対して推定される符号化長を要約する。推奨される例として、各サブバンドについてＪ＝６の要約レコードが保持され、その高さＨｊ
（ｂ）は、サブバンド全体の高さＨ（ｂ）を大まかに次のように分割する。
【数57】
【0085】
実施の形態２に記載される長さ推定方法を使用して、符号化長の推定値は、サブバンドラインの各ペアが生成された後に利用可能になり得るクワッド有意性統計値から形成され、この場合、正確な要約レコード高さＨｊ
（ｂ）は２の倍数でなければならない。これらの増分長推定値は集約されて「現在のフレーム」の要約長レコードＣｊ
（ｂ）を形成し、これは次のフレームにおいて「前のフレーム」の要約長レコードＰｊ
（ｂ）になる。メモリ効率の良い実施形態では、Ｃｊ
（ｂ）レコードは、レコードが完全に生成されるとすぐにＰｊ
（ｂ）レコードを上書きすることができる。簡単にするために、要約レコード高さＨｊ
（ｂ）はフレーム間で一貫していると解釈され、このため、Ｃｊ
（ｂ）およびＰｊ
（ｂ）は両方ともサブバンドラインの同じセットに対する符号化長の推定値を表す。しかし、前記方法の、高さを変えることができるバリエーションを容易に開発することができる。
【0086】
Ｎｋ
（ｂ）は、現在のフレーム内でこれまでに符号化長の推定値を形成するために使用されたサブバンドｂからのライン数であることを想起されたい。Ｃｊｋ
（ｂ）が現在アセンブルされている次の要約長レコードを示すように、ｊｋを完了した要約長レコードＣｊ
（ｂ）の数とする。したがって、以下のようになる。
および
は、Ｃｊｋ
（ｂ）に対する長さ推定値に既に寄与したサブバンドラインの数である。
【数58】
【数59】
【0087】
これまでに見られたサブバンドｂからのすべてのＮｋ
（ｂ）個のラインに対する符号化長の推定値の集合ベクトルは、以下であり、
ここで、要約レコードＣｊｋ－１
（ｂ）の完了以降見られるラインペアからの長さ推定値のアキュムレータとして不完全なＣｊｋ
（ｂ）を扱うことに留意されたい。
【数60】
【0088】
前のフレームにおける同じ数のサブバンドラインを表す同様のベクトルは、以下のように形成することができる。
【数61】
【0089】
次に、現在のフレームにおいて長さ推定値を現在有していないＨ（ｂ）－Ｎｋ
（ｂ）サブバンドラインについて、前のフレームにおける長さ推定値を表すベクトルは、以下のように形成することができる。
【数62】
【0090】
本発明のこの実施の形態では、フレーム間長さの推定値の信頼性は、２つの量を介してフレーム内長さ推定値の信頼性と比較される。
式中、Ｕ（Ｌ）は、推定長ベクトルＬから導出されたシーン複雑度のスカラー尺度である。関数Ｕ（）に適した選択は、以下のような指数加重和である。
【数63】
【数64】
【0091】
Δｔｅｍｐｏｒａｌ
（ｂ）＜Δｓｐａｔｉａｌ
（ｂ）である場合、予測ベクトルΛｋ
（ｂ）をＰｐｏｓｔ
（ｂ）に設定することが好ましく、これは、基本的に、現在のフレーム内のＨ（ｂ）－Ｎｋ
（ｂ）欠落サブバンドラインに対する推定バイト数が、前のフレーム内の同じサブバンドラインに対する推定バイト数と同様であると仮定することであり、これを「時間予測」と呼ぶ。あるいは、実施の形態３のように式（９）を使用して、Ｃｐｒｅ
（ｂ）からΛｋ
（ｂ）を生成することが好ましく、これを「空間予測」と呼ぶ。
【0092】
本発明の好ましい実施形態では、サブバンドが現在のフレーム内に少なくとも１つのアクティブなストライプを有する場合に、以下を割り当てることにより、極端に純粋な時間予測または極端に純粋な空間予測を回避する。
【数65】
【0093】
ここで、
という表記が意味するのは、ベクトルＬ内の個々の符号化長の推定値Ｌｐが、
がＰによって制約される可能性が最も高く、
がＣによって制約される可能性が最も高くなるように、下方に調整されるということである。具体的には、この下方調整プロセスに適した選択は、以下の割り当てである。
【数66】
【数67】
【数68】
【数69】
【0094】
依然としてΔｔｅｍｐｏｒａｌ
（ｂ）とΔｓｐａｔｉａｌ
（ｂ）との間の関係を使用して時間予測または空間予測を有利にしつつ、純粋な時間予測と純粋な空間予測の両極端を回避する多くの異なる方法が存在することは、当業者には明らかであろう。
【0095】
また、Ｕ（Ｐｐｒｅ
（ｂ））値は、完成したＣｊ
（ｂ）レコードによって上書きされようとしているＰｊ
（ｂ）レコードのそれぞれに式（１０）を適用し、結果を累積することによって増分的に形成できることも明らかである。これは、サブバンドのＣｊ
（ｂ）およびＰｊ
（ｂ）の両方の要約レコードにストレージを提供する必要がないことを意味する。
【0096】
さらに、上記の式Δｔｅｍｐｏｒａｌ
（ｂ）およびΔｓｐａｔｉａｌ
（ｂ）は、高さ比を含むが、Δｔｅｍｐｏｒａｌ
（ｂ）およびΔｓｐａｔｉａｌ
（ｂ）のどちらが小さいかを決定することのみに関心があるので、これらの比におけるコストの高い除算演算は標準的な相互乗算技法によって回避できることは明らかであろう。
実施の形態５：低レイテンシ画像およびビデオ符号化のためのＱＰ適応
実施の形態５：低レイテンシ画像およびビデオ符号化のためのＱＰ適応
【0097】
前述の実施の形態は、高品質レート制御、すなわち、画像またはビデオの各フレームの符号化長目標を正確に目標にすることで、画像およびビデオの高スループットをサポートする。本発明の実施の形態３および４は、低メモリ構成をサポートしており、この構成では、画像もサブバンドサンプルもブロック符号化の前にメモリ内に完全にバッファリングされる必要はない。すべての場合において、符号化プロセス全体のＰＣＲＤ－ｏｐｔ段階は、画像またはビデオフレームの（ビデオフレームのグループであっても）すべてのブロック符号化が完了するまで延期することができ、符号化ビットをシーンの複雑度に応じて空間（またはさらには時間）にわたって不均一に分配することができる。多くの場合、ＰＣＲＤ－ｏｐｔ段階の前にバッファリングする必要がある符号化データの総量は、通常、それが表す画像またはサブバンドデータの量よりもはるかに少ないため、これは優れた戦略である。
【0098】
サブフレームレイテンシビデオ符号化などの低レイテンシアプリケーションでは、ＰＣＲＤ－ｏｐｔプロセスを実行して最終的なコードストリームを出力する前に、画像またはフレームのすべての符号化データが生成されるまで待つことはできない。さらに、このようなアプリケーションでは、エンドツーエンドレイテンシを決定するときに、固定の、または少なくとも制約されたビットレートを持つ通信チャネルを考慮する必要があることが多い。ＪＰＥＧ２０００のコンテキストにおいて、そのようなアプリケーションに対処する自然な方法は、図５に示すように、画像またはビデオフレーム内の各サブバンドからのコードブロックのストライプを「フラッシュセット」に収集することであり、その結果、各サブバンドは同じ数のフラッシュセットに垂直に分割され、各フラッシュセットは、符号化画像表現を一貫した方法で進める各サブバンドからの寄与を含む。非常に低いレイテンシの場合、ウェーブレット変換における垂直分解レベルの数は、多くの場合、わずか２または３に制限され、高さよりもはるかに幅が広い（例えば、１０２４×４）矩形コードブロックが使用される。ＪＰＥＧ２０００プリシンクト次元は、コードブロックの高さがＤＷＴ階層の各レベルで２分の１に減少することを保証するように選択することができ、空間的に配向された進行順序は、各フラッシュセットの符号化情報が利用可能になるとすぐにコードストリームに出力できるように選択される。いわゆる位置、成分、解像度、レイヤ（Ｐｏｓｉｔｉｏｎ， Ｃｏｍｐｏｎｅｎｔ， Ｒｅｓｏｌｕｔｉｏｎ， Ｌａｙｅｒ：ＰＣＲＬ）進行順序は、通常、低レイテンシのために使用されるべきであり、ここでは、符号化データは、垂直な空間的に進行する順序（上から下へ）で現れ、各空間位置に対して、画像成分（通常は色面）が順番に現れ、各空間位置における各成分に対して、連続的な解像度が順番に現れ、各区分の連続的な品質層（複数の場合）が連続して現れる。垂直タイリングを使用してフラッシュセットを構築することもできるが、タイル境界を導入するとＤＷＴの特性が損なわれ、符号化効率が低下し、低いビットレートでデコードされた画像に視覚的アーチファクトが導入される可能性があるので、あまり望ましくない手法である。
【0099】
実施の形態１は、ＱＰ割り当てプロセスを、単一のフラッシュセットに属するサブバンドサンプルおよびコードブロックのみに制限することによって、そのような低レイテンシ符号化環境に容易に適合される。固定ビットレートまたは制約付きビットレート環境では、任意の所与のフラッシュセットに対して生成される符号化バイト数は、一般に、下限（アンダーフロー制約）および上限（オーバーフロー制約）の両方を満たす必要がある。フラッシュセットの圧縮サイズの上限は、図３のＬｍａｘパラメータになる。フラッシュセットのすべてのサブバンドラインが変換によって生成されると、実施の形態２で記載される方法を使用して、フラッシュセットに対する推定符号化長レコードを作成し、これを使用して、フラッシュセットのＬｍａｘ制約に基づいて、そのフラッシュセットのみに対するＱＰ値を割り当てる。このＱＰ（等価的に、Ｆ）値は、サブバンドｂに属するフラッシュセット内のすべてのコードブロックのベースビットプレーンＰｂを導出するために使用され、ブロック符号化が実行される。最後に、ＰＣＲＤ－ｏｐｔアルゴリズムが生成された符号化パスに適用されて、Ｌｍａｘ上限に適合するフラッシュセットのレート歪み最適表現を生成する。生成されたコンテンツがフラッシュセットの下限（アンダーフロー制約）を満たすことができない場合、デコードされた結果に影響を及ぼさない方法で、スタッフィングバイトをコードブロックバイトストリームに挿入することができ、Ｊ２Ｋ－１とＨＴブロック符号化アルゴリズムの両方が、符号化コンテンツへのスタッフィングバイトの導入をサポートしている。
【0100】
レイテンシおよび／またはメモリ消費をさらに低減するために、いくつかの実施形態は、実施の形態３に記載される空間予測方法または（ビデオの場合）実施の形態４に記載された組み合わされた空間および時間予測方法を使用して、フラッシュセット内のブロック符号化プロセスが、フラッシュセットのすべてのサブバンドサンプルが変換によって生成される前に開始されることを可能にすることができる。
実験結果
実験結果
【0101】
ここで、本発明者らは、本発明の実施形態の有効性についてのいくつかの実験的証拠を提供する。
【0102】
最初に、単一の非常に大きな画像の圧縮について考える。問題の画像は、１３３３３×１３３３３サイズの航空写真で、ＲＧＢピクセルがそれぞれ２４ビット（８ビット／サンプル）で、ディスク上で５３３ＭＢを占めている。
【0103】
ＰＣＲＤ－ｏｐｔ手順の最適化目的として平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：ＭＳＥ）ピーク信号対雑音比（Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ：ＰＳＮＲ）を使用して、画像を様々なビットレートに圧縮する。コードブロック寸法は６４×６４であり、通常の不可逆逆相関色変換（この場合はＲＧＢからＹＣｂＣｒ）と共に、ＣＤＦ９／７ウェーブレット変換を用いる。元の画像を参照として、解凍されたコードストリームのＰＳＮＲを測定するだけで複雑度制約付き符号化の効果を確認できるように、最適化目的としてピーク信号対雑音比（Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ：ＰＳＮＲ）を選択する。いずれの場合も、ＨＴブロック符号化アルゴリズムのみを使用して、ＪＰＥＧ２０００パート１５に準拠するＨＴＪ２Ｋコードストリームを生成するために画像を圧縮する。すべての圧縮および解凍は、これまでに記載された方法を使用して行われる。
【0104】
ブロックエンコーダが各コードブロックの最初の（最も粗い）有意ビットプレーンから開始して多数のパスを生成する「Ｆｕｌｌ」ＨＴ符号化に関連する性能を、最小遅延（ストライプがアクティブになる時点で「事前データ」がない）および様々な数のＨＴ符号化パスＺで、実施の形態３に記載される方法を使用して得られた性能と比較する。長さ推定値自体は、実施の形態２を使用して形成される。これらの異なる手法のＰＳＮＲ結果を表１で報告する。明らかに、少なくともこのタイプのコンテンツについては、ＨＴＪ２Ｋエンコーダがコードブロック毎に最大でＺ＝６個の符号化パスを生成すれば十分であり、これは「Ｆｕｌｌ」ＨＴ符号化によって生成されるパスの数よりもはるかに少ない。
【0105】
表１：様々なレベルのＨＴエンコーダ複雑度制御を使用した、大きな（０．５ＧＢ）ＲＧＢ航空画像のＨＴＪ２Ｋコードストリームへの圧縮であって、コードブロック毎に３、４、および６個の符号化パスに対応し、その後、重み付けされていない（ＰＳＮＲベースの）ＰＣＲＤ－ｏｐｔレート制御が続く。
【表1】
【0106】
次に、実施の形態３に記載される空間のみ（フレーム内）予測方法と比較して、実施の形態４に記載される空間および時間の複合予測方法の有効性を調べる。これを行うために、２つの異なるタイプのコンテンツ間で交互になる、５つのシーンカット（６セグメント）を有する４８フレームからなる人工的な４Ｋ ４：４：４ ＲＧＢビデオシーケンスを構築する。６つのセグメントのうち４つは、他の２つよりもはるかに圧縮が容易であり、ピクチャの上半分にはかなりの量の曇天があり、その結果、シーンの複雑度もフレームの上部から下部まで大きく変化する。コンテンツは、各フレームが本質的に同じ圧縮サイズ３８４０×２１６０×（１／８）＝１，０３６，８００ｂｙｔｅｓを有するように、一定のレート制御で１ビット／ピクセル（ｂｐｐ）のビットレートに圧縮される。各フレームは、ＨＴブロック符号化アルゴリズムのみを使用して、ＪＰＥＧ２０００パート１５に準拠するＨＴＪ２Ｋコードストリームを生成するように符号化される。Ｒ、ＧおよびＢチャネルにわたる各フレームの平均二乗誤差からのＰＳＮＲトレースを図６にプロットする。
【0107】
この図における「ＰＣＲＤ－ＳＴＡＴＳ」トレースは、国際公開第２０２０／０７３０９８号に記載されているように、「背景技術」において言及された複雑度制約付きＨＴＪ２Ｋ符号化のための既存の「ＰＣＲＤ－ＳＴＡＴＳ」法に対応しており、ここで、所与のコードブロックに対して生成された符号化パスのセットは、前のフレーム内の同じコードブロックに対するＰＣＲＤ－ｏｐｔ手順によって選択された動作点に基づいており、コードブロック毎にＺ＝６を超える符号化パスを生成することなく、経時的なシーンコンテンツの変化に漸進的に適応できるように追加の符号化パスを導入する。はじめに、第１のフレームには異なった処理がなされ、特に、図６にプロットされた結果について、すべての可能な符号化パスが第１のフレームの各コードブロックについて生成される。
【0108】
図中の「ＣＰＬＥＸ－Ｓ」トレースは、実施の形態３に記載される方法に対応し、これも最小メモリを有しており、「ＣＰＬＥＸ－ＳＴ」トレースは、実施の形態４に記載される方法に対応している。いずれの場合も、長さ推定値自体は、実施の形態２に従って、クワッド有意性統計値から形成され、各コードブロックに対して最大でＺ＝６の符号化パスが生成される。
【0109】
図中の「ＨＴＦＵＬＬ」トレースは、「Ｆｕｌｌ」ＨＴ符号化に対応し、コードブロックの任意のサンプルが有意である最初の（最も粗い）ビットプレーンから開始して、各コードブロックに対して多くの符号化パスが生成される。この手法は、ＨＴブロックエンコーダによってより多くの符号化パスが生成されるため、他の方法よりも本質的に複雑である（スループットが低い）。ＰＣＲＤ－ｏｐｔ手順は、ＰＳＮＲを最大にする（ＭＳＥを最小化する）ように構成されており、生成された各コードストリームの最適化された切り捨て点を決定するためのより大きなオプションセット（符号化パス）が提供されるため、「Ｆｕｌｌ」ＨＴ符号化もまた、最も高いＰＳＮＲを生成することが予想される。しかしながら、ここでの「Ｆｕｌｌ」ＨＴ符号化手法は、Ｋａｋａｄｕ（商標）ソフトウェアの勾配閾値予測機能を使用し、フレームの歪み長勾配閾値は、前のフレームで使用されたものから推定され、推定された勾配は、すべての可能な符号化パスを生成するのではなく、必要に応じて、ブロック符号化プロセスを早期に終了させるために使用される。複雑度制御のためのこの戦略は、Ｄ．Ｔａｕｂｍａｎによる「Ｓｏｆｔｗａｒｅ ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ ＪＰＥＧ２０００」、ＤＳＰに関するＩＥＥＥ国際会議プロシーディングス、ギリシャ、サントリーニ（２００２）に記載されており、長年にわたってＪＰＥＧ２０００エンコーダによって首尾よく使用されてきたが、図中のトレース参照番号２０によって証明されるように、高いシーン複雑度を有するフレームから低いシーン複雑度（低いＰＳＮＲから高いＰＳＮＲへ）への遷移において不利であることを示している。（注意：Ｋａｋａｄｕソフトウェアは、一連のＪＰＥＧ２０００標準を実装するために広く使用されており、そのツールは、学術的および商業的な場でＪＰＥＧ２０００の参照結果を生成するために使用されることが多い。これらのツールは、ｈｔｔｐ：／／ｗｗｗ．ｋａｋａｄｕｓｏｆｔｗａｒｅ．ｃｏｍで入手可能である。）
【0110】
「ＰＣＲＤ－ＳＴＡＴＳ」トレース（図の参照番号２１）は、特にシーン複雑度が低いフレームからシーン複雑度が高いフレーム（高いＰＳＮＲから低いＰＳＮＲ）への遷移において、シーン遷移時に著しい性能損失を示すことに留意されたい。これは、ローカルシーンの複雑度がフレーム間であまりにも急速には変化しないことを前提としているためであり、したがって、複雑度の低いフレームに続く複雑度の高いフレームでは、多くの粗いビットプレーンをスキップすることになり得る。
【0111】
実施の形態３からの純粋なフレーム内複雑度制御方法（参照番号２２の「ＣＰＬＥＸ－Ｓ」曲線）は、「ＨＴＦＵＬＬ」および「ＰＣＲＤ－ＳＴＡＴＳ」の両方よりも時間的にロバストであるが、各フレームの上部が非常に低いシーン複雑度を有するビデオの容易に圧縮される部分においていくらかの品質劣化を被る。本発明の実施の形態３は、空間変換によって既に生成された各サブバンドの上部からの符号化長の推定値を使用して、サブバンドの残りの（見えない）部分の予測長を生成するので、これは驚くべきことではない。
【0112】
全体として、実施の形態４の組み合わされた空間および時間予測方法（参照番号２３の「ＣＰＬＥＸ－ＳＴ」曲線）は、時間的なロバスト性と全体的な圧縮画像品質の両方において、他のすべての方法よりも優れている。
【0113】
上述の実施形態の符号化方法は、適切なソフトウェアでプログラムされた適切な計算装置によって実施することができる。方法の実施形態は、ＧＰＵ配置ならびに低レイテンシハードウェアおよび高レイテンシハードウェア配置において実施することができる。
【0114】
実施形態を実施するためにソフトウェアが使用される場合、ソフトウェアは、ディスクなどのコンピュータ可読媒体上で、またはインターネットなどのネットワーク上のデータ信号として、または任意の他の方法で提供することができる。
【0115】
上述の実施形態は、ＪＰＥＧ２０００（ＨＴＪ２Ｋ）およびＪ２Ｋフォーマット内での使用に関する。本発明の実施形態はこれに限定されない。いくつかの実施形態は、他の画像処理フォーマットで使用されてもよい。実施形態は、他の画像処理コンテキストにおける用途を見出すことができる。
【0116】
当業者であれば、広く説明されている本発明の精神または範囲から逸脱することなく、特定の実施形態に示されているように本発明に対して多数の変形および／または修正を行うことができることを理解するであろう。したがって、本実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。
【0117】
以下の特許請求の範囲および本発明の先述の説明では、文脈上、明示的な言語または必要な含意により他の意味に解釈すべき場合を除いて、「含む／備える（ｃｏｍｐｒｉｓｅ）」という単語、またはその語の変形（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇなど）は包括的な意味で使用され、すなわち、記載された特徴の存在を特定するが、本発明の様々な実施形態におけるさらなる特徴の存在または追加を排除するものではない。
【0118】
任意の先行技術刊行物が本明細書で参照される場合、そのような参照は、その刊行物がオーストラリアまたは任意の他の国において当該技術分野における共通の一般的知識の一部を形成すると認めることにはならないことを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】