▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-23
(45)【発行日】2022-08-31
(54)【発明の名称】ビットプレーン符号化
(51)【国際特許分類】
H04N 19/46 20140101AFI20220824BHJP
H04N 19/625 20140101ALI20220824BHJP
H04N 19/63 20140101ALI20220824BHJP
【ＦＩ】
H04N19/46
H04N19/625
H04N19/63
【請求項の数】
44
(21)【出願番号】P 2020500890
(86)(22)【出願日】2018-03-12
(65)【公表番号】
(43)【公表日】2020-09-03
(86)【国際出願番号】 EP2018056122
(87)【国際公開番号】W WO2019011484
(87)【国際公開日】2019-01-17
【審査請求日】2020-03-05
(31)【優先権主張番号】17180617.7
(32)【優先日】2017-07-10
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(72)【発明者】
【氏名】ケイナット，ヨアヒム
(72)【発明者】
【氏名】リヒター，トーマス
(72)【発明者】
【氏名】マルティネス デル アモール，ミゲル アンヘル
(72)【発明者】
【氏名】デ フルートス ロペス，マヌエル
(72)【発明者】
【氏名】シェール，クリスティアン
(72)【発明者】
【氏名】トーマ，ヘルベルト
(72)【発明者】
【氏名】フェッセル，ジークフリート
【審査官】岩井 健二
(56)【参考文献】
【文献】特開２０１２－１２４８３７（ＪＰ，Ａ）
【文献】国際公開第２０１８／１１４８１３（ＷＯ，Ａ１）
【文献】国際公開第２０１８／０４１３７９（ＷＯ，Ａ１）
【文献】国際公開第２０１５／１９１５３５（ＷＯ，Ａ２）
【文献】米国特許出願公開第２０１４／０２４７９９９（ＵＳ，Ａ１）
【文献】Thomas Richter et al.，High Speed, Low-Complexity Image Coding for IP-Transport with JPEG XS，Proc. SPIE 9971, Applications of Digital Image Processing，SPIE，2016年09月，Vol.9971，pp.1-10
【文献】Alexandre Willeme et al.，Quality and Error Robustness Assessment of Low-Latency Lightweight Intra-Frame Codecs for Screen Content Compression，IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS，IEEE，2016年12月，VOL.6, NO.4，pp.471-483
【文献】Antonin Descampe et al.，JPEG XS, a new standard for visually lossless low-latency lightweight image compression，Proc. SPIE 10396, Applications of Digital Image Processing，SPIE，2017年09月，SPIE Vol.10396，pp.1-12
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
データストリーム（１０２）から変換係数（１６）を復号するように構成されたデコーダであって、前記変換係数は係数グループ（１８）にグループ化され、
前記係数グループ（１８）はグループセット（４０）にグループ化され、
前記デコーダは、
前記データストリーム（１０２）から有意符号化モードの指示（２５０）を導出し、
前記データストリーム（１０２）から、有意符号化モードが使用されないグループセット（４０）の第１のサブセットと、前記有意符号化モードが使用されるグループセット（４０）の第２のサブセットと、を識別する情報（１０４）を導出し、
前記第１のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、
第１の以前に復号された係数グループに基づいて、符号化ビットプレーンの第１のセットの第１の予測を導出すること（２１４）と、
符号化ビットプレーンの前記第１のセットの修正された第１の予測を取得するために、前記データストリームから導出された第１の予測残差（１１８）を使用して前記第１の予測を修正すること（２１６）と、
前記データストリームからビットを読み取ることにより、符号化ビットプレーンの第１のセットに対応する前記修正された第１の予測内の前記それぞれの係数グループのビットを導出すること（２２０）と、によって符号化ビットプレーンの前記第１のセットを識別し、
前記第２のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、前記有意符号化モードが第１のモードである場合には、
第２の以前に復号された係数グループに基づいて、符号化ビットプレーンの第２のセットの第２の予測を導出すること（２１４）により、符号化ビットプレーンの前記第２のセットを識別し、
前記データストリームからビットを読み取ることにより、符号化ビットプレーンの前記第２のセットに対応する前記第２の予測内の前記それぞれの係数グループのビットを導出し（２２０）、
前記第２のサブセットの各グループセットについて、前記有意符号化モードが第２のモードである場合には、
それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを決定する（２１０）、ように構成される、デコーダ。
【請求項2】
前記変換係数は、画像（１２）のスペクトル分解の複数の下位部分のうちの１つの下位部分を形成する、請求項１に記載のデコーダ。
【請求項3】
前記デコーダは、前記データストリームから前記下位部分ごとに前記有意符号化モードを導出するように構成される、請求項２に記載のデコーダ。
【請求項4】
前記下位部分は、前記画像（１２）が細分される空間領域の対応する空間領域（３２）に関する変換係数のサブバンドまたはグループである、請求項３に記載のデコーダ。
【請求項5】
各係数グループの１つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報（１０８）を前記データストリームから導出するように構成され、前記第１の予測、前記修正された第１の予測および前記第２の予測は、前記１つまたは複数の切り捨てられた最下位ビットプレーンのセットの最上位の切り捨てられたビットプレーンに対する最上位ビットプレーンインデックスを示す、請求項２から４のいずれか一項に記載のデコーダ。
【請求項6】
前記画像（１２）が細分される空間領域の対応する空間領域（３２）に関する変換係数の係数グループ行、サブバンド、またはグループの粒度で、前記１つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す前記切り捨て情報（１０８）を前記データストリームから導出するように構成される、請求項５に記載のデコーダ。
【請求項7】
前記変換係数は、画像（１２）のスペクトル分解（１０）のスペクトル係数である、請求項１から６のいずれか一項に記載のデコーダ。
【請求項8】
前記変換係数は、ＤＣＴまたはウェーブレット係数である、請求項１から７のいずれか一項に記載のデコーダ。
【請求項9】
前記変換係数は、画像（１２）のサブバンドへのスペクトル分解（１０）のスペクトル係数であり、１つの係数グループ（１８）内の変換係数（１６）が同じサブバンドに属するような方法で前記係数グループ（１８）にグループ化される、請求項１から８のいずれか一項に記載のデコーダ。
【請求項10】
前記データストリームからグループセット（４０）ごとに１つのフラグとして前記情報（１０４）を導出するように構成され、前記フラグが第１の状態を想定するグループセット（４０）は、グループセットの前記第１のサブセットに属し、
前記フラグが第２の状態を想定するグループセットは、グループセットの前記第２のサブセットに属する、請求項１から９のいずれか一項に記載のデコーダ。
【請求項11】
１のコードレートで前記ビットの前記導出（２２０）を実行するように構成される、請求項１から１０のいずれか一項に記載のデコーダ。
【請求項12】
有意ではない係数をゼロまたは擬似ノイズに設定するように構成される、請求項１から１１のいずれか一項に記載のデコーダ。
【請求項13】
変換係数（１６）をデータストリーム（１０２）に符号化するように構成されたエンコーダであって、前記変換係数は係数グループ（１８）にグループ化され、
前記係数グループはグループセット（４０）にグループ化され、
前記エンコーダは、
第１のモードまたは第２のモードである有意符号化モード（２５０）を前記データストリーム（１０２）において通知し、
前記有意符号化モードが使用されないグループセットの第１のサブセットと、前記有意符号化モードが使用されるグループセットの第２のサブセットと、を識別する情報（１０４）を前記データストリーム（１０２）に挿入し、
前記第１のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、
第１の以前に符号化された係数グループに基づいて、符号化ビットプレーンの第１のセットの第１の予測を導出すること（１１４）と、
符号化ビットプレーンの前記第１のセットの修正された第１の予測を取得するために、前記第１の予測を修正するための第１の予測残差（１１８）を前記データストリーム（１０２）に挿入すること（１１６）と、
符号化ビットプレーンの前記第１のセットに対応する前記修正された第１の予測内の前記それぞれの係数グループのビットを前記データストリームに挿入すること（１２０）と、によって、前記データストリーム内の符号化ビットプレーンの前記第１のセットを識別し、
前記第２のサブセットの各グループセットの、前記それぞれのグループセットの各係数グループについて、前記有意符号化モードが前記第１のモードである場合には、
第２の以前に符号化された係数グループに基づいて、符号化ビットプレーンの第２のセットの第２の予測を導出すること（１１４）により、符号化ビットプレーンの前記第２のセットを識別し、
符号化ビットプレーンの前記第２のセットに対応する前記第２の予測内のビットを前記データストリームに挿入する（１２０）ように構成され、
前記第２のモードである前記有意符号化モードは、前記第２のサブセットの各グループセット、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを通知する、エンコーダ。
【請求項14】
前記変換係数は、画像のスペクトル分解の複数の下位部分のうちの１つの下位部分を形成する、請求項１３に記載のエンコーダ。
【請求項15】
前記エンコーダは、前記データストリームにおける通知により、下位部分ごとに少なくとも前記第１および第２のモードの中から前記有意符号化モードを選択して変更するように構成される、請求項１４に記載のエンコーダ。
【請求項16】
前記下位部分は、前記画像が細分される空間領域の対応する空間領域に関する変換係数のサブバンドまたはグループである、請求項１５に記載のエンコーダ。
【請求項17】
各係数グループの１つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報を前記データストリームに挿入するように構成され、前記第１の予測、前記修正された第１の予測および前記第２の予測は、前記１つまたは複数の切り捨てられた最下位ビットプレーンのセットの最上位の切り捨てられたビットプレーンに対する最上位ビットプレーンインデックスを示す、請求項１４から１６のいずれか一項に記載のエンコーダ。
【請求項18】
前記画像が細分される空間領域の対応する空間領域に関する変換係数の係数グループ行、サブバンド、またはグループの粒度で、前記１つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す前記切り捨て情報を前記データストリームに挿入するように構成される、請求項１７に記載のエンコーダ。
【請求項19】
前記エンコーダは、デフォルトで少なくとも前記第１および第２のモードの中から前記有意符号化モードを選択するように構成されるか、または、前記エンコーダは、前記第１および第２のモードを含む符号化モードのセットをテストし、前記符号化モードのセットの中から所定の基準に従って最良の符号化モードを選択することにより、少なくとも前記第１および第２のモードの中から前記有意符号化モードを選択するように構成される、
請求項１３から１８のいずれか一項に記載のエンコーダ。
【請求項20】
前記所定の基準は、コードレートおよび／または符号化歪みに依存する、請求項１９に記載のエンコーダ。
【請求項21】
前記変換係数は、画像のスペクトル分解のスペクトル係数である、請求項１３から２０のいずれか一項に記載のエンコーダ。
【請求項22】
前記変換係数は、ＤＣＴまたはウェーブレット係数である、請求項１３から２１のいずれか一項に記載のエンコーダ。
【請求項23】
前記変換係数は、画像のサブバンドへのスペクトル分解のスペクトル係数であり、１つの係数グループ内の変換係数が同じサブバンドに属するような方法で前記係数グループにグループ化される、請求項１３から２２のいずれか一項に記載のエンコーダ。
【請求項24】
グループセットごとに１つのフラグとして前記情報を前記データストリームに挿入するように構成され、前記フラグが第１の状態を想定するグループセットは、グループセットの前記第１のサブセットに属し、
前記フラグが第２の状態を想定するグループセットは、グループセットの前記第２のサブセットに属する、請求項１３から２３のいずれか一項に記載のエンコーダ。
【請求項25】
１のコードレートで前記ビットの前記挿入を実行するように構成される、請求項１３から２４のいずれか一項に記載のエンコーダ。
【請求項26】
有意ではない係数は、ゼロまたは擬似ノイズに設定されるように通知される、請求項１３から２５のいずれか一項に記載のエンコーダ。
【請求項27】
データストリーム（１０２）から変換係数（１６）を復号するように構成されたデコーダであって、前記変換係数（１６）は係数グループ（１８）にグループ化され、
前記係数グループはグループセット（４０）にグループ化され、
前記デコーダは、
前記データストリーム（１０２）から、有意符号化モードが使用されないグループセットの第１のサブセットと、前記有意符号化モードが使用されるグループセットの第２のサブセットと、を識別する情報（１０４）を導出し、
前記第１のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、
第１の以前に復号された係数グループに基づいて、符号化ビットプレーンの第１のセットの第１の予測を導出すること（２１４）と、
符号化ビットプレーンの前記第１のセットの修正された第１の予測を取得するために、前記データストリームから導出された第１の予測残差（１１８）を使用して前記第１の予測を修正すること（２１６）と、
１のコードレートで前記データストリームからビットを読み取ることにより、符号化ビットプレーンの第１のセットに対応する前記修正された第１の予測内の前記それぞれの係数グループのビットを導出すること（２２０）と、によって、符号化ビットプレーンの前記第１のセットを識別し、
前記第２のサブセットの各グループセットについて、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを決定する（２１０）ように構成される、デコーダ。
【請求項28】
前記有意符号化モードが適用されるか否かを前記データストリーム（１０２）から導出し、前記有意符号化モードが適用されない場合には、前記データストリームからの前記情報の前記導出をスキップし、前記第２のサブセットが空であると推測するように構成される、請求項２７に記載のデコーダ。
【請求項29】
前記変換係数は、画像のスペクトル分解の複数の下位部分のうちの１つの下位部分を形成し、前記デコーダは、下位部分ごとに前記有意符号化モードが適用されるか否かを前記データストリームから導出するように構成される、請求項２８に記載のデコーダ。
【請求項30】
前記下位部分は、前記画像が細分される空間領域の対応する空間領域に関する変換係数のサブバンドまたはグループである、請求項２９に記載のデコーダ。
【請求項31】
各係数グループの１つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報を前記データストリームから導出するように構成され、前記第１の予測および前記修正された第１の予測は、前記１つまたは複数の切り捨てられた最下位ビットプレーンのセットの最上位の切り捨てられたビットプレーンに対する最上位ビットプレーンインデックスを示す、請求項２９または３０に記載のデコーダ。
【請求項32】
前記画像が細分される空間領域の対応する空間領域に関する変換係数の係数グループ行、サブバンド、またはグループの粒度で、前記１つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す前記切り捨て情報を前記データストリームから導出するように構成される、請求項３１に記載のデコーダ。
【請求項33】
前記変換係数は、画像のスペクトル分解のスペクトル係数である、請求項２７から３２のいずれか一項に記載のデコーダ。
【請求項34】
前記変換係数は、ＤＣＴまたはウェーブレット係数である、請求項２７から３３のいずれか一項に記載のデコーダ。
【請求項35】
前記変換係数は、画像のサブバンドへのスペクトル分解のスペクトル係数であり、１つの係数グループ内の変換係数が同じサブバンドに属するような方法で前記係数グループにグループ化される、請求項２７から３４のいずれか一項に記載のデコーダ。
【請求項36】
グループセットごとに１つのフラグとして前記データストリームから前記情報を導出するように構成され、前記フラグが第１の状態を想定するグループセットは、グループセットの前記第１のサブセットに属し、
前記フラグが第２の状態を想定するグループセットは、グループセットの前記第１のサブセットに属する、請求項２７から３５のいずれか一項に記載のデコーダ。
【請求項37】
単進ＶＬＣ符号を使用して前記第１の予測残差の前記導出を実行するように構成される、請求項２７から３６のいずれか一項に記載のデコーダ。
【請求項38】
有意ではない係数をゼロまたは擬似ノイズに設定するように構成される、請求項２７から３７のいずれか一項に記載のデコーダ。
【請求項39】
変換係数をデータストリームに符号化するように構成されたエンコーダであって、前記変換係数は係数グループにグループ化され、
前記係数グループはグループセットにグループ化され、
前記エンコーダは、
有意符号化モードが使用されないグループセットの第１のサブセットと、前記有意符号化モードが使用されるグループセットの第２のサブセットと、を識別する情報を前記データストリームに挿入し、
前記第１のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、
第１の以前に復号された係数グループに基づいて、符号化ビットプレーンの第１のセットの第１の予測を導出すること（２１４）、により符号化ビットプレーンの前記第１のセットを識別し、
符号化ビットプレーンの前記第１のセットの修正された第１の予測を取得するために、前記第１の予測を修正するための第１の予測残差を前記データストリームに挿入し、
符号化ビットプレーンの前記第１のセットに対応する前記修正された第１の予測内の前記それぞれの係数グループのビットを１のコードレートで前記データストリームに挿入するように構成され、
前記第２のサブセットの各グループセット、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数は有意でない、エンコーダ。
【請求項40】
データストリーム（１０２）から変換係数（１６）を復号するための方法であって、前記変換係数は係数グループ（１８）にグループ化され、
前記係数グループ（１８）はグループセット（４０）にグループ化され、
前記方法は、
前記データストリーム（１０２）から有意符号化モードの指示（２５０）を導出するステップと、
前記データストリーム（１０２）から、有意符号化モードが使用されないグループセット（４０）の第１のサブセットと、前記有意符号化モードが使用されるグループセット（４０）の第２のサブセットと、を識別する情報（１０４）を導出するステップと、
前記第１のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、第１の以前に復号された係数グループに基づいて、符号化ビットプレーンの第１のセットの第１の予測を導出すること（２１４）と、符号化ビットプレーンの前記第１のセットの修正された第１の予測を取得するために、前記データストリームから導出された第１の予測残差（１１８）を使用して前記第１の予測を修正すること（２１６）と、前記データストリームからビットを読み取ることにより、符号化ビットプレーンの第１のセットに対応する前記修正された第１の予測内の前記それぞれの係数グループのビットを導出すること（２２０）と、によって、符号化ビットプレーンの前記第１のセットを識別するステップと、
前記第２のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、前記有意符号化モードが第１のモードである場合には、第２の以前に復号された係数グループに基づいて、符号化ビットプレーンの第２のセットの第２の予測を導出すること（２１４）により、符号化ビットプレーンの前記第２のセットを識別するステップと、
前記データストリームからビットを読み取ることにより、符号化ビットプレーンの前記第２のセットに対応する前記第２の予測内の前記それぞれの係数グループのビットを導出するステップ（２２０）と、
前記第２のサブセットの各グループセットについて、前記有意符号化モードが第２のモードである場合には、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを決定するステップ（２１０）と、
を含む、方法。
【請求項41】
変換係数（１６）をデータストリーム（１０２）に符号化するための方法であって、前記変換係数は係数グループ（１８）にグループ化され、
前記係数グループはグループセット（４０）にグループ化され、
前記方法は、
第１のモードまたは第２のモードである有意符号化モード（２５０）を前記データストリーム（１０２）において通知するステップと、
前記有意符号化モードが使用されないグループセットの第１のサブセットと、前記有意符号化モードが使用されるグループセットの第２のサブセットと、を識別する情報（１０４）を前記データストリーム（１０２）に挿入するステップと、
前記第１のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、第１の以前に符号化された係数グループに基づいて、符号化ビットプレーンの第１のセットの第１の予測を導出すること（１１４）と、符号化ビットプレーンの前記第１のセットの修正された第１の予測を取得するために、前記第１の予測を修正するための第１の予測残差（１１８）を前記データストリーム（１０２）に挿入すること（１１６）と、符号化ビットプレーンの前記第１のセットに対応する前記修正された第１の予測内の前記それぞれの係数グループのビットを前記データストリームに挿入すること（１２０）と、によって、前記データストリーム内の符号化ビットプレーンの前記第１のセットを識別するステップと、
前記第２のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、前記有意符号化モードが前記第１のモードである場合には、第２の以前に符号化された係数グループに基づいて、符号化ビットプレーンの第２のセットの第２の予測を導出すること（１１４）と、符号化ビットプレーンの前記第２のセットに対応する前記第２の予測内のビットを前記データストリームに挿入すること（１２０）と、によって、符号化ビットプレーンの前記第２のセットを識別するステップと、を含み、
前記第２のモードである前記有意符号化モードは、前記第２のサブセットの各グループセット、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを通知する、方法。
【請求項42】
データストリーム（１０２）から変換係数（１６）を復号するための方法であって、前記変換係数（１６）は係数グループ（１８）にグループ化され、
前記係数グループはグループセット（４０）にグループ化され、
前記方法は、
前記データストリーム（１０２）から、有意符号化モードが使用されないグループセットの第１のサブセットと、前記有意符号化モードが使用されるグループセットの第２のサブセットと、を識別する情報（１０４）を導出するステップと、
前記第１のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、第１の以前に復号された係数グループに基づいて、符号化ビットプレーンの第１のセットの第１の予測を導出すること（２１４）と、符号化ビットプレーンの前記第１のセットの修正された第１の予測を取得するために、前記データストリームから導出された第１の予測残差（１１８）を使用して前記第１の予測を修正すること（２１６）と、１のコードレートで前記データストリームからビットを読み取ることにより、符号化ビットプレーンの第１のセットの前記修正された第１の予測内の前記それぞれの係数グループのビットを導出すること（２２０）と、によって、符号化ビットプレーンの前記第１のセットを識別するステップと、
前記第２のサブセットの各グループセットについて、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数が有意でないことを決定するステップ（２１０）と、を含む、方法。
【請求項43】
変換係数をデータストリームに符号化するための方法であって、前記変換係数は係数グループにグループ化され、
前記係数グループはグループセットにグループ化され、
前記方法は、
有意符号化モードが使用されないグループセットの第１のサブセットと、前記有意符号化モードが使用されるグループセットの第２のサブセットと、を識別する情報を前記データストリームに挿入するステップと、
前記第１のサブセットの各グループセット、前記それぞれのグループセットの各係数グループについて、第１の以前に復号された係数グループに基づいて、符号化ビットプレーンの第１のセットの第１の予測を導出することと、符号化されたビットプレーンの前記第１のセットの修正された第１の予測を取得するために、前記第１の予測を修正するための第１の予測残差を前記データストリームに挿入することと、符号化ビットプレーンの前記第１のセットに対応する前記修正された第１の予測内の前記それぞれの係数グループのビットを１のコードレートで前記データストリームに挿入することと、によって、符号化ビットプレーンの前記第１のセットを識別するステップと、を含み、
前記第２のサブセットの各グループセット、それぞれのグループセットの各係数グループについて、前記それぞれの係数グループの係数は有意でない、方法。
【請求項44】
請求項４０から請求項４３のいずれか一項に記載の方法をコンピュータに実行させる場合に、実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、静止画像および／またはビデオの符号化のためのビットプレーン画像符号化などのビットプレーン符号化に関する。
【背景技術】
【0002】
ビットプレーン符号化では、符号化されたビットプレーンを利用可能なビットプレーンの総量の一部に制限することにより、必要な符号化量を削減しようとする。
ほとんどの場合、ビットプレーン符号化は、変換係数、すなわち、画像のスペクトル分解変換などの、符号化される実際のデータの変換の係数に対して実行される。
このような変換は、全体の信号エネルギーをより少量のサンプル、すなわち変換係数に既に「凝縮」し、利用可能なビットプレーンの中の最上位ビットプレーン、すなわち、それぞれの変換係数に非ゼロビットを有する最上位ビットプレーンの位置に関する限り、同様の統計を共有する隣接する変換係数をもたらす。
したがって、現在予定されているＪＰＥＧ ＸＳの現在想定されているバージョンでは、画像を表す変換係数は、そのグループ内の変換係数のビットが最大の符号化ラインインデックスで占められている、ＧＣＬＩと呼ばれる、最大の、すなわち、最上位のビットプレーンを示す変換係数グループごとにデータストリームが構文要素を費やして、変換係数のグループ単位で符号化される。
代替名は、ＭＳＢ位置またはビットプレーン数である。
このＧＣＬＩ値は、隣接する変換係数グループからの空間予測を使用するなど、予測的な方法でデータストリームに符号化される。
次に、そのようなＧＣＬＩグループは、ＳＩＧグループに順番にグループ化され、ＧＣＬＩグループのそのようなＳＩＧグループごとに、フラグは、ＧＣＬＩ値に対して符号化された予測残差がＳＩＧグループ内のすべてのＧＣＬＩグループですべてゼロである場合を通知するデータストリームで費やされる。
そのようなフラグが、ＳＩＧグループ内でＧＣＬＩのすべての予測残差がゼロであることを示す場合には、ＧＣＬＩ予測残差を送信する必要はなく、ビットレートは保存される。
しかしながら、例えば、圧縮および／または符号化の複雑さの観点から、ちょうど輪郭を描かれたビットプレーン概念の符号化効率を改善したいという継続的な願望がある。
ほとんどの場合、ビットプレーン符号化は、変換係数、すなわち、画像のスペクトル分解変換などの、符号化される実際のデータの変換の係数に対して実行される。
このような変換は、全体の信号エネルギーをより少量のサンプル、すなわち変換係数に既に「凝縮」し、利用可能なビットプレーンの中の最上位ビットプレーン、すなわち、それぞれの変換係数に非ゼロビットを有する最上位ビットプレーンの位置に関する限り、同様の統計を共有する隣接する変換係数をもたらす。
したがって、現在予定されているＪＰＥＧ ＸＳの現在想定されているバージョンでは、画像を表す変換係数は、そのグループ内の変換係数のビットが最大の符号化ラインインデックスで占められている、ＧＣＬＩと呼ばれる、最大の、すなわち、最上位のビットプレーンを示す変換係数グループごとにデータストリームが構文要素を費やして、変換係数のグループ単位で符号化される。
代替名は、ＭＳＢ位置またはビットプレーン数である。
このＧＣＬＩ値は、隣接する変換係数グループからの空間予測を使用するなど、予測的な方法でデータストリームに符号化される。
次に、そのようなＧＣＬＩグループは、ＳＩＧグループに順番にグループ化され、ＧＣＬＩグループのそのようなＳＩＧグループごとに、フラグは、ＧＣＬＩ値に対して符号化された予測残差がＳＩＧグループ内のすべてのＧＣＬＩグループですべてゼロである場合を通知するデータストリームで費やされる。
そのようなフラグが、ＳＩＧグループ内でＧＣＬＩのすべての予測残差がゼロであることを示す場合には、ＧＣＬＩ予測残差を送信する必要はなく、ビットレートは保存される。
しかしながら、例えば、圧縮および／または符号化の複雑さの観点から、ちょうど輪郭を描かれたビットプレーン概念の符号化効率を改善したいという継続的な願望がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、より効率的なビットプレーン符号化概念を提供することである。
この目的は、独立請求項の主題によって達成される。
この目的は、独立請求項の主題によって達成される。
【課題を解決するための手段】
【0004】
第１の態様によれば、本出願は、符号化ビットプレーンのセットがデータストリームで予測的に通知される係数グループが２つのグループセットにグループ化されるような方法でビットプレーン符号化が実行される場合には、かつ、グループセットに対して、それぞれのグループセットのすべての係数グループの符号化ビットプレーンのセットが空かどうか、すなわち、それぞれのグループセット内のすべての係数が有意でないかどうかを通知するデータストリームで費やされる場合には、符号化効率の改善が達成され得るという発見に基づいている。
この方法により、それにもかかわらず、特定のグループセット内のすべての係数グループ内のすべての変換係数が有意ではない場合に、特定のグループセット内の係数グループの符号化ビットプレーンのセットを符号化するために非ゼロ予測残差に不要なビットを費やすことを回避することができ、それによって圧縮が改善される傾向がある。
これを超えて、エンコーダに関する限り、変換係数が有意でないかどうかの決定、すなわち、符号化ビットプレーンのセット、すなわち非ゼロビットプレーンがすべて量子化しきい値未満であるかどうかの決定は、各グループセットに対して並行して、すなわち互いに独立して決定することができ、これにより、グループのセットごとに有意でない通知を使用して、並列実装を簡単にレンダリングできる。
この方法により、それにもかかわらず、特定のグループセット内のすべての係数グループ内のすべての変換係数が有意ではない場合に、特定のグループセット内の係数グループの符号化ビットプレーンのセットを符号化するために非ゼロ予測残差に不要なビットを費やすことを回避することができ、それによって圧縮が改善される傾向がある。
これを超えて、エンコーダに関する限り、変換係数が有意でないかどうかの決定、すなわち、符号化ビットプレーンのセット、すなわち非ゼロビットプレーンがすべて量子化しきい値未満であるかどうかの決定は、各グループセットに対して並行して、すなわち互いに独立して決定することができ、これにより、グループのセットごとに有意でない通知を使用して、並列実装を簡単にレンダリングできる。
【0005】
本出願の別の態様によれば、上記で説明した第１の態様によるグループセットごとの有意でない通知によるビットプレーン符号化が、本明細書の導入部分で説明した、グループセットに対してそれぞれのグループセット内のクレームグループの符号化ビットプレーンの符号化予測残差がないことを通知することができる、グループセットの通知に関連する符号化オプションの代替として提供される場合には、符号化効率の改善を達成できることが判明した。
これに対して、第２の態様によれば、データストリームは、有意符号化モードが使用されないグループセットの第１のサブセットと、有意符号化モードが使用されるグループセットの第２のサブセットと、を識別する情報を提供する。
グループセットの第１のサブセットは「正常に」符号化される。
すなわち、データストリームは、そのようなグループセットの係数グループの符号化ビットプレーンの予測残差を提供し、有意な場合には、符号化ビットプレーン内のビットはデータストリームで符号化される。
グループセットの第２のサブセットでは、データストリームは有意符号化モードの指示または指定を含む。
言い換えると、この指示または指定は、グループセットの第２のサブセットの処理方法について、または別の言い方をすると、グループセットの第２のサブセットの識別の解釈方法についてデコーダに通知する。
有意符号化モードの第１のモードは、そのようなグループセット内の係数グループの符号化ビットプレーン通知の予測残差がゼロである解釈に対応する。
この目的のために、第１の有意符号化モードタイプに従って、グループセットの第２のサブセットについては、符号化ビットプレーン通知の予測残差通知のみが省略される。
有意符号化モードが第２のモードであることが示されている場合には、第２のサブセットのグループセットは、有意ではない係数のコレクションとして扱われる。
この目的のために、デコーダは、そのようなグループセットの各係数グループについて、その係数が有意でないことを継承する。
この第２の態様によれば、エンコーダは両方の有意符号化モードオプションを切り替える機会を提供され、エンコーダはより高い符号化効率につながる符号化モードを選択するためにこの自由度を活用できる。
しかし、これを超えて、どの有意符号化モードオプションが使用されたかをデコーダに知らせる機会をデータストリームに提供することにより、エンコーダ側の設計に、エンコーダ側の目的の実装により適した有意符号化モードオプションを選択する機会を提供する。
例えば、より高い並列性を実現することに高い関心がある場合、有意でない信号モード、すなわち第２のモードが優先される場合があるが、エンコーダのシングルスレッド実装の場合は第１のモードが優先される場合がある。
すなわち、エンコーダは、エンコーダの実装に適合するように選択された両方のモードタイプのいずれかでのみ動作するように実装することができる。
有利なことに、デコーダの複雑さは、有意符号化モードの両方のモードタイプ間で大きく異ならない。
これに対して、第２の態様によれば、データストリームは、有意符号化モードが使用されないグループセットの第１のサブセットと、有意符号化モードが使用されるグループセットの第２のサブセットと、を識別する情報を提供する。
グループセットの第１のサブセットは「正常に」符号化される。
すなわち、データストリームは、そのようなグループセットの係数グループの符号化ビットプレーンの予測残差を提供し、有意な場合には、符号化ビットプレーン内のビットはデータストリームで符号化される。
グループセットの第２のサブセットでは、データストリームは有意符号化モードの指示または指定を含む。
言い換えると、この指示または指定は、グループセットの第２のサブセットの処理方法について、または別の言い方をすると、グループセットの第２のサブセットの識別の解釈方法についてデコーダに通知する。
有意符号化モードの第１のモードは、そのようなグループセット内の係数グループの符号化ビットプレーン通知の予測残差がゼロである解釈に対応する。
この目的のために、第１の有意符号化モードタイプに従って、グループセットの第２のサブセットについては、符号化ビットプレーン通知の予測残差通知のみが省略される。
有意符号化モードが第２のモードであることが示されている場合には、第２のサブセットのグループセットは、有意ではない係数のコレクションとして扱われる。
この目的のために、デコーダは、そのようなグループセットの各係数グループについて、その係数が有意でないことを継承する。
この第２の態様によれば、エンコーダは両方の有意符号化モードオプションを切り替える機会を提供され、エンコーダはより高い符号化効率につながる符号化モードを選択するためにこの自由度を活用できる。
しかし、これを超えて、どの有意符号化モードオプションが使用されたかをデコーダに知らせる機会をデータストリームに提供することにより、エンコーダ側の設計に、エンコーダ側の目的の実装により適した有意符号化モードオプションを選択する機会を提供する。
例えば、より高い並列性を実現することに高い関心がある場合、有意でない信号モード、すなわち第２のモードが優先される場合があるが、エンコーダのシングルスレッド実装の場合は第１のモードが優先される場合がある。
すなわち、エンコーダは、エンコーダの実装に適合するように選択された両方のモードタイプのいずれかでのみ動作するように実装することができる。
有利なことに、デコーダの複雑さは、有意符号化モードの両方のモードタイプ間で大きく異ならない。
【0006】
本出願の有利な態様は、従属請求項の主題である。
本出願の好ましい実施形態は、図面に関して以下で説明される。
本出願の好ましい実施形態は、図面に関して以下で説明される。
【図面の簡単な説明】
【0007】
【図1】現在想定されているＪＰＥＧ ＸＳのデコーダ動作のブロック図である。
【図2】ビットプレーン符号化の対象の一例としてウェーブレット変換、すなわち変換係数を使用して、画像１２の変換係数への分解を示す概略図である。
【図3】ＧＣＬＩデルタ符号化による符号化ビットプレーンのセットの予測ベースの符号化を使用した、係数グループ単位の変換係数のビットプレーン符号化を示す概略図である。
【図4】ウェーブレット変換のプレシンクトへの細分を示す概略図である。
【図5】有意符号化モードを示すために、係数グループから設定されたグループの構成を示す概略図である。
【図6.1】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.2】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.3】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.4】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.5】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.6】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.7】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.8】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.9】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.10】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.11】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.12】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.13】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.14】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.15】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.16】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.17】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.18】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.19】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.20】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.21】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.22】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.23】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.24】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.25】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.26】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.27】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.28】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.29】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.30】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.31】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図6.32】ＲＳＦを使用したビットプレーン符号化、すなわち、符号化されたビットプレーン通知、ＣＳＦのゼロ予測残差を通知する符号化モード、関連する係数のすべてゼロの有意性を通知する符号化モード、またはその組み合わせ、すなわち、両方の符号化モードがエンコーダ間で切り替え可能になっている場合、によって得られたＰＳＮＲシミュレーション結果を示す図である。
【図7】一実施形態によるエンコーダのブロック図である。
【図8】一実施形態によるデコーダのブロック図である。
【図9】エンコーダがＣＳＦ符号化モードを使用する、一実施形態によるエンコーダを示す図である。
【図11】ＲＳＦ符号化モードの使用を示すデータストリームを形成するＲＳＦ符号化モードを使用するエンコーダのブロック図である。
【図12】ＣＳＦおよびＲＳＦ使用のいずれか一方を指示として示すデータストリームを処理することができるデコーダのブロック図である。
【図13】ＲＳＦまたはＣＳＦの使用の指示を含むデータストリームを形成するための一例を説明するための擬似コードを示す図である。
【発明を実施するための形態】
【0008】
本出願の実施形態の以下の説明は、ＪＰＥＧ ＸＳ標準化プロセスの現在の状態、すなわちＪＰＥＧ ＸＳについて現在議論されているバージョンの簡単な提示から始まり、その結果、最終的に本出願の実施形態になるために、このバージョンをどのように変更できるかについて概説する。
以下、これらの実施形態は、別個に説明されるさらなる実施形態をもたらすために拡張されるが、前述の特定の詳細への個々の参照を含む。
以下、これらの実施形態は、別個に説明されるさらなる実施形態をもたらすために拡張されるが、前述の特定の詳細への個々の参照を含む。
【0009】
図１は、後述するように本出願の実施形態が適用され得るＪＰＥＧ ＸＳについて現在想定されている復号プロセスの一例を提供する。
後述する拡張された実施形態から明らかになるように、本出願は、この種の復号プロセスおよび対応する符号化プロセスに限定されない。
それにもかかわらず、図１は、本出願の概念のより良い理解を得る際に当業者を支援する。
後述する拡張された実施形態から明らかになるように、本出願は、この種の復号プロセスおよび対応する符号化プロセスに限定されない。
それにもかかわらず、図１は、本出願の概念のより良い理解を得る際に当業者を支援する。
【0010】
図１によると、コードストリーム復号は、ブロック１の構文解析部分、複数のブロック２．１から２．４で構成されるエントロピー復号ステージ、ブロック３の逆量子化、ブロック４の逆ウェーブレット変換、およびブロック５の逆多重成分非相関にグループ化される。
ブロック６では、サンプル値がスケーリングされ、ＤＣオフセットが追加され、それらが公称範囲にクランプされる。
ブロック６では、サンプル値がスケーリングされ、ＤＣオフセットが追加され、それらが公称範囲にクランプされる。
【0011】
ブロック１では、デコーダはコードストリームの構文を解析し、サンプリンググリッドのレイアウトに関する情報、およびいわゆるスライスとプレシンクトの次元を取得する。
【0012】
コードストリームのエントロピー符号化されたデータセグメントのサブパケットは、有意な情報、符号情報、ＭＳＢ位置情報（ＧＣＬＩ情報とも呼ばれる）に復号され、このすべての情報を使用して、ウェーブレット係数データになる。
この操作は、図１のブロック２．１から２．４で実行される。
この操作は、図１のブロック２．１から２．４で実行される。
【0013】
通常、画像とビデオの圧縮は、エントロピー符号化を実行する前に変換を適用する。
例えば、参考文献［７］はブロックベースの予測を使用し、参考文献［４］、［３］、［５］、［６］はウェーブレット変換を提唱している。
図１の場合はウェーブレットが使用されているが、図１は単なる例であり、ウェーブレット変換の使用に関しても同じことが当てはまる。
例えば、参考文献［７］はブロックベースの予測を使用し、参考文献［４］、［３］、［５］、［６］はウェーブレット変換を提唱している。
図１の場合はウェーブレットが使用されているが、図１は単なる例であり、ウェーブレット変換の使用に関しても同じことが当てはまる。
【0014】
このようなウェーブレット変換を図２に示す。
画像をいくつかのサブバンドに分解する。
各サブバンドは、画像１２の空間的にダウンサンプリングされたサブバンド固有のスペクトルバンドパスフィルタバージョンを表す。
図２に示すように、水平方向の分解の数は、垂直方向の分解の数と異なってもよい。
各分解ステップでは、前の分解のローパスサブバンドがさらに分解される。
例えば、Ｌ５サブバンドは画像のサブサンプリングバージョンを表し、他のサブバンドには詳細情報が含まれる。
画像をいくつかのサブバンドに分解する。
各サブバンドは、画像１２の空間的にダウンサンプリングされたサブバンド固有のスペクトルバンドパスフィルタバージョンを表す。
図２に示すように、水平方向の分解の数は、垂直方向の分解の数と異なってもよい。
各分解ステップでは、前の分解のローパスサブバンドがさらに分解される。
例えば、Ｌ５サブバンドは画像のサブサンプリングバージョンを表し、他のサブバンドには詳細情報が含まれる。
【0015】
周波数変換後に、サブバンドの係数はエントロピー符号化される。
言い換えれば、サブバンドＡＢｍのｇ≧１係数は、Ａ、Ｂ∈｛Ｌ、Ｈ｝、ｍ∈Ｎで、係数グループに配置される。
次に、係数グループの最上位の非ゼロビットプレーンが通知され、その後に生データビットが続く。
符号化技術の詳細については、以下で説明する。
言い換えれば、サブバンドＡＢｍのｇ≧１係数は、Ａ、Ｂ∈｛Ｌ、Ｈ｝、ｍ∈Ｎで、係数グループに配置される。
次に、係数グループの最上位の非ゼロビットプレーンが通知され、その後に生データビットが続く。
符号化技術の詳細については、以下で説明する。
【0016】
図３は、最終的に構文要素になるＧＣＬＩ符号化の原理を示し、その復号は、例えば図１のブロック２．２に対応する。
したがって、ＧＣＬＩ符号化は最上位ビット位置の符号化に関するものであり、したがって、符号化ビットプレーンの指示に関係する。
これは次のように行われる。１よりも多く、周波数変換の同じサブバンドに属する係数を有するいくつかの係数は、グループに結合され、これは以降、係数グループと呼ばれる。
例えば、図２を参照されたい。そこに描かれているウェーブレット変換１０は、画像１２の変換の一例である。
繰り返しになるが、ウェーブレット変換は、本出願の実施形態が適用可能な変換の一例にすぎない。
画像１２のサンプルまたはピクセル１４の値を直接符号化する代わりに、符号化は変換１０の変換係数１６で実行される。
図３は、係数グループが４つの係数で構成されていることを前提としている。
しかし、その数は単に説明のために選択されたものであり、異なるように選択してもよい。
図２は、例えば、そのような係数グループ１８が、すべてが変換１０の同じサブバンドに属する空間的に隣接する４つの変換係数１６を含むことを示している。
図２は、１つの係数グループ１８に含まれる係数１６が互いに水平方向に隣接することを示しているが、これも単なる例であり、係数グループ１８への係数１６のグループ化は異なって行われてもよい。
図３は、左側の符号２０の第１の係数グループと符号２２の第２の係数グループの各係数のビット表現を示している。
各係数の絶対値のビットは、列に沿って係数ごとに広がる。
したがって、４つの列がそれぞれ符号２０と符号２２で示されている。
各ビットは特定のビットプレーンに属し、図３の最下位ビットは最下位ビットプレーンに属し、最上位ビットは最上位ビットプレーンに属する。
説明のために、８つの利用可能なビットプレーンを図３に示すが、数は異なってもよい。
変換係数のマグニチュードビット２４に加えて、図３は、各係数について、対応するマグニチュードビットの上の符号ビット２６を示している。
ＧＣＬＩ符号化について、図３を参照して詳細に説明する。
したがって、ＧＣＬＩ符号化は最上位ビット位置の符号化に関するものであり、したがって、符号化ビットプレーンの指示に関係する。
これは次のように行われる。１よりも多く、周波数変換の同じサブバンドに属する係数を有するいくつかの係数は、グループに結合され、これは以降、係数グループと呼ばれる。
例えば、図２を参照されたい。そこに描かれているウェーブレット変換１０は、画像１２の変換の一例である。
繰り返しになるが、ウェーブレット変換は、本出願の実施形態が適用可能な変換の一例にすぎない。
画像１２のサンプルまたはピクセル１４の値を直接符号化する代わりに、符号化は変換１０の変換係数１６で実行される。
図３は、係数グループが４つの係数で構成されていることを前提としている。
しかし、その数は単に説明のために選択されたものであり、異なるように選択してもよい。
図２は、例えば、そのような係数グループ１８が、すべてが変換１０の同じサブバンドに属する空間的に隣接する４つの変換係数１６を含むことを示している。
図２は、１つの係数グループ１８に含まれる係数１６が互いに水平方向に隣接することを示しているが、これも単なる例であり、係数グループ１８への係数１６のグループ化は異なって行われてもよい。
図３は、左側の符号２０の第１の係数グループと符号２２の第２の係数グループの各係数のビット表現を示している。
各係数の絶対値のビットは、列に沿って係数ごとに広がる。
したがって、４つの列がそれぞれ符号２０と符号２２で示されている。
各ビットは特定のビットプレーンに属し、図３の最下位ビットは最下位ビットプレーンに属し、最上位ビットは最上位ビットプレーンに属する。
説明のために、８つの利用可能なビットプレーンを図３に示すが、数は異なってもよい。
変換係数のマグニチュードビット２４に加えて、図３は、各係数について、対応するマグニチュードビットの上の符号ビット２６を示している。
ＧＣＬＩ符号化について、図３を参照して詳細に説明する。
【0017】
既に概説したように、係数はサインマグニチュード表現で表される。
それぞれの係数グループの最大係数により、この係数グループのアクティブなビットプレーンの数が決まる。
ビットプレーン自体またはそれ以上のビットプレーン（より大きな数を表すビットプレーン）の少なくとも１つの係数ビット２４がゼロでない場合には、ビットプレーンはアクティブと呼ばれる。
アクティブなビットプレーンの数は、いわゆるＧＣＬＩ値、すなわち最大の符号化ラインインデックスによって与えられる。
例えば、係数グループ２０では、ＧＣＬＩは６であり、第２の係数グループ２２では、ＧＣＬＩは例として７である。
ＧＣＬＩ値が０の場合、アクティブなビットプレーンが存在しないため、完全な係数グループは０になる。
この状況は有意ではないＧＣＬＩとして知られており、有意なＧＣＬＩはその逆である。
圧縮を実現するために、アクティブなビットプレーンのみがビットストリームに配置される、すなわち、符号化される。
それぞれの係数グループの最大係数により、この係数グループのアクティブなビットプレーンの数が決まる。
ビットプレーン自体またはそれ以上のビットプレーン（より大きな数を表すビットプレーン）の少なくとも１つの係数ビット２４がゼロでない場合には、ビットプレーンはアクティブと呼ばれる。
アクティブなビットプレーンの数は、いわゆるＧＣＬＩ値、すなわち最大の符号化ラインインデックスによって与えられる。
例えば、係数グループ２０では、ＧＣＬＩは６であり、第２の係数グループ２２では、ＧＣＬＩは例として７である。
ＧＣＬＩ値が０の場合、アクティブなビットプレーンが存在しないため、完全な係数グループは０になる。
この状況は有意ではないＧＣＬＩとして知られており、有意なＧＣＬＩはその逆である。
圧縮を実現するために、アクティブなビットプレーンのみがビットストリームに配置される、すなわち、符号化される。
【0018】
損失のある符号化では、係数グループに対して送信されるビットプレーンの数がＧＣＬＩ値よりも小さくなるように、ビットプレーンの一部を切り捨てる必要がある場合がある。
この切り捨ては、いわゆるＧＴＬＩ、すなわち最大のトリミングされたラインインデックスによって指定される。
代替名は切り捨て位置である。ゼロのＧＴＬＩは、切り捨てなしに対応する。
１のＧＴＬＩ値は、係数グループの送信されたビットプレーンの数がＧＣＬＩ値より１少ないことを意味する。
言い換えれば、ＧＴＬＩはビットストリームに含まれる最小のビットプレーン位置を定義する。
単純なデッドゾーン量子化方式の場合、送信されたビットプレーンは、切り捨てられたビットプレーンのない係数グループのビットプレーンに等しくなる。
より高度な量子化方式の場合、量子化ビンを変更することにより、計画された切り捨てられたビットの一部の情報を送信されたビットプレーンに「プッシュ」することができる。
詳細については［６］で見出すことができる。
この切り捨ては、いわゆるＧＴＬＩ、すなわち最大のトリミングされたラインインデックスによって指定される。
代替名は切り捨て位置である。ゼロのＧＴＬＩは、切り捨てなしに対応する。
１のＧＴＬＩ値は、係数グループの送信されたビットプレーンの数がＧＣＬＩ値より１少ないことを意味する。
言い換えれば、ＧＴＬＩはビットストリームに含まれる最小のビットプレーン位置を定義する。
単純なデッドゾーン量子化方式の場合、送信されたビットプレーンは、切り捨てられたビットプレーンのない係数グループのビットプレーンに等しくなる。
より高度な量子化方式の場合、量子化ビンを変更することにより、計画された切り捨てられたビットの一部の情報を送信されたビットプレーンに「プッシュ」することができる。
詳細については［６］で見出すことができる。
【0019】
各係数について、残留ビットプレーンの数はＧＣＬＩ値とＧＴＬＩ値の差に等しいため、ＧＣＬＩがＧＴＬＩ値以下の係数グループがビットストリームに含まれていないことは明らかである。
言い換えれば、これらの係数グループのビットストリームでは（データ）ビット２４は伝達されない。それらの係数は有意ではない。
言い換えれば、これらの係数グループのビットストリームでは（データ）ビット２４は伝達されない。それらの係数は有意ではない。
【0020】
切り捨てと量子化の後に残っているアクティブなビットプレーンは、以下では残留ビットプレーン、あるいは切り捨てられたＧＣＬＩと呼ばれる。
さらに、ＧＴＬＩは以下では切り捨てポイントとも呼ばれる。残留ビットプレーンがゼロの場合、ＧＣＬＩは有意でない切り捨てＧＣＬＩとして知られている。
さらに、ＧＴＬＩは以下では切り捨てポイントとも呼ばれる。残留ビットプレーンがゼロの場合、ＧＣＬＩは有意でない切り捨てＧＣＬＩとして知られている。
【0021】
これらの残留ビットプレーンは、生ビット（raw bits）としてデコーダに送信される。
図１のブロック２．３は、ビットストリームからこれらのビットを導出することを担っている。
しかし、正しい復号を有効にするには、デコーダはすべての係数グループ１８のＧＣＬＩ値を知る必要がある。
デコーダにも通知されるＧＴＬＩ値と共に、デコーダはビットストリーム内にある生データビットプレーンの数を推測できる。
図１のブロック２．３は、ビットストリームからこれらのビットを導出することを担っている。
しかし、正しい復号を有効にするには、デコーダはすべての係数グループ１８のＧＣＬＩ値を知る必要がある。
デコーダにも通知されるＧＴＬＩ値と共に、デコーダはビットストリーム内にある生データビットプレーンの数を推測できる。
【0022】
ＧＣＬＩ値自体は、以前の係数グループのＧＣＬＩ値との差を表す可変長コードによって通知される。
この以前の係数グループは、原則として、エンコーダが既に以前に復号した任意の係数グループである。
したがって、例えば、水平または垂直の隣接グループにすることができる。
予測からの出力は、２つの係数グループ間の残留ビットプレーンの数の差であり、デルタ残留ビットプレーンが得られる。
例えば、図３では、符号２０で示される左側の係数グループが係数グループ２２の符号化の順序で先行し、そのＧＣＬＩが係数グループ２２のＧＣＬＩの予測器として機能すると想定している。
詳細について以下で説明する。
ＧＴＬＩ値を下回るＧＣＬＩ値は、いずれの場合でもその係数がビットストリームに含まれないため、対象ではないことに留意されたい。
その結果、デコーダが、ＧＣＬＩがＧＴＬＩよりも大きいかどうか、またそうであればＧＣＬＩの値を推測できるように予測は実行される。
この以前の係数グループは、原則として、エンコーダが既に以前に復号した任意の係数グループである。
したがって、例えば、水平または垂直の隣接グループにすることができる。
予測からの出力は、２つの係数グループ間の残留ビットプレーンの数の差であり、デルタ残留ビットプレーンが得られる。
例えば、図３では、符号２０で示される左側の係数グループが係数グループ２２の符号化の順序で先行し、そのＧＣＬＩが係数グループ２２のＧＣＬＩの予測器として機能すると想定している。
詳細について以下で説明する。
ＧＴＬＩ値を下回るＧＣＬＩ値は、いずれの場合でもその係数がビットストリームに含まれないため、対象ではないことに留意されたい。
その結果、デコーダが、ＧＣＬＩがＧＴＬＩよりも大きいかどうか、またそうであればＧＣＬＩの値を推測できるように予測は実行される。
【0023】
以下で説明する方法は、異なるビットストリームパーツの送信順序に依存しないことに留意されたい。
例えば、最初にすべてのサブバンドのＧＣＬＩ係数をビットストリームに配置し、次にすべてのサブバンドのデータビットを配置することができる。
あるいは、ＧＣＬＩとデータビットがデータストリームにインターリーブされてもよい。
例えば、最初にすべてのサブバンドのＧＣＬＩ係数をビットストリームに配置し、次にすべてのサブバンドのデータビットを配置することができる。
あるいは、ＧＣＬＩとデータビットがデータストリームにインターリーブされてもよい。
【0024】
図２に示されている周波数変換の係数は、いわゆるプレシンクト（precincts）３０に構成されている。これを図４に示す。
プレシンクトは、入力画像１２の所定の空間領域３２に寄与する異なるサブバンドの係数をグループ化する。
プレシンクトは、入力画像１２の所定の空間領域３２に寄与する異なるサブバンドの係数をグループ化する。
【0025】
デコーダが信号を回復できるようにするには、すべての係数グループ１８のＧＣＬＩ値を知っている必要がある。
［３］によれば、それらを効率的に通知するための様々な方法がある。
［３］によれば、それらを効率的に通知するための様々な方法がある。
【0026】
ＲＡＷモードでは、ＧＣＬＩ値は予測なしで送信される。
【0027】
したがって、Ｆ１を次に符号化する係数グループとする。
次に、ＧＣＬＩ値を、以下の値を表す固定長コードワードで符号化することができる：
ｍａｘｆ（）（ＧＣＬＩ（Ｆ１）－ＧＴＬＩ（Ｆ１），０）
次に、ＧＣＬＩ値を、以下の値を表す固定長コードワードで符号化することができる：
ｍａｘｆ（）（ＧＣＬＩ（Ｆ１）－ＧＴＬＩ（Ｆ１），０）
【0028】
水平予測では、符号化されたシンボルは、ＧＣＬＩ値と、同じラインおよび同じウェーブレットサブバンドに属し、ＧＴＬＩを考慮して以前に符号化されたＧＣＬＩの値と、の差である。
この差分値は、以下では残差またはδ値と呼ばれる。
この差分値は、以下では残差またはδ値と呼ばれる。
【0029】
Ｆ１とＦ２を、ｇ＞１係数で構成される２つの水平方向に隣接する係数グループとする。Ｆ２を現在符号化される係数グループとする。次に、次のように計算された残差を送信することにより、ＧＣＬＩ（Ｆ２）をデコーダに通知することができる：
【0030】
デコーダは、次式を計算することによりＧＣＬＩ（Ｆ２）を回復する。
【0031】
水平予測では、通常ＧＴＬＩ（Ｆ１）＝ＧＴＬＩ（Ｆ２）であることに留意されたい。 さらに、［４］で説明されているように、δは可変長コードとして送信されることに留意されたい。
【0032】
２つのサブバンドライン間の垂直予測では、結果は、ＧＣＬＩ値と、以前に符号化されたラインの係数の同じサブセットのＧＣＬＩとの差になる。
【0033】
Ｆ１とＦ２を、ｇ＞１係数で構成される２つの垂直方向に隣接する係数グループとする。Ｆ２を現在符号化される係数グループとする。
次に、ＧＣＬＩ（Ｆ２）は、水平予測と同じ方法で符号化することができる。
次に、ＧＣＬＩ（Ｆ２）は、水平予測と同じ方法で符号化することができる。
【0034】
垂直予測はスライス内で制限され、スライスは、所定の連続した行（例えば６４行など）のセットである。
この方法では、スライスの第１のプレシンクトを垂直方向に予測することはできない。
この方法では、スライスの第１のプレシンクトを垂直方向に予測することはできない。
【0035】
垂直予測の代替方法は、上記の予測の代わりに、次の予測式が使用されることである。
δ＝ｍａｘ（ＧＣＬＩ（Ｆ２），ＧＴＬＩ（Ｆ２））－ｍａｘ（ＧＣＬＩ（Ｆ１），ＧＴＬＩ（Ｆ１））
δ＝ｍａｘ（ＧＣＬＩ（Ｆ２），ＧＴＬＩ（Ｆ２））－ｍａｘ（ＧＣＬＩ（Ｆ１），ＧＴＬＩ（Ｆ１））
【0036】
垂直予測の別の代替方法は、いわゆる有界コードを使用することである。
ここで、
であり、
ｇｉは符号化するＧＣＬＩであり、
は基準として使用されるＧＣＬＩであり、
ｔｉはｇｉに適用する切り捨てであり、
は
に適用された切り捨てである。
ｇｉは符号化するＧＣＬＩであり、
ｔｉはｇｉに適用する切り捨てであり、
【0037】
このようなコードはδ≧０の特性を有するため、効率的な単進符号化が可能である。
【0038】
次式に同じ予測方法を適用することもできる。
【0039】
［１］では、ＧＣＬＩ符号化でエスケープコードを使用して、すべてが所定の切り捨てしきい値よりも小さい複数の係数で構成される係数グループのシーケンスを通知している。
これらの手段により、係数グループごとにコードワードを必要とせずに、複数のゼロ係数グループを１つのエスケープワードで表すことができるため、符号化効率を改善することができる。
これらの手段により、係数グループごとにコードワードを必要とせずに、複数のゼロ係数グループを１つのエスケープワードで表すことができるため、符号化効率を改善することができる。
【0040】
この方法には、有意フラグに関してオーバーヘッドを必要としないという利点があるが、エスケープコードを使用しない場合に必要なビットと比較して追加のビットを計算すると、多少複雑になる。
さらに、いくつかの符号化方法では、簡単な方法でエスケープコードを使用することができない。
さらに、いくつかの符号化方法では、簡単な方法でエスケープコードを使用することができない。
【0041】
例えば、図５は、係数グループ１８の中で定義された符号化順序３８に関してすぐに連続する可能性のある係数グループ１８を示しているが、これは必須ではない。
上記のエスケープ符号化によれば、係数グループ１８のデータストリームで送信されたＧＣＬＩ値は、エスケープコードを仮定して、その係数と、一緒にグループセット４０を形成するいくつかの後続の係数グループ１８の係数とがすべて有意ではないことを通知できる。
どの係数グループ１８がグループセット４０に属しているかに関する質問は、デフォルトで知られているか、または通知され得る。
例えば、連続するＧＣＬＩ係数グループ１８のＧＣＬＩ値がわずかに切り捨てられている場合、これらをコードストリームから破棄して、例えばこの方法で符号化効率を向上させることができる。
この空間ゼロラン法では、これは有意でないグループセット４０の第１の係数のエスケープ値を符号化することにより行われる。
しかし、先ほど示したように、このような符号化エスケープ値を使用すると符号化の複雑さが増すため、極端に低い複雑さの場合には適していない。
上記のエスケープ符号化によれば、係数グループ１８のデータストリームで送信されたＧＣＬＩ値は、エスケープコードを仮定して、その係数と、一緒にグループセット４０を形成するいくつかの後続の係数グループ１８の係数とがすべて有意ではないことを通知できる。
どの係数グループ１８がグループセット４０に属しているかに関する質問は、デフォルトで知られているか、または通知され得る。
例えば、連続するＧＣＬＩ係数グループ１８のＧＣＬＩ値がわずかに切り捨てられている場合、これらをコードストリームから破棄して、例えばこの方法で符号化効率を向上させることができる。
この空間ゼロラン法では、これは有意でないグループセット４０の第１の係数のエスケープ値を符号化することにより行われる。
しかし、先ほど示したように、このような符号化エスケープ値を使用すると符号化の複雑さが増すため、極端に低い複雑さの場合には適していない。
【0042】
［１］で教示されているいわゆるＲＳＦ方法によれば、ＧＣＬＩ値の符号化の負担は、係数グループ１８の有意でない切り捨てられたＧＣＬＩ値は、グループセット４０内のすべての基準ＧＣＬＩ値から、０に等しい残差に至るまで予測されることを、図５のグループセット４０などのグループセットに通知することによって軽減される。
この目的のために、係数グループ１８はグループセット４０にグループ化され、データストリームは各グループセット４０について、ＧＣＬＩの予測残差がグループセット４０内ですべて０であるかどうかを示すＲＳＦフラグを含み、その場合、当然、データストリームで送信する必要がある予測残差はない。
しかし、ＲＳＦは、対応する残差が０でない場合、有意でないＧＣＬＩの符号化をスキップしない。
この目的のために、係数グループ１８はグループセット４０にグループ化され、データストリームは各グループセット４０について、ＧＣＬＩの予測残差がグループセット４０内ですべて０であるかどうかを示すＲＳＦフラグを含み、その場合、当然、データストリームで送信する必要がある予測残差はない。
しかし、ＲＳＦは、対応する残差が０でない場合、有意でないＧＣＬＩの符号化をスキップしない。
【0043】
セット４０のＧＣＬＩの予測残差はゼロではないかもしれないが、切り捨てにより、それぞれのグループセット４０内のすべての係数グループ１８のすべての係数は有意ではない。
【0044】
以下に説明する実施形態は、ＲＳＦの解釈を修正することにより、コードストリームから有意でない切り捨てられたＧＣＬＩを削除する機会を提供し、低複雑度で概説されたＲＳＦ方法を補完することを可能にする。
【0045】
これについては、以下でより詳しく説明する。
【0046】
［１］で説明されているＲＳＦ方式では、ＧＣＬＩ係数は各サブバンド内のグループに配置され、以降はＳＩＧグループと呼ばれる。
例えば、図５の要素４０はそのようなＳＩＧグループである。ＳＩＧグループのサイズは、８または１より大きいその他の数である。
すなわち、ＳＩＧグループ４０は、２つ以上の係数グループ１８を含んでもよい。
１つのＳＩＧグループ４０に含まれる係数グループ１８は、概説したように、変換１０の１つのサブバンドに属し得るが、これは必須ではない。
サブバンドが８などのＳＩＧグループサイズの倍数でない場合には、最後の係数は不完全なグループとして扱われる可能性があることに留意されたい。
例えば、図５の要素４０はそのようなＳＩＧグループである。ＳＩＧグループのサイズは、８または１より大きいその他の数である。
すなわち、ＳＩＧグループ４０は、２つ以上の係数グループ１８を含んでもよい。
１つのＳＩＧグループ４０に含まれる係数グループ１８は、概説したように、変換１０の１つのサブバンドに属し得るが、これは必須ではない。
サブバンドが８などのＳＩＧグループサイズの倍数でない場合には、最後の係数は不完全なグループとして扱われる可能性があることに留意されたい。
【0047】
例えば、プレシンクト３０のコードストリームの開始時に、一連のフラグが通知される。
各フラグは、プレシンクトの各ＳＩＧグループ４０に対応している。
フラグが設定されている場合には、そのグループ４０に対応するすべてのＧＣＬＩ残差が０であるため、コードストリームに存在しないことを意味する。
各フラグは、プレシンクトの各ＳＩＧグループ４０に対応している。
フラグが設定されている場合には、そのグループ４０に対応するすべてのＧＣＬＩ残差が０であるため、コードストリームに存在しないことを意味する。
【0048】
前述のように、ＳＩＧグループのＧＣＬＩが完全に切り捨てられる（または単に０になる）が、一方で残差が０ではない状況がある。
これは、例えば、ＧＣＬＩが有意なラインまたは行から垂直に予測される場合に発生する可能性がある。
ここで、例えば０以外の残差が単進符号化のためにより多くの予算を必要とする場合、実際には有利かもしれないが、ＲＳＦは残差を通知することを防ぐことに成功しない。
これは、例えば、ＧＣＬＩが有意なラインまたは行から垂直に予測される場合に発生する可能性がある。
ここで、例えば０以外の残差が単進符号化のためにより多くの予算を必要とする場合、実際には有利かもしれないが、ＲＳＦは残差を通知することを防ぐことに成功しない。
【0049】
したがって、ＲＳＦの代わりに本願の実施形態に従って係数有意フラグ（ＣＳＦ）が使用され、それにより、ＲＳＦの定義をさらに拡張することを目指している。
新しいＧＣＬＩ符号化方法を導入することにより、ＣＳＦはすべてのＳＩＧグループ４０にも１つのフラグを割り当てるが、ＳＩＧグループ４０の係数グループ１８のＧＣＬＩが切り捨て後にすべて有意でない場合は常に設定される、すなわち、これらの係数グループ１８の符号化ビットプレーンのセットは空である。
したがって、ＲＳＦの場合と同じ量のフラグが必要である。
以下で説明するように、ＣＳＦ符号化は、例えばプレシンクト３０またはサブバンドごとに選択できるように、両方を代替符号化オプションに従って使用できるという意味で、ＲＳＦ符号化と組み合わせることができる。
ここでは、データストリーム内の同じフラグは、データストリーム内の追加の信号化に応じてＲＳＦまたはＣＳＦとして解釈される。
新しいＧＣＬＩ符号化方法を導入することにより、ＣＳＦはすべてのＳＩＧグループ４０にも１つのフラグを割り当てるが、ＳＩＧグループ４０の係数グループ１８のＧＣＬＩが切り捨て後にすべて有意でない場合は常に設定される、すなわち、これらの係数グループ１８の符号化ビットプレーンのセットは空である。
したがって、ＲＳＦの場合と同じ量のフラグが必要である。
以下で説明するように、ＣＳＦ符号化は、例えばプレシンクト３０またはサブバンドごとに選択できるように、両方を代替符号化オプションに従って使用できるという意味で、ＲＳＦ符号化と組み合わせることができる。
ここでは、データストリーム内の同じフラグは、データストリーム内の追加の信号化に応じてＲＳＦまたはＣＳＦとして解釈される。
【0050】
【表1】
【0051】
表１は、４つの典型的なＳＩＧグループの例と、これらのＳＩＧグループにＲＳＦとＣＳＦがどのように設定されるかを示す。
【0052】
表１は、ＣＳＦメソッドとＲＳＦメソッドの例と比較を示している。
ＳＩＧグループ０の場合、切り捨てられたＧＣＬＩ値はすべて０であるためＣＳＦが選択されるが、ＲＳＦフラグは残差が０でないことを示していない。
ＳＩＧグループ１の場合、状況は逆である。
ＳＩＧグループ２の場合、ＧＣＬＩと残差の両方が０であるため、ＣＳＦが１になり、ＲＳＦも１になる。
最後に、ＳＩＧグループ３では、どちらも選択されない、すなわち、ＲＳＦとＣＳＦはゼロに設定される。
ＳＩＧグループ０の場合、切り捨てられたＧＣＬＩ値はすべて０であるためＣＳＦが選択されるが、ＲＳＦフラグは残差が０でないことを示していない。
ＳＩＧグループ１の場合、状況は逆である。
ＳＩＧグループ２の場合、ＧＣＬＩと残差の両方が０であるため、ＣＳＦが１になり、ＲＳＦも１になる。
最後に、ＳＩＧグループ３では、どちらも選択されない、すなわち、ＲＳＦとＣＳＦはゼロに設定される。
【0053】
以下では、ＣＳＦバリアントについてさらに説明する。
【0054】
例えば、ＣＳＦフラグを使用すると、ＳＩＧグループごとに予算を節約できるという影響がある。
【0055】
単進符号化のアルファベットは、通常、１ビットを残して０の残差値を通知する。
したがって、ＲＳＦによって保存される予算は、削除されたすべてのＳＩＧグループで常に同じであり、グループのサイズとまったく同じである。
一方、この方法によって導入される予算オーバーヘッドは、画像全体で一定であり、必要なＲＳＦの量に常に等しくなる。
したがって、ＲＳＦによって保存される予算は、削除されたすべてのＳＩＧグループで常に同じであり、グループのサイズとまったく同じである。
一方、この方法によって導入される予算オーバーヘッドは、画像全体で一定であり、必要なＲＳＦの量に常に等しくなる。
【0056】
ＣＳＦに関しては、予算のオーバーヘッドはＲＳＦの場合とまったく同じである。
しかし、対照的に、ＳＩＧグループごとのピーク予算節約は、ＲＳＦと同等以上である。実際、ＣＳＦによって除去された残差は０と等しいか異なる場合があるため、予算はグループのサイズ以上になる可能性がある。
しかし、対照的に、ＳＩＧグループごとのピーク予算節約は、ＲＳＦと同等以上である。実際、ＣＳＦによって除去された残差は０と等しいか異なる場合があるため、予算はグループのサイズ以上になる可能性がある。
【0057】
ＲＳＦは予測に対して透過的に使用できるが、ＣＳＦの場合は後処理（エンコーダで）または前処理（デコーダで）であるため、デコーダとエンコーダの予測モジュールはわずかに変更される。
【0058】
エンコーダで、ＳＩＧグループに有意でない切り捨てられたＧＣＬＩのみが含まれていることが判明した場合は、その符号化を完全にスキップできる。
しかし、残差によって節約されたビットの量を取得するには、予算の計算でさらに計算する必要がある。
デコーダでは、ＣＳＦで削除されたＧＣＬＩの逆予測もスキップして、代わりに０に置き換えることができる。
しかし、残差によって節約されたビットの量を取得するには、予算の計算でさらに計算する必要がある。
デコーダでは、ＣＳＦで削除されたＧＣＬＩの逆予測もスキップして、代わりに０に置き換えることができる。
【0059】
以下では、概説したＣＳＦを使用した画像符号化について詳しく説明する。
このため、次のようにいくつかの関数定義が使用される。
このため、次のようにいくつかの関数定義が使用される。
【0060】
αを符号化する係数グループとする。
ＧＣＬＩ（α）：ＧＣＬＩ値係数グループａを返す
ＰＲＥＦ（α）：係数グループαのＧＣＬＩ値の予測に使用される係数グループを返す
ＧＴＬＩ（α）：係数グループαに適用するＧＴＬＩ値を返す。
ＧＴＬＩ（α）は、グループαのプレシンクトおよびサブバンドに依存する。
ＰＲＥＤ（ｇα、ｔα、ｇｂ、ｔｂ）：基準としてＧＣＬＩ ｇｂを使用して、ＧＣＬＩｇαの予測に対応する残差を返す。ＧＴＬＩはそれぞれｔαおよびｔｂである。
ＰＲＥＤ－１（δ、ｔα、ｇｂ、ｔｂ）：基準としてＧＣＬＩ ｇｂ、残差δを使用して係数グループに対応する逆予測を返す。
ＧＴＬＩはそれぞれｔαおよびｔｂである。
ＳＩＺＥ（ｓ）：サブバンドｓの１つのラインの係数グループの数。
ＳＩＧＧＲＰ（α）：係数グループαが属するＳＩＧグループのインデックスを返す。
ＣＳＦ（ｇ）：ＣＳＦフラグがＳＩＧグループｇに関連付けられているかを返す。真はグループが有意でないことを意味する。
ＲＳＦ（ｇ）：ＲＳＦフラグがＳＩＧグループｇに関連付けられているかを返す。真はグループが有意でないことを意味する。
ＳＩＧＳＩＺＥ（ｓ）：ＳＩＧグループのサイズであり、サブバンドごとに異なってもよい。
ＧＣＬＩ（α）：ＧＣＬＩ値係数グループａを返す
ＰＲＥＦ（α）：係数グループαのＧＣＬＩ値の予測に使用される係数グループを返す
ＧＴＬＩ（α）：係数グループαに適用するＧＴＬＩ値を返す。
ＧＴＬＩ（α）は、グループαのプレシンクトおよびサブバンドに依存する。
ＰＲＥＤ（ｇα、ｔα、ｇｂ、ｔｂ）：基準としてＧＣＬＩ ｇｂを使用して、ＧＣＬＩｇαの予測に対応する残差を返す。ＧＴＬＩはそれぞれｔαおよびｔｂである。
ＰＲＥＤ－１（δ、ｔα、ｇｂ、ｔｂ）：基準としてＧＣＬＩ ｇｂ、残差δを使用して係数グループに対応する逆予測を返す。
ＧＴＬＩはそれぞれｔαおよびｔｂである。
ＳＩＺＥ（ｓ）：サブバンドｓの１つのラインの係数グループの数。
ＳＩＧＧＲＰ（α）：係数グループαが属するＳＩＧグループのインデックスを返す。
ＣＳＦ（ｇ）：ＣＳＦフラグがＳＩＧグループｇに関連付けられているかを返す。真はグループが有意でないことを意味する。
ＲＳＦ（ｇ）：ＲＳＦフラグがＳＩＧグループｇに関連付けられているかを返す。真はグループが有意でないことを意味する。
ＳＩＧＳＩＺＥ（ｓ）：ＳＩＧグループのサイズであり、サブバンドごとに異なってもよい。
【0061】
ＣＳＦを管理するための擬似コードを以下に示す。
【0062】
サブバンドのＧＣＬＩ値の復号は、次のように行われる。
【0063】
ＣＳＦを使用する場合、デコーダは次のように記述できる。
サブバンドｓの場合、係数グループａｉの値のセットＧＣＬＩ（ａｉ）は次のように復号される：
ｆｏｒ ０≦ｉ＜ＳＩＺＥ（ｓ）
ｉｆ ＣＳＦ（ＳＩＧＧＲＰ（ａｉ））＃ＳＴＧフラグが設定されている場合は、ＧＣＬＩがない
ＧＣＬＩ（ａｉ）←０
ｅｌｓｅ ＃そうでない場合は、ＧＣＬＩを復号する
δ’＝ｖｌｃ＿ｄｅｃｏｄｅ（）＃デルタ値を単進復号する
ＧＣＬＩ（ａｉ）←ＰＲＥＤ－１（δ’，ＧＴＬＩ（ａｉ），ＧＣＬＩ（ＰＲＥＦ（ａｉ）），ＧＴＬＩ（ＰＲＥＦ（ａｉ）））
ｅｎｄ ｉｆ
ｅｎｄ ｆｏｒ
サブバンドｓの場合、係数グループａｉの値のセットＧＣＬＩ（ａｉ）は次のように復号される：
ｆｏｒ ０≦ｉ＜ＳＩＺＥ（ｓ）
ｉｆ ＣＳＦ（ＳＩＧＧＲＰ（ａｉ））＃ＳＴＧフラグが設定されている場合は、ＧＣＬＩがない
ＧＣＬＩ（ａｉ）←０
ｅｌｓｅ ＃そうでない場合は、ＧＣＬＩを復号する
δ’＝ｖｌｃ＿ｄｅｃｏｄｅ（）＃デルタ値を単進復号する
ＧＣＬＩ（ａｉ）←ＰＲＥＤ－１（δ’，ＧＴＬＩ（ａｉ），ＧＣＬＩ（ＰＲＥＦ（ａｉ）），ＧＴＬＩ（ＰＲＥＦ（ａｉ）））
ｅｎｄ ｉｆ
ｅｎｄ ｆｏｒ
【0064】
サブバンドのＧＣＬＩ値の符号化は、次のように行われる。
【0065】
次のように、ＳＩＧグループのすべてのＧＣＬＩが有意でなくなるＧＴＬＩを定義する。
【0066】
すなわち、グループの最大ＧＣＬＩ値である。
したがって、サブバンドｓの係数グループａｉの符号化は、次のように実行できる。
ｆｏｒ ０≦ｉ＜ＳＩＺＥ（ｓ）
ｉｆ ＧＴＬＩ（ａｉ）≧ＧＴＬＩｃｓｆ（ＳＩＧＧＲＰ（ａｉ）） ＃有意でない切り捨てられたＧＣＬＩの場合
ＣＳＦ（ＳＩＧＧＲＰ（ａｉ））←Ｔｒｕｅ ＃フラグを更新するだけで、符号化しない
ｅｌｓｅ ＃そうでない場合は、符号化する
ｅｎｃｏｄｅ（ＰＲＥＤ（ＧＣＬＩ（ａｉ），ＧＴＬＩ（ａｉ），ＧＣＬＩ（ＰＲＥＦ（ａｉ）），ＧＴＬＩ（ＰＲＥＦ（ａｉ））））
ＣＳＦ（ＳＩＧＧＲＰ（ａｉ））←Ｆａｌｓｅ
ｅｎｄ ｉｆ
ｅｎｄ ｆｏｒ
したがって、サブバンドｓの係数グループａｉの符号化は、次のように実行できる。
ｆｏｒ ０≦ｉ＜ＳＩＺＥ（ｓ）
ｉｆ ＧＴＬＩ（ａｉ）≧ＧＴＬＩｃｓｆ（ＳＩＧＧＲＰ（ａｉ）） ＃有意でない切り捨てられたＧＣＬＩの場合
ＣＳＦ（ＳＩＧＧＲＰ（ａｉ））←Ｔｒｕｅ ＃フラグを更新するだけで、符号化しない
ｅｌｓｅ ＃そうでない場合は、符号化する
ｅｎｃｏｄｅ（ＰＲＥＤ（ＧＣＬＩ（ａｉ），ＧＴＬＩ（ａｉ），ＧＣＬＩ（ＰＲＥＦ（ａｉ）），ＧＴＬＩ（ＰＲＥＦ（ａｉ））））
ＣＳＦ（ＳＩＧＧＲＰ（ａｉ））←Ｆａｌｓｅ
ｅｎｄ ｉｆ
ｅｎｄ ｆｏｒ
【0067】
それと比較して、ＲＳＦを管理するための擬似コードを参考として以下に示す。
【0068】
最初に、サブバンドのＧＣＬＩ値の復号が検査される。
【0069】
ＲＳＦを使用する場合、デコーダは次のように記述できる。
サブバンドｓの場合、係数グループ（ａｉ）の値のセットＧＣＬＩ（ａｉ）は次のように復号される：
ｆｏｒ０≦ｉ＜ＳＩＺＥ（ｓ）
ｉｆ ＲＳＦ（ＳＩＧＧＲＰ（ａｉ）） ＃ＳＴＧフラグが設定されている場合は、ＧＣＬＩがない δ’←０
ｅｌｓｅ ＃そうでない場合は、ＧＣＬＩを復号する δ’＝ｖｌｃ＿ｄｅｃｏｄｅ（）＃デルタ値を単進復号する
ｅｎｄ ｉｆ
ＧＣＬＩ（ａｉ）←ＰＲＥＤ－１（δ’，ＧＴＬＩ（ａｉ），ＧＣＬＩ（ＰＲＥＦ（ａｉ）），ＧＴＬＩ（ＰＲＥＦ（ａｉ）））
ｅｎｄ ｆｏｒ
サブバンドｓの場合、係数グループ（ａｉ）の値のセットＧＣＬＩ（ａｉ）は次のように復号される：
ｆｏｒ０≦ｉ＜ＳＩＺＥ（ｓ）
ｉｆ ＲＳＦ（ＳＩＧＧＲＰ（ａｉ）） ＃ＳＴＧフラグが設定されている場合は、ＧＣＬＩがない δ’←０
ｅｌｓｅ ＃そうでない場合は、ＧＣＬＩを復号する δ’＝ｖｌｃ＿ｄｅｃｏｄｅ（）＃デルタ値を単進復号する
ｅｎｄ ｉｆ
ＧＣＬＩ（ａｉ）←ＰＲＥＤ－１（δ’，ＧＴＬＩ（ａｉ），ＧＣＬＩ（ＰＲＥＦ（ａｉ）），ＧＴＬＩ（ＰＲＥＦ（ａｉ）））
ｅｎｄ ｆｏｒ
【0070】
ＲＳＦを使用する場合のサブバンドのＧＣＬＩ値の符号化は次のとおりである。
【0071】
次のように、ＳＩＧグループのすべての残差が有意でなくなるＧＴＬＩを定義する。
【0072】
したがって、サブバンドｓの係数グループａｊの符号化は、次のように実行できる。
ｆｏｒ ０≦ｉ＜ＳＩＺＥ（ｓ）
ｉｆ ＧＴＬＩ（ａｉ）≧ＧＴＬＩｒｓｆ（ＳＩＧＧＲＰ（ａｉ）） ＃有意でない切り捨てられたＧＣＬＩの場合
ＲＳＦ（ＳＩＧＧＲＰ（ａｉ））←Ｔｒｕｅ ＃フラグを更新するだけで、符号化しない
Ｅｌｓｅ ＃そうでない場合は、符号化する
ｅｎｃｏｄｅ（ＰＲＥＤ（ＧＣＬＩ（ａｉ），ＧＴＬＩ（ａｉ），ＧＣＬＩ（ＰＲＥＦ（ａｉ）），ＧＴＬＩ（ＰＲＥＦ（ａｉ））））
ＲＳＦ（ＳＩＧＧＲＰ（ａｉ））←Ｆａｌｓｅ
ｅｎｄ ｉｆ
ｅｎｄ ｆｏｒ
ｆｏｒ ０≦ｉ＜ＳＩＺＥ（ｓ）
ｉｆ ＧＴＬＩ（ａｉ）≧ＧＴＬＩｒｓｆ（ＳＩＧＧＲＰ（ａｉ）） ＃有意でない切り捨てられたＧＣＬＩの場合
ＲＳＦ（ＳＩＧＧＲＰ（ａｉ））←Ｔｒｕｅ ＃フラグを更新するだけで、符号化しない
Ｅｌｓｅ ＃そうでない場合は、符号化する
ｅｎｃｏｄｅ（ＰＲＥＤ（ＧＣＬＩ（ａｉ），ＧＴＬＩ（ａｉ），ＧＣＬＩ（ＰＲＥＦ（ａｉ）），ＧＴＬＩ（ＰＲＥＦ（ａｉ））））
ＲＳＦ（ＳＩＧＧＲＰ（ａｉ））←Ｆａｌｓｅ
ｅｎｄ ｉｆ
ｅｎｄ ｆｏｒ
【0073】
係数フラグと残差有意フラグとの間の切り替えをサポートすることができる。
上記で説明したように、係数有意フラグは、予測残差がゼロでない場合でも、量子化後にゼロになる一連の係数グループ（いわゆるＳＩＧグループ）の存在を示すことができる。
予測残差を表すコードワードをビットストリームに配置することは、ｓｉｇグループを表す有意情報または有意フラグを対応して設定することで回避でき、したがって符号化効率が向上する。
上記で説明したように、係数有意フラグは、予測残差がゼロでない場合でも、量子化後にゼロになる一連の係数グループ（いわゆるＳＩＧグループ）の存在を示すことができる。
予測残差を表すコードワードをビットストリームに配置することは、ｓｉｇグループを表す有意情報または有意フラグを対応して設定することで回避でき、したがって符号化効率が向上する。
【0074】
一方、残差有意フラグは、予測残差がすべてゼロの量子化されたＳＩＧグループの存在を示す。
言い換えると、ＳＩＧグループのすべての量子化係数がゼロとは異なる可能性がある予測値と同じ値を有する場合では、ＳＩＧグループの対応する有意ビットが適切に設定されている場合に、ゼロ予測残差をビットストリームに配置する必要はない。
このため、すべてのプレシンクト（またはすべてのサブバンド）のビットストリームは、２つの有意フラグのどちらが選択されているかを示す。
これらの手段により、エンコーダはすべてのプレシンクトまたはすべてのサブバンドに最適な代替手段を選択し、以下で説明するように符号化ゲインを提供できる。
言い換えると、ＳＩＧグループのすべての量子化係数がゼロとは異なる可能性がある予測値と同じ値を有する場合では、ＳＩＧグループの対応する有意ビットが適切に設定されている場合に、ゼロ予測残差をビットストリームに配置する必要はない。
このため、すべてのプレシンクト（またはすべてのサブバンド）のビットストリームは、２つの有意フラグのどちらが選択されているかを示す。
これらの手段により、エンコーダはすべてのプレシンクトまたはすべてのサブバンドに最適な代替手段を選択し、以下で説明するように符号化ゲインを提供できる。
【0075】
図６．１～図６．３２は、上記の符号化フレームワークを使用して、すなわち、ＲＳＦ符号化、ＣＳＦ符号化、または両方の符号化モードの切り替えを可能にするバリアントと組み合わせたＧＣＬＩ符号化を使用して得られたＰＳＮＲ結果を示している。
図６．１から図６．６は、ＲＧＢ ４４４ ８ビットの符号化、すなわち、ＲＳＦ／ＣＳＦの切り替え可能性のために様々なｂｐｐ（ピクセルあたりのビット）制約で最適化され、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、４ｂｐｐのビットレート制約で視覚的に最適化されたＰＳＮＲ、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、６ｂｐｐのビットレート制約で最適化されたＰＳＮＲ、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、１２ｂｐｐのビットレート制約で最適化され、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、４ｂｐｐのビットレート制約で視覚的に最適化され、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、１２ｂｐｐのビットレート制約で視覚的に最適化されたＰＳＮＲを示す。
同様のシミュレーション結果は－ＲＧＢ ４４４ １０ビット符号化の場合は図６．７～図６．１０に、ＹＵＶ ４２２ １０ビット符号化の場合は図６．１１～図６．１４に示されている見出しに示されている。
複数生成最大ＰＳＮＲと平均ＰＳＮＲの結果は、図６．１５～図６．３２に示されている。
すなわち、図６．１５～図６．２０のＲＧＢ ４４４ ８ビット、図６．２１～図６．２６のＲＧＢ ４４４ １０ビット、図６．２７～図６．３２のＹＵＶ ４２２ １０ビットである。
図６．１から図６．６は、ＲＧＢ ４４４ ８ビットの符号化、すなわち、ＲＳＦ／ＣＳＦの切り替え可能性のために様々なｂｐｐ（ピクセルあたりのビット）制約で最適化され、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、４ｂｐｐのビットレート制約で視覚的に最適化されたＰＳＮＲ、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、６ｂｐｐのビットレート制約で最適化されたＰＳＮＲ、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、１２ｂｐｐのビットレート制約で最適化され、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、４ｂｐｐのビットレート制約で視覚的に最適化され、ＲＳＦのみ、ＣＳＦのみ、ＲＳＦ／ＣＳＦスイッチングをそれぞれ比較しながら、１２ｂｐｐのビットレート制約で視覚的に最適化されたＰＳＮＲを示す。
同様のシミュレーション結果は－ＲＧＢ ４４４ １０ビット符号化の場合は図６．７～図６．１０に、ＹＵＶ ４２２ １０ビット符号化の場合は図６．１１～図６．１４に示されている見出しに示されている。
複数生成最大ＰＳＮＲと平均ＰＳＮＲの結果は、図６．１５～図６．３２に示されている。
すなわち、図６．１５～図６．２０のＲＧＢ ４４４ ８ビット、図６．２１～図６．２６のＲＧＢ ４４４ １０ビット、図６．２７～図６．３２のＹＵＶ ４２２ １０ビットである。
【0076】
以下では、ＣＳＦおよびＲＳＦに関連していくつかの複雑な態様について説明する。
しかし、以前は、図７に関してエンコーダアーキテクチャが提示されている。
エンコーダは、開始点として前述のウェーブレット変換１０を使用する方法で符号５０を使用して図７に示されている。
ウェーブレット変換１０は、図７に示されていない変換器によるウェーブレット変換によって取得されていてもよい。
ウェーブレット変換１０を符号化するために、エンコーダ５０は、係数グループ１８ごとに最大の符号化ラインインデックスを決定するＧＣＬＩ抽出器５２を含む。
エンコーダ５０は、例えば、プレシンクトごとに動作し、制約されている特定のビットレートを満たすように動作する。
ＧＣＬＩ抽出器５２は、決定されたＧＣＬＩ値をＧＣＬＩバッファ５４および実行／ＧＴＬＩモジュール５６に供給する。
モジュール５６は最小のＧＴＬＩを計算し、有意なグループのすべての係数グループがゼロに切り捨てられる。
詳細については、以下で説明する。
モジュール５６は、ＧＣＬＩ値および有意でない有意なグループにつながる最小のＧＴＬＩを、ＧＴＬＩ候補値ごとにビット予算を計算する後続の予算コンピュータ５８に転送する。
この目的のために、モジュール５８は、バッファ６０内の前の変換係数ラインのＧＣＬＩ値に符号化順序で次に作用する変換係数ラインにアクセスし、更新し続ける。
正確な予算は、まだ利用できないかもしれない前のプレシンクトのＧＴＬＩに依存するため、モジュール５８は、ＧＴＬＩ候補ごとのビット予算の初期近似値のみを計算する。 より正確には、予算コンピュータ５８は、現在のプレシンクトの変換係数のラインで動作する。
ＧＣＬＩバッファ５４に接続されたプレシンクト予算更新器６２は、プレシンクト予算更新を提供する。
前の予算近似値と実際のビット予算との偏差を修正する。
この目的のために、モジュール６２はプレシンクト上で動作し、モジュール６４によって次に符号化し、以前のプレシンクトのＧＴＬＩが既に利用可能になるようにする。
プレシンクト予算更新およびコンピュータ５８によって決定された予算値に基づいて、ＲＡモジュール６３はＧＴＬＩ値を計算してプレシンクトに効果的に適用し、前述のビットレート制約を満たすために次に符号化する。
このＧＴＬＩ値は、ＧＣＬＩコーダ６４への入力として提供され、さらに、ＧＣＬＩバッファ５４からＧＣＬＩ値を受信する。
ＧＣＬＩコーダ６４は、レジスタ６６を介して、前のラインＧＣＬＩバッファ６０の形のＧＣＬＩ値の前のラインおよび前のラインのＧＴＬＩにアクセスする。
ＧＣＬＩコーダ６４は、ＧＣＬＩ値をこの点に関する詳細が上記で設定されたもので符号化し、それをバッファ６８に出力する。
変換１０の係数もバッファ７０にバッファされ、バッファ６８の符号化ＧＣＬＩ値を介してデータストリームで通知された符号化ビットプレーンにあるそれらのビットは、係数エンコーダ７２を介してデータストリームに挿入される。
上述のように、これはビットを生データとしてデータストリームに配置するという形で行うことができる。
パッカー７４は、符号化されたＧＣＬＩデータと生データビットをデータストリームにパックする。
しかし、以前は、図７に関してエンコーダアーキテクチャが提示されている。
エンコーダは、開始点として前述のウェーブレット変換１０を使用する方法で符号５０を使用して図７に示されている。
ウェーブレット変換１０は、図７に示されていない変換器によるウェーブレット変換によって取得されていてもよい。
ウェーブレット変換１０を符号化するために、エンコーダ５０は、係数グループ１８ごとに最大の符号化ラインインデックスを決定するＧＣＬＩ抽出器５２を含む。
エンコーダ５０は、例えば、プレシンクトごとに動作し、制約されている特定のビットレートを満たすように動作する。
ＧＣＬＩ抽出器５２は、決定されたＧＣＬＩ値をＧＣＬＩバッファ５４および実行／ＧＴＬＩモジュール５６に供給する。
モジュール５６は最小のＧＴＬＩを計算し、有意なグループのすべての係数グループがゼロに切り捨てられる。
詳細については、以下で説明する。
モジュール５６は、ＧＣＬＩ値および有意でない有意なグループにつながる最小のＧＴＬＩを、ＧＴＬＩ候補値ごとにビット予算を計算する後続の予算コンピュータ５８に転送する。
この目的のために、モジュール５８は、バッファ６０内の前の変換係数ラインのＧＣＬＩ値に符号化順序で次に作用する変換係数ラインにアクセスし、更新し続ける。
正確な予算は、まだ利用できないかもしれない前のプレシンクトのＧＴＬＩに依存するため、モジュール５８は、ＧＴＬＩ候補ごとのビット予算の初期近似値のみを計算する。 より正確には、予算コンピュータ５８は、現在のプレシンクトの変換係数のラインで動作する。
ＧＣＬＩバッファ５４に接続されたプレシンクト予算更新器６２は、プレシンクト予算更新を提供する。
前の予算近似値と実際のビット予算との偏差を修正する。
この目的のために、モジュール６２はプレシンクト上で動作し、モジュール６４によって次に符号化し、以前のプレシンクトのＧＴＬＩが既に利用可能になるようにする。
プレシンクト予算更新およびコンピュータ５８によって決定された予算値に基づいて、ＲＡモジュール６３はＧＴＬＩ値を計算してプレシンクトに効果的に適用し、前述のビットレート制約を満たすために次に符号化する。
このＧＴＬＩ値は、ＧＣＬＩコーダ６４への入力として提供され、さらに、ＧＣＬＩバッファ５４からＧＣＬＩ値を受信する。
ＧＣＬＩコーダ６４は、レジスタ６６を介して、前のラインＧＣＬＩバッファ６０の形のＧＣＬＩ値の前のラインおよび前のラインのＧＴＬＩにアクセスする。
ＧＣＬＩコーダ６４は、ＧＣＬＩ値をこの点に関する詳細が上記で設定されたもので符号化し、それをバッファ６８に出力する。
変換１０の係数もバッファ７０にバッファされ、バッファ６８の符号化ＧＣＬＩ値を介してデータストリームで通知された符号化ビットプレーンにあるそれらのビットは、係数エンコーダ７２を介してデータストリームに挿入される。
上述のように、これはビットを生データとしてデータストリームに配置するという形で行うことができる。
パッカー７４は、符号化されたＧＣＬＩデータと生データビットをデータストリームにパックする。
【0077】
強調表示されている図７のブロック、すなわち符号５６、符号５８、および符号６４は、２つの異なるタイプの有意フラグ、すなわちＲＳＦとＣＳＦの使用に関係している。
その内容が参照により本明細書に組み込まれる［１］でさらに説明するように、ウェーブレット変換１０のウェーブレット係数は、エンコーダ７２による後のデータ符号化のために係数バッファ７０に格納される。
［１］でも説明したように、ＧＣＬＩ抽出器５２はＧＣＬＩ値を決定し、それをバッファ５４に格納する。
その内容が参照により本明細書に組み込まれる［１］でさらに説明するように、ウェーブレット変換１０のウェーブレット係数は、エンコーダ７２による後のデータ符号化のために係数バッファ７０に格納される。
［１］でも説明したように、ＧＣＬＩ抽出器５２はＧＣＬＩ値を決定し、それをバッファ５４に格納する。
【0078】
２つの異なるｓｉｇｆｌａｇ法を組み合わせるには、モジュール５６などによって、有意グループごとに次の値を計算する必要がある。
【0079】
ここで、
・ｇｊはＧＣＬＩ ｊである。
・ｔｊはＧＣＬＩ ｇｊに適用する量子化／切り捨てである。
・
は
ｇｊ
を予測するために使用される基準ＧＣＬＩ（すなわち、水平または垂直の近傍）である。
・
はＧＣＬＩ
に適用する量子化／切り捨てである。
・ＰＲＥＤは、ｔと
を使用して
から値ｇｊを予測する予測関数である。
・ｓｓｉｇは現在処理されている有意グループである。
・ｇｊはＧＣＬＩ ｊである。
・ｔｊはＧＣＬＩ ｇｊに適用する量子化／切り捨てである。
・
ｇｊ
を予測するために使用される基準ＧＣＬＩ（すなわち、水平または垂直の近傍）である。
・
・ＰＲＥＤは、ｔと
・ｓｓｉｇは現在処理されている有意グループである。
【0080】
さらに、ＧＣＬＩ値を１つの有意グループだけ遅延させることにより、初期予算計算が簡素化される。
１つの垂直ウェーブレット分解レベル（３×８サブバンド）の場合、これには３×８×８×４＝７６８ビットが必要である。
ザイリンクスの場合、これは２×４８＝９６ＬＵＴ、またはアルテラデバイスの２ ＭＬＡＢブロックに対応する。
【0081】
ＧＣＬＩコーダには別のわずかな変更が必要である。
残差有意フラグ（［１］など）のみを使用する場合、ｓｓｉｇ予測残差を符号化する前にバッファリングして、すべてがゼロかどうかを判断する必要がある。
これにより、予測残差を出力するか、有意フラグを使用してＳＩＧグループに有意でないことを通知することができる。
を使用する場合、コーダは、符号化するすべてのＧＣＬＩ ｇｉが選択した量子化／切り捨てパラメータｔｉをすべて下回っているかどうかをさらに確認する必要がある。
しかし、これは簡単であり、追加のバッファリングは必要ない。
残差有意フラグ（［１］など）のみを使用する場合、ｓｓｉｇ予測残差を符号化する前にバッファリングして、すべてがゼロかどうかを判断する必要がある。
これにより、予測残差を出力するか、有意フラグを使用してＳＩＧグループに有意でないことを通知することができる。
しかし、これは簡単であり、追加のバッファリングは必要ない。
【0082】
係数有意フラグの予算節約の計算は、次のように行われる。
【0083】
係数有意フラグを使用して有意グループが有意でないと通知されるたびに、図７の予算計算モジュールは、予測残差をビットストリームに配置しないことによって節約されたビット数を追跡する必要がある。
【0084】
したがって、両方の方法の全体的な予算は次のように計算できる。
・有意フラグなしで予算を計算する
・残差有意フラグの予算節約の計算
・係数有意フラグの予算節約の計算
・有意フラグなしで予算を計算する
・残差有意フラグの予算節約の計算
・係数有意フラグの予算節約の計算
【0085】
これは、以下で説明するように、両方の方法を使用することで複雑さが増すのは、追加の予算節約を計算することにあることを意味する。
【0086】
上記の第１のオプションによる垂直予測が適用されるとする。
【0087】
この予測方法では、次式が使用される。
（１）
現在のＧＴＬＩと基準ＧＴＬＩのｔｉおよびｔｉ－１の両方が等しい場合、式（１）は次のように単純化される。
（２）
予算の節約は
についてのみ発生することがわかっているため、式（１）から次式を得る。
δｉ＝ｔｉ－ｍａｘ（ｇｉ－１，ｍａｘ（ｔｉ－１，ｔｉ））
したがって、予算の節約は、ｇｉ－１と
、さらにパラメータｔｉ－１とｔｉに一意に依存するため、簡単に計算できる。
現在のＧＴＬＩと基準ＧＴＬＩのｔｉおよびｔｉ－１の両方が等しい場合、式（１）は次のように単純化される。
（２）
予算の節約は
δｉ＝ｔｉ－ｍａｘ（ｇｉ－１，ｍａｘ（ｔｉ－１，ｔｉ））
したがって、予算の節約は、ｇｉ－１と
【0088】
第２の垂直予測オプションが適用される場合には、次式が使用される。
現在のＧＴＬＩと基準ＧＴＬＩのｔｉおよびｔｉ－１の両方が等しい場合、式（１）は次のように単純化される。
（４）
予算の節約は
についてのみ発生することがわかっているため、式（３）から次式を得る。
したがって、予算の節約は、ｇｉ－１と
、さらにパラメータｔｉ－１とｔｉに一意に依存するため、簡単に計算できる。
予算の節約は
したがって、予算の節約は、ｇｉ－１と
【0089】
対応する復号アーキテクチャを図８に示す。
図８のデコーダは、符号８０を使用して一般的に示されている。
入力デマルチプレクサ８２は、データストリームを受信し、そこから符号化ビットプレーン内の符号化係数ビット、すなわち符号８４、ＧＣＬＩ残差８６、およびＲＳＦまたはＣＳＦ、すなわち符号８８であってもよいフラグを導出する。
ビット８４はデータバッファ９０に格納され、ＧＣＬＩ残差値はＧＣＬＩバッファ９２に格納され、フラグ８８はバッファ９４に格納される。
図８に示すように、バッファ９２に格納されたＧＣＬＩ残差値は、単進符号化または生データとして符号化され、それに応じて、生デコーダ９６または単進デコーダ９８がＧＣＬＩ残差値を復号するために使用される。
サブバンドＧＣＬＩバッファ１００は、オプションで、デコーダ９６およびデコーダ９８にそれぞれアクセス可能であってもよい。
ＧＣＬＩパッカー１０２を介して、逆ＧＣＬＩ予測器１０４は、ＧＣＬＩ残差を受け取り、以前のＧＣＬＩ１０６に基づいて、およびＲＳＦフラグに基づいてＧＣＬＩ値を再構築する。
ＲＳＦが適用され、現在のＧＣＬＩのＲＳＦフラグが設定されている場合には、逆予測器１０４は、予測残差、すなわち、とにかくゼロであるＧＣＬＩ残差について通知される。
次に、以前のＧＣＬＩ １０６に基づいて決定された予測器が現在のＧＣＬＩとして使用される。
逆予測器１０４は、決定されたＧＣＬＩを出力し、マルチプレクサは、現在のＧＣＬＩに適用されるＣＳＦフラグに応じて、この予測出力またはゼロ置換を選択する。
ＣＳＦフラグが設定されている場合には、とにかく対応するＳＩＧグループ内に符号化ビットプレーンはなく、ＧＣＬＩがそれに応じて設定される、すなわち、現在のＧＴＬＩを考慮して、有意でない変換係数の符号化につながるゼロまたは何らかの値になる。
アンパッカーコントローラ１１０は、マルチプレクサ１０８の出力を受信し、その出力は次に、前のＧＣＬＩとして逆予測器１０４にもフィードバックされ、今度は現在のＧＣＬＩに応じて、データバッファ９０から現在の係数グループの符号化ビットプレーンの係数ビットを取り出すアンパッカー１１２を制御する。
アンパッカー１１２の出力で、それぞれの変換係数が生じる。
図８のデコーダは、符号８０を使用して一般的に示されている。
入力デマルチプレクサ８２は、データストリームを受信し、そこから符号化ビットプレーン内の符号化係数ビット、すなわち符号８４、ＧＣＬＩ残差８６、およびＲＳＦまたはＣＳＦ、すなわち符号８８であってもよいフラグを導出する。
ビット８４はデータバッファ９０に格納され、ＧＣＬＩ残差値はＧＣＬＩバッファ９２に格納され、フラグ８８はバッファ９４に格納される。
図８に示すように、バッファ９２に格納されたＧＣＬＩ残差値は、単進符号化または生データとして符号化され、それに応じて、生デコーダ９６または単進デコーダ９８がＧＣＬＩ残差値を復号するために使用される。
サブバンドＧＣＬＩバッファ１００は、オプションで、デコーダ９６およびデコーダ９８にそれぞれアクセス可能であってもよい。
ＧＣＬＩパッカー１０２を介して、逆ＧＣＬＩ予測器１０４は、ＧＣＬＩ残差を受け取り、以前のＧＣＬＩ１０６に基づいて、およびＲＳＦフラグに基づいてＧＣＬＩ値を再構築する。
ＲＳＦが適用され、現在のＧＣＬＩのＲＳＦフラグが設定されている場合には、逆予測器１０４は、予測残差、すなわち、とにかくゼロであるＧＣＬＩ残差について通知される。
次に、以前のＧＣＬＩ １０６に基づいて決定された予測器が現在のＧＣＬＩとして使用される。
逆予測器１０４は、決定されたＧＣＬＩを出力し、マルチプレクサは、現在のＧＣＬＩに適用されるＣＳＦフラグに応じて、この予測出力またはゼロ置換を選択する。
ＣＳＦフラグが設定されている場合には、とにかく対応するＳＩＧグループ内に符号化ビットプレーンはなく、ＧＣＬＩがそれに応じて設定される、すなわち、現在のＧＴＬＩを考慮して、有意でない変換係数の符号化につながるゼロまたは何らかの値になる。
アンパッカーコントローラ１１０は、マルチプレクサ１０８の出力を受信し、その出力は次に、前のＧＣＬＩとして逆予測器１０４にもフィードバックされ、今度は現在のＧＣＬＩに応じて、データバッファ９０から現在の係数グループの符号化ビットプレーンの係数ビットを取り出すアンパッカー１１２を制御する。
アンパッカー１１２の出力で、それぞれの変換係数が生じる。
【0090】
したがって、図８はデコーダのブロック図を示し、特に［１］に加えて、両方の有意フラグタイプのサポートを可能にする拡張機能を示している。
完全を期すために、図８は［１］と比較して追加のＧＣＬＩパッカー１０２を示していることに留意されたい。
完全を期すために、図８は［１］と比較して追加のＧＣＬＩパッカー１０２を示していることに留意されたい。
【0091】
プレシンクト（またはサブバンド）が残差有意フラグで符号化されている場合、逆予測器は、ＧＣＬＩパッカー１０２から予測残差を読み取るのではなく、単に予測残差をゼロとみなす。
係数有意フラグを使用する場合、逆予測器１０４はまったく同じ操作を実行することができる。
しかし、この予測の結果を使用する代わりに、値は単純にゼロ値に置き換えられる。
したがって、両方のフラグタイプを処理するために、図８のデコーダは、有意フラグバッファ９４の出力および使用される有意フラグのタイプによって制御される４ビットＭＵＸ２要素、すなわち符号１０８を単純に含む。
したがって、デコーダに関する限り、ロジックの増加は無視できる。
係数有意フラグを使用する場合、逆予測器１０４はまったく同じ操作を実行することができる。
しかし、この予測の結果を使用する代わりに、値は単純にゼロ値に置き換えられる。
したがって、両方のフラグタイプを処理するために、図８のデコーダは、有意フラグバッファ９４の出力および使用される有意フラグのタイプによって制御される４ビットＭＵＸ２要素、すなわち符号１０８を単純に含む。
したがって、デコーダに関する限り、ロジックの増加は無視できる。
【0092】
本出願の特定の実施形態をＪＰＥＧ ＸＳの現在想定されているバージョンの拡張または修正として説明した後に、デコーダおよびエンコーダおよびデータストリームのさらなる実施形態を、上述の実施形態の一種の一般化として説明する。
図９は、エンコーダ１００を示している。図９のエンコーダは、変換係数１６をデータストリーム１０２に符号化するためのものである。
上述のように、変換係数１６は、画像の変換の変換係数であってもよい。
変換係数１６は、画像のスペクトル分解の複数の下位部分のうちの１つの下位部分を形成し、エンコーダ１００は、下位部分（sub-portion basis）ごとに符号化を実行するように構成されてもよい。
そのような下位部分は、ウェーブレット変換のサブバンドなどのサブバンド、またはプレシンクトに対応する領域３２など、画像が細分化される空間領域の対応する空間領域に関連する変換係数のグループであってもよい。
変換係数１６は、例えばＤＣＴなどの異なる変換の係数であってもよいことは明らかなことである。
変換係数は係数グループ１８にグループ化される。グループ１８当たりの係数１６の数は、上述のように、１より大きい任意の数であってもよく、図９に示す４に限定されない。
係数１６のグループ１８へのグループ化は、１つのグループ１８に属する係数１６が同じサブバンドに属するように行われてもよい。
ウェーブレット変換の場合、１つのグループ１８に属する係数１６は、例えば、１つのサブバンドの空間的隣接であってもよく、変換係数１６がＤＣＴ係数の場合、グループ１８は、画像の空間的に隣接する領域から取得された異なるＤＣＴ変換ブロックに由来する係数１６から構成されてもよく、１つのグループの係数は、これらのＤＣＴ変換ブロック内の１つの周波数成分または係数に対応する。
特に、ＤＣＴ変換の場合、画像をブロック単位で同じサイズのＤＣＴ変換ブロックに変換することができ、その各係数位置は別々のサブバンドを表す。
例えば、これらのＤＣＴ変換ブロックのすべてのＤＣ係数は、ＤＣサブバンド、その右側の係数、別のサブバンドなどを表す。
次に、グループ１８は、画像の隣接ブロックから得られたＤＣＴ変換ブロックの１つのサブバンドの係数を収集してもよい。
図９は、エンコーダ１００を示している。図９のエンコーダは、変換係数１６をデータストリーム１０２に符号化するためのものである。
上述のように、変換係数１６は、画像の変換の変換係数であってもよい。
変換係数１６は、画像のスペクトル分解の複数の下位部分のうちの１つの下位部分を形成し、エンコーダ１００は、下位部分（sub-portion basis）ごとに符号化を実行するように構成されてもよい。
そのような下位部分は、ウェーブレット変換のサブバンドなどのサブバンド、またはプレシンクトに対応する領域３２など、画像が細分化される空間領域の対応する空間領域に関連する変換係数のグループであってもよい。
変換係数１６は、例えばＤＣＴなどの異なる変換の係数であってもよいことは明らかなことである。
変換係数は係数グループ１８にグループ化される。グループ１８当たりの係数１６の数は、上述のように、１より大きい任意の数であってもよく、図９に示す４に限定されない。
係数１６のグループ１８へのグループ化は、１つのグループ１８に属する係数１６が同じサブバンドに属するように行われてもよい。
ウェーブレット変換の場合、１つのグループ１８に属する係数１６は、例えば、１つのサブバンドの空間的隣接であってもよく、変換係数１６がＤＣＴ係数の場合、グループ１８は、画像の空間的に隣接する領域から取得された異なるＤＣＴ変換ブロックに由来する係数１６から構成されてもよく、１つのグループの係数は、これらのＤＣＴ変換ブロック内の１つの周波数成分または係数に対応する。
特に、ＤＣＴ変換の場合、画像をブロック単位で同じサイズのＤＣＴ変換ブロックに変換することができ、その各係数位置は別々のサブバンドを表す。
例えば、これらのＤＣＴ変換ブロックのすべてのＤＣ係数は、ＤＣサブバンド、その右側の係数、別のサブバンドなどを表す。
次に、グループ１８は、画像の隣接ブロックから得られたＤＣＴ変換ブロックの１つのサブバンドの係数を収集してもよい。
【0093】
次に、係数グループ１６は、グループセット４０にグループ化される。
これは、異なるサブバンドの係数を混合しない方法で行うこともできる。
さらに、１つのグループセット４０内の係数グループ１８の係数１６は、すべて同じサブバンドから生じてもよい。
これは、異なるサブバンドの係数を混合しない方法で行うこともできる。
さらに、１つのグループセット４０内の係数グループ１８の係数１６は、すべて同じサブバンドから生じてもよい。
【0094】
図９のエンコーダ１００は、有意符号化モードが使用されないグループセット４０の第１のサブセット、すなわちＧＣＬＩ残差が符号化されるグループセット４０と、有意符号化モードが使用されるグループセットの第２のサブセット、すなわちＧＣＬＩ残差が符号化されないグループセット４０と、を識別する情報１０４をデータストリーム１０２に挿入する。
上記の説明では、情報１０４を形成するために、各グループセット４０に対して１つのＣＳＦフラグがデータストリーム１０２に挿入される。
グループセット４０の第１のサブセットは、ＣＳＦが０であるか設定されていないグループセット４０であり、第２のサブセットは、ＣＳＦが１であるグループセット４０を含む。
現在のグループセット４０の情報１０４を設定するために、エンコーダ１００は、グループセット４０内のすべての変換係数１６が有意でない、すなわち０に量子化されているかどうかをチェックする１０６。
エンコーダ１００は、１つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報１０８をデータストリーム１０２に挿入することができる。
上記のＧＴＬＩ値は、情報１０８の一部を形成することができる。
ＧＴＬＩ１０８は、例えば前述の下位部分の粒度で、すなわち例えばプレシンクトごとに、あるいはサブバンドまたは係数グループ行の単位などの他のレベルで、データストリーム１０２で送信されてもよい。
側面として、係数グループ１８は、図に例示的に示されている以外に、係数行４１に対して斜めの方向に沿って互いに隣接する係数１６を収集してもよいことに留意されたい。 情報１１８が予測残差を提供するＧＣＬＩ値は、データストリーム１０２に符号化される最上位ビットプレーンを、ＧＴＬＩに関連するインデックスとして示すことができ、ＧＴＬＩは、次に、マグニチュードビット２４が切り捨てられる最下位ビットプレーンの中の最上位ビットをインデックス付けすることができる。
現在のグループセット４０内のすべてのグループ１８のすべての係数が０である場合には、このグループセット４０のＣＳＦフラグは符号１１０で設定され、そうでない場合には、符号１１２に示すように設定されない。
設定されない場合には、エンコーダ１００は、隣接する係数グループ１８に基づいて符号１１４でこのセットを予測することにより、例えば、データストリーム１０２に予測残差を挿入する１１６ことにより、符号化ビットプレーンのセットをデータストリーム１０２で通知し、それによりデータストリーム１０２にＧＣＬＩデータ１１８を形成する。
例えば、符号化ビットプレーンのセットは、インデックス付けにより、すなわち、最大の符号化ラインにインデックス付けすることにより、データストリーム１０２で通知されてもよい。
ＧＣＬＩ １１８がＧＴＬＩよりも大きい現在のグループセット４０内の係数グループ１８について、エンコーダ１００は、それぞれの係数グループ１８の係数１６の対応する係数ビット、すなわちビット２４をデータストリーム１０２に符号化する。
このビット挿入１２０は、より具体的に言えば、ビットを生ビットとして挿入することなどにより、１のコードレートで行われてもよい。
次にＧＣＬＩデータ値は、例えば、上述の単進コードなどの可変長コードとしてデータストリーム１０２に符号化されてもよい。
符号１２０で挿入された生ビットは、図９の符号１２２に示されている。
既に上述したように、データストリーム１０２内では、生ビット１２２、ＧＣＬＩデータ１１８、およびフラグ１０４は、インターリーブまたは非インターリーブされてもよい。
図示するように、ＣＳＦ＝１はグループセット４０を表す非常に圧縮された方法である。
符号１１０または符号１２０のいずれかの後に、同じ方法で別のグループセット４０で処理を進めることができる。
上記の説明では、情報１０４を形成するために、各グループセット４０に対して１つのＣＳＦフラグがデータストリーム１０２に挿入される。
グループセット４０の第１のサブセットは、ＣＳＦが０であるか設定されていないグループセット４０であり、第２のサブセットは、ＣＳＦが１であるグループセット４０を含む。
現在のグループセット４０の情報１０４を設定するために、エンコーダ１００は、グループセット４０内のすべての変換係数１６が有意でない、すなわち０に量子化されているかどうかをチェックする１０６。
エンコーダ１００は、１つまたは複数の切り捨てられた最下位ビットプレーンのセットを示す切り捨て情報１０８をデータストリーム１０２に挿入することができる。
上記のＧＴＬＩ値は、情報１０８の一部を形成することができる。
ＧＴＬＩ１０８は、例えば前述の下位部分の粒度で、すなわち例えばプレシンクトごとに、あるいはサブバンドまたは係数グループ行の単位などの他のレベルで、データストリーム１０２で送信されてもよい。
側面として、係数グループ１８は、図に例示的に示されている以外に、係数行４１に対して斜めの方向に沿って互いに隣接する係数１６を収集してもよいことに留意されたい。 情報１１８が予測残差を提供するＧＣＬＩ値は、データストリーム１０２に符号化される最上位ビットプレーンを、ＧＴＬＩに関連するインデックスとして示すことができ、ＧＴＬＩは、次に、マグニチュードビット２４が切り捨てられる最下位ビットプレーンの中の最上位ビットをインデックス付けすることができる。
現在のグループセット４０内のすべてのグループ１８のすべての係数が０である場合には、このグループセット４０のＣＳＦフラグは符号１１０で設定され、そうでない場合には、符号１１２に示すように設定されない。
設定されない場合には、エンコーダ１００は、隣接する係数グループ１８に基づいて符号１１４でこのセットを予測することにより、例えば、データストリーム１０２に予測残差を挿入する１１６ことにより、符号化ビットプレーンのセットをデータストリーム１０２で通知し、それによりデータストリーム１０２にＧＣＬＩデータ１１８を形成する。
例えば、符号化ビットプレーンのセットは、インデックス付けにより、すなわち、最大の符号化ラインにインデックス付けすることにより、データストリーム１０２で通知されてもよい。
ＧＣＬＩ １１８がＧＴＬＩよりも大きい現在のグループセット４０内の係数グループ１８について、エンコーダ１００は、それぞれの係数グループ１８の係数１６の対応する係数ビット、すなわちビット２４をデータストリーム１０２に符号化する。
このビット挿入１２０は、より具体的に言えば、ビットを生ビットとして挿入することなどにより、１のコードレートで行われてもよい。
次にＧＣＬＩデータ値は、例えば、上述の単進コードなどの可変長コードとしてデータストリーム１０２に符号化されてもよい。
符号１２０で挿入された生ビットは、図９の符号１２２に示されている。
既に上述したように、データストリーム１０２内では、生ビット１２２、ＧＣＬＩデータ１１８、およびフラグ１０４は、インターリーブまたは非インターリーブされてもよい。
図示するように、ＣＳＦ＝１はグループセット４０を表す非常に圧縮された方法である。
符号１１０または符号１２０のいずれかの後に、同じ方法で別のグループセット４０で処理を進めることができる。
【0095】
図１０は、図９のエンコーダに対応するデコーダを示している。
図１０のデコーダ２００は、データストリーム１０２から変換係数１６を再構成するように動作し、この目的のために、現在のグループセット４０のＣＳＦが設定されているかどうかをチェックし、その場合、デコーダ２００は、グループセット４０内のすべての変換係数１６をゼロにする、すなわちゼロに設定するか、この変換係数１６にノイズを合成する。
この目的のために、チェック２０６が、有意符号化モードが現在のグループセット４０に使用されることを示している場合には、現在のグループセット４０に対して何らかの有意でない処理２１０が実行される。
しかしながら、そうでない場合には、デコーダ２００はグループセット４０を通常通り処理する。
すなわち、デコーダ２００は２１４で現在のグループセット４０内の各係数グループ１８のＧＣＬＩを予測し、データストリーム１０２から取得した予測残差を使用して予測を修正する２１６。
上述のように、可変長復号は、予測残差１１８を導出するために使用してもよい。
予測は、現在の係数グループまたは現在のグループ４０に垂直に隣接する係数グループ１８のＧＣＬＩを使用して行うことができる。
すなわち、この例では、現在のセット４０内のすべてのグループ１８について、予測基準、すなわち、垂直方向に隣接するグループ１８は、現在のセット４０の外部にある。
あるいは、予測２１４は、現在の係数グループまたは現在のグループ４０に水平方向に隣接する係数グループ１８のＧＣＬＩを使用して行われてもよい。
すなわち、現在の例では、左端を除く現在のセット４０内のほとんどのグループ１８について、例えば、予測基準、すなわち水平方向に隣接するグループ１８は、現在のセット４０内にある。
当然、データストリーム内の各グループ１８の予測ソースを通知することは実行可能である。
非予測でさえ可能なモードかもしれない。
予測２１４の詳細は当然、予測１１４に転送することもできる。
モード切り替えは、代替として、係数行４１またはグループ１８の行、サブバンドまたはプレディクト（predincts）３０など、グループ１８またはセット４０以外の粒度でエンコーダによって通知され選択されてもよい。
図１０のデコーダ２００は、データストリーム１０２から変換係数１６を再構成するように動作し、この目的のために、現在のグループセット４０のＣＳＦが設定されているかどうかをチェックし、その場合、デコーダ２００は、グループセット４０内のすべての変換係数１６をゼロにする、すなわちゼロに設定するか、この変換係数１６にノイズを合成する。
この目的のために、チェック２０６が、有意符号化モードが現在のグループセット４０に使用されることを示している場合には、現在のグループセット４０に対して何らかの有意でない処理２１０が実行される。
しかしながら、そうでない場合には、デコーダ２００はグループセット４０を通常通り処理する。
すなわち、デコーダ２００は２１４で現在のグループセット４０内の各係数グループ１８のＧＣＬＩを予測し、データストリーム１０２から取得した予測残差を使用して予測を修正する２１６。
上述のように、可変長復号は、予測残差１１８を導出するために使用してもよい。
予測は、現在の係数グループまたは現在のグループ４０に垂直に隣接する係数グループ１８のＧＣＬＩを使用して行うことができる。
すなわち、この例では、現在のセット４０内のすべてのグループ１８について、予測基準、すなわち、垂直方向に隣接するグループ１８は、現在のセット４０の外部にある。
あるいは、予測２１４は、現在の係数グループまたは現在のグループ４０に水平方向に隣接する係数グループ１８のＧＣＬＩを使用して行われてもよい。
すなわち、現在の例では、左端を除く現在のセット４０内のほとんどのグループ１８について、例えば、予測基準、すなわち水平方向に隣接するグループ１８は、現在のセット４０内にある。
当然、データストリーム内の各グループ１８の予測ソースを通知することは実行可能である。
非予測でさえ可能なモードかもしれない。
予測２１４の詳細は当然、予測１１４に転送することもできる。
モード切り替えは、代替として、係数行４１またはグループ１８の行、サブバンドまたはプレディクト（predincts）３０など、グループ１８またはセット４０以外の粒度でエンコーダによって通知され選択されてもよい。
【0096】
ＧＣＬＩがＧＴＬＩより大きい、すなわち、符号化ビットプレーンのセットが量子化しきい値を下回っていない各係数グループ１８について、符号２１８でデコーダ２００によってチェックされる場合、それぞれの係数グループ１８内の係数１６の対応する符号化ビットプレーンのビットは、データストリーム１０２から符号２２０で読み取られる。
これは、デコーダ２００がビットストリーム１０２からのビットをビットプレーンに挿入するための所定のマッピングルールに従って、データストリーム１０２、すなわち１２２のビットをＧＣＬＩおよびＧＴＬＩによって示されるビットプレーン、すなわちそれらの間で直接読み取りまたは復号する。
これは、デコーダ２００がビットストリーム１０２からのビットをビットプレーンに挿入するための所定のマッピングルールに従って、データストリーム１０２、すなわち１２２のビットをＧＣＬＩおよびＧＴＬＩによって示されるビットプレーン、すなわちそれらの間で直接読み取りまたは復号する。
【0097】
図９において、エンコーダ１００は、オプションとして、データストリーム１０２内で、情報１０４がこの種の有意性指示に関係する、すなわち、例えばＲＳＦではなくＣＳＦに関係するという事実を通知できることがさらに示されている。
この指示は、２５０でエンコーダ１００によってデータストリーム１０２にオプションで挿入されるものとして示されている。
この指示は、２５０でエンコーダ１００によってデータストリーム１０２にオプションで挿入されるものとして示されている。
【0098】
図１１は、ＣＳＦの代わりにＲＳＦを使用するように構成されたエンコーダ３００を示している。
図１１のエンコーダ３００は、次のように動作する。
特に、以下の説明は、図９のエンコーダ１００の動作との違いに集中している。
図１１のエンコーダ３００は、次のように動作する。
特に、以下の説明は、図９のエンコーダ１００の動作との違いに集中している。
【0099】
図１１のエンコーダ３００は、符号３１４でそのグループセット４０のすべての係数グループ１８のＧＣＬＩ予測器を決定し、符号３１６ですべての予測が正確に適合するかどうか、すなわち、グループセット４０内のすべての係数グループ１８について予測残差はすべて０であるかどうかを決定することにより、現在のグループセット４０で動作する。 そうである場合には、エンコーダ３００は、データストリーム１０２の有意情報１０４内の符号３１８でＲＳＦ＝１を設定することによりこれを通知する。
ここで、指示２５０は、図９の指示２５０によって示されるように、ＣＳＦ通知の代わりに、データストリーム１０２の情報フィールド１０４でＲＳＦ通知が伝えられることを示す。
しかし、すべてのＧＣＬＩ予測残差が０でない場合には、このグループセット４０のＲＳＦフラグは符号２２０で０に設定され、現在のグループセット４０の係数グループ１８のＧＣＬＩ値の予測残差は、符号３２２でデータストリーム１０２に、すなわちフィールド１１８内に挿入される。
ＲＳＦが設定されているかどうかに関係なく、切り捨てられていない符号化ビットプレーンが係数グループごとに存在するかどうかがチェックされ、存在する場合には、符号３２６でデータストリーム１０２に挿入される。
ここで、指示２５０は、図９の指示２５０によって示されるように、ＣＳＦ通知の代わりに、データストリーム１０２の情報フィールド１０４でＲＳＦ通知が伝えられることを示す。
しかし、すべてのＧＣＬＩ予測残差が０でない場合には、このグループセット４０のＲＳＦフラグは符号２２０で０に設定され、現在のグループセット４０の係数グループ１８のＧＣＬＩ値の予測残差は、符号３２２でデータストリーム１０２に、すなわちフィールド１１８内に挿入される。
ＲＳＦが設定されているかどうかに関係なく、切り捨てられていない符号化ビットプレーンが係数グループごとに存在するかどうかがチェックされ、存在する場合には、符号３２６でデータストリーム１０２に挿入される。
【0100】
さらなる実施形態によるエンコーダは、例えば、ＲＳＦまたはＣＳＦのいずれのオプションを符号化効率のセンス（sense）に従って優先するかを決定するために、両方のモードに従って、すなわち、図９または図１１に従って、そこから選択して動作することができることに留意されたい。
【0101】
図１２は、指示２５０がＣＳＦまたはＲＳＦ符号化の使用を示すかどうかに関係なく、指示２５０を含むデータストリーム１０２を扱うことができるデコーダ４００を示す。
図１０の符号が再利用されているが、情報１０４のフラグの意味が指示２５０に依存することを示すために、情報１０４は「ＣＳＦ」ではなく「Ｒ／ＣＳＦ」として示されている。
有意でない処理２１０は、現在のグループセット４０に対応するフラグが設定され、ＣＳＦモードが指示２５０によって同時に指示されている場合にのみ、デコーダ４００によって実行される。
そうでない場合には、図１０と比較した動作モードのさらなる違いは、チェック４０２が、Ｒ／ＣＳＦフラグが現在のグループセット４０に対して設定され、指示２５０がＲＳＦモードを示す場合には、予測修正２１６がデコーダ４００によってスキップされるという事実である。そうでない場合には、予測修正２１６が実行される。
図１０の符号が再利用されているが、情報１０４のフラグの意味が指示２５０に依存することを示すために、情報１０４は「ＣＳＦ」ではなく「Ｒ／ＣＳＦ」として示されている。
有意でない処理２１０は、現在のグループセット４０に対応するフラグが設定され、ＣＳＦモードが指示２５０によって同時に指示されている場合にのみ、デコーダ４００によって実行される。
そうでない場合には、図１０と比較した動作モードのさらなる違いは、チェック４０２が、Ｒ／ＣＳＦフラグが現在のグループセット４０に対して設定され、指示２５０がＲＳＦモードを示す場合には、予測修正２１６がデコーダ４００によってスキップされるという事実である。そうでない場合には、予測修正２１６が実行される。
【0102】
図１２に関して、図１２のデコーダ４００が図１０のデコーダとほとんど異ならないことは注目に値することに留意されたい。
ＲＳＦ符号化とＣＳＦ符号化の両方を処理する機能は、運用上のオーバーヘッドがほとんどない。
一方、デコーダ１２に供給するためのデータストリーム１０２を生成するためのエンコーダをインストールしようとするすべての人には、指示２５０が使用されている場合、図１１のＲＳＦオプションまたは図９のＣＳＦオプションから選択する機会が提供される。 この点で、ＣＳＦオプションには並列処理機能に関して利点がある可能性があるが、図１１のＲＳＦオプションは、例えばＦＰＧＡなどの形で、シーケンシャル操作スタイルでエンコーダを実装する場合に有利であることに留意されたい。
特に、ＲＳＦ設定はステップ３２２での予測の予測基準ベースに依存するが、ＣＳＦ設定は、ＧＴＬＩ、すなわち量子化について知る必要がある場合を除き、他の変換係数とは無関係に行うことができる。
ＲＳＦ符号化とＣＳＦ符号化の両方を処理する機能は、運用上のオーバーヘッドがほとんどない。
一方、デコーダ１２に供給するためのデータストリーム１０２を生成するためのエンコーダをインストールしようとするすべての人には、指示２５０が使用されている場合、図１１のＲＳＦオプションまたは図９のＣＳＦオプションから選択する機会が提供される。 この点で、ＣＳＦオプションには並列処理機能に関して利点がある可能性があるが、図１１のＲＳＦオプションは、例えばＦＰＧＡなどの形で、シーケンシャル操作スタイルでエンコーダを実装する場合に有利であることに留意されたい。
特に、ＲＳＦ設定はステップ３２２での予測の予測基準ベースに依存するが、ＣＳＦ設定は、ＧＴＬＩ、すなわち量子化について知る必要がある場合を除き、他の変換係数とは無関係に行うことができる。
【0103】
図９から図１２に関して、データストリーム１０２は、有意モードが使用されるかどうかの情報またはフラグをエンコーダによって提供されてもよく、それに応じて、情報１０４およびオプションで使用される通知２５０は、データストリーム１０２に存在せず、代わりにすべてのグループセット４０が通常モードで処理されてもよいことに留意されたい。
【0104】
＜定義および略語＞
これらは、ドキュメントに沿って使用されるいくつかの定義である。
ＧＣＬＩ：最大の符号化ラインインデックス
ＧＣＬＩ係数グループ：１つのＧＣＬＩ値で表されるウェーブレット係数のグループ
エスケープＧＣＬＩ：通常の符号化には使用されず、デコーダに特定の条件を通知するために使用することができるＧＣＬＩ値
有意なＧＣＬＩ：値がゼロより大きいＧＣＬＩ
有意でないＧＣＬＩ：値がゼロであるＧＣＬＩ
ＧＴＬＩ：最大の切り捨てられたラインインデックス
切り捨てられたＧＣＬＩ：ｍａｘ（ＧＣＬＩ－ＧＴＬＩ、０）の結果
有意でない切り捨てられたＧＣＬＩ：値が係数グループのＧＴＬＩ以下であるＧＣＬＩ
ＧＣＬＩ残差：ＧＣＬＩ値に適用された予測の結果。これには、基準ＧＣＬＩおよび対応するＧＴＬＩ値が必要である。水平予測と垂直予測の２つのバリエーションがある。
プレシンクト：入力画像の特定の空間領域に寄与する種々のサブバンドの係数のグループ。
シナリオ：種々のウェーブレットサブバンドのＧＴＬＩ値を導出するために使用できるプレシンクトベースで定義された量子化パラメータ。
ＲＳＦ：非有意フラグ［１］としても知られる残差有意フラグ。
ＳＩＧグループ：ＳＩＧフラグが割り当てられているＧＣＬＩ係数グループのグループ。有意グループとしても知られている。
ＣＳＦ：係数有意フラグ
これらは、ドキュメントに沿って使用されるいくつかの定義である。
ＧＣＬＩ：最大の符号化ラインインデックス
ＧＣＬＩ係数グループ：１つのＧＣＬＩ値で表されるウェーブレット係数のグループ
エスケープＧＣＬＩ：通常の符号化には使用されず、デコーダに特定の条件を通知するために使用することができるＧＣＬＩ値
有意なＧＣＬＩ：値がゼロより大きいＧＣＬＩ
有意でないＧＣＬＩ：値がゼロであるＧＣＬＩ
ＧＴＬＩ：最大の切り捨てられたラインインデックス
切り捨てられたＧＣＬＩ：ｍａｘ（ＧＣＬＩ－ＧＴＬＩ、０）の結果
有意でない切り捨てられたＧＣＬＩ：値が係数グループのＧＴＬＩ以下であるＧＣＬＩ
ＧＣＬＩ残差：ＧＣＬＩ値に適用された予測の結果。これには、基準ＧＣＬＩおよび対応するＧＴＬＩ値が必要である。水平予測と垂直予測の２つのバリエーションがある。
プレシンクト：入力画像の特定の空間領域に寄与する種々のサブバンドの係数のグループ。
シナリオ：種々のウェーブレットサブバンドのＧＴＬＩ値を導出するために使用できるプレシンクトベースで定義された量子化パラメータ。
ＲＳＦ：非有意フラグ［１］としても知られる残差有意フラグ。
ＳＩＧグループ：ＳＩＧフラグが割り当てられているＧＣＬＩ係数グループのグループ。有意グループとしても知られている。
ＣＳＦ：係数有意フラグ
【0105】
［参考文献］
［１］ＥＰ１７１６２８６６．２，Ｄｅｃｏｄｅｒ ｆｏｒ ｄｅｃｏｄｉｎｇ ｉｍａｇｅ ｄａｔａ ｆｒｏｍ ａ ｄａｔａ ｓｔｒｅａｍ，ｅｎｃｏｄｅｒ ｆｏｒ ｅｎｃｏｄｉｎｇ ｉｍａｇｅ ｄａｔａ ｉｎｔｏ ａ ｄａｔａ ｓｔｒｅａｍ，ａｎｄ ｄａｔａ ｓｔｒｅａｍ ｃｏｍｐｒｉｓｉｎｇ ｉｍａｇｅ ｄａｔａ ａｎｄ ｄａｔａ ｏｎ ｇｒｅａｔｅｓｔ ｃｏｄｅｄ ｌｉｎｅ ｉｎｄｅｘ ｖａｌｕｅｓ
［２］ｉｎｔｏＰＩＸ，“ｉｎｔｏＰＩＸ Ｃｏｄｅｃ Ｓｕｂｍｉｓｓｉｏｎ ｆｏｒ ＪＰＥＧ－ＸＳ ＣｆＰ，Ｄｅｓｉｇｎ Ｄｅｓｃｒｉｐｔｉｏｎ”，ｗｇ１ｍ７３０１９
［３］ＡＭＢＲＯＩＳＥ ＲＥＮＡＵＤ；ＢＵＹＳＳＣＨＡＥＲＴ ＣＨＡＲＬＥＳ；ＰＥＬＬＥＧＲＩＮ ＰＡＳＣＡＬ；ＲＯＵＶＲＯＹ ＧＡＥＬ，“Ｍｅｔｈｏｄ ａｎｄ Ｄｅｖｉｃｅ ｆｏｒ ｄｉｓｐｌａｙ ｓｔｒｅａｍ ｃｏｍｐｒｅｓｓｉｏｎ”，ＥＰ２７７３１２２ Ａ１
［４］ＡＭＢＲＯＩＳＥ ＲＥＮＡＵＤ；ＢＵＹＳＳＣＨＡＥＲＴ ＣＨＡＲＬＥＳ；ＰＥＬＬＥＧＲＩＮ ＰＡＳＣＡＬ；ＲＯＵＶＲＯＹ ＧＡＥＬ，“Ｍｅｔｈｏｄ ａｎｄ Ｄｅｖｉｃｅ ｆｏｒ Ｄｉｓｐｌａｙ Ｓｔｒｅａｍ Ｃｏｍｐｒｅｓｓｉｏｎ”，ＵＳ９３３２２５８ ＢＢ
［５］Ｊｅａｎ－Ｂａｐｔｉｓｔｅ Ｌｏｒｅｎｔ，“ＴＩＣＯ Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｄｅｃ Ｕｓｅｄ ｉｎ ＩＰ Ｎｅｔｗｏｒｋｅｄ ｏｒ ｉｎ ＳＤＩ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ”，ＳＭＰＴＥ ＲＤＤ ３５：２０１６
［６］Ｔｏｓｈｉａｋｉ Ｋｏｊｉｍａ，“ＬＬＶＣ－Ｌｏｗ Ｌａｔｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ ｆｏｒ Ｎｅｔｗｏｒｋ Ｔｒａｎｓｆｅｒ”，ＳＭＰＴＥ ＲＤＤ ３４：２０１５
［７］Ｊ．Ｋｉｍ ａｎｄ Ｃ．Ｍ．Ｋｙｕｎｇ，“Ａ Ｌｏｓｓｌｅｓｓ Ｅｍｂｅｄｄｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｕｓｉｎｇ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ Ｔｒｕｎｃａｔｉｏｎ ｆｏｒ ＨＤ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２０１０
［１］ＥＰ１７１６２８６６．２，Ｄｅｃｏｄｅｒ ｆｏｒ ｄｅｃｏｄｉｎｇ ｉｍａｇｅ ｄａｔａ ｆｒｏｍ ａ ｄａｔａ ｓｔｒｅａｍ，ｅｎｃｏｄｅｒ ｆｏｒ ｅｎｃｏｄｉｎｇ ｉｍａｇｅ ｄａｔａ ｉｎｔｏ ａ ｄａｔａ ｓｔｒｅａｍ，ａｎｄ ｄａｔａ ｓｔｒｅａｍ ｃｏｍｐｒｉｓｉｎｇ ｉｍａｇｅ ｄａｔａ ａｎｄ ｄａｔａ ｏｎ ｇｒｅａｔｅｓｔ ｃｏｄｅｄ ｌｉｎｅ ｉｎｄｅｘ ｖａｌｕｅｓ
［２］ｉｎｔｏＰＩＸ，“ｉｎｔｏＰＩＸ Ｃｏｄｅｃ Ｓｕｂｍｉｓｓｉｏｎ ｆｏｒ ＪＰＥＧ－ＸＳ ＣｆＰ，Ｄｅｓｉｇｎ Ｄｅｓｃｒｉｐｔｉｏｎ”，ｗｇ１ｍ７３０１９
［３］ＡＭＢＲＯＩＳＥ ＲＥＮＡＵＤ；ＢＵＹＳＳＣＨＡＥＲＴ ＣＨＡＲＬＥＳ；ＰＥＬＬＥＧＲＩＮ ＰＡＳＣＡＬ；ＲＯＵＶＲＯＹ ＧＡＥＬ，“Ｍｅｔｈｏｄ ａｎｄ Ｄｅｖｉｃｅ ｆｏｒ ｄｉｓｐｌａｙ ｓｔｒｅａｍ ｃｏｍｐｒｅｓｓｉｏｎ”，ＥＰ２７７３１２２ Ａ１
［４］ＡＭＢＲＯＩＳＥ ＲＥＮＡＵＤ；ＢＵＹＳＳＣＨＡＥＲＴ ＣＨＡＲＬＥＳ；ＰＥＬＬＥＧＲＩＮ ＰＡＳＣＡＬ；ＲＯＵＶＲＯＹ ＧＡＥＬ，“Ｍｅｔｈｏｄ ａｎｄ Ｄｅｖｉｃｅ ｆｏｒ Ｄｉｓｐｌａｙ Ｓｔｒｅａｍ Ｃｏｍｐｒｅｓｓｉｏｎ”，ＵＳ９３３２２５８ ＢＢ
［５］Ｊｅａｎ－Ｂａｐｔｉｓｔｅ Ｌｏｒｅｎｔ，“ＴＩＣＯ Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｄｅｃ Ｕｓｅｄ ｉｎ ＩＰ Ｎｅｔｗｏｒｋｅｄ ｏｒ ｉｎ ＳＤＩ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ”，ＳＭＰＴＥ ＲＤＤ ３５：２０１６
［６］Ｔｏｓｈｉａｋｉ Ｋｏｊｉｍａ，“ＬＬＶＣ－Ｌｏｗ Ｌａｔｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ ｆｏｒ Ｎｅｔｗｏｒｋ Ｔｒａｎｓｆｅｒ”，ＳＭＰＴＥ ＲＤＤ ３４：２０１５
［７］Ｊ．Ｋｉｍ ａｎｄ Ｃ．Ｍ．Ｋｙｕｎｇ，“Ａ Ｌｏｓｓｌｅｓｓ Ｅｍｂｅｄｄｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｕｓｉｎｇ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ Ｔｒｕｎｃａｔｉｏｎ ｆｏｒ ＨＤ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２０１０
【0106】
図１３は、データストリーム１０２の擬似コードの例を示している。
この擬似コードでは、指示２５０は「Ｒｍ」と呼ばれるパラメータ内で伝達される。
Ｒｍ＝１はＣＳＦ符号化モードの使用を示し、符号５０６でテストした量子化しきい値Ｔを超えないようにするために、符号５０４で計算されたＧＣＬＩ予測器の修正５０２がいずれの場合でも十分小さいような値になるように、符号５００で予測残差Δｍを総合的に設定することにより、ビット導出のスキップ（skipping）が促される。
データストリームからのＧＣＬＩ残差読み取りのスキップは、符号５０８の有意フラグ情報に基づいて、予測フラグＺに応じて予測残差、すなわちΔｍの読み取りをレンダリングすることによって行われる。
Ｒｍが０または１であるかどうかは、符号５０８での有意フラグに対する符号５１０での予測残差読み取り値のこの依存性に影響しない。
Ｒｍが０である場合には、すなわちＲＳＦモードがアクティブである場合には、予測残差Δｍは符号５１２で０に設定される。
符号化ビットプレーンのビット導出は図１３には示されていないが、Ｍが０より大きい変換係数グループに対してのみ行われる。
この擬似コードでは、指示２５０は「Ｒｍ」と呼ばれるパラメータ内で伝達される。
Ｒｍ＝１はＣＳＦ符号化モードの使用を示し、符号５０６でテストした量子化しきい値Ｔを超えないようにするために、符号５０４で計算されたＧＣＬＩ予測器の修正５０２がいずれの場合でも十分小さいような値になるように、符号５００で予測残差Δｍを総合的に設定することにより、ビット導出のスキップ（skipping）が促される。
データストリームからのＧＣＬＩ残差読み取りのスキップは、符号５０８の有意フラグ情報に基づいて、予測フラグＺに応じて予測残差、すなわちΔｍの読み取りをレンダリングすることによって行われる。
Ｒｍが０または１であるかどうかは、符号５０８での有意フラグに対する符号５１０での予測残差読み取り値のこの依存性に影響しない。
Ｒｍが０である場合には、すなわちＲＳＦモードがアクティブである場合には、予測残差Δｍは符号５１２で０に設定される。
符号化ビットプレーンのビット導出は図１３には示されていないが、Ｍが０より大きい変換係数グループに対してのみ行われる。
【0107】
いくつかの態様について装置の文脈で説明したが、これらの態様は対応する方法の説明も表し、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応することは明らかである。
同様に、方法ステップの文脈で説明される態様は、対応するブロックまたはアイテムまたは対応する装置の機能の説明も表す。
方法ステップの一部またはすべては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（またはそれを使用して）実行されてもよい。
いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数をそのような装置によって実行することができる。
同様に、方法ステップの文脈で説明される態様は、対応するブロックまたはアイテムまたは対応する装置の機能の説明も表す。
方法ステップの一部またはすべては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（またはそれを使用して）実行されてもよい。
いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数をそのような装置によって実行することができる。
【0108】
本発明の符号化データストリームは、デジタル記憶媒体に格納することができ、あるいは無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体で伝送することができる。
【0109】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実現することができる。
この実施態様は、例えば、電子的に読み取り可能な制御信号が格納されている、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリなどの、デジタル記憶媒体を使用して実行することができ、これらは、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協力する（または協力することができる）。
したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
この実施態様は、例えば、電子的に読み取り可能な制御信号が格納されている、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリなどの、デジタル記憶媒体を使用して実行することができ、これらは、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協力する（または協力することができる）。
したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
【0110】
本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0111】
一般に、本発明の実施形態は、プログラムコードを備えたコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータで実行されるときに方法の１つを実行するように動作する。
プログラムコードは、例えば、機械読み取り可能なキャリアに格納されてもよい。
プログラムコードは、例えば、機械読み取り可能なキャリアに格納されてもよい。
【0112】
他の実施形態は、機械読み取り可能なキャリアに格納された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。
【0113】
言い換えれば、したがって、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0114】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含み、それが記録されたデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。
データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および／または非一時的である。
データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および／または非一時的である。
【0115】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。
データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
【0116】
さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。
【0117】
さらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0118】
本発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを含む。
受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。
装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバーを含んでもよい。
受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。
装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバーを含んでもよい。
【0119】
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部またはすべてを実行してもよい。
いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協働してもよい。
一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。
いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協働してもよい。
一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。
【0120】
本明細書で説明する装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実現することができる。
【0121】
本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実現されてもよい。
【0122】
本明細書で説明される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行されてもよい。
【0123】
本明細書で説明される方法、または本明細書で説明される装置の任意の構成要素は、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行されてもよい。
【0124】
上述の実施形態は、本発明の原理の単なる例示にすぎない。
本明細書に記載の配置および詳細の修正および変更は、当業者には明らかであることを理解されたい。
したがって、本明細書の実施形態の説明および説明として提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図されている。
本明細書に記載の配置および詳細の修正および変更は、当業者には明らかであることを理解されたい。
したがって、本明細書の実施形態の説明および説明として提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6.1】
【図6.2】
【図6.3】
【図6.4】
【図6.5】
【図6.6】
【図6.7】
【図6.8】
【図6.9】
【図6.10】
【図6.11】
【図6.12】
【図6.13】
【図6.14】
【図6.15】
【図6.16】
【図6.17】
【図6.18】
【図6.19】
【図6.20】
【図6.21】
【図6.22】
【図6.23】
【図6.24】
【図6.25】
【図6.26】
【図6.27】
【図6.28】
【図6.29】
【図6.30】
【図6.31】
【図6.32】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】