特表 2022-536512 符号化器及び一連のフレームを符号化する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-17

(54)【発明の名称】符号化器及び一連のフレームを符号化する方法

(51)【国際特許分類】

   H04N 19/61 20140101AFI20220809BHJP

   H04N 19/593 20140101ALI20220809BHJP

   H04N 19/503 20140101ALI20220809BHJP

   H04N 19/18 20140101ALI20220809BHJP

【ＦＩ】

H04N19/61

H04N19/593

H04N19/503

H04N19/18

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2021573589

(86)(22)【出願日】2020-06-12

(85)【翻訳文提出日】2022-02-10

(86)【国際出願番号】 EP2020066389

(87)【国際公開番号】W WO2020249790

(87)【国際公開日】2020-12-17

(31)【優先権主張番号】19179802.4

(32)【優先日】2019-06-12

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】519221165

【氏名又は名称】イントピックス・エスア

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(74)【代理人】

【識別番号】100165803

【弁理士】

【氏名又は名称】金子 修平

(74)【代理人】

【識別番号】100170900

【弁理士】

【氏名又は名称】大西 渉

(72)【発明者】

【氏名】ペルグラン，パスカル

(72)【発明者】

【氏名】ドゥムード，ギヨーム

(72)【発明者】

【氏名】ルーヴロワ，ガエル

(72)【発明者】

【氏名】ビィッシャート，シャルル

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA01

5C159MA04

5C159MA05

5C159MA23

5C159MA41

5C159MC11

5C159ME01

5C159PP15

5C159PP16

5C159UA02

5C159UA05

5C159UA33

(57)【要約】

一連のフレーム（１１３）を符号化する際、例えば、ウェーブレット変換（１０４）などの線形変換（１０１）を、一連のフレームにフレームごとに適用する。線形変換して得られたフレームの少なくとも１つの部分を、線形変換されたフレームの差分表現に基づいてインターモードで符号化する。差分表現は、一方で線形変換されたフレームの部分と、他方で少なくとも１つの他の線形変換されたフレームの対応する部分の表現との間の差分と対応する。次に、データ圧縮（１０６、１０７）を線形変換されたフレームの部分の差分表現に適用する。
【選択図】図１

【特許請求の範囲】

【請求項1】

一連のフレームを符号化するように適合された符号化器（１００）であって、当該符号化器は、
符号化対象の前記一連のフレーム中のフレームよりもエントロピーが少ない一連の線形変換されたフレームを得るように、前記一連のフレームにフレームごとに線形変換を適用するように適合された線形変換アセンブリ（１０１）と、
前記線形変換されたフレームよりもデータ量が少ない一連の符号化されたフレームを得るように、前記一連の線形変換されたフレームを符号化するように適合された符号化アセンブリ（１０２）と、を備え、
前記符号化アセンブリは、線形変換されたフレームの少なくとも１つの部分を、前記符号化アセンブリが前記インターモードで符号化された前記線形変換されたフレームの少なくとも１つの部分の差分表現を提供するインターモードで符号化するように適合され、前記差分表現は、一方で、前記形変換されたフレームの少なくとも１つの部分と、他方で、少なくとも１つの他の線形変換されたフレームの対応する少なくとも１つの部分の表現との間の差分に対応しており、前記符号化アセンブリは、符号化されたフレームの少なくとも１つの部分を得るように、データ圧縮を前記線形変換されたフレームの少なくとも１つの部分の前記差分表現に適用する符号化器。

【請求項2】

前記符号化アセンブリ（１０２）は、前記少なくとも１つの他の線形変換されたフレームの前記対応する少なくとも１つの部分を符号化することにより得られた少なくとも１つの符号化されたフレームの対応する少なくとも１つの部分に前記データ圧縮の逆を適用することにより、前記少なくとも１つの他の線形変換されたフレームの前記対応する少なくとも１つの部分の表現を得るように適合された請求項１に記載の符号化器。

【請求項3】

前記符号化アセンブリ（１０２）は、前記データ圧縮が前記線形変換されたフレーム部分に直接適用されるイントラモードで線形変換されたフレームの部分を符号化する一方で、前記線形変換されたフレームの別の部分が前記インターモードで符号化されるように適合された請求項１及び２のいずれかに記載の符号化器。

【請求項4】

前記符号化アセンブリ（１０２）は、線形変換されたフレームの部分について、以下の条件、前記線形変換されたフレームの部分が前記インターモードで符号化される場合、前記イントラモードで前記線形変換されたフレームの部分を符号化することにより得られる符号化版よりもデータ量が少ない前記線形変換されたフレームの部分の符号化版が得られるという条件に適合するか否かを評価するように適合され、前記符号化アセンブリは、前記条件に適合する場合に前記線形変換されたフレームの部分を前記インターモードで符号化し、前記条件に適合しない場合に前記イントラモードで前記線形変換されたフレーム部分を符号化するように適合された請求項３に記載の符号化器。

【請求項5】

前記符号化アセンブリ（１０２）は、各線形変換されたフレーム部分を前記イントラモードで周期的に符号化するように適合された請求項３及び４のいずれかに記載の符号化器。

【請求項6】

前記符号化アセンブリ（１０２）は、最小周波数を伴って同一の位置を有する各線形変換されたフレーム部分を前記イントラモードで周期的に符号化し、同一の前記最小周波数を伴って別の同等の位置を有するが、上述の各前記線形変換されたフレーム部分のイントラモードの符号化に対して位相シフトされた各線形変換されたフレーム部分を前記イントラモードで周期的に符号化するように適合された請求項５に記載の符号化器。

【請求項7】

前記符号化アセンブリ（１０２）は、最小周波数を伴って線形変換されたフレームのグループに属する各線形変換されたフレーム部分を前記イントラモードで周期的に符号化し、異なる最小周波数を伴って線形変換されたフレーム部分の別のグループに属する各線形変換されたフレーム部分を前記イントラモードで周期的に符号化するように適合された請求項５及び６のいずれかに記載の符号化器。

【請求項8】

前記線形変換アセンブリ（１０１）は、各サブバンドを定めるように適合され、これにより、前記線形変換されたフレーム部分の一方のグループ及び他方のグループは、異なるサブバンドと関連付けられる請求項７に記載の符号化器。

【請求項9】

前記符号化アセンブリ（１０２）が適用する前記データ圧縮は、最大符号化ラインインデックス符号化処理を含む請求項１～８のいずれかに記載の符号化器。

【請求項10】

前記符号化アセンブリ（１０２）が適用する前記データ圧縮は、量子化処理を含む請求項１～９のいずれかに記載の符号化器。

【請求項11】

前記符号化アセンブリ（１０２）は、復号された線形変換フレームを得るように符号化されたフレームを復号するように適合され、前記符号化アセンブリは、前記復号された線形変換フレームの圧縮版を得るように、前記復号された線形変換フレームにデータ記憶の圧縮を適用するように適合され、前記符号化アセンブリは、前記復号された線形変換フレームの圧縮版をフレームバッファメモリ（７０２）に記憶するように適合され、前記符号化アセンブリは、前記インターモードでの符号化対象の線形変換されたフレームの少なくとも対応する版の差分表現を提供するために使用される線形変換されたフレームの少なくとも１つの部分の表現が得られる前記復号された線形変換フレームの復元版を得るように、前記データ記憶の圧縮の逆を前記復号された線形変換フレームの圧縮版に適用するように適合された請求項１～１０のいずれかに記載の符号化器。

【請求項12】

前記符号化アセンブリ（１０２）が前記復号された線形変換フレームに適用する前記データ記憶の圧縮は、最大符号化ラインインデックス符号化処理を含む請求項１１に記載の符号化器。

【請求項13】

一連のフレームを符号化する方法であって、当該方法は、
符号化対象の前記一連のフレーム中のフレームよりエントロピーが低い一連の線形変換されたフレームを得るように、前記一連のフレームにフレームごとに線形変換を適用する線形変換ステップと、
前記一連の線形変換されたフレームを、前記線形変換されたフレームよりもデータ量が少ない一連の符号化されたフレームを得るように符号化する符号化ステップと、
前記符号化ステップにおいて、線形変換されたフレームの少なくとも１つの部分を、前記線形変換されたフレームの少なくとも１つの部分の差分表現を得られるインターモードで符号化し、前記差分表現は、一方で前記線形変換されたフレームの少なくとも１つの部分と、他方で少なくとも１つの他の線形変換されたフレームの対応する少なくとも１つの部分の表現との間の差分に対応するものであって、データ圧縮を、符号化されたフレームの少なくとも１つの部分を得るように前記線形変換されたフレームの少なくとも１つの部分の差分表現に適用する符号化方法。

【請求項14】

請求項１３に記載の前記方法を前記符号化器に実行させることができるインストラクションのセットを含む、符号化器（１００）用のコンピュータプログラム。

【請求項15】

請求項１～１２のいずれかに記載の符号化器により得られる前記一連の符号化されたフレームを復号するように適合された復号器（８００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の態様は、一連のフレームを符号化するように適合された符号化器に関するものである。符号化器は、例えば、動画像ストリームを、送信もしくは記憶又はその両方を効率的に行うため符号化するように使用することができるものである。本発明のさらなる態様は、一連のフレームの符号化方法、符号化器用のコンピュータプログラム、復号器、及び符号化した一連のフレームの復号方法に関する。

【背景技術】

【0002】

米国特許第９，３３２，２５８号明細書は、デジタル画像の圧縮が、通常、無相関化変換（ｄｅ－ｃｏｒｒｅｌａｔｉｖｅ ｔｒａｎｓｆｏｒｍ）、エントロピー符号化及びレート割り当ての３つのステップで行われると述べている。無相関化変換によって、エントロピーが減少する、つまり、変換された画像のエントロピーは、発生確率が係数値の小さいサブセットでは増すので低くなり得る。画像圧縮において一般に用いられる無相関化変換は、色変換、インター／イントラ予測、ＤＣＴ変換又はウェーブレット変換である。エントロピー符号化によって、変換された画像のデータサイズが小さくなり、少ないデータ量で、変換された画像を表示できる。最後に、レート割り当てによって、所望の圧縮比を得られるように、圧縮画像の出力ストリームの一部分となるデータを選択する。

【0003】

米国特許第９，３３２，２５８号明細書は、符号化器及び復号器の複雑さを最小限にしながら許容可能な圧縮効率を有する、入力データストリームを出力データストリームに圧縮するための技術を記載している。入力データストリームにおけるｍビットのワード列をｍビットのｎワードのグループにグループ分けし、ｎは、２より大きいか又は２と等しい。それぞれのグループについて、最大符号化ラインインデックス（ＧＣＬＩ）の値を検出する。ＧＣＬＩは、そのグループのワードの任意の符号ビットを除くビット間で最も重みが大きい非ゼロビットのインデックスである。出力データストリームは、入力ストリームの当該グループにおけるｍビットのｎワードに対応するＧＣＬＩビットのｎワードのグループを含む。それぞれのワードのＧＣＬＩのビットは、入力ストリームにおいて対応するワードの最も重みが小さいＧＣＬＩビットと、ＧＣＬＩの値とである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第９，３３２，２５８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

以下の高圧縮、高画質及び適度なコストの基準の少なくとも１つの基準にさらによく適合する一連のフレームを符号化できる改善された解決策が求められている。

【課題を解決するための手段】

【0006】

請求項１に記載の本発明の態様によれば、一連のフレームを符号化するように適合された符号化器が提供され、当該符号化器は、
符号化対象の一連のフレーム中のフレームよりもエントロピーが少ない一連の線形変換されたフレームを得るように、一連のフレームにフレームごとに線形変換を適用するように適合された線形変換アセンブリと、
線形変換されたフレームよりデータ量が少ない一連の符号化されたフレームを得るように、一連の線形変換されたフレームを符号化するように適合された符号化アセンブリと、
を備え、
符号化アセンブリは、線形変換されたフレームの少なくとも１つの部分を、符号化アセンブリが、インターモードで符号化された線形変換されたフレームの少なくとも１つの部分の差分表現を提供するインターモードで符号化するように適合され、差分表現は、一方で、線形変換されたフレームの少なくとも１つの部分と、他方で、少なくとも１つの他の線形変換されたフレームの対応する少なくとも１つの部分の表現との間の差分に対応しており、符号化アセンブリは、符号化されたフレームの少なくとも１つの部分を得るように、データ圧縮を線形変換されたフレームの少なくとも１つの部分の差分表現に適用する符号化器が提供される。

【0007】

請求項１２、１３及び１４に記載の本発明のさらなる態様によれば、一連のフレームを符号化する方法、符号化器用コンピュータプログラム及び復号器がそれぞれ提供される。

【0008】

従来の符号化スキームとの主な違いは、インターモードで、線形変換されたフレームの少なくとも１つの部分の差分表現が、フレーム又はその一部分の差分表現というより、元の形態で処理されることである。これによって、ハードウェアもしくはソフトウェア又はその両方に関連して複雑さが緩和された実装が可能であり、その結果、低コストかつ低電力消費の実装が可能となる。さらに、インターモードの符号化を適用することによって、画質をさほど劣化させずに高圧縮を達成することができる。

【0009】

元のフレーム間の差分というより、線形変換されたフレーム間の差分を符号化しても、原理上、画質に悪影響は及ばない。これは、線形変換後の差分演算が線形変換前の差分演算と同等であることによる。線形変換後の差分演算により得られた差分表現に線形変換の逆を適用すると、線形変換前の差分演算により得られた差分表現がもたらされることになる。逆に、線形変換前の差分演算により得られた差分表現に線形変換を適用すると、線形変換後の差分演算により得られた差分表現がもたらされることになる。

【0010】

上述の符号化器において、符号化アセンブリは、無相関化であり得る任意の変換をこれ以上実行する必要がないことに留意すべきである。よって、このような符号化器では、線形変換されたフレームに、エントロピーを減少させ得る変換をこれ以上行う必要はない。むしろ、上述のように差分表現に適用されるデータ圧縮は、少ないデータで差分表現を示すために、エントロピー符号化を差分表現に直接適用することにある。

【0011】

図示目的で、本発明のいくつかの実施形態を、添付の図面を参照して詳細に説明する。この説明において、従属項にそのいくつかを記載している追加の特徴を提示していくことで、利点が明らかとなるだろう。

【図面の簡単な説明】

【0012】

【図1】図１は、動画像符号化器のブロック図である。

【図2】図２は、動画像符号化器が定めるサブバンドを図示した周波数の図である。

【図3】図３は、動画像符号化器において生成された線形変換フレームの画像の図である。

【図4】図４は、動画像符号化器における符号化モード選択モジュールのブロック図である。

【図5】図５は、符号化モード選択モジュールにおける４つのサンプルのグループからのＧＣＬＩ値抽出を示す概念図である。

【図6】図６は、イントラモードで符号化された部分と、インターモードで符号化された他の部分とを示す線形変換フレームの画像の図である。

【図7】図７は、動画像符号化器における参照フレームバッファアセンブリのブロック図である。

【図8】図８は、動画像復号器のブロック図である。

【発明を実施するための形態】

【0013】

図１は、動画像符号化器１００の概略を図示したものである。図１は、動画像符号化器１００のブロック図を提供する。動画像符号化器１００は、例えば、動画像を取り込むことができるもしくは動画像を記憶できる又はその両方ができる、例えばスマートフォンなどの通信装置に備えることができる。動画像符号化器１００によって、通信装置が、動画像を別の通信装置にネットワークにより設けられ得る通信路を介して効率的に伝送することができる。

【0014】

動画像符号化器１００は、線形変換アセンブリ１０１と、符号化アセンブリ１０２とを備える。線形変換アセンブリ１０１は、可逆色変換モジュール１０３と、ウェーブレット変換モジュール１０４とを備え得る。符号化アセンブリ１０２は、符号化モード選択モジュール１０５と、量子化モジュール１０６と、エントロピー符号化モジュール１０７と、データパッケージ化モジュール１０８と、レート割り当てモジュール１０９と、逆量子化モジュール１１０と、再構成モジュール１１１と、参照フレームバッファアセンブリ１１２とを備え得る。

【0015】

動画像符号化器１００は、基本的に、以下のように作動する。動画像符号化器１００は、動画像ストリーム１１３を受信し、当該動画像ストリーム１１３は、一連のフレームを含む。応答の際、動画像符号化器１００は、符号化された動画像ストリーム１１４を出力し、当該動画像ストリーム１１４は、受信した動画像ストリーム１１３よりデータレートが著しく小さくなり得る。

【0016】

受信した動画像ストリーム１１３のフレームは、画素マトリクスとみなすことができ、当該画素マトリクスは、画素の行と、画素の列とを含んでいる。画素は、３つの成分を含むことができ、当該３つの成分は、組み合わされて、画素に関する輝度の情報及び色の情報を伝達する。３つの成分は、例えば、ＲＧＢと呼ばれる色座標系など、色座標系にしたがって表わされる。

【0017】

可逆色変換モジュール１０３は、画素の３つの成分を別の色座標系の３つの成分に変換する。このような可逆色変換によって、エントロピーを減少させることができる。それに応じて、可逆色変換モジュールは、可逆色変換されたフレームを提供し、当該フレームでは、エントロピーが元の形態のフレームよりも減少し得る。このことは、画像圧縮に役立つ。

【0018】

便利かつ簡単になるように、可逆色変換されたフレームを画素マトリクスとして、これにより、画素は、例えば、輝度成分（Ｙ）のみなど、１つの成分のみを有するものとする。すなわち、可逆色変換されたフレームは、単一の成分のみを示すサンプルの単一のマトリクスであり、その一方で、実際、可逆色変換されたフレームは、サンプルの３つのマトリクスのセットとみなすことができ、そのそれぞれが特定の成分を示す。例えば、可逆色変換されたフレームは、実際、輝度（Ｙ）成分を示すサンプルのマトリクス、第１の色成分（Ｃｒ）を示すサンプルの別のマトリクス及び第２の色成分（Ｃｂ）を示すサンプルのさらに別のマトリクスを含み得る。サンプルのこれらのマトリクスは、後述するように個別に処理することができる。サンプルは、当該成分の値を表す２進ワードの形態にすることができる。

【0019】

ウェーブレット変換モジュール１０４は、ウェーブレット変換を可逆色変換されたフレームに適用する。ウェーブレット変換には、フィルタ処理及びサブサンプリング処理が必要である。これらの処理によって、線形変換されたフレームを共同で構成する各サブバンドフレームのセットが生成される。サブバンドフレームは、特定のスペクトルバンドにおいて可逆色変換されたフレームのスペクトル成分を示すものであり、当該スペクトルバンドは、サブバンドと呼ばれる。ウェーブレット変換モジュール１０４が実行するウェーブレット変換は、例えば、ＪＰＥＧ－ＸＳとして知られる画像符号化スキームなど、既存のウェーブレットベースの画像符号化スキームにおけるものと類似した変換にすることができる。

【0020】

図２は、ウェーブレット変換モジュール１０４が規定する各サブバンド２０１～２０７の概念図を示す。各サブバンド２０１～２０７は、２次元の周波数の図に示しており、当該周波数の図は、水平方向の周波数Ｆ_Hを示す水平の軸線と、垂直方向の周波数Ｆ_Vを示す垂直の軸線とを有する。ウェーブレット変換モジュール１０４は、よって、これらの各サブバンド２０１～２０７に各サブバンドフレームを提供する。サブバンドフレームは、サブバンド係数のマトリクスとみなすことができる。可逆色変換されたフレームに対するサブバンド係数のマトリクスの大きさは、ウェーブレット変換モジュール１０４が当該サブバンドフレームを得るように適用したサブサンプリング係数により決まる。

【0021】

図３は、線形変換されたフレームを共同で構成する各サブバンドフレーム３０１～３０７の概略を図示したものである。各サブバンドフレーム３０１～３０７は、画像の図として示されている。サブバンドフレームは、図２に図示した特定のサブバンドと関連づけられている。図３は、特定のサブバンドであって、基準サイン（ｒｅｆｅｒｅｎｃｅ ｓｉｇｎ）をこの特定のサブバンドに関連付けることによりサブバンドフレームが関連付けられた特定のサブバンドを示す。

【0022】

線形変換されたフレームは、４つの相対的に小さく低周波数のサブバンドフレーム３０１～３０４と、３つの相対的に大きく高周波数のサブバンドフレーム３０５～３０７とを含んでいる。３つの高周波数のサブバンドフレーム３０５～３０７に対して、サブサンプリング係数は２である。４つの低周波数のサブバンドフレーム３０１～３０４に対して、サブサンプリング係数は４である。４つの低周波数のサブバンドフレーム３０１～３０４の中に、可逆色変換されたフレームをローパスフィルタ処理してダウンスケールした版に相当する最低域のサブバンドフレーム３０１がある。このような意味合いで、ダウンスケーリングは、サブサンプリングと同等である。

【0023】

サブバンドフレームは、図３から理解できるように、スペクトル情報及び空間情報の両方を含む。この特性は、図１に図示しさらに詳細に説明した動画像符号化器１００において活用される。すなわち、サブバンドフレームの特定の部分を、可逆色変換されたフレーム及び符号化対象のフレームの同様の位置の部分と関連付けることができる。

【0024】

図１を参照すると、符号化アセンブリ１０２は、各サブバンドフレーム３０１～３０７を個別に、ただし、圧縮されたサブバンドフレームを結合する場合レート割り当て及びデータパッケージ化を除いて、符号化することができる。すなわち、符号化モード選択モジュール１０５、量子化モジュール１０６、逆量子化モジュール１１０並びにエントロピー符号化モジュール１０７は、連続して各サブバンドフレーム３０１～３０７を個別に処理することができる。他の実施形態では、符号化アセンブリ１０２は、並行処理方式により作動可能である。このような一実施形態では、符号化アセンブリ１０２は、以下のタイプの複数のモジュール、符号化モード選択モジュール、量子化モジュール、逆量子化モジュール及びエントロピー符号化モジュールを含み得る。すなわち、それぞれのサブバンドフレームのためのこのような１つのモジュールが線形変換されたフレームに含まれ得る。のちほど、単一のサブバンドフレームの符号化を簡略化のためかつ便宜上説明する。他のサブバンドフレームが同様に符号化される。

【0025】

サブバンドフレームを符号化するために、参照フレームバッファアセンブリ１１２は、先に符号化されている動画像ストリーム１１３中の別のフレームに関連した対応するサブバンドフレームの表現を含む。対応するという用語は、前述の両方のサブバンドフレームが、同一のサブバンドと関連付けられていることを表している。先に符号化されているフレームに関連した対応するサブバンドフレームの表現は、以後、簡略化及び簡潔化のため対応する先のサブバンドフレームと呼ぶ。さらに一般的には、線形変換されたフレームを符号化するために、参照フレームバッファアセンブリ１１２は、先に符号化されている別の線形変換されたフレームの表現を含み得る。上述の両方の線形変換されたフレームは、図３に図示した各サブバンドフレーム３０１～３０７を含む。

【0026】

符号化アセンブリ１０２は、サブバンドフレームを部分ごとに符号化することができる。符号化対象のサブバンドフレームの一部分は、同一の線に３２のサンプルのグループを含み得る。本実施形態では２又は４であり得るサブサンプリング係数によって、サブバンドフレームのこのような一部分は、符号化対象のフレームにおいて、２つのサンプルで６４のブロック、４つのサンプルで１２８のブロックにそれぞれ対応することができる。符号化対象のサブバンドフレームの一部分は、以後、簡略化及び簡潔化のためサブバンドフレーム部分と呼ぶ。

【0027】

サブバンドフレーム部分を符号化するために、符号化モード選択モジュール１０５は、参照フレームバッファアセンブリ１１２から、対応する先のサブバンドフレームの対応する部分を検索する。この実施形態では、対応する部分は、符号化対象のサブバンドフレーム部分の位置と同様の対応する先のサブバンドフレーム内の位置を有する。対応する先のサブバンドフレームの対応する部分は、以後、簡略化及び簡潔化のため、対応する先のサブバンドフレーム部分と呼ぶ。

【0028】

図４は、符号化モード選択モジュール１０５をさらに詳細に概略図示したものである。図４は、符号化モード選択モジュール１０５のブロック図を提供する。符号化モード選択モジュール１０５は、コンパレータ４０１と、２つの最大符号化ラインインデックス（ｇｒｅａｔｅｓｔ ｃｏｄｅｄ ｌｉｎｅ ｉｎｄｅｘ）エクストラクタ４０２、４０３、データバッファ４０４、符号化モード決定ユニット４０５、及びマルチプレクサ４０６とを備える。２つの最大符号化ラインインデックスエクストラクタの一方は、以後、簡略化のため、インターモードＧＣＬＩエクストラクタ４０２と呼ぶ。２つの最大の符号化ラインインデックスエクストラクタの他方は、以後、イントラモードＧＣＬＩエクストラクタ４０３と呼ぶ。

【0029】

符号化モード選択モジュール１０５は、基本的に以下のように作動する。コンパレータ４０１が、符号化対象のサブバンドフレーム部分の差分表現を提供する。差分表現は、符号化対象のサブバンドフレーム部分と対応する先のサブバンドフレーム部分との間の差異に対応し、当該差異は、フレームバッファアセンブリから検索されたものである。マルチプレクサ４０６は、１つの入力時に符号化されるサブバンドフレーム部分と、別の入力時のサブバンドフレーム部分自体との間の差分表現を受信する。

【0030】

符号化モード選択モジュール１０５によって、符号化アセンブリ１０２が、イントラモード又はインターモードいずれかでサブバンドフレーム部分を符号化する。イントラモードで、マルチプレクサ４０６は、線形変換されたフレームに存在するサブバンドフレーム部分を、図１に図示した量子化モジュール１０６に渡す。それに応じて、イントラモードで、線形変換されたフレームに存在するサブバンドフレーム部分が、符号化され、これには、量子化モジュール１０６及びエントロピー符号化モジュール１０７によるデータ圧縮が必要である。インターモードで、マルチプレクサ４０６は、サブバンドフレーム部分の差分表現を量子化器に渡す。それに応じて、インターモードで、サブバンドフレーム部分の差分表現が、符号化され、これには、同様に、量子化モジュール１０６及びエントロピー符号化モジュール１０７によるデータ圧縮が必要である。

【0031】

従来の符号化スキームとの主な違いは、インターモードで、線形変換されたフレームの少なくとも１つの部分の差分表現が、フレーム又はその一部分の差分表現というより、元の形態で処理されることである。それに応じて、本開示に係る符号化スキームは、線形変換されたフレームの少なくとも１つの部分に線形逆変換を適用する必要がないのに対して、従来の符号化スキームには線形逆変換を適用することが必要である。よって、本開示に係る符号化スキームによって、ハードウェアもしくはソフトウェア又はその両方に関連する複雑さが少なくなった実装が可能となって、ひいては、低コスト及び低電力消費の実装が可能となる。

【0032】

元のフレーム間の差異を符号化するより、変換されたフレーム間の差異を符号化しても、原理上、画質に不利な影響は及ばない。このことは、上述の可逆色変換及びウェーブレット変換が、それぞれ線形であることによる。このことは、これらの変換後の差分演算が、これらの変換前の差分演算と同等であることを示唆している。これらの変換後に差分演算を行うことにより得られた差分表現にこれらの変換の逆を適用することは、これらの変換前の演算により得られた差分表現をもたらすことになる。逆に、これらの変換前に差分演算を行うことにより得られた差分表現に関連した変換を適用することは、これらの変換後に差分演算を行うことにより得られた差分表現をもたらすことになる。

【0033】

符号化モード選択モジュール１０５は、以下のように、イントラモード又はインターモードでサブバンドフレーム部分を符号化することを決定する。インターモードＧＣＬＩエクストラクタ４０２は、サブバンドフレーム部分の差分表現に含まれる４つのサンプルの８つのグループに関連する８つのＧＣＬＩ値のセットを提供する。これらのＧＣＬＩ値は、以後、簡略化のためインターモードＧＣＬＩ値と呼ぶ。イントラモードＧＣＬＩエクストラクタ４０３はまた、符号化対象のサブバンドフレーム部分に含まれる４つのサンプルの８つのグループに関連する８つのＧＣＬＩ値のセットを提供する。これらのＧＣＬＩ値は、以後、簡略化のためイントラモードＧＣＬＩ値と呼ぶ。インターモードＧＣＬＩエクストラクタ４０２及びイントラモードＧＣＬＩエクストラクタ４０３は、それぞれ、米国特許第９，３３２，２５８号明細書に記載のように作動することができる。この作動は、ＧＣＬＩの抽出にあり、以下に簡単に概要を述べていく。

【0034】

図５は、４つのサンプル５０１～５０４のグループからのＧＣＬＩ値の抽出の概略を図示する。図５は、２進ワードの形態である４つのサンプル５０１～５０４を表したこの抽出の概念図を提供する。本例では、２進ワードは、それぞれ、値を定める階層化された複数のビットを含む。２進ワードは、さらに、それぞれ、符号ビットをさらに含むことができ、当該符号ビットは、簡略化のため図５には表していない。

【0035】

階層化された複数のビットにおいて、それぞれのビットは、Ｍ、…５、４、３、２、１で示す、特定の階層位を有する。Ｍは、階層化された複数のビットに含まれるビット数に対応する整数値である。最高階層位Ｍを有するビットは、通常、最上位ビットとして示されている。最低階層位１を有するビットは、通常、最下位ビットとして示されている。

【0036】

４つのサンプルのグループにおいて、同一の階層位を有するビットは、いわゆるビットプレーンを構成する。よって、４つのサンプルのグループは、階層化された複数のビットにあるビットと同程度のビットプレーンを含む。それぞれのビットプレーンは、ビットプレーンに含まれるビットの階層位に対応する階層位を有する。最上位ビットは、最上位ビットプレーンを構成し、当該最上位ビットプレーンは、最高階層位Ｍであり、その一方で、最下位ビットは、最下位ビットプレーンを構成し、当該最下位ビットプレーンは、最低階層位１である。

【0037】

ＧＣＬＩ値の抽出は、ビットプレーンが、最上位ビットプレーンから始まり最下位ビットプレーンに向かう少なくとも１つの非ゼロビットを含むかを判断することにある。ＧＣＬＩ値は、このビットプレーンの階層位を示す。ＧＣＬＩ値は、例えば、整数値１が最下位ビットプレーンを示し、整数値Ｍが最上位ビットプレーンを示す階層位を表す整数値に対応し得る。

【0038】

図５に図示した例では、Ｍから５のビットプレーンは、それぞれゼロビットのみを含む。このようなビットプレーンは、ゼロビットのみを含むものであり、以後、簡略化のため、ゼロビットプレーンと呼ぶ。図５に図示した実施例では、ビットプレーン４は、少なくとも１つの非ゼロビットを含む最高階層位のビットプレーンである。本例では、ＧＣＬＩ値は、よって、４にすることができる。

【0039】

バッファは、符号化対象のサブバンドフレーム部分の差分表現に基づいてインターモードＧＣＬＩエクストラクタ４０２が提供する８つのＧＣＬＩ値を一時的に記憶する。バッファはまた、イントラモードＧＣＬＩエクストラクタが符号化対象のサブバンドフレーム部分に基づいて提供する８つのＧＣＬＩ値を一時的に記憶する。

【0040】

符号化モード決定ユニット４０５は、インターモードＧＣＬＩエクストラクタ４０２が提供した８つのＧＣＬＩ値の合計を計算する。この合計は、以後、インターモードＧＣＬＩ合計値と呼ぶ。符号化モード決定ユニット４０５はまた、イントラモードＧＣＬＩエクストラクタ４０３が提供した８つのＧＣＬＩ値の合計を計算する。この合計は、以後、イントラモードＧＣＬＩ合計値と呼ぶ。

【0041】

イントラモードＧＣＬＩ合計値は、サブバンドフレーム部分がイントラモードで符号化される場合に達成し得るデータ圧縮係数を示す。インターモードＧＣＬＩ合計値は、サブバンドフレーム部分がインターモードで符号化される場合に達成し得るデータ圧縮係数を示す。実際、上述のＧＣＬＩ合計値は、それぞれデータ圧縮係数の推定値を表す。

【0042】

符号化モード選択モジュール１０５は、イントラモードＧＣＬＩ合計値がインターモードＧＣＬＩ合計値より小さいか又はそれと等しい場合、イントラモードでサブバンドフレーム部分を符号化する。その目的のために、符号化モード決定ユニット４０５は、マルチプレクサ４０６が符号化対象のサブバンドフレーム部分を符号化モード選択モジュール１０５の出力に渡すように、マルチプレクサ４０６を制御する。それに応じて、イントラモードで、サブバンドフレーム部分が、量子化モジュール１０６、エントロピー符号化モジュール１０７及びデータパッケージ化モジュール１０８によりさらに処理される。

【0043】

符号化モード選択モジュール１０５は、インターモードＧＣＬＩ合計値がイントラモードＧＣＬＩ合計値よりも小さい場合、イントラモード又はインターモードでサブバンドフレーム部分を符号化することができる。イントラモードは、符号化モード決定ユニット４０５が、所定の数Ｋの対応する先のサブバンドフレーム部分がすべてインターモードで符号化されたと判断した場合に、選択され、Ｋは、整数値を表している。その場合、サブバンドフレーム部分は、イントラモードで強制的に符号化され、その一方、そうでない場合は、インターモードで符号化されることになる。そうすることによって、符号化モード決定ユニット４０５は、一連のＫ＋１の対応するサブバンドフレーム部分における少なくとも１つのサブバンドフレーム部分が、イントラモードで符号化されることを保証する。よって、１を超えるＫ＋１は、対応するサブバンドフレーム部分がイントラモードで符号化される最小周波数を表すものとみなすことができる。

【0044】

符号化モード選択モジュール１０５は、インターモードＧＣＬＩ合計値がイントラモードＧＣＬＩ合計値よりも小さくかつＫ未満の対応する先のサブバンドフレームがインターモードで符号化された場合、インターモードでサブバンドフレーム部分を符号化する。その場合、符号化モード決定ユニット４０５は、マルチプレクサ４０６が符号化対象のサブバンドフレーム部分の差分表現を符号化モード選択モジュール１０５に渡すように、マルチプレクサ４０６を制御する。それに応じて、インターモードで、差分表現が、量子化モジュール１０６、エントロピー符号化モジュール１０７及びデータパッケージ化モジュール１０８によりさらに処理される。

【0045】

符号化モード選択モジュール１０５は、よって、インターモードＧＣＬＩ合計値により示されたデータ圧縮係数がイントラモードＧＣＬＩ合計値により示された圧縮係数より大きいか否かを評価する。上述の条件が適用される場合、サブバンドフレーム部分は、原理上、インターモードで符号化される。符号化モード選択モジュール１０５は、それにも拘わらず、イントラモードでの符号化が適用される所定の最小周波数を保証するために、イントラモードでサブバンドフレーム部分を強制的に符号化するように決定することができる。上述の条件が適用されない場合、サブバンドフレーム部分はイントラモードで符号化される。

【0046】

符号化モード選択モジュール１０５は、よって、いくつかのタイプの出力データを符号化対象のサブバンドフレーム部分に提供する。符号化モード選択モジュール１０５は、圧縮対象のサブバンドフレームデータを提供する。サブバンドフレームデータは、線形変換されたフレームに存在するサブバンドフレーム部分又はサブバンドフレーム部分の差分表現のいずれかであって、イントラモード又はインターモードのいずれがそれぞれ選択されたかにより決まる。その上、符号化モード選択モジュール１０５は、符号化モードフラグを提供し、当該フラグは、サブバンドフレーム部分が、インターモードを与えるイントラモードで符号化されるかを示すものである。ＧＣＬＩ符号化モード選択モジュール１０５は、さらに、ＧＣＬＩ符号化値を提供し、当該値は、イントラモードＧＣＬＩ値又は上述のインターモードＧＣＬＩ値のいずれかであって、サブバンドフレーム部分がイントラモード又はインターモードのいずれでそれぞれ符号化されるかにより決まる。

【0047】

図６は、図３に図示したものと同一の線形変換されたフレームの概略を図示するものであって、当該図では、サブバンドフレーム部分がイントラモードで符号化され、他のサブバンドフレーム部分がインターモードで符号化されている。イントラモードで符号化されたサブバンドフレーム部分は、相対的に濃い色調の矩形により示されている。インターモードで符号化されたサブバンドフレーム部分は、相対的に薄い色調の矩形により示されている。

【0048】

図６は、サブバンドフレームが個別に符号化されることを明確に図示している。例えば、最低域のサブバンドフレーム３０１の第１のサブバンドフレーム部分は、インターモードで符号化することができるのに対して、別の低周波数のサブバンドフレーム３０２、３０３、３０４の第１のサブバンドフレーム部分は、イントラモードで符号化することができる。

【0049】

上述のように、符号化モード決定ユニット４０５は、一連の線形変換されたフレームにおいて、対応のサブバンドフレーム部分がイントラモードで周期的に符号化されることを保証する。このことは、リフレッシュの仕組みとみなすことができ、これによって、復号側において、比較的良好な画質を迅速に実現することができる。動画像復号器は、図１に図示した動画像符号化器１００が提供する符号化された動画像ストリーム１１４を、いわば、迅速に自動追尾し続けることができる。さらには、このことによっても、さらに安定した動画像送信が可能となる。符号化された動画像ストリーム１１４の一部分が、例えば、送信エラーにより失われた場合でも、衝撃を受けたフレームの区域を比較的迅速に復旧させることができる。

【0050】

同一のサブバンドにすべて関連する一連の対応するサブバンドフレームにおいて、強制的にイントラモードで符号化されるサブバンドフレームの一部分が、強制的にイントラモードで符号化された先行するサブバンドフレームの一部分に対して位置を相違させてよい。例えば、図６を参照して、最低域のサブバンドフレームの第１のサブバンドフレーム部分３０１が、強制的にイントラモードで符号化されたと仮定する。その場合、後続の最低域のサブバンドフレームにおいて、第１のサブバンドフレーム部分の後に配置される第２のサブバンドフレーム部分が、強制的にイントラモードで符号化され得る。さらに後続の最低域のサブバンドフレームにおいて、第２のサブバンドフレーム部分の後に配置される第３のサブバンドフレーム部分が、強制的にイントラモードで符号化されるなどがあり得る。これは、サブバンドフレーム部分が、周期的にイントラモードで符号化されることによる、シフト又は位相シフトスキームとみなすことができる。このようなスキームは、効果的なレート割り当てと、動画像復号器が符号化された動画像ストリーム１１４を迅速に自動追尾し続けることとに役立つ。

【0051】

サブバンドフレーム部分が強制的にイントラモードで符号化される最小の周波数は、これらのサブバンドフレーム部分が属するサブバンドフレームにより決まる。図３及び図６を参照すると、最小の周波数は、高周波数のサブバンドフレーム３０５～３０７に対する周波数よりも、低周波数のサブバンドフレーム３０１～３０４に対する周波数の方が高くなる場合がある。すなわち、最小周波数の逆数を表す上述の数Ｋ＋１は、低周波数のサブバンドフレーム３０１～３０４に対するものよりも、高周波数のサブバンドフレーム３０５～３０７に対するものの方が高くなる場合がある。これによって、圧縮の有効性をそれほど損なうことなく、復号側の許容可能な質の低解像度の動画像表現と、少し後の高解像度の動画像表現とを迅速に得ることができる。例えば、一実施形態では、低解像度の表現が、４つのフレームの後に得られ、その一方で、高解像度の表現が、３２のフレームの後に得られる。

【0052】

再度図１を参照すると、量子化モジュール１０６は、符号化モード選択モジュール１０５が提供するサブバンドフレームデータを量子化する。それに応じて、量子化モジュール１０６は、量子化されたサブバンドフレームデータを提供する。量子化モジュール１０６は、サブバンドフレームデータを量子化する際量子化係数を適用する。量子化係数が相対的に高い場合、サブバンドフレームデータに、相対的に高いデータ圧縮を提供する粗い量子化が行われる。逆に、量子化係数が相対的に低い場合、サブバンドフレームデータに、相対的に低いデータ圧縮を提供する細かい量子化が行われる。量子化係数は、レート割り当てモジュール１０９により、画質を最適化しながら符号化された動画像ストリーム１１４が所望のデータレートを有するように調整することができる。

【0053】

エントロピー符号化モジュール１０７は、エントロピー符号化処理を量子化されたサブバンドフレームデータに適用する。エントロピー符号化処理は、例えば、すでに上に述べた米国特許第９，３３２，２５８号明細書に記載の処理を含み得る。その場合、エントロピー符号化モジュール１０７は、ＧＣＬＩ符号化値を上述の符号化モード選択モジュール１０５から受信する。ＧＣＬＩ符号化値は、量子化されたサブバンドフレームデータにおいてゼロビットプレーンを示す。エントロピー符号化モジュール１０７は、次に、これらのゼロビットプレーンを除去することができる。実際には、ゼロビットプレーンは、サブバンドフレームデータにこれらのビットプレーンがある場所を示すＧＣＬＩ符号化値と置き換えられる。エントロピー符号化モジュール１０７はまた、エントロピー符号化をＧＣＬＩ符号化値に、これらの値ができる限り少ないデータで表現されるように適用する。米国特許第９，３３２，２５８号明細書は、その効果に用いることのできるエントロピー符号化技術を記載している。

【0054】

ゼロビットプレーンを除去することに加えて、エントロピー符号化モジュール１０７はまた、量子化されたサブバンドフレームデータにおいてサンプルをトランケートすることができる。このようなトランケーションには、１つ以上の最下位ビットプレーンを除去する必要のある場合がある。これもまた、米国特許第９，３３２，２５８号明細書に記載されている。レート割り当てモジュール１０９は、トランケーションを調整し、１つ以上の最下位ビットプレーンを除去すべきか否か、もしそうなら、その数がどれくらいかを決定する。レート割り当てモジュール１０９は、符号化された動画像ストリーム１１４が、画質を最適化しながら所望のデータレートを有することを達成するために、トランケーションを調整することができる。

【0055】

データパッケージ化モジュール１０８は、いくつかのタイプのデータを符号化された動画像ストリーム１１４にパッケージ化する。これは、エントロピー符号化モジュール１０７が提供するエントロピーが符号化されたサブバンドフレームデータを含む。これは、さらに、例えば、エントロピーが符号化されたＧＣＬＩ値と、符号化モードフラグと、量子化モジュール１０６が適用した量子化係数とを含み得る。

【0056】

レート割り当てモジュール１０９は、量子化モジュール１０６及びエントロピー符号化モジュール１０７を、符号化モード選択モジュール１０５が提供するＧＣＬＩ符号化値に基づいて制御することができる。ＧＣＬＩ符号化値によって、ゼロビットプレーンのみを除去することにより得られるデータ圧縮係数を推定することができる。レート割り当てモジュール１０９は、このデータ圧縮係数を、符号化された動画像ストリーム１１４の所望のデータレートを表す所望のデータ圧縮係数と比較することができる。もし、例えば、上述のデータ圧縮係数間の差が相対的に大きい場合、レート割り当てモジュール１０９が、相対的に大きな量子化係数を適用すべきかもしくは相対的に大きなトランケーションを適用すべきか、又はその両方を適用すべきかを決定することができる。

【0057】

上述のように、参照フレームバッファアセンブリ１１２は、すでに符号化された先に線形変換されたフレームの表現を含み得る。この表現は、今回符号化される線形変換されたフレームのサブバンドフレーム部分をインターモードで符号化するための基準を構成する。先に線形変換されたフレームの表現は、以下のように得られる。

【0058】

逆量子化モジュール１１０は、量子化モジュール１０６が提供する量子化されたサブバンドフレームデータに逆量子化を適用する。それに応じて、逆量子化モジュール１１０は、符号化モード選択モジュール１０５が生成したサブバンドフレームデータのさらに粗い表現とみなすことができる逆量子化されたサブバンドフレームデータを提供する。イントラモードの符号化の場合、逆量子化されたサブバンドフレームデータは、線形変換されたフレームに存在するサブバンドフレーム部分のさらに粗い表現である。インターモードの符号化の場合、逆量子化されたサブバンドフレームデータは、サブバンドフレーム部分の差分表現のさらに粗い表現である。

【0059】

再構成モジュール１１１は、インターモードで符号化する場合、逆量子化されたサブバンドフレームデータを処理する。再構成モジュール１１１は、上述の対応する先のサブバンドフレームを参照フレームバッファアセンブリ１１２から検索する。すなわち、対応する先のサブバンドフレームは、逆量子化されたサブバンドフレームデータが生成されたことに基づいてサブバンドフレーム部分の差分表現を生成することに使用されている。再構成モジュール１１１は、次に、対応する先のサブバンドフレーム部分を、逆量子化されたサブバンドフレームデータに追加する。それに応じて、今回符号化されたサブバンドフレーム部分の再構成版が得られる。再構成モジュール１１１は、サブバンドフレーム部分の再構成版を参照フレームバッファアセンブリ１１２に適用する。

【0060】

再構成モジュール１１１は、イントラモードで符号化する場合、逆量子化されたサブバンドフレームデータを直接参照フレームバッファアセンブリ１１２に渡す。すなわち、その場合、逆量子化されたサブバンドフレームデータが、サブバンドフレーム部分の再構成版を構成する。

【0061】

よって、符号化プロセスでは、参照フレームバッファアセンブリ１１２は、再構成されたサブバンドフレームを共同で形成できる、再構成された複数のサブバンドフレーム部分を連続して受信する。さらに一般的には、参照フレームバッファアセンブリ１１２は、線形変換されたフレームの再構成版を共同で形成する、再構成されたサブバンドフレームを連続して受信する。理想的には、線形変換されたフレームの再構成版は、以後提示していく実施形態の動画像復号器における線形変換されたフレームの復号版と対応する。すなわち、一般的には、データを符号化するための基準は、理想的には、同一のデータを復号するために用いる基準と対応させるべきである。よって、データを復号するために用いる基準が先に復号されたデータからなる場合、そのデータを符号化するために用いる基準は、元の形態のデータというより、先に符号化されたデータの復号版であるべきである。

【0062】

図７は、参照フレームバッファアセンブリ１１２の概略を図示するものである。図７は、参照フレームバッファアセンブリ１１２のブロック図を提供する。参照フレームバッファアセンブリ１１２は、基本エントロピー符号化器７０１、バッファメモリ７０２、基本エントロピー復号器７０３を備える。

【0063】

参照フレームバッファアセンブリ１１２は、基本的に以下のように作動する。基本エントロピー符号化器７０１が、サブバンドフレーム部分の再構成版にＧＣＬＩ抽出を適用する。このＧＣＬＩ抽出は、図５に関連して前述したものと類似したものにできる。基本エントロピー符号化器７０１は、サンプルの各グループにおいてゼロビットプレーンを除去する。基本エントロピー符号化器７０１は、さらに、１つ以上の最下位ビットプレーンを除去することによりサンプルをトランケートすることができる。それに応じて、ゼロの１つ以上の最上位ビットがなく、トランケートされた１つ以上の最下位ビットがない場合がある圧縮されたサンプルが得られる。

【0064】

基本エントロピー符号化器７０１は、サブバンドフレーム部分の圧縮再構成版を生成し、当該圧縮再構成版は、圧縮されたサンプルを含む。圧縮再構成版は、図４及び図５に関連して本明細書に上述した、ＧＣＬＩ抽出により得られたＧＣＬＩ値をさらに含み得る。圧縮再構成版は、エントロピーが符号化された形態でＧＣＬＩ値を含み得る。

【0065】

バッファメモリ７０２は、サブバンドフレーム部分の圧縮再構成版を記憶する。それに応じて、符号化プロセスにおいて、バッファメモリ７０２は、圧縮再構成されたサブバンドフレームを共同で形成することができる圧縮再構成されたサブバンドフレーム部分を連続して記憶する。さらに一般的には、参照フレームバッファアセンブリ１１２は、線形変換されたフレームの圧縮再構成版を共同で形成する、圧縮再構成されたサブバンドフレームを連続して記憶する。

【0066】

基本エントロピー復号器７０３は、圧縮再構成されたサブバンドフレーム部分を復元し、当該サブバンドフレーム部分は、対応する後のサブバンドフレーム部分をインターモードで符号化することを要求される場合がある。このように、対応する先のサブバンドフレームの上述の表現が得られる。

【0067】

図１に図示した動画像符号化器１００は、よって、フレームバッファの圧縮を適用する。それに応じて、サブバンドフレーム、さらに一般的には、インターモードで符号化するのに必要とされる線形変換されたフレームを記憶するのには、比較的小容量のメモリで十分である。さらには、フレームバッファ圧縮によって、再構成されたサブバンドフレーム部分に関わるデータのバッファメモリ７０２への送受信に関連する帯域幅の要件が緩和される。このことは、バッファメモリ７０２が外部のメモリ回路の形態である一方で、画像符号化器１００の他のエンティティが単一の処理回路に組み込まれている場合の実施形態において、大きな利点となり得る。このような実施形態及び他の実施形態において、緩和された帯域幅条件は、電力消費を相対的に低下させることに一般的に役立つ。

【0068】

しかしながら、フレームバッファの圧縮は、ある程度画質に影響する場合がある。これは、インターモードで符号化するために利用可能である、対応する先のサブバンドフレーム部分の表現が、対応する先のサブバンドフレーム部分自体のさらに粗い版であることによる。それでもなお、多くの実施形態において、画質の損失が視覚的にほとんど気づかれないほどであるか又は視覚的にまったく気づかれないフレームバッファ圧縮を構成することができる。すなわち、フレームバッファの圧縮は、視覚的に損失がないものにできる。そのうえ、原理上、フレームバッファの圧縮は、復号を開始してから十分な画質に達するまでの間の遅延には影響しない。

【0069】

図８は、動画像復号器の概略を図示しており、当該動画像複合器は、ブロック図で示している。動画像複合器は、図１～７に関連して上述した動画像符号化器１００により生成された符号化された動画像ストリーム１１４を受信し復号することができる。動画像複合器は、アンパックモジュール８０１、エントロピー復号・逆量子化モジュール８０２、復号再構成モジュール８０３、復号バッファメモリ８０４、逆ウェーブレット変換・色変換モジュール８０５を備える。

【0070】

動画像複合器は、基本的に以下のように作動する。アンパックモジュール８０１が、上述のパックモジュールにより実行される処理と逆の処理を実行する。それに応じて、アンパックモジュール８０１は、符号化された動画像ストリーム１１４から、エントロピーが符号化されたサブバンドフレームデータ、エントロピーが符号化されたＧＣＬＩ値及び符号化モードフラグなど種々のタイプのデータを検索する。

【0071】

エントロピー復号・逆量子化モジュール８０２は、上述のエントロピー符号化モジュール１０７が実行する処理と逆の処理を実行する。例えば、エントロピー復号・逆量子化モジュール８０２は、エントロピーが符号化されたＧＣＬＩ値からＧＣＬＩ符号化値を検索することができる。エントロピー復号・逆量子化モジュール８０２は、次に、除去されたゼロビットプレーンをこれらのＧＣＬＩ符号化値に基づいて元に戻すことができる。エントロピー復号・逆量子化モジュール８０２は、さらに、ダミービットを追加して、トランケーションの結果除去された最下位ビットを置き換えることができる。それに応じて、量子化されたサブバンドフレームデータが、再現され、次に、逆量子化処理を受ける。逆量子処理は、符号化された動画像ストリーム１１４にパックされている量子化係数に基づく。それに応じて、エントロピー復号・逆量子化モジュール１０６は、復号されたサブバンドフレームデータを提供する。

【0072】

復号再構成モジュール８０３は、符号化モードフラグに基づいて復号されたサブバンドフレームデータを処理する。符号化モードフラグがイントラモードでの符号化を示す場合、復号されたサブバンドフレームデータは、線形変換されたフレームをさらに処理することなく再構成するように直接用いることができるサブバンドフレーム部分の復号版である。その場合、復号再構成モジュール８０３は、サブバンドフレーム部分の復号版を一時記憶用の復号バッファメモリ８０４に適用する。さらに、サブバンドフレーム部分の復号版は、逆ウェーブレット変換・色変換モジュール８０５に適用される。

【0073】

符号化モードフラグがインターモードでの符号化を示す場合、復号されたサブバンドフレームデータは、サブバンドフレーム部分の差分表現の復号版である。その場合、復号再構成モジュール８０３は、対応の先に復号されたサブバンドフレーム部分を復号バッファメモリ８０４から検索する。復号再構成モジュール８０３は、次に、対応の先に復号されたサブバンドフレーム部分をサブバンドフレーム部分の差分表現の復号版に追加する。これに応じて、サブバンドフレーム部分の復号版が、得られ、復号バッファメモリ８０４及び逆ウェーブレット変換・色変換モジュール８０５に適用される。

【0074】

よって、従来の動画像複合器と逆に、復号バッファメモリ８０４は、空間領域にある、完全に復号されたフレームというよりは、線形変換されたフレームの一部であるサブバンドフレームを一時的に記憶する。すなわち、図８に図示した動画像複合器８００において、線形変換されたフレームは、完全に復号されたフレームというよりは、インターモードで復号するための基準として機能するものである。

【0075】

逆ウェーブレット変換・色変換モジュール８０５は、ウェーブレット変換の逆及び可逆色変換の逆をサブバンドフレーム部分の復号版に適用する。すなわち、線形逆変換が、サブバンドフレーム部分の復号版に適用される。線形逆変換を、サブバンドフレーム部分の連続して復号された版に適用することによって、線形逆変換が、線形変換されたフレームの復号版を構成するサブバンドフレームの復号版に適用される。すると、図１に図示した動画像符号化器１００により符号化されたフレームの復号版が得られる。

【0076】

留意事項
図面を参照して上述した実施形態は、図示目的で提示している。本発明は、多数の各種方法で実施可能である。これを図示するために、いくつかの代替物を簡単に示す。

【0077】

本発明は、動画像圧縮もしくは動画像復元又はその両方に関連する多数のタイプの製品又は方法において適用可能である。例えば、本発明は、動画像圧縮以外の少なくとも１つの機能を実施できる多機能の集積回路において適用可能である。

【0078】

動画像符号化器及び動画像復号器を本発明にしたがって実施する多数の各種方法がある。提示した実施形態におけるモジュールのいずれかは、専用のものであるか又はプログラム可能なものである電気回路によりもしくは適切にプログラムされたプロセッサにより、又はそれらの組合せにより実施可能である。コンピュータプログラムは、動画像符号化器により実行される１つ以上の処理を定義することができ、当該動画像符号化器は、図１～図７に関連して説明している。同様に、コンピュータプログラムは、動画像符号化器により実行される１つ以上の処理を定義することができ、当該動画像符号化器は、図８に関連して説明している。この点において、図１、図４、図７及び図８のブロック図は、それぞれ、少なくとも部分的に、このようなコンピュータプログラムのフローチャート図並びにコンピュータプログラムを実行するときにプロセッサが実行し得る方法を表すものとみなして構わない。例えば、図１に図示した可逆色変換モジュールは、色変換ステップを表すものとみなして構わない。同様に、他のモジュールは、方法のステップを表すものとみなして構わない。

【0079】

本発明に係る製品又は方法において線形変換を実施する多数の各種方法がある。提示した実施形態では、線形変換は、可逆色変換を含む。他の実施形態では、この変換なしで済ませることができる。提示した実施形態では、線形変換は、ウェーブレット変換を含む。他の実施形態では、線形変換は、例えば、離散コサインベースの変換であってよい。

【0080】

本発明に係る製品又は方法において圧縮データの符号化を実施する多数の各種方法がある。提示した実施形態では、このような符号化には、ＧＣＬＩ抽出、ゼロビットプレーンの除去及びトランケーションが必要である。他の実施形態では、他のエントロピー符号化スキームを用いてよい。

【0081】

本発明に係る製品に参照フレームバッファアセンブリを実装する又は本発明に係る方法を実施する多数の各種方法がある。提示した実施形態では、参照フレームバッファアセンブリは、フレームバッファの圧縮を用いる。他の実施形態では、参照フレームバッファアセンブリがデータ圧縮用の動画像符号化器及びデータ圧縮用の動画像復号器を備える必要がなくなるように、フレームバッファの圧縮を省いてよい。

【0082】

インターモードで符号化するため別の線形変換されたフレームの対応する部分の表現を得る多数の各種方法がある。提示した実施形態では、対応する部分は、先に線形変換されたフレームに同一の位置を有する部分である。すなわち、動き予測又は動き補償は用いない。他の実施形態では、動き予測を、対応する部分を特定するために用いてよい。さらに、インターモードで符号化するため用いる対応する部分が、必ずしも、先に線形変換された単一のフレームに基づくものにする必要はない。例えば、対応する部分は、先に線形変換された２つ以上のフレームにおいて部分を組合せたものに基づくものとしてよい。

【0083】

一般に、本発明を実施する多数の各種方法があり、当該方法により、各種実施には各種トポロジーを具え得る。任意の所定のトポロジーでは、単一のエンティティが、いくつかの機能を実行可能であり、又はいくつかのエンティティは、単一の機能を共同で実行可能である。この点で、図面は、非常に図式的である。

【0084】

図面に関連して記載した実施形態は、本発明を限定するというより本発明を図示していることをここまで述べてきた。本発明は、添付の特許請求の範囲内の多数の代替方法で実施可能である。特許請求の範囲の均等物の意味及び範囲内のすべての変更は、その範囲内に含まれることとなる。ある請求項のいかなる参照符号も、その請求項を限定するものと解釈すべきではない。請求項の中の「備える（ｃｏｍｐｒｉｓｅ）」という動詞は、その請求項に挙げられた要素以外の他の要素またはステップの存在を除外しない。同じことが、「含む（ｉｎｃｌｕｄｅ）」及び「含有する（ｃｏｎｔａｉｎ）」などの同様の動詞に当てはまる。製品に関する請求項の中の単数形の要素への言及は、その製品が複数のこのような要素を含み得ることを除外しない。同様に、方法に関する請求項の中の単数形のステップへの言及は、その方法が複数のこのようなステップを含み得ることを除外しない。各従属請求項が追加の各特徴を定義するという単なる事実は、その請求項に反映される特徴以外の追加の特徴の組み合わせを除外しない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2021-04-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

一連のフレームを符号化するように適合された符号化器（１００）であって、当該符号化器は、
符号化対象の前記一連のフレーム中のフレームよりもエントロピーが少ない一連の線形変換されたフレームを得るように、前記一連のフレームにフレームごとに線形変換を適用するように適合された線形変換アセンブリ（１０１）と、
前記線形変換されたフレームよりもデータ量が少ない一連の符号化されたフレームを得るように、前記一連の線形変換されたフレームを符号化するように適合された符号化アセンブリ（１０２）と、を備え、
前記符号化アセンブリは、符号化されたフレームを得るように、線形変換されたフレームの少なくとも１つの部分をインターモードで符号化し、前記同一の線形変換されたフレームの少なくとも１つの他の部分をイントラモードで符号化するように適合され、これにより、前記インターモードで、前記符号化アセンブリは、前記線形変換されたフレームの部分の差分表現を提供し、前記差分表現は、一方で、前記線形変換されたフレームの部分と、他方で、少なくとも１つの他の線形変換されたフレームの対応する部分の表現との間の差分に対応しており、前記符号化アセンブリは、データ圧縮を前記線形変換されたフレームの部分の前記差分表現に適用し、これにより、前記イントラモードで、前記符号化アセンブリは、前記データ圧縮を前記同一の線形変換されたフレームの別の部分に直接適用する符号化器。

【請求項2】

前記符号化アセンブリ（１０２）は、線形変換されたフレームの部分について、以下の条件、前記線形変換されたフレームの部分が前記インターモードで符号化される場合、前記イントラモードで前記線形変換されたフレームの部分を符号化することにより得られる符号化版よりもデータ量が少ない前記線形変換されたフレームの部分の符号化版が得られるという条件に適合するか否かを評価するように適合され、前記符号化アセンブリは、前記条件に適合する場合に前記線形変換されたフレームの部分を前記インターモードで符号化し、前記条件に適合しない場合に前記イントラモードで前記線形変換されたフレーム部分を符号化するように適合された請求項１に記載の符号化器。

【請求項3】

前記符号化アセンブリ（１０２）は、前記少なくとも１つの他の線形変換されたフレームの前記対応する部分を符号化することにより得られた少なくとも１つの符号化されたフレームの対応する部分に前記データ圧縮の逆を適用することにより、前記少なくとも１つの他の線形変換されたフレームの前記対応する部分の表現を得るように適合された請求項１及び２のいずれかに記載の符号化器。

【請求項4】

前記符号化アセンブリ（１０２）は、各線形変換されたフレーム部分を前記イントラモードで周期的に符号化するように適合された請求項１～３のいずれかに記載の符号化器。

【請求項5】

前記符号化アセンブリ（１０２）は、最小周波数を伴って同一の位置を有する各線形変換されたフレーム部分を前記イントラモードで周期的に符号化し、同一の前記最小周波数を伴って別の同等の位置を有するが、上述の各前記線形変換されたフレーム部分のイントラモードの符号化に対して位相シフトされた各線形変換されたフレーム部分を前記イントラモードで周期的に符号化するように適合された請求項４に記載の符号化器。

【請求項6】

前記符号化アセンブリ（１０２）は、最小周波数を伴って線形変換されたフレームのグループに属する各線形変換されたフレーム部分を前記イントラモードで周期的に符号化し、異なる最小周波数を伴って線形変換されたフレーム部分の別のグループに属する各線形変換されたフレーム部分を前記イントラモードで周期的に符号化するように適合された請求項４及び５のいずれかに記載の符号化器。

【請求項7】

前記線形変換アセンブリ（１０１）は、各サブバンドを定めるように適合され、これにより、前記線形変換されたフレーム部分の一方のグループ及び他方のグループは、異なるサブバンドと関連付けられる請求項６に記載の符号化器。

【請求項8】

前記符号化アセンブリ（１０２）が適用する前記データ圧縮は、最大符号化ラインインデックス符号化処理を含む請求項１～７のいずれかに記載の符号化器。

【請求項9】

前記符号化アセンブリ（１０２）が適用する前記データ圧縮は、量子化処理を含む請求項１～８のいずれかに記載の符号化器。

【請求項10】

前記符号化アセンブリ（１０２）は、復号された線形変換フレームを得るように符号化されたフレームを復号するように適合され、前記符号化アセンブリは、前記復号された線形変換フレームの圧縮版を得るように、前記復号された線形変換フレームにデータ記憶の圧縮を適用するように適合され、前記符号化アセンブリは、前記復号された線形変換フレームの圧縮版をフレームバッファメモリ（７０２）に記憶するように適合され、前記符号化アセンブリは、前記インターモードでの符号化対象の線形変換されたフレームの少なくとも対応する版の差分表現を提供するために使用される線形変換されたフレームの少なくとも１つの部分の表現が得られる前記復号された線形変換フレームの復元版を得るように、前記データ記憶の圧縮の逆を前記復号された線形変換フレームの圧縮版に適用するように適合された請求項１～９のいずれかに記載の符号化器。

【請求項11】

前記符号化アセンブリ（１０２）が前記復号された線形変換フレームに適用する前記データ記憶の圧縮は、最大符号化ラインインデックス符号化処理を含む請求項１０に記載の符号化器。

【請求項12】

一連のフレームを符号化する方法であって、当該方法は、
符号化対象の前記一連のフレーム中のフレームよりエントロピーが低い一連の線形変換されたフレームを得るように、前記一連のフレームにフレームごとに線形変換を適用する線形変換ステップと、
前記一連の線形変換されたフレームを、前記線形変換されたフレームよりもデータ量が少ない一連の符号化されたフレームを得るように符号化する符号化ステップと、
前記符号化ステップにおいて、符号化されたフレームを得るように、線形変換されたフレームの少なくとも１つの部分をインターモードで符号化するのに対して同一の前記線形変換されたフレームの少なくとも１つの他の部分がインターモードで符号化され、これにより、前記インターモードで、前記線形変換されたフレームの部分の差分表現が得られ、当該差分表現は、一方で前記線形変換されたフレームの部分と、他方で少なくとも１つの他の線形変換されたフレームの対応する部分の表現との間の差分に対応するものであって、データ圧縮を前記線形変換されたフレームの部分の差分表現に適用し、これにより、前記イントラモードで、前記データ圧縮を同一の前記線形変換されたフレームの別の部分に直接適用する符号化方法。

【請求項13】

請求項１２に記載の前記方法を前記符号化器に実行させることができるインストラクションのセットを含む、符号化器（１００）用のコンピュータプログラム。

【請求項14】

請求項１～１１のいずれかに記載の符号化器により得られる前記一連の符号化されたフレームを復号するように適合された復号器（８００）であって、当該復号器は、線形変換されたフレームの少なくとも１つの復号された部分を得るように前記インターモードで符号化されたフレームの少なくとも１つの部分を復号し、同一の前記線形変換されたフレームの少なくとも１つの復号された他の部分を得るように前記イントラモードで同一の前記符号化されたフレームの少なくとも１つの他の部分を復号するように適合された復号器（８００）。

【国際調査報告】