IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧

特表2025-502884ピクチャのシーケンスの符号化及び復号
<>
  • 特表-ピクチャのシーケンスの符号化及び復号 図1
  • 特表-ピクチャのシーケンスの符号化及び復号 図2
  • 特表-ピクチャのシーケンスの符号化及び復号 図3
  • 特表-ピクチャのシーケンスの符号化及び復号 図4
  • 特表-ピクチャのシーケンスの符号化及び復号 図5
  • 特表-ピクチャのシーケンスの符号化及び復号 図6
  • 特表-ピクチャのシーケンスの符号化及び復号 図7
  • 特表-ピクチャのシーケンスの符号化及び復号 図8
  • 特表-ピクチャのシーケンスの符号化及び復号 図9
  • 特表-ピクチャのシーケンスの符号化及び復号 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-28
(54)【発明の名称】ピクチャのシーケンスの符号化及び復号
(51)【国際特許分類】
   H04N 19/63 20140101AFI20250121BHJP
【FI】
H04N19/63
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2024541926
(86)(22)【出願日】2023-01-16
(85)【翻訳文提出日】2024-09-09
(86)【国際出願番号】 EP2023050858
(87)【国際公開番号】W WO2023135291
(87)【国際公開日】2023-07-20
(31)【優先権主張番号】17/576,095
(32)【優先日】2022-01-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Blu-ray
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100134119
【弁理士】
【氏名又は名称】奥町 哲行
(72)【発明者】
【氏名】リヒター・トーマス
(72)【発明者】
【氏名】ヘップナー・ヴォルフガング
(72)【発明者】
【氏名】カイネルト・ヨアヒム
(72)【発明者】
【氏名】フォッセル・ジークフリート
(72)【発明者】
【氏名】トーマ・ハーバート
(72)【発明者】
【氏名】シェルル・クリスチャン
(72)【発明者】
【氏名】ミヌス・クリスチャン
(72)【発明者】
【氏名】アーメド・ビラル
(72)【発明者】
【氏名】バスカー・ニシャ
(72)【発明者】
【氏名】シュパーレンベルク・ハイコ
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MA21
5C159MA41
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159TB06
5C159UA02
5C159UA05
(57)【要約】
データストリームからピクチャのシーケンスを復号するための装置は、データストリームからピクチャの残差変換信号を導出することと、ピクチャの変換信号を取得するために、残差変換信号をシーケンスの前のピクチャのバッファされた変換信号と合成することであって、変換信号がピクチャをスペクトル成分で表す、合成することと、変換信号をスペクトル空間変換にかけることと、によってシーケンスのピクチャを復号するように構成されており、バッファされた変換信号が、前のピクチャを表すスペクトル成分からの選択を含む。

【特許請求の範囲】
【請求項1】
データストリーム(14)からピクチャのシーケンス(15)を復号するための装置(11)であって、前記装置が、
前記データストリームから前記ピクチャ(12’)の残差変換信号(32’)を導出すること(71)と、
前記ピクチャの変換信号(22’)を取得するために、前記残差変換信号(32’)を前記シーケンスの前のピクチャ(12*)のバッファされた変換信号(52)と合成すること(31)であって、前記変換信号が前記ピクチャをスペクトル成分で表す、合成すること(31)と、
前記変換信号をスペクトル空間変換(21)にかけることと、
によって前記シーケンスのピクチャ(12’)を復号するように構成されており、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、装置(11)。
【請求項2】
前記装置が、前記バッファされた変換信号(52)及び前記残差変換信号(32’)の相互に対応するスペクトル成分を合成することによって、前記残差変換信号(32’)を前記バッファされた変換信号(52)と合成するように構成される、請求項1に記載の装置。
【請求項3】
前記バッファされた変換信号(52)においてシグナリングされたスペクトル成分の前記選択が、0ではない周波数に関連付けられた少なくとも1つのスペクトル成分を含む、請求項1又は2に記載の装置。
【請求項4】
前記スペクトル空間変換が、逆離散ウェーブレット変換である、請求項1から3のいずれか一項に記載の装置。
【請求項5】
前記装置が、前記データストリーム内でシグナリングされるシンタックス要素から、前記バッファされた変換信号(52)のためにバッファされるスペクトル成分の前記選択を導出するためのものである、請求項1から4のいずれか一項に記載の装置。
【請求項6】
前記装置が、
前記前のピクチャを復号することであって、
前記データストリームから前記前のピクチャの更なる残差変換信号(32’)を復号することと、
更なる変換信号(22’)を取得するために、前記更なる残差変換信号(32’)を前記シーケンスの更により前のピクチャの更なるバッファされた変換信号(52*)と合成することであって、前記更なる変換信号(22’*)が前記前のピクチャをスペクトル成分で表す、合成することと、
前記前のピクチャの空間表現を取得するために、前記更なる変換信号(22’*)をスペクトル空間変換にかけることと、
によって前記前のピクチャを復号することと、
前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
を行うように構成される、請求項1から5のいずれか一項に記載の装置。
【請求項7】
前記装置が、
前記バッファされた変換信号(52)について、前記更なる変換信号(22’*)のスペクトル成分のサブセットを選択することと、
前記バッファされた変換信号(52)のスペクトル成分を所定の値に設定することであって、前記スペクトル成分が前記選択に含まれない、設定することと、
によって前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出するように構成されている、請求項6に記載の装置。
【請求項8】
前記ピクチャが、部分単位で前記データストリームにコード化され、前記部分の各々が、前記ピクチャの空間領域に関連付けられ、前記残差変換信号(32’)が、前記部分の各々について、複数のスペクトル成分を含み、前記装置が、
前記前のピクチャの1つ又は複数の部分のスペクトル成分のサブセットを選択してバッファすることによって、前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の前記部分のうちの1つのスペクトル成分を、前記残差変換信号(32’)の対応する部分の対応するスペクトル成分と合成することによって、前記ピクチャの前記変換信号(22)を取得することと、
をするように構成される、請求項6又は7に記載の装置。
【請求項9】
前記装置が、前記ピクチャのすべての部分に対して共通に、前記バッファされた変換信号(52)に対してバッファされるスペクトル成分の前記選択を導出するためのものであり、又は
前記ピクチャが、スライス単位で前記データストリームにコード化され、前記スライスの各々が、1つ又は複数の前記部分を含み、前記装置が、前記ピクチャを1つのスライスのすべての部分に対して共通に、前記バッファされた変換信号(52)に対してバッファされるスペクトル成分の前記選択を導出するためのものである、請求項8に記載の装置。
【請求項10】
前記装置が、
前記サブシーケンスの前記ピクチャの各々について、前記ピクチャの1つ又は複数の部分の各々の1つ又は複数のスペクトル成分を前記バッファされた変換信号(52)の対応するスペクトル成分と合成することを抑制することと、前記ピクチャの1つ又は複数の更なる部分の各々の1つ又は複数のスペクトル成分を前記バッファされた変換信号(52)の対応するスペクトル成分と合成することと、
によってピクチャの前記シーケンスのサブシーケンスのピクチャを復号するように構成されており、
前記サブシーケンスの前記ピクチャの全体の前記バッファされていない部分が、組み合わせて前記ピクチャの全ピクチャ領域をカバーする、請求項8又は9に記載の装置。
【請求項11】
前記装置が、
前記更なる変換信号のスペクトル成分の複数の部分のうちの1つ又は複数を選択してバッファすることによって、前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の前記スペクトル成分の前記選択及びバッファされた部分を、前記残差変換信号(32’)の対応するスペクトル成分の対応する部分と合成することによって、前記ピクチャの前記変換信号(22)を取得することと、
を行うように構成される、請求項6から10のいずれか一項に記載の装置。
【請求項12】
前記変換信号及び前記更なる変換信号が、各スペクトル成分について、前記ピクチャの変換表現を含み、前記変換表現が、サンプルアレイの複数の係数を含み、
前記スペクトル成分の前記複数の部分の各々が、前記スペクトル成分の前記変換表現の前記サンプルアレイの1つ又は複数の行を含む、請求項11に記載の装置。
【請求項13】
ピクチャのシーケンスをデータストリームに符号化するための装置(10)であって、前記装置(10)が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換(20)にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換(20)にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出すること(30)と、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化すること(70)と、
によって前記シーケンスのピクチャを符号化するように構成され、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、装置(10)。
【請求項14】
前記装置が、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して前記変換信号(22)のスペクトル成分を予測することによって、前記ピクチャの前記残差変換信号(32)を導出するように構成される、請求項13に記載の装置。
【請求項15】
前記バッファされた変換信号(52)においてシグナリングされたスペクトル成分の前記選択が、0ではない周波数に関連付けられた少なくとも1つのスペクトル成分を含む、請求項13又は14に記載の装置。
【請求項16】
前記空間スペクトル変換が、離散ウェーブレット変換である、請求項13から15のいずれか一項に記載の装置。
【請求項17】
前記装置が、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものである、請求項13から16のいずれか一項に記載の装置。
【請求項18】
前記装置が、
前記前のピクチャを符号化することであって、
更なる変換信号を取得するように、前記前のピクチャの更なる空間表現を前記空間スペクトル変換にかけることであって、前記更なる変換信号がスペクトル成分で前記前のピクチャを表示する、空間スペクトル変換にかけることと、
前記シーケンスの更により前のピクチャの更なるバッファされた変換信号(52*)及び前記更なる変換信号に基づいて更なる残差変換信号(32*)を導出することと、
前記更なる残差変換信号(32*)を前記データストリームに符号化することと、
によって前記前のピクチャを符号化することと、
前記更なる残差変換信号(32*)から前記バッファされた変換信号(52)を導出することと、
を行うように構成されている、請求項13から17のいずれか一項に記載の装置。
【請求項19】
前記装置が、
前記前のピクチャの再構築された変換信号(22’*)を取得するために、前記更なる残差変換信号(32*)を前記更なるバッファされた変換信号(52)と合成すること、
前記バッファされた変換信号(52)について、前記再構築された変換信号(22’*)のスペクトル成分のサブセットを選択することと、
前記バッファされた変換信号(52)のスペクトル成分を所定の値に設定することであって、前記スペクトル成分が前記選択に含まれない、設定することと、
によって前記更なる残差変換信号(32*)から前記バッファされた変換信号(52)を導出するように構成されている、請求項18に記載の装置。
【請求項20】
前記装置が、
前記残差変換信号(32)を量子化することによって前記残差変換信号(32)を符号化し、前記量子化された残差変換信号(62)を前記データストリームに符号化することと、
前記更なる残差変換信号を量子化することによって前記更なる残差変換信号(32*)を符号化し、前記量子化された更なる残差変換信号(62)を前記データストリームに符号化することと、
前記量子化された更なる残差変換信号(62)をスケーリングすることによって前記バッファされた変換信号(52)を導出し、前記スケーリングされた更なる残差変換信号(32’*)を前記更なるバッファされた変換信号(52*)と合成することと、
を行うように構成される、請求項18又は19に記載の装置。
【請求項21】
前記装置が、前記ピクチャを部分単位で前記データストリームにコード化するように構成されており、前記部分の各々が、前記ピクチャの空間領域に関連付けられ、前記残差変換信号(32)が、前記ピクチャの前記部分の各々について、複数のスペクトル成分を含み、前記装置が、
前記前のピクチャの1つ又は複数の部分のスペクトル成分のサブセットを、前記バッファされた変換信号(52)について選択することによって、前記更なる残差変換信号(32’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の対応する部分の対応するスペクトル成分を使用して、前記変換信号(22)の前記部分のうちの1つのスペクトル成分を予測することによって、前記ピクチャの前記残差変換信号(32)を導出することと、
を行うように構成される、請求項18から20のいずれか一項に記載の装置。
【請求項22】
前記装置が、前記ピクチャのすべての部分に関して共通に、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものであり、
前記装置が、前記ピクチャをスライス単位で前記データストリームに符号化するためのものであり、前記スライスの各々が、1つ又は複数の前記部分を含み、前記装置が、前記ピクチャの1つのスライスのすべての部分に関して共通に、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものである、請求項21に記載の装置。
【請求項23】
前記装置が、サブシーケンスのピクチャを符号化するように構成されており、前記サブシーケンスが、
前記サブシーケンスの前記ピクチャの各々について、前記ピクチャの1つ又は複数の部分の各々の1つ又は複数のスペクトル成分を、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して予測することを抑制することと、前記ピクチャの1つ又は複数の更なる部分の各々の1つ又は複数のスペクトル成分を、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して予測することと、
によるピクチャの前記シーケンスのサブシーケンスであり、
前記サブシーケンスの前記ピクチャの全体の前記バッファされていない部分が、組み合わせて前記ピクチャの全ピクチャ領域をカバーする、請求項21又は22に記載の装置。
【請求項24】
前記装置が、
前記更なる残差変換信号(32’*)のスペクトル成分の複数の部分のうちの1つ又は複数を選択してバッファすることによって、前記更なる残差変換信号(32’*)から前記バッファされた変換信号(52)を導出することと、
前記変換信号(22)の対応するスペクトル成分の対応する部分を予測するために、前記更なる残差変換信号の前記スペクトル成分の前記選択されバッファされた部分を使用することによって、前記ピクチャの前記残差変換信号(32)を導出することと、
を行うように構成されている、請求項18から23のいずれか一項に記載の装置。
【請求項25】
前記残差変換信号及び前記更なる残差変換信号が、各スペクトル成分について、前記ピクチャの変換表現を含み、前記変換表現が、サンプルアレイの複数の係数を含み、
前記スペクトル成分の前記複数の部分の各々が、前記スペクトル成分の前記変換表現の前記サンプルアレイの1つ又は複数の行を含む、
請求項24に記載の装置。
【請求項26】
ピクチャのシーケンスをデータストリームから復号するための方法であって、前記方法が、
前記データストリームから前記ピクチャの残差変換信号(32’)を導出すること(71)と、
前記ピクチャの変換信号(22’)を取得するために、前記残差変換信号(32’)を前記シーケンスの前のピクチャのバッファされた変換信号(52)と合成すること(31)であって、前記変換信号(22’)が前記ピクチャをスペクトル成分で表す、合成すること(31)と、
前記変換信号(22’)をスペクトル空間変換にかけること(21)と、
によって前記シーケンスのピクチャを復号することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法。
【請求項27】
ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけること(20)であって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけること(20)と、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出すること(30)と、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化すること(70)と、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法。
【請求項28】
コンピュータプログラムを記憶した非一時的デジタル記憶媒体であって、前記コンピュータプログラムがコンピュータによって実行されると、ピクチャのシーケンスをデータストリームから復号するための方法であって、前記方法が、
前記データストリームから前記ピクチャの残差変換信号(32’)を導出することと、
前記ピクチャの変換信号(22’)を得るために、前記残差変換信号(32’)を前記シーケンスの前のピクチャのバッファされた変換信号(52)と合成することであって、前記変換信号(22’)が前記ピクチャをスペクトル成分で表す、合成することと、
前記変換信号(22’)をスペクトル空間変換にかけることと、
によって前記シーケンスのピクチャを復号することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法を実行する、非一時的デジタル記憶媒体。
【請求項29】
コンピュータプログラムを記憶した非一時的デジタル記憶媒体であって、前記コンピュータプログラムがコンピュータによって実行されると、ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出することと、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化することと、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法を実行する、非一時的デジタル記憶媒体。
【請求項30】
ピクチャのシーケンスが内部に符号化されたデータストリームであって、前記ピクチャの前記シーケンスが、ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出することと、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化することと、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法によって前記データストリームに符号化される、データストリーム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、ピクチャのシーケンスを復号するための装置及びピクチャのシーケンスを符号化するための装置に関する。更なる実施形態は、ピクチャのシーケンスを復号するための方法、及びピクチャのシーケンスを符号化するための方法に関する。更なる実施形態は、同じ方法を実行するためのコンピュータプログラムに関する。更なる実施形態は、ピクチャのシーケンスを符号化するための方法によって取得されたデータストリームに関する。いくつかの実施形態は、画像シーケンスコード化のための部分時間予測に関する。
【背景技術】
【0002】
カメラによってキャプチャされた画像のシーケンス又はコンピュータ画面のデスクトップの画面キャプチャのシーケンスなどの画像のシーケンスを送信するとき、限られたバンド幅のみが、この情報を転送するために利用可能である。この問題に対処するために、画像データは、例えば、最初にソースデータ内の空間的及び/又は時間的相関を利用する変換を含むことによって、次いで、非相関変換の作成された係数を量子化及び符号化することによって、不可逆的に圧縮される。時間予測を可能にするためには、エンコーダとデコーダとの両方が、「フレームバッファ」として示される単位で、過去のフレームのデータを保持する必要がある。FPGA実装では、これにより、例えばカメラ又はコンピュータのデスクトップなどのデータソースと、フレームバッファとの両方から同時に大量のデータを転送しなければならないという追加の負担が生じる。ソース、フレームバッファ、及び処理デバイス間のバンド幅も制限要因であるため、フルサイズのフレームバッファを保持することは、アプリケーションに制限を課す可能性があり、又は不可能であり得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
したがって、コード化されたビデオデータの良好なレート歪み関係(レート、例えば、シーケンスがコード化されるデータのサイズと、歪み、例えば、情報又は品質の損失との間の比)と、低いバッファ要件(例えば、ピクチャのシーケンスを符号化又は復号化するのに必要な低サイズのバッファ)との間の改善されたトレードオフを提供するビデオコード化概念が望ましいであろう。
【課題を解決するための手段】
【0004】
一実施形態によれば、データストリームからピクチャのシーケンスを復号するための装置は、データストリームからピクチャの残差変換信号を導出することと、ピクチャの変換信号を得るために、残差変換信号をシーケンスの前のピクチャ(例えば、シーケンスにおいて現在復号されているピクチャの(直接)前のピクチャ)のバッファされた変換信号と合成することであって、変換信号がピクチャをスペクトル成分で表す(例えば、変換信号は、前のピクチャから独立している)、合成することと、変換信号をスペクトル空間変換(例えば、逆周波数変換)にかけることと、によってシーケンスのピクチャ(例えば、現在復号されているピクチャ)を復号するように構成されている。この実施形態によれば、バッファされた変換信号は、前のピクチャを表すスペクトル成分からの選択を含む。
【0005】
一実施形態によれば、ピクチャのシーケンスをデータストリームに符号化するための装置は、変換信号を取得するように、ピクチャの空間表現を空間スペクトル変換(例えば、ウェーブレット変換又は周波数変換)にかけることであって、変換信号がピクチャをスペクトル成分で表す(例えば、変換信号は前のピクチャから独立している)、空間スペクトル変換にかけることと、シーケンスの前のピクチャ(例えば、シーケンスにおいて現在復号されているピクチャの(直接)前のピクチャ)のバッファされた変換信号及び変換信号に基づいて残差変換信号を導出することと、ピクチャの残差変換信号をデータストリームに符号化することと、によってシーケンスのピクチャ(例えば、現在コード化されているピクチャ)を符号化するように構成されている。この実施形態によれば、バッファされた変換信号は、前のピクチャを表すスペクトル成分からの選択を含む。
【0006】
本発明の実施形態は、残差変換信号を取得するために前のピクチャから取得されたバッファされた変換信号を使用することによって、スペクトル成分で符号化されるべきピクチャを表す変換信号を符号化するためのレート歪み関係を強化するという考えに依拠し、残差変換信号はデータストリームに符号化される。したがって、ピクチャのシーケンスの後続のピクチャ間の相関は、例では時間的相関と見なされてもよく、残差変換信号が変換信号よりも低いデータレートを有し得るように利用されてもよい。前のピクチャのスペクトル成分からの選択をバッファすることにより、ターゲットアプリケーションの提供内でバッファされた制御信号をバッファするために必要なバッファサイズを制御することが可能になる。例えば、選択は、必ずしもすべてのスペクトル成分を含む必要はなく、ピクチャのスペクトル成分のサブセットを含むことができ、バッファされた変換信号のデータレートを低減する。空間スペクトル変換の前に、変換されていないピクチャ、すなわち空間ドメインで実行される時間予測とは対照的に、本明細書に開示された概念の例は、ピクチャ全体をバッファすることなく、計算上効率的な時間予測方法を提供することができる。特に、前のピクチャのスペクトル成分の選択のバッファは、比較的中程度のバッファサイズで残差変換信号(すなわち、符号化されたピクチャのレート歪み関係の比較的高い強化)のデータレートの比較的高い低減を達成することを可能にし得る。これらの利点は、デコーダ側において、エンコーダ側で現在のピクチャの残差変換信号を導出するために使用されていた前のピクチャのスペクトル成分が、残差変換信号に基づいて現在のピクチャの変換信号を判定するようにバッファされるように、エンコーダ側及びデコーダ側に同様に適用される。
【0007】
一実施形態によれば、データストリームからピクチャのシーケンスを復号するための方法は、データストリームからピクチャの残差変換信号を導出することと、ピクチャの変換信号を取得ために、残差変換信号をシーケンスの前のピクチャのバッファされた変換信号と合成することであって、変換信号がピクチャをスペクトル成分で表す、合成することと、変換信号をスペクトル空間変換にかけることと、によってシーケンスのピクチャを復号するステップを有している。バッファされた変換信号は、前のピクチャを表すスペクトル成分からの選択を含む。
【0008】
一実施形態によれば、ピクチャのシーケンスをデータストリームに符号化するための方法は、変換信号を取得するように、ピクチャの空間表現を空間スペクトル変換にかけることであって、変換信号がピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、シーケンスの前のピクチャのバッファされた変換信号及び変換信号に基づいて残差変換信号を導出することと、ピクチャの残差変換信号をデータストリームに符号化することと、によってシーケンスのピクチャを符号化するステップを有している。バッファされた変換信号は、前のピクチャを表すスペクトル成分からの選択を含む。
【0009】
一実施形態によれば、非一時的デジタル記憶媒体は、そこに記憶されたコンピュータプログラムを有して、コンピュータプログラムがコンピュータによって実行されると、ピクチャのシーケンスをデータストリームに符号化するための方法であって、この方法が、変換信号を取得するように、ピクチャの空間表現を空間スペクトル変換にかけることであって、変換信号がピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、シーケンスの前のピクチャのバッファされた変換信号及び変換信号に基づいて残差変換信号を導出することと、ピクチャの残差変換信号をデータストリームに符号化することと、によってシーケンスのピクチャを符号化するステップを有しており、バッファされた変換信号が、前のピクチャを表すスペクトル成分からの選択を含む、方法を実行する。
【0010】
一実施形態によれば、非一時的デジタル記憶媒体は、そこに記憶されたコンピュータプログラムを有して、コンピュータプログラムがコンピュータによって実行されると、ピクチャのシーケンスをデータストリームから復号するための方法であって、本方法が、データストリームからピクチャの残差変換信号を導出することと、ピクチャの変換信号を取得するために、残差変換信号をシーケンスの前のピクチャのバッファされた変換信号と合成することであって、変換信号がピクチャをスペクトル成分で表す、合成することと、変換信号をスペクトル空間変換にかけることと、によってシーケンスのピクチャを復号するステップを有し、バッファされた変換信号が、前のピクチャを表すスペクトル成分からの選択を含む、方法を実行する。
【0011】
一実施形態によれば、データストリームは、ピクチャのシーケンスが内部に符号化されており、ピクチャのシーケンスが、ピクチャのシーケンスをデータストリームに符号化する方法であって、本方法が、変換信号を取得するように、ピクチャの空間表現を空間スペクトル変換にかけることであって、変換信号がピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、シーケンスの前のピクチャのバッファされた変換信号及び変換信号に基づいて残差変換信号を導出することと、ピクチャの残差変換信号をデータストリームに符号化することと、によってシーケンスのピクチャを符号化するステップを有し、バッファされた変換信号が、前のピクチャを表すスペクトル成分からの選択を含む、方法によってデータストリームに符号化される。
【0012】
本発明の実施形態は、添付の図面に関して後に詳述される。
【図面の簡単な説明】
【0013】
図1】一実施形態によるエンコーダを示す図である。
図2】一実施形態によるデコーダを示す図である。
図3】空間スペクトル変換の一例を示す図である。
図4】ピクチャのスペクトル成分へのセグメント化の一例を示す図である。
図5】変換されたピクチャの再配置表現の一例を示す図である。
図6】別の実施形態によるエンコーダを示す図である。
図7】別の実施形態によるデコーダを示す図である。
図8】別の実施形態によるエンコーダを示す図である。
図9】一実施形態に係るリフレッシュシーケンスの一例を示す図である。
図10】コード化方式の別の例を示す図である。
【発明を実施するための形態】
【0014】
以下では、実施形態を詳細に説明するが、実施形態は、多種多様なコード化概念で実施することができる多くの適用可能な概念を提供することを理解されたい。説明された特定の実施形態は、本概念を実装及び使用するための特定の方法の単なる例示であり、実施形態の範囲を限定するものではない。以下の説明では、本開示の実施形態のより完全な説明を提供するために、複数の詳細が記載される。しかしながら、これらの具体的な詳細なしで他の実施形態を実施することができることは当業者には明らかであろう。他の例では、本明細書に記載の例を不明瞭にすることを避けるために、周知の構造及びデバイスが詳細ではなくブロック図の形態で示されている。更に、本明細書に記載の異なる実施形態の特徴は、特に別様に明記しない限り、互いに組み合わせることができる。
【0015】
以下の実施形態の説明では、同じ機能を有する同じ又は類似の要素又は複数の要素には同じ参照符号が付されるか又は同じ名前で識別され、同じ参照番号が付されるか又は同じ名前で識別される要素の繰り返しの説明は通常省略される。したがって、同じ又は類似の参照番号を有するか、又は同じ名称で識別される要素について提供される説明は、相互に交換可能であるか、又は異なる実施形態において互いに適用され得る。
【0016】
図1は、一実施形態による、ピクチャのシーケンス15をデータストリーム14にコード化又は符号化するための装置10を示す。装置10は、エンコーダ10とも称され得る。シーケンス15のピクチャは、順序16、例えば時間的順序又はピクチャ順序を有することができる。シーケンス15は、ピクチャ12、例えば現在コード化されるピクチャと、シーケンス15の順序16でピクチャ12に先行する前のピクチャ12*とを含む。例えば、前のピクチャ12*は、例えば現在のピクチャ12の直前に、現在のピクチャ12に対して以前にコード化されたピクチャである。図2は、一実施形態による、対応するデコーダ11、すなわちデータストリーム14からピクチャのシーケンスを復号するための装置11を示す。言い換えれば、デコーダ11は、データストリームからピクチャ12’を再構築するためのものであり、アポストロフィは、デコーダ11によって再構築されたピクチャ12’が、例えば量子化によって導入されるコード化損失に関して、装置10によって最初に符号化されたピクチャ12から逸脱し得ることを示すために使用されている。以下に導入される更なる信号についても同様であり得る。以下の説明では、図1図2との両方を参照する。
【0017】
エンコーダ10は、ピクチャ12の変換信号22を取得するために、例えば、ピクチャ12の1つ又は複数の成分のサンプル値を含む1つ又は複数の二次元アレイを含むことができる、ピクチャ12、より正確にはピクチャ12の空間表現を空間スペクトル変換にかけるように構成された変換モジュール20を備える。適用される空間スペクトル変換に依存して、変換信号は、スペクトル情報に加えて、ピクチャに関する空間情報も備え得ることに留意されたい。これは、例えば図3から5に関してより詳細に説明するように、離散ウェーブレット変換(DWT)が使用される例に特に当てはまる場合がある。可能な変換の更なる例は、離散サイン変換及び離散コサイン変換である。変換モジュール20によって提供される変換信号22は、スペクトル成分でピクチャ12を表す。すなわち、例えば、変換信号22は、ピクチャのスペクトル成分に起因する変換係数を含む。例えば、スペクトル成分は、周波数、及び任意選択的に、スペクトル成分が取得された際に使用された変換方向に関連付けられ得る。
【0018】
エンコーダ10は更に、前のピクチャ12*の変換信号22及びバッファされた変換信号52に基づいて残差変換信号32を導出するように構成された残差形成器30を備える。バッファされた変換信号52は、前のピクチャ12*を表すスペクトル成分からの選択を含む。例えば、エンコーダ10は、前のピクチャ12*を表す更なる変換信号から、バッファされた変換信号52を取得し得る。エンコーダ10は、残差変換信号32をデータストリーム14に符号化するように構成された符号化モジュール70を更に備える。例えば、符号化モジュールは、残差変換信号22を量子化し、エントロピーコード化を使用して量子化信号を符号化することができる。
【0019】
デコーダ11は、例えばエンコーダ10によって符号化されたのと同じ順序16でピクチャのシーケンス15を復号又は再構築するためのものである。デコーダ11は、データストリーム14からピクチャ12’の残差変換信号32’を導出又は復号するように構成された復号モジュール71を備える。既に述べたように、残差変換信号32’は、コード化損失に関してエンコーダ10によって符号化された残差変換信号32とは異なり得る。言い換えれば、残差変換信号32’は、コード化損失にもかかわらず、残差変換信号32に対応することができる。コード化損失にもかかわらず、残差変換信号32について本明細書で提供される説明は、残差変換信号32’に等しく適用されてもよく、その逆も同様である。以下の説明では、アポストロフィは省略されてもよく、すなわち、例えば、参照符号12、22、及び32は、エンコーダ側とデコーダ側との両方の信号を指す。
【0020】
デコーダ11は更に、残差変換信号32’を、例えばピクチャ12*の前に復号されている前のピクチャ12*のバッファされた変換信号52と合成するように構成された残差合成器31を備える。バッファされた変換信号52は、残差変換信号32を導出するために残差形成器30によって使用されるバッファされた変換信号52に対応することができる。例えば、デコーダ11は、前のピクチャ12*を表す更なる変換信号22’*からバッファされた変換信号52を導出することができる。例えば、デコーダ11は、前のピクチャ12*を表す更なる変換信号22’*を使用してバッファされた変換信号52を取得するように構成されたバッファモジュール51を備えることができる。例えば、デコーダ11は、現在のピクチャの変換信号22’について説明したように、前のピクチャの更なる変換信号22’*を導出することができる。例えば、残差合成器31は、残差形成器30によって実行される演算の逆を実行することができる。例えば、残差形成器30は、変換信号22からバッファされた変換信号52を減算することができ、残差合成器31は、バッファされた変換信号52を残差変換信号32に加算することができる。言い換えれば、変換信号22’は、残差変換信号22と比較して残差変換信号22’に含まれるコード化損失にもかかわらず、変換信号22に対応することができる。コード化損失にもかかわらず、変換信号22について本明細書で提供される説明は、変換信号22’にも等しく適用することができ、その逆も同様である。
【0021】
デコーダ11は、変換信号をスペクトル空間変換にかけるように構成された逆変換モジュール21を更に備える。例えば、スペクトル空間変換は、変換モジュール20によってピクチャ12に適用される空間スペクトル変換の逆変換である。例えば、スペクトル空間変換は、例えばエンコーダ10に関して説明したように、ピクチャ12’の空間表現をもたらす。
【0022】
残差変換信号32を取得するためのバッファされた変換信号52の使用は、以下のようにレート歪み関係を強化することができる。残差形成器30は、例えば、スペクトル成分の係数における変換信号22とバッファされた変換信号52との間の偏差を表す残差を判定するために、バッファされた変換信号に含まれるスペクトル成分のうちの1つを使用することができる。言い換えれば、残差形成器30は、バッファされた変換信号に含まれるスペクトル成分について、変換信号22とバッファされた変換信号52との間の残差を判定することができる。したがって、バッファされた変換信号52に含まれるスペクトル成分のうちの1つに属する係数であり、また、バッファされた変換信号52のそれらのそれぞれの対応する係数からほとんど逸脱しない係数である、変換信号22の係数は、特に小さい残差変換係数によって残差変換信号32内で表されてもよく、これにより、符号化ステップ70において良好なレート歪み関係が可能になる。
【0023】
一実施形態によれば、変換信号22、22’は、ピクチャのシーケンスの前のピクチャとは無関係である。例えば、変換信号22は、予測なしで、例えば時間予測なしで取得される。同様に、スペクトル空間変換21は、以前のピクチャとは独立した表現であるピクチャ12’の空間表現をもたらし得る。位置ドメイン(すなわち、空間表現)におけるピクチャの時間予測を回避することは、エンコーダ10及びデコーダ11の小さいバッファサイズを可能にし得る。
【0024】
例えば、ビデオ圧縮の既存の方式では、空間ドメインでの予測のために、エンコーダは、例えば図10に関して説明したように、「閉ループ」設計に従うようにデコーダをモデル化するために逆量子化及び逆空間非相関化ステップを含む必要がある。これらの方式と比較して、前のピクチャとは無関係に変換信号を導出することは、変換と量子化との両方が両方向で実行されなければならないわけではないため、エンコーダの複雑さを低減する。例えば、JPEG XSのフレームワークでは、このような単純さが有益であり得る。
【0025】
例えば、本発明の実施形態は、低複雑性及び低レイテンシ用途、すなわち、限られた処理能力しか利用できず、限られたメモリしか利用できず、画像データが最小限のレイテンシでのみ符号化及び復号される用途のために特に設計された軽量静止画像圧縮コーデックであるJPEG XSのフレームワークに適用することができる。したがって、本発明の実施形態は、JPEG XS、例えば逆変換モジュール21、残差合成器31、及び符号化モジュール71に従って実施することができる。
【0026】
一実施形態によれば、変換信号22は、各々がピクチャのスペクトル成分に関連付けられた複数の変換係数を含む。
【0027】
一実施形態によれば、変換20は、DWTを含み、逆変換21は、逆DWTを含む。この場合、スペクトル成分の各々は、各々が空間座標に関連付けられた複数の変換係数によって表されてもよい。すなわち、変換信号22は、ピクチャ12に関するスペクトル情報と空間情報との両方を含み得る。
【0028】
図3は、一実施形態に係る空間スペクトル変換20の一例を示す。この実施形態によれば、変換モジュール20は、変換されたピクチャ24を取得するために、ピクチャ12に対して複数の、又はシーケンスのDWTを実行する。例えば、各DWTは、それぞれの変換方向(例えば、水平又は垂直)のそれぞれのウェーブレットを用いて実行される。変換されたピクチャ24は、ピクチャ12の複数の変換表現25を含む。変換表現25の各々は、順次実行された場合、ピクチャ12、又は、前の変換表現25に適用されたそれぞれの数の1つ又は複数のDWTによって取得される。
【0029】
各変換表現25は、複数の変換係数を含む。例えば、各変換表現25は、変換係数の2Dアレイを含むことができ、変換表現内の変換係数の座標は、ピクチャ12に関する空間情報を表す。変換表現25、25、25によって図3に表される変換表現25は、その後に適用されるDWTの数及び/又は使用されるウェーブレット及び/又は変換方向に依存して、異なるサイズ、すなわち、異なる数の変換係数を有し得る。図3の例示的な例において、変換表現25は、水平及び垂直DWTによって変換表現25から導出されている場合があり、変換表現25は、水平DWTによって変換表現25のうちの1つから導出されている場合がある。
【0030】
変換表現25の各々は、例えば変換表現が取得された際に使用されたウェーブレットに応じて、それぞれのスペクトル成分に関連付けられ得る。例えば、各スペクトル成分は、それぞれのウェーブレットの周波数及び/又は変換方向によって特徴付けられるか、又はそれらと関連付けられる。言い換えれば、変換表現25の各々は、ピクチャ12のスペクトル成分に関連付けられる。したがって、各スペクトル成分は、複数の変換係数、すなわちその関連する変換表現25の変換係数を含むことができる。変換表現25のサイズは、変換表現25に関連付けられた周波数に依存し得る。より正確には、低周波数スペクトル成分を表す変換表現25は、高周波数スペクトル成分を表す変換表現25として、より少ない数の変換係数によって表すことができる。
【0031】
例えば、変換20及び逆変換21は、空間非相関変換として離散ウェーブレット変換(「DWT」)を適用するJPEG XSに従って実装されてもよい。この変換は、画像データを複数のバンド(例えば、上述のスペクトル成分)に変換し、各バンドは特定のスケールの画像構造に対応し、これにより、最大のバンドは画像の最も細かい構造に関する情報を含み、最小のバンドは最も粗い画像構造に関する情報を含むようになっている。図4は、このようなウェーブレットバンドへの分割を示す。斜線領域には、3つの最大のバンドがあり、最も細かい画像構造を含む。
【0032】
言い換えれば、図4は、変換表現にセグメント化されている図3の変換されたピクチャ24の例を示し、その変換表現25は、変換されたピクチャ24のスペクトル成分のうちの最高周波数スペクトル成分に関連付けられている。
【0033】
例えば、図1及び図2のバッファされた変換信号52のスペクトル成分の選択は、変換されたピクチャ24の最高周波数スペクトル成分の変換係数、すなわち、変換表現25の変換係数を除く、変換されたピクチャ24のすべての変換係数を含む。最高周波数成分を落とすと、他のスペクトル係数と比較して必要なバッファサイズが大幅に減少する可能性があるが、レート歪み関係のダウンサイドは比較的小さくなる可能性がある。
【0034】
変換モジュール20及び変換モジュール21によってそれぞれ実行される(逆)変換に関して、図3及び図4に関して説明したものに対する代替の実施形態では、(逆)離散コサイン変換(DCT)又は(逆)離散サイン変換を使用することができることに留意されたい。この場合、例えば、変換モジュール20による変換は、各々がそれぞれの周波数及び変換方向に関連付けられた複数の変換係数を含む変換ピクチャをもたらすことができる。この場合、変換係数の各々は、周波数及び変換方向の異なる組み合わせを表すことができ、その結果、各変換係数は、個々のスペクトル成分を表すことができる。
【0035】
図1及び図2の説明を続けると、残差合成器31は、一実施形態によれば、バッファされた変換信号52及び残差変換信号32の相互に対応するスペクトル成分を合成することによって残差変換信号32をバッファされた変換信号52と合成するように構成される。例えば、相互に対応するスペクトル成分は、同じ周波数フィルタを用いて等価な空間-スペクトル変換から生じ、等価な空間座標に関連付けられているか、又は等価なスペクトル成分及びピクチャの等価な部分に関連付けられている成分である。
【0036】
一実施形態によれば、変換信号22は、例えば図3及び図4に関して説明したように、複数の変換係数を含み、また、残差変換信号は、変換信号22の変換係数の各々について、対応する残差変換係数を含む。この実施形態によれば、残差合成器31は、残差変換信号22及びバッファされた変換信号52の相互に対応する変換係数を合成するように構成される。したがって、バッファされた変換信号は、それぞれのスペクトル成分、及び任意選択的に空間座標に関連付けられた複数のバッファされた変換係数を含むことができる。同様に、残差形成器30は、この実施形態によれば、バッファされた変換信号の対応するスペクトル成分を使用して変換信号のスペクトル成分を予測又は形成することによってピクチャの残差変換信号を導出するように構成される。
【0037】
一実施形態によれば、バッファされた変換信号52は、変換信号22の各変換係数について、対応するバッファされた変換係数を含み、スペクトル成分の選択に含まれないスペクトル成分に関連付けられたバッファされた変換係数は、所定の値、例えば0に設定され得る。代替の実施形態では、バッファされた変換信号52は、スペクトル成分の選択に含まれるスペクトル成分に関連するバッファされた変換係数のみを含む。この代替案によれば、残差合成器31は、残差変換信号32の相互に対応する残差変換係数の値を引き継ぐことによって、スペクトル成分の選択に含まれないスペクトル成分に関連付けられたバッファされた変換係数に対応する変換係数を判定する。
【0038】
一実施形態によれば、残差形成器30は、変換信号22の対応する変換係数からバッファされた変換信号52の対応するバッファされた変換係数を減算することによって、残差変換信号32の残差変換係数を判定する。この実施形態によれば、残差合成器31は、バッファされた変換信号52の対応するバッファされた変換係数を残差変換信号32の対応する残差変換係数に加算することによって、変換信号22の変換係数を判定する。
【0039】
図1及び図2に関して既に述べたように、エンコーダ10及びデコーダ11は、前のピクチャ12*を表す更なる変換信号22’*からバッファされた変換信号52を導出することができる。エンコーダ10及びデコーダ11は、例えば、更なる変換信号のために、前のピクチャ12*が入力として使用されることを除いて、これらエンコーダ10及びデコーダ11が現在のピクチャの変換信号22を導出するのと同じ方式で、更なる変換信号22*を導出し得る。言い換えれば、デコーダ11は、更なる変換信号22*を取得するために、前のピクチャ12*を復号し得る。
【0040】
一実施形態によれば、デコーダ11は、復号モジュール71によって、データストリーム14からの前のピクチャの更なる残差変換信号を復号することによって前のピクチャを復号する。更なる残差変換信号は残差合成器31に入力され、残差合成器は、更なる変換信号を取得するために、更なる残差変換信号をシーケンスの更により前のピクチャの更なるバッファされた変換信号と合成する。更なる変換信号は、現在のピクチャの変換信号と同様に、スペクトル成分において前のピクチャを表す。更なる変換信号は、逆変換器21に入力され、この逆変換器は、前のピクチャ12*の空間表現を取得するために、更なる変換信号をスペクトル空間変換にかける。
【0041】
したがって、バッファされた変換信号52のための導出プロセスは、現在のピクチャの変換信号と同じ方式であり得る前のピクチャの更なる変換信号が、現在のピクチャの導出のためのバッファされた変換信号52を導出するためにフィードバックされるループとして例示され得る。図2の図において、参照符号19はループの位置を示し、参照符号の使用は現在のピクチャの導出と前のピクチャの導出とを切り替える。
【0042】
しかしながら、前のピクチャ12*は、必ずしも更なるバッファされた変換信号を使用して復号されるとは限らず、むしろ、前のピクチャ12*は、例では、例えば、シーケンスの最初のピクチャ又はリフレッシュピクチャ又はイントラコード化されたピクチャなどの特定のピクチャについて、更に別のピクチャから独立して、又は前のピクチャの前のシーケンスの任意のピクチャから独立して復号されてもよいことに留意されたい。この場合、残差合成器31によって実施される合成のステップはスキップされてもよい。同様に、そのようなピクチャについて、エンコーダ10は、残差形成器30によって実行される予測のステップをスキップすることができる。
【0043】
一施形態によれば、バッファモジュール51は、バッファされた変換信号52に対して、更なる変換信号のスペクトル成分のサブセットを選択することによって、更なる変換信号からバッファされた変換信号52を導出する。この実施形態の例では、サブセットは、更なる変換信号のすべてのスペクトル成分の適切なサブセットであり得る、すなわち、更なる変換信号のすべてのスペクトル成分を含まない。この実施形態によれば、バッファモジュール51は、選択に含まれないスペクトル成分である、バッファされた変換信号のスペクトル成分を所定の値に設定する。例えば、バッファモジュール51は、バッファされた変換信号52のすべての係数、例えば、選択に含まれないスペクトル成分に関連付けられた上述のバッファされた変換係数を所定の値に設定する。例えば、特に残差合成器が変換係数と相互に対応するバッファされた変換係数との合計を実行する場合、所定の値は0である。
【0044】
例えば、バッファモジュール51は、どのスペクトル成分が選択に含まれるか、例えば、これらのスペクトル成分を排他的にバッファする一方で、選択に含まれないスペクトル成分を破棄する(又はバッファしない)、更なる変換信号のスペクトル成分をバッファ(例えば、記憶)することができる。
【0045】
一実施形態によれば、バッファされた変換信号52のスペクトル成分の選択は、0ではない周波数に関連する少なくとも1つのスペクトル成分を含む。0ではない周波数成分を含むことは、良好なレート歪み関係を達成することを可能にするが、特に0ではない周波数成分を低周波数成分として選択するとき、図3に関して説明したように、必要なバッファサイズは依然として中程度であり得る。代替の実施形態によれば、バッファされた変換信号52のスペクトル成分の選択は、0周波数又は一定レベルに関連付けられたスペクトル成分を排他的に含むか、あるいは、ピクチャのスペクトル成分が関連付けられている周波数のうちの最低周波数に関連付けられた1つ又は複数のスペクトル成分を排他的に含む。
【0046】
実施形態によれば、ピクチャ12、12*は、部分(例えば、プレシンクトと呼ばれる)の単位でデータストリーム14にコード化され、各部分は、ピクチャの空間領域に関連付けられる。この目的のために、変換信号及び/又は残差変換信号は、部分に細分され得る。各部分の各々は、ピクチャ内の空間領域に関連し得る。
【0047】
図3は、変換信号22の部分26の一例を更に示す。変換信号の部分26は、変換20から生じる1つ又は複数の変換表現25の各々のブロック又は領域内の変換係数を含む。例えば、図3において、部分26は、変換表現25のそれぞれの領域26内、変換表現25のそれぞれの領域26内、及び変換表現25のそれぞれの領域26内の変換係数を含む。すなわち、図3において、部分26は、領域26、26、26内の変換係数で表されている。部分26内の変換係数は、ピクチャ12内の、又はより正確にはピクチャ12の空間表現(位置ドメイン内の表現)内の領域16に関連する(例えば、領域16の情報を表す)。図3に示すように、部分26は、すべての変換表現25にわたって変換ピクチャ24内に分散されてもよく、又は変換表現25の各々にサブ部分を含んでもよい。
【0048】
例えば、部分26は、変換表現25のそれぞれのブロック内のすべての変換係数を含むことができ、変換表現のそれぞれのブロックは、変換表現の相対スケールに従って位置及びサイズがスケーリングされる。
【0049】
例えば、部分26は、ピクチャ12の領域16に関連する変換係数を含み得る。変換ドメイン内の部分26の境界はシャープであってもよく、すなわち、変換係数の各々は変換信号の正確に一部分に属してもよいことに留意されたい。したがって、ピクチャ12内の領域16の境界がぼかされ得、このぼかしの程度は、DWTで使用されるウェーブレットテンプレートのサイズに依存する。したがって、ピクチャ12の1つのサンプルは、複数の領域16に属することができ、これは、領域16の境界に位置するサンプルに特に当てはまる。したがって、領域16は、隣接する領域と重なってもよい。
【0050】
一実施形態によれば、部分26及び領域16は、ピクチャ12の全水平サイズにわたって延在する。
【0051】
変換20がDWTを備える実施形態によれば、エンコーダ10は、例えば、図5に関して以下に記載されるように、変換信号22を再配置表現に再配置し、エンコーダ10は、変換信号22によってシグナリングされる変換されたピクチャ24の再配置表現を使用して残差形成30を実行する。したがって、デコーダ11は、残差合成器31によって取得された変換信号22’を逆に再配置し、逆に再配置された変換信号に対して逆変換31を実行することができ、これは、コード化損失にもかかわらず、再配置前のエンコーダ側の変換信号22に対応することができる。
【0052】
図5は、変換されたピクチャ24の再配置から生じ得る、変換されたピクチャ24の再配置表現24’の例を示す。再配置表現は、複数の部分26を含むか、又はそれに細分され、参照符号26*は、複数の部分のうちの図3の部分26を識別するために使用される。図5に示すように、再配置表現24’では、異なるスペクトル成分に属するが、部分26*に属する領域26、26、26が再配置されるか、又はグループ化されて、再配置表現において1つのブロックを形成する。
【0053】
例えば、部分26のうちの1つ、又は一般に、ピクチャの領域16に関する情報を搬送する変換信号の部分は、プレシンクトと呼ばれる場合がある。なお、図3及び図5に示すように、1つのプレシンクトが(変換された)ピクチャの全幅をカバーするとは限らない。例えば、再配置表現はスライスに細分化されてもよく、各スライスは再配置表現24’の全幅をカバーする(したがって、ピクチャの全幅をカバーするスライスであるピクチャ12のスライスの情報を搬送する)。1つのスライスは、任意選択的に、1つ又は複数のプレシンクトに細分することができる。図3及び図5の例では、各スライスは1つのプレシンクトを有し、したがってそれは全幅をカバーする。
【0054】
実施形態によれば、スライスは、8つ又は4つのプレシンクトからなる。例えば、1つのスライスは、16ラインの高さであり得、8つのプレシンクトに対応する1つの垂直分解レベルを有し得、各プレシンクトは、2つのレベルから4つのプレシンクトを有する。
【0055】
ブロック単位のコード化は、DWT変換が使用される実施形態に限定されないことに留意されたい。例えば、DCT又はDSTを使用する場合、ピクチャ12はブロックに細分されてもよく、個々のブロックは、変換信号の部分を形成するそれぞれの変換ブロックを取得するようにDCT又はDST変換を受けてもよく、各部分は、ピクチャの空間領域、すなわちピクチャが細分されるブロックに関連付けられる。
【0056】
更に、変換信号22の各部分について、残差変換信号32の対応する部分、及びバッファされた変換信号52の対応する部分が存在し得ることに留意されたい。しかしながら、バッファされた変換信号52は、例におけるように、変換信号のすべての部分について、スペクトル成分又はバッファされた変換係数を必ずしも含まなくてもよく、部分のサブセットのみがバッファされてもよい。バッファされた変換信号に含まれない部分について、変換係数は、所定の値、例えば0に設定されてもよく、又は残差合成器31によって所定の値を有するものとして扱われてもよい。
【0057】
前述のように、本発明の実施形態は、JPEG XSに従って実施することができる。JPEG XSは、例えば変換信号22などのウェーブレットバンド内の変換画像データをいわゆるスライスにグループ化し、各スライスは、例えば図3及び図5に示すように、全画像幅にわたって延在するが、画像の垂直延在部のサブセクションのみにわたって延在する元の画像の空間領域、例えば領域16を記述する。図5の例は、このような配置であってもよく、この図の点線領域は1つのスライスからなる。スライス(例えば、斜線領域のうちの1つ)内の各バンドは、ここで、ウェーブレットバンドに対応するスケールの画像構造、例えばスペクトル成分を記述し、各バンドは、画像の一部分内の構造、例えば画像の全幅を通って延びるが、その垂直方向の広がりのサブセットのみを通って伸びる画像の一部分内の構造を記述することに留意されたい。
【0058】
図1及び図2の説明を続けると、一実施形態によれば、図1及び図2の残差変換信号32は、部分26の各々について、例えば図3に関して説明したように、複数のスペクトル成分を含む。この実施形態によれば、バッファモジュール31は、前のピクチャの1つ又は複数の部分、例えば1つのスライスのスペクトル成分のサブセット、例えば適切なサブセットを選択してバッファすることによって、更なる変換信号からバッファされた変換信号52を導出する。この実施形態によれば、バッファモジュールは、バッファされた変換信号52の部分26のうちの1つのスペクトル成分を残差変換信号の対応する部分26の対応するスペクトル成分と合成することによって変換信号22を取得する。
【0059】
したがって、更なる変換信号のバッファを部分単位で行うことができ、その結果、バッファされるスペクトル成分の選択を部分ごとに行うことができる。すなわち、エンコーダ10は、変換信号22の部分の各々について、又は部分のグループの各々について、例えばピクチャの複数のスライスの各々について、前のピクチャからバッファされたスペクトル成分の選択を個別に決定することができる。
【0060】
そのため、例えば、使用可能なバッファが各部分に均等に分布しているとは限らない。例えば、部分のうちの第1のものについては、スペクトル成分を全く又はほとんどバッファすることができず、一方、部分のうちの第2のものについては、より多数のスペクトル成分をバッファすることができる。例えば、選択は、変換信号又は更なる変換信号に基づいて部分ごとに実行されてもよく、利用可能なバッファの効率的な使用、すなわち、利用可能なバッファを考慮して良好なレート歪み関係を見つけることを可能にする。部分の選択はまた、例えば図8に関して説明したように、リフレッシュシーケンスに従って実行されてもよい。
【0061】
一実施形態によれば、デコーダ11は、ピクチャのすべての部分に対して共通にバッファされた変換信号に対してバッファされるスペクトル成分の選択を導出する。例えば、ピクチャのすべての部分26について同じスペクトル成分がバッファのために選択される。代替の実施形態によれば、ピクチャは、スライス単位でデータストリームにコード化され、スライスの各々は、部分のうちの1つ又は複数を含む。例えば、1つのスライスは、ピクチャ12の全水平サイズにわたって延在する。この実施形態によれば、装置は、ピクチャの1つのスライスのすべての部分に対して共通にバッファされた変換信号に対してバッファされるスペクトル成分の選択を導出する。
【0062】
一実施形態によれば、デコーダ11は、データストリーム内でシグナリングされたシンタックス要素、例えば、図8に関して記載されたシンタックス要素シグナリング制御パラメータ92から、バッファされた変換信号のためにバッファされるスペクトル成分の選択を導出する。例えば、データストリーム14は、スペクトル成分の選択をシグナリングするための専用シンタックス要素を含む。エンコーダ10は、シンタックス要素をデータストリーム14に符号化するように構成され得る。
【0063】
例において、バッファされるべきスペクトル成分の選択は、変換表現25のラインごとに、例えば、DWTから生じるバンドのラインごとに、それぞれのラインの更なる変換信号をバッファするか否かを決定することによって、部分ごとに実行され得る。ラインごとに決定する代わりに、変換表現は、変換表現の1つ又は複数のライン(例えば、変換表現の全幅にわたって延在する)を含む部分、例えばバンドに細分化されてもよく、決定は、変換表現の部分ごとに行われてもよい。各部分は、ピクチャの空間領域及びそれぞれの変換表現に関連するスペクトル成分を参照するので、ピクチャのどの領域がバッファされるべきかを各スペクトル成分に対して決定することができる。粒度に関して、変換表現の部分の高さは、例えばいくつかのラインで、変換表現、例えばバンドの各々について同一であっても異なっていてもよいことに留意されたい。
【0064】
したがって、デコーダは、更なる変換信号のスペクトル成分の複数の部分のうちの1つ又は複数を選択してバッファすることによって、例えば、スペクトル成分の複数の部分の各々について、それぞれの部分をバッファするか否かを決定することによって、更なる変換信号22’*からバッファされた変換信号52を導出することができる。例えば、部分は、スペクトル成分を表す変換表現の複数の部分の各々について、更なる変換信号のそれぞれの部分をバッファするか否かを決定する上述の方法で選択されてもよい。上述したように、複数の部分の各々は、変換表現の1つ又は複数(例えば、全体)のライン又は行を含むことができる。したがって、各部分は、入力画像の空間領域から導出された係数を含むか、又はそれからなり得る。空間領域のバッファに関する部分ごとの決定は、すべてのスペクトル成分に対して、又はスペクトル成分のサブセット、例えばバッファされるように選択されたスペクトル成分のサブセットに対して実行され得る。この例では、装置は、バッファされるための選択に含まれない部分であるバッファされた変換信号52の部分を所定の値に設定することができる。ピクチャの変換信号22を取得する際に、デコーダは、バッファされた変換信号52のスペクトル成分の選択及びバッファされた部分を、残差変換信号32’の対応するスペクトル成分の対応する部分と合成することができる。
【0065】
図6は、一実施形態に係るエンコーダ10の別の例を示す。この実施形態によれば、エンコーダ10は、前のピクチャの再構築された変換信号22’*を取得するために、図6において参照符号32’*を用いて示されている前のピクチャの更なる残差変換信号を、参照符号52*を用いて示されている更なるバッファされた変換信号と合成するように構成されている残差合成器31を備える。再構築された変換信号22’*は、コード化損失にもかかわらず、前のピクチャの更なる変換信号に対応することができる。再構築された変換信号22’*は、デコーダに関して前述した更なる変換信号22’*に対応し得るが、コード化損失に関して、変換モジュール20によって提供されるように、前のピクチャの更なる変換信号とは異なり得る。エンコーダ10の残差合成器31は、デコーダ11の残差合成器31に対応することができ、すなわち、デコーダ11に関して説明したのと同じ動作をその入力信号に対して実行する。この実施形態によれば、エンコーダ10は、例えばデコーダ11のバッファモジュール51に関して説明したように、再構築された変換信号22’*を受信し、バッファされた変換信号52を提供するバッファモジュール51を更に備える。
【0066】
したがって、図6から分かるように、エンコーダ10は、前のピクチャ12*の更なる空間表現を変換モジュール20によって実行される空間スペクトル変換にかけることによって前のピクチャを符号化することができ、更なる変換信号を提供する。残差形成器30は、シーケンスの更により前のピクチャの更なるバッファされた変換信号52*及び更なる変換信号に基づいて更なる残差変換信号を導出することができ、エンコーダ10は、更なる残差変換信号からバッファされた変換信号52を導出することができる。
【0067】
一実施形態によれば、エンコーダ10は、ピクチャ12の残差変換信号32を量子化するように構成された量子化器60を備え、それにより、量子化信号62を取得する。同様に、量子化器60は、前のピクチャ12*の更なる残差変換信号を量子化することができ、それにより、更なる量子化信号62*を提供する。量子化器60が量子化に使用する量子化ステップサイズ又は量子化モデルは、量子化パラメータによって記述されてもよい。この実施形態によれば、エンコーダ10は逆量子化器61を備える。逆量子化器61は、残差合成器31に提供される逆量子化された更なる残差信号32’*を取得するように、更なる量子化信号62*をスケーリング又は逆量子化する。逆量子化された更なる残差信号32’*は、量子化及び逆量子化によって導入されたコード化損失にもかかわらず、残差形成器30によって提供されるように、前のピクチャ12*の更なる残差変換信号に対応することができるので、逆量子化された更なる残差変換信号32’*は、例えば、エンコーダ10の残差合成器31の説明において上で行われたように、更なる残差変換信号32’*とも呼ばれ得る。言い換えれば、量子化器60及び逆量子化器61を含む実施形態では、残差合成器31に提供される更なる残差変換信号32*は、逆量子化器61によって提供され、量子化損失を含むことができる。
【0068】
一実施形態によれば、エンコーダ10は、量子化信号62をデータストリーム14に符号化するように構成された符号化モジュール80を備える。例えば、符号化モジュール80は、エントロピー符号化を使用して、例えばJPEG XSのような有界コードを使用して、量子化信号62を符号化することができる。変換係数の少なくとも一部の、残差形成器30によって残差を形成し、残差変換信号62を量子化することは、量子化信号62において値0を有する多数の量子化レベルをもたらすことができ、その結果、エントロピーコード化は高い圧縮率をもたらすことができる。
【0069】
言い換えれば、ウェーブレット変換されたデータ、例えば変換信号22から取得された残差変換信号は、限られた精度に量子化され、無関係な画像コンテンツを除去し、多くの0係数を作成することができる。量子化データはエントロピーコード化されてもよい。多くの係数を0に量子化することにより、エントロピーコード化は、元の画像よりも少ないビットを効率的に使用して量子化データを表すことができ、コンパクトな記憶及び伝送を可能にする。
【0070】
図7は、図6のエンコーダ10の例に従うことができる、一実施形態によるデコーダ11の例を示す。特に、図6のデコーダ11は、この実施形態によれば、量子化損失によって残差変換信号32から逸脱し得る残差変換信号32’を提供するように、量子化信号62を逆量子化するように構成された逆量子化器61を備えることができる。
【0071】
一実施形態によれば、デコーダ11は、例えばエントロピー復号を使用して、例えばJPEG XSのような有界コードを使用して、データストリームから量子化信号62を導出又は復号するように構成された復号モジュール81を更に備える。
【0072】
例えば、量子化器60及び符号化モジュール80は、図1の符号化モジュール70の一部であってもよく、逆量子化器61及び復号モジュール81は、図2の復号モジュール71の一部であってもよい。復号モジュール71は、特に量子化及びエントロピーコード化ステップに適用することができる復号モジュール71の動作の逆方向動作を実行することができることに留意されたい。
【0073】
図8は、エンコーダ10の別の実施形態を示し、これは、図1及び図6の実施形態に任意選択的に対応することができる。
【0074】
前述のように、本発明の実施形態は、空間的非相関化の後であるが量子化の前に時間予測を実行する。特に、離散ウェーブレット変換(「DWT」)を第1のステップとして適用して、図5に見られるようなウェーブレットバンドのカスケードを作成することができ、時間予測がこれらのバンド内、すなわちウェーブレットドメイン(又は変換ドメイン)内に適用され、空間ドメイン内には適用されない。図8に示すように、非相関化20は、時間予測30の前に実行され、この実施形態によれば、動き推定も動き予測も実行されず、そのような動作の複雑さが回避される。
【0075】
本発明の概念は、時間予測を任意選択的にバンドの一部にのみ適用することができ、符号化及び復号側におけるフレームバッファの記憶量を制限するという利点を有する。例えば、時間予測が使用されるバンドは、制御パラメータ92によって選択又は制御又は決定されてもよい。図8は、バッファモジュール51の例示的な実装形態を示しており、それによれば、例えばスライスごとに制御される制御パラメータ92に応じて、フレームバッファ56内のデータを所定の値93、例えば0で置き換えることができ、それにより、所与のスライス内のバンドのサブセット、例えば所定の値に設定されたバンドに対して予測が行われない。例えば、このようにして、バッファ又は格納されるデータ、すなわちバッファされた変換信号52は、より少ないデータストレージを必要とする。例えば、制御パラメータ92は、例えば、前述のように所望のレート歪み関係又は利用可能なリソースを考慮して、任意選択の品質制御モジュール96によって、又はそれに応じて判定されてもよい。追加的又は代替的に、制御パラメータ92は、図8及び図9を参照して説明したように、段階的なリフレッシュ機構によって決定されてもよい。
【0076】
制御パラメータ92は、エントロピーコード化データに含まれてもよく、デコーダがその予測メカニズムをエンコーダと同じ設定に調整することを可能にする。例えば、図4の3つの斜線バンドがフレームバッファに格納されていない場合、フレームバッファのサイズは元のサイズの1/4に縮小され、フレームバッファとメインプロセッサとの間のバンド幅は1/4の係数に縮小される。斜線バンドは、最も細かいスケールの高周波数コンテンツのみを含むため、画質への影響は最小限のままであり、良好な圧縮が依然として取得される。
【0077】
追加の利点は、エンコーダがデコーダ側フレームバッファの状態をモデル化するための追加の逆変換を含む必要がないことである。代わりに、「閉ループ」設計に従って、複雑度の低い逆量子化を実行するだけでよい。
【0078】
図1から図8を参照して説明したコード化方式では、エンコーダ10は、時間変換の出力のみを送信してもよい。したがって、場合によっては、デコーダ11は、例えば既に実行中の接続に切り替える場合に、完全に符号化されたシーケンスへのアクセスを有していない。そのような場合、デコーダは、過去のフレームからの情報が不足しているため、画像を再構築することができない。しかしながら、典型的なアプリケーションは、実行中のストリーム(例えば、最大で約200ミリ秒)に切り替えた後の最小限の遅延の後に元のデータの忠実な再構築を必要とする。同時に、最小限のレイテンシを確実にすること、すなわち、デコーダが画像データを受信することと、デコーダが、実行中の接続に切り替えた後に同じタイムスタンプ及び同じ画像領域に対して同じ画像データを再構築することができるようになることとの間の遅延を最小限に抑えることも望ましい。この遅延は、典型的には、始動遅延よりもはるかに低くする必要があり、例えば、フレームの一部分までさえ制約され得る。
【0079】
解決策として、本発明の任意の部分は、上記の部分フレームバッファ(図1から図8に関連して説明した前の変換信号の選択的バッファ)と、初期データにアクセスすることなく接続に切り替えるデコーダが、いくらかの一時的に予測されたフレームの後に完全な画像を復元することを可能にする、例えば段階的リフレッシュ機構と呼ばれる機構との組み合わせである。特に、スペクトル成分、特に図8に記載されている制御パラメータ92の部分ごとの選択と組み合わせて、例えば制御パラメータによる選択は、スライスごとに調整することができ、その結果、予測は、例えば、段階的リフレッシュ制御によって必要とされるように、ピクチャの特定の部分に対して完全に無効化することができる。このような部分リフレッシュでは、いずれのバンド(例えば、部分リフレッシュが参照するスライスのバンド)も、それらのサブセットさえも、フレームバッファから予測を受信しない。
【0080】
図9は、一実施形態に応じた、ピクチャのシーケンス15のサブシーケンス17の一例を示す。サブシーケンス17はリフレッシュシーケンスと呼ばれてもよい。サブシーケンス17は、シーケンス15の複数のピクチャ、図6では例示的な数の3つのピクチャ12、12、12を含む。一実施形態によれば、サブシーケンス17の各ピクチャは、サブシーケンス17のピクチャ12、12、12の各々について、ピクチャの1つ又は複数の部分の各々の1つ又は複数のスペクトル成分を、バッファされた変換信号の対応するスペクトル成分を使用して予測することを抑制することと、ピクチャの1つ又は複数の更なる部分の各々の1つ又は複数のスペクトル成分を、バッファされた変換信号の対応するスペクトル成分を使用して予測することと、により、エンコーダ10によってデータストリーム14に符号化される。ピクチャは、サブシーケンスのピクチャ全体のバッファされていない部分が組み合わされてピクチャの全ピクチャ領域をカバーするように符号化される。例えば、図6に示すように、ピクチャ12の部分26は、前のピクチャを用いて変換信号22を予測せずに符号化され、ピクチャ12の部分26は、前のピクチャを用いて変換信号22を予測せずに符号化され、ピクチャ12の部分26は、前のピクチャを用いて変換信号22を予測せずに符号化される。部分26、26、26は、組み合わされてピクチャの全領域を完全に覆う。言い換えれば、シーケンスのピクチャは、複数のスライスに等しく細分化されてもよく、スライスの各々は、少なくともシーケンスのピクチャのうちの1つの符号化において、前のピクチャからの予測なしに符号化されてもよい。
【0081】
したがって、例えば、サブシーケンスの最後のピクチャは、サブシーケンスの最初のピクチャに先行するシーケンス15の任意のピクチャから独立して符号化される。したがって、サブシーケンス全体を復号した後、デコーダがサブシーケンスの前のピクチャに関する情報を有していなくても、デコーダ11は更なるピクチャを完全に復号することができる。
【0082】
図6に関連して説明された実施形態によれば、デコーダ11は、サブシーケンスのピクチャの各々について、ピクチャの1つ又は複数の部分の各々の1つ又は複数のスペクトル成分をバッファされた変換信号の対応するスペクトル成分と合成することを抑制することと、ピクチャの1つ又は複数の更なる部分の各々の1つ又は複数のスペクトル成分をバッファされた変換信号の対応するスペクトル成分と合成することと、により、サブシーケンス17のピクチャを復号する。
【0083】
サブシーケンスのピクチャは必ずしも互いに直接続くわけではなく、シーケンス15の更なるピクチャがサブシーケンス17のピクチャと交互にされてもよいことに留意されたい。
【0084】
言い換えれば、一実施形態によれば、エンコーダ10は、任意選択の特徴として図8に示すように、段階的リフレッシュ制御モジュール90を含む。段階的リフレッシュ制御モジュール90は、スライスについて、又は各スライスについて、どのバンドが予測に関与するかを判定する制御パラメータ92をシグナリングすることができる。予測に関与しない領域、例えばスライスに関し、デコーダは、フレームバッファ56の内容が所定の値、例えば0によって置き換えられるので、フレームバッファ56の内容に依存せずに、例えば前のピクチャに依存せずに、画像データの全部又は一部を再構築することができる。フレームバッファ内にバンドを含まず、したがって時間予測を受けないスライスは、以下では「Iスライス」として示される場合があり、いくつかの時間予測されたバンドを含むスライスは「Pスライス」として示される。一実施形態によれば、すべてのスライスの一部がIスライスとして送信され、それにより、複数のフレーム、例えば図8に記載されているサブシーケンス17のリフレッシュ間隔の後、すべてのスライスが、例えばシーケンスの少なくとも1つのピクチャ内で、時間予測なしに送信され、デコーダがそのフレームバッファをリフレッシュすることを可能にする。
【0085】
そのような方式の一例として、N個のスライスからなる画像を考える。図8において、Nは、例示的に3である。フレーム番号kの場合、スライスk mod NはI-sliceとして送信することができ、ここで「mod」は剰余演算子である。この例示的な方式では、N個の後続フレームの後にフルフレームリフレッシュに達する。例えば、スライスkp mod NをIスライスとして送信するための他の方式も想定され得、p及びNは比較的初期のものである。第3の例として、エンコーダはまた、時間予測から最も利益を得ないIスライス、すなわち、前のフレームに対する変化が大きすぎて時間予測を価値のあるものにすることができないIスライスとしてそれらのスライスを選択することができる。そのような方式は、第1又は第2の例で与えられるような静的Iスライス割り当てと組み合わせることができる。
【0086】
デコーダリフレッシュのためにIフレーム(非予測フレーム)を時々送信する、すなわち時間予測なしにフレーム全体を符号化する従来の機構と比較して、段階的リフレッシュ機構はビットレート変動を全く引き起こさないか、又はほとんど引き起こさない可能性がある。より正確には、段階的なリフレッシュの間、符号化されるリフレッシュシーケンスの後続フレームのレートは、時々(例えば、10「Pフレーム」ごとの「Iフレーム」)のフルリフレッシュピクチャの符号化と比較して、互いからあまり逸脱しない場合がある。このIフレームのレートは大きく、Pフレームよりも大きなレートを必要とし、したがって、デコーダにおいてより大きな入力バッファも必要とする。しかしながら、デコーダにおけるより大きな入力バッファはまた、十分な量のデータがバッファされることを保証するためのレイテンシを増加させる。したがって、段階的なリフレッシュは、より小さいバッファ、したがって遅延の減少、又は非予測フレームの品質の増加のいずれかの利点を有し得る。
【0087】
換言すれば、図1図9に関して説明した本発明の一実施形態は、更なるバンド幅削減のために画像シーケンス内の時間的関係を利用する、記載されている一時的に関連する画像シーケンスのコード化方法を提供する。この方法は、ウェーブレットフィルタに基づく空間非相関変換と、それに続く空間非相関変換の変換ドメインにおける時間非相関変換とを含む。すなわち、一般的な方式とは異なり、時間予測はフィルタ処理されたドメインで行われる。処理の複雑さを低減するために、時間的非相関化は、空間的非相関化の出力のサブセットにのみ適用されてもよい。デコーダが送信の最初のフレームを受信していないときでも完全な画像を再構築できることを保証するために、時間予測なしに元の画像のウィンドウを送信する段階的更新手順が記載される。しばらくしてからフルフレームを再構築できることを確実にするために、この段階的な更新ウィンドウがフレーム上で移動される。
【0088】
図10は、代替的なコード化方式の例を示す図であり、このコード化方式に関連して、いくつかの既存のビデオ符号化方式を上回る本発明の利点が以下で論じられる。典型的に使用されるビデオコーデックの例は、H.261、H.264(AVC)又はH.265(HEVC)である。そのような方式では、データは、例えば予測されたフレームと元のフレームとの間の差分データを作成することによって最初に時間的非相関化を受け、次に画像がブロックに分割され、これらのブロック上で、離散コサイン変換(「DCT」)又は離散サイン変換(「DST」)などの空間非相関変換が実行される。通常、この予測はまた、元のデータ内の動きの推定を含み、次いで動き補償データのみから予測する。このステップが複雑すぎる場合、H.261などの方式も動きを推定することなく機能することができることに留意されたい。
【0089】
復号器がしばらくしてフルフレームを再構築できるようにするために、実行中の接続に切り替わるときでも、そのような設計は、時々動き情報なしでフルフレームを送信する。以下、このようなフレームを「I」フレームと表記する。動きからの予測ステップを含むフレームは、「P」フレームと呼ばれる。追加の予測機構が存在してもよいが、本明細書に記載の発明に関連しない。
【0090】
しかしながら、上記の方式はすべて、空間的非相関化の前に時間予測を実行し(すなわち、空間非相関変換は、時間的に予測されたデータにわたって実行される)、フレームバッファは元の画像のものと同じサイズであり、Iフレームはフルリフレッシュのためのデータを含むことに留意することが重要である。しかしながら、ビデオコード化規格H.263+及びISO/IEC 14496-2などのいくつかの既存の設計は、変換係数の追加の空間予測を可能にし、すなわち、変換ドメインにおいて追加の任意選択の予測を提供するが、これは空間相関に依存し、すなわち、同じピクチャの異なる空間領域が変換係数の予測に使用される。
【0091】
時間予測は、典型的には「閉ループ」設計に従う。すなわち、エンコーダはデコーダのモデルを含み、デコーダがどの出力を生成するかを正確に予測することを可能にし、この予測された出力に対してその時間予測を実行する。このような閉ループ時間予測がなければ、実際のエンコーダ及びエンコーダ側フレームバッファの出力はゆっくりとドリフトし、しばらくすると視認可能な画像の歪みを引き起こす可能性がある。図10は、従来のビデオコード化方式のステップの概要を示す図である。
【0092】
対照的に、本発明の実施形態は、変換ドメインにおける空間予測ではなく、変換ドメインにおける時間予測を使用することができる。
【0093】
上記のような従来のビデオコーデックでは、予測されていないフレーム(「I」フレーム)は、変換後であってもより多くのビット量を必要とするか、又はデータの伝送に最大上限バンド幅しか利用できない場合には、より高い量子化を必要とし、それらの品質を低下させる。これは、そのようなレート導出を平滑化するためにエンコーダ及びデコーダ側でより大きなバッファを必要とする伝送レートのピーク、又はそのような予測されない「I」フレームでの顕著な品質劣化のいずれかをもたらす。
【0094】
本発明の実施形態によれば、含まれるバンドの数を定義する制御パラメータを0に変調することによって、段階的なリフレッシュを容易に実施することができる。H.264などのビデオコード化規格及びそれに続くエンティティとしてのすべての変換された係数に適用される段階的なリフレッシュを既に可能にすることとは対照的に、本発明の実施形態は、段階的なリフレッシュに必要とされるような予測がないことが特殊な場合にすぎない時間予測の量の変調を可能にする。したがって、バッファ及びデータレートの正確な制御が達成可能である。
【0095】
JPEG XSなどの他のコーデックは、現在、時間予測のための機構を含まず、したがって、いくつかのアプリケーションにとって高すぎるバンド幅を必要とする。エンコーダ及びデコーダがフルフレームを表すためにメモリを含む必要があり、時間予測を可能にするために過去のフレームからデータを検索するためにエンコーダ/デコーダ上の実際の処理ユニットとローカルストレージ(「RAM」)との間のバンド幅を提供する必要があるビデオコーディング規格H.261及びそれ以降の時間予測のための方法と比較して、提案された方式は、ローカルストレージのサイズが外部制御パラメータによって動的にスケーリングされ、システムを画像の複雑さ及びシステムのバンド幅に調整することができるという利点を提供する。なお、このパラメータの極端な設定の一例では、時間予測が行われないように、データが全く含まれていなくてもよい。
【0096】
いくつかの態様が装置の文脈における特徴として説明されているが、そのような説明が方法の対応する特徴の説明と見なされてもよいことは明らかである。いくつかの態様は、方法の文脈における特徴として説明されているが、そのような説明は、装置の機能に関する対応する特徴の説明とも見なされ得ることは明らかである。特に、エンコーダ及びデコーダを記載する際に使用される図1、2、6、7、8、9のブロック図は、符号化及び復号化のための対応する方法を記載するブロック図としても理解され得る。
【0097】
方法ステップの一部又はすべては、例えばマイクロプロセッサ、プログラマブルコンピュータ、又は電子回路などのハードウェア装置によって(又は使用して)実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの1つ又は複数は、そのような装置によって実行されてもよい。
【0098】
本発明の符号化画像信号は、デジタル記憶媒体に記憶することができ、インターネットなど、無線伝送媒体又は有線伝送媒体などの伝送媒体上で伝送することができる。言い換えれば、更なる実施形態は、本明細書に記載の実施形態のいずれかによるビデオビットストリームを含むビデオビットストリーム製品、例えば、ビデオビットストリームを格納したデジタル記憶媒体を提供する。
【0099】
特定の実装要件に応じて、本発明の実施形態は、ハードウェア若しくはソフトウェアで、又は少なくとも部分的にハードウェアで、又は少なくとも部分的にソフトウェアで実装することができる。実装は、電子的に読み取り可能な制御信号が格納されたデジタル記憶媒体、例えばフロッピーディスク、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM又はフラッシュメモリを使用して実行することができ、これらはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働することができる)。したがって、デジタル記憶媒体はコンピュータ可読であってもよい。
【0100】
本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0101】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの1つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納することができる。
【0102】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含む。
【0103】
言い換えれば、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0104】
したがって、本発明の方法の更なる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを記録して含むデータキャリア(又はデジタル記憶媒体、又はコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、又は記録媒体は、通常、有形及び/又は非一時的である。
【0105】
したがって、本発明の方法の更なる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【0106】
更なる実施形態は、本明細書に記載の方法のうちの1つを実行するように構成又は適合された処理手段、例えばコンピュータ又はプログラマブル論理デバイスを含む。
【0107】
更なる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0108】
本発明による更なる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを受信機に転送する(例えば、電子的又は光学的に)ように構成された装置又はシステムを備える。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
【0109】
いくつかの実施形態では、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載の方法の機能の一部又はすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの1つを実行するためにマイクロプロセッサと協働することができる。一般に、方法は、任意のハードウェア装置によって実行され得る。
【0110】
本明細書に記載の装置は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組み合わせを使用して実装され得る。
【0111】
本明細書に記載の方法は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組み合わせを使用して実行され得る。
【0112】
本発明をいくつかの実施形態に関して説明してきたが、本発明の範囲内に入る変更、置換、及び均等物がある。本発明の方法及び組成物を実施する多くの代替方法があることにも留意すべきである。したがって、以下の添付の特許請求の範囲は、本発明の真の精神及び範囲内に含まれるすべてのそのような変更、置換及び等価物を含むと解釈されることが意図される。
【0113】
上記の詳細な説明では、本開示を簡素化する目的で、様々な特徴が例において一緒にグループ化されていることが分かる。この開示方法は、特許請求される例が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ、添付の特許請求の範囲が反映するように、主題は、単一の開示された例のすべての特徴よりも少ない特徴にあり得る。したがって、添付の特許請求の範囲は本明細書によって詳細な説明に組み込まれ、各請求項は別個の例として独立していてもよい。各請求項は別個の例として独立していてもよいが、従属請求項は請求項において1つ又は複数の他の請求項との特定の組み合わせを指すことができるが、他の例はまた、従属請求項と他の従属請求項の各々の主題との組み合わせ、又は各特徴と他の従属又は独立請求項との組み合わせを含むことができることに留意されたい。そのような組み合わせは、特定の組み合わせが意図されていないと述べられていない限り、本明細書において提案される。更に、他の任意の独立請求項に請求項の特徴を含めることも、この請求項が独立請求項に直接従属させられていなくても、意図されている。
【0114】
上述の実施形態は、本開示の原理の単なる例示である。本明細書に記載の構成及び詳細の修正及び変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の記載及び説明として提示される特定の詳細によってではなく、係属中の特許請求の範囲によってのみ限定されることが意図されている。

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【手続補正書】
【提出日】2024-02-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
データストリーム(14)からピクチャのシーケンス(15)を復号するための装置(11)であって、前記装置が、
前記データストリームから前記ピクチャ(12’)の残差変換信号(32’)を導出すること(71)と、
前記ピクチャの変換信号(22’)を取得するために、前記残差変換信号(32’)を前記シーケンスの前のピクチャ(12*)のバッファされた変換信号(52)と合成すること(31)であって、前記変換信号が前記ピクチャをスペクトル成分で表す、合成すること(31)と、
前記変換信号をスペクトル空間変換(21)にかけることと、
によって前記シーケンスのピクチャ(12’)を復号するように構成されており、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、装置(11)。
【請求項2】
スペクトル成分からの前記選択が、前記前のピクチャを表す前記スペクトル成分のサブセットである、請求項1に記載の装置。
【請求項3】
前記装置が、前記バッファされた変換信号(52)及び前記残差変換信号(32’)の相互に対応するスペクトル成分を合成することによって、前記残差変換信号(32’)を前記バッファされた変換信号(52)と合成するように構成される、請求項1又は2に記載の装置。
【請求項4】
前記バッファされた変換信号(52)においてシグナリングされたスペクトル成分の前記選択が、0ではない周波数に関連付けられた少なくとも1つのスペクトル成分を含む、請求項1から3のいずれか一項に記載の装置。
【請求項5】
前記スペクトル空間変換が、逆離散ウェーブレット変換である、請求項1から4のいずれか一項に記載の装置。
【請求項6】
前記装置が、前記データストリーム内でシグナリングされるシンタックス要素から、前記バッファされた変換信号(52)のためにバッファされるスペクトル成分の前記選択を導出するためのものである、請求項1から5のいずれか一項に記載の装置。
【請求項7】
前記装置が、
前記前のピクチャを復号することであって、
前記データストリームから前記前のピクチャの更なる残差変換信号(32’)を復号することと、
更なる変換信号(22’)を取得するために、前記更なる残差変換信号(32’)を前記シーケンスの更により前のピクチャの更なるバッファされた変換信号(52*)と合成することであって、前記更なる変換信号(22’*)が前記前のピクチャをスペクトル成分で表す、合成することと、
前記前のピクチャの空間表現を取得するために、前記更なる変換信号(22’*)をスペクトル空間変換にかけることと、
によって前記前のピクチャを復号することと、
前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
を行うように構成される、請求項1から6のいずれか一項に記載の装置。
【請求項8】
前記装置が、
前記バッファされた変換信号(52)について、前記更なる変換信号(22’*)のスペクトル成分のサブセットを選択することと、
前記バッファされた変換信号(52)のスペクトル成分を所定の値に設定することであって、前記スペクトル成分が前記選択に含まれない、設定することと、
によって前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出するように構成されている、請求項7に記載の装置。
【請求項9】
前記ピクチャが、部分単位で前記データストリームにコード化され、前記部分の各々が、前記ピクチャの空間領域に関連付けられ、前記残差変換信号(32’)が、前記部分の各々について、複数のスペクトル成分を含み、前記装置が、
前記前のピクチャの1つ又は複数の部分のスペクトル成分のサブセットを選択してバッファすることによって、前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の前記部分のうちの1つのスペクトル成分を、前記残差変換信号(32’)の対応する部分の対応するスペクトル成分と合成することによって、前記ピクチャの前記変換信号(22)を取得することと、
をするように構成される、請求項7又は8に記載の装置。
【請求項10】
前記装置が、前記ピクチャのすべての部分に対して共通に、前記バッファされた変換信号(52)に対してバッファされるスペクトル成分の前記選択を導出するためのものであり、又は
前記ピクチャが、スライス単位で前記データストリームにコード化され、前記スライスの各々が、1つ又は複数の前記部分を含み、前記装置が、前記ピクチャを1つのスライスのすべての部分に対して共通に、前記バッファされた変換信号(52)に対してバッファされるスペクトル成分の前記選択を導出するためのものである、請求項9に記載の装置。
【請求項11】
前記装置が、
前記サブシーケンスの前記ピクチャの各々について、前記ピクチャの1つ又は複数の部分の各々の1つ又は複数のスペクトル成分を前記バッファされた変換信号(52)の対応するスペクトル成分と合成することを抑制することと、前記ピクチャの1つ又は複数の更なる部分の各々の1つ又は複数のスペクトル成分を前記バッファされた変換信号(52)の対応するスペクトル成分と合成することと、
によってピクチャの前記シーケンスのサブシーケンスのピクチャを復号するように構成されており、
前記サブシーケンスの前記ピクチャの全体の前記バッファされていない部分が、組み合わせて前記ピクチャの全ピクチャ領域をカバーする、請求項9又は10に記載の装置。
【請求項12】
前記装置が、
前記更なる変換信号のスペクトル成分の複数の部分のうちの1つ又は複数を選択してバッファすることによって、前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の前記スペクトル成分の前記選択及びバッファされた部分を、前記残差変換信号(32’)の対応するスペクトル成分の対応する部分と合成することによって、前記ピクチャの前記変換信号(22)を取得することと、
を行うように構成される、請求項7から11のいずれか一項に記載の装置。
【請求項13】
前記変換信号及び前記更なる変換信号が、各スペクトル成分について、前記ピクチャの変換表現を含み、前記変換表現が、サンプルアレイの複数の係数を含み、
前記スペクトル成分の前記複数の部分の各々が、前記スペクトル成分の前記変換表現の前記サンプルアレイの1つ又は複数の行を含む、請求項12に記載の装置。
【請求項14】
ピクチャのシーケンスをデータストリームに符号化するための装置(10)であって、前記装置(10)が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換(20)にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換(20)にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出すること(30)と、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化すること(70)と、
によって前記シーケンスのピクチャを符号化するように構成され、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、装置(10)。
【請求項15】
スペクトル成分からの前記選択が、前記前のピクチャを表す前記スペクトル成分のサブセットである、請求項14に記載の装置。
【請求項16】
前記装置が、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して前記変換信号(22)のスペクトル成分を予測することによって、前記ピクチャの前記残差変換信号(32)を導出するように構成される、請求項14又は15に記載の装置。
【請求項17】
前記バッファされた変換信号(52)においてシグナリングされたスペクトル成分の前記選択が、0ではない周波数に関連付けられた少なくとも1つのスペクトル成分を含む、請求項14から16に記載の装置。
【請求項18】
前記空間スペクトル変換が、離散ウェーブレット変換である、請求項14から17のいずれか一項に記載の装置。
【請求項19】
前記装置が、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものである、請求項14から18のいずれか一項に記載の装置。
【請求項20】
前記装置が、
前記前のピクチャを符号化することであって、
更なる変換信号を取得するように、前記前のピクチャの更なる空間表現を前記空間スペクトル変換にかけることであって、前記更なる変換信号がスペクトル成分で前記前のピクチャを表示する、空間スペクトル変換にかけることと、
前記シーケンスの更により前のピクチャの更なるバッファされた変換信号(52*)及び前記更なる変換信号に基づいて更なる残差変換信号(32*)を導出することと、
前記更なる残差変換信号(32*)を前記データストリームに符号化することと、
によって前記前のピクチャを符号化することと、
前記更なる残差変換信号(32*)から前記バッファされた変換信号(52)を導出することと、
を行うように構成されている、請求項14から19のいずれか一項に記載の装置。
【請求項21】
前記装置が、
前記前のピクチャの再構築された変換信号(22’*)を取得するために、前記更なる残差変換信号(32*)を前記更なるバッファされた変換信号(52)と合成すること、
前記バッファされた変換信号(52)について、前記再構築された変換信号(22’*)のスペクトル成分のサブセットを選択することと、
前記バッファされた変換信号(52)のスペクトル成分を所定の値に設定することであって、前記スペクトル成分が前記選択に含まれない、設定することと、
によって前記更なる残差変換信号(32*)から前記バッファされた変換信号(52)を導出するように構成されている、請求項20に記載の装置。
【請求項22】
前記装置が、
前記残差変換信号(32)を量子化することによって前記残差変換信号(32)を符号化し、前記量子化された残差変換信号(62)を前記データストリームに符号化することと、
前記更なる残差変換信号を量子化することによって前記更なる残差変換信号(32*)を符号化し、前記量子化された更なる残差変換信号(62)を前記データストリームに符号化することと、
前記量子化された更なる残差変換信号(62)をスケーリングすることによって前記バッファされた変換信号(52)を導出し、前記スケーリングされた更なる残差変換信号(32’*)を前記更なるバッファされた変換信号(52*)と合成することと、
を行うように構成される、請求項20又は21に記載の装置。
【請求項23】
前記装置が、前記ピクチャを部分単位で前記データストリームにコード化するように構成されており、前記部分の各々が、前記ピクチャの空間領域に関連付けられ、前記残差変換信号(32)が、前記ピクチャの前記部分の各々について、複数のスペクトル成分を含み、前記装置が、
前記前のピクチャの1つ又は複数の部分のスペクトル成分のサブセットを、前記バッファされた変換信号(52)について選択することによって、前記更なる残差変換信号(32’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の対応する部分の対応するスペクトル成分を使用して、前記変換信号(22)の前記部分のうちの1つのスペクトル成分を予測することによって、前記ピクチャの前記残差変換信号(32)を導出することと、
を行うように構成される、請求項20から22のいずれか一項に記載の装置。
【請求項24】
前記装置が、前記ピクチャのすべての部分に関して共通に、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものであり、
前記装置が、前記ピクチャをスライス単位で前記データストリームに符号化するためのものであり、前記スライスの各々が、1つ又は複数の前記部分を含み、前記装置が、前記ピクチャの1つのスライスのすべての部分に関して共通に、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものである、請求項23に記載の装置。
【請求項25】
前記装置が、サブシーケンスのピクチャを符号化するように構成されており、前記サブシーケンスが、
前記サブシーケンスの前記ピクチャの各々について、前記ピクチャの1つ又は複数の部分の各々の1つ又は複数のスペクトル成分を、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して予測することを抑制することと、前記ピクチャの1つ又は複数の更なる部分の各々の1つ又は複数のスペクトル成分を、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して予測することと、
によるピクチャの前記シーケンスのサブシーケンスであり、
前記サブシーケンスの前記ピクチャの全体の前記バッファされていない部分が、組み合わせて前記ピクチャの全ピクチャ領域をカバーする、請求項23又は24に記載の装置。
【請求項26】
前記装置が、
前記更なる残差変換信号(32’*)のスペクトル成分の複数の部分のうちの1つ又は複数を選択してバッファすることによって、前記更なる残差変換信号(32’*)から前記バッファされた変換信号(52)を導出することと、
前記変換信号(22)の対応するスペクトル成分の対応する部分を予測するために、前記更なる残差変換信号の前記スペクトル成分の前記選択されバッファされた部分を使用することによって、前記ピクチャの前記残差変換信号(32)を導出することと、
を行うように構成されている、請求項20から25のいずれか一項に記載の装置。
【請求項27】
前記残差変換信号及び前記更なる残差変換信号が、各スペクトル成分について、前記ピクチャの変換表現を含み、前記変換表現が、サンプルアレイの複数の係数を含み、
前記スペクトル成分の前記複数の部分の各々が、前記スペクトル成分の前記変換表現の前記サンプルアレイの1つ又は複数の行を含む、
請求項26に記載の装置。
【請求項28】
ピクチャのシーケンスをデータストリームから復号するための方法であって、前記方法が、
前記データストリームから前記ピクチャの残差変換信号(32’)を導出すること(71)と、
前記ピクチャの変換信号(22’)を取得するために、前記残差変換信号(32’)を前記シーケンスの前のピクチャのバッファされた変換信号(52)と合成すること(31)であって、前記変換信号(22’)が前記ピクチャをスペクトル成分で表す、合成すること(31)と、
前記変換信号(22’)をスペクトル空間変換にかけること(21)と、
によって前記シーケンスのピクチャを復号することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法。
【請求項29】
ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけること(20)であって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけること(20)と、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出すること(30)と、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化すること(70)と、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法。
【請求項30】
コンピュータプログラムを記憶した非一時的デジタル記憶媒体であって、前記コンピュータプログラムがコンピュータによって実行されると、ピクチャのシーケンスをデータストリームから復号するための方法であって、前記方法が、
前記データストリームから前記ピクチャの残差変換信号(32’)を導出することと、
前記ピクチャの変換信号(22’)を得るために、前記残差変換信号(32’)を前記シーケンスの前のピクチャのバッファされた変換信号(52)と合成することであって、前記変換信号(22’)が前記ピクチャをスペクトル成分で表す、合成することと、
前記変換信号(22’)をスペクトル空間変換にかけることと、
によって前記シーケンスのピクチャを復号することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法を実行する、非一時的デジタル記憶媒体。
【請求項31】
コンピュータプログラムを記憶した非一時的デジタル記憶媒体であって、前記コンピュータプログラムがコンピュータによって実行されると、ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出することと、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化することと、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法を実行する、非一時的デジタル記憶媒体。
【請求項32】
ピクチャのシーケンスが内部に符号化されたデータストリームであって、前記ピクチャの前記シーケンスが、ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出することと、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化することと、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法によって前記データストリームに符号化される、データストリーム。
【手続補正書】
【提出日】2024-09-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
データストリーム(14)からピクチャのシーケンス(15)を復号するための装置(11)であって、前記装置が、
前記データストリームから前記ピクチャ(12’)の残差変換信号(32’)を導出すること(71)と、
前記ピクチャの変換信号(22’)を取得するために、前記残差変換信号(32’)を前記シーケンスの前のピクチャ(12*)のバッファされた変換信号(52)と合成すること(31)であって、前記変換信号が前記ピクチャをスペクトル成分で表す、合成すること(31)と、
前記変換信号をスペクトル空間変換(21)にかけることと、
によって前記シーケンスのピクチャ(12’)を復号するように構成されており、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、装置(11)。
【請求項2】
スペクトル成分からの前記選択が、前記前のピクチャを表す前記スペクトル成分のサブセットである、請求項1に記載の装置。
【請求項3】
前記装置が、前記前のピクチャを表すスペクトル成分のうちの前記選択に含まれるスペクトル成分を排他的にバッファすることによって、前記前のピクチャから前記バッファされた変換信号を導出するように構成されている、請求項1に記載の装置。
【請求項4】
前記装置が、前記バッファされた変換信号(52)及び前記残差変換信号(32’)の相互に対応するスペクトル成分を合成することによって、前記残差変換信号(32’)を前記バッファされた変換信号(52)と合成するように構成される、請求項1に記載の装置。
【請求項5】
前記バッファされた変換信号(52)においてシグナリングされたスペクトル成分の前記選択が、0ではない周波数に関連付けられた少なくとも1つのスペクトル成分を含む、請求項1に記載の装置。
【請求項6】
前記スペクトル空間変換が、逆離散ウェーブレット変換である、請求項1に記載の装置。
【請求項7】
前記装置が、前記データストリーム内でシグナリングされるシンタックス要素から、前記バッファされた変換信号(52)のためにバッファされるスペクトル成分の前記選択を導出するためのものである、請求項1に記載の装置。
【請求項8】
前記装置が、
前記前のピクチャを復号することであって、
前記データストリームから前記前のピクチャの更なる残差変換信号(32’)を復号することと、
更なる変換信号(22’)を取得するために、前記更なる残差変換信号(32’)を前記シーケンスの更により前のピクチャの更なるバッファされた変換信号(52*)と合成することであって、前記更なる変換信号(22’*)が前記前のピクチャをスペクトル成分で表す、合成することと、
前記前のピクチャの空間表現を取得するために、前記更なる変換信号(22’*)をスペクトル空間変換にかけることと、
によって前記前のピクチャを復号することと、
前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
を行うように構成される、請求項1に記載の装置。
【請求項9】
前記装置が、
前記バッファされた変換信号(52)について、前記更なる変換信号(22’*)のスペクトル成分のサブセットを選択することと、
前記バッファされた変換信号(52)のスペクトル成分を所定の値に設定することであって、前記スペクトル成分が前記選択に含まれない、設定することと、
によって前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出するように構成されている、請求項8に記載の装置。
【請求項10】
前記ピクチャが、部分単位で前記データストリームにコード化され、前記部分の各々が、前記ピクチャの空間領域に関連付けられ、前記残差変換信号(32’)が、前記部分の各々について、複数のスペクトル成分を含み、前記装置が、
前記前のピクチャの1つ又は複数の部分のスペクトル成分のサブセットを選択してバッファすることによって、前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の前記部分のうちの1つのスペクトル成分を、前記残差変換信号(32’)の対応する部分の対応するスペクトル成分と合成することによって、前記ピクチャの前記変換信号(22)を取得することと、
をするように構成される、請求項8に記載の装置。
【請求項11】
前記装置が、前記ピクチャのすべての部分に対して共通に、前記バッファされた変換信号(52)に対してバッファされるスペクトル成分の前記選択を導出するためのものであり、又は
前記ピクチャが、スライス単位で前記データストリームにコード化され、前記スライスの各々が、1つ又は複数の前記部分を含み、前記装置が、前記ピクチャを1つのスライスのすべての部分に対して共通に、前記バッファされた変換信号(52)に対してバッファされるスペクトル成分の前記選択を導出するためのものである、請求項10に記載の装置。
【請求項12】
前記装置が、
前記サブシーケンスの前記ピクチャの各々について、前記ピクチャの1つ又は複数の部分の各々の1つ又は複数のスペクトル成分を前記バッファされた変換信号(52)の対応するスペクトル成分と合成することを抑制することと、前記ピクチャの1つ又は複数の更なる部分の各々の1つ又は複数のスペクトル成分を前記バッファされた変換信号(52)の対応するスペクトル成分と合成することと、
によってピクチャの前記シーケンスのサブシーケンスのピクチャを復号するように構成されており、
前記サブシーケンスの前記ピクチャの全体の前記バッファされていない部分が、組み合わせて前記ピクチャの全ピクチャ領域をカバーする、請求項10に記載の装置。
【請求項13】
前記装置が、
前記更なる変換信号のスペクトル成分の複数の部分のうちの1つ又は複数を選択してバッファすることによって、前記更なる変換信号(22’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の前記スペクトル成分の前記選択及びバッファされた部分を、前記残差変換信号(32’)の対応するスペクトル成分の対応する部分と合成することによって、前記ピクチャの前記変換信号(22)を取得することと、
を行うように構成される、請求項8に記載の装置。
【請求項14】
前記変換信号及び前記更なる変換信号が、各スペクトル成分について、前記ピクチャの変換表現を含み、前記変換表現が、サンプルアレイの複数の係数を含み、
前記スペクトル成分の前記複数の部分の各々が、前記スペクトル成分の前記変換表現の前記サンプルアレイの1つ又は複数の行を含む、請求項13に記載の装置。
【請求項15】
ピクチャのシーケンスをデータストリームに符号化するための装置(10)であって、前記装置(10)が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換(20)にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換(20)にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出すること(30)と、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化すること(70)と、
によって前記シーケンスのピクチャを符号化するように構成され、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、装置(10)。
【請求項16】
スペクトル成分からの前記選択が、前記前のピクチャを表す前記スペクトル成分のサブセットである、請求項15に記載の装置。
【請求項17】
前記装置が、前記前のピクチャを表すスペクトル成分のうちの前記選択に含まれるスペクトル成分を排他的にバッファすることによって、前記前のピクチャから前記バッファされた変換信号を導出するように構成される、請求項15に記載の装置。
【請求項18】
前記装置が、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して前記変換信号(22)のスペクトル成分を予測することによって、前記ピクチャの前記残差変換信号(32)を導出するように構成される、請求項15に記載の装置。
【請求項19】
前記バッファされた変換信号(52)においてシグナリングされたスペクトル成分の前記選択が、0ではない周波数に関連付けられた少なくとも1つのスペクトル成分を含む、請求項15に記載の装置。
【請求項20】
前記空間スペクトル変換が、離散ウェーブレット変換である、請求項15に記載の装置。
【請求項21】
前記装置が、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものである、請求項15に記載の装置。
【請求項22】
前記装置が、
前記前のピクチャを符号化することであって、
更なる変換信号を取得するように、前記前のピクチャの更なる空間表現を前記空間スペクトル変換にかけることであって、前記更なる変換信号がスペクトル成分で前記前のピクチャを表示する、空間スペクトル変換にかけることと、
前記シーケンスの更により前のピクチャの更なるバッファされた変換信号(52*)及び前記更なる変換信号に基づいて更なる残差変換信号(32*)を導出することと、
前記更なる残差変換信号(32*)を前記データストリームに符号化することと、
によって前記前のピクチャを符号化することと、
前記更なる残差変換信号(32*)から前記バッファされた変換信号(52)を導出することと、
を行うように構成されている、請求項15に記載の装置。
【請求項23】
前記装置が、
前記前のピクチャの再構築された変換信号(22’*)を取得するために、前記更なる残差変換信号(32*)を前記更なるバッファされた変換信号(52)と合成すること、
前記バッファされた変換信号(52)について、前記再構築された変換信号(22’*)のスペクトル成分のサブセットを選択することと、
前記バッファされた変換信号(52)のスペクトル成分を所定の値に設定することであって、前記スペクトル成分が前記選択に含まれない、設定することと、
によって前記更なる残差変換信号(32*)から前記バッファされた変換信号(52)を導出するように構成されている、請求項22に記載の装置。
【請求項24】
前記装置が、
前記残差変換信号(32)を量子化することによって前記残差変換信号(32)を符号化し、前記量子化された残差変換信号(62)を前記データストリームに符号化することと、
前記更なる残差変換信号を量子化することによって前記更なる残差変換信号(32*)を符号化し、前記量子化された更なる残差変換信号(62)を前記データストリームに符号化することと、
前記量子化された更なる残差変換信号(62)をスケーリングすることによって前記バッファされた変換信号(52)を導出し、前記スケーリングされた更なる残差変換信号(32’*)を前記更なるバッファされた変換信号(52*)と合成することと、
を行うように構成される、請求項22に記載の装置。
【請求項25】
前記装置が、前記ピクチャを部分単位で前記データストリームにコード化するように構成されており、前記部分の各々が、前記ピクチャの空間領域に関連付けられ、前記残差変換信号(32)が、前記ピクチャの前記部分の各々について、複数のスペクトル成分を含み、前記装置が、
前記前のピクチャの1つ又は複数の部分のスペクトル成分のサブセットを、前記バッファされた変換信号(52)について選択することによって、前記更なる残差変換信号(32’*)から前記バッファされた変換信号(52)を導出することと、
前記バッファされた変換信号(52)の対応する部分の対応するスペクトル成分を使用して、前記変換信号(22)の前記部分のうちの1つのスペクトル成分を予測することによって、前記ピクチャの前記残差変換信号(32)を導出することと、
を行うように構成される、請求項22に記載の装置。
【請求項26】
前記装置が、前記ピクチャのすべての部分に関して共通に、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものであり、
前記装置が、前記ピクチャをスライス単位で前記データストリームに符号化するためのものであり、前記スライスの各々が、1つ又は複数の前記部分を含み、前記装置が、前記ピクチャの1つのスライスのすべての部分に関して共通に、前記バッファされた変換信号(52)のためにバッファされたスペクトル成分の前記選択を示すシンタックス要素を前記データストリームに符号化するためのものである、請求項25に記載の装置。
【請求項27】
前記装置が、サブシーケンスのピクチャを符号化するように構成されており、前記サブシーケンスが、
前記サブシーケンスの前記ピクチャの各々について、前記ピクチャの1つ又は複数の部分の各々の1つ又は複数のスペクトル成分を、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して予測することを抑制することと、前記ピクチャの1つ又は複数の更なる部分の各々の1つ又は複数のスペクトル成分を、前記バッファされた変換信号(52)の対応するスペクトル成分を使用して予測することと、
によるピクチャの前記シーケンスのサブシーケンスであり、
前記サブシーケンスの前記ピクチャの全体の前記バッファされていない部分が、組み合わせて前記ピクチャの全ピクチャ領域をカバーする、請求項25に記載の装置。
【請求項28】
前記装置が、
前記更なる残差変換信号(32’*)のスペクトル成分の複数の部分のうちの1つ又は複数を選択してバッファすることによって、前記更なる残差変換信号(32’*)から前記バッファされた変換信号(52)を導出することと、
前記変換信号(22)の対応するスペクトル成分の対応する部分を予測するために、前記更なる残差変換信号の前記スペクトル成分の前記選択されバッファされた部分を使用することによって、前記ピクチャの前記残差変換信号(32)を導出することと、
を行うように構成されている、請求項22に記載の装置。
【請求項29】
前記残差変換信号及び前記更なる残差変換信号が、各スペクトル成分について、前記ピクチャの変換表現を含み、前記変換表現が、サンプルアレイの複数の係数を含み、
前記スペクトル成分の前記複数の部分の各々が、前記スペクトル成分の前記変換表現の前記サンプルアレイの1つ又は複数の行を含む、
請求項28に記載の装置。
【請求項30】
ピクチャのシーケンスをデータストリームから復号するための方法であって、前記方法が、
前記データストリームから前記ピクチャの残差変換信号(32’)を導出すること(71)と、
前記ピクチャの変換信号(22’)を取得するために、前記残差変換信号(32’)を前記シーケンスの前のピクチャのバッファされた変換信号(52)と合成すること(31)であって、前記変換信号(22’)が前記ピクチャをスペクトル成分で表す、合成すること(31)と、
前記変換信号(22’)をスペクトル空間変換にかけること(21)と、
によって前記シーケンスのピクチャを復号することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法。
【請求項31】
ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけること(20)であって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけること(20)と、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出すること(30)と、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化すること(70)と、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法。
【請求項32】
コンピュータプログラムを記憶した非一時的デジタル記憶媒体であって、前記コンピュータプログラムがコンピュータによって実行されると、ピクチャのシーケンスをデータストリームから復号するための方法であって、前記方法が、
前記データストリームから前記ピクチャの残差変換信号(32’)を導出することと、
前記ピクチャの変換信号(22’)を得るために、前記残差変換信号(32’)を前記シーケンスの前のピクチャのバッファされた変換信号(52)と合成することであって、前記変換信号(22’)が前記ピクチャをスペクトル成分で表す、合成することと、
前記変換信号(22’)をスペクトル空間変換にかけることと、
によって前記シーケンスのピクチャを復号することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法を実行する、非一時的デジタル記憶媒体。
【請求項33】
コンピュータプログラムを記憶した非一時的デジタル記憶媒体であって、前記コンピュータプログラムがコンピュータによって実行されると、ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出することと、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化することと、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法を実行する、非一時的デジタル記憶媒体。
【請求項34】
ピクチャのシーケンスが内部に符号化されたデータストリームを記憶したデジタル記憶媒体であって、前記ピクチャの前記シーケンスが、ピクチャのシーケンスをデータストリームに符号化するための方法であって、前記方法が、
変換信号(22)を取得するように、前記ピクチャの空間表現を空間スペクトル変換にかけることであって、前記変換信号(22)が前記ピクチャをスペクトル成分で表す、空間スペクトル変換にかけることと、
前記シーケンスの前のピクチャのバッファされた変換信号(52)及び前記変換信号(22)に基づいて残差変換信号(32)を導出することと、
前記ピクチャの前記残差変換信号(32)を前記データストリームに符号化することと、
によって前記シーケンスのピクチャを符号化することを含み、
前記バッファされた変換信号(52)が、前記前のピクチャを表すスペクトル成分からの選択を含む、方法によって前記データストリームに符号化される、デジタル記憶媒体。
【国際調査報告】