IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フォンダシオン ベー-コムの特許一覧

特許7579287ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置
<>
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図1
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図2
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図3
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図4
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図5
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図6
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図7
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図8
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図9
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図10
  • 特許-ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-29
(45)【発行日】2024-11-07
(54)【発明の名称】ビデオシーケンスの画像の符号化及び復号化方法並びに関連する装置
(51)【国際特許分類】
   H04N 19/11 20140101AFI20241030BHJP
   H04N 19/176 20140101ALI20241030BHJP
   H04N 19/136 20140101ALI20241030BHJP
   H04N 19/186 20140101ALI20241030BHJP
   H04N 19/46 20140101ALI20241030BHJP
【FI】
H04N19/11
H04N19/176
H04N19/136
H04N19/186
H04N19/46
【請求項の数】 19
(21)【出願番号】P 2021577329
(86)(22)【出願日】2020-06-24
(65)【公表番号】
(43)【公表日】2022-09-12
(86)【国際出願番号】 EP2020067741
(87)【国際公開番号】W WO2020260412
(87)【国際公開日】2020-12-30
【審査請求日】2023-05-26
(31)【優先権主張番号】1906871
(32)【優先日】2019-06-25
(33)【優先権主張国・地域又は機関】FR
(73)【特許権者】
【識別番号】521196970
【氏名又は名称】フォンダシオン ベー-コム
【氏名又は名称原語表記】FONDATION B-COM
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】フェリクス アンリ
(72)【発明者】
【氏名】ゴルドン クラル
【審査官】山▲崎▼ 雄介
(56)【参考文献】
【文献】国際公開第2020/219733(WO,A1)
【文献】特表2022-529369(JP,A)
【文献】特表2017-513311(JP,A)
【文献】特表2016-540458(JP,A)
【文献】米国特許出願公開第2016/0100175(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
ビデオシーケンスの画像を符号化する方法であって、前記画像は輝度を表す輝度成分と色差を表す第一の色差成分を含む少なくとも2つの成分を含み、各成分はブロックに分けられており、
いわゆるBDPCMモードを使って前記第一の色差成分の少なくとも1つのブロックを符号化すること(E1)を含み、
前記画像は、前記第一の色差成分と同じ分割方式を有する第二の色差成分をさらに含み、
前記符号化することは、前記第一の色差成分のブロックの符号化、及び、前記第二の色差成分の対応するブロックの符号化に使用される前記BDPCMモードを示す情報を符号化することをさらに含む、
方法。
【請求項2】
前記第一の色差成分の少なくとも1つのブロックは、所定の基準(CT)が満たされると前記BDPCMモードを使って符号化される、請求項1に記載の方法。
【請求項3】
前記基準は、前記符号化する方法を実行するようになされたエンコーダにより行われる選択を示す符号化基準である、請求項2に記載の方法。
【請求項4】
前記エンコーダにより行われる前記選択は、前記ビデオシーケンスの解析の結果である、請求項3に記載の方法。
【請求項5】
前記所定の基準が満たされると、前記BDPCMモードの使用を伝えるインディケータが、前記第一の色差成分の前記ブロックについて符号化される、請求項2に記載の方法。
【請求項6】
前記少なくとも1つのブロックは画素で形成され、前記符号化は、前記ブロックの少なくとも1つの画素について、第一の値及び第二の値間の差を表す残差の量子化された値を符号化することを含み、前記第一の値は、前記少なくとも1つの画素の前記値と、その位置が方向に基づいて決定される参照画素との間の差の量子化された値に対応し、前記第二の値は他の画素と、その位置が前記方向に基づいて決定される他の参照画素との間の他の差の他の量子化された値に対応する、請求項1に記載の方法。
【請求項7】
符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、前記画像は輝度を表す輝度成分と色差を表す色差成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、前記色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す情報を復号化すること(E601、E701)を含み、
前記画像は、前記色差成分と同じ分割方式を有する第二の色差成分をさらに含み、前記情報から復号化された値はまた、前記第二の色差成分の対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示すためにも使用される、
方法。
【請求項8】
前記情報から復号化された前記値はまた、方向を示し、それによって、それぞれのブロックプレディクタから、前記方向の関数として、前記色差成分の前記ブロックと前記第二の色差成分の対応するブロックとを復号化することができる、請求項に記載の方法。
【請求項9】
符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、前記画像は輝度を表す輝度成分と色差を表す色差成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、符号化基準を表す第一の情報を復号化することと、前記第一の情報から復号化された値が、前記符号化基準が満たされていることを示す場合、前記色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているかを示す第二の情報を復号化することと、を含む方法。
【請求項10】
前記画像は、前記色差成分と同じ分割方式を有する第二の色差成分をさらに含み、前記第二の情報から復号化された値はまた、前記第二の色差成分の対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示すためにも使用される、請求項に記載の方法。
【請求項11】
前記第二の情報から復号化された前記値はまた、方向を示し、それによって、それぞれのブロックプレディクタから、前記方向の関数として、前記色差成分のブロックと前記第二の色差成分の対応するブロックを復号化することができる、請求項10に記載の方法。
【請求項12】
前記色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す他の情報を復号化することをさらに含む、請求項に記載の方法。
【請求項13】
前記符号化基準は、前記ビデオデータのストリームを符号化したエンコーダによって行われる選択を示す、請求項に記載の方法。
【請求項14】
前記エンコーダにより行われる前記選択は、前記ビデオデータストリームの解析結果である、請求項13に記載の方法。
【請求項15】
符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、前記画像は輝度を表す輝度成分と色差を表す色差成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、前記画像の少なくとも1つの成分の少なくとも1つのブロックの復号化にBDPCMモードを使用できるか否かを示す、少なくとも前記画像に関する第一の情報(FL1)を復号化することと、前記第一の情報が、前記画像の少なくとも1つの成分の少なくとも1つのブロックの復号化に前記BDPCMモードを使用できることを示している場合、前記画像の前記色差成分の少なくとも1つのブロックの復号化に前記BDPCMモードを使用できることを示す、少なくとも前記画像に関する第二の情報(FL2)を復号化することと、を含む、方法。
【請求項16】
前記画像に関する前記第二の情報が、前記BDPCMモードを前記画像の前記色差成分の少なくとも1つのブロックを復号化するために使用できることを示す場合、前記色差成分の前記ブロックの復号化に前記BDPCMモードを使用できることを示す、前記色差成分の前記少なくとも1つのブロックに関するインディケータ(FL4)を符号化することを含む、請求項15に記載の方法。
【請求項17】
符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、前記画像は輝度を表す輝度成分と色差を表す色差成分を含む少なくとも2つの成分を含み、前記輝度及び色差成分は同じブロック分割方式を有し、前記方法が、符号化基準を表す第一の情報を復号化することと、前記情報から復号化された値が、前記符号化基準が満たされていることを示す場合、前記輝度成分のブロック及び前記色差成分の対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示す、前記輝度成分の少なくとも1つのブロックに関する第二の情報を復号化することと、を含む、方法。
【請求項18】
ビデオシーケンスの画像を符号化する装置(800)であって、前記画像は輝度を表す輝度成分と色差を表す第一の色差成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、前記色差成分の少なくとも1つのブロックをいわゆるBDPCMモードを使って符号化するステップを実行するように構成される少なくとも1つのマイクロプロセッサを含
前記画像は、前記第一の色差成分と同じ分割方式を有する第二の色差成分をさらに含み、
前記少なくとも1つのマイクロプロセッサは、前記第一の色差成分のブロックの符号化、及び、前記第二の色差成分の対応するブロックの符号化に使用される前記BDPCMモードを示す情報を符号化するステップを実行するように構成される、
装置。
【請求項19】
符号化された画像を符号化されたビデオデータから復号化する装置(900)であって、前記画像は輝度を表す輝度成分と色差を表す色差成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、前記色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す情報を復号化するステップを実行するように構成される少なくとも1つのマイクロプロセッサを含
前記画像は、前記色差成分と同じ分割方式を有する第二の色差成分をさらに含み、前記少なくとも1つのプロセッサは、前記情報から復号化された値を、前記第二の色差成分の対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示すためにも使用するように構成される、
装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に、ビデオ圧縮の技術分野に関する。
【0002】
より詳しくは、ビデオシーケンスの画像の符号化及び復号化方法並びにそれに関連する装置に関する。
【背景技術】
【0003】
HEVC(例えば、“High Efficiency Video Coding,Coding Tools and Specification”,Matthias Wien,Signals and Communication Technology,2015に記載の“High Efficiency Video Coding”)及びポストHEVC規格等のビデオ圧縮規格には、画像の中の符号化されるべき部分を参照画像から予測するステップが説明されている。これは検討対象エリアと同じ画像内に位置すること(フレーム内(INTRA)予測モード)も、又はそのビデオシーケンスの中の他の画像の中に位置すること(フレーム間(INTER)予測モード)も可能である。
【0004】
ブロック画素予測モードはBDPCM(“Block Differential Pulse Code Modulation”の略)と呼ばれ、画像ピクセルの値をその隣接画素のうちの1つ又は幾つかの値に基づいて予測することを含む。このモードの各種の代替方式がある。第一の代替方式は、“CE8-related:Quantized residual BDPCM,Marta Karczewicz,Video Experts Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Geneva,CH,19-27 March 2019”に記載の量子化された残差の予測に基づくものである。第二の代替方式は検討対象エリアの中にある再構成されたピクセルの値に基づくものであり、これは“CE8:BDPCM with horizontal/vertical predictor and independently decodable areas(test 8.3.1b),Mohsen Abdoli,Gordon Clare,Felix Henry,Pierrick Philippe,Joint Video Experts Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,13th Meeting:Marrakech,MA,9-18 Jan.2019”に記載されている。
【発明の概要】
【課題を解決するための手段】
【0005】
これに関して、本発明は、ビデオシーケンスの画像を符号化する方法であって、画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分けられており、いわゆるBDPCMモードを使って色差成分の少なくとも1つのブロックを符号化することを含む方法を提案する。
【0006】
BDPCMモードを色差成分のブロックの符号化に利用することにより、画像圧縮利得を改善できる。
【0007】
個々に、又は技術的に可能なあらゆる組合せによっても得られる本発明による方法の、その他の非限定的で有利な特徴は以下のとおりである。
【0008】
ある実施形態によれば、色差成分の少なくとも1つのブロックは、所定の基準が満たされると、BDPCMモードを使って符号化できる。
【0009】
したがって、例えばこれらが所定の基準を満たすとき等、BDPCMモードを適用できる色差成分を選択することが可能である。
【0010】
例えば、前記2つの成分が同じ大きさであるとき、所定の基準が満たされる。
【0011】
基準はまた、この符号化方法を実行するようになされたエンコーダによって行われる選択を示す符号化基準とすることもできる。エンコーダにより行われるこの選択は、例えばビデオシーケンスの解析の結果である。エンコーダの選択はそれゆえ、ビデオシーケンス内の1つ又は複数の画像におけるピクセル強度分布、すなわち光強度ごとのピクセルの数を表すヒストグラム、換言すれば統計グラフに依存することができる。
【0012】
ある実施形態によれば、符号化することは、色差成分のブロックの符号化に使用されるBDPCMモードを示す情報を符号化することをさらに含むことができる。
【0013】
ある実施形態によれば、所定の基準が満たされると、BDPCMモードの使用を伝えるインディケータが、その色差成分のブロックについて符号化される。
【0014】
他の態様によれば、本発明はまた、ビデオシーケンスの画像を符号化する方法であって、画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分けられており、色差成分の少なくとも1つのブロックについて、前記ブロックを符号化するためのいわゆるBDPCMモード及び他のモードを評価することと、評価結果に応じて、前記ブロックを符号化するためにこれらのモードのうちの1つを選択することと、前記ブロックを符号化するために選択されたモードを表す情報を符号化することと、を含む方法も提案する。
【0015】
色差成分の少なくとも1つのブロックについてBDPCMモードを評価することによって、評価結果が満足できるものである場合にBDPCMモードを適用することができる。このようにして画像圧縮利得が改善される。したがって、評価によって満足できる結果が得られない場合、BDPCMモードの適用が妥当ではない色差成分は無視することができる。
【0016】
ある実施形態によれば、所定の基準が満たされると、BDPCMモード及び他方のモードを、色差成分の少なくとも1つのブロックについて評価することができる。
【0017】
ある実施形態によれば、所定の基準は、前記2つの成分が同じ大きさであるときに満たすことができる。
【0018】
ある実施形態によれば、符号化は、画像サンプリングフォーマットを伝える符号化情報をさらに含むことができ、前記情報は前記成分の大きさを示す。
【0019】
ある実施形態によれば、評価は、色差成分の検討対象のブロックを、一方でBDPCMモードに従って、他方でもう一方のモードに従って符号化することと、他の所定の基準(例えば、レート歪みコスト)に応じて、ブロックがBDPCMモードに従って符号化されるか、又はブロックがもう一方のモードに従って符号化されるかを選択することを含むことができる。
【0020】
ある実施形態によれば、方法は、輝度成分の少なくとも1つのブロックについて、輝度成分の前記ブロックを符号化するための、いわゆるBDPCMモード及びもう一方のモードを評価することと、評価の結果に応じて、輝度成分の前記ブロックを符号化するためにこれらのモードの一方を表す情報を符号化することと、をさらに含むことができる。
【0021】
ある実施形態によれば、成分は好ましくは同じブロック分割方式を有し、画像符号化はブロックごとに行われる。
【0022】
代替案として、画像符号化は成分ごとに行うことができる。
【0023】
ある実施形態によれば、符号化は、検討対象の画像について、
画像の少なくとも1つの成分の少なくとも1つのブロックを符号化するためにBDPCMモードを使用できることを示す、少なくとも前記画像に関する第一の情報を符号化することと、第一の情報が、画像の少なくとも1つの成分の少なくとも1つのブロックを符号化するためにBDPCMモードを使用できることを示している場合、画像の色差成分の少なくとも1つのブロックを符号化するためにBDPCMモードを使用できることを示す、少なくとも前記画像に関する第二の情報を符号化することと、をさらに含むことができる。
【0024】
ある実施形態によれば、方法は、色差成分の少なくとも1つのブロックについて、前記画像に関する第二の情報が、画像色差成分の少なくとも1つのブロックを符号化するためにBDPCMモードを使用できることを示す場合、色差成分の前記ブロックを符号化するためにBDPCMモードが使用されることを示す、色差成分の少なくとも1つのブロックに関するインディケータを符号化することを含むことができる。
【0025】
ある実施形態によれば、方法は、色差成分の少なくとも1つのブロックについて、基準が満たされる場合、色差成分の前記ブロックを符号化するためにBDPCMモードが使用されることを示す、前記ブロックに関するインディケータを符号化することを含むことができる。
【0026】
ある実施形態によれば、画像は、他方の色差成分と同じ分割方式を有する第二の色差成分をさらに含み、他方の色差成分のブロックについてBDPCMモードが選択される場合、他方の色差成分のブロックに関する前記情報は、他方の色差成分のブロック及び第二の色差成分のそれに対応するブロックのためにBDPCMモードが選択されたことを示すインディケータと、他方の色差成分のブロック及び第二の色差成分の対応するブロックのためのブロックプレディクタを特定する方向インディケータとを含むことができる。
【0027】
ある実施形態によれば、ブロックは画素で形成され、BDPCMモードを使用したブロックの符号化は、ブロックの少なくとも1つの画素について、第一及び第二の値間の差を表す残差の量子化された値を符号化することを含むことができ、第一の値は、検討対象の画素の値と、その位置が所与の方向によって伝えられる参照画素との間の差の量子化された値に対応し、第二の値は前記他方の画素と、所与の方向により伝えられる他の参照画素との間の差の量子化された値に対応する。
【0028】
他の態様によれば、本発明はまた、輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含むビデオシーケンスの画像を符号化する方法であって、輝度及び色差成分は同じブロック分割方式を有し、輝度成分の少なくとも1つのブロックについて、前記ブロックを符号化するためのいわゆるBDPCMモードと他のモードを評価することと、
評価の結果に応じて、輝度成分の前記ブロック及び色差成分のそれに対応するブロックを符号化するためにそれらのモードの1つを選択することと、輝度成分のブロック及び色差成分のそれに対応するブロックを符号化するために選択されたモードを表す情報を符号化することと、を含む方法も提案する。
【0029】
好ましくは、BDPCMモードが選択された場合、前記情報は輝度成分のブロックに関し、並びに、輝度成分のブロックのために及び色差成分の対応するブロックのために選択されるモードがBDPCMモードであることを示すインディケータと、輝度成分のブロックのため及び色差成分の対応するブロックのためのブロックプレディクタを特定するための方向インディケータとを含む。
【0030】
他の態様によれば、本発明はまた、符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す情報を復号化することを含む方法も提案する。
【0031】
画像が、前記色差成分(すなわち、「第一の」色差成分)と同じ分割方式を有する第二の色差成分をさらに含む場合、前記情報から復号化された値はまた、第二の色差成分の対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示すために使用することもできる。
【0032】
前記情報からの前記復号化された値はまた、方向を示すこともでき、それによって、それぞれのブロックプレディクタから、前記方向の関数、前記(第一の)色差成分のブロックと第二の色差成分のそれに対応するブロックを復号化することができる。
【0033】
他の態様によれば、本発明はまた、符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、符号化基準を表す第一の情報を復号化することと、情報から復号化された値が、符号化基準が満たされたことを示す場合、色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す第二の情報を復号化することと、を含む方法も提案する。
【0034】
好ましくは、本発明の最後の2つの上述の態様に関して、画像は、もう一方の色差成分と同じ分割方式を有する第二の色差成分をさらに含むことができ、第二の情報から復号化された値はまた、第二の色差成分のそれに対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示すために使用され、第二の情報から復号化された前記値はまた、方向を示すこともでき、それによって、それぞれのブロックプレディクタから、前記方向の関数、もう一方の色差成分のブロックと第二の色差成分のそれに対応するブロックを復号化することができる。
【0035】
好ましくは、方法は、色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す他の情報を復号化することをさらに含むことができる。
【0036】
前述のように、符号化基準は例えば、前記ビデオデータのストリームを符号化したエンコーダによって行われる選択を示すことができる。エンコーダにより行われるこの選択は、ビデオデータのストリームの解析結果とすることができる。
【0037】
他の態様によれば、本発明はまた、符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、画像の少なくとも1つの成分の少なくとも1つのブロックの復号化にBDPCMモードを使用できるか否かを示す、少なくとも前記画像に関する第一の情報を復号化することと、第一の情報が、画像の少なくとも1つの成分の少なくとも1つのブロックの復号化に使用できることを示している場合、BDPCMモードを画像の色差成分の少なくとも1つのブロックの復号化にBDPCMモードを使用できることを示す、少なくとも前記画像に関する第二の情報を復号化することと、を含む方法も提案する。
【0038】
方法は、前記画像に関する第二の情報が、BDPCMモードを画像色差成分の少なくとも1つのブロックの復号化に使用できることを示す場合、BDPCMモードを色差成分の前記ブロックの復号化に使用できることを示す、色差成分の前記少なくとも1つのブロックに関するインディケータを符号化することをさらに含むことができる。
【0039】
他の態様によれば、本発明はまた、符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、輝度及び色差成分は同じブロック分割方式を有し、方法が、符号化基準を表す第一の情報を復号化することと、情報から復号化された値が、符号化基準が満たされていることを示す場合、輝度成分のブロック及び色差成分のそれに対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示す、輝度成分の少なくとも1つのブロックに関する第二の情報を復号化することと、を含む方法も提案する。
【0040】
他の態様によれば、本発明はまた、ビデオシーケンスの画像を符号化する装置であって、画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、色差成分の少なくとも1つのブロックをいわゆるBDPCMモードを使って符号化するステップを実行するように構成される少なくとも1つのマイクロプロセッサを含む装置も提案する。
【0041】
他の態様によれば、本発明はまた、符号化された画像を符号化されたビデオデータから復号化する装置であって、画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す情報を復号化するステップを実行するように構成される少なくとも1つのマイクロプロセッサを含む装置も提案する。
【0042】
さらに、本発明のその他の様々な特徴は、本発明の非限定的な実施形態を例示する下記のような図面に関して行われる添付の説明から明らかとなるであろう。
【図面の簡単な説明】
【0043】
図1】異なる色フォーマットを図解する。
図2】ある色フォーマットによる異なる色成分を図解する。
図3】本発明による符号化方法の第一の実施形態を示す。
図4】本発明による符号化方法の第二の実施形態を示す。
図5】本発明による符号化方法の第三の実施形態を示す。
図6】本発明による符号化方法の第四の実施形態を示す。
図7】本発明による符号化方法の第五の実施形態を示す。
図8】本発明による復号化方法の第一の実施形態を示す。
図9】本発明による復号化方法の第二の実施形態を示す。
図10】本発明による符号化/復号化方法のある実施形態のステップの例示的な実行を図解する。
図11】本発明による装置のある実施形態を概略的に図解する。
【発明を実施するための形態】
【0044】
図1は、ある色規格(例えば、“YUV”又は“YCbCr”規格)に関して、画像の色差を表す成分に適用される可能性がある様々なサンプリングパターンを図解する。従来、画像は、ここではYで示される輝度を表す成分(以下、簡略化するために「輝度成分」又は「輝度(luma)」と呼ぶ)と、2つの色差成分(以下、簡略化するために「色差成分」又は「色差(chroma)」と呼ぶ)を含む。これらの後者は、図1の中ではそれぞれCb及びCrで示される。
【0045】
図1は、8つのピクセルPxiからなり、2つのピクセル×2つのピクセルのブロック2つを形成する画像エリアに関する3つのフォーマットを図解しており、各々、あるサンプリングパターンに関連付けられる。人間の視覚は明るさより色に対する感度が低いため、そのようにして画像の知覚品質を劣化することなく保持されるのは一般に輝度情報より色差情報の方が少ない。
【0046】
いわゆる4:4:4の第一のフォーマット又は第一の構造では、成分の何れもサブサンプリングされない。各ピクセルPxiは3つの色成分を含む。
【0047】
いわゆる4:4:2の第二のフォーマットでは、色差成分が1つおきのピクセルについてサブサンプリングされる。
【0048】
いわゆる4:2:0の第三のフォーマットでは、4つのピクセル(2つのピクセル*2つのピクセル)で形成されるブロックのうちの第一のピクセルの色差成分のみが保持される。
【0049】
これら以外のフォーマットも存在し、上述の例が全てではない。
【0050】
それゆえ、4:2:0のフォーマットについて図2に図解されるように、色差成分Cb、Crがサブサンプリングされると、その大きさは輝度成分Yのそれより小さい。例えば、4:2:0フォーマットの場合、色差成分Cb及びCrの大きは輝度の大きさに関して4つに分割される。
【0051】
各成分は、ブロックBLCに分割される。ブロック分割方式は、図2に図解されているように成分の各々について、又は特に1つの成分、若しくは成分の1つの集合について同じとすることができる。
【0052】
図3に図解されている第一の実施形態において、ステップE1で、特に所定の基準CTが満たされた場合に、色差成分の少なくとも1つのブロックをいわゆるBDPCM(ブロック差分パルス符号変調(Block Differential Pulse Code Modulation))モードに従って符号化することが提案される。
【0053】
代替案として、BDPCMモードは例えばデフォルトにより適用できる。
【0054】
BDPCMモードを色差に適用することによって、データ圧縮レートを改善できる。このモードは、特定の基準が満たされた場合に、例えば符号化方法をさらに複雑にしないような方法で適用することが可能である。各種の考え得る基準について以下に説明する。
【0055】
これらのいわゆる符号化基準は、圧縮そのものの品質に関連付けられるのではなく、エンコーダが、例えば符号化時間、符号化される内容の種類にとってのそのツールの妥当性、エネルギ消費、又は目標とするデータレート(この羅列が全部ではない)等の検討事項に基づいて、あるツールを使用するか否かの決定に関連付けられる。
【0056】
換言すれば、符号化基準は、1つの内容から他の内容へと変更される可能性がある符号化コンテクストに関する、又は目標のパフォーマンスに関するエンコーダの一般的な選択である。それゆえ、これは検討中のブロックに特定のローカル情報のみに基づく、又はユーザが行う実装の選択の結果として得られる基準とは異なる。
【0057】
前述のように、BDPCMモードの幾つかの代替モードがある。
【0058】
前述の論文“CE8-related:Quantized residual BDPCM”に記載されている第一の代替モード(R-BDPCMと呼ばれる)では、あるブロックの輝度成分がBDPCMモードに従って符号化された場合、検討対象の輝度ブロックについて、方向情報(例えば、インディケータ)が符号化される。インディケータは、垂直又は水平方向を表す。
【0059】
この第一の代替モードでは、まず、検討対象のブロックの画素についてINTRA型の予測が行われる。この予測は、HEVC規格において説明されているものと同じである。それゆえ、そのブロックに関する方向インディケータが水平方向に対応していれば、水平INTRA予測が適用され、すなわち、検討対象のブロックの(又は、その成分のうちの1つの)画素の値がこの画素の左側の隣接画素の値から予測される。そうでなければ、垂直INTRA予測が適用され、すなわち、検討対象のブロックの(又は、その成分のうちの1つの)画素の値がこの画素の上の隣接画素の値から予測される。検討対象の予測ブロックの輝度成分の、ブロックのラインi及びコラムj上にある画素の値はP(i,j)で示され、1つのブロックの画素はラインとコラムに組織化される(i及びjは整数)。
【0060】
次に、各画素P(i,j)の予測残差RES1は以下のように計算される:
RES1(i,j)=P(i,j)-PRED1(i,j)
ただし、PRED1(i,j)は、規定された予測方向が水平であるとき、P(i,j)の左の画素REFLEFT(i,j)と等しい、あるいは、規定された予測方向が垂直であるとき、P(i,j)の上の画素REFTOP(ij)と等しいプレディクタである。
【0061】
次に、計算された予測残差RES1(i,j)が画素P(i,j)に関するQRES1(i,j)で示される量子化残差へと量子化される。
【0062】
以前のINTRA予測が水平方向に行われている場合、いわゆる残差値R(i,j)は以下のように得られる:
R(i,0)=QRES1(i,0)
j≠0の場合、R(i,j)=QRES1(i,j)-QRES1(i,j-1)
【0063】
以前のINTRA予測が垂直方向に行われている場合、R(i,j)の値は以下のように生成される:
R(0,j)=QRES1(0,j)
i≠0の場合、R(i,j)=QRES1(i,j)-QRES1(i-1,j)
【0064】
その後、全ての値R(i,j)は既知の手段、例えばHEVC規格の残差係数の符号化等によって符号化される。
【0065】
符号化されたデータストリームの復号化中、ストリーム内で伝送される予測方向が水平であると、量子化残差QRES1(i,j)は以下のように再構成される:
QRES1(i,j)=Σj k=0R(i,k)
【0066】
復号化中、予測方向が垂直であるとき、量子化残差QRES(i,j)は以下のように再構成される:
QRES1(i,j)=Σi k=0R(k,j)
【0067】
その結果、ピクセルP(i,j)の再構成バージョンREC1(i,j)を予測方向及び量子化残差QRES1(i,j)から、プレディクタPRED1(i,j)に量子化された値QRES1(i,j)を加算することによって再構成できる。
【0068】
前述の論文“CE8:BDPCM with horizontal/vertical predictor and independently decordable areas(test 8.3.1b)”において説明されている第二の代替モード(S-BDPCMと呼ばれる)では、方向情報(例えば、インディケータ)は検討対象のブロックの輝度成分についても符号化される。同様に、インディケータは垂直又は水平方向を表す。
【0069】
この代替モードでは、画素は1つずつ規定された順序で処理される。方向インディケータが水平予測方向に対応している場合、ブロックの第一のコラム(左)の画素が最初に処理され、その後、第二のコラムのサンプル等、ブロックの最後のコラムまで全てが処理される。1つのコラム内で、画素は並列にも、又は異なる順序でも処理できる。プレディクタ画素PRED2(i,j)と呼ばれる参照画素によって、j番目のコラム上のi番目のラインにある検討対象の画素の予測が可能となる。以下が得られる:
PRED2(i,0)=REFLEFT(i)
j≠0の場合、PRED2(i,j)=REC2(i,j-1)、ただし、
REFLEFT(i)はブロックの左のi番目のライン上の参照画素(すなわち、復号化された隣接ブロックに属する)であり、
REC2(i,j-1)はi番目のライン及び(j-1)番目のコラム上(すなわち、検討対象の画素の左隣の)検討対象のブロックの再構成された画素である。
【0070】
方向インディケータが垂直予測方向に対応している場合、ブロックの第一のライン(上)の画素の全部が処理され、その後、第二のラインのサンプルの全部等、最後のラインまで処理される。同じライン内で、画素は並列にも、又は異なる順序でも処理できる。同様に、検討対象のブロックのj番目のコラム上のi番目のラインにある画素を予測するためのプレディクタ画素PRED2(i,j)と呼ばれる参照画素は以下のように得られる:
PRED2(0,j)=REFTOP(j)
i≠0の場合、PRED2(i,j)=REC2(i-1,j)、ただし、
REFTOP(i)は検討対象のブロックの上のj番目のコラムにある参照画素(すなわち、復号化された隣接ブロックに属する)であり、
REC2(i-1,j)は(i-1)番目のライン及びj番目のコラム上(したがって、現在の画素のすぐ上の)検討対象のブロックの復号化された(又は再構成された)画素である。
【0071】
次に、対応する残差RES2(i,j)は、検討対象のブロックのj番目のコラムのi番目のライン上の画素の当初の値とPRED(i,j)との差によって計算される。
【0072】
残差RES2(i,j)は、量子化残差QRES2(i,j)が得られるように量子化される。
【0073】
復号化中、符号化されたビデオストリームから得られた量子化残差は、デコーダに伝送され、その後、逆量子化されて、逆量子化残差DQRES2(i,j)が得られる。
【0074】
検討対象の画素の再構成値REC2(i,j)はその後、次式により得られる:
REC2(i,j)=PRED2(i,j)+DQRES2(i,j),PRED2(i,j)。REC2(i,j)は画素処理順序の次の画素を予測するために使用されることに留意されたい。
【0075】
前述の代替モードで使用された量子化が均一スカラ量子化である場合、第一及び第二の代替モードは等価であることに注目する。実際に、予測が水平であり(垂直予測の場合も同じ理論)、均一スカラ量子化ピッチδを使用すると仮定する。この場合、第一の代替モードによれば、再構成された画素REC1(i,j)は以下のように書かれる:
REC1(i,j)=REFLEFT(i)+Σj k=0QRES1(i,k)*δ
【0076】
第二の代替モードによれば、再構成された画素REC2(i,j)は以下のように書かれる:
REC2(i,j)=PRED2(i,j)+DQRES2(i,j)
=REC2(i,j-1)+QRES2(i,j)*δ
=REC2(i,j-2)+(QRES2(i,j-1)+QRES2(i,j))*δ
...
=REFLEFT(i)+Σj k=0QRES2(i,j)*δ
【0077】
それゆえ、どちらの場合も、再構成された画素は参照画素REFLEFT(i)の値と等しく、そこに以前に再構成された画素の量子化残差値の合計が加算され、量子化はピッチが乗じられる。以下、BDPCMという語は、代替モードの一方又は他方を区別なく指すために使用される。
【0078】
満たすべき所定の基準CTは、画像の色フォーマットに関係するものとすることができる。例えば、ビデオシーケンス内の画像又は幾つかの画像又は全部の画像がサブサンプリングされない場合、1つ又は幾つかの画像の色差成分の少なくとも1つのブロックの符号化は、BDPCMモードを使って行われる。他の所定の基準CTは、1つ若しくは幾つかの画像の全体的内容又はその成分のうちの1つの内容に応じたものとすることができる。全体的内容は、エンコーダによって、例えばヒストグラムを使って解析できる。解析結果に応じて、エンコーダはある符号化モードを実行するか否かを選択する。例えば、ある画像又はその画像の成分が“Screen Content”等の特定のフォーマットの画像を含んでいる場合、その画像の色差成分の少なくとも1つのブロックの符号化はBDPCMモードを使って行われる。他の所定の基準は、BDPCMモードが色差成分のブロックの符号化に使用される場合に得られるゲイン、すなわちこのゲインが所定の閾値より高いか否か、とすることができる。上述の基準の羅列は全部ではない。当業者であれば、それが満たされた場合に画像の色差成分の少なくとも1つのブロックの符号化を含む、ここに記されていない他の基準を使用し得る。
【0079】
図4は、本発明の他の実施形態を図解しており、ステップE1に加えて、色差成分のブロックの符号化に使用されるBDPCMモードを示す情報を符号化するステップE2を含んでいる。
【0080】
この情報は、ブロックレベルでの(すなわち、検討対象のブロックに関する)二値インディケータとすることができ、色差成分のブロックについてアクティブ化されるとき、BDPCMモードがそのブロックの符号化に使用されることを示す。
【0081】
さらに、色差成分のブロックに関する情報はまた、他方の色差成分のそれに対応するブロックについても、どちらの色差成分も同じブロック分割方式を有している場合、有効とすることができる。1つのインディケータは、第一の色差成分のブロックのレベルで伝えられる。換言すれば、1つのインディケータは、BDPCMモードが一方で(第一の)色差成分のブロックを、他方でもう一方の(又は第二の)色差成分のそれに対応するブロックを符号化するために使用されるか否かを示す。
【0082】
好ましくは、前記情報はさらに、前述のように予測方向、すなわち垂直又は水平を示すことができる。前のインディケータに関して、方向情報は第一の色差成分のブロックのみについて伝えられ、第二の示差成分のそれに対応するブロックについても有効な、二値インディケータとすることができる。
【0083】
図5は、本発明の他の実施形態を図解する。この実施形態は、特に基準CTが満たされたときに、色差成分のブロックを符号化するためのBDPCMモード及び他のモードを評価することを含むステップE10を含む。代替案として、ステップE10は基準CTとは無関係とすることができる。他の代替案では、輝度及び色差成分の分割方式が同じである場合、評価は対応する輝度ブロックについて行うことができ、その結果、選択されたモードを色差成分の符号化に直接使用できる。
【0084】
他のモードは例えば、HEVC規格に関して述べたように、INTRA予測又はINTER予測モードのみによる符号化モードとすることができる。ここで、評価は、検討対象のブロックの色差成分を、一方でBDPCMモードに従って、他方で他のモードに従って符号化することを含む。BDPCMモードに従って、又は他方のモードに従って符号化された色差成分のブロックは、他の所定の基準に応じて選択される。この、他の所定の基準は例えば、レート歪みコストとすることができる。このコストがある閾値より高ければ、この場合、BDPCMモードは検討対象のブロックの色差成分の符号化に使用されない。
【0085】
次に、ステップE11は、色差成分のブロックのための他の符号化モードを表す情報を符号化することを含む。反対に、ステップE12は、色差成分のブロックを符号化するためのBDPCMモードを表す情報を符号化することを含む。
【0086】
ステップE11及びE12は、基準CTが前のステップで考慮されている場合に、基準CTを表す情報を符号化することを、さらに含むことができる。例えば、満たされるべき基準が、輝度及び色差成分について同じ大きさを有することであれば、ステップE11及びE12は、画像サンプリングフォーマットを伝える情報を符号化することをさらに含むことができる。この情報が、色フォーマットは4:4:4であることを示している場合、基準CTは満たされるが、それはこのフォーマットでは色成分が同じ大きさを有するからである。例えば、ビデオシーケンスの画像がおそらくフォーマット4:4:4又はフォーマット4:2:0であり得る場合、情報は、アクティブ化されると、画像(又は、それがシーケンスレベルで使用される場合はシーケンス)がフォーマット4:4:4であることを伝える二値インディケータとすることができる。
【0087】
図6は、画像のブロックの幾つかの成分の符号化の実施形態を図解する。符号化はここで、成分ごとに行われる。同じ成分の全てのブロックが符号化されてから、他の成分のブロックが符号化される。この実施形態は特に、成分が同じ分割方式を有していない場合に適応される。
【0088】
第一のステップE400で、第一の成分、例えば輝度成分が考慮される。次に、この選択された輝度成分について、第一のブロックが考慮される、E401。これは、ステップE402で選択された方法に従って符号化される。例えば、方法は、BDPCMモード及び他のモードを評価し、その後、最も低いレート歪みコストを生成する符号化されたブロックを選択することを含むことができる。テストT2中、符号化されたブロックが成分の最後のブロックであることがチェックされる。これが当てはまらない場合、ステップE403で次のブロックが処理され、最終的に輝度成分のブロックの全部が符号化されるようにする。
【0089】
処理された成分が最後のものでない場合、テストT3、ステップE404で他の成分、例えば第一の色差成分が得られる。同様に、ステップE401では、新たな成分の第一のブロックが選択される。次に、このブロックが前述の方法の1つに従って符号化される。符号化はここで、所定の基準CTに応じたものとすることができる。例えば、この色差成分の符号化は、画像又はビデオシーケンス全体の色フォーマットが4:4:4であれば、BDPCMモードと他のモードを評価することを含むことができる。
【0090】
代替案として、色差成分と輝度成分が同じ分割方式を有する場合、色差成分のブロックは、輝度成分のそれに対応するブロックを符号化するために選択されたモードを使って符号化できる。例えば、輝度成分のブロックのために選択されたモードがBDPCMモードであれば、これはデフォルトで色差成分のそれに対応するブロックを符号化するために使用される。
【0091】
前述のように、色差成分の処理されたブロックが最後のものではない場合、テストT2、プロセスは次のブロックE403へと続く。このプロセスは、最後の成分のブロックの全部が処理されるまで繰り返される、テスト3。
【0092】
プロセスは、ビデオシーケンスを形成する画像の全部について繰り返すことができる。
【0093】
図7は、画像のブロックの幾つかの成分を符号化する、他の実施形態を示す。符号化は本明細書ではブロックごとに行われる。同じブロックの全ての成分が符号化されてから、次のブロックが符号化される。この実施形態に関して、成分は好ましくは同じブロック分割方式を有する。
【0094】
ステップE500中、第一のブロックが得られる(例えば、画像の左上にある)。ブロックの処理順序はここではわかっていると想定される。ステップE501で、このブロックの輝度成分が符号化される。次に、ステップE502で、このブロックの第一の色差成分が、本明細書に記載の方法の1つに従って、おそらくは基準CTに応じて符号化される。
【0095】
ステップE503で、第二の色差成分が前述の方法の1つに従って、おそらくは基準CTに応じて符号化される。代替案として、ブロックの第一の色差成分について使用される符号化モードは、デフォルトにより、そのブロックの第二の色差成分の符号化に使用される。
【0096】
処理されたブロックが最後のものではない場合、テストT5、次のブロックが考慮される。プロセスは、最後のブロックまで反復される。
【0097】
代替案として、色差成分と輝度成分が同じ分割方式を有するとすると、ブロック色差はブロック輝度の符号化のために選択されたモードを使って符号化できる。例えば、ブロック輝度成分の符号化のために選択されたモードがBDPCMモードである場合、これは自動的にブロック色差成分の符号化に使用される。
【0098】
代替案として、検討対象のブロックの少なくとも2つの成分が並行して符号化される。
【0099】
プロセスは、ビデオシーケンスを形成する画像の全てについて繰り返すことができる。
【0100】
図6及び7の実施形態による符号化は、特に、各画像について、又はビデオシーケンス全体について、基準CTが満たされたか否かを示す情報の符号化を含むことができる。この情報は、ビデオシーケンスのその画像又は(全ての)画像の色フォーマットのインディケータとすることができる。例えば、インディケータは入力画像がフォーマット4:2:0である(基準CTが満たされない)か、又はフォーマット4:4:4である(基準CTが満たされる)か、を伝えることができる。
【0101】
代替案として、図6及び7の実施形態は、少なくとも1つの画像について、BDPCMモードを画像の少なくとも1つの成分の少なくとも1つのブロックの符号化に使用できることを示す第一の情報を符号化することを含むことができる。そして、第一の情報が、BDPCMモードを画像の少なくとも1つの成分の少なくとも1つのブロックの符号化に使用できることを示している場合、少なくとも前記画像に関する、BDPCMモードを画像の色差成分の少なくとも1つのブロックの符号化に使用できることを示す第二の情報を符号化すること。
【0102】
第一及び第二の情報は、よりよいダイナミクスのためにビデオシーケンスの各画像に、又はビデオシーケンス全体に関連付けることができる。
【0103】
BDPCMモードを色差成分の少なくとも1つのブロックについて使用できることを示す第二の情報がアクティブ化される場合、あるインディケータをそのブロックについて符号化できる。このインディケータは、アクティブ化されると、BDPCMモードをそのブロックに使用できることを伝える。
【0104】
図10は、画像レベルでの第一及び第二の情報の例示的な実施形態を図解している。ここでは、4つのインディケータFL1、FL2、FL3、及びFL4が考慮される。インディケータFL1がアクティブ化されると(=1)、この場合、BDPCMモードを画像の少なくとも1つの成分について使用できる。インディケータFL2がアクティブ化されると(=1)、この場合、BDPCMモードを画像の色差成分の少なくとも1つのブロックについて使用できる。インディケータFL2がアクティブ化されると、色差成分の少なくとも1つのブロックについて、インディケータFL4は、BDPCMモードがそのブロックの符号化に使用される(=1)か否か(=0)を伝える。他のインディケータFL3は、他の符号化モードの使用を伝えるために使用できる。代替案として、他の符号化モードはデフォルトモードとすることができる。この場合、インディケータは使用されない。
【0105】
例えば、第一の画像IM1について、インディケータFL1及びFL2がどちらもアクティブ化される。この画像IM1の輝度成分Yの1つのブロックについてのインディケータFL3及びFL4は、それぞれ値0及び1をとることができ、これはBDPCMモードが関係するブロックの符号化に使用されることを示す。この画像IM1の色差成分、ここではCbのブロックについてのインディケータFL3及びFL4は、それぞれ「0」と「1」の値をとることができ、BDPCMモードが関係するブロックの符号化に使用されることを示す。
【0106】
他の例において、画像IM2についてインディケータFL1だけがアクティブ化される。インディケータFL2は非アクティブ化される。その結果、この画像IM1の輝度成分Yの1つのブロックのためのインディケータFL3及びFL4は、それぞれ0及び1の値をとることができ、BDPCMモードが関係するブロックの符号化に使用されることを示す。画像IM2の色差成分、ここではCbのブロックについてはインディケータFL3のみが符号化されるが、これは、インディケータFL2によって、色差成分のブロックの符号化にBDPCMモードを使用できないからである。インディケータFL3がアクティブ化され、このブロックにはINTRAモードが使用されることが伝えられる。非アクティブ化されると、他の符号化モードを使用できる(例えば、INTERモード)。代替案として、色差成分のこのブロックについて、何れのインディケータも符号化されない。符号化モードはデフォルトモードである。
【0107】
BDPCMモードがその画像で使用されない場合、インディケータFL1及びFL2の使用により、輝度及び/又は色差の各ブロックのためのインディケータの符号化(その後、復号化)を回避することが可能となる。
【0108】
再び図6及び7を参照する。これらの図面の実施形態による符号化は、各画像又はビデオシーケンス全体について、輝度及び色差に関して成分の分割方式が同じか否かを示す情報を符号化することを含むことができる。このインディケータは、輝度成分のための第一の分割方式と2つの色差成分のための第二の分割方式を伝えることができる。
【0109】
さらに、図6及び7の実施形態によるブロックの符号化は、BDPCMモードがある成分について選択された場合に、符号化方向(垂直又は水平)を符号化することを含むことができる。この方向は、輝度ブロック及び1つの色差成分について符号化できる。その色差成分のブロックについて符号化された方向は、デフォルトにより、第二の色差成分のそれに対応するブロックについても有効である。
【0110】
図6及び7の実施形態による符号化は、BDPCMモードを画像の少なくとも1つのブロックの少なくとも1つの成分の符号化に使用できるか否かを示すようになされた、その画像に関する第一の情報を符号化することと、第一の情報がBDPCMモードを画像の少なくとも1つのブロックの少なくとも1つの成分の符号化に使用できることを示している場合、BDPCMモードを画像の少なくとも1つのブロックの色差成分の符号化に使用できることを示すようになされた、前記画像に関する第二の情報を符号化することをさらに含むことができる。
【0111】
代替案として、この情報は、輝度成分のブロックのために使用されるモードを示す第一のインディケータと、色差成分のブロックに使用されるモードを示す第二のインディケータを含むことができる。
【0112】
代替案として、この情報は、輝度成分のブロックのために使用されるモードと色差成分のブロックのために使用されるモードを示す1つのインディケータを含むことができる。
【0113】
代替案として、この情報は、輝度成分のブロックのために使用されるモードを示す第一のインディケータと、両方の色差成分のブロックのために使用されるモードを示す1つの第二のインディケータを含むことができる。
【0114】
図8及び9は、本発明によるビデオシーケンスの画像を表す符号化データのストリームを復号化する方法の2つの実施形態を図解している。これらの図面は、それぞれ図6及び7の実施形態に対応する。
【0115】
まず、図8を参照すると、復号化は成分ごとに行われる。この実施形態はそれ以前に、その成分が属する画像(又はビデオシーケンス)に関して、BDPCMモードが画像の少なくとも1つのブロックの少なくとも1つの成分の符号化に使用されるか否かを示す第一の符号化情報を復号化するステップE599を含むことができる。この第一の情報は、図10のインディケータFL1に対応する。
【0116】
第一の情報が、復号化されたときに、BDPCMモードを画像の少なくとも1つのブロックの少なくとも1つの成分の符号化に使用できることを示す場合、前記画像に関する第二の情報が復号化される。図10のインディケータFL2に対応するこの第二の情報は、BDPCMモードが画像の少なくとも1つのブロックの色差成分の符号化に使用されていることを示す。
【0117】
代替案として、事前のステップE599は、所定の基準、例えば検討対象の画像の(又はビデオシーケンスの全ての画像の)色フォーマットを表す復号化情報を含むことができる。得られた色フォーマットに応じて、BDPCMモードはブロックの色差成分の符号化に使用されたかもしれないし、そうでないかもしれず、この色差成分のブロックについて、対応する情報を復号化できる。
【0118】
この事前のステップE599(これは任意選択的であってよい)の後で、復号化はここでは成分ごとに行われる。同じ成分の全てのブロックが復号化された後に、他の成分のブロックが復号化される。
【0119】
第一のステップE600で、第一の成分、例えば輝度成分を表す符号化データが考慮される。次に、ステップE601で、この輝度成分について、復号化順序の中の第一のブロックの符号化データが考慮される。ステップE602中、情報(例えば、図10のインディケータFL3、FL4)を復号化でき、これは、輝度成分のこのブロックについて、それがBDPCMモードを使って符号化されるか、他のモードを使って符号化されるかを示す。
【0120】
情報の値に応じて、輝度成分ブロックは、1つのモード又は他方のモードで復号化される。テストT6中、復号化されたブロックが処理対象成分のうちの最後のものでないことがチェックされる。これが当てはまらない場合、ステップE603で処理は次のブロックへと続き、最終的に輝度成分の全部のブロックが復号化される。
【0121】
処理された成分が最後のものではない場合、テストT7、ステップE604で他の成分、例えば第一の色差成分の符号化データが得られる。同様に、新しい成分の第一のブロックに関する符号化データがステップE601で選択される。検討対象の色差成分のブロックに使用された符号化モードを表す情報を復号化できる(例えば、図10のインディケータFL3、又はインディケータFL3、FL4)。ステップE599で復号化された第二の情報によって許可される場合、符号化モードを表すこの情報はBDPCMモードを伝えることができる。ステップE599で復号化された第二の情報によって許可されない場合、符号化モードを表すこの情報は、図10に関して説明したように、他のモードを伝えることができる。
【0122】
代替案として、ステップE599で復号化された第二の情報によって許可されない場合、使用される符号化モードはデフォルトによるモード、例えばINTRAモードとすることができる。
【0123】
代替案として、色差成分と輝度成分が同じ分割方式を有する場合、色差ブロックは、輝度成分のそれに対応するブロックの符号化に使用されたモードを使って復号化できる。
【0124】
前述のように、色差成分の処理されたブロックが最後のものではない場合、テストT6、プロセスは次のブロックE603へと続く。プロセスは、最後の成分の全部のブロックが処理されるまで、テストT7、繰り返される。
【0125】
プロセスは、ここでは、ビデオデータストリームの符号化データの全部が処理されるように繰り返される。
【0126】
図9は、画像のブロックの幾つかの成分を復号化する他の実施形態を図解する。復号化は、ここではブロックごとに行われる。同じブロックの成分の全てが復号化されてから、次のブロックが復号化される。この実施形態に関して、成分は好ましくは同じ分割方式を有する。
【0127】
図8に示される実施形態と同様に、方法は前述のステップE599と同様の事前のステップE699を含むことができる。
【0128】
この事前のステップE699(これは任意選択的であってよい)の後、第一のブロックに対応する符号化データが得られる、E700。ブロック処理順序はここでは、わかっているものとする。輝度成分の符号化に使用された符号化モードを示す情報が復号化される(例えば、FL3、FL4)。ステップE701で、このブロックの輝度成分がこの復号化された符号化モード情報から復号化される。
【0129】
次に、関係するブロックの色差成分の符号化に使用された符号化モードを示す情報が復号化される(例えば、FL3、FL4、又はFL3のみ)。
【0130】
代替案として、輝度成分の復号化中に復号化された情報はまた、それが例えば2ビットで、又は関係するブロックの成分全部についてデフォルトによるモードであることによって復号化された場合、検討対象のブロックの色差成分の符号化モードも示すことができる。
【0131】
このブロックの第一の色差成分は次に、ステップE702で、符号化された情報によって示されるモードを使って復号化され、このモードはBDPCMモードであり得る。
【0132】
ステップE703で、第二の色差成分は、前述の方法の1つに従って復号化される。代替案として、ブロックの第一の色差成分について使用された符号化モードは、そのブロックの第二の色差成分の復号化に自動的に使用される。
【0133】
処理されたブロックが最後のものではない場合、テストT5、次のブロックが考慮される。プロセスは、最後のブロックまで反復される。
【0134】
代替案として、検討対象のブロックの少なくとも2つの成分が並行して復号化される。プロセスはここで、ビデオデータストリームの符号化データの全てが処理されるように繰り返される。
【0135】
図11により図解される本発明の特定の実施形態によれば、符号化方法のステップは、コンピュータプログラム命令によって実装される。その目的のために、符号化装置800又は復号化装置900は、コンピュータの従来のアーキテクチャを有し、特にメモリMEM801、901、例えば少なくとも1つのマイクロプロセッサP1を備え、メモリMEMに保存されたコンピュータプログラムPg803により試される処理ユニットUT802、902を含む。コンピュータプログラムPgは、プログラムがマイクロプロセッサにより実行されると、前述の符号化又は復号化方法のステップを実行するための命令を含む。
【0136】
初期化時に、コンピュータプログラムPgのコード命令は例えば、RAMにロードされてから、プロセッサにより実行される。処理ユニットUTのプロセッサは、特に、これらの様々な代替案の中の前述の符号化又は復号化方法のステップを、コンピュータプログラムPgの命令に従って実行する。
【0137】
装置800、900は、少なくとも端末ETの以下のモジュールと協働するような方法で配置できる:
-それによってバイナリストリーム又は圧縮ファイルFCを電気通信ネットワーク、例えば有線ネットワーク又は無線ネットワークで送信するデータ送信/受信モジュールE/R、及び
-符号化すべき画像若しくは画像シーケンス、得られた符号化データストリーム/ファイル、又は復号化された画像若しくは画像シーケンスを記憶するためのモジュールM。
【0138】
ある実施形態によれば、ビデオシーケンスの画像を符号化する装置800であって、画像は輝度を表す成分と色差を表す成分の少なくとも2つの成分を含み、各成分はブロックに分割される、装置800は、色差成分の少なくとも1つのブロックのいわゆるBDPCMモードを使った符号化を実行するように構成された少なくとも1つのマイクロプロセッサを含む。
【0139】
ある実施形態によれば、ビデオシーケンスの画像を符号化する装置800であって、画像は輝度を表す成分と色差を表す成分の少なくとも2つの成分を含み、各成分はブロックに分割される、装置800は、色差成分の少なくとも1つのブロックについて、前記ブロックを符号化するためのいわゆるBDPCMモード及び他のモードを評価するステップと、評価の結果に応じて、前記ブロックを符号化するためにそれらのモードのうちの1つを選択するステップと、前記ブロックを符号化するために選択されたモードを表す情報を符号化するステップを実行するように構成された少なくとも1つのマイクロプロセッサを含む。
【0140】
ある実施形態によれば、符号化された画像を符号化されたビデオデータのストリームから復号化する装置900であって、画像は輝度を表す成分と色差を表す成分の少なくとも2つの成分を含み、各成分はブロックに分割される、装置900は、色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す情報を復号化するステップを実行するように構成された少なくとも1つのマイクロプロセッサを含む。
【0141】
もちろん、本発明には、添付の特許請求の範囲内で他にも様々な変更を加えることができる。
[構成1]
ビデオシーケンスの画像を符号化する方法であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分けられており、
いわゆるBDPCMモードを使って前記色差成分の少なくとも1つのブロックを符号化すること(E1)を含む方法。
[構成2]
前記色差成分の少なくとも1つのブロックは、所定の基準(CT)が満たされると前記BDPCMモードを使って符号化される、構成1に記載の方法。
[構成3]
前記基準は、前記符号化方法を実行するようになされたエンコーダにより行われる選択を示す符号化基準である、構成2に記載の方法。
[構成4]
前記エンコーダにより行われる前記選択は、前記ビデオシーケンスの解析の結果である、構成3に記載の方法。
[構成5]
前記所定の基準は、前記2つの成分が同じ大きさである場合に満たされる、構成2に記載の方法。
[構成6]
前記符号化することは、前記色差成分の前記ブロックの符号化に使用される前記BDPCMモードを示す情報を符号化することをさらに含む、構成1に記載の方法。
[構成7]
前記所定の基準が満たされると、前記BDPCMモードの前記使用を伝えるインディケータが、前記色差成分の前記ブロックについて符号化される、構成2に記載の方法。
[構成8]
ビデオシーケンスの画像を符号化する方法であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分けられており、
前記色差成分の少なくとも1つのブロックについて、前記ブロックを符号化するためのいわゆるBDPCMモード及び他のモードを評価すること(E10)と、
前記評価の結果に応じて、前記ブロックを符号化するために前記モードのうちの1つを選択することと、前記ブロックを符号化するために選択された前記モードを表す情報を符号化することと(E11、E12)、を含む、方法。
[構成9]
所定の基準(CT)が満たされると、前記BDPCMモード及び他方のモードが、前記色差成分の少なくとも1つのブロックについて評価される、構成8に記載の方法。
[構成10]
前記所定の基準(CT)は、前記2つの成分が同じ大きさであるときに満たされる、構成9に記載の方法。
[構成11]
前記符号化することは、前記画像のサンプリングフォーマットを伝える符号化情報をさらに含み、前記情報は前記成分の大きさを示す、構成10に記載の方法。
[構成12]
前記評価は、前記色差成分の検討対象のブロックを、一方で前記BDPCMモードに従って、他方でもう一方のモードに従って符号化することと、他の所定の基準に応じて、前記ブロックが前記BDPCMモードに従って符号化されるか、又は前記ブロックが前記もう一方のモードに従って符号化されるかを選択することを含む、構成8に記載の方法。
[構成13]
前記輝度成分の少なくとも1つのブロックについて、前記輝度成分の前記ブロックを符号化するための、前記いわゆるBDPCMモード及び前記もう一方のモードを評価することと、前記評価の結果に応じて、前記輝度成分の前記ブロックを符号化するために前記モードの一方を表す情報を符号化することと、をさらに含む、構成8に記載の方法。
[構成14]
前記成分は同じブロック分割方式を有し、前記画像符号化はブロックごとに行われる(E500~E504)、構成8又は13に記載の方法。
[構成15]
前記画像符号化は成分ごとに行われる(E400~E404)、構成8又は13に記載の方法。
[構成16]
前記符号化は、前記検討対象の画像について、
前記画像の少なくとも1つの成分の少なくとも1つのブロックを符号化するために前記BDPCMモードを使用できることを示す、少なくとも前記画像に関する第一の情報を符号化することと、前記第一の情報が、前記画像の少なくとも1つの成分の少なくとも1つのブロックを符号化するために前記BDPCMモードを使用できることを示している場合、前記画像の前記色差成分の少なくとも1つのブロックの符号化に前記BDPCMモードを使用できることを示す、少なくとも前記画像に関する第二の情報を符号化することと、をさらに含む、構成8に記載の方法。
[構成17]
前記色差成分の少なくとも1つのブロックについて、前記画像に関する前記第二の情報が、前記画像色差成分の少なくとも1つのブロックの符号化に前記BDPCMモードを使用できることを示す場合、前記色差成分の前記ブロックの符号化に前記BDPCMモードが使用されることを示す、前記色差成分の少なくとも1つのブロックに関するインディケータを符号化することをさらに含む、構成16に記載の方法。
[構成18]
前記色差成分の少なくとも1つのブロックについて、前記基準が満たされる場合、前記色差成分の前記ブロックを符号化するために前記BDPCMモードが使用されていることを示す、前記ブロックに関するインディケータを符号化することを含む、構成9に記載の方法。
[構成19]
前記画像は、他方の色差成分と同じ分割方式を有する第二の色差成分をさらに含み、前記他方の色差成分の前記ブロックについて前記BDPCMモードが選択される場合、前記他方の色差成分の前記ブロックに関する前記情報は、前記他方の色差成分の前記ブロック及び前記第二の色差成分のそれに対応するブロックのために前記BDPCMモードが選択されたことを示すインディケータと、前記他方の色差成分の前記ブロック及び前記第二の色差成分の対応するブロックのためのブロックプレディクタを特定する方向インディケータとを含む、構成8に記載の符号化方法。
[構成20]
前記ブロックは画素で形成され、前記BDPCMモードを使用したブロックの前記符号化は、前記ブロックの少なくとも1つの画素について、第一及び第二の値間の差を表す残差の量子化された値を符号化することを含み、前記第一の値は、前記検討対象の画素の前記値と、その位置が所与の方向によって伝えられる参照画素との間の差の量子化された値に対応し、前記第二の値は前記他方の画素と、前記所与の方向により伝えられる他の参照画素との間の差の量子化された値に対応する、構成1又は8に記載の符号化方法。
[構成21]
ビデオシーケンスの画像を符号化する方法であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、前記輝度及び色差成分は同じブロック分割方式を有し、前記輝度成分の少なくとも1つのブロックについて、前記ブロックを符号化するためのいわゆるBDPCMモードと他のモードを評価することと、
前記評価の結果に応じて、前記輝度成分の前記ブロック及び前記色差成分のそれに対応するブロックを符号化するために前記モードの1つを選択することと、前記輝度成分の前記ブロック及び前記色差成分の対応するブロックを符号化するために選択された前記モードを表す情報を符号化することと、
を含む方法。
[構成22]
前記BDPCMモードが選択された場合、前記情報は前記輝度成分の前記ブロックに関し、並びに、前記輝度成分の前記ブロックのために及び前記色差成分の対応するブロックのために選択される前記モードは前記BDPCMモードであることを示すインディケータと、前記輝度成分の前記ブロックのため及び前記色差成分の対応するブロックのためのブロックプレディクタを特定する方向インディケータとを含む、構成21に記載の方法。
[構成23]
符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、前記色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す情報を復号化すること(E601、E701)を含む方法。
[構成24]
前記画像は、前記色差成分と同じ分割方式を有する第二の色差成分をさらに含み、前記情報から復号化された値はまた、前記第二の色差成分の対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示すためにも使用される、構成23に記載の方法。
[構成25]
前記情報から復号化された前記値はまた、方向を示し、それによって、それぞれのブロックプレディクタから、前記方向の関数、前記色差成分の前記ブロックと前記第二の色差成分の対応するブロックとを復号化することができる、構成24に記載の方法。
[構成26]
符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、符号化基準を表す第一の情報を復号化することと、前記情報から復号化された値が、前記符号化基準が満たされていることを示す場合、前記色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているかを示す第二の情報を復号化することと、を含む方法。
[構成27]
前記画像は、もう一方の色差成分と同じ分割方式を有する第二の色差成分をさらに含み、前記第二の情報から復号化された値はまた、前記第二の色差成分の対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示すためにも使用される、構成26に記載の方法。
[構成28]
前記第二の情報から復号化された前記値はまた、方向を示し、それによって、それぞれのブロックプレディクタから、前記方向の関数、前記もう一方の色差成分のブロックと前記第二の色差成分の対応するブロックを復号化することができる、構成27に記載の方法。
[構成29]
前記色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す他の情報を復号化することをさらに含む、構成26に記載の方法。
[構成30]
前記符号化基準は、前記ビデオデータのストリームを符号化したエンコーダによって行われる選択を示す、構成26に記載の方法。
[構成31]
前記エンコーダにより行われる前記選択は、前記ビデオデータストリームの解析結果である、構成30に記載の方法。
[構成32]
符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、前記画像の少なくとも1つの成分の少なくとも1つのブロックの復号化に前記BDPCMモードを使用できるか否かを示す、少なくとも前記画像に関する第一の情報(FL1)を復号化することと、前記第一の情報が、前記画像の少なくとも1つの成分の少なくとも1つのブロックの復号化に前記BDPCMモードを使用できることを示している場合、前記画像の前記色差成分の少なくとも1つのブロックの復号化に前記BDPCMモードを使用できることを示す、少なくとも前記画像に関する第二の情報(FL2)を復号化することと、を含む、方法。
[構成33]
前記画像に関する前記第二の情報が、前記BDPCMモードを前記画像色差成分の少なくとも1つのブロックを復号化するために使用できることを示す場合、前記色差成分の前記ブロックの復号化に前記BDPCMモードを使用できることを示す、前記色差成分の前記少なくとも1つのブロックに関するインディケータ(FL4)を符号化することを含む、構成32に記載の方法。
[構成34]
符号化された画像を符号化されたビデオデータのストリームから復号化する方法であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、前記輝度及び色差成分は同じブロック分割方式を有し、前記方法が、符号化基準を表す第一の情報を復号化することと、前記情報から復号化された値が、前記符号化基準が満たされていることを示す場合、前記輝度成分の前記ブロック及び前記色差成分の対応するブロックがいわゆるBDPCMモードを使って符号化されているか否かを示す、前記輝度成分の少なくとも1つのブロックに関する第二の情報を復号化することと、を含む、方法。
[構成35]
ビデオシーケンスの画像を符号化する装置(800)であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、前記色差成分の少なくとも1つのブロックをいわゆるBDPCMモードを使って符号化するステップを実行するように構成される少なくとも1つのマイクロプロセッサを含む、装置。
[構成36]
符号化された画像を符号化されたビデオデータから復号化する装置(900)であって、前記画像は輝度を表す成分と色差を表す成分を含む少なくとも2つの成分を含み、各成分はブロックに分割されており、前記色差成分の少なくとも1つのブロックについて、それがいわゆるBDPCMモードを使って符号化されているか否かを示す情報を復号化するステップを実行するように構成される少なくとも1つのマイクロプロセッサを含む、装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11