IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベー<>コムの特許一覧

特開2022-43029デジタル画像のコーディング方法、デコーディング方法、付随するデバイス、ユーザ端末およびコンピュータプログラム
<>
  • 特開-デジタル画像のコーディング方法、デコーディング方法、付随するデバイス、ユーザ端末およびコンピュータプログラム 図1
  • 特開-デジタル画像のコーディング方法、デコーディング方法、付随するデバイス、ユーザ端末およびコンピュータプログラム 図2
  • 特開-デジタル画像のコーディング方法、デコーディング方法、付随するデバイス、ユーザ端末およびコンピュータプログラム 図3
  • 特開-デジタル画像のコーディング方法、デコーディング方法、付随するデバイス、ユーザ端末およびコンピュータプログラム 図4
  • 特開-デジタル画像のコーディング方法、デコーディング方法、付随するデバイス、ユーザ端末およびコンピュータプログラム 図5
  • 特開-デジタル画像のコーディング方法、デコーディング方法、付随するデバイス、ユーザ端末およびコンピュータプログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022043029
(43)【公開日】2022-03-15
(54)【発明の名称】デジタル画像のコーディング方法、デコーディング方法、付随するデバイス、ユーザ端末およびコンピュータプログラム
(51)【国際特許分類】
   H04N 19/105 20140101AFI20220308BHJP
   H04N 19/176 20140101ALI20220308BHJP
   H04N 19/196 20140101ALI20220308BHJP
【FI】
H04N19/105
H04N19/176
H04N19/196 200
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021183991
(22)【出願日】2021-11-11
(62)【分割の表示】P 2018534103の分割
【原出願日】2016-12-16
(31)【優先権主張番号】1502721
(32)【優先日】2015-12-29
(33)【優先権主張国・地域又は機関】FR
(71)【出願人】
【識別番号】516388447
【氏名又は名称】ベー-コム
【氏名又は名称原語表記】B COM
(74)【代理人】
【識別番号】100080447
【弁理士】
【氏名又は名称】太田 恵一
(72)【発明者】
【氏名】アンリ,フェリクス
(57)【要約】      (修正有)
【課題】デジタル画像のコーディング方法、デバイス及びコンピュータプログラムを提供する。
【解決手段】記述要素が現ブロックの変換されて量子化された係数の夫々の符号であるステップと、記述要素のサブセットを選択するステップと、シーケンスの形に順序付けするステップと、記述要素をコーディングするステップと、を含むデジタル画像のコーディング方法であって、シーケンスの記述要素の夫々を連続して処理する各サブステップは、処理対象となる1つの現記述要素について、既定のコスト基準に応じた複数の組合せ中のシーケンスの記述要素の予測値と、第2の記述要素を処理する第2のサブステップからの該シーケンス内の先に処理された記述要素の実際値との組合せを選択することと、シーケンスの現記述要素を選択された組合せ中のその値によって予測することと、該現記述要素の実際値とその予測値との間の差を表わす指標をコーディングすることと、を含む。
【選択図】図2
【特許請求の範囲】
【請求項1】
デジタル画像のコーディング方法において、前記画像(Im)が、定義された順序で処理される複数の画素ブロック(C)に分割されており、1つの現ブロックについて実施される、
- 処理されたブロックの記述要素セットを提供するために現ブロックを処理するステップ(E1)であって、前記記述要素は、前記現ブロックの、変換されて量子化された係数のそれぞれの符号である、現ブロックを処理するステップ(E1)と;
- 提供されたセット内で予測すべき少なくとも2つの記述要素のサブセットを選択するステップ(E2)と;
- 前記サブセットの記述要素を、順序付けされたシーケンスの形に順序付けするステップ(E4)と;
- 前記シーケンスの記述要素をコーディングするステップ(E5)と;
を含む方法であって、
前記シーケンスの記述要素をコーディングするステップが、前記シーケンスの記述要素のそれぞれを連続して処理する、連続するサブステップを含み、
各サブステップは、処理対象となる1つの現記述要素について、
- 既定のコスト基準に応じた複数の組合せ中のシーケンスの記述要素の予測値と、第2の記述要素を処理する第2のサブステップからの該シーケンス内の先に処理された記述要素の実際値との組合せを選択すること(E5)と;
- シーケンスの現記述要素を、選択された組合せ中のその値によって予測すること(E5)と;
- 該現記述要素の実際値とその予測値との間の差を表わす指標をコーディングすること(E5)と;
を含むことを特徴とする、デジタル画像のコーディング方法。
【請求項2】
前記順序付けするステップ(E4)が初期シーケンス(Seq)を生成し、
前記コーディングするステップ(E5)は、前記初期シーケンスに初期化された現シーケンスの第1の要素(ED)を現記述要素としてとり、
該第1の記述要素がひとたび処理された時点で、該第1の記述要素の削除により現シーケンスを更新するサブステップ(E5)を含むことを特徴とする、請求項1に記載のデジタル画像のコーディング方法。
【請求項3】
順序付けされたシーケンスの値の複数の組合せに結び付けられたコストを計算する予備ステップと、
複数の組合せおよびそれらの結び付けられたコストを記憶するステップとを含むこと、
および前記選択すること(E5)は、前記現記述要素について、先に処理された記述要素がその実際値を有する順序付けされたシーケンスの値の組合せを選択することを特徴とする、請求項1または2に記載のデジタル画像のコーディング方法。
【請求項4】
前記選択するステップは、前記現記述要素について、先に処理された前記記述要素の実際値に依存するコスト基準に応じて現シーケンスの考えられる値の組合せに結び付けられたコストを計算するサブステップを含んでいることを特徴とする、請求項1または2に記載のデジタル画像のコーディング方法。
【請求項5】
前記選択することは、既定のスコアに応じて予測すべき記述要素のサブセットを選択し、該既定のスコアは、それが結び付けられている予測要素の予測信頼性レベルを表わしていること、および前記順序付けするステップは、前記スコアに応じて予測すべき要素を順序付けすることを特徴とする、請求項1から4のいずれか1つに記載のデジタル画像のコーディング方法。
【請求項6】
前記既定のコスト基準は、少なくとも、
- 現ブロックと先に処理されたブロックとの境界に沿った歪みの最小化基準と;
- 既定の値との近接性基準と;
- 現ブロックと該現ブロックの予測との間の差のエネルギー測定値の最小化基準と、
を含む群に属していることを特徴とする、請求項1から5のいずれか1つに記載のデジタル画像のコーディング方法。
【請求項7】
デジタル画像のコーディング用デバイス(100)において、前記画像(Im)が、定義された順序で処理される複数の画素ブロックに分割されており、
- 現ブロックを処理し、処理されたブロックの記述要素セットを提供すること(PROC)であって、前記記述要素は、前記現ブロックの、変換されて量子化された係数のそれぞれの符号である、現ブロックを処理し、処理されたブロックの記述要素セットを提供すること(PROC);
- 提供されたセット内で予測すべき少なくとも2つの記述要素のサブセットを選択すること(SEL);
- 該サブセットの記述要素を、順序付けされたシーケンスの形に順序付けすること(ORDER);
- 該順序付けされたシーケンスの記述要素をコーディングすること(COD);
ができかつそのように構成されている、プログラミング可能な計算機械または専用の計算機械を含むデバイスであって、
前記シーケンスの記述要素のコーディングが、前記シーケンスの記述要素のそれぞれを連続して処理する、連続するサブステップを含み、
前記デバイスは、1つの現記述要素を処理する各サブステップについて、
- 既定のコスト基準に応じた複数の組合せ中のシーケンスの記述要素の予測値と、第2の要素を処理する第2のサブステップからの該シーケンス内の先に処理された記述要素の実際値との組合せを選択すること(SEL Cb);
- シーケンスの現記述要素を、選択された組合せの中のその値によって予測すること(PRED);
- 該現記述要素の実際値とその予測値との間の差を表わす指標をコーディングすること(COD IP);
ができかつそのように構成されていることを特徴とする、デバイス。
【請求項8】
ビットストリーム(TB)からデジタル画像(Im)をデコーディングする方法において、
前記画像が、定義された順序で処理される複数のブロックに分割されており、
ビットストリームが画像ブロックの記述要素を表わすコーディングされたデータを含んでおり、
現ブロックと呼ばれる1つのブロック(C’)について実施される、
- 前記ビットストリームのデータから現ブロックの記述要素セットを識別するステップ(D1)と;
- 識別されたセット内で予測すべき少なくとも2つの記述要素のサブセットを選択するステップ(D2)と;
- 該サブセットの記述要素を、順序付けされたシーケンスの形に順序付けするステップ(D4)と;
- 該順序付けされたシーケンスの記述要素をデコーディングするステップ(D5)であって、前記記述要素は、前記現ブロックの、変換されて量子化された係数のそれぞれの符号である、デコーディングするステップ(D5)と;
を含む方法であって、
前記順序付けされたシーケンスの記述要素のデコーディングステップ(D5)が前記記述要素のそれぞれを連続して処理する、連続するサブステップを含み、
各サブステップは、処理対象となる1つの現記述要素について、
- 既定のコスト基準に応じた複数の組合せ中のシーケンスの記述要素の予測値と、第2の要素を処理する第2のサブステップからの該シーケンス内の先に処理された記述要素のデコーディングされた値との組合せを選択すること(D5)と;
- シーケンスの前記現記述要素を、選択された組合せ中のその値によって予測すること(D5)と;
- 前記ビットストリームから抽出されたコーディングされたデータから、現記述要素のデコーディングされた値と予測値との間の差を表わす指標をデコーディングすること(D5)と;
- 該デコーディングされた指標および予測値から現要素のデコーディングされた値を得ること(D5)と;
を含むことを特徴とする、方法。
【請求項9】
前記順序付けするステップ(D4)が初期シーケンス(Seq)を生成し、
前記デコーディングすること(D5)は、前記初期シーケンスに初期化された現シーケンスの第1の要素(ED)を現記述要素としてとり、
該第1の記述要素がひとたび処理された時点で、該第1の要素の削除により現シーケンスを更新するサブステップ(D5)を含むことを特徴とする、請求項8に記載のデジタル画像のデコーディング方法。
【請求項10】
初期シーケンスの値の複数の組合せに結び付けられたコストを計算する予備ステップと、
複数の組合せおよびそれらの結び付けられたコストを記録するステップとを含むこと、
および前記選択することは、順序付けされたシーケンスにおいて先に処理された記述要素のデコーディングされた値で始まる記録された組合せのうちの1つの組合せを選択することを特徴とする、請求項8に記載のデジタル画像のデコーディング方法。
【請求項11】
前記選択することは、前記現記述要素について、先に処理された前記記述要素のデコーディングされた値に依存するコスト基準に応じて現シーケンスの考えられる値の組合せに結び付けられたコストの計算を含んでいることを特徴とする、請求項8または9に記載のデジタル画像のデコーディング方法。
【請求項12】
ビットストリーム(TB)からのデジタル画像(ID)のデコーディング用デバイス(200)において、
前記画像が、定義された順序で処理される複数のブロックに分割されており、
ビットストリームが画像ブロックの記述要素を表わすコーディングされたデータを含んでおり、
現ブロックと呼ばれる1つのブロック(C’)について、
- 前記ビットストリームのデータから現ブロックの記述要素セットを識別する(IDENT);
- 識別されたセット内で予測すべき少なくとも2つの記述要素のサブセットを選択する(SEL);
- 該サブセットの記述要素を、順序付けされたシーケンスの形に順序付けする(ORDER);
- 該順序付けされたシーケンスの、前記現ブロックの変換されて量子化された係数のそれぞれの符号である記述要素をデコーディングする(DEC);
ように構成されかつそれができる、プログラミング可能な計算機械または専用の計算機械を含むデバイスであって、
現記述要素を処理するために、初期シーケンスの要素のデコーディングが、該初期シーケンスに初期化された現シーケンスと呼ばれるシーケンスに適用されるように構成され、適用されることができる以下のユニット、すなわち、
- 既定のコスト基準に応じた複数の考えられる組合せ中の現シーケンスの記述要素の予測値と、第2の記述要素を処理する第2の反復からの初期シーケンスの先にデコーディングされた記述要素の値との組合せを選択するユニット(SEL Cb);
- シーケンスの現記述要素を、選択された組合せ中のその値によって予測するユニット(PRED);
- 前記ビットストリームから抽出されたコーディングされたデータから、現記述要素のデコーディングされた値と予測値との間の差を表わす指標をデコーディングするユニット(DEC IP);
- 該デコーディングされた指標および予測値から現記述要素のデコーディングされた値を得るユニット(GET);
を少なくとも2回反復して含むことを特徴とする、デバイス。
【請求項13】
請求項7に記載のデジタル画像のコーディング用デバイスおよび請求項12に記載のデジタル画像のデコーディング用デバイスを含むことを特徴とする、ユーザ端末(TU)。
【請求項14】
プロセッサにより実行された場合に、請求項1から6のいずれか1つに記載のデジタル画像のコーディング方法を実施するための命令を含む、コンピュータプログラム(Pg)。
【請求項15】
プロセッサにより実行された場合に、請求項8から11のいずれか1つに記載のデジタル画像のデコーディング方法を実施するための命令を含む、コンピュータプログラム(Pg)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の分野は、コーディングすべき信号の一部分の予測がすでにコーディングされた信号の一部分から行なわれる、信号、特にデジタル画像またはデジタル画像シーケンスの圧縮の分野である。
【0002】
デジタル画像のコーディング/デコーディングは特に、以下のものを含む少なくとも1つの映像シーケンスに由来する画像に適用される:
- 同じカメラに由来し、時間的に連続する画像(2Dタイプのコーディング/デコーディング);
- 異なる視点に沿って配向された異なるカメラに由来する画像(3Dタイプのコーディング/デコーディング);
- 対応するテクスチャの成分および深度の成分(3Dタイプのコーディング/デコーディング);
- その他。
【0003】
本発明は、2Dまたは3Dタイプの画像のコーディング/デコーディングに類似の形で適用される。
【0004】
本発明は、特に、ただし非排他的に、現在のビデオコーダAVCおよびHEVC内およびそれらの拡張型(MVC、3D-AVC、MV-HEVC、3D-HEVCなど)において実施される映像コーディング、および対応するデコーディングに適用することができる。
【0005】
本発明は、例えば現在のオーディオコーダ(EVS、OPUS、MPEG-Hなど)内およびそれらの拡張型において実施されるオーディオコーディング、および対応するデコーディングにも適用することができる。
【背景技術】
【0006】
画像を画素ブロックに分割する、デジタル画像の従来の圧縮スキームを考慮する。コーディングすべき現ブロックは先にコーディング・デコーディングされたブロックから予測される。予測値から原初の値を減算することにより、残余ブロックが得られる。その後、このブロックは、DCT(英語で「Discrete Cosinus Transform」の略)またはウェーブレットタイプの変換を用いて変換される。変換された係数は、量子化され、次にその振幅は、ハフマンタイプのエントロピコーディングまたは算術コーディングに付される。このようなコーディングは、変換のためコーディングすべき振幅の値の大部分がゼロであることを理由として、効率の良い性能を手に入れる。
【0007】
その反面、このコーディングは、その+および-の値が同等な出現確率に概して結び付けられている係数の符号値には適用されない。こうして、係数の符号は、ビット0または1によりコーディングされる。
【0008】
2012年5月の「Picture Coding Symposium(PCS)」会議の議事録中で公開された「Coefficient sign bit compression in video coding」という題のKoyama、Jらの論文から、予測すべき残余ブロックの係数符号の選択方法が知られている。提案されている選択は、係数の振幅および由来するブロックのサイズに応じた既定の係数の数に基づいている。選択された符号は、該ブロックについてのこれらの符号の値の考えられる全ての組合せをテストし既定の尤度基準を最大化する値を選択することによって予測される。得られた予測は、予測符号の残余とも呼ばれる予測指標の値を決定するため、符号の原初値と比較される。この指標は、正しい予測を表わす第1の値と正しくない予測を表わす第2の値という2つの値をとり得る。残りの符号は、予測無しで明示的にコーディングされる。
【0009】
このような選択の利点は、50%超の正しい予測確率で1符号の値を予測すること、ひいては、予測指標の値に対するエントロピコーディングの適用を可能にすることにある。このエントロピコーディングは、1符号あたり1ビット未満の平均フローで符号情報をコーディングし、こうして圧縮率を増大させることができるようにする。
【0010】
この技術の欠点は、選択された全ての符号を包括的に予測することによって、各符号が他の符号の値の影響を受け、そのために予測が劣化する、という点にある。
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明は、特に、先行技術のこれらの欠点を軽減することを目的とする。
【0012】
より厳密には、本発明の目的は、予測すべき符号をより効率良く選択する解決法を提案することにある。
【0013】
本発明の別の目的は、圧縮性能がより優れている解決法を提案することにある。
【0014】
本発明のさらにもう1つの目的は、デジタル画像のコーディングのために使用される画素ブロックのあらゆるタイプの記述要素に適用される解決法を提案することにある。
【課題を解決するための手段】
【0015】
これらの目的ならびに以下で明らかになるであろう他の目的は、デジタル画像のコーディング方法において、前記画像が、定義された順序で処理される複数の画素ブロックに分割されており、1つの現ブロックについて実施される、
- 処理されたブロックの記述要素セットを提供するために現ブロックを処理するステップと;
- 提供されたセット内で予測すべき少なくとも2つの記述要素のサブセットを選択するステップと;
- サブセットの記述要素を、順序付けされたシーケンスの形に順序付けするステップと;
- シーケンスの要素をコーディングするステップと;
を含むデジタル画像のコーディング方法を用いて達成される。
【0016】
本発明によると、シーケンスの要素をコーディングするステップは、シーケンスの要素の順次取得を含み、1つの現要素について、
- 既定のコスト基準に応じた複数の組合せ中のシーケンスの記述要素の予測値と、第2の要素からの該シーケンス内の先に順次取得された記述要素の実際値との組合せを選択するサブステップと;
- シーケンスの現要素を、選択された組合せの中のその値によって予測するサブステップと;
- 現要素の実際値とその予測値との間の差を表わす指標をコーディングするサブステップと;
を含む。
【0017】
本発明は、結び付けられたスコアに応じて予測すべき記述要素を順序付けすること、および既定のコスト基準にしたがって、順序付けされたシーケンスの要素の値の予測の最良の組合せに基づいてシーケンスの各要素を予測することからなる、全く新規で創意工夫に富むアプローチに基礎を置いている。こうして、先行技術とは異なり、現要素は、すでに処理された要素の実際値の知識を活用する個別化された処理を利用し、これによりシーケンスの処理が進むにつれて要素の予測品質を改善すること、ひいては圧縮の効率を増大させることが可能になる。
【0018】
本発明の別の態様によると、順序付けするステップは初期シーケンスを生成し、コーディングするステップは、初期シーケンスに初期化された現シーケンスの第1の要素を現要素としてとり、第1の現要素がひとたび処理された時点で、第1の要素の削除により現シーケンスを更新するサブステップを含む。
【0019】
この実装の利点は、予測要素シーケンスを処理するにつれてメモリが解放されるという点にある。
【0020】
本発明の別の態様によると、方法は、初期シーケンスの値の複数の組合せに結び付けられたコストを計算する予備ステップと、複数の組合せおよびそれらの結び付けられたコストを記憶するステップとを含み、選択ステップは、現要素について、先に処理された要素がその実際値を有する初期シーケンスの値の組合せを選択する。
【0021】
この解決法の利点は、計算資源を節約できることにある。組合せおよびそれらの結び付けられたコストは、一回限りで計算され記憶される。
【0022】
本発明の別の態様によると、選択ステップは、先に順次取得された要素の実際値に依存するコスト基準に応じて現シーケンスの考えられる値の組合せに結び付けられたコストを計算するサブステップを含んでいる。
【0023】
この解決法の利点は、組合せおよびそれらの結び付けられたコストの計算が、各々の現シーケンスについて素早く実施されるため、メモリ資源を節約できることにある。
【0024】
本発明の別の態様によると、選択ステップは、既定のスコアに応じて予測すべき記述要素のサブセットを選択し、既定のスコアは、それが結び付けられている予測要素の予測信頼性レベルを表わしており、順序付けするステップは、前記スコアに応じて予測すべき要素を順序付けする。
【0025】
利点は、スコアが、信頼性レベルまたは正しく予測されるべき要素の能力を表わすことから、サブセットがベストの予測候補しか含まない、ということにある。
【0026】
本発明のさらに別の態様によると、既定のコスト基準は、少なくとも、
- 現ブロックと先に処理されたブロックとの境界に沿った歪みの最小化基準と;
- 既定の値との近接性基準と;
- 現ブロックと現ブロックの予測との間の差のエネルギー測定値(mesure)の最小化基準と;
を含む群に属している。
【0027】
利点は、本発明が、複数のコスト基準を、そして場合によってはこれらの基準の組合せを交互に利用できるようにすることにある。
【0028】
その異なる実施形態で以上に説明されてきた方法は、有利には、デジタル画像のコーディング用デバイスにおいて、前記画像が、定義された順序で処理される複数の画素ブロックに分割されており、
- 現ブロックを処理し、処理されたブロックの記述要素セットを提供すること;
- 現ブロックの記述要素セットの中から、提供されたセット内で予測すべき少なくとも2つの記述要素のサブセットを選択すること;
- サブセットの記述要素を、順序付けされたシーケンスの形に順序付けすること;
- 順序付けされたシーケンスの要素をコーディングする(COD)こと;
ができかつそのように構成されているプログラミング可能な計算機械または専用の計算機械を含むデジタル画像のコーディング用デバイスによって実施される。
【0029】
本発明によると、シーケンスの要素のコーディングは、シーケンスの要素の順次取得を含み、1つの現要素について、
- 既定のコスト基準に応じた複数の組合せ中のシーケンスの記述要素の予測値と、第2の要素からの該シーケンス内の先に順次取得された記述要素の実際値との組合せを選択すること;
- シーケンスの現要素を、選択された組合せの中のその値によって予測すること;
- 現要素の実際値とその予測値との間の差を表わす指標をコーディングすること;
ができかつそのように構成されている。
【0030】
相関的に、本発明は同様に、ビットストリームからデジタル画像をデコーディングする方法において、前記画像が、定義された順序で処理される複数のブロックに分割されており、ビットストリームが画像ブロックの記述要素を表わすコーディングされたデータを含んでおり、現ブロックと呼ばれる1つのブロックについて実施される、
- ビットストリームのデータから現ブロックの記述要素セットを識別するステップと;
- 識別されたセット内で予測すべき少なくとも2つの記述要素のサブセットを選択するステップと;
- サブセットの記述要素を、順序付けされたシーケンスの形に順序付けするステップと;
- 順序付けされたシーケンスの要素をデコーディングするステップと;
を含むビットストリームからデジタル画像をデコーディングする方法にも関する。
【0031】
本発明によると、前記方法は、シーケンスの要素のデコーディングステップが前記要素の順次取得を含み、かつ1つの現要素について、
- 既定のコスト基準に応じた複数の組合せ中のシーケンスの記述要素の予測値と、第2の要素からの該シーケンス内の先に順次取得された記述要素のデコーディングされた値との組合せを選択するサブステップと;
- シーケンスの第1の要素を、選択された組合せ中のその値によって予測するサブステップと;
- ビットストリームから抽出されたコーディングされたデータから、現要素のデコーディングされた値と予測値との間の差を表わす指標をデコーディングするサブステップと;
- デコーディングされた指標および予測値から現要素のデコーディングされた値を得るサブステップと;
を含むこと、を特徴とする。
【0032】
本発明の利点は、ビットストリーム内に含まれるコーディングされたデータの読取り/解析(英語では「parsing」)と、現ブロックをデコーディングするためのこれらのデータの処理/活用との間の独立性を保つことを可能にする、という点にある。
【0033】
本発明の別の態様によると、順序付けするステップは初期シーケンスを生成し、デコーディングするステップは、初期シーケンスに初期化された現シーケンスの第1の要素を現要素としてとり、第1の現要素がひとたびデコーディングされた時点で、第1の要素の削除により現シーケンスを更新するサブステップを含む。
【0034】
エンコーディングの場合と同様、この実施形態は、計算されたデータの記憶を制限し、処理が進むにつれてメモリを解放するという利点を有する。
【0035】
本発明のさらに別の態様によると、デコーディング方法は、初期シーケンスの値の複数の組合せに結び付けられたコストを計算する予備ステップと、複数の組合せおよびそれらの結び付けられたコストを記録するステップとを含み、選択ステップは、順次取得順で先に順次取得された要素のデコーディングされた値で始まる記録された組合せのうちの1つの組合せを選択する。
【0036】
エンコーディングの場合と同様、この実施形態は、計算資源を節約する利点を有する。組合せおよびそれらの結び付けられたコストは、一回限りで計算され記憶される。
【0037】
本発明のさらに別の態様によると、選択ステップは、先に順次取得された要素のデコーディングされた値に依存するコスト基準に応じた現シーケンスの、考えられる値の組合せに結び付けられたコストの計算を含んでいる。
【0038】
エンコーディングの場合と同様、この解決法の利点は、組合せおよびそれらの結び付けられたコストの計算が、各々の現シーケンスについて素早く実施されるため、メモリ資源を節約できることにある。
【0039】
異なる実施形態で説明されたばかりの方法は、有利には、前記画像を表わすコーディングされたデータを含むビットストリームからのデジタル画像のデコーディング用デバイスにおいて、前記画像が、定義された順序で処理される複数のブロックに分割されており、ビットストリームが画像ブロックの記述要素を表わすコーディングされたデータを含んでおり、現ブロックと呼ばれる1つのブロックについて、
- ビットストリームのデータから現ブロックの記述要素セットを識別する;
- 識別されたセット内で予測すべき少なくとも2つの記述要素のサブセットを選択する;
- サブセットの記述要素を、順序付けされたシーケンスの形に順序付けする;
- 順序付けされたシーケンスの要素をデコーディングする;
ように構成されかつそれができるプログラミング可能な計算機械または専用の計算機械を含むデバイスによって実施される。
【0040】
本発明によると、初期シーケンスの要素のデコーディングは、初期シーケンスに初期化された現シーケンスと呼ばれるシーケンスに適用されるように構成され、適用されることができる以下のユニット、すなわち、
- 既定のコスト基準に応じた複数の考えられる組合せ中の現シーケンスの記述要素の予測値と、第2の要素からの初期シーケンスの先にデコーディングされた記述要素の値との組合せを選択するユニット(SEL Cb);
- シーケンスの第1の要素を、選択された組合せ中のその値によって予測するユニット(PRED);
- ビットストリームから抽出されたコーディングされたデータから、現要素のデコーディングされた値と予測値との間の差を表わす指標をデコーディングするユニット(DEC IP);
- デコーディングされた指標および予測値から現要素のデコーディングされた値を得るユニット(GET);
を少なくとも2回反復して含む。
【0041】
相関的に、本発明は同様に、デジタル画像の画素ブロックの記述要素を表わすコーディングされたデータを含むビットストリームを搬送する信号に関し、前記画素ブロックは、定義された順序で処理される。
【0042】
本発明に係る信号は、ビットストリーム内でコーディングされた前記データが、本発明に係るコーディング方法にしたがって得られること、を際立った特徴とする。
【0043】
相関的に、本発明は同じく、本発明に係るデジタル画像のコーディング用デバイスおよびデジタル画像のデコーディング用デバイスを含むユーザ端末にも関する。
【0044】
本発明はさらに、そのプログラムがプロセッサにより実行された場合に、前述されたようなデジタル画像のコーディング方法のステップを実施するための命令を含む、コンピュータプログラムに関する。
【0045】
本発明は同じく、そのプログラムがプロセッサにより実行された場合に、前述されたようなデジタル画像のデコーディング方法のステップを実施するための命令を含む、コンピュータプログラムにも関する。
【0046】
これらのプログラムは、任意のプログラミング言語を使用することができる。これらのプログラムは、通信ネットワークからダウンロードしかつ/またはコンピュータ可読媒体上に記録することが可能である。
【0047】
本発明は最後に、前述のようなコーディング方法を実施するコンピュータプログラムおよびデコーディング方法を実施するコンピュータプログラムをそれぞれ記憶する、場合によって取外し可能な、本発明に係るデジタル画像のコーディングデバイスおよびデジタル画像デコーディングデバイスに統合されたまたはされていないプロセッサにより読取り可能な記憶媒体に関する。
【0048】
本発明の他の利点および特徴は、非限定的な単なる例示的な例として示されている本発明の特定の一実施形態についての以下の説明および添付図面を読了した時点で、より明確になるものであろう。
【図面の簡単な説明】
【0049】
図1】先行技術に係るコーディングすべきデジタル画像シーケンスおよびこれらの画像のブロックへのカッティングを概略的に例示する図である。
図2】本発明に係るデジタル画像のコーディング方法のステップを概略的に示す図である。
図3】本発明に係るコーディング方法において実施されるブロックの処理ステップを詳細に示す図である。
図4】デコーディングされたデジタル画像のデコーディングされた現ブロックを概略的に示す図である。
図5】本発明の第1の実施形態に係るデジタル画像のデコーディング方法のステップを概略的に示す図である。
図6】本発明の実施形態に係るデジタル画像のコーディングデバイスおよびデジタル画像デコーディングデバイスの簡略化された構造の一例を示す図である。
【発明を実施するための形態】
【0050】
本発明の一般的原理は、予測すべき記述要素の順序付けされたシーケンスのうちの記述要素の個別的かつ連続的処理に基礎を置く。このシーケンスの一要素について、本発明は、順序付けされたシーケンスの値の最良の組合せを、既定のコスト基準に沿って、すでに処理された要素の実際値/デコーディング済み値に応じて、かつこのシーケンスのこの組合せ内の値による現要素の予測に基づいて選択する。
【0051】
図1に関連して、Mを非ゼロの整数として、一続きのM個の画像I1、I2、...IMで構成された1つの原初の映像を考慮する。画像は、エンコーダによりエンコーディングされ、コーディングされたデータは、通信ネットワークを介してデコーダに伝送されるビットストリームTB、または例えばハードディスク上に記憶されるようになっている圧縮ファイルFCに挿入される。デコーダは、エンコーダおよびデコーダにとって公知の予め定義された順序、例えば時間的順序すなわちI1、次にI2、...次にIMといった順序で後でデコーダにより受信およびデコーディングされるコーディング済みのデータを抽出するが、ここでこの順序は実施形態によってさまざまであり得る。
【0052】
mを1~Mの整数として画像Imのエンコーディングの際に、この画像は、それ自体より小さいブロックに細分割され得る最大サイズのブロックに細分割される。各ブロックCは、予測、現ブロックの残余計算、現ブロックの画素から係数への変換、係数の量子化および量子化された係数のエントロピコーディングを非網羅的に含む一続きの演算からなるエンコーディング演算またはデコーディング演算を受ける。この一続きの演算について以下で詳述するだろう。
【0053】
本発明に係る画像Iのコーディング方法のステップについて、ここで図2に関連して説明していく。
【0054】
E0で、第1の処理すべきブロックを現ブロックCとして選択することから始める。例えば、これは第1のブロックである(辞書式順序で)。このブロックは、N×Nの画素を含む。
【0055】
ステップEの間に、例えば、2013年11月に公開されたInternational Organization for Standardization文書「ISO/IEC 23008-2:2013-High efficiency coding and media delivery in heterogeneous environments--Part2:High efficiency video coding」中のHEVC規格内で規定されているようなコーディングスキームを実施することにより現ブロックCを処理する。
【0056】
この処理ステップは、現ブロックCについてのコーディングすべきデータの記述要素Eのセットを提供することを目的とする。これらの記述要素は、多様なタイプのものであり得る。非網羅的に、これらの記述要素は、特に以下のものを含む:
- それ自体HEVC中で公知である、INTRA、INTERまたはSKIPモードなどの現ブロックのコーディングモード、INTRAブロックの35の予測モードのうちの1つの現ブロック予測モード、現ブロックについて推定された運動ベクトルの予測モード、さらには係数の振幅の有意性などの、現ブロックCのコーディングの選択肢に関する情報;
- 運動ベクトルの成分、係数の振幅または符号などの、コーディングすべきデータの値、;
- その他。
【0057】
1~Lまで付番された考えられるL個のブロックカットが存在すること、およびブロックC上で使用されるカットが、番号lのカットであることを仮定する。例えば、4×4、8×8、16×16および32×32のサイズのブロックへの考えられる4つのカットが存在し得る。
【0058】
図4に関連して、デコーディングされた現画像は、IDで呼称される。ビデオコーダ内で、画像IDは、画像シーケンスの他の画素を予測するのに役立ち得るように、コーダ内で(再)構築されることが指摘されるだろう。
【0059】
図3に関連して、HEVC規格にしたがって、選択された現ブロックCのこの処理Eにより実施されるサブステップの一例について説明する。
【0060】
ステップE1の間に、原初のブロックCの予測Pを決定する。これは、公知の手段によって構築された予測ブロック、典型的には、いわゆるINTER予測の場合、運動の補償によって構築された予測ブロック(先にデコーディングされた基準画像に由来するブロック)、またはINTRA予測によって構築された予測ブロック(画像ID内の現ブロックに直接隣接するデコーディングされた画素から構築されたブロック)である。Pに関係する予測情報は、ビットストリームTBまたは圧縮ファイルFC内でコーディングされる。ここで、Kを非ゼロの整数として、考えられるK個の予測モードM、M、...、Mが存在し、ブロックCについて選択された予測モードがモードMであると仮定する。
【0061】
ステップE1の間に、現ブロックCから現ブロックCの予測Pを減算することR=C-Pによって、原初の残余Rが形成される。
【0062】
ステップE1の間に、残余Rは、DCTタイプの変換またはウェーブレット変換によってRTと呼ばれる変換済み残余ブロックへと変換され、ここでこれらの変換は、共に当業者にとって公知であり特にDCTについてはJPEG規格内、ウェーブレット変換についてはJPEG2000規格内で実施される。
【0063】
E1では、変換済み残余RTは、例えばスカラーまたはベクトルなどの従来の量子化手段により、量子化済み残余ブロックRQへと量子化される。この量子化済みブロックRQは、N×Nの係数を含む。技術的現状において公知であるように、これらの係数は、一次元ベクトルRQ[i]を構成するように既定の順序で走査され、ここでインデックスiは0からN-1まで変動する。インデックスiは係数RQ[i]の周波数と呼ばれる。従来、これらの係数は、周波数の増大順により、例えば固定画像コーディング規格JPEGから公知であるジグザグブラウジングにしたがって走査される。
【0064】
ステップE1の際には、残余ブロックRQの係数の振幅情報を、例えばハフマンコーディング技術または算術コーディング技術にしたがって、エントロピコーディングによりコーディングすることになる。振幅というのは、ここでは係数の絶対値のことである。振幅のコーディング手段は、例えば、HEVC規格内、および2012年12月にIEEEの定期刊行物Transactions on Circuits and Systems for Video Technology、Volume 22、Issue:12、1765~1777頁中で公開されている「Transform Coefficient Coding in HEVC」という題のSaleらの論文中に記載されている。従来、係数が非ゼロであることから、各々の係数について代表的な情報をコーディングすることができる。次に、各々の非ゼロ係数について、振幅に関する1つ以上の情報がコーディングされる。コーディングされた振幅CAが得られる。
【0065】
したがって、ステップE1の終了時に、現ブロックCについてコーディングすべきデータの記述要素セットEが得られ、その中には量子化された変換済み残余係数RQ[i]、これらの係数の符号、予測モードMなどがある。
【0066】
図2に関連して、ステップE2の間に、ブロックCについての予測すべき記述要素EPを含むこのセットのサブセットSEを選択する。
【0067】
例えば、予測すべき既定数の要素を、それらの振幅および現ブロックのサイズに応じて選択する。
【0068】
次に詳述していく本発明の実施例においては、特定のタイプの記述要素、例えば現ブロックの変換されて量子化された係数RQの符号を考慮する。当然のことながら、本発明は、このタイプの要素に限定されず、現ブロックの他のあらゆる記述要素に適用される。以下で、他の実施例を提示されるであろう。
【0069】
第1のサブステップE2の間、予測すべき記述要素の初期サブセットSEIを定義することから始める。例えば、これは、現ブロックの非ゼロの量子化された変換済み残余係数RQ[i]の全ての符号である。
【0070】
有利には、Jを非ゼロの整数およびjを1からJの間の整数として、既定の複数のコンテキストJのうちの各々の係数に結び付けられたコンテキストCxの知識を活用する。このようなコンテキストは、係数またはそれが由来するブロックの少なくとも1つの特性によって定義される。
【0071】
有利には、以下の特性が考慮される:
- 量子化済み残余ブロックRQのサイズ、
- 量子化済み係数RQ[i]の振幅、
- ブロックRQ内のインデックスiまたは係数の周波数、
- 考えられるK個のモードのうちの現ブロックの予測モードM
【0072】
実際、符号の予測は、振幅が大きければそれだけ信頼性が高い。同様にして、ブロックがより大きなサイズのものであり、係数の周波数がより低いものである場合、予測の信頼性はより高いことが確認された。最後に、現ブロックが一定のタイプのイントラ予測に結び付けられている場合、予測はより信頼性の高いものであることが確認された。
【0073】
代替的に、他のコンテキストを企図することも可能である。こうして、予測子Pのエネルギーに応じて、あるいはまた現ブロック内の非ゼロの係数の総数に応じて、HEVC規格から公知の例えばイントラまたはインタータイプの、現ブロックが中に存在する画像タイプを考慮に入れることが可能である。
【0074】
その後、考慮対象の係数RQ[i]に結び付けられたコンテキストCxについて、既定のスコアSに応じて、初期セットのブロックRQの係数の符号を選択する。
【0075】
このようなスコアSは、係数RQ[i]の符号の予測の信頼性レベルを表わす。
【0076】
例えば、スコアSは、例えば0から10までの既定のセット内の値をとる。
【0077】
一変形形態によると、スコアは、単なる2進標示であり、その2つの値のうちの一方は、符号が予測されることができることを標示し、もう一方は符号が予測されることができないことを標示する。
【0078】
別の変形形態によると、スコアSは、係数RQ[i]に結び付けられたコンテキストCxjに依存する先験的に公知の確率に対応する。エンコーダ内には、係数RQの符号の正しい検出確率セットがある。例えばこの確率セットはメモリに記憶されている。
【0079】
これらの確率は、コーディングすべき信号を表わす信号セットについての統計学的蓄積によってか、または係数の符号の分布についての仮説に基づく数学的計算によって、エンコーディングおよびデコーディングの前に構築されている。したがって、コンテキストCxに結び付けられた係数RQ[i]について、係数RQ[i]の符号の正しい予測の確率p[l][mk][i][|RQ[i]|]を計算することによって、スコアS[i]を得ることができる。
【0080】
有利には、予測すべき符号は、これらの符号が結び付けられたスコアを閾値化することによって選択される。こうして、1つの符号を有し(すなわちゼロでない)、またスコアSのコンテキストCxに結び付けられた各々の係数RQ[i]について、Thを例えば0.7に等しい既定の閾値として、S>Thである場合にのみ、符号が予測される。例えば、閾値Thは、コーダおよびデコーダから公知である。
【0081】
一変形形態によると、閾値Thはコーディング中に選択され、デジタル画像Imを表わすコーディングされたデータを含むビットストリーム内または圧縮ファイル内に記入され得る。例えば、エンコーディングを行なうユニットが、所与の瞬間において充分な計算資源を有していない場合、このユニットは、より少ない符号を予測するように、ひいてはより少ない計算を実行するように、この閾値Thを増大させることができる。
【0082】
同様に、コーディングすべき画像のコンテンツに応じて閾値Thを変動させることも可能であるだろう。すなわち、大きな光度変動または多くの運動などの多数のコンテンツを包む画像は、高い閾値を使用するであろうし、小さな光度変動または少ない運動などのほとんどコンテンツを含まない画像は、より低い閾値Thを使用するであろうから、こうして各画像のコーディングに必要なメモリまたは複雑性が平滑化される。
【0083】
この選択の終了時に、選択された係数RQ[i]の符号は全て、コンテキストCx、および既定の閾値Thを上回るスコアSに結び付けられ、予測すべき記述要素EPのセットSEを形成する。
【0084】
ステップE3の間に、選択されたサブセットSEに属さない記述要素ENPを従来の方法でエンコーディングする。このステップは、当業者にとって公知のコーディング技術を使用する。例えば係数RQ[i]の符号について、HEVC規格から、詳細にはすでに引用したSoleらの論文から、一方を正符号に、もう一方を負符号に結び付ける慣行を用いて、2進要素0または1の形で各符号を伝送することが特に知られている。
【0085】
E4では、記述要素EPを順序付けする。この順序は予め定義され得、例えばHEVC規格中に定義されているような符号の走査順に対応し得る。好ましくは、それらの結び付けられたスコアに応じてこれらの記述要素の順序付けを行なう。例えば使用されるスコアが正しい予測確率を表わす場合には、要素は、漸減するスコアにより順序付けされる。予測すべき記述要素のいわゆる初期シーケンスSeqが得られる。この段階で、予測すべき順序付けされたM個の符号がある、すなわちSeq={EP=s,EP=s,...,EPM-1=sM-1}であることを仮定する。
【0086】
E5では、順序付けされたシーケンスSeqの記述要素をエンコーディングする。
【0087】
本発明の第1の実施形態によると、このステップE5は、以下のサブステップを含む:
【0088】
E5では、現シーケンスSeqを考慮し、このシーケンスを、初期シーケンスSeqiに初期化する。
【0089】
以下のステップは、シーケンスSeq内で選択された予測すべき記述要素の数Mに応じて、複数回反復されるであろう反復ループを形成する。
【0090】
記述要素は少なくとも2つの値をとることができる。例えば、符号は+または-に相当し得る。
【0091】
ステップE5の間に、評価関数FEまたは既定のコスト基準を用いて、予測すべき要素シーケンスSeqの値の組合せの異なる可能性または仮説を評価する。Kを非ゼロの整数として、考えられるK個の仮説または組合せを仮定する。予測すべき記述要素が1つのシーケンスのM個の符号であり、符号が+値または-値をとることができる場合、考えられる組合せの数は、K=2である。
【0092】
例えば、所与の仮説について、この関数は1つのコストを生成する、例えば:
FE({s0=-,s1=+,s2=-,s3=-,...,sM-1=+)=CT=4240
【0093】
ここで、仮説は{-,+,-,-,...,+}であり、結果としてのコストは4240である。当然のことながら、評価関数は、符号仮説が最も尤度の高いものである場合、最低コストを生成するようにすべきである。技術的現状から公知であり、以上で引用したKoyamaらの論文中で提示されている複数のコスト関数が存在している。
【0094】
有利には、先に処理されたブロックを用いて現ブロックの左側境界FGおよび上位境界FSに沿った歪みを測定することからなる評価関数を利用する。図4に関連して、DVs(lin、col)がブロックの行linと列col上に位置するブロックDVsの画素の値である、コスト測定が望まれる符号の組合せの仮説を用いて、デコーディング済み画像IDおよびN×Nの画素サイズのこの画像の仮想デコーディング済みブロックDVsを表現した。
【0095】
τを現画像、Cを現ブロックとして、以下のように定義される演算子「サイドマッチング」SM(τ、C))を考慮する:
【0096】
【数1】
【0097】
図4では、下から上にy~yの値を有する左側境界FGに沿って位置する画素、および左から右にy~yの値を有する仮想デコーディング済みブロックDVsの上位境界FSに沿って位置する画素、ならびに、それぞれ境界FGとFSの反対側に位置する画素x~xおよびx~xが表現された。
【0098】
この演算子を適用することは、総和(x-y+(x-y+(x-y+(x-y+(x-y+(x-y+(x-y+(x-yを形成することに等しい。
【0099】
この測定値を最小化する最適仮想デコーディング済みブロックDVoptを決定する:
【0100】
【数2】
【0101】
代替的には、使用される尤度基準は、予測子Pを用いた誤差の最小化である。これは、予測子Pを用いて誤差を最小化する仮想デコーディング済みブロックを選択することからなる。
【0102】
最適な仮想デコーディング済みブロックに結び付けられた仮想残余がこうして識別される。
【0103】
当然のことながら、例えば平均値などの既定値に対する距離/近接性測定値の最小化基準または残余ブロックのエネルギー最小化などのような他のコスト基準を援用することも可能と考えられる。
【0104】
符号の仮説に対応するデコーディング済み現ブロックCbを生成するためには、以下のように行なう:
- 現残余ブロックの各係数に対してその実際の符号(符号が予測されていない係数の場合)、または符号仮説(符号を予測すべき係数の場合)を割り当てる。
- 従来の逆量子化手段および逆変換を用いて、デコーディング済み残余ブロックが得られ、先にデコーディングされたブロックに隣接するそのサンプル{r1、r2、...、r7}は、ブロックPの対応する予測された要素に付加されて、図4に示されているような仮想デコーディング済みブロックDVの再構築された要素y1=r1+p1、y2=p2+r2、y7=p7+r7を形成する。
【0105】
得られた仮想デコーディング済みブロックDVは、評価された組合せCBに結び付けられたコストCTを計算するために使用される。
【0106】
以下では、初期シーケンスSeq={s,s,s}には予測すべき符号が3つあると考える。初期シーケンスの実際値はs=-、s=+そしてs=-であると仮定する。
【0107】
したがって、以下の8個の組合せのコストCTを評価する:
CT=FE({+,+,+})
CT1=FE({+,+,-})
CT2=FE({+,-,+})
CT3=FE({+,-,-})
CT4=FE({-,+,+})
CT5=FE({-,+,-})
CT6=FE({-,-,+})
CT7=FE({-,-,-})
【0108】
最小コストに結び付けられた組合せを識別する。それがCTであると仮定する。
【0109】
ステップE5の間に、現シーケンスSeqcの第1の要素を、組合せCk内でそれがとる値によって予測する。考慮された例において、この値は+である。
【0110】
E5では、対応する予測指標IPを計算する。このためには、s0の予測値をその実際値と比較する。指標IPは、予測された符号が実際の符号と等しいものであるかまたはそれとは異なるものであるかを標示する。例えば、予測符号および実際の符号が等しい場合、それは0に相当し、そうでなければ1に相当する。この場合には、予測値は1つの+であり、実際値は1つの-であり、したがって、第1の符号ED0の指標IPは1に定められる。
【0111】
E5では、得られた指標IPをコーディングする。例えばハフマンコーディング、算術コーディング、あるいはまたHEVC規格内で使用されているCABACコーディングなどの既知のエントロピコーディング技術を例えば使用する。予測指標のコーディングされた値を得る。
【0112】
本発明によると、充分な信頼性レベルを表わすスコアに結び付けられた記述要素のみが予測されることから、予測指標は、値0よりも値1をとることの方が多い。このことは、圧縮信号のサイズを縮小するためにエントロピコーディングによって有効利用される。
【0113】
有利には、エントロピコーディングは、指標IPをコーディングするために予測された符号に結び付けられたスコアSを考慮に入れる。例えば、スコアが0(低い予測信頼性)と10(高い予測信頼性)との間の値を有する本発明の実施形態においては、指標のエントロピコーディングは、指標の多少の差こそあれ均等な分布(repartition uniforme)を利用する形で、スコアを考慮に入れてパラメータ化される。例えば、既定のスコアに応じてCABACにおいて使用される確率を初期化することによって、HEVC規格から公知のCABACタイプのエントロピコーディングを使用する。
【0114】
E5では、第1の符号EDがシーケンスの最後のものであるか否かをテストする。もしこれに該当する場合は、シーケンスが唯一の要素しか含んでいなかったため、ステップE5の処理は終了する。そうでない場合、処理されたばかりの第1の要素EDを削除することによって、E5で現シーケンスSeqを更新する。したがって、初期シーケンスの第2の要素EDが最初になり、第1の反復は終了された。
【0115】
第2の反復の間に、現シーケンスの最初になった要素EDを処理する。ステップE5~E5は、以下のように繰返される:
【0116】
この段階で、ステップE5の2つの実施形態が企図される:
【0117】
第1の選択肢によると、第1の反復のためにすでに利用された初期シーケンスについて計算された組合せを再度使用する。したがって、これらの組合せはメモリ内に記録されたものと仮定する。第1の反復のK個の組合せの中で、sがその実際値を有していない組合せを除去する。したがって、sが-に相当している4つの組合せCT4~CT7およびそれらの結び付けられたコストのみを保存する:
CT=FE({-,+,+})
CT=FE({-,+,-})
CT=FE({-,-,+})
CT=FE({-,-,-})
【0118】
再度、最小コストを得た組合せを識別する。例えば、それがコストCTのCb6であると仮定する。
【0119】
第2の選択肢によると、新たな現シーケンスの組合せに結び付けられたコストを再度計算する。現シーケンスSeqは、M=2個の要素を含む。可能な組合せがK=2個存在する。したがって、第1の反復で使用されたものとは異なるものであり得る評価関数を用いて、考えられる4つの組合せを評価する。例えば、デコーディング済みの仮想残余ブロックの係数DVsのエネルギーの測定値を使用し、この測定値を最小化する組合せを選択する。この評価関数はより精確であるが、計算がより複雑でもあり、したがって、より短いシーケンスにさらに適している。
【0120】
先の反復についての組合せおよび計算されたコストは、後続する反復については保存されないものと理解される。
【0121】
E5では、符号sを-で予測し、これは、選択された組合せにおけるその値に対応している。
【0122】
E5では、対応する予測指標IPを計算する。s1の実際値は+に等しいことから、指標IPは1に相当する。
【0123】
E5では、sについて得た予測指標IPをコーディングする。
【0124】
E5では、符号sが現シーケンスの最後のものであるか否かをテストする。
【0125】
これに該当しない場合は、したがってsを削除することによって現シーケンスを更新する。新しい現シーケンスは、もはや符号sしか含まない。
【0126】
同様にして、最後かつ第3の反復を実施する。
【0127】
E5では、sが-に相当し、sが+に相当することが分かっているため、考えられる残りの値の組合せはCTおよびCTである。最小コストはCTであると仮定する。したがって組合せCbを選択する。
【0128】
E5では、組合せCbにおいてとる値、すなわち+でsを予測する。
【0129】
E5では、対応する予測指標IPを計算する。sの実際値は+に等しいことから、指標IPは正しい予測を標示し、0に相当する。
【0130】
E5では、計算された予測指標をコーディングする。
【0131】
E5では、シーケンス内に処理すべき記述要素が残っているか否かをテストする。s2が最後であるため、コーディングステップE5の処理は終了する。
【0132】
以上で提示した実施形態において、ステップE5の反復は、シーケンスの第1の要素に適用され、このシーケンスは、ひとたび処理された時点で第1の要素を削除することによって更新される。この実施形態には、各反復において処理すべき現シーケンスの長さを短縮するという利点がある。
【0133】
しかしながら、本発明は、この実装選択に限定されない。代替的には、初期シーケンスを保存し、ステップE5の各新規反復へと現要素のインデックスを進めることができる。この場合、初期シーケンスの考えられる値の全ての組合せに結び付けられたコストを予め計算し、それらを記憶することからなる選択肢が最も適している。
【0134】
E6では、量子化済み残余RQに対して逆量子化ステップおよび逆変換ステップ(それ自体公知のもの)を適用することによって、デコーディング済みブロックを構築する。デコーディング済み残余ブロックRDを得る。RDに対して予測子ブロックPを加えてデコーディング済みブロックBDを得る。このステップの間、同様に、再構築された画像IDに対してデコーディング済みブロックBDを付加することになる。これにより、コーダ内で現画像のデコーディング済みバージョンを自由に使用することが可能になる。このデコーディング済みバージョンは、特に、予測されるために選択された符号の予測の構築ステップ中において使用される。
【0135】
ビットストリームTB内または圧縮ファイル内に、予測指標IPを表わすコーディングされたデータおよび現ブロックCのために予測されていない記述要素を挿入するステップE7に移行する。
【0136】
E8では、先に定義した順次取得順序を考慮に入れて、現ブロックが、コーディングユニットにより処理すべき最後のブロックであるか否かをテストする。もしそうであれば、コーディングユニットは、その処理を終了している。そうでなければ、後続ステップは、後続ブロックの選択ステップE0である。
【0137】
別の実施形態においては、符号以外のタイプの予測すべき記述要素を選択する。特に、INTRA/INTER予測モードの標示用記述要素M(HEVC規格において、このような記述要素は「pred_mode_flag」という名称を有する)、現ブロックについて量子化された第1の残余係数の振幅の標示用記述要素A(HEVC規格において、このような記述要素は「coeff_abs_level_remaining」という名称を有する)および逆変換の使用または不使用の標示用記述要素T(HEVC規格において、このような記述要素は「transform_skip_flag」という名称を有する)を考慮する。
【0138】
例えばHEVC規格において、要素Mは0~34の値をとることができる。要素Aは、0~216-1の値をとることができる。
【0139】
現ブロックについては、出発セットは記述要素{M、A、T}で構成されている。この例においては、現ブロックCについて、コンテキスト情報に応じて、ステップE2のときにTのスコアが必要閾値Thより低く、一方MとAはより高いスコアを有することが分かっていることを考慮する。したがってサブセットSEは、{M、A}である。
【0140】
ビットストリームTBは、ローカルまたはリモートのデコーダの入力で提示されるようになっている。例えば、ビットストリームを有する信号が、通信ネットワークを介してデコーダに伝送される。
【0141】
図5に関連して、ここで、本発明の実施例にしたがってコーディングされたデジタル画像のデコーディング方法のステップを提示する。本発明に係るデコーディング方法を実施するデコーディングデバイスにより1ビットストリームTBが受信されたと仮定する。変形形態においては、デコーディングデバイスは、圧縮ファイルFCを得る。
【0142】
D0では、現ブロックC’として第1の処理すべきブロックを選択することから始める。例えば、これは、第1のブロックである(辞書式順序で)。このブロックはN×Nの画素を含む。
【0143】
D1では、例えば、HEVC規格内で規定されているように、エンコーダにより使用されるコーディングスキームに対応するデコーディングスキームを実施することによって、現ブロックC’を処理する。詳細には、このステップ中に、現ブロックC’についてデコーディングすべきデータの記述要素EDセットを識別する。
【0144】
さらに、デコーディングすべきブロックC’の予測P’を実施する。P’に関連する予測情報は、ビットストリームまたは圧縮ファイル内で読取られ、デコーディングされる。したがって、予測モード情報をデコーディングする。
【0145】
同様に、デコーディングすべき残余RQ’の振幅情報も、ビットストリームまたは圧縮ファイル内で読取られ、デコーディングされる。したがって、このとき、RQ’[i]の振幅が分かっているが、符号はまだ分かっていない。
【0146】
D2では、本発明に係るデコーディング方法は、決定された記述要素中の予測すべき記述要素の選択ステップを実施する。このステップについてはすでに、図2および3に関連したコーディング方法について詳述された。予測すべき記述要素は有利には、既定のスコアに応じて選択される。セットSEが得られる。
【0147】
このステップの終りで、既定の閾値Th未満のスコアSjに結び付けられたものであることを理由として予測されなかったブロックの記述要素のデコーディングされた値は分かっている。
【0148】
ステップD3の間、方法は、ビットストリームTB内で、予測されていない現ブロックの記述要素に関するコーディング済みデータを読取り、それらをデコーディングする。
【0149】
では、方法は、本発明に係るコーディング方法についてすでに説明した通り、漸減スコアによって、初期シーケンスSeqで得られたセットSEの要素を順序付けする。
【0150】
予測すべき記述要素のデコーディングステップD5について、ここで、特定の一実施形態において詳述する。このステップは、以上で説明したばかりの本発明に係るコーディング方法によって実施されるステップEに極めて類似したものであることが指摘される。
【0151】
D5では、現シーケンスSeqを考慮し、このシーケンスを、初期シーケンスSeqに初期化する。
【0152】
後続するステップ(D5からD5)は、シーケンスSeq内で選択された予測すべき記述要素の数Mに応じて、複数回反復されるであろう反復ループを形成する。
【0153】
D5では、現シーケンスSeqの考えられる値の組合せの中から、デコーディングすべきビットストリームを生成したコーディング方法が使用したものと同じである、評価関数FEの意味合いで最も優れた組合せを選択する。コーディング方法についてすでに言及したように、考えられる複数の評価関数が存在する。以下では、先に処理されたブロックとの境界に沿った歪み測定値を考慮し、この測定値を最小化する値の組合せを選択する。
【0154】
第1の反復中、シーケンスSeqの第1の記述要素をデコーディングする。以下では、記述要素が符号であると仮定する。
【0155】
コスト関数を用いて、予測すべき符号全体について考えられる各々の仮説または組合せに対応するコストを生成する。したがってM=3であり、Seq={s,s,s}であると仮定する。以下のコストを生成していく:
CT=FE({+,+,+})
CT=FE({+,+,-})
CT=FE({+,-,+})
CT=FE({+,-,-})
CT=FE({-,+,+})
CT=FE({-,+,-})
CT=FE({-,-,+})
CT=FE({-,-,-})
【0156】
これらは、予測すべき符号についての考えられる8つの仮説に対応する8つのコストである。最小コストはCTであると仮定する。
【0157】
D5では、組合せCb内のその値によって、第1の符号s0の値を予測する。これは、1つの+である。
【0158】
D5では、ビットストリームまたは圧縮ファイルから抽出されたコーディング済みデータから、この第1の符号s0に対応する予測指標IPをデコーディングする。この指標は、予測された符号が正しく予測されたか否かを標示する。例えば、デコーディングされた値は1であり、この値は、正しくない予測に結び付けられていると仮定する。
【0159】
D5では、そこから符号s0のデコーディングされた値が1つの-であることが演繹される。
【0160】
D5では、要素EDが現シーケンスの最後のものであるか否かをテストする。もしこれに該当する場合は、処理は完了する。そうでない場合、デコーディングしたばかりの要素ED=s0を削除することにより、D5で現シーケンスを更新する。
【0161】
第2の反復中に、現シーケンスの第1のものとなった第2の要素sを処理する。
【0162】
D5では、sがそのデコーディング済みの値を有する組合せCbを考慮し、他の組合せは除去されている。
【0163】
考慮対象の例において、sの実際値は-であり、したがって以下のコストが比較される:
CT=FE({-,+,+})
CT=FE({-,+,-})
CT=FE({-,-,+})
CT=FE({-,-,-})
【0164】
これら4つのコストは、すでに処理された符号のデコーディング済みの値が分かっているため、今後予測すべき符号についての考えられる4つの仮説に対応する。
【0165】
CTは、最小コストとして識別される。
【0166】
D5では、組合せCb内のその値によってsを予測すると、つまり1つの-となる。
【0167】
D5では、ビットストリームまたは圧縮ファイルから抽出されたコーディング済みデータからDに対応する指標IPをデコーディングする。予測された符号が実際の符号と同じかまたは異なるかを標示する指標がデコーディングされる。我々の例においては、IPのデコーディングされた値が0であると仮定し、これはすなわちこの符号の予測が正しいことを意味している。
【0168】
D5では、そこからs1が-に相当することが演繹される。
【0169】
D5では、s1が最後の要素であるか否かをテストする。そうではないため、s1を削除することにより、D57で現シーケンスを更新する。新しいシーケンスSeqは、要素sとなる。
【0170】
最後かつ第3の反復中に、最後の符号sをデコーディングする。
【0171】
D5では、すでに処理された記述要素s0およびs1がそのデコーディングされた値をとる初期シーケンスSeqの値の組合せを考慮する。
【0172】
したがって、以下のコストを比較する:
CT=FE({-,-,+})
CT=FE({-,-,-})
【0173】
CTを最小コストとして識別する。
【0174】
このとき、予め定義された順序で最後の符号sが、D5では、組合せCb中のその値によって予測される。すなわち、それは1つの+である。
【0175】
その後、D5では、符号sに結び付けられた指標IPがデコーディングされる。指標は、符号sが正しく予測されたか否かを標示する。我々の例においては、デコーディングされた値が0であると仮定し、これは正しい予測に対応している。
【0176】
55では、sのデコーディングされた値が符号+であることをそこから演繹する。
【0177】
D5では、sが最後の処理すべき要素であることを確認する。
【0178】
エンコーディングの場合と同様、本発明が提示してきた実施形態に限定されないことを指摘するだろう。例えばシーケンスをその初期長さに保つこと、第1の記述要素EDに初期化された現要素のインデックスを更新すること、そしてひとたび最後の要素EDM-1が処理されたならば反復を終了することなどのような、他の実装選択を行なうことも可能である。
【0179】
その後、デコーディングされた記述要素、予測されたEP(D)および予測されていないENP(D)、Dで得られた残余ブロックRQ’の係数および予測P’の係数の振幅情報から、現ブロックC’を再構築するステップD6に移行する。
【0180】
このためには、ブロックRQ’を逆量子化して、逆量子化されたブロックを得ることから始める。これは、当業者にとっては公知である、コーディングの際に使用される量子化に適応させられた手段(スカラー逆量子化、ベクトル逆量子化…)によって実現される。
【0181】
その後、コーディングで使用されたものの逆変換を、逆量子化された残余に対して適用する。こうして、デコーディング済み残余が得られる。
【0182】
最後に、予測P’に対してデコーディング済み残余を付加することにより、デコーディング済みブロックBD’を再構築する。
【0183】
このブロックは、デコーディング中の画像に統合される。
【0184】
ステップD7の間に、先に定義されたブロックの順次取得順序を考慮に入れて、現ブロックが最後の処理すべきブロックであるか否かをテストすることになる。イエスであれば、デコーディングは終了される。ノーであれば、後続するステップは、後続ブロックの選択ステップD0であり、デコーディング方法のステップが反復される。
【0185】
本発明によると、既定のスコアに応じて選択される初期シーケンスの全ての要素が予測されることから、ステップDの終了時点で直ちに、ビットストリームまたは圧縮ファイルからいくつの予測指標IPを抽出すべきであるかが分かっている。これにより、実施されるコーディング/デコーディングスキームにしたがって現ブロックの処理演算から、ビットストリームまたは圧縮ファイル内に含まれたコーディング済みデータの読取りおよび解析演算(英語の「parsing」)を非相関する本発明の実施を実装することが可能になる、ということが分かる。例えば、ビットストリーム内のコーディング済みデータの解析/読取りのために1つの特定の構成要素を使用し、デコーディング済みブロックの再構築演算のために他の構成要素を使用することで、デコーディングを組織することができると考えられる。このパーシングの独立性の利点は、デコーディング演算を並列化できるという点にある。
【0186】
説明されたばかりの本発明はソフトウェアおよび/またはハードウェア構成要素を用いて実施可能であるということが指摘されるであろう。この観点から見て、本明細書中で使用されている「モジュール」および「ユニット」なる用語は、関連するモジュールまたはユニットについて説明された1つのまたは複数の機能を実施することのできる、ソフトウェア構成要素、またはハードウェア構成要素、さらにはハードウェア構成要素および/またはソフトウェア構成要素のセットに対応し得る。
【0187】
図6と関連づけて、ここで、本発明に係るデジタル画像のコーディングデバイス100およびビットストリームのデコーディングデバイス200の単純化された構造の一例について提示する。デバイス100は、図2に関連して説明されたばかりの本発明に係るコーディング方法を使用する。本発明に係る技術の実施に関連する主要な要素のみが例示されている。
【0188】
例えば、デバイス100は、プロセッサμが備わり、またメモリ130内に記憶され本発明に係る方法を実施するコンピュータプログラムPg120によって制御されている処理ユニット110を含む。
【0189】
初期化の時点で、コンピュータプログラムPg120のコード命令は、例えば処理ユニット110のプロセッサによって実行される前にメモリRAM内にロードされる。処理ユニット110のプロセッサは、コンピュータプログラム120の命令にしたがって、前述の方法のステップを実施する。
【0190】
本発明のこの実施例において、プロセッサ110は、以下のことを行なうことができ、そのように構成されている:
- 現ブロックを処理し、このブロックの記述要素セットを得ること(PROC);
- 前記要素に結び付けられたスコアに応じて、ブロックの記述要素セットの中から予測すべき記述要素のサブセットを選択すること(SEL);
- 前記スコアに応じて、初期シーケンスと呼ばれるシーケンスの形にサブセットの記述要素を、順序付けすること(ORDER);
- 順序付けされたシーケンスの要素をエンコーディングすること(COD)。
【0191】
デバイス100はさらに、予測されていない要素をエンコーディングする(ENC ENP)ように、およびデコーディング済みブロックBDおよびデコーディング済み画像を再構築する(RECONST)ように構成されている。
【0192】
本発明の一実施形態によると、初期シーケンスの要素のエンコーディングは、初期シーケンスに初期化された現シーケンスと呼ばれるシーケンスに適用されるように構成されかつそれができる、以下のユニットを少なくとも2回反復することを含む:
- 既定のコスト基準に応じた複数の考えられる組合せの中の現シーケンスの記述要素の値と、第2の要素からの初期シーケンスの先に処理された記述要素の値との組合せを選択するユニット(SEL Cb);
- シーケンスの第1の要素を、選択された組合せ中のその値によって予測するユニット(PRED);
- 現要素の値と予測値との間の差を表わす指標をコーディングするユニット(COD IP);
- 第1の要素を削除することにより現シーケンスを更新するユニット(UPD Seq)。
【0193】
本発明の一実施形態によると、デバイス100はさらに、係数のコーディングコンテキスト、これらのコンテキストの各々に結び付けられた既定のスコア、選択された記述要素についての予測値、および選択された予測すべき記述要素シーケンスの値の複数の組合せを記憶するユニットMを含む。
【0194】
これらのユニットは、処理ユニット110のプロセッサμにより制御される。
【0195】
有利には、このようなデバイス100は、エンコーダ、パソコン、タブレット、デジタルカメラ、インテリジェントモバイルフォン(英語の「smartphone」)などのユーザ端末機器TUに統合され得る。このとき、デバイス100は、少なくとも端末TUの以下のモジュールと協働するように配置される:
- 例えば有線ネットワーク、無線ネットワークまたは電波ネットワークなどの電気通信ネットワーク内でビットストリームTBまたは圧縮ファイルFCを伝送させる、データ発信/受信用モジュールE/R。
【0196】
デコーディングデバイス200は、図5に関連して前述されたばかりの本発明に係るデコーディング方法を実施する。
【0197】
例えば、デバイス200は、プロセッサμ2が備わり、またメモリ230内に記憶され本発明に係る方法を実施するコンピュータプログラムPg220によって制御されている処理ユニット210を含む。
【0198】
初期化の時点で、コンピュータプログラムPg220のコード命令は、例えば処理ユニット210のプロセッサによって実行される前にメモリRAM内にロードされる。処理ユニット210のプロセッサは、コンピュータプログラム220の命令にしたがって、前述の方法のステップを実施する。本発明のこの実施例において、デバイス200は、以下のことを行なうことができ、そのように構成されている:
- ビットストリームのデータから現ブロックの記述要素セットを識別すること(IDENT);
- 前記要素に結び付けられたスコアに応じて、識別されたセット内で予測すべき記述要素のサブセットを選択すること(SEL);
- 前記スコアに応じて、初期シーケンスと呼ばれるシーケンスの形に、サブセットの記述要素を順序付けすること(ORDER);
- 順序付けされたシーケンスの要素をデコーディングすること(DEC)。
【0199】
本発明によると、初期シーケンスの要素のデコーディングは、初期シーケンスに初期化された現シーケンスと呼ばれるシーケンスに適用されるように構成されかつそれができる、以下のユニットを少なくとも2回反復することを含む:
- 既定のコスト基準に応じた複数の考えられる組合せの中の現シーケンスの記述要素の値と、初期シーケンスの先に処理された記述要素の値との組合せを選択するユニット(SEL Cb);
- シーケンスの第1の要素を、選択された組合せ中のその値によって予測するユニット(PRED);
- ビットストリームから抽出されたコーディング済みのデータから、現要素のデコーディングされた値と予測値との間の差を表わす指標をデコーディングするユニット(DEC IP);
- デコーディングされた指標および予測値から現要素のデコーディングされた値を得るユニット(GET DED);
- 第1のデコーディング済み要素を削除することにより現シーケンスを更新するユニット(UPD Seq)。
【0200】
デバイス200はさらに、予測されていない要素をデコーディングする(DEC ENP)ように、およびデコーディング済みブロックBDおよびデコーディング済み画像を再構築する(RECONST)ように構成されている。
【0201】
デバイス200はさらに、係数のコーディングコンテキスト、これらのコンテキストの各々に結び付けられた既定のスコア、ブロックC’のために選択された記述要素についての予測値、および選択された予測すべきシーケンスの記述要素の値の組合せCbkを記憶するユニットMを含む。
【0202】
これらのユニットは、処理ユニット210のプロセッサμ2により制御される。
【0203】
有利には、このようなデバイス200は、デコーダ、TV接続ボックス(英語で「Set-Top-Box」)、デジタルテレビ、コンピュータ、タブレット、インテリジェントモバイルフォンなどのユーザ端末TUに統合され得る。このとき、デバイス200は、少なくとも端末TUの以下のモジュールと協働するように配置される:
- 電気通信ネットワークからビットストリームTBまたは圧縮ファイルFCを受信する、データ発信/受信用モジュールE/R;
- デコーディングされたデジタル画像の表示モジュールDISP。
【0204】
提示されたばかりの本発明は、特に、映像、音声(会話、音)、固定画像、医用画像診断モジュールが獲得した画像の信号圧縮の枠内で、多くの利用分野を有する。本発明は、例えば2次元(2D)コンテンツ、深度図を含む3次元(3D)コンテンツ、あるいはまたマルチスペクトル画像(その色強度は赤緑青の3波長と異なるものである)さらにはインテグラル画像のコンテンツにも同様に適用される。
【0205】
当然のことながら、以上で説明された実施形態は、全く限定的でなく純粋に例示的に示されており、そのために本発明の枠から逸脱することなく、当業者であれば多くの修正を容易に加えることができる。
【先行技術文献】
【非特許文献】
【0206】
【非特許文献1】2012年5月の「Picture Coding Symposium(PCS)」会議の議事録中で公開された「Coefficient sign bit compression in video coding」という題のKoyama、Jらの論文
【符号の説明】
【0207】
100 コーディングデバイス
110 処理ユニット
120 コンピュータプログラムPg
130 メモリ
200 デコーディングデバイス
210 処理ユニット
220 コンピュータプログラムPg
230 メモリ
μ プロセッサ
μ2 プロセッサ
RAM メモリ
図1
図2
図3
図4
図5
図6