(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-15
(45)【発行日】2022-04-25
(54)【発明の名称】デジタル画像のイントラコーディング方法および対応するデコーディング方法
(51)【国際特許分類】
H04N 19/11 20140101AFI20220418BHJP
H04N 19/159 20140101ALI20220418BHJP
H04N 19/176 20140101ALI20220418BHJP
H04N 19/593 20140101ALI20220418BHJP
H04N 19/463 20140101ALI20220418BHJP
【FI】
H04N19/11
H04N19/159
H04N19/176
H04N19/593
H04N19/463
(21)【出願番号】P 2018568769
(86)(22)【出願日】2017-06-19
(86)【国際出願番号】 FR2017051608
(87)【国際公開番号】W WO2018002474
(87)【国際公開日】2018-01-04
【審査請求日】2020-05-21
(32)【優先日】2016-06-29
(33)【優先権主張国・地域又は機関】FR
(73)【特許権者】
【識別番号】516388447
【氏名又は名称】ベー-コム
【氏名又は名称原語表記】B COM
(74)【代理人】
【識別番号】100080447
【氏名又は名称】太田 恵一
(72)【発明者】
【氏名】ユング,ジョエル
(72)【発明者】
【氏名】アンリ,フェリクス
(72)【発明者】
【氏名】ムートン,シャルレーヌ
【審査官】鉢呂 健
(56)【参考文献】
【文献】国際公開第2009/004985(WO,A1)
【文献】特表2016-509433(JP,A)
【文献】特開2014-187535(JP,A)
【文献】特開2007-189276(JP,A)
【文献】特開2006-186972(JP,A)
【文献】特開2005-176073(JP,A)
【文献】LI, Guichun et al.,Using MPS to encode extended UDI mode numbers for robustness,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011, [JCTVC-E113],JCTVC-E113 (version 4),ITU-T,2011年03月21日,pp. 1-4
【文献】JABALLAH, Sami et al.,Clustering-based fast intra prediction mode algorithm for HEVC,2015 23rd European Signal Processing Conference (EUSIPCO),IEEE,2015年12月28日,pp. 1850-1854,<URL: https://ieeexplore.ieee.org/document/7362704>
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
少なくとも1つの画像(I
k)を表わすコーディングされたデータフロー(STR)のデコーディング方法において、前記画像がブロック(b
c)にカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である方法であって、前記方法は以下のステップ:
-
集合から少なくとも2つの予測モードカテゴリを獲得するステップ(E10)と;
-
少なくとも1つのカテゴリを消去するステップ(E11)と;
- 少なくとも1つの消去済みカテゴリ
に含まれていた予測モードと共通の予測モードを削除することにより、未消去カテゴリを更新するステップ(E12)と;
- カレントブロックについて、更新されたカテゴリのモードの中から1つの予測モードを識別する情報をデータフローからデコーディングするステップ(D20)と;
を含むことを特徴とする方法。
【請求項2】
コーディングされたデータフローの形での画像のコーディング方法において、前記画像がブロックに分割されており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モード1つの集合が利用可能である方法であって、前記方法は以下のステップ:
-
集合から少なくとも2つの予測モードカテゴリを獲得するステップ(E10)と;
-
少なくとも1つのカテゴリを消去するステップ(E11)と;
- 少なくとも1つの消去済みカテゴリ
に含まれていた予測モードと共通の予測モードを削除することにより、未消去カテゴリを更新するステップ(E12)と;
- 更新されたカテゴリのうちの1つの中で1つの予測モードを選択するステップ(E13)と;
- 更新されたカテゴリの予測モードの中から選択された予測モードを識別する情報をコーディング(E14)し、コーディングされたデータフロー中にコーディングされた情報を挿入するステップと;
を含むことを特徴とする方法。
【請求項3】
獲得ステップには、メモリ内で前記カテゴリの識別情報を読取るステップ(E101)が含まれることを特徴とする、請求項1または2に記載の方法。
【請求項4】
獲得ステップには、
コンテンツの少なくとも1つの特性を提供するために、既に処理されたブロックのコンテン
ツを解析するステップ(E102)と、
前記少なくとも1つの特性に基づいた少なくとも1つの予測モードグループ化基準
を用いて、カテゴリを作成するステップ(E103)とが含まれ
、
前記特性は、前記予測モードの配向を少なくとも含むことを特徴とする、請求項1~3のいずれか1つに記載の方法。
【請求項5】
獲得したカテゴリについて、このカテゴリを代表する1つの予測モードを決定するステップ(E1
11)を含むこと、およびカテゴリの消去ステップには、代表的予測モードを消去すること(E1
12)が含まれ、カテゴリの消去が、このカテゴリを代表する予測モードの消去によって開始されることを特徴とする、請求項1~4のいずれか1つに記載の方法。
【請求項6】
獲得したカテゴリについて、カテゴリの消去ステップ(E11)には、その予測モードを連続的に消去することとカテゴリ内の消去済み予測モードの数を既定の閾値と比較することとが含まれ、カテゴリの消去が、消去済みモードの数が閾値を上回った場合に開始されることを特徴とする、請求項1~4のいずれか1つに記載の方法。
【請求項7】
コンテンツの1つの特性を提供することを目的と
して、既に処理された隣接ブロックのコンテンツを解析するステップを含
み、
前記特性は、前記予測モードの配向を少なくとも含み、
前記解析は獲得した各カテゴリに結び付けられた少なくとも1つの前記特性について行われるものであり、
前記獲得した各カテゴリは1つの予測モードグループ化基準に結び付けられており、
前記方法が、
前記コンテンツの結び付けられた特性と
前記予測モードグループ化基準が互いに相容性の無いものである場合に、
該当する前記予測モードグループ化基準に結び付けられたカテゴリを消去する
消去ステップを含むことを特徴とする、請求項1~4のいずれか1つに記載の方法。
【請求項8】
少なくとも1つの画像を表わすコーディングされたデータフロー(STR)のデコーディング装置(200)において、前記画像がブロックにカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である装置であって、前記装置が、
-
集合から少なくとも2つの予測モードカテゴリを獲得し;
-
少なくとも1つのカテゴリを消去し;
- 少なくとも1つの消去済みカテゴリ
に含まれていた予測モードと共通の予測モードを削除することにより、未消去カテゴリを更新し;
- カレントブロックについて、更新されたカテゴリのモードの中から1つの予測モードを識別する情報をデータフローからデコーディングする;
ように構成されていることを特徴とする装置。
【請求項9】
コーディングされたデータフローの形での画像のコーディング装置(100)において、前記画像がブロックにカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードのうちの1つの集合が利用可能である装置であって、前記装置が、
-
集合から少なくとも2つの予測モードカテゴリを獲得し;
-
少なくとも1つのカテゴリを消去し;
- 少なくとも1つの消去済みカテゴリ
に含まれていた予測モードと共通の予測モードを削除することにより、未消去カテゴリを更新し;
- 更新されたカテゴリのうちの1つの中で1つの予測モードを選択し;
- 更新されたカテゴリの予測モードの中から選択された予測モードを識別する情報をコーディングし、コーディングされたデータフロー中にコーディングされた情報を挿入する;
ように構成されていることを特徴とする装置。
【請求項10】
請求項9に記載のコーディングされたデータフローへと少なくとも1つの画像をコーディングする装置(100)と、請求項8に記載のコーディングされたデータフローをデコーディングする装置(200)とを含む端末機器(ET)。
【請求項11】
プロセッサによって実行された場合に、請求項1~7のいずれか1つに記載の方法を実施するための命令を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の分野は、画像または画像シーケンス、特に映像フローのコーディングおよびデコーディングの分野である。
【0002】
より厳密には、本発明は、画像ブロックによる表現を用いた画像または画像シーケンスの圧縮に関する。
【0003】
本発明は特に、現在のコーダ(JPEG、MPEG、H.264、HEVCなどおよびそれらの修正版)または将来のコーダにおいて実施される画像または映像コーディング、および対応するデコーディングに適用可能である。
【背景技術】
【0004】
デジタル画像およびデジタル画像シーケンスはメモリの観点から見て多大なスペースを占有し、そのため、これらの画像を伝送する場合には、この伝送のために使用されるネットワーク上での輻輳の問題を回避するべくこれらの画像を圧縮する必要がある。実際、このネットワーク上で使用可能なレートは概して制限されている。
【0005】
既に、映像データの圧縮技術として多くのものが知られている。それらのうち、圧縮規格HEVC(「High Efficiency Video Coding、Coding Tools and Specification」、Matthias Wien、Signals and Communication Technology、2015)は、同じ画像に属する(イントラ予測)または先行するまたは後続する画像に属する(インター予測)他の画素との関係におけるカレント画像の画素の予測を使用することを提案している。
【0006】
より厳密には、イントラ予測は、1つの画像の内部の空間的冗長性を活用する。このたに、画像は、画素ブロックにカットされる。画素ブロックはこのとき、画像内のブロックの行程の順序にしたがってカレント画像内の先にコーディング/デコーディングされたブロックに対応する既に再構築された情報を用いて予測される。
【0007】
その上、従来、カレントブロックのコーディングは、予測済みブロックと呼ばれるカレントブロックの予測、およびカレントブロックと予測済みブロックとの間の差異に対応する予測残余つまり「残余ブロック」を用いて実現される。得られた残余ブロックはこのとき、例えばDCTタイプの変換(離散コサイン変換)を用いて変換される。変換された残余ブロックの係数は、その後量子化され、次にエントロピーコーディングによりコーディングされ、デコーダに伝送され、このデコーダはこの残余ブロックを予測済みブロックに追加することによってカレントブロックを再構築することができる。
【0008】
デコーディングは、画像毎に行なわれ、各画像について、ブロック毎に行なわれる。各ブロックについて、ストリームの対応する要素が読取られる。残余ブロックの係数の逆量子化および逆変換が実施される。その後、予測済みブロックを得るためにブロックの予測が計算され、カレントブロックは、デコーディング済みの残余ブロックに対して予測(予測済みブロック)を追加することによって再構築される。
【0009】
HEVC規格においては、イントラ予測の35のモードにしたがってカレントブロックのイントラ予測を実施することが可能である。カレントブロックを予測するために選択されたイントラ予測モードをコーディングする目的で、HEVC規格は、以下の2つの予測モードリストを定義している:
- カレントブロックにとって最も確率の高い3つのイントラ予測モードを含む、MPM(英語で「Most Probable Mode」の略)リストと呼ばれる第1のリスト。このようなMPMリストは、カレントブロックの隣接ブロックのコーディングの際に予め選択された予測モードから定義される;
- 残りの32個の他のイントラ予測モード、すなわちMPMリスト内に含まれないイントラ予測モードを含む、非MPMリストと呼ばれる第2のリスト。
【0010】
カレントブロックを予測するためにどのMPMリストまたは非MPMリストが使用されるかを表わすために、デコーダに対し1つの指標が伝送される。カレントブロックがMPMリストのイントラ予測モードによりコーディングされる場合、MPMリスト内で選択された予測モードの指標が、エントロピーコーディングによりデコーダに伝送される。カレントブロックが非MPMリストのイントラ予測モードによってコーディングされる場合、非MPMリスト内で選択されたイントラ予測モードの指標が、5ビットにわたる固定長のコードによってコーディングされる。
【0011】
非MPMリストは、イントラ予測モードを多数含んでおり、したがって、このリストの予測モードの指標のコーディングコストは高い。
【0012】
「Novel Adaptive Algorithm for Intra Prediction with Compromised Modes Skipping and Signaling Processes in HEVC」、L-L.Wang、W-C Siu、IEEE、2013なる文書は、一方ではイントラ予測モードのシグナリングコストを削減すること、他方では予測モードの選択の複雑性を削減することを目的として、カレントブロックを予測するために使用されるイントラ予測モードの数を削減することのできるコーディング方法について記載している。このような方法は、利用可能な35個のイントラ予測モードから3つのカテゴリ、すなわち1つのモードを含む第1のカテゴリ、19個のモードを含む第2のカテゴリ、そして35個のモードを含む第3のカテゴリを作成する。このような方法は、各々のカレントブロックについて、カレントブロックの基準画素の分散の値に応じて適応されたカテゴリを選択する。カレントブロックの基準画素は、カレントブロックの上方に位置する行およびカレントブロックの右側に位置する列の画素に対応する。カレントブロックは次に、リストの予測モードのうちの1つによって予測される。選択されたカテゴリ中で、レート歪み基準に応じて最良の予測モードが選択される。この予測モードは、カテゴリ、そして次にこのカテゴリ内のモードを識別する情報を用いてシグナリングされる。
【0013】
このような方法は、一部のケースでは全てのイントラ予測モードがテストされるわけではないため、カレントブロックの予測の計算時間を削減することができる。同様に、このような方法は、一部のケースではレートの削減を可能にすることができる。実際、選択されたカテゴリが1つの予測子しか有していないカテゴリである場合には、シグナリングすべきものは何も無い。
【0014】
第2または第3のカテゴリが選択された場合、シグナリングは当初利用可能である予測モード集合に基づいて想定されることから、レートは削減されない。
【発明の概要】
【発明が解決しようとする課題】
【0015】
本発明は、状況を改善しようとするものである。
【0016】
本発明の目的は特に、先行技術のこれらの欠点を緩和することにある。
【0017】
より厳密には、本発明の目的は、予測品質を損なうことなく、複数の候補モードの中からカレントブロックのために選択された予測モードのシグナリングコストを減少させることに寄与する解決法を提案することにある。
【課題を解決するための手段】
【0018】
これらの目的ならびに後で明らかになる目的は、少なくとも1つの画像を表わすコーディングされたデータフローのデコーディング方法において、前記画像がブロックにカットされており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である方法であって、前記方法は以下のステップ:
- 集合から少なくとも2つの予測モードカテゴリを獲得するステップと;
- 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去するステップと;
- 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するステップと;
- カレントブロックについて、更新されたカテゴリのモードの中から1つの予測モードを識別する情報をデータフローからデコーディングするステップと;
を含む方法を用いて達成される。
【0019】
本発明では、デコーダは、カレントブロックに適応していない予測モードのカテゴリを消去し、消去済みカテゴリと共通の予測モードを残りのカテゴリから削除する。デコーダは、未消去で更新済みのカテゴリについての知識を用いて、カレントブロックのためにエンコーダが選択した予測モードをシグナリングするコーディングされたデータをデータフロー内で解釈する。
【0020】
初期カテゴリに基づいて選択された予測モードをシグナリングする先行技術とは異なり、カレントブロックのために選択された予測モードのシグナリングは、更新された予測モードカテゴリに特異的でかつ適応されている。こうして、予測モードのシグナリングのコストは最適化される。
【0021】
本発明は同様に、コーディングされたデータフローの形での画像のコーディング方法において、前記画像がブロックに分割されており、カレントブロックと呼ばれる1つのブロックを予測するために少なくとも2つの予測モードの集合が利用可能である方法であって、前記方法は以下のステップ:
- 集合から少なくとも2つの予測モードカテゴリを獲得するステップと;
- 少なくとも1つの第1の既定の消去基準にしたがって、少なくとも1つのカテゴリを消去するステップと;
- 少なくとも1つの消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するステップと;
- 更新されたカテゴリのうちの1つの中で1つの予測モードを選択するステップと;
- 選択された予測モードを識別する情報を更新されたカテゴリに応じてコーディングし、コーディングされたデータフローの中にコーディングされた情報を挿入するステップと;
を含む方法にも関する。
【0022】
以下で言及するさまざまな実施形態または特徴は、独立した形で、または互いに組合せた形で、上記に定義したデコーディング方法および/またはコーディング方法の特徴に追加することができる。
【0023】
本発明の一態様によると、獲得ステップには、メモリ内で前記カテゴリの識別情報を読取るステップが含まれる。
【0024】
予測モードカテゴリは、予め定められている。利点は、使用が簡単であることおよび計算リソースのニーズが限定されることにある。
【0025】
本発明の別の態様によると、獲得ステップには、既に処理されたブロックのコンテンツの少なくとも1つの特性を解析するステップと、少なくとも1つの予測モードグループ化基準から、解析された少なくとも1つの特性に応じて、カテゴリを作成するステップとが含まれる。
【0026】
カテゴリは、既に処理されたコンテンツに応じて動的に作成される。利点は、獲得したカテゴリが画像のコンテンツに適応されたものであるということにある。
【0027】
本発明の別の態様によると、方法は、獲得したカテゴリについて、このカテゴリを代表する1つの予測モードを決定するステップを含み、カテゴリの消去ステップには、代表的予測モードを消去すること
が含まれ、カテゴリの消去が、このカテゴリを代表する予測モードの消去によって開始される。
【0028】
利点は、ただ1つの動作でカテゴリ全体が消去されることにある。
【0029】
本発明のさらにもう1つの態様によると、獲得したカテゴリについて、カテゴリの消去ステップには、その予測モードを連続的に消去することとカテゴリ内の消去済み予測モードの数を既定の閾値と比較することとが含まれ、カテゴリの消去が、消去済みモードの数が閾値を上回った場合に開始される。
【0030】
利点は、消去の決断を下す前に、カテゴリのモードが個別にテストされるということにある。
【0031】
本発明の別の態様によると、方法は、獲得したカテゴリについて、前記カテゴリが1つの予測モードグループ化基準に結び付けられることから、コンテンツのうちの1つの特性を提供することを目的とする既に処理された隣接ブロックのコンテンツを解析するステップを含み、特性とグループ化基準が互いに相容性の無いものである場合に、消去ステップはカテゴリを消去する。
【0032】
利点は、処理すべきコンテンツにカテゴリが適応されていないことを立証できた時点で直ちにこのカテゴリ全体を消去できるということにある。
【0033】
本発明は同様に、上記に定義した特定の実施形態のいずれか1つに係るデコーディング方法を使用するために適応されたデコーディング装置にも関する。このデコーディング装置は、当然のことながら、本発明に係るデコーディング方法に関連するさまざまな特徴を含むことができるものであろう。したがって、このデコーディング装置の特徴および利点は、デコーディング方法のものと同じであり、さらに長々と詳述されない。
【0034】
本発明の特定の一実施形態によると、このようなデコーディング装置は、端末内に含まれる。
【0035】
本発明は同様に、上記に定義した特定の実施形態のいずれか1つに係るコーディング方法を使用するために適応されたコーディング装置にも関する。このコーディング装置は、当然のことながら、本発明に係るコーディング方法に関連するさまざまな特徴を含むことができるものであろう。したがって、このコーディング装置の特徴および利点は、コーディング方法のものと同じであり、さらに長々と詳述されない。
【0036】
本発明の特定の一実施形態によると、このようなコーディング装置は、端末またはサーバ内に含まれる。このような端末機器またはサーバは、本発明に係るコーディング装置およびデコーディング装置を含むことができる。
【0037】
本発明に係るデコーディング方法およびコーディング方法はそれぞれ、さまざまな形で、特に有線の形態またはソフトウェアの形態で実施され得る。
【0038】
本発明の特定の一実施形態によると、デコーディング方法およびコーディング方法はそれぞれ、このプログラムがプロセッサによって実行された場合に、上述の方法のステップを実施するための命令を含むコンピュータプログラムによって実施される。
【0039】
これらのプログラムは、任意のプログラミング言語を使用することができる。これらのプログラムは、通信ネットワークからダウンロード可能および/またはコンピュータ可読媒体上に記録可能である。
【0040】
最後に、本発明は、上述のような、コーディング方法を実施するコンピュータプログラムおよびデコーディング方法を実施するコンピュータプログラムをそれぞれ記憶する、場合によっては取外し可能な本発明に係るデジタル画像のコーディング装置およびデジタル画像デコーディング装置に統合されたまたは統合されていないプロセッサ可読記憶媒体に関する。
【0041】
本発明の他の利点および特徴は、例示的で非限定的な単なる一例として示されている本発明の特定の実施形態についての以下の説明、および添付図面を読んだ時点で、より明白になるものであろう。
【図面の簡単な説明】
【0042】
【
図1】本発明の第1の実施形態に係る予測モードカテゴリの獲得、消去および更新ステップを概略的に提示している。
【
図2】本発明の第1の実施形態に係る予測モードカテゴリの獲得、消去および更新ステップを概略的に提示している。
【
図3】共通モードを含む予測モードカテゴリを概略的に提示する。
【
図4A】本発明により実施される予測モードカテゴリの例を示す。
【
図4B】本発明により実施される予測モードカテゴリの例を示す。
【
図4C】本発明により実施される予測モードカテゴリの例を示す。
【
図4D】本発明により実施される予測モードカテゴリの例を示す。
【
図4E】本発明により実施される予測モードカテゴリの例を示す。
【
図4F】本発明により実施される予測モードカテゴリの例を示す。
【
図4G】本発明により実施される予測モードカテゴリの例を示す。
【
図5】本発明の一実施形態において実施されるカテゴリの一例を示す。
【
図6】本発明に係る画像のコーディング方法のステップを概略的に提示する。
【
図7】本発明に係る画像のデコーディング方法のステップを概略的に示す。
【
図8】本発明に係るコーディング装置のハードウェア構造の一例を概略的に提示する。
【
図9】本発明に係るデコーディング装置のハードウェア構造の一例を概略的に提示する。
【発明を実施するための形態】
【0043】
一般的原理
本発明は、コーディングすべき画像の画素ブロックを予測するために使用される予測モードのシグナリングのコストを改善することを目的とする。
【0044】
現在の圧縮規格は、コーディングすべきブロックの画素の可能なかぎり最も近い予測を提供する目的で1ブロックをコーディングするために多数の予測モードを提案している。こうして、量子化された予測残余は小さく、さらにはゼロであり、このため予測残余のコーディングコストを削減することが可能になっている。しかしながら、予測モードのシグナリングのコストは、可能な予測モードの数と共に増大する。
【0045】
ところで、共有する画像のコンテンツのうちの1つ以上の特徴をベースとして予測モードをカテゴリにグループ化し、同じカテゴリの予測モードがカレントブロックを予測するために適応されていないという事実を想定することが可能であると思われる。
【0046】
本発明の一般的原理は、デジタル画像のカレントブロックのコーディングまたはデコーディングのための競合する予測モードの初期集合内における予測モードカテゴリの立証、およびカテゴリ全体の消去に基づいている。未消去の1カテゴリのモードおよび消去済みカテゴリに共通のモードは、削除される。この原理は、コーダにもデコーダにも同様に適用される。
【0047】
このようにして、1つのブロックのコーディングのために利用可能である予測モードの数は削減され、デコーダは同じカテゴリを忠実に構築できることから、シグナリングは、カレントブロックの予測のために利用可能な削減された数のモードに基づいて行なわれ得る。
【0048】
本発明は、ここでは、HEVC規格において定義されているイントラ予測モードに対する適用の枠内で説明される。本発明は、他の圧縮規格および他の予測モードにも容易に適用される。
【0049】
HEVC規格は、35個のイントラ予測モードを定義しているということが喚起される:
- 1つのPLANARモード(モード0)、このモードは、基準画素から予測子ブロック(または予測されたブロック)の画素を線形的に内挿することからなり;基準画素は、先に再構築された隣接ブロックから構築される。
- 1つのDCモード(モード1)、このモードは、基準画素の平均に対応する同じ値を予測子ブロックの画素に割当てることからなる。
-
図4Aによって示されている33個の角度的モードA2~A34。このようなモードは、33個の結び付けられた方向のうちの1つにおけるカレントブロックの基準画素の延長によって、予測子ブロックを形成する。
【0050】
図1に関連して、
図6に関連して説明される本発明に係るコーディング方法および
図7に関連して説明される本発明に係るデコーディング方法において実施される、本発明に係るカテゴリの獲得ステップE10、カテゴリの消去ステップE11およびカテゴリの更新ステップE12について説明する。
【0051】
初期集合からの少なくとも2つの予測モードカテゴリの獲得
ステップE10の間に、コーダまたはデコーダは、利用可能な予測モードの初期集合から形成された予測モードカテゴリを獲得する。
図3によって示されているように、カテゴリは共通の予測モードを有し得る。
【0052】
これらのカテゴリは、予測モードのうちの1つ以上のグループ化基準CRを用いて形成されたものである。グループ化基準は、有利には、1ブロックのコンテンツのうちの1つの特性のうちの1つの値または値範囲に結び付けられる。換言すると、予測モードは、同じカテゴリの予測モードがそれらに結び付けられた特性値を有するブロックを予測するのに最も適応されたものとみなされ得るような形で、少なくとも1つの共通の特性に基づいてグループ化される。
【0053】
カテゴリは、コーディングおよびデコーディングの予備段階において構築されており、設定されている場合がある。この場合、カテゴリの獲得ステップE10は、メモリMEM,MEM0においてこれらのカテゴリを表わす情報を読取るサブステップE101を含む。例えば、この情報は、カテゴリ識別子を連結する1つのワードであり、このカテゴリが含んでいる予測モードの識別子を記憶するメモリ空間に対して1つのカテゴリ識別子が結び付けられる。
【0054】
既に処理された画像のコンテンツの特性解析の不在下では、コーダそして対称物としてのデコーダは、一貫して、例えばコーディングプロファイルに結び付けられた第1のカテゴリ化プロファイルに対応する既定のカテゴリを獲得する。
【0055】
画像のコンテンツの特性を自らに提供する既に処理されたブロックのコンテンツの解析の結果をストリーミングで入手した時点で、コーダそして対称物としてのデコーダは、この解析に由来する特性の特定の値または値範囲に結び付けられたグループ化基準を用いて、カテゴリを動的に作成することができる。
【0056】
この場合、ステップE10は、既に処理されたブロックのコンテンツの特性CCを獲得するサブステップE102と、これらの特性の少なくとも1つの関数である少なくとも1つのグループ化基準CRに基づいて、少なくとも1つのカテゴリを作成するサブステップE103を含む。
【0057】
ステップE10は、サブステップE101のみ、サブステップE102、E103のみ、または全てのサブステップを実施し得、動的に構成されたカテゴリが予め作成されたカテゴリを補完することになる、ということが分かる。
【0058】
例えば、予測モードは、画像のコンテンツのうちの1つの物理的特性に結び付けられた1つの基準にしたがってグループ化される。
図4Bに関連して、考慮対象の物理的特性は、予測モードの配向であり、互いに近い配向を有する予測モードは、垂直角度モードA26(V)とその隣接モードを含む垂直カテゴリと呼ばれる第1のカテゴリCV、および水平角度モードA10(H)とその隣接モードを含む水平カテゴリと呼ばれる第2のカテゴリCHにグループ化される。
【0059】
これらのカテゴリは、カテゴリCHについてむしろ水平であるかまたはカテゴリCVについてむしろ垂直である明白な方向を1つの画像の1ブロックが有することを予測するために適切である。これは例えば、高い建物のある都市シーンを表わす画像の場合にあてはまる。
【0060】
有利には、カレントブロックについて、消去ステップE11は、ブロックの1つの主配向に基づく消去基準に基づいて、2つのカテゴリのうちの1つを消去するであろう。
【0061】
図4Cに関連して、1つのカテゴリの作成のために考慮される物理的特性の他の一例を考慮する。コンテンツ内でコーダが、実シーン上のテキストまたはロゴのオーバーレイに対応する、多くの場合非常に均質なゾーンによって分離された水平または垂直の方向での明白かつ地と対照をなす輪郭の存在を検出した、と仮定する。したがって、コーディング中の画像のコンテンツは、実シーン上への仮想要素の重畳を含む。コーダは、「スクリーンコンテンツ」と呼ばれるこのタイプのシーンに適応されたモードをグループ化する第1のカテゴリを作成する。例えばこのカテゴリCSCの中に、コーダは、DMM(英語で「Depth Modeling Mode」の略)モード、IBC(英語で「Intra Block Copy」の略)モード、水平角度モードA10(H)、垂直角度モードA26(V)を含み入れる。コーダは、水平モードと垂直モードを含めた、先に言及された角度モード集合を含む第2のカテゴリCAを作成する。
【0062】
図4Dに関連して、コーダは、E10において、角度予測モードから3つのカテゴリを獲得する。カテゴリCA1は、モードA26(V)およびA10(H)を含み、カテゴリCA2はモードA2、A6、A14、A22を含み、カテゴリCA3は他の全てを含む。カテゴリCA1は、1つの方向のコーディングのために極くわずかな精細度しか許容せず、カテゴリCA2はそれをわずかに多く許容し、カテゴリCA3は最も精確である。これら3つのカテゴリが、1つのブロックのコンテンツの方向を表現するのに必要とされる精細度に適応できるようにする、ということが分かる。
【0063】
これらのカテゴリは、予備段階で作成され、設定されているものである。これらのカテゴリには共通のモードは無い。
【0064】
このカテゴリ集合の重視される利用分野は、他のものと競合させられるコーディングツールとしてのその利用である。したがって、このカテゴリ集合は、例えばレート歪み基準にしたがってそれが最良の結果をもたらすと思われる場合に選択されるであろう。特に、所与の1ゾーンが単一の方向(垂直および水平)を含み、別のゾーンがはるかに精細な方向(対角線における精細度)方向を有し得る画像について、カテゴリ集合がうまく機能するものと予想することができる。
【0065】
本発明の一実施形態によると、カテゴリを作成するサブステップE103では、既に処理された隣接ブロックについて使用された予測モードの統計的解析(E102)に基づくグループ化基準が考慮に入れられる(因果コンテキスト)。有利には、最も頻繁に使用されるモードは、第1のカテゴリの中に入れられる。第2のカテゴリは、初期集合の全てのモードを含む。
【0066】
図4Eによって示されているもう1つの実施形態によると、好ましくは最も確率の高い因果記述子との関係において、カレント画像の既に処理されたブロックに対して予測されたモードについての「機械学習」タイプの学習によって、他のカテゴリが動的に作成される。「機械学習」つまりMLの技術は、当業者にとって公知であり、例えば、1997年にマグローヒルより刊行されたTom Mitchellによる「Machine Learning」という題の著書の中で説明されている。
【0067】
この技術は、学習段階の後に、カレントゾーンのためのモード選択に関する確率を発出することを可能にする。MLは、複数の要素を含む公知の方法であり、ここでは詳述しない。したがって、各モードの出現確率の度合に応じて他の3つのカテゴリを作成することを想像することができる。例えば、1つ以上の閾値で得られた出現確率を比較し、第1の閾値を上回る出現確率を有するものを第1のカテゴリ内にグループ化し、次に第1の閾値より低い第2の閾値を上回る出現確率を有するものを第2のカテゴリ内にグループ化し、第2の閾値よりも低い第3の閾値を上回る出現確率を有するものを第3のカテゴリ内にグループ化することができる。
【0068】
こうして、
図4Eに関連して表示された以下のカテゴリが作成される:
・ カテゴリ1 C1’:A2 A8 A9 A10 A11
・ カテゴリ2 C2’:A10 A3 A4 A11 A12 A16
・ カテゴリ3 C3’:他の角度モードの集合An
【0069】
学習は、例えば、各コーディングユニット(英語の「coding unit」)で、または各画像で、またはGoP(英語で「Group of Pictures」の略)タイプの各画像群で、規則的に可変的な頻度で反復される。
【0070】
有利には、動的に作成されたこれら3つのカテゴリに対して、予測モードDC、A10(H)、A26(V)およびPLを含む、デフォルトと呼ばれる第1の既定のカテゴリC0’を追加する。このカテゴリは、E10においてコーダおよびデコーダによって獲得される。こうして、学習MLに由来する不良な予測を緩和することが可能になる。
【0071】
図4Fおよび4Gに関連して、カテゴリは同様に、階層的に構築されることもできる。
【0072】
任意のツリー構造を採用することができる(2進、3進、不規則など)。この構造は、階層レベル別に一種のMPMをシミュレートする。
【0073】
例えば、2分法によりカテゴリを構築する。最も確率の高い2個のモードMPM1およびMPM2として、水平モードA10と垂直モードA26を定義する。これらは第1の階層レベルのカテゴリCH1を形成する。2つ跳びでそれらの隣接モードMPM1-2、MPM1+2、MPM2-2およびMPM2-2をとることで、第2の階層カテゴリCH2を導出する。先のカテゴリのモードのうちの1つ跳びの隣接モードMPM1-1、MPM1+1、MPM2-1、MPM2+1をとることにより、レベル3のカテゴリCH3を作成する。カテゴリCH1は、予測モードをわずかしか含まず、角度方向に関して低い精度しかもたらさないのに対して、カテゴリCH3は、より大きな配向精細度を提供する。
【0074】
カテゴリの消去
本発明は、カテゴリを消去するさまざまな方法を網羅する。
【0075】
図1に関連して説明された本発明の一実施形態によると、消去ステップE11は、1つのカテゴリを代表する1つのモードを決定するサブステップE111を含む。
【0076】
角度モード集合の場合、代表は中央値または平均であり得る。したがって角度予測子は、順序付けされ、それらを呼称する1つの番号を有する。したがって平均は、カテゴリの中央角度を意味する。
【0077】
一変形形態によると、1つのカテゴリを代表する予測モードは、それが初期予測モード集合の一部でないという意味において、補足的予測モードである。例えば、それは、今度は予測子自体についての平均、すなわち予測またはこれらの値の他のあらゆる機能を行なうために使用される画素の値を計算することによって、得ることができる。例えば
図4Bに関連して、カテゴリCVについての代表RVとして垂直モードが、そしてカテゴリCHについての代表RHとして水平モードが選択される。
【0078】
ステップE11は、さらに、消去基準にしたがって代表を消去するサブステップE112を含む。代表はテストされ、少なくとも1つの予測子消去基準に応じて消去されるかまたはされない。
【0079】
ステップE113は、代表が消去された時点で直ちにカテゴリ全体を消去することからなる。
【0080】
図2により示されている一変形形態によると、代表が指定されることはなく、サブステップE114の間に1つのカテゴリの予測モードが1つずつ試験され、これらは、標準的モード消去基準により消去される。
【0081】
図4Eの実施例において、カテゴリCA0~CA3は、不均質である。したがって、これらのカテゴリについて代表は定義しない。モードは、場合によって消去の決断を下すため、個別に検討される。モードの消去基準は、例えば以下のような規則に対応する:すなわち、「Anは、その隣接ブロックが、モードAn、An-1またはAn+1を選択しなかった場合、消去される」。
【0082】
したがって、各カテゴリの一定数のモードが消去されるものと仮定する。そのとき、例えばカテゴリのモードの50%が消去されると仮定するならば、カテゴリ全体の消去基準が適用される。この場合、そのカテゴリの全てのモードが消去される。詳細には、これらの同じモードは、それらが存在する他のカテゴリからも消滅する。逆の場合(50%未満の場合)、カテゴリは保存され、カテゴリの全てのモードも保存される(消去されると仮定されたものさえも)。
【0083】
E115では、カテゴリ内の消去済みモードの割合が既定の閾値THを上回った場合に、そのカテゴリは消去される。
【0084】
さらに別の実施形態によると、1つのカテゴリは、そのカテゴリを構成するのに用いられたグループ化基準CRが、既に処理された隣接ブロックのコンテンツの少なくとも1つの物理的特性と相容れない場合、包括的に消去される。例えば、
図4CのカテゴリCSCは、深度画像に由来するか、または例えばコンピュータスクリーンタイプの自然でないコンテンツ(英語で「スクリーンコンテンツ」)を含むか、またはオーバーレイ(英語で「overlay」)を含むブロックのために使用される確率が高い予測モードをグループ化する。反対に、このカテゴリは、コンテンツが顕著な角度特性を有することを既に処理された隣接ブロックの解析が示している画像のゾーンならびにテクチャードゾーンに属するカレントブロックには適応されていない。このとき、カテゴリCSCは、その予測モード全てと共に消去される。
【0085】
ここで、カレントブロックのコンテンツの配向の物理的特性に基づくカテゴリCA1~CA3を表わしている
図4Dの実施例を再度取り上げる。非常に均質なゾーン内にあることを、既に処理された隣接ブロックのコンテンツの解析が示している場合には、そのとき、高い角度精細度は求められない。したがって、カテゴリCA3を消去することができる。
【0086】
同様に、既に処理済みの隣接ブロックに適用された、例えばSobelタイプの勾配技法が鮮明な水平または垂直方向を全く出現させない場合、モードグループ化基準が処理すべきコンテンツと相容れないカテゴリCA1は消去される。
【0087】
未消去カテゴリの更新
作成されたカテゴリが共通の予測モードを有し得るということが分かった。
【0088】
本発明によると、所与の予測モードが第1および第2のカテゴリに属する場合、第1のカテゴリ内のこのモードの消去は、E12における第2のカテゴリからのその消去を暗に意味する、という点が指摘されるであろう。
【0089】
図3に関連して、カテゴリC1の消去は、第2のカテゴリC2がもはや2つの予測モードしか含まないことを暗に意味している。
【0090】
第1の実施形態の説明
図5に示されているこの実施例において、予測モードカテゴリは予め定められている。換言すると、これらのカテゴリの作成は、エンコーディングの予備段階において実現されている。したがって、ステップE10は、例えばコーダにとってアクセス可能なメモリ内に記憶されている予測モードにアクセスする目的でこれらのカテゴリを表わす情報を読取りに行くことからなる。
【0091】
図5が示す以下の形で構成された5つのカテゴリを考慮する:
- カテゴリC1
1は、予測モードDMM、IBC、H(A10)、H-1(A9)、H+1(A11)、V(A26)、V-1(A25)、V+1(A27)を含む;
- カテゴリC2
1は、角度予測モードA34...A27を含む;
- カテゴリC3
1は、角度予測モードA25...A11を含む;
- カテゴリC4
1は、角度予測モードA9...A2を含む;
- カテゴリC5
1は、DC、H、V、PLを含む。
【0092】
一部の角度モードと同様、一部の予測モードは複数のカテゴリに共通であることが確認される。
【0093】
予め決定され設定されたこれらのカテゴリは、コーダおよびデコーダが知っているものである。
【0094】
角度モードのみで構成されるカテゴリ2、3および4について、T12において、これらのカテゴリ各々の中央角度モードに対応する1つの代表を決定する。例えば、カテゴリC2’’で中央値はモードA30.5である。これは、カテゴリC2’’の一部でない補足的角度モードであるという点が指摘されるであろう。
【0095】
不均質タイプの予測モードで構成される他のカテゴリC11およびC51については、代表を決定しない。
【0096】
E11では、1つ以上のカテゴリを消去することになる。この実施例において、採用される戦略は、無用である確率が高い角度予測モードを消去することからなる。空間的と同時に時間的にも隣接して既に処理されたブロックにより使用された予測モードの統計的解析に基づく、統計的消去基準と呼ばれる消去基準が用いられる。
【0097】
例えば、カテゴリC21、C31およびC41については、以下の規則の形で表現される1つの消去基準を用いて代表をテストする:「モードAnは、既に処理されたその隣接ブロックのいずれも、An、An-1およびAn+1を含む群のモードのうちの1つを選択しなかった場合、消去される」。
【0098】
この基準が、カテゴリC2’’およびC3’’の代表の消去、ひいてはこれらのカテゴリの消去を導くと仮定する。
【0099】
E12では、未消去カテゴリが消去済みカテゴリと共通して有している予測モードを削除することによって、未消去カテゴリを更新する。こうして、カテゴリ1の角度モードA11(H+1)、A25(V-1)、A26(V)およびA27(V+1)を削除することになる。
【0100】
更新されたカテゴリは、以下の通りである:
- カテゴリC11:DMM、IBC、H(A10)、H-1(A9)、V(A26);
- カテゴリC41:A9...A2;および
- カテゴリC51:DC、H、V、PL。
【0101】
当初38個であったモードであるが、残っているモードは全部で15個しかないということが観察される。
【0102】
この実施例においては、カテゴリC21、C31、C41のみが代表を有し、潜在的に消去可能であるということが指摘されるであろう。これは、無用の角度モードを最大限に消去しながらも、他のモードを消去しないことが望まれる具体的ケースに対応している。
【0103】
コーダは、次に残りの15個の中から従来の方法で1つの予測モードを選択する。従来、この選択は、コーディングのレートおよび品質を最適化するモードを選定するようにさせるレート歪み基準すなわちRDO(英語のRate Distorsion Oの略)基準に基づいて行なわれる。
【0104】
選択されたモードは、ビットストリーム中でシグナリングされる。このモードがその後シグナリングされる。
【0105】
選択された予測モードをシグナリングする公知の方法がいくつか存在する。第1の選択肢によると、この予測モードは、15個のモードとの関係において指標付けされ、その指標がシグナリングされる。第2の選択肢によると、残りの3つのうちこの予測モードが属するカテゴリがシグナリングされ、その後、カテゴリ内のその位置または指標がシグナリングされる。
【0106】
第2の実施形態の説明
第1の実施形態の場合と同じ予め定められたカテゴリを考慮する。
【0107】
カテゴリC1’’は、オーバーレイタイプまたはスクリーンコンテンツタイプの人工的コンテンツを含むブロックを予測するために適切であると仮定された予測モードをグループ化する。
【0108】
カテゴリ消去ステップE11の間に、このカテゴリ1が処理すべきブロックのコンテンツに適応されていない場合、このカテゴリを消去することになる。
【0109】
このカテゴリについては、カレントブロックに隣接する既に処理された構造解析に基づく消去基準が使用される。例えば、Sobelタイプのフィルタリングにより、輪郭検出が行なわれ、その後、1989年にPrentice Hallにより刊行された「Fundamentals of Digital Image Processing」という題のAK Jainの著書の第4および5章に記載されているように、これらの輪郭の方向が決定される。隣接ブロックがこのカテゴリの対象であるタイプのコンテンツを含まないことが判明した場合、このカテゴリは消去される。
【0110】
均質であるかまたは軽度に劣化したゾーンに、それ自体がより適応されているカテゴリC5’’に対して、類似の機能を適用できると考えられる、ということが分かる。
【0111】
第3の実施形態の説明
この実施例(図示せず)において、予測モードDC、H、V、PLを含むデフォルトの第1のカテゴリC12が設定される。
【0112】
ステップE10は、3つのカテゴリの動的作成ステップE103を含む。このために、ステップE10では、E102で機械学習(ML)技術が使用される。3つのカテゴリは、各モードの出現確率を考慮に入れて作成される。
【0113】
カテゴリは、例えば以下のものであり得る:
- カテゴリC12:DC、H、V、PL;
- カテゴリC22:A2 A8 A9;
- カテゴリC32:A10 A3 A4 A11 A12 A16;
- カテゴリC42:他のAnの集合
【0114】
このように形成されたカテゴリは不均質である。したがって代表を定義することはしない。
【0115】
E11では、各カテゴリの各モードを検討して、このモードを消去すべきか否かの決断が下される。モードの第1の消去基準は、例えば、以下の規則の形で表現される:Anは、その隣接ブロックがモードAn、An-1またはAn+1を選択しなかった場合、消去されるであろう。
【0116】
例えばカテゴリのモードの50%が第1の基準によって消去される場合、次にカテゴリ全体の第2の消去基準が適用される。この場合、カテゴリの全てのモードが消去される。
【0117】
E12では、消去済みモードが、残りのカテゴリから削除される。
【0118】
詳細には、これらの同じモードは、それらが存在する他のカテゴリから消滅する。
【0119】
逆の場合(50%未満)、カテゴリは保存され、このカテゴリのモード集合も保存される(消去されたと仮定されるものも)。
【0120】
例えば、カテゴリ4および2のモードの50%が消去された場合、カテゴリ1の3個のモードおよびカテゴリ3の6個のモードのみが、使用可能な集合の中に存続する。これにより、MLに由来する場合によって不良な予測を緩和することができる。
【0121】
本発明に係るコーディング方法の実施例の説明
図6は、本発明の特定の一実施形態に係るコーディングされたデータフローSTRの形でコーディングすべき画像シーケンスI
1、I
2、...、I
Nをコーディングする方法のステップを提示している。例えば、このようなコーディング方法は、
図8に関連して説明されるようなコーディング装置によって実施される。コーディングすべき画像シーケンスI
1、I
2、...、I
Nが、コーディング方法の入力側で供給される。コーディング方法は、入力側で供給された画像シーケンスを表わすコーディングされたデータフローSTRまたはビットストリームを出力側において送出する。
【0122】
公知の要領で、画像シーケンスI1、I2、...、INのコーディングは、デコーダが知っている予め確立されたコーディング順序にしたがって、画像毎に行なわれる。例えば、画像は、時間的順序I1、I2、...、INでまたは例えばI1、I3、I2、...、INなどの他の順序にしたがってコーディングされ得る。
【0123】
ステップE0の際に、画像シーケンスI1、I2、...、INのコーディングすべき画像Ikは、最大サイズのブロックにカットされる。最大サイズの各ブロックを、さらに小さいブロックに再度カットすることができる。例えば、最大サイズのブロックは、32×32画素サイズのものである。このような最大サイズのブロックは、例えば16×16、8×8、4×4、16×8、8×16...といったサイズの方形または矩形のサブブロックに再分割することができる。その後、ステップE0の際に、画像Ikのコーディングすべきブロックbcが、既定の画像Ikの行程の方向にしたがって選択される。
【0124】
ステップE10の際に、カレントブロックbcをコーディングするための少なくとも2つの予測モードカテゴリが獲得される。ステップE11の間に、少なくとも1つの消去基準にしたがってカテゴリが消去され、E12では、未消去のカテゴリは、消去済みカテゴリと共通のモードを削除することによって更新される。
【0125】
これらのステップは、
図4A~4Gに関連して本発明のさまざまな実施形態にしたがって以上で説明されている。
【0126】
ステップE13の際に、更新されたカテゴリの予測モードの中から、カレントブロックbcをコーディングするための1つの予測モードが選択され、例えばカレントブロックについてのレート/歪みの最良の妥協点を提供する予測モードが選択される。
【0127】
ステップE14の際に、選択された予測モードを識別する情報が、カレントブロックbcのために、コーディングされたデータフローSTR内でコーディングされる。例えば、このような情報は、固定長または可変長のコードによってコーディングされた指標idxの形で、ストリーム内でコーディングされる。
【0128】
一変形実施形態によると、選択された予測モードが属するカテゴリを表わす情報がコーディングされ、次に、このカテゴリ内の予測モードの位置を表わす情報がコーディングされる。
【0129】
本発明によると、カテゴリは、コーダおよびデコーダによって対称的に獲得、消去および更新されることから、コーダは、有利には、初期集合の予測モードの数に応じてではなくむしろ更新されたカテゴリの予測モードの数に応じて選択された予測モードをシグナリングするためのコードを選択することができる。したがってシグナリングは、よりコストの低いものとなる。
【0130】
ステップE15の際に、カレントブロックbcから、およびステップE13の際に選択された予測モードに結び付けられた予測子ブロックPから、予測残余RESが計算される。予測残余RESは、コーディングすべきカレントブロックbcと予測子ブロックPとの間の差異によって得られる。
【0131】
ステップE16の際に、公知の要領で、予測残余RESは次に、例えば変換DCTによって変換され、量子化される。こうして、量子化された変換済み残余係数が得られる。
【0132】
ステップE17の際に、量子化された変換済み残余係数は、その後、コーディングされたデータフローSTRの形で、D.Marpe、H.Schwarz、T.Wiegand、「Context-based adaptive binary arithmetic coding in the H.264/AVC video compression standard」IEEE Transactions on Circuits and Systems for Video Technology (Volume:13、Issue:7)、pages 620~636、July 2003に記載のCABACコーダなどのエントロピーコーディングモジュールによってコーディングされる。ステップE18の際に、量子化された変換済み係数に対して逆量子化および逆変換を適用することによって、予測残余RES’が再構築される。ステップE19の際に、ステップE13の際に選択された予測モードに結び付けられた予測子ブロックPに対して再構築された予測残余RES’を付加することにより、画素ブロックRECが再構築される。
【0133】
ステップE20の際に、コーディングすべき画像の全てのブロックがコーディングされたか否かが確認される。コーディングされていない場合、コーディング方法はステップE10に戻り、コーディングすべき画像の既定の行程にしたがって後続ブロックに進む。
【0134】
画像の全てのブロックが処理された場合には、ステップE21の際に、画像の再構築されたブロックRECから画像Ik
recが再構築され、画像シーケンスの後続画像のコーディングの際に基準として後日使用されるように基準画像リスト内にセーブされる。
【0135】
デコーディング方法
図7は、本発明の特定の実施形態にしたがってデコーディングすべき画像シーケンスI
1、I
2、...、I
Nを表わすコーディングされたデータフローSTRのデコーディング方法のステップを提示する。
【0136】
例えば、データフローSTRは、
図1に関連して提示されたコーディング方法を介して生成されている。データフローSTRは、
図9に関連して説明されているように、デコーディング装置DECの入力側で供給される。
【0137】
デコーディング方法は、画像毎にフローのデコーディングに着手する。デコーディングすべき各画像について、デコーディング方法は、ブロック毎に画像のデコーディングに着手する。
【0138】
ステップD0の際に、画像シーケンスI1、I2、...、INのデコーディングすべき画像Ikは、最大サイズのブロックにカットされる。最大サイズの各ブロックを、さらに小さいブロックに再度カットすることができる。例えば、最大サイズのブロックは、32×32の画素サイズのものである。このような最大サイズのブロックは、例えば16×16、8×8、4×4、16×8、8×16...といったサイズの方形または矩形のサブブロックに再分割することができる。その後、画像Ikのデコーディングすべきブロックbcが、既定の画像Ikの行程の方向にしたがって選択される。
【0139】
再構築すべき画像のブロックb
cについて、ステップE10の際に、予測モードのカテゴリが獲得される。E11では、少なくとも1つの消去基準に基づいてカテゴリが消去され、E12では、消去済みカテゴリと共通の予測モードを削除することによって、未消去カテゴリが更新される。これらのステップE10~E12は、データフローSTRのコーディングの際に使用された実施形態と同一の特定の実施形態にしたがって実現される。これらのステップは、
図1および2に関連して本発明のさまざまな実施形態にしたがって以上で説明されたサブステップ集合を含む。
【0140】
ステップD20の際に、ブロックbcに対応するデータフローSTRのデータは、一方では、カレントブロックbcのコーディングモード(または予測モード)に関連する構文要素、他方では、カレントブロックbcの予測残余係数群を提供するために、エントロピーデコーディングモジュールによってデコーディングされる。デコーディングされた構文要素は特に、カレントブロックbcについて、本発明にしたがって更新された予測モードカテゴリの予測モードの中のうちの1つの予測モードを識別する予測モード情報を含む。例えば、更新されたカテゴリが、それを構成する予測モードと同様に、順序付けされていると仮定すると、このような情報は、残りの予測モードにより形成される順序付けされたリストの指標idxの形で、ストリームでコーディングされる。一変形形態によると、予測モード情報は、カテゴリ識別子および識別されたカテゴリ内の位置の指標idxの形でコーディングされる。
【0141】
ステップD21の際に、ブロックbcの予測残余係数は逆量子化を受け、その後、デコーディングされた予測残余RES’を送出するために逆変換を受ける。
【0142】
ステップD22の際に、カレントブロックbcは、デコーディングされた予測モードに結び付けられた予測子ブロックP、およびコーディングされたデータフローSTRからデコーディングされたカレントブロックbcに結び付けられた予測残余RES’から再構築される。予測子ブロックPは、ステップE10の際に先に計算されたものである。したがって、カレントブロックbcについての再構築されたブロックRECは、デコーディングされた予測残余RES’に対して予測子ブロックPを加えることによって得られる。
【0143】
ステップD23の際に、デコーディングすべき画像の全てのブロックがデコーディングされ再構築されたか否かが確認される。デコーディングされていない場合、デコーディング方法はステップE10に戻り、デコーディングすべき画像の既定の行程にしたがって後続ブロックに進む。
【0144】
画像の全てのブロックが処理された場合には、ステップD24の際に、再構築されたブロックRECから画像Ik
recが再構築され、画像シーケンスの後続画像のデコーディングの際に基準として後日使用されるように基準画像リスト内にセーブされる。
【0145】
先に説明したコーディングおよびデコーディング方法は、H.266、HEVC/H.265、AVC/H.264などの標準的映像コーダ/デコーダまたは、あらゆるタイプのプロプライエタリ映像コーダ/デコーダの中に統合され得る。本発明に係るコーディングおよびデコーディング方法は、同様に、利用可能な複数の予測モードを用いた予測コーディングを利用する固定画像およびさらに一般的には信号のあらゆるタイプのコーダ/デコーダにも適用される。
【0146】
コーディングおよびデコーディング方法は、先に、空間的ブロックコーディング(イントラコーディング)の場合において説明されている。これらの方法は、例えばインターのような他のタイプのコーディングモードにしたがったブロックのコーディングの場合にも容易に適用される。こうして、構築された予測モードのリストは、さまざまなタイプのコーディングモード(イントラ、インター、インターレイヤ、...)を含み得る。
【0147】
コーディング装置
図8は、本発明の特定の実施形態のいずれか1つに記載のコーディング方法を実施するために適応されたコーディング装置100の簡略化された構造を提示する。コーディング装置100は、コーディングされたデータフローの形で少なくとも1つの画像をコーディングするように適応されており、前記画像は、ブロックにカットされ、カレントブロックと呼ばれる前記画像のブロックを予測するために少なくとも2つの予測モードが利用可能である。
【0148】
コーディング装置100は特に、
- 前記カレントブロックを予測するために利用可能な予測モード集合の中から少なくとも2つの予測モードカテゴリを獲得し、ここで利用可能な予測モードには1つの予測子ブロックが結び付けられており、
- 少なくとも1つの消去基準にしたがって少なくとも1つのカテゴリを消去し、
- 消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新し、
- 更新済みカテゴリの中から、カレントブロックをコーディングするための予測モードを選択し、
- 更新済みカテゴリ内の前記選択された予測モードを前記カレントブロックについて識別する情報を、データフロー内でコーディングする、
ように構成されている。
【0149】
本発明の特定の一実施形態によると、コーディング方法のステップは、コンピュータプログラム命令によって実施される。このために、コーディング装置100は、コンピュータの従来のアーキテクチャを有し、特に、メモリMEM、例えば、マイクロプロセッサPROCを備えメモリMEM内に記憶されたコンピュータプログラムPGによって制御される処理ユニットUTを含む。コンピュータプログラムPGは、プログラムがプロセッサPROCによって実行された時点で、上述したようなコーディング方法のステップを実施するための命令を含んでいる。
【0150】
初期化時点で、コンピュータプログラムPGのコード命令は、例えばメモリRAM内にロードされた後、プロセッサPROCによって実行される。処理ユニットUTのプロセッサPROCは、特に、コンピュータプログラムPGの命令にしたがって、上述のコーディング方法のステップを実施する。
【0151】
本発明の別の特定の実施形態によると、コーディング方法は、機能的モジュールによって実施される。このために、コーディング装置CODはさらに以下のものを含んでいる:
- 前記カレントブロックを予測するために利用可能な予測モード集合の中から少なくとも2つの予測モードカテゴリを獲得するための獲得モジュールOBTであって、利用可能な予測モードには1つの予測子ブロックが結び付けられている獲得モジュール、
- 少なくとも1つの消去基準にしたがって少なくとも1つのカテゴリを消去するための消去モジュールELIM、
- 消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するための更新モジュールMAJ、
- 更新済みカテゴリの中から、カレントブロックをコーディングするための予測モードを選択するための選択モジュールSEL、
- 更新済みカテゴリ内の前記選択された予測モードを前記カレントブロックについて識別する情報を、データフロー内でコーディングするためのコーディングモジュールCOD。
【0152】
処理ユニットUTは、上述のさまざまな機能的モジュールおよびメモリMEMと協働して、コーディング方法のステップを実施する。
【0153】
上述のさまざまな機能的モジュールは、ハードウェアおよび/またはソフトウェアの形態をとることができる。ソフトウェアの形態では、このような機能的モジュールは、プロセッサ、メモリ、およびプロセッサによって実行された場合にモジュールに対応する機能を実施するためのプログラムコード命令を含むことができる。ハードウェアの形態では、このような機能的モジュールは、例えば非限定的にマイクロプロセッサ、信号処理プロセッサ(英語のDigital Signal Processorを略してDSP)、特定用途向け集積回路(英語のApplication Specific Integrated Circuitを略してASICs)、英語のField Programmable Gate Arraysを略してFPGA回路、論理ユニット配線などの、適応されたあらゆるタイプのエンコーディング回路によって実施され得る。
【0154】
有利には、このような装置100はユーザ端末機器ETに統合することができる。このとき、装置100は、少なくとも端末ETの以下のモジュールと協働するように配設されている:すなわち、
- 特に予測モードカテゴリが記憶されているメモリMEM1;
- 例えば有線ネットワークまたは無線ネットワークなどの遠隔通信ネットワーク内で1つ以上のデコーダに向けてコーディング済みデータフローSTRを伝送するデータ送受信モジュールE/R1。
【0155】
デコーディング装置
図9は、本発明の特定の実施形態のいずれか1つに記載のデコーディング方法を実施するために適応されたデコーディング装置200の簡略化された構造を提示する。デコーディング装置200は、少なくとも1つの画像を表わすコーディングされたデータフローをデコーディングするように適応されており、前記画像は、ブロックにカットされ、画像のカレントブロックと呼ばれるブロックを予測するために少なくとも2つの予測モードが利用可能である。デコーディング装置200は特に、
- 前記カレントブロックを予測するために利用可能な予測モード集合の中から少なくとも2つの予測モードカテゴリを獲得し、ここで利用可能な予測モードには1つの予測子ブロックが結び付けられており、
- 少なくとも1つの消去基準にしたがって少なくとも1つのカテゴリを消去し、
- 消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新し、
- 更新済みカテゴリの中から、カレントブロックをコーディングするための予測モードを選択し、
- 更新済みカテゴリの中から1つの予測モードを前記カレントブロックについて識別する情報を、コーディングされたデータフローからデコーディングし、
- 識別された前記予測モードに結び付けられた予測子ブロックから前記カレントブロックを再構築する、
ように構成されている。
【0156】
本発明の特定の一実施形態によると、デコーディング装置200は、コンピュータの従来のアーキテクチャを有し、特に、メモリMEM0、例えばマイクロプロセッサPROC0を備えメモリMEM0内に記憶されたコンピュータプログラムPG0によって制御される処理ユニットUT0を含む。コンピュータプログラムPG0は、プログラムがプロセッサPROC0によって実行された時点で、上述のデコーディング方法のステップを実施するための命令を含んでいる。
【0157】
初期化時点で、コンピュータプログラムPG0のコード命令は、例えばメモリRAM内にロードされた後、プロセッサPROC0によって実行される。処理ユニットUT0のプロセッサPROC0は、特に、コンピュータプログラムPG0の命令にしたがって、上述のデコーディング方法のステップを実施する。
【0158】
本発明の別の特定の実施形態によると、デコーディング方法は、機能的モジュールによって実施される。このために、デコーディング装置200はさらに以下のものを含んでいる:
- 前記カレントブロックを予測するために利用可能な予測モード集合の中から少なくとも2つの予測モードカテゴリを獲得するための獲得モジュールOBT0であって、利用可能な予測モードには1つの予測子ブロックが結び付けられている獲得モジュール、
- 少なくとも1つの消去基準にしたがって少なくとも1つのカテゴリを消去するための消去モジュールELIM0、
- 消去済みカテゴリと共通の予測モードを削除することにより、未消去カテゴリを更新するための更新モジュールMAJ0、
- 更新済みカテゴリの中のうちの1つの予測モードを前記カレントブロックについて識別する情報を、コーディングされたデータフローからデコーディングするためのデコーディングモジュールDC、
- 前記識別された予測モードに結び付けられた予測子ブロックから前記カレントブロックを再構築するための再構築モジュールRC。
【0159】
処理ユニットUT0は、上述のさまざまな機能的モジュールおよびメモリMEM0と協働して、デコーディング方法のステップを実施する。
【0160】
上述のさまざまな機能的モジュールは、ハードウェアおよび/またはソフトウェアの形態をとることができる。ソフトウェアの形態では、このような機能的モジュールは、プロセッサ、メモリ、およびプロセッサによって実行された場合にモジュールに対応する機能を実施するためのプログラムコード命令を含むことができる。ハードウェアの形態では、このような機能的モジュールは、例えば非限定的にマイクロプロセッサ、信号処理プロセッサ(英語のDigital Signal Processorを略してDSP)、特定用途向け集積回路(英語のApplication Specific Integrated Circuitを略してASICs)、英語のField Programmable Gate Arraysを略してFPGA回路、論理ユニット配線などの、適応されたあらゆるタイプのエンコーディング回路によって実施され得る。
【0161】
有利には、このような装置200は端末機器ETに統合することができる。このとき、装置200は、少なくとも端末ETの以下のモジュールと協働するように配設されている:すなわち、
- 特に予測モードカテゴリが記憶されているメモリMEM2;
- 例えば1つのコーダに由来して有線ネットワークまたは無線ネットワークなどの遠隔通信ネットワークからビットストリームSTRを受取るデータ送受信モジュールE/R2。
【0162】
当然のことながら、上述の実施形態は、全く限定的でなく純粋に一例として示されたものであり、当業者であれば、本発明の枠から逸脱することなく多くの修正を容易に加えることができる。
【符号の説明】
【0163】
100 コーディング装置
200 デコーディング装置