特許第6659586号(P6659586)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 同済大学の特許一覧 ▶ 中興通訊股▲ふん▼有限公司の特許一覧

<>
  • 特許6659586-画像符号化/復号化方法及び装置 図000009
  • 特許6659586-画像符号化/復号化方法及び装置 図000010
  • 特許6659586-画像符号化/復号化方法及び装置 図000011
  • 特許6659586-画像符号化/復号化方法及び装置 図000012
  • 特許6659586-画像符号化/復号化方法及び装置 図000013
  • 特許6659586-画像符号化/復号化方法及び装置 図000014
  • 特許6659586-画像符号化/復号化方法及び装置 図000015
  • 特許6659586-画像符号化/復号化方法及び装置 図000016
  • 特許6659586-画像符号化/復号化方法及び装置 図000017
  • 特許6659586-画像符号化/復号化方法及び装置 図000018
  • 特許6659586-画像符号化/復号化方法及び装置 図000019
  • 特許6659586-画像符号化/復号化方法及び装置 図000020
  • 特許6659586-画像符号化/復号化方法及び装置 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6659586
(24)【登録日】2020年2月10日
(45)【発行日】2020年3月4日
(54)【発明の名称】画像符号化/復号化方法及び装置
(51)【国際特許分類】
   H04N 19/103 20140101AFI20200220BHJP
   H04N 19/136 20140101ALI20200220BHJP
   H04N 19/176 20140101ALI20200220BHJP
【FI】
   H04N19/103
   H04N19/136
   H04N19/176
【請求項の数】17
【全頁数】42
(21)【出願番号】特願2016-568992(P2016-568992)
(86)(22)【出願日】2015年2月16日
(65)【公表番号】特表2017-509279(P2017-509279A)
(43)【公表日】2017年3月30日
(86)【国際出願番号】CN2015073160
(87)【国際公開番号】WO2015120818
(87)【国際公開日】20150820
【審査請求日】2016年12月19日
【審判番号】不服2018-9670(P2018-9670/J1)
【審判請求日】2018年7月13日
(31)【優先権主張番号】201410051371.2
(32)【優先日】2014年2月16日
(33)【優先権主張国】CN
(31)【優先権主張番号】201510047762.1
(32)【優先日】2015年1月29日
(33)【優先権主張国】CN
(73)【特許権者】
【識別番号】513059401
【氏名又は名称】同▲済▼大学
(73)【特許権者】
【識別番号】511151662
【氏名又は名称】中興通訊股▲ふん▼有限公司
【氏名又は名称原語表記】ZTE CORPORATION
(74)【代理人】
【識別番号】110002066
【氏名又は名称】特許業務法人筒井国際特許事務所
(72)【発明者】
【氏名】リン,タオ
(72)【発明者】
【氏名】リー,ミン
(72)【発明者】
【氏名】シャン,グオチアン
【合議体】
【審判長】 清水 正一
【審判官】 間宮 嘉誉
【審判官】 樫本 剛
(56)【参考文献】
【文献】 特表2011−501542(JP,A)
【文献】 特表2008−521292(JP,A)
【文献】 特開2013−138502(JP,A)
【文献】 米国特許出願公開第2013/0016783(US,A1)
【文献】 Guoxin JIN et al.,Non−RCE4:Palette prediction for palette coding,JCTVC−P0160−v6,Joint Collaborative Team on Video Coding(JCT−VC),2014.01,pp.1−14
【文献】 Tao LIN et al.,AHG7:Full−chroma(YUV444)dictionary+hybrid dual−coder extension of HEVC,JCTVC−K0133,Joint Collaborative Team on Video Coding(JCT−VC),2013.01,pp.1−11
【文献】 Weijia ZHU et al.,RCE3 Test 2:Multi−stage Base Color and Index Map,JCTVC−N0287,Joint Collaborative Team on Video Coding(JCT−VC),2013.07,pp.1−8
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/12
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
符号化ブロック及び当該符号化ブロックの近隣ブロックの画素サンプルの特性分析を行うステップと、
分析結果に基づいて、前記符号化ブロックに適合した最適符号化方式を決定するステップと、
前記最適符号化方式に基づいて前記符号化ブロックの符号化を行うステップと、を含み、
符号化ブロック及び当該符号化ブロックの近隣ブロックの特性分析を行うステップは、
前記符号化ブロックの特性分析を行って、前記符号化ブロックのパレットパラメータを得ることと、
前記パレットパラメータに基づいて、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析し、前記分析結果を得ることとを含む画像符号化方法。
【請求項2】
前記パレットパラメータに基づいて、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析し、前記分析結果を得ることは、
前記パレットパラメータに基づいて前記再構成画素サンプルを変換し、パレットインデックス番号の取りうる値を得て前記分析結果とすることを含む請求項に記載の符号化方法。
【請求項3】
符号化ブロック及び当該符号化ブロックの近隣ブロックの特性分析を行って、前記分析結果を得ることは、
前記近隣ブロックにおける再構成画素サンプルの一部又は全部を取得して前記再構成画素サンプルのコピー値を前記分析結果とすることを含む請求項に記載の符号化方法。
【請求項4】
分析結果に基づいて、前記符号化ブロックに適合した最適符号化方式を決定するステップは、
予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを少なくとも1つ含む複数の符号化方式から、前記符号化ブロックに適合した最適符号化方式を決定することを含む請求項に記載の符号化方法。
【請求項5】
前記最適符号化方式がパレット符号化方式である場合、前記最適符号化方式に基づいて前記符号化ブロックの符号化を行うステップは、
前記パレットパラメータ及び前記分析結果に基づいて前記符号化ブロックの符号化を行うことを含む請求項に記載の符号化方法。
【請求項6】
前記パレットパラメータ及び前記分析結果に基づいて前記符号化ブロックの符号化を行った後、
前記パレットパラメータを含むパレット復号化パラメータを、前記符号化ブロックに対応するビットストリームに書き込むステップを更に含む請求項に記載の符号化方法。
【請求項7】
ビットストリームを解析して、前記ビットストリームにおける復号化ブロックの復号化パラメータを得るステップと、
前記復号化ブロックの近隣ブロックに対して特性分析を行うステップと、
前記復号化パラメータと前記近隣ブロックの分析結果から決定された復号化方式とに基づいて、前記復号化ブロックの復号化を行うステップと、
を含み、
前記復号化パラメータがパレット復号化方式パラメータを含む場合、前記復号化ブロックの近隣ブロックに対して特性分析を行うステップは、
前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析して前記分析結果を得、パレットパラメータに基づいて前記再構成画素サンプルを変換して得たパレットインデックス番号の取りうる値、或いは前記再構成画素サンプルのコピー値を前記分析結果とすることを含む画像復号化方法。
【請求項8】
前記復号化パラメータと分析結果から決定された復号化方式とに基づいて、前記復号化ブロックの復号化を行うステップは、
前記分析結果に基づいて、前記パレット復号化方式パラメータで指示される復号化方式を用いて前記復号化ブロックの復号化を行うことを含む請求項に記載の復号化方法。
【請求項9】
前記復号化方式は、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式と、パレット復号化方式とを少なくとも1つ含む請求項7又は8に記載の復号化方法。
【請求項10】
符号化ブロック及び当該符号化ブロックの近隣ブロックの画素サンプルの特性分析を行うように構成される分析モジュールと、
分析結果に基づいて、前記符号化ブロックに適合した最適符号化方式を決定するように構成される決定モジュールと、
前記最適符号化方式に基づいて前記符号化ブロックの符号化を行うように構成される符号化モジュールと、
を備え
前記分析モジュールは、
前記符号化ブロックの特性分析を行って、前記符号化ブロックのパレットパラメータを得るように構成される取得ユニットと、
前記パレットパラメータに基づいて、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析し、前記分析結果を得るように構成される分析ユニットと、を含む画像符号化装置。
【請求項11】
前記分析ユニットは、
前記パレットパラメータに基づいて前記再構成画素サンプルを変換するように構成される変換サブユニットと、
パレットインデックス番号の取りうる値を得て前記分析結果とするように構成される取得サブユニットと、を含む請求項10に記載の符号化装置。
【請求項12】
前記取得ユニットは、更に、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を取得して前記再構成画素サンプルのコピー値を前記分析結果とするように構成される請求項10に記載の符号化装置。
【請求項13】
前記決定モジュールは、更に、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを少なくとも1つ含む複数の符号化方式から、前記符号化ブロックに適合した最適符号化方式を決定するように構成される請求項10に記載の符号化装置。
【請求項14】
前記最適符号化方式が前記パレット符号化方式である場合、前記符号化モジュールは、更に、前記パレットパラメータ及び前記分析結果に基づいて前記符号化ブロックの符号化を行うように構成される請求項13に記載の符号化装置。
【請求項15】
前記パレットパラメータを含むパレット復号化パラメータを、前記符号化ブロックに対応するビットストリームに書き込むように構成される書込モジュール、を更に備える請求項14に記載の符号化装置。
【請求項16】
ビットストリームを解析して、前記ビットストリームにおける復号化ブロックの復号化パラメータを得るように構成される解析モジュールと、
前記復号化ブロックの近隣ブロックに対して特性分析を行うように構成される分析モジュールと、
前記復号化パラメータと分析結果から決定された復号化方式とに基づいて、前記復号化ブロックの復号化を行うように構成される復号モジュールと、
を備え
前記復号化パラメータがパレット復号化方式パラメータを含む場合、前記分析モジュールは、更に、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析して前記分析結果を得、パレットパラメータに基づいて前記再構成画素サンプルを変換して得たパレットインデックス番号の取りうる値、或いは前記再構成画素サンプルのコピー値を前記分析結果とするように構成される画像復号装置。
【請求項17】
前記復号モジュールは、前記分析結果に基づいて、前記パレット復号化方式パラメータで指示される復号化方式を用いて前記復号化ブロックの復号化を行うように構成される請求項16に記載の復号装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は通信分野に関し、具体的には、画像符号化/復号化方法及び装置に関する。
【背景技術】
【0002】
画像のデジタルビデオ信号は、画像のシーケンスを自然形態とする。1フレームの画像は、通常、若干の画素からなる矩形領域であり、デジタルビデオ信号は、数十フレーム乃至何千何万フレームの画像からなるビデオ画像シーケンスであり、単にビデオシーケンス又はシーケンスと呼ばれることもある。デジタルビデオ信号の符号化は、つまり、所定の順番で画像の符号化をフレームずつ行うことである。任意時刻で符号化しているフレームを現在符号化フレームと呼ぶ。同様に、デジタルビデオ信号の圧縮ビットストリームの復号は、つまり、同様な順番で画像の圧縮ビットストリームの復号化をフレームずつ行うことである。任意時刻で復号しているフレームを現在復号フレームと呼ぶ。現在符号化フレーム又は現在復号フレームが通常、現在フレームである。
【0003】
最新の国際ビデオ圧縮規格である高効率ビデオ圧縮(High Efficiency Video Coding、単にHEVCという)では、1フレームの画像を符号化する場合、1フレームの画像を若干枚数のMxM画素の「符号化ユニット(Coding Unit、単にCUという)」と呼ばれるサブ画像に分割し、CUを基本的符号化単位としてサブ画像を1枚ずつ符号化する。Mの大きさは、8,16,32,64がよくある。このため、1つのビデオ画像シーケンスの符号化は、フレームごとの各符号化ユニットを順次符号化することを意味する。同様に、その復号も、フレームごとの各符号化ユニットを同様な順番で順次復号し、最後にビデオ画像シーケンス全体を最構成することを意味する。
【0004】
1フレームの画像における異なる内容及び性質の各部分の画像に応じた標的な符号化を最も効果的に行うために、1フレームの画像における各CUのサイズは、8x8であったり、64x64であったり等、異なってもよい。異なるサイズのCUのシームレス接合を可能にするために、1フレームの画像は、常にサイズが全く同じであるNxN画素を有する「最大符号化ユニット(Largest Coding Unit、単にLCUという)」に分割されてから、LCUごとに複数のツリー型構造のサイズが同じでなくてもよいCUに更に分割される。このため、LCUは「符号化ツリーユニット(Coding Tree Unit、単にCTUという)」とも呼ばれる。例えば、1フレームの画像を、まず、サイズが全く同じである64x64画素のLCU(N=64)に分割する。あるLCUは、3つの32x32画素のCUと4つの16x16画素のCUとからなり、これら7つのツリー型構造をなすCUにより1つのCTUを構成する。また、もう1つのLCUは、2つの32x32画素のCUと、3つの16x16画素のCUと、20個の8x8画素のCUとからなる。これら25つのツリー型構造をなすCUによりもう1つのCTUを構成する。このように、1フレームの画像を符号化することは、即ち、個々のCTUにおける個々のCUを順次符号化することになる。任意時刻で符号化しているCUを現在符号化CUと呼ぶ。1フレームの画像を復号することも、個々のCTUにおける個々のCUを同様な順番で順次復号することになる。任意時刻で復号しているCUを現在復号CUと呼ぶ。現在符号化CU又は現在復号CUが通常、現在CUである。
【0005】
1つのカラー画素は、3つの要素(component)からなる。画素カラーフォーマット(pixel color format)のうち、緑要素、青要素、赤要素からなるGBRカラーフォーマットと、1つの輝度(luma)要素及び2つの色度(chroma)要素からなるYUVカラーフォーマット、例えば、YCbCrカラーフォーマットとが最も一般的な2種類である。従って、1つのCUを符号化する場合、1つのCUを3つの要素平面(G平面、B平面、R平面又はY平面、U平面、V平面)に分割し、3つの要素平面をそれぞれ符号化するようにしてもよいし、1つの画素における3つの要素を1つのトリプルにまとめて、これらトリプルからなるCUを全体として符号化するようにしてもよい。前者の画素及び要素の配列方式は、画像(及びそのCU)のプレーンフォーマット(planar format)と呼ばれる一方、後者の画素及び要素の配列方式は、画像(及びそのCU)のパックフォーマット(packed format)と呼ばれる。
【0006】
YUVカラーフォーマットは、色度要素についてダウンサンプリングを行うか否かによって、更に、1つの画素が1つのY要素、1つのU要素、1つのV要素からなるYUV4:4:4画素カラーフォーマットと、左右に隣り合う2つの画素が2つのY要素、1つのU要素、1つのV要素からなるYUV4:2:2画素カラーフォーマットと、上下左右に隣り合って2x2空間位置で配列される4つの要素が4つのY要素、1つのU要素、1つのV要素からなるYUV4:2:0画素カラーフォーマットといういくつかのサブフォーマットに分割されることができる。1つの要素は、一般的には、1つの8〜16ビットの数字で表される。YUV4:2:2画素カラーフォーマットも、YUV4:2:0画素カラーフォーマットも、YUV4:4:4画素カラーフォーマットに対して色度要素のダウンサンプリングを行って得られたものである。画素要素は、画素サンプル(pixel sample)とも呼ばれ、或いは、単にサンプル(sample)と呼ばれる。
【0007】
上記画素の3要素表現フォーマット以外に、パレット(Palette)インデックス表現フォーマットも画素のもう一つの表現フォーマットとして従来技術によく使用される。パレットインデックス表現フォーマットでは、1つの画素の数値をパレットのインデックスで表現することができる。パレット空間には、表現されるべき画素の3つの要素の数値又は近似数値が記憶されており、パレットのアドレスがこのアドレスに記憶される画素のインデックスと呼ばれる。1つのインデックスは、画素における1つの要素を表現してもよいし、画素における3つの要素を表現してもよい。また、パレットが1つであってもよいし、複数であってもよい。パレットが複数である場合、1つの完全たるインデックスは、実際、パレットの番号付けと、該番号付けしたパレットのインデックスとから構成される。画素のインデックス表現フォーマットは、つまり、この画素をインデックスで表現することになる。画素のインデックス表現フォーマットは、従来技術において、画素のインデックスカラー(indexed color)又は擬似カラー(pseudo color)表現フォーマットとも呼ばれ、或いは、インデックス画素(indexed pixel)又は擬似画素(pseudo pixel)又は画素インデックス又はインデックスと直接呼ばれることもよくある。インデックスは、指数と呼ばれることもある。画素をそのインデックス表現フォーマットによって表現することは、インデックシング又は指数化と呼ばれる。パレットを介して1つの画素の3要素表現フォーマットをパレットインデックスに変換したうえで、パレットインデックスを符号化し、原始データ量を低減することにより符号化効率を向上させる一方、復号側では、復号したパレットインデックスを画素の3要素表現フォーマットに変換することができる。符号化中、使用されるパレットは符号化領域特性に応じて適応的に生成されるものであってもよく、復号側によるパレットの取得(カラー要素セットとインデックス番号との間の対応関係表)や、パレットを介する復元ビデオの取得に必要な情報をビットストリームに書き込む。このような符号化、復号化方式をパレット方式と呼ぶ。
【0008】
リモートデスクトップを代表的な表現形式とする新世代クラウドコンピューティングや情報処理モード及びプラットフォームの発展や普及につれ、複数台のコンピュータ間、メインフレームとスマートテレビ、スマートフォン、タブレット等、他のデジタル装置との間、及び様々なデジタル装置間の相互接続は、すでに実現されており、かつますます主流になっていく。これにより、サーバ側(クラウド)からユーザー側へのリアルタイム画面転送が、現在、きびしく要求される。転送の必要のある画面ビデオデータ量がかなり大きいため、コンピュータ画面画像に対して効率よくかつ高品質のデータ圧縮を行わなければならない。
【0009】
コンピュータ画面画像の特徴を十分生かしてコンピュータ画面画像に対する超高効率の圧縮を図ることは、最新の国際ビデオ圧縮規格HEVCの主な目標でもある。
【0010】
コンピュータ画面画像の特徴のうち、同一フレームの画像内に通常、類似した又は全く同じ画素パターン(pixel pattern)が多く存在することが目立っている。例えば、コンピュータ画面画像によく出てくる中国語又は外国語文字は、ほとんど数少ない基本点画で構成され、同一フレームの画像には、類似した又は同じ点画が多く見られる。コンピュータ画面画像によくあるメニューやアイコン等も、類似した又は同じパターンが多くある。従来の画像及びビデオ圧縮技術に使用されるフレーム内予測(intra prediction)方式は、隣り合う画素サンプルのみを参考にするが、1フレームの画像の類似性又は同一性を用いて圧縮効率を向上させることができない。従来技術におけるフレーム内動き補償(intra motion compensation)方式は、フレーム内ブロックコピー(intra block copy)方式とも呼ばれ、いくつかの固定したサイズ(8x8,16x16,32x32,64x64画素)のブロックを介してフレーム内ブロックマッチング(intra block matching)符号化を行うようにし、様々な異なるサイズや形状でのより精細なマッチングを達成することができない。一方、従来技術における他のマイクロブロックマッチング方式、細分化マッチング方式、ストリングマッチング(string matching)方式、パレット(palette)方式は、様々な異なるサイズや形状での精細なマッチングを効果的に実現することができるが、しかし、一部の画像の場合、多くのパラメータを用いて様々な異なるサイズや形状での精細なマッチングを表すことが必要になるおそれがあり、複雑度、計算量、メモリの読書バンドワイズが大きくなる問題もある。
【0011】
なお、ブロックマッチング復号化方式、ストリングマッチング復号化方式を、それぞれブロックコピー復号化方式、ストリングコピー復号化方式と呼んでもよい。
【0012】
関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題に対して、未だに効果的な対策が提示されていない。
【発明の概要】
【発明が解決しようとする課題】
【0013】
上記課題を解決するために、本発明の実施例は、画像符号化/復号化方法及び装置を提供する。
【課題を解決するための手段】
【0014】
本発明の一実施例によれば、現在符号化ユニットCU及び当該現在CUの近隣CUの画素サンプル特性に基づいて、予め決定されたA種類の予測特性が互いに異なる予測符号化方式及びマッチング特性が互いに異なるマッチング符号化方式から、1種類の符号化方式を選択して現在CUの予測符号化又はマッチング符号化を行い、選択された符号化方式を最適符号化方式とするステップ1であって、上記A種類の予測符号化方式及びマッチング符号化方式は、予測符号化方式、マッチング符号化方式1、マッチング符号化方式2、…、マッチング符号化方式A−1を含む(Aが2以上の整数である)ステップ1と、前記最適符号化方式を用いて、現在CUの予測符号化又はマッチング符号化を行うステップ2と、を含む画像符号化方法が提供される。
【0015】
Aは、集合{3,4,5}からその値を取り、Aが4に等しい場合、4種類の符号化方式が、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット(Palette)符号化方式(パレットマッチング方式ともいう)とを含み、Aが3に等しい場合、3種類の符号化方式が、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式とを含むことが好ましい。
【0016】
前記現在CU及び前記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、動きベクトルN又はマッチング位置N、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び、予測残差又はマッチング残差という情報を含むことが好ましい。
【0017】
前記予測及びマッチング方式識別コードの取りうる値が、0,1,2,…,A−1を少なくとも1つ含み、前記予測及びマッチング方式識別コードが0を取る場合、前記現在CUが前記予測符号化方式を用いることを表し、前記予測及びマッチング方式識別コードが1を取る場合、前記現在CUが前記マッチング符号化方式1を用いることを表し、前記予測及びマッチング方式識別コードが2を取る場合、前記現在CUが前記マッチング符号化方式2を用いることを表し、…、前記予測及びマッチング方式識別コードがA−1を取る場合、前記現在CUが前記マッチング符号化方式A−1を用いることを表すことが好ましい。
【0018】
前記現在CU及び前記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1及び/又は変位ベクトル1、又はインデックスマッピング1、マッチング外れ画素サンプル1、動きベクトル2及び/又は変位ベクトル2、又はインデックスマッピング2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル、又はインデックスマッピング、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含むことが好ましい。
【0019】
前記予測及びマッチング方式識別コードの取りうる値が、0,1,2,3を少なくとも1つ含み、前記予測及びマッチング方式識別コードが0を取る場合、前記現在CUが予測符号化方式を用いることを表し、前記予測及びマッチング方式識別コードが1を取る場合、前記現在CUがブロックマッチング符号化方式を用いることを表し、前記予測及びマッチング方式識別コードが2を取る場合、前記現在CUがストリングマッチング符号化方式を用いることを表し、前記予測及びマッチング方式識別コードが3を取る場合、前記現在CUがパレット符号化方式を用いることを表すことが好ましい。
【0020】
前記現在CU及び前記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1及び/又は変位ベクトル1、マッチング外れ画素サンプル1、動きベクトル2及び/又は変位ベクトル2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含むことが好ましい。
【0021】
前記予測及びマッチング方式識別コードの取りうる値が、0,1,2を少なくとも1つ含み、前記予測及びマッチング方式識別コードが0を取る場合、前記現在CUが予測符号化方式を用いることを表し、前記予測及びマッチング方式識別コードが1を取る場合、前記現在CUがブロックマッチング符号化方式を用いることを表し、前記予測及びマッチング方式識別コードが2を取る場合、前記現在CUがストリングマッチング符号化方式を用いることを表すことが好ましい。
【0022】
前記構文要素のうち、前記CUヘッダは、前記構文要素における配列順序として、変わらずに先頭に位置し、そして、予め決定された配列順序に従って前記構文要素のうち前記CUヘッダ以外の構文要素である他の前記構文要素を、ビットストリームにおける順序を配列することが好ましい。
【0023】
いずれか1つの前記構文要素は、ビットストリームにおける同じ位置又は異なる位置に置かれる複数の部分に分割されることが好ましい。
【0024】
ステップ2の後、前記現在CUに対して後続符号化演算、再構成演算及びエントロピー符号化演算を行うステップ3を更に含むことが好ましい。
【0025】
本発明の他の一実施例によれば、入力したビットストリームをエントロピー復号化し、エントロピー復号化して得たデータ情報を解析し、前記データ情報、前記データ情報と現在符号化ユニットCU及び近隣CUの画素サンプル特性を分析した分析結果のうちの一方に基づいて、A(Aが2以上の整数である)種類の予測特性が互いに異なる予測号化方式及びマッチング特性が互いに異なるマッチング復号化方式から、1種類の復号化方式を選択して現在CUの予測又はマッチング復号化を行うステップ1と、選択された予測復号化方式又はマッチング復号化方式に基づいて、現在CUに対して予測復号化演算又はマッチング復号化演算を行うステップ2と、を含む画像復号化方法が更に提供される。
【0026】
Aは、集合{3,4,5}からその値を取り、Aが4に等しい場合、4種類の復号化方式が、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式と、パレット復号化方式とを含み、Aが3に等しい場合、3種類の復号化方式が、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式とを含むことが好ましい。
【0027】
前記現在CU及び前記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、動きベクトルN又はマッチング位置N、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含むことが好ましい。
【0028】
前記予測及びマッチング方式識別コードの取りうる値が、0,1,2,…,A−1を少なくとも1つ含み、前記予測及びマッチング方式識別コードが0を取る場合、前記現在CUが前記予測復号化方式を用いることを表し、前記予測及びマッチング方式識別コードが1を取る場合、前記現在CUが前記マッチング復号化方式1を用いることを表し、前記予測及びマッチング方式識別コードが2を取る場合、前記現在CUが前記マッチング復号化方式2を用いることを表し、…、前記予測及びマッチング方式識別コードがA−1を取る場合、前記現在CUが前記マッチング復号化方式A−1を用いることを表すことが好ましい。
【0029】
前記現在CU及び前記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1及び/又は変位ベクトル1、又はインデックスマッピング1、マッチング外れ画素サンプル1、動きベクトル2及び/又は変位ベクトル2、又はインデックスマッピング2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル、又はインデックスマッピング、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含むことが好ましい。
【0030】
前記予測及びマッチング方式識別コードの取りうる値が、0,1,2,3を少なくとも1つ含み、前記予測及びマッチング方式識別コードが0を取る場合、前記現在CUが予測復号化方式を用いることを表し、前記予測及びマッチング方式識別コードが1を取る場合、前記現在CUがブロックコピー復号化方式を用いることを表し、前記予測及びマッチング方式識別コードが2を取る場合、前記現在CUがストリングコピー復号化方式を用いることを表し、前記予測及びマッチング方式識別コードが3を取る場合、前記現在CUがパレット復号化方式を用いることを表すことが好ましい。
【0031】
前記現在CU及び前記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又は変位ベクトル1、又は位置ベクトル1及びマッチング長さ1、マッチング外れ画素サンプル1、動きベクトル2又は変位ベクトル2、又は位置ベクトル2及びマッチング長さ2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル、又は位置ベクトルN及びマッチング長さN、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含むことが好ましい。
【0032】
前記予測及びマッチング方式識別コードの取りうる値が、0,1,2を少なくとも1つ含み、前記予測及びマッチング方式識別コードが0を取る場合、前記現在CUが予測復号化方式を用いることを表し、前記予測及びマッチング方式識別コードが1を取る場合、前記現在CUがブロックコピー復号化方式を用いることを表し、前記予測及びマッチング方式識別コードが2を取る場合、前記現在CUがストリングコピー復号化方式を用いることを表すことが好ましい。
【0033】
前記現在CU及び前記近隣CUは、構文要素から構成され、ただし、上記構文要素は、
CUヘッダ、予測及びマッチング方式識別ビット、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード;又はヌル、予測モード又はマッチングモード;
動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、動きベクトルN又はマッチング位置N、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び
予測残差又はマッチング残差という情報を含むことが好ましい。
【0034】
前記方法は、前記予測及びマッチング方式識別ビットが0を取る場合、前記ビットストリームを構成するCUの構文要素が、ヌルでない予測及びマッチング方式一部識別コードと、ヌルである予測及びマッチング方式一部識別コードとのうちの一方を含むことを表し、前記予測及びマッチング方式識別ビットが1を取る場合、前記ビットストリームを構成するCUの構文要素が、予測及びマッチング方式識別コードを含むことを表すステップを更に含むことが好ましい。
【0035】
前記方法は、前記ビットストリームを構成するCUの構文要素が、ヌルでない予測及びマッチング方式一部識別コードを含む場合、前記予測及びマッチング方式一部識別コードと、前記現在CU及び近隣CUの画素サンプル特性の評価結果とに基づいて、現在CUに使用される復号化方式を決定し、また、前記ビットストリームを構成するCUの構文要素が、ヌルである予測及びマッチング方式一部識別コードを含む場合、前記現在CU及び近隣CUの画素サンプル特性の評価結果に基づいて、現在CUに使用される復号化方式を決定するステップを更に含むことが好ましい。
【0036】
前記現在CU及び前記近隣CUは、構文要素から構成され、ただし、上記構文要素は、
CUヘッダ、予測及びマッチング方式識別ビット又はヌル、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード;又はヌル、予測又はマッチングモード識別ビット、予測又はマッチングモード識別コード又は予測又はマッチングモード一部識別コード又はヌル;
動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、動きベクトルN又はマッチング位置N、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び
予測残差又はマッチング残差という情報を含むことが好ましい。
【0037】
前記予測及びマッチング方式識別ビットがヌルである場合、前記予測及びマッチング方式識別ビットを予め設定された固定値に設定し、前記予測又はマッチングモード識別ビットが1の値を取る場合、前記ビットストリームを構成するCUの構文要素が、予測及びマッチングモード識別コードを含むことを表し、この場合、予測及びマッチングモード識別コードに対応する値に基づいて、現在CUの復号化方式を決定し、また、前記予測又はマッチングモード識別ビットが0の値を取る場合、ヌルでない予測及びマッチングモード一部識別コード、及びヌルである予測及びマッチングモード一部識別コードを含むことが好ましい。
【0038】
前記方法は、前記ビットストリームを構成するCUの構文要素が、ヌルでない予測及びマッチングモード一部識別コードを含む場合、前記予測及びマッチングモード一部識別コードと、前記現在CU及び近隣CUの画素サンプル特性の評価結果とに基づいて、現在CUに使用される復号化方式を決定し、また、前記ビットストリームを構成するCUの構文要素が、ヌルである予測及びマッチングモード一部識別コードを含む場合、前記現在CU及び近隣CUの画素サンプル特性の評価結果に基づいて、現在CUに使用される復号化方式を決定するステップを更に含むことが好ましい。
【0039】
前記現在CU及び前記近隣CUは、構文要素から構成され、上記構文要素は、
CUヘッダ、予測及びマッチング方式識別ビット又はヌル、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード;又はヌル、予測又はマッチングモード識別ビット又はヌル、予測又はマッチングモード識別コード又は予測又はマッチングモード一部識別コード又はヌル;
動きベクトル1及び/又は変位ベクトル1;又はインデックスマッピング1、マッチング外れ画素サンプル1、動きベクトル2及び/又は変位ベクトル2;又はインデックスマッピング2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル;又はインデックスマッピング、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び
予測残差又はマッチング残差という情報を含むことが好ましい。
【0040】
前記予測及びマッチング方式識別ビットがヌルでない場合、前記予測及びマッチング方式識別ビットが0又は1の値を取るように設定され、前記予測及びマッチング方式識別ビットがヌルである場合、前記予測及びマッチング方式識別ビットが、予め設定された固定値を取るように設定され、また、前記予測及びマッチングモード識別ビットがヌルでない場合、前記予測及びマッチングモード識別ビットが0又は1の値を取るように設定され、前記予測及びマッチングモード識別ビットがヌルである場合、前記予測及びマッチングモード識別ビットが、予め設定された固定値を取るように設定されることが好ましい。
【0041】
前記構文要素のうち、前記CUヘッダは、前記構文要素における配列順序として、変わらずに前記CUの最初に位置し、そして、予め決定された配列順序に従って、前記構文要素のうち前記CUヘッダ以外の構文要素である他の前記構文要素を、ビットストリームにおける順序を配列することが好ましい。
【0042】
いずれか1つの前記構文要素は、ビットストリームにおける同じ位置又は異なる位置に置かれる複数の部分に分割されることが好ましい。
【0043】
本発明の他の一実施例によれば、符号化ブロック及び当該符号化ブロックの近隣ブロックの画素サンプルの特性分析を行うステップと、分析結果に基づいて、前記符号化ブロックに適合した最適符号化方式を決定するステップと、前記最適符号化方式に基づいて前記符号化ブロックの符号化を行うステップと、を含む画像符号化方法が更に提供される。
【0044】
符号化ブロック及び当該符号化ブロックの近隣ブロックの特性分析を行うステップは、前記符号化ブロックの特性分析を行って、前記符号化ブロックのパレットパラメータを得ることと、前記パレットパラメータに基づいて、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析し、前記分析結果を得ることとを含むことが好ましい。
【0045】
前記パレットパラメータに基づいて、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析し、前記分析結果を得ることは、前記パレットパラメータに基づいて前記再構成画素サンプルを変換し、パレットインデックス番号の取りうる値を得て前記分析結果とすることを含むことが好ましい。
【0046】
符号化ブロック及び当該符号化ブロックの近隣ブロックの特性分析を行って、前記分析結果を得ることは、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を取得して前記再構成画素サンプルのコピー値を前記分析結果とすることを含むことが好ましい。
【0047】
分析結果に基づいて、前記符号化ブロックに適合した最適符号化方式を決定するステップは、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを少なくとも1つ含む複数の符号化方式から、前記符号化ブロックに適合した最適符号化方式を決定することを含むことが好ましい。
【0048】
前記最適符号化方式が前記パレット符号化方式である場合、前記最適符号化方式に基づいて前記符号化ブロックの符号化を行うステップは、前記パレットパラメータ及び前記分析結果に基づいて前記符号化ブロックの符号化を行うことを含むことが好ましい。
【0049】
前記パレットパラメータ及び前記分析結果に基づいて前記符号化ブロックの符号化を行った後、前記パレットパラメータを含むパレット復号化パラメータを、前記符号化ブロックに対応するビットストリームに書き込むステップを更に含むことが好ましい。
【0050】
本発明の他の一実施例によれば、受信したビットストリームを解析して、前記ビットストリームにおける復号化ブロックの復号化パラメータを得るステップと、前記復号化ブロックの近隣ブロックに対して特性分析を行うステップと、前記復号化パラメータと前記近隣ブロックの分析結果から決定された復号化方式とに基づいて、前記復号化ブロックの復号化を行うステップと、を含む画像復号化方法が更に提供される。
【0051】
前記復号化パラメータがパレット復号化方式パラメータを含む場合、前記復号化ブロックの近隣ブロックに対して特性分析を行うステップは、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析して前記分析結果を取得し、前記パレットパラメータに基づいて前記再構成画素サンプルを変換したパレットインデックス番号の取りうる値、或いは前記再構成画素サンプルのコピー値を前記分析結果とすることを含むことが好ましい。
【0052】
前記復号化パラメータと分析結果から決定された復号化方式とに基づいて、前記復号化ブロックの復号化を行うステップは、前記分析結果に基づいて、前記パレット復号化方式パラメータで指示される復号化方式を用いて前記復号化ブロックの復号化を行うことを含むことが好ましい。
【0053】
前記復号化方式は、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式と、パレット復号化方式とを少なくとも1つ含むことが好ましい。
【0054】
本発明の他の一実施例によれば、現在符号化ユニットCU及び当該現在CUの近隣CUの画素サンプル特性に基づいて、予め決定されたA種類の予測特性が互いに異なる予測符号化方式及びマッチング特性が互いに異なるマッチング符号化方式から、1種類の符号化方式を選択して現在CUの予測符号化又はマッチング符号化を行い、選択された符号化方式を最適符号化方式とする選択モジュールであって、上記A種類の予測符号化方式及びマッチング符号化方式は、予測符号化方式、マッチング符号化方式1、マッチング符号化方式2、…、マッチング符号化方式A−1を含む(Aが2以上の整数である)選択モジュールと、前記最適符号化方式を用いて、現在CUの予測符号化又はマッチング符号化を行うように構成される符号化モジュールと、を備える画像符号化装置が更に提供される。
【0055】
前記選択モジュールにより選択される符号化モードについて、Aは、集合{3,4,5}からその値を取り、Aが4に等しい場合、4種類の符号化方式が、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを含み、Aが3に等しい場合、3種類の符号化方式が、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式とを含むことが好ましい。
【0056】
本発明の他の一実施例によれば、入力したビットストリームをエントロピー復号化し、エントロピー復号化して得たデータ情報を解析するように構成される取得モジュールと、前記データ情報、前記データ情報と現在符号化ユニットCU及び近隣CUの画素サンプル特性を分析した分析結果のうちの一方に基づいて、A(Aが2以上の整数である)種類の予測特性が互いに異なる予測号化方式及びマッチング特性が互いに異なるマッチング復号化方式から、1種類の復号化方式を選択して現在CUの予測又はマッチング復号化を行うように構成される選択モジュールと、選択された予測復号化方式又はマッチング復号化方式に基づいて、現在CUに対して予測復号化演算又はマッチング復号化演算を行うように構成される復号モジュールと、を備える画像復号装置が更に提供される。
【0057】
前記選択モジュールにより選択される復号化方式について、Aは、集合{3,4,5}からその値を取り、Aが4に等しい場合、4種類の復号化方式が、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式と、パレット復号化方式とを含み、Aが3に等しい場合、3種類の復号化方式が、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式とを含むことが好ましい。
【0058】
本発明の他の一実施例によれば、符号化ブロック及び当該符号化ブロックの近隣ブロックの画素サンプルの特性分析を行うように構成される分析モジュールと、分析結果に基づいて、前記符号化ブロックに適合した最適符号化方式を決定するように構成される決定モジュールと、前記最適符号化方式に基づいて前記符号化ブロックの符号化を行うように構成される符号化モジュールと、を備える画像符号化装置が更に提供される。
【0059】
前記分析モジュールは、前記符号化ブロックの特性分析を行って、前記符号化ブロックのパレットパラメータを得るように構成される取得ユニットと、前記パレットパラメータに基づいて、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析し、前記分析結果を得るように構成される分析ユニットと、を含むことが好ましい。
【0060】
前記分析ユニットは、前記パレットパラメータに基づいて前記再構成画素サンプルを変換するように構成される変換サブユニットと、パレットインデックス番号の取りうる値を得て前記分析結果とするように構成される取得サブユニットと、を含むことが好ましい。
【0061】
前記取得ユニットは、更に、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を取得して前記再構成画素サンプルのコピー値を前記分析結果とするように構成されることが好ましい。
【0062】
前記決定モジュールは、更に、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを少なくとも1つ含む複数の符号化方式から、前記符号化ブロックに適合した最適符号化方式を決定するように構成されることが好ましい。
【0063】
前記最適符号化方式が前記パレット符号化方式である場合、前記符号化モジュールは、更に、前記パレットパラメータ及び前記分析結果に基づいて前記符号化ブロックの符号化を行うように構成されることが好ましい。
【0064】
前記装置は、前記パレットパラメータを含むパレット復号化パラメータを、前記符号化ブロックに対応するビットストリームに書き込むように構成される書込モジュールを更に備えることが好ましい。
【0065】
本発明の他の一実施例によれば、受信したビットストリームを解析して、前記ビットストリームにおける復号化ブロックの復号化パラメータを得るように構成される解析モジュールと、前記復号化ブロックの近隣ブロックに対して特性分析を行うように構成される分析モジュールと、前記復号化パラメータと分析結果から決定された復号化方式とに基づいて、前記復号化ブロックの復号化を行うように構成される復号モジュールと、を備える画像復号装置が更に提供される。
【0066】
前記復号化パラメータがパレット復号化方式パラメータを含む場合、前記分析モジュールは、更に、前記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析して前記分析結果を得、前記パレットパラメータに基づいて前記再構成画素サンプルを変換したパレットインデックス番号の取りうる値、或いは前記再構成画素サンプルのコピー値を前記分析結果とするように構成されることが好ましい。
【0067】
前記復号モジュールは、前記分析結果に基づいて、前記パレット復号化方式パラメータで指示される復号化方式を用いて前記復号化ブロックの復号化を行うように構成されることが好ましい。
【発明の効果】
【0068】
本発明の実施例によると、現在符号化しようとする符号化ユニット及び当該符号化ユニットの近隣ユニットの画素サンプル特性に基づいて、現在符号化しようとするユニットに最適な符号化方式を決定することにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の符号化方式を組み合わせて符号化ユニットの符号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【図面の簡単な説明】
【0069】
ここで説明した図面は、本発明を更に理解させるためのものであり、本願の一部を構成し、また、本発明における模式的実施例及びその説明は本発明を説明するものであり、本発明を不当に限定するものではない。図面において、
図1】本発明の実施例による画像符号化方法のフローチャートである。
図2】本発明の実施例による画像符号化装置の構造のブロック図である。
図3】本発明の実施例による画像復号化方法のフローチャートである。
図4】本発明の実施例による画像復号装置の構造のブロック図である。
図5】本発明の実施例による画像符号化方法の他のフローチャートである。
図6】本発明の実施例による画像符号化装置の構造の他のブロック図である。
図7】本発明の実施例による画像符号化装置の構造の更なるブロック図である。
図8】本発明の実施例による画像復号化方法の他のフローチャートである。
図9】本発明の実施例による画像復号装置の構造の他のブロック図である。
図10】本発明の実施例による符号化方法を示すフローチャートである。
図11】本発明の実施例による復号化方法を示すフローチャートである。
図12】本発明の好適な実施例1で用いられる4種類の符号化方式を示すフローチャートである。
図13】本発明の好適な実施例2で用いられる4種類の復号化方式を示すフローチャートである。
【発明を実施するための形態】
【0070】
以下、図面を参照しつつ実施例を結合して本発明を詳しく説明する。なお、衝突しない限り、本願の実施例及び実施例中の構成要件を組み合わせることができる。
【0071】
本発明の他の特徴及び利点を以下の詳細な説明において説明し、そして、その一部は、詳細な説明から自明になり、本発明の実施により明らかとなる。本発明の目的や他の利点は、記載した明細書、特許請求の範囲、及び図面で特に説明した構造により実現され取得されることができる。
【0072】
当業者に本発明の構成をよりよく理解してもらうように、以下、本発明の実施例の図面を結合して本発明の技術案を明瞭かつ完全に説明する。説明した実施例は本発明の実施例の一部に過ぎず、全部ではないことは、いうまでもないことである。当業者が本発明の実施例に基づいて、創造的な工夫無しに得られる他の実施例も、全て本発明の保護範囲内に含まれるべきである。
【0073】
関連技術において、予測符号化方式及びマッチング符号化方式(ブロックマッチング方式、マイクロブロックマッチング方式、細分化マッチング方式、ストリングマッチング方式、パレット方式を含む)は、いずれも符号化、復号及び再構成が施された近隣又はヒストリカル画素サンプル(参照画素サンプルセット又は参照画素サンプル記憶域スペースという)における若干の適合した画素サンプル(マッチング用参照サンプルという)を用いて、現在符号化又は復号している画素サンプル(マッチング用現在サンプルという)へのマッチング(即ち、代表)を近似的又は正確に行うとともに、若干のパラメータ及び変数(マッチング関係パラメータという)を用いて、マッチング用参照サンプルとマッチング用現在サンプルとの間の関係を記録してビットストリームにより伝送することにより、復号側で参照画素サンプルセット及びマッチング関係パラメータを用いていれば、マッチング用現在サンプルを得ることができる点で共通する。
【0074】
更に、様々な予測符号化方式及びマッチング符号化方式は、主として、1)マッチング最小ユニットのサイズ、即ち、マッチング最小ユニットがNxM個のサンプルで表される場合のN及びMの取りうる値の範囲、2)参照画素サンプルセットの構成及びサイズ、3)マッチング用参照サンプルの形状及びマッチング用現在サンプルの形状、4)マッチング用参照サンプルとマッチング用現在サンプルとの間の距離又はマッチング用参照サンプルと現在CUとの間の距離、という4つの要素によって、本質上、異なっており、これら4つの要素からいういくつかの予測符号化方式(予測方式ともいう)及びマッチング符号化方式の特徴を以下の表1に示す。
【0075】
【表1】
【0076】
上記表1から分かるように、様々な予測及びマッチング符号化方式の間は、使用されるマッチング最小ユニットのサイズがその根本的な違いの1つである。大きなマッチング最小ユニットを用いる場合、1つのCUを僅かなマッチング最小ユニット(通常、1〜4)に分割してマッチング演算を行えばよいため、マッチング関係パラメータ(例えば、変位ベクトル)の数が少なく、ビットを低消耗するとの利点を有するが、低マッチング精度、大きなマッチング残差、及び高ビット消耗になり得る欠点もある。一方、小さなマッチング最小ユニットを用いる場合、マッチング精度が高く、マッチング残差が小さく、ビット消耗が低いとの利点を有するが、1つのCUを多くのマッチング最小ユニット(最大で、十数乃至数十個に達する可能性がある)に分割してマッチング演算を行う必要があるため、マッチング関係パラメータ(例えば、変位ベクトル)の数及びビット消耗が多くなるおそれがあるとの欠点もある。このように、高圧縮率を得るために、大きなマッチング最小ユニットを用いるか、小さなマッチング最小ユニットを用いるかは、全く画像の性質によって決められる。画像に幅広い重複パターンがあれば、大きなマッチング最小ユニットを用いる場合の符号化効率がより高い一方、画像に細分化した重複パターンがあれば、小さなマッチング最小ユニットを用いる場合の符号化効率がより高い。従って、全体から見れば、互いに異なる予測及びマッチング特性を有する、特に異なるマッチング最小ユニットを有する複数の予測方式及びマッチング方式を組み合わせてCUレベルの適応符号化及び復号化を行わなければ、最高の圧縮率を得ることができない。
【0077】
上記課題を解決するために、本実施例にて画像符号化方法が提供され、図1は、本発明の実施例による画像符号化方法のフローチャートであり、図1に示すように、以下のステップS102〜ステップS104を含む。
【0078】
ステップS102:現在符号化ユニットCU及び当該現在CUの近隣CUの画素サンプル特性に基づいて、予め決定されたA種類の予測特性が互いに異なる予測符号化方式及びマッチング特性が互いに異なるマッチング符号化方式から、1種類の符号化方式を選択して現在CUの予測又はマッチング符号化を行い、選択された符号化方式を最適符号化方式とし、ただし、上記予測符号化方式及びマッチング符号化方式は、予測符号化方式、マッチング符号化方式1、マッチング符号化方式2、…、マッチング符号化方式A−1を含む(Aが2以上の整数である)。
【0079】
ステップS104:上記最適符号化方式を用いて、現在CUの予測符号化又はマッチング符号化を行う。
【0080】
上記各ステップを通じて、現在符号化しようとする符号化ユニット及び当該符号化ユニットの近隣ユニットの画素サンプル特性に基づいて、現在符号化しようとするユニットに最適な符号化方式を決定し、更に、決定された最適符号化モードにより現在CUの符号化を行うことにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の符号化方式を組み合わせて符号化ユニットの符号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【0081】
つまり、本発明の実施例で提供される上記技術案によると、A種類の予測及びマッチング特性が互いに異なる予測符号化方式及びマッチング符号化方式を予め決定し、現在CUを符号化する場合、予め設定された分析評価方法及び原則により現在CU及び近隣CUの特性を分析評価し、分析評価結果に基づいて、A種類の予測符号化方式及びマッチング符号化方式のうちの1種類を選択して、現在CUの予測符号化又はマッチング符号化を行うようにし、即ち、予測及びマッチング特性が互いに異なる複数種の予測方式及びマッチング方式を組み合わせてCUレベルの適応符号化及び復号化を行うことを実現している。
【0082】
上記Aは、集合{3,4,5}からその値を取り、Aが4に等しい場合、4種類の符号化方式が、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを含み、Aが3に等しい場合、3種類の符号化方式が、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式とを含み、もちろん、実際の応用において、最適符号化モードとして、上記符号化方式を組み合わせたもの、例えば、ストリングマッチング符号化方式とパレット符号化方式とを混合したマッチング方式を最終的に決定してもよい。
【0083】
実際の過程において、現在CU及び当該現在CUの近隣CUの画素サンプル特性に基づく最適符号化モードの決定は、主に以下の場面がある。なお、本発明の実施例における画素サンプル特性とは、1つの画像における画素間の相関性、画素の複雑度(色を複数含むか否か及び各色の明暗程度,1つの領域における異なる色の数、いくつかの代表的な色にクラスタできるか否か及び代表的な色の数、各画素と代表的な色との間の誤差及びその分布状況)を指し示し、画素のサンプル特性を表現できる方案であれば、全て本発明の実施例の「画素サンプル特性」の保護範囲内にあり、また、後文における構文要素の構成は一例に過ぎず、本発明の実施例の構想に基づいて想到し得るいかなる技術案が、本発明の実施例の保護範囲内にある。
【0084】
(場面1)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、動きベクトルN又はマッチング位置N、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含む。
【0085】
なお、本発明の実施例における「…」から、動きベクトル又はマッチング位置、マッチング外れ画素サンプルが全体として循環するものであることが明らかとなり、以下の実施例における「…」がこれに類似したものであり、本発明の実施例ではこれについてその説明を省略する。
【0086】
上記予測及びマッチング方式識別コードの取りうる値が、0,1,2,…,A−1を少なくとも1つ含み、上記予測及びマッチング方式識別コードが0を取る場合、上記現在CUが上記予測符号化方式を用いることを表し、上記予測及びマッチング方式識別コードが1を取る場合、上記現在CUが上記マッチング符号化方式1を用いることを表し、上記予測及びマッチング方式識別コードが2を取る場合、上記現在CUが上記マッチング符号化方式2を用いることを表し、…、上記予測及びマッチング方式識別コードがA−1を取る場合、上記現在CUが上記マッチング符号化方式A−1を用いることを表す。
【0087】
(場面2)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1及び/又は変位ベクトル1又はインデックスマッピング1、マッチング外れ画素サンプル1、動きベクトル2及び/又は変位ベクトル2又はインデックスマッピング2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル又はインデックスマッピング、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び、予測残差又はマッチング残差という情報を含む。
【0088】
上記予測及びマッチング方式識別コードの取りうる値が、0,1,2,3を少なくとも1つ含み、上記予測及びマッチング方式識別コードが0を取る場合、上記現在CUが予測符号化方式を用いることを表し、上記予測及びマッチング方式識別コードが1を取る場合、上記現在CUがブロックマッチング符号化方式を用いることを表し、上記予測及びマッチング方式識別コードが2を取る場合、上記現在CUがストリングマッチング符号化方式を用いることを表し、上記予測及びマッチング方式識別コードが3を取る場合、上記現在CUがパレット符号化方式を用いることを表す。
【0089】
(場面3)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1及び/又は変位ベクトル1、マッチング外れ画素サンプル1、動きベクトル2及び/又は変位ベクトル2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含む。
【0090】
上記予測及びマッチング方式識別コードの取りうる値が、0,1,2を少なくとも1つ含み、上記予測及びマッチング方式識別コードが0を取る場合、上記現在CUが予測符号化方式を用いることを表し、上記予測及びマッチング方式識別コードが1を取る場合、上記現在CUがブロックマッチング符号化方式を用いることを表し、上記予測及びマッチング方式識別コードが2を取る場合、上記現在CUがストリングマッチング符号化方式を用いることを表す。
【0091】
なお、上記構文要素のうち、上記CUヘッダは、上記構文要素における配列順序として、変わらずに先頭に位置し、そして、予め決定された配列順序に従って他の上記構文要素をビットストリームに配列し、ここで、上記他の構文要素とは、上記構文要素のうち上記CUヘッダ以外の構文要素を意味し、そして、いずれか1つの上記構文要素は、ビットストリームにおける同じ位置又は異なる位置に置かれる複数の部分に分割される。
【0092】
本発明の実施例において、ステップS104の技術案の実行後、上記現在CUに対して後続符号化演算、再構成演算及びエントロピー符号化演算を行う技術案を更に実行してもよい。
【0093】
本実施例にて、上記実施例及び好適な実施形態を実現するための画像符号化装置が更に提供され、説明したものについてその説明を省略するが、以下、該装置に係わるモジュールについて説明する。以下で使用されるように、用語「モジュール」は、予め設定された機能付きソフトウェア及び/又はハードウェアの組み合わせを実現することができる。以下の実施例で説明する装置をソフトウェアで実現することが好ましいが、ハードウェア、或いはソフトウェアとハードウェアとの組み合わせで実現することも可能であり、構想されることである。
【0094】
図2は、本発明の実施例による画像符号化装置の構造のブロック図であり、図2に示すように、
現在符号化ユニットCU及び当該現在CUの近隣CUの画素サンプル特性に基づいて、予め決定されたA種類の予測特性が互いに異なる予測符号化方式及びマッチング特性が互いに異なるマッチング符号化方式から、1種類の符号化方式を選択して現在CUの予測又はマッチング符号化を行い、選択された符号化方式を最適符号化方式とする選択モジュール20であって、上記予測符号化方式及びマッチング符号化方式は、予測符号化方式、マッチング符号化方式1、マッチング符号化方式2、…、マッチング符号化方式A−1を含む(Aが2以上の整数である)選択モジュール20と、
選択モジュール20に接続され、上記最適符号化方式を用いて、現在CUの予測符号化又はマッチング符号化を行うように構成される符号化モジュール22と、を備える。
【0095】
上記各モジュールによる包括的な機能によって、現在符号化しようとする符号化ユニット及び当該符号化ユニットの近隣ユニットの画素サンプル特性に基づいて、現在符号化しようとするユニットに最適な符号化方式を決定し、更に、決定された最適符号化モードにより現在CUの符号化を行うことにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の符号化方式を組み合わせて符号化ユニットの符号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【0096】
選択モジュール20により選択される符号化モードについて、Aは、集合{3,4,5}からその値を取り、Aが4に等しい場合、4種類の符号化方式が、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを含み、Aが3に等しい場合、3種類の符号化方式が、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式とを含む。
【0097】
本発明の実施例にて、上記画像符号化方法に対応する画像復号化方法が更に提供され、図3は、本発明の実施例による画像復号化方法のフローチャートであり、図3に示すように、以下のステップS302〜ステップS304を含む。
【0098】
ステップS302:入力したビットストリームをエントロピー復号化し、エントロピー復号化して得たデータ情報を解析し、上記データ情報、上記データ情報と現在符号化ユニットCU及び近隣CUの画素サンプル特性を分析した分析結果のうちの一方に基づいて、A(Aが2以上の整数である)種類の予測特性が互いに異なる予測号化方式及びマッチング特性が互いに異なるマッチング復号化方式から、1種類の復号化方式を選択して現在CUの予測又はマッチング復号化を行う。
【0099】
ステップS304:選択された予測復号化方式又はマッチング復号化方式に基づいて、現在CUに対して予測復号化演算又はマッチング復号化演算を行う。
【0100】
上記各ステップを通じて、現在復号しようとする復号ユニット及び当該復号ユニットの近隣ユニットの画素サンプル特性に基づいて、現在復号しようとするユニットに最適な復号化方式を決定し、更に、決定された最適復号モードにより現在CUの復号化を行うことにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の復号化方式を組み合わせて復号ユニットの復号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【0101】
本発明の実施例で提供される復号化方法によると、A(3≦A≦5)種類の予測及びマッチング特性が互いに異なる予測復号化方式及びマッチング復号化方式を予め決定し、現在CUの圧縮ビットストリームデータを復号する場合、圧縮ビットストリームデータから読み出した情報に基づいて、或いは圧縮ビットストリームデータから読み出した情報に現在CU及び近隣CUの特性を分析評価した結果を加えたものに基づいて、A種類の予測復号化方式及びマッチング復号化方式のうちの1種類を選択して、現在CUの予測復号又はマッチング復号化を行うようにする。
【0102】
オプションとして、上記Aは、集合{3,4,5}からその値を取り、Aが4に等しい場合、4種類の復号化方式が、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式と、パレット復号化方式とを含み、Aが3に等しい場合、3種類の復号化方式が、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式とを含むようにしてもよい。
【0103】
実際の過程において、現在CU及び当該現在CUの近隣CUの画素サンプル特性に基づく最適復号モードの決定は、主に以下の場面がある。なお、後文における構文要素の構成は一例に過ぎず、本発明の実施例の構想に基づいて想到し得るいかなる技術案が、本発明の実施例の保護範囲内にある。
【0104】
(場面1)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、動きベクトルN又はマッチング位置N、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含む。
【0105】
上記予測及びマッチング方式識別コードの取りうる値が、0,1,2,…,A−1を少なくとも1つ含み、上記予測及びマッチング方式識別コードが0を取る場合、上記現在CUが上記予測復号化方式を用いることを表し、上記予測及びマッチング方式識別コードが1を取る場合、上記現在CUが上記マッチング復号化方式1を用いることを表し、上記予測及びマッチング方式識別コードが2を取る場合、上記現在CUが上記マッチング復号化方式2を用いることを表し、…、上記予測及びマッチング方式識別コードがA−1を取る場合、上記現在CUが上記マッチング復号化方式A−1を用いることを表す。
【0106】
(場面2)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1及び/又は変位ベクトル1又はインデックスマッピング1、マッチング外れ画素サンプル1、動きベクトル2及び/又は変位ベクトル2又はインデックスマッピング2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル又はインデックスマッピング、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含む。
【0107】
上記予測及びマッチング方式識別コードの取りうる値が、0,1,2,3を少なくとも1つ含み、上記予測及びマッチング方式識別コードが0を取る場合、上記現在CUが予測復号化方式を用いることを表し、上記予測及びマッチング方式識別コードが1を取る場合、上記現在CUがブロックコピー復号化方式を用いることを表し、上記予測及びマッチング方式識別コードが2を取る場合、上記現在CUがストリングコピー復号化方式を用いることを表し、上記予測及びマッチング方式識別コードが3を取る場合、上記現在CUがパレット復号化方式を用いることを表す。
【0108】
(場面3)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又は変位ベクトル1、又は位置ベクトル1及びマッチング長さ1、マッチング外れ画素サンプル1、動きベクトル2又は変位ベクトル2、又は位置ベクトル2及びマッチング長さ2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル、又は位置ベクトルN及びマッチング長さN、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び予測残差又はマッチング残差という情報を含む。
【0109】
上記予測及びマッチング方式識別コードの取りうる値が、0,1,2を少なくとも1つ含み、上記予測及びマッチング方式識別コードが0を取る場合、上記現在CUが予測復号化方式を用いることを表し、上記予測及びマッチング方式識別コードが1を取る場合、上記現在CUがブロックコピー復号化方式を用いることを表し、上記予測及びマッチング方式識別コードが2を取る場合、上記現在CUがストリングコピー復号化方式を用いることを表す。
【0110】
(場面4)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、
CUヘッダ、予測及びマッチング方式識別ビット、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード;又はヌル、予測モード又はマッチングモード;
動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、動きベクトルN又はマッチング位置N、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び
予測残差又はマッチング残差いう情報を含む。
【0111】
本発明の実施例において、上記方法は、上記予測及びマッチング方式識別ビットが0を取る場合、上記ビットストリームを構成するCUの構文要素が、ヌルでない予測及びマッチング方式一部識別コードと、ヌルである予測及びマッチング方式一部識別コードとのうちの一方を含むことを表し、上記予測及びマッチング方式識別ビットが1を取る場合、上記ビットストリームを構成するCUの構文要素が、予測及びマッチング方式識別コードを含むことを表すステップを更に含む。
【0112】
上記ビットストリームを構成するCUの構文要素が、ヌルでない予測及びマッチング方式一部識別コードを含む場合、上記予測及びマッチング方式一部識別コードと、上記現在CU及び近隣CUの画素サンプル特性の評価結果とに基づいて、現在CUに使用される復号化方式を決定し、また、上記ビットストリームを構成するCUの構文要素が、ヌルである予測及びマッチング方式一部識別コードを含む場合、上記現在CU及び近隣CUの画素サンプル特性の評価結果に基づいて、現在CUに使用される復号化方式を決定する。
【0113】
(場面5)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、
CUヘッダ、予測及びマッチング方式識別ビット又はヌル、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード;又はヌル、予測又はマッチングモード識別ビット、予測又はマッチングモード識別コード又は予測又はマッチングモード一部識別コード又はヌル;
動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、動きベクトルN又はマッチング位置N、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び
予測残差又はマッチング残差という情報を含む。
【0114】
上記予測及びマッチング方式識別ビットがヌルである場合、上記予測及びマッチング方式識別ビットを予め設定された固定値に設定し、上記予測又はマッチングモード識別ビットが1の値を取る場合、上記ビットストリームを構成するCUの構文要素が、予測及びマッチングモード識別コードを含むことを表し、この場合、予測及びマッチングモード識別コードに対応する値に基づいて、現在CUの復号化方式を決定し、また、上記予測又はマッチングモード識別ビットが0の値を取る場合、ヌルでない予測及びマッチングモード一部識別コード、及びヌルである予測及びマッチングモード一部識別コードを含む。
【0115】
更に、上記ビットストリームを構成するCUの構文要素が、ヌルでない予測及びマッチングモード一部識別コードを含む場合、上記予測及びマッチングモード一部識別コードと、上記現在CU及び近隣CUの画素サンプル特性の評価結果とに基づいて、現在CUに使用される復号化方式を決定し、また、上記ビットストリームを構成するCUの構文要素が、ヌルである予測及びマッチングモード一部識別コードを含む場合、上記現在CU及び近隣CUの画素サンプル特性の評価結果に基づいて、現在CUに使用される復号化方式を決定する。
【0116】
(場面6)
上記現在CU及び上記近隣CUは、構文要素から構成され、ただし、上記構文要素は、
CUヘッダ、予測及びマッチング方式識別ビット又はヌル、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード;又はヌル、予測又はマッチングモード識別ビット又はヌル、予測又はマッチングモード識別コード又は予測又はマッチングモード一部識別コード又はヌル;
動きベクトル1及び/又は変位ベクトル1;又はインデックスマッピング1、マッチング外れ画素サンプル1、動きベクトル2及び/又は変位ベクトル2;又はインデックスマッピング2、マッチング外れ画素サンプル2、…、動きベクトルN及び/又は変位ベクトル;又はインデックスマッピング、マッチング外れ画素サンプルN(Nが2より大きい整数である);及び
予測残差又はマッチング残差という情報を含む。
【0117】
上記予測及びマッチング方式識別ビットがヌルでない場合、上記予測及びマッチング方式識別ビットが0又は1の値を取るように設定され、上記予測及びマッチング方式識別ビットがヌルである場合、上記予測及びマッチング方式識別ビットが、予め設定された固定値を取るように設定され、また、上記予測及びマッチングモード識別ビットがヌルでない場合、上記予測及びマッチングモード識別ビットが0又は1の値を取るように設定され、上記予測及びマッチングモード識別ビットがヌルである場合、上記予測及びマッチングモード識別ビットが、予め設定された固定値を取るように設定される。
【0118】
なお、上記構文要素のうち、上記CUヘッダは、上記構文要素における配列順序として、変わらずに上記CUの最初に位置し、また、予め決定された配列順序に従って、他の上記構文要素をビットストリームに配列し、ここで、上記他の構文要素とは、上記構文要素のうち上記CUヘッダ以外の構文要素を意味し、そして、いずれか1つの上記構文要素は、ビットストリームにおける同じ位置又は異なる位置に置かれる複数の部分に分割される。
【0119】
本実施例にて、上記実施例及び好適な実施形態を実現するための画像復号装置が更に提供され、説明したものについてその説明を省略するが、以下、該装置に係わるモジュールについて説明する。以下で使用されるように、用語「モジュール」は、予め設定された機能付きソフトウェア及び/又はハードウェアの組み合わせを実現することができる。以下の実施例で説明する装置をソフトウェアで実現することが好ましいが、ハードウェア、或いはソフトウェアとハードウェアとの組み合わせで実現することも可能であり、構想されることである。
【0120】
図4は、本発明の実施例による画像復号装置の構造のブロック図であり、図4に示すように、
入力したビットストリームをエントロピー復号化し、エントロピー復号化して得たデータ情報を解析するように構成される取得モジュール40と、
取得モジュール40に接続され、上記データ情報、上記データ情報と現在復号ユニットCU及び近隣CUの画素サンプル特性を分析した分析結果のうちの一方に基づいて、A(Aが2以上の整数である)種類の予測特性が互いに異なる予測復号化方式及びマッチング特性が互いに異なるマッチング復号化方式から、1種類の復号化方式を選択して現在CUの予測又はマッチング復号化を行うように構成される選択モジュール42と、
選択モジュール42に接続され、選択された予測復号化方式又はマッチング復号化方式に基づいて、現在CUに対して予測復号化演算又はマッチング復号化演算を行うように構成される復号モジュール44と、を備える。
【0121】
上記各モジュールの機能によって、現在復号しようとする復号ユニット及び当該復号ユニットの近隣ユニットの画素サンプル特性に基づいて、現在復号しようとするユニットに最適な復号化方式を決定し、更に、決定された最適復号モードにより現在CUの復号化を行うことにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の復号化方式を組み合わせて復号ユニットの復号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【0122】
選択モジュール42により選択される復号化方式について、Aは、集合{3,4,5}からその値を取り、Aが4に等しい場合、4種類の復号化方式が、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式と、パレット復号化方式とを含み、Aが3に等しい場合、3種類の復号化方式が、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式とを含む。
【0123】
本発明の実施例にて画像符号化方法が更に提供され、図5は、本発明の実施例による画像符号化方法の更なるフローチャートであり、図5に示すように、以下のステップS502〜ステップS506を含む。
【0124】
ステップS502:符号化ブロック及び当該符号化ブロックの近隣ブロックの画素サンプルの特性分析を行う。
【0125】
ステップS504:分析結果に基づいて、上記符号化ブロックに適合した最適符号化方式を決定する。
【0126】
ステップS506:上記最適符号化方式に基づいて上記符号化ブロックの符号化を行う。
【0127】
上記各ステップを通じて、現在符号化しようとする符号化ユニット及び当該符号化ユニットの近隣ユニットの画素サンプル特性に基づいて、現在符号化しようとするユニットに最適な符号化方式を決定し、更に、決定された最適符号化モードにより現在CUの符号化を行うことにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の符号化方式を組み合わせて符号化ユニットの符号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【0128】
オプションとして、上記ステップS502を様々な方式で実現してもよく、本発明の実施例のオプションとしての一例において、上記符号化ブロックの特性分析を行って、上記符号化ブロックのパレットパラメータを得ることと、上記パレットパラメータに基づいて、上記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析し、上記分析結果を得ることとの技術案により実現してもよく、そして、上記パレットパラメータに基づいて上記再構成画素サンプルを変換し、パレットインデックス番号の取りうる値を得て上記分析結果としたり、上記近隣ブロックにおける再構成画素サンプルの一部又は全部を取得して上記再構成画素サンプルのコピー値を上記分析結果としたりして、上記分析結果を得ることができる。
【0129】
ステップS504のオプションとしての一実現方式において、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを少なくとも1つ含む複数の符号化方式から、上記符号化ブロックに適合した最適符号化方式を決定する。
【0130】
上記最適符号化方式が上記パレット符号化方式である場合、ステップS506の技術案は、上記パレットパラメータ及び上記分析結果に基づいて上記符号化ブロックの符号化を行うことにより実現されてもよく、なお、上記パレットパラメータ及び上記分析結果に基づいて上記符号化ブロックの符号化を行った後、更に、上記パレットパラメータを含むパレット復号化パラメータを、上記符号化ブロックに対応するビットストリームに書き込むようにする。
【0131】
本実施例にて、上記実施例及び好適な実施形態を実現するための画像符号化装置が更に提供され、説明したものについてその説明を省略するが、以下、該装置に係わるモジュールについて説明する。以下で使用されるように、用語「モジュール」は、予め設定された機能付きソフトウェア及び/又はハードウェアの組み合わせを実現することができる。以下の実施例で説明する装置をソフトウェアで実現することが好ましいが、ハードウェア、或いはソフトウェアとハードウェアとの組み合わせで実現することも可能であり、構想されることである。
【0132】
図6は、本発明の実施例による画像符号化装置の構造の更なるブロック図であり、図6に示すように、
符号化ブロック及び当該符号化ブロックの近隣ブロックの画素サンプルの特性分析を行うように構成される分析モジュール60と、
分析モジュール60に接続され、分析結果に基づいて、上記符号化ブロックに適合した最適符号化方式を決定するように構成される決定モジュール62と、
決定モジュール62に接続され、上記最適符号化方式に基づいて上記符号化ブロックの符号化を行うように構成される符号化モジュール64と、を備える。
【0133】
上記各モジュールによる包括的な機能によって、現在符号化しようとする符号化ユニット及び当該符号化ユニットの近隣ユニットの画素サンプル特性に基づいて、現在符号化しようとするユニットに最適な符号化方式を決定し、更に、決定された最適符号化モードにより現在CUの符号化を行うことにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の符号化方式を組み合わせて符号化ユニットの符号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【0134】
オプションとして、図7に示すように、分析モジュール60は、上記符号化ブロックの特性分析を行って、上記符号化ブロックのパレットパラメータを得るように構成される取得ユニット600と、取得ユニット600に接続され、上記パレットパラメータに基づいて、上記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析し、上記分析結果を得るように構成される分析ユニット602と、を含んでもよく、取得ユニット600は、更に、上記近隣ブロックにおける再構成画素サンプルの一部又は全部を取得して上記再構成画素サンプルのコピー値を上記分析結果とするように構成される。
【0135】
分析ユニット602の機能を完成するために、分析ユニットは、上記パレットパラメータに基づいて上記再構成画素サンプルを変換するように構成される変換サブユニット6020と、パレットインデックス番号の取りうる値を得て上記分析結果とするように構成される取得サブユニット6022と、を含む。
【0136】
決定モジュール62は、更に、予測符号化方式と、ブロックマッチング符号化方式と、ストリングマッチング符号化方式と、パレット符号化方式とを少なくとも1つ含む複数の符号化方式から、上記符号化ブロックに適合した最適符号化方式を決定するように構成され、上記最適符号化方式が上記パレット符号化方式である場合、符号化モジュール64は、更に、上記パレットパラメータ及び上記分析結果に基づいて上記符号化ブロックの符号化を行うことに用いられる。
【0137】
本発明の実施例において、上記装置は、上記パレットパラメータを含むパレット復号化パラメータを、上記符号化ブロックに対応するビットストリームに書き込むように構成される書込モジュール66を更に備える。
【0138】
本発明の実施例にて画像復号化方法が更に提供され、図8は、本発明の実施例による画像復号化方法の更なるフローチャートであり、図8に示すように、以下のステップS802〜ステップS806を含む。
【0139】
ステップS802:受信したビットストリームを解析して、上記ビットストリームにおける復号化ブロックの復号化パラメータを得る。
【0140】
ステップS804:上記復号化ブロックの近隣ブロックに対して特性分析を行う。
【0141】
ステップS806:上記復号化パラメータと上記近隣ブロックの分析結果から決定された復号化方式とに基づいて、上記復号化ブロックの復号化を行う。
【0142】
上記各ステップを通じて、現在復号しようとする復号ユニット及び当該復号ユニットの近隣ユニットの画素サンプル特性に基づいて、現在復号しようとするユニットに最適な復号化方式を決定し、更に、決定された最適復号モードにより現在CUの復号化を行うことにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の復号化方式を組み合わせて復号ユニットの復号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【0143】
上記復号化パラメータがパレット復号化方式パラメータを含む場合、ステップS804は、上記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析して上記分析結果を得、上記パレットパラメータに基づいて上記再構成画素サンプルを変換したパレットインデックス番号の取りうる値、或いは上記再構成画素サンプルのコピー値を上記分析結果とすることにより実現されてもよく、そのうえ、上記分析結果に基づいて、上記パレット復号化方式パラメータで指示される復号化方式を用いて上記復号化ブロックの復号化を行うようにする。
【0144】
なお、上記復号化方式は、予測復号化方式と、ブロックコピー復号化方式と、ストリングコピー復号化方式と、パレット復号化方式とを少なくとも1つ含む。
【0145】
本実施例にて、上記実施例及び好適な実施形態を実現するための画像復号装置が更に提供され、説明したものについてその説明を省略するが、以下、該装置に係わるモジュールについて説明する。以下で使用されるように、用語「モジュール」は、予め設定された機能付きソフトウェア及び/又はハードウェアの組み合わせを実現することができる。以下の実施例で説明する装置をソフトウェアで実現することが好ましいが、ハードウェア、或いはソフトウェアとハードウェアとの組み合わせで実現することも可能であり、構想されることである。
【0146】
図9は、本発明の実施例による画像復号装置の構造の更なるブロック図であり、図9に示すように、
受信したビットストリームを解析して、上記ビットストリームにおける復号化ブロックの復号化パラメータを得るように構成される解析モジュール90と、
復号モジュール90に接続され、上記復号化ブロックの近隣ブロックに対して特性分析を行うように構成される分析モジュール92と、
分析モジュール92に接続され、上記復号化パラメータと分析結果から決定された復号化方式とに基づいて、上記復号化ブロックの復号化を行うように構成される復号モジュール94と、を備える。
【0147】
上記各モジュールの機能によって、現在復号しようとする復号ユニット及び当該復号ユニットの近隣ユニットの画素サンプル特性に基づいて、現在復号しようとするユニットに最適な復号化方式を決定し、更に、決定された最適復号モードにより現在CUの復号化を行うことにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の復号化方式を組み合わせて復号ユニットの復号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
【0148】
上記復号化パラメータがパレット復号化方式パラメータを含む場合、分析モジュール92は、更に、上記近隣ブロックにおける再構成画素サンプルの一部又は全部を特性分析して上記分析結果を得、上記パレットパラメータに基づいて上記再構成画素サンプルを変換したパレットインデックス番号の取りうる値、或いは上記再構成画素サンプルのコピー値を上記分析結果とするように構成される。
【0149】
復号モジュール94は、上記分析結果に基づいて、上記パレット復号化方式パラメータで指示される復号化方式を用いて上記復号化ブロックの復号化を行う。
【0150】
上記画像符号化過程を下記方案によってより詳しく説明することができ、図10に示すように、図10に示される技術案を以下のとおり説明することができる。
【0151】
1)CU特性分析評価、プリ処理、及び符号化方式選択ステップ。現在CU及び近隣CUの画素サンプル特性を分析評価し、以下の内容を含む。画素サンプルに必要なプリ処理を行い、予め決定されたA(3≦A≦5)種類の予測及びマッチング特性が互いに異なる予測符号化方式及びマッチング符号化方式のうち、どの符号化方式が現在CUの予測又はマッチング符号化に最も適合したものであるかを判定し、決定結果に基づいて、最適符号化方式と呼ばれる1種類の符号化方式を選択し、下記ステップ2)で現在CUの予測又はマッチング符号化を行う。上記A種類の予測符号化方式及びマッチング符号化方式をそれぞれ予測符号化方式と、マッチング符号化方式1と、マッチング符号化方式2と、…と、マッチング符号化方式A−1と呼ぶ。上記分析評価方法の例として、近隣CUの符号化結果を基又は参考にする方法、現在CUにおける異なる色の画素の数を算出する方法、A種類の符号化方式の若干又は全部を用いてプリコーディングを最初に行い、プリコーディング結果を評価し、例えば、様々な符号化方式のレート・ひずみ費用を算出する方法が挙げられ、また、上記プリ処理の例として、サンプル量子化、色量子化、及び色に基づく画素クラスタが挙げられる。
【0152】
2)予測及びマッチング符号化ステップ。ステップ1)で選択された上記最適符号化方式を用いて現在CUの予測又はマッチング符号化を行う。上記最適符号化方式は、予測符号化方式と、マッチング符号化方式1と、マッチング符号化方式2と、…と、マッチング符号化方式A−1とのうちの一方である。上記予測符号化では、予測モード、フレーム間予測の動きベクトル、上記現在CUの入力原始画素サンプルと予測画素サンプル(予測現在サンプル)との差である予測残差を出力する。上記マッチング符号化では、マッチングモード及びマッチング位置、マッチング外れサンプル、マッチング残差を出力する。上記マッチング位置は、上記現在CUにおけるマッチング現在サンプルにマッチングするマッチング参照サンプルが参照画素サンプル記憶域スペースのどの位置にあるかを表す変数である。上記マッチング外れサンプルは、予め決定されたマッチング原則に従って、上記参照画素サンプル記憶域スペースからマッチング当たっていない入力原始画素サンプルであり、マッチング符号化方式で予め決定されたマッチング原則は寛容なものであり、任意のマッチング誤差が許容されるため、いつもマッチング当たることができていれば、このようなマッチング符号化方式では、マッチング外れサンプルを出力することはない。上記マッチング残差は、入力原始画素サンプルと上記マッチング参照サンプルとの差であり、マッチング符号化方式で予め決定されたマッチング原則は絶対正確なロスレスマッチングであれば、上記マッチング残差がゼロになり、つまり、このようなマッチング符号化方式では、マッチング残差を出力することはなく、また、マッチング符号化方式で予め決定されたマッチング原則はロッシーマッチングに近似したものであれば、上記マッチング残差がゼロでないかもしれない。もう1つのロッシーマッチング場面として、入力原始画素サンプルについて、サンプル量子化、色量子化、又は色に基づく画素クラスタ等のプリ処理を行ってから、マッチング符号化を行うこともあり、この場合、サンプル量子化、色量子化、又は色に基づく画素クラスタがロッシーであるため、マッチング符号化自体がロスレスであっても、上記マッチング残差(即ち、入力原始画素サンプルと上記マッチング参照サンプルとの差)がゼロでない可能性もある。
【0153】
3)残った様々なコモン符号化及び再構成演算ステップ。現在CUに対して、残った符号化及び再構成演算を全て完成し、入力した様々なパラメータ及び変数について、様々なコモン技術、例えば変換、量子化、逆変換、逆量子化、予測残差及びマッチング残差に対応する補償(即ち、残差取り演算の逆演算)、予測及び残差求め、DPCM、一次及び高次差分、マッピング、連長、インデックス、デブロッキングフィルタリング、サンプル適応補償(Sample Adaptive Offset)等による符号化及び再構成演算及びエントロピー符号化演算を行う。このステップでは、上記ステップ2)での出力及び入力原始画素であり、また、このステップでは、再構成画素(完全再構成画素と、異なる程度での部分再構成画素とを含む)と、予測、マッチング符号化結果及び他の符号化結果を含むビットストリームとを出力する。上記再構成画素は、後続の予測及びマッチング符号化演算、残った様々なコモン符号化及び再構成演算ステップに必要な参照画素として用いられるよう参照画素サンプル記憶域スペースに投入される。上記ビットストリームは、該符号化方法で最後に出力されたものであり、対応する復号化方法による復号及び再構成に必要な構文要素の全部、特に、予測モード、動きベクトル、マッチングモード、マッチング位置、マッチング外れサンプル等の構文要素を含む。
【0154】
上記画像復号過程を下記方案によってより詳しく説明することができ、図11に示すように、図11に示される技術案を以下のとおり説明することができる。
【0155】
1)圧縮ビットストリームデータの解析及び部分復号ステップ。入力した予測モード、動きベクトル、マッチングモード、マッチング位置、マッチング外れサンプルの圧縮データと、他の構文要素圧縮データの全部とを含む圧縮ビットストリームをエントロピー復号化し、エントロピー復号化により得られた各データの意味を解析する。解析及び部分復号(例えば、変換復号、予測及び補償つまり残差求め演算の逆演算、DPCM復号、一次及び高次差分復号、マッピング復号、連長復号、インデックス復号)して得た予測モード、動きベクトル、マッチングモード、マッチング位置、マッチング外れサンプル等のマッチング関係パラメータを、後続の各予測復号又はマッチング復号ステップのために出力する。そして、解析して得たあらゆる他の構文要素、例えば予測残差及びマッチング残差のエントロピー復号化出力データ(即ち、エントロピー復号化した結果)を、後続の残った様々なコモン復号及び再構成演算ステップのために出力する。特に、圧縮ビットストリームデータから解析した情報、或いは圧縮ビットストリームデータから解析した情報に現在CU及び近隣CUの特性を分析評価した結果を加えたものに基づいて、1種類の対応する予測復号化方式又はマッチング復号化方式を選択して下記ステップ2で現在CUの予測又はマッチング復号化を行う。上記分析評価方法の例として、近隣CUの若干の復号結果を基又は参考にする方法、A種類の復号化方式の若干又は全部を用いて現在CUの部分的プリデコーディングを最初に行い、部分的プリデコーディング結果を評価する方法が挙げられる。
【0156】
2)A(3≦A≦5)種類の予測及びマッチング特性が互いに異なる予測復号化方式及びマッチング復号化方式を有する予測及びマッチング復号化演算ステップ。ステップ1で選択された予測復号化方式又はマッチング復号化方式を用いて現在CUの予測復号化演算又はマッチング復号化演算を行う。上記予測復号化演算では、予測モードと、フレーム間予測の動きベクトルとを入力する。上記マッチング復号化演算では、マッチングモード及びマッチング位置を入力するが、他にマッチング外れサンプルも入力されるかもしれない。上記マッチング位置は、参照画素サンプル記憶域スペースのどこからマッチング参照サンプルをコピーして現在CUのマッチング現在サンプルの位置に転写するかを表すものであり、明らかなように、マッチング現在サンプルは、マッチング参照サンプルをコピーしたものであり、両者は数値が等しい。上記マッチング外れサンプルは、圧縮ビットストリームデータから直接解析し復号した画素サンプルを、現在CUの現在復号している画素サンプルの位置に転写したものであり、上記マッチング外れサンプルは、通常、上記参照画素サンプル記憶域スペースに存在しない。上記A個の復号演算では、予測現在サンプル又は上記マッチング現在サンプル(数値がマッチング参照サンプルに等しい)に加え、上記マッチング外れサンプル(一部のマッチング復号化方式で存在する)を出力する。上記マッチング現在サンプルとありうる上記マッチング外れサンプルとを合わせれば、上記現在CUの完全たるマッチング復号出力となる。
【0157】
3)残った様々なコモン復号及び再構成演算ステップ。現在CUに対して、残った復号及び再構成演算を全て完成し、入力した様々なパラメータ及び変数について、様々なコモン技術、例えば、逆変換、逆量子化、予測残差及びマッチング残差に対応する補償(即ち、残差取り演算の逆演算)、予測及び補償(即ち、残差求め演算の逆演算)、DPCM、一次及び高次差分、マッピング、連長、インデックス、デブロッキングフィルタリング、サンプル適応補償(Sample Adaptive Offset)等による復号及び再構成演算を行う。このステップでは、上記ステップ1で出力したあらゆる他の構文要素、例えば、予測残差及びマッチング残差のエントロピー復号化出力データと、ステップ2での出力、即ち、上記予測現在サンプル又は上記マッチング現在サンプルに加えたありうる上記マッチング外れサンプルとを入力する。このステップでは、再構成画素(完全再構成画素と、異なる程度での部分再構成画素とを含む)を出力する。上記再構成画素は、後続の予測及びマッチング復号演算、残った様々なコモン復号及び再構成演算ステップに必要な参照画素として用いられるよう参照画素サンプル記憶域スペースに投入される。上記完全再構成画素は、該復号化方法で最後に出力されたものである。
【0158】
上記画像符号化又は画像復号過程をよりよく理解するために、以下、好適な実施例を結合して説明するが、本発明の実施例の保護範囲を限定することは意図しない。
【0159】
(好適な実施例1:4種類の符号化方式)
上記正整数Aが4に等しい場合、上記4つの符号化方式がそれぞれ、予測符号化方式、ブロックマッチング符号化方式、ストリングマッチング符号化方式、パレット符号化方式であり、図12に示される。
【0160】
ブロックマッチング符号化方式は、若干のサイズが一定(例えば、64x64サンプル、32x32サンプル、16x16サンプル、8x8サンプル、8x4サンプル、4x8サンプル、4x4サンプル等)のブロック(マッチング現在ブロックと呼ばれ、1フレームの画像における位置を2次元座標で表すことができる)単位でマッチング符号化を行い、上記マッチング参照サンプルが上記参照画素サンプル記憶域スペースにおけるマッチング参照ブロックと呼ばれる1つのマッチングブロックを形成し、その1フレームの画像における位置も2次元座標で表されることができ、このため、ブロックマッチング符号化方式では、上記マッチング位置を、変位ベクトルと呼ばれるマッチング参照ブロックの2次元座標とマッチング現在ブロックの2次元座標との差で表すことができる。
【0161】
ストリングマッチング符号化方式は、長さ変更可能な画素サンプルストリング(マッチング現在ストリングと呼ばれ、その位置を2次元座標で表してもよいし、線形アドレスで表してもよい)単位でマッチング符号化を行い、上記マッチング画素サンプルが上記参照画素サンプル記憶域スペースにおけるマッチング参照ストリングと呼ばれる1つのマッチングストリングを形成し、その位置も2次元座標で表されてもよいし、線形アドレスで表されてもよい。このため、ストリングマッチング符号化方式では、上記マッチング位置は、変位ベクトルと通称されるマッチング参照ストリングの2次元座標とマッチング現在ストリングの2次元座標との差によっても、マッチング参照ストリングの線形アドレスとマッチング現在ストリングの線形アドレスとの差によっても表されることができ、マッチング参照ストリングの長さ(マッチング現在ストリングの長さに等しい)が変更可能であるため、マッチング長さと呼ばれる他の変数を上記変位ベクトルと合わせたもの、即ち(変位ベクトル,マッチング長さ)によって上記マッチング位置を完全に表すことが必要である。上記現在CUをストリングマッチング符号化した結果、I(I≧1)個のマッチングストリング及びJ(J≧0)個のマッチング外れ画素サンプルを得、I対の(変位ベクトル,マッチング長さ)及びJ個のマッチング外れ画素サンプルを出力する。
【0162】
パレット符号化は、参照画素として上記参照画素サンプル記憶域スペースにおける一部の画素のみを用いるため、上記参照画素サンプル記憶域スペースから、予め決定された方法に従って、K個の画素(通常、4≦K≦64)を1セットとして選択し適時更新するようにし、このK個の画素が1つのパレットを構成し、パレットにおける個々の画素がそれぞれ1つのインデックスで表され、パレット符号化方式では、上記パレットの画素を参照画素として用いるとともに、パレットにおける上記マッチング参照サンプルのインデックスが上記マッチング参照サンプルの上記マッチング位置になり、上記現在CUのあらゆる上記マッチング参照サンプルのインデックスが全体としてインデックスマッピングと呼ばれる1つのインデックスアレイを構成する。
【0163】
上記残った様々なコモン符号化及び再構成演算ステップは、1つの機能として、マッチングモード、変位ベクトル、マッチング長さ、インデックスマッピング、マッチング外れサンプル等のパラメータ及び変数に対して、必要であるかの様々なコモン技術である変換、予測及び残差求め、DPCM、一次及び高次差分、マッピング、連長、インデックスによる符号化を実行する。
【0164】
上記パレット符号化方式や上記パレットが選択可能なものとして省略されてもよいため、上述した符号化方法では、上記正整数Aが3に等しい場合、上記3種類の符号化方式がそれぞれ、予測符号化方式、ブロックマッチング符号化方式、ストリングマッチング符号化方式であり、また、上記ストリングマッチング符号化方式が選択可能なものとして省略されてもよいため、上記正整数Aが3に等しい場合、上記3種類の符号化方式がそれぞれ、予測符号化方式、ブロックマッチング符号化方式、パレット符号化方式である。
【0165】
(好適な実施例2:4種類の復号化方式)
上記正整数Aが4に等しい場合、上記4つの復号化方式がそれぞれ、予測復号化方式、ブロックコピー復号化方式、ストリングコピー復号化方式、パレット復号化方式であり、図13に示される。
【0166】
ブロックコピー復号化方式は、若干のサイズが一定(例えば、64x64サンプル、32x32サンプル、16x16サンプル、8x8サンプル、8x4サンプル、4x8サンプル、4x4サンプル等)のブロック(マッチング現在ブロックと呼ばれ、1フレームの画像における位置を2次元座標で表すことができる)単位でマッチング復号化を行い、上記マッチング参照サンプルが上記参照画素サンプル記憶域スペースにおけるマッチング参照ブロックと呼ばれる1つのマッチングブロックを形成し、その1フレームの画像における位置も2次元座標で表されることができ、このため、ブロックコピー復号化方式では、上記マッチング位置を、変位ベクトルと呼ばれるマッチング参照ブロックの2次元座標とマッチング現在ブロックの2次元座標との差で表すことができる。
【0167】
ストリングコピー復号化方式は、長さ変更可能な画素サンプルストリング(マッチング現在ストリングと呼ばれ、その位置を2次元座標で表してもよいし、線形アドレスで表してもよい)単位でマッチング復号化を行い、上記マッチング画素サンプルが上記参照画素サンプル記憶域スペースにおけるマッチング参照ストリングと呼ばれる1つのマッチングストリングを形成し、その位置も2次元座標で表されてもよいし、線形アドレスで表されてもよい。このため、ストリングコピー復号化方式では、上記マッチング位置は、変位ベクトルと通称されるマッチング参照ストリングの2次元座標とマッチング現在ストリングの2次元座標との差によっても、マッチング参照ストリングの線形アドレスとマッチング現在ストリングの線形アドレスとの差によっても表されることができ、マッチング参照ストリングの長さ(マッチング現在ストリングの長さに等しい)が変更可能であるため、マッチング長さと呼ばれる他の変数を上記変位ベクトルと合わせたもの、即ち(変位ベクトル,マッチング長さ)によって上記マッチング位置を完全に表すことが必要である。上記現在CUをストリングマッチング復号する際に、ビットストリームデータから解析し復号したマッチングモード、I(I≧1)対の(変位ベクトル,マッチング長さ)及びJ(J≧0)個のマッチング外れ画素サンプルを入力する。
【0168】
パレット復号は、参照画素として上記参照画素サンプル記憶域スペースにおける一部の画素のみを用いるため、上記参照画素サンプル記憶域スペースから、予め決定された方法に従って、K個の画素(通常、4≦K≦64)を1セットとして選択し適時更新するようにし、このK個の画素が1つのパレットを構成し、パレットにおける個々の画素がそれぞれ1つのインデックスで表され、パレット復号化方式では、上記パレットの画素を参照画素として用いるとともに、パレットにおける上記マッチング参照サンプルのインデックスが上記マッチング参照サンプルの上記マッチング位置になり、上記現在CUのあらゆる上記マッチング参照サンプルのインデックスが全体としてインデックスマッピングと呼ばれる1つのインデックスアレイを構成する。インデックスマッピングはビットストリームデータから解析し復号したものであり、パレット復号における1つの入力になる。
【0169】
上記ビットストリームデータ解析及び部分復号ステップは、1つの機能として、上記ビットストリームからエントロピー復号化して得たマッチングモード、変位ベクトル、マッチング長さ、インデックスマッピング、マッチング外れサンプル等のマッチング関係パラメータを代表する構文要素の部分復号データに対して、必要であるかの様々なコモン演算である変換復号、予測及び補償(即ち、残差求め演算の逆演算)、DPCM復号化、一次及び高次差分復号化、マッピング復号化、連長復号化、インデックス復号化を実行して、原始のマッチングモード、変位ベクトル、マッチング長さ、インデックスマッピング、マッチング外れサンプル等のマッチング関係パラメータを得たうえで、ブロックコピー復号化方式、ストリングコピー復号化方式、パレット復号化方式演算ステップでの入力として用いる。
【0170】
上記パレット復号化方式や上記パレットが選択可能なものとして省略されてもよいため、上述した復号化方法では、上記正整数Aが3に等しい場合、上記3つの符号化方式がそれぞれ、予測復号化方式、ブロックコピー復号化方式、ストリングコピー復号化方式であり、また、上記ストリングコピー復号化方式が選択可能なものとして省略されてもよいため、上述した復号化方法では、上記正整数Aが3に等しい場合、上記3つの復号化方式がそれぞれ、予測復号化方式、ブロックコピー復号化方式、パレット復号化方式である。
【0171】
(好適な実施例3:予測及びマッチング方式識別コードと他の符号化結果とを含むビットストリーム)
上記ビットストリームにおける符号化ユニット即ちCU部分は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、更なる動きベクトル又はマッチング位置、更なるマッチング外れ画素サンプル;予測残差又はマッチング残差;及び他の符号化結果、を負荷する構文要素から構成される。
【0172】
上記CUヘッダ構文要素を除く全ての上記構文要素は、ビットストリームにおいて唯一の配列順序で配置されておらず、予め決定された合理的な順序のいずれかを用いることができる。いずれか1つの構文要素は、いくつかの部分に分割されてもよく、上記いくつかの部分は、ビットストリームにおける同じ箇所に集中して配置されてもよいし、ビットストリームにおける異なる箇所に個別に配置されてもよい。任意一部の構文要素を1つの構文要素に合わせることもできる。上記CUヘッダ構文要素と予測及びマッチング方式識別コード構文要素以外の構文要素は、あるCUのビットストリームデータに存在しなくてもよい。
【0173】
上記予測及びマッチング方式識別コードは、以下のコード値を取って以下の意味を有することができる。
【0174】
【0175】
現在CUに対して予測又はマッチング符号化、或いは予測又はマッチング復号化を行う場合、現在CUの予測及びマッチング方式識別コードのコード値から、以下のロジック関係に従って、現在CUがどのような予測又はマッチング方法を用いて符号化又は復号化を行うかを決定する。
【0176】
(予測及びマッチング方式識別コードのコード値==0)であれば、予測方式を用いて現在CUの符号化又は復号化を行い、
(予測及びマッチング方式識別コードのコード値==1)であれば、マッチング方式1を用いて現在CUの符号化又は復号化を行い、
(予測及びマッチング方式識別コードのコード値==2)であれば、マッチング方式2を用いて現在CUの符号化又は復号化を行い、
(予測及びマッチング方式識別コードのコード値==i)であれば、マッチング方式iを用いて現在CUの符号化又は復号化を行い、
(予測及びマッチング方式識別コードのコード値==A−1)であれば、マッチング方式A−1を用いて現在CUの符号化又は復号化を行い、
ただし、上記符号「==」が「イコール」を表す。
【0177】
(好適な実施例4:予測及びマッチング方式識別コードと他の符号化結果とを含むビットストリーム、及び4種類の符号化又は復号化方式)
上記ビットストリームにおける符号化ユニット即ちCU部分は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又は変位ベクトル1又は(変位ベクトル1、マッチング長さ1)又はインデックスマッピング1、マッチング外れ画素サンプル1、動きベクトル2又は変位ベクトル2又は(変位ベクトル2、マッチング長さ2)又はインデックスマッピング2、マッチング外れ画素サンプル2、…、更なる動きベクトル又は変位ベクトル又は(変位ベクトル、マッチング長さ)又はインデックスマッピング、更なるマッチング外れ画素サンプル;予測残差又はマッチング残差;及び他の符号化結果、を負荷する構文要素から構成される。
【0178】
上記CUヘッダ構文要素を除く全ての上記構文要素は、ビットストリームにおいて唯一の配列順序で配置されておらず、予め決定された合理的な順序のいずれかを用いることができる。いずれか1つの構文要素は、いくつかの部分に分割されてもよく、上記いくつかの部分は、ビットストリームにおける同じ箇所に集中して配置されてもよいし、ビットストリームにおける異なる箇所に個別に配置されてもよい。任意一部の構文要素を1つの構文要素に合わせることもできる。上記CUヘッダ構文要素と予測及びマッチング方式識別コード構文要素以外の構文要素は、あるCUのビットストリームデータに存在しなくてもよい。
【0179】
上記予測及びマッチング方式識別コードは、以下のコード値を取って以下の意味を有することができる。
【0180】
【0181】
現在CUに対して予測又はマッチング符号化、或いは予測又はマッチング復号化を行う場合、現在CUの予測及びマッチング方式識別コードのコード値から、以下のロジック関係に従って、現在CUがどのような予測又はマッチング方法を用いて符号化又は復号化を行うかを決定する。
【0182】
(予測及びマッチング方式識別コードのコード値==0)であれば、予測方式を用いて現在CUの符号化又は復号化を行い、
(予測及びマッチング方式識別コードのコード値==1)であれば、ブロックマッチング方式を用いて現在CUの符号化又は復号化を行い、
(予測及びマッチング方式識別コードのコード値==2)であれば、ストリングマッチング方式を用いて現在CUの符号化又は復号化を行い、
(予測及びマッチング方式識別コードのコード値==)であれば、パレット方式を用いて現在CUの符号化又は復号化を行う。
【0183】
(好適な実施例5:予測及びマッチング方式識別コードと他の符号化結果とを含むビットストリーム、及び3種類の符号化又は復号化方式)
上記ビットストリームにおける符号化ユニット即ちCU部分は、CUヘッダ、予測及びマッチング方式識別コード、予測モード又はマッチングモード;動きベクトル1又は変位ベクトル1又は(変位ベクトル1、マッチング長さ1)、マッチング外れ画素サンプル1、動きベクトル2又は変位ベクトル2又は(変位ベクトル2、マッチング長さ2)、マッチング外れ画素サンプル2、…、更なる動きベクトル又は変位ベクトル又は(変位ベクトル、マッチング長さ)、更なるマッチング外れ画素サンプル;予測残差又はマッチング残差;及び他の符号化結果、を負荷する構文要素から構成される。
【0184】
上記CUヘッダ構文要素を除く全ての上記構文要素は、ビットストリームにおいて唯一の配列順序で配置されておらず、予め決定された合理的な順序のいずれかを用いることができる。いずれか1つの構文要素は、いくつかの部分に分割されてもよく、上記いくつかの部分は、ビットストリームにおける同じ箇所に集中して配置されてもよいし、ビットストリームにおける異なる箇所に個別に配置されてもよい。任意一部の構文要素を1つの構文要素に合わせることもできる。上記CUヘッダ構文要素と予測及びマッチング方式識別コード構文要素以外の構文要素は、あるCUのビットストリームデータに存在しなくてもよい。
【0185】
上記予測及びマッチング方式識別コードは、以下のコード値を取って以下の意味を有することができる。
【0186】
【0187】
現在CUに対して予測又はマッチング符号化、或いは予測又はマッチング復号化を行う場合、現在CUの予測及びマッチング方式識別コードのコード値から、以下のロジック関係に従って、現在CUがどのような予測又はマッチング方法を用いて符号化又は復号化を行うかを決定する。
【0188】
(予測及びマッチング方式識別コードのコード値==0)であれば、予測方式を用いて現在CUの符号化又は復号化を行い、
【0189】
(予測及びマッチング方式識別コードのコード値==1)であれば、ブロックマッチング方式を用いて現在CUの符号化又は復号化を行い、
【0190】
(予測及びマッチング方式識別コードのコード値==2)であれば、ストリングマッチング方式を用いて現在CUの符号化又は復号化を行う。
【0191】
(好適な実施例6:予測及びマッチング方式識別ビット、予測及びマッチング方式識別コード及び予測及びマッチング方式一部識別コードを含むビットストリーム)
上記ビットストリームにおける符号化ユニット即ちCU部分は、CUヘッダ、予測及びマッチング方式識別ビット、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード又はヌル、予測モード又はマッチングモード;動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、更なる動きベクトル又はマッチング位置、更なるマッチング外れ画素サンプル;予測残差又はマッチング残;及び他の符号化結果、を負荷する構文要素から構成される。
【0192】
上記CUヘッダ構文要素を除く全ての上記構文要素は、ビットストリームにおいて唯一の配列順序で配置されておらず、予め決定された合理的な順序のいずれかを用いることができる。いずれか1つの構文要素は、いくつかの部分に分割されてもよく、上記いくつかの部分は、ビットストリームにおける同じ箇所に集中して配置されてもよいし、ビットストリームにおける異なる箇所に個別に配置されてもよい。任意一部の構文要素を1つの構文要素に合わせることもできる。上記CUヘッダ構文要素と予測及びマッチング方式識別ビット構文要素以外の構文要素は、あるCUのビットストリームデータに存在しなくてもよい。
【0193】
上記予測及びマッチング方式識別ビットは、1又は0の値を取ることができる。
【0194】
上記予測及びマッチング方式識別ビットが1の値を取れば、ビットストリームには予測及びマッチング方式識別コードという構文要素がまだ存在し(予測及びマッチング方式一部識別コードという構文要素が存在しない)、上記予測及びマッチング方式識別コードは、以下のコード値を取って以下の意味を有することができる。
【0195】
【0196】
上記予測及びマッチング方式識別ビットが0の値を取れば、ビットストリームには予測及びマッチング方式一部識別コードという構文要素がまだ存在し(予測及びマッチング方式識別コードという構文要素が存在しない)、上記予測及びマッチング方式一部識別コードは、B(B<A)個のコード値を取ることができ、上記予測及びマッチング方式一部識別コードは、コード値そのものによって現在CUがどのような復号化方式を用いるか完全に決定することができず、現在CU及び近隣CUの特性を分析評価した結果と結合しなければ、現在CUがどのような復号化方式を用いるか完全に決定することができない。上記現在CU及び近隣CUの特性の例としては、近隣CUの復号化方式、予測又はマッチングモード、動きベクトル、及びマッチング位置;A種類の復号化方式の若干又は全部を用いて現在CUの部分的プリデコーディングを最初に行った結果の特性;近隣CUの復号再構成画素サンプル及び現在CUの部分的プリデコーディング再構成画素サンプルの特性、例えば、連続階調コンテンツであるか非連続階調コンテンツであるかが挙げられる。上記予測及びマッチング方式一部識別コードがヌルであることも可能であり、この場合、全く現在CU及び近隣CUの特性を分析評価した結果によって、現在CUがどのような復号化方式を用いるか決定する。
【0197】
(好適な実施例7:予測又はマッチングモード識別ビット、予測又はマッチングモード識別コード及び予測又はマッチングモード一部識別コードを含む圧縮ビットストリーム)
上記ビットストリームにおける符号化ユニット即ちCU部分は、CUヘッダ、予測及びマッチング方式識別ビット又はヌル、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード又はヌル、予測又はマッチングモード識別ビット、予測又はマッチングモード識別コード又は予測又はマッチングモード一部識別コード又はヌル、動きベクトル1又はマッチング位置1、マッチング外れ画素サンプル1、動きベクトル2又はマッチング位置2、マッチング外れ画素サンプル2、…、更なる動きベクトル又はマッチング位置、更なるマッチング外れ画素サンプル、予測残差又はマッチング残差、他の符号化結果、を負荷する構文要素から構成される。
【0198】
上記CUヘッダ構文要素を除く全ての上記構文要素は、ビットストリームにおいて唯一の配列順序で配置されておらず、予め決定された合理的な順序のいずれかを用いることができる。いずれか1つの構文要素は、いくつかの部分に分割されてもよく、上記いくつかの部分は、ビットストリームにおける同じ箇所に集中して配置されてもよいし、ビットストリームにおける異なる箇所に個別に配置されてもよい。任意一部の構文要素を1つの構文要素に合わせることもできる。上記CUヘッダ構文要素と予測又はマッチングモード識別ビット構文要素以外の構文要素は、あるCUの圧縮ビットストリームデータに存在しなくてもよい。
【0199】
上記予測及びマッチング方式識別ビットがヌルであれば、上記予測及びマッチング方式識別ビットが予め決定された固定値を取ることが示唆される。
【0200】
上記予測又はマッチングモード識別ビットは、1又は0の値を取ることができる。
【0201】
上記予測又はマッチングモード識別ビットが1の値を取れば、ビットストリームには予測又はマッチングモード識別コードという構文要素がまだ存在し(予測又はマッチングモード識別コードの一部という構文要素が存在しない)、上記予測又はマッチングモード識別コードは、C個のコード値を取ることができ、そして全くそれによって、どのような予測又はマッチングモードを用いて現在CUの復号化を行うか決定する。
【0202】
上記予測又はマッチングモード識別ビットが0の値を取れば、ビットストリームには予測又はマッチングモード識別コードの一部という構文要素が存在し(予測又はマッチングモード識別コードという構文要素が存在しない)、上記予測又はマッチングモード一部識別コードは、D(D<C)個のコード値を取ることができ、上記予測又はマッチングモード一部識別コードは、コード値そのものによって、どのような予測又はマッチングモードを用いて現在CUの復号化を行うか完全に決定することができず、現在CU及び近隣CUの特性を分析評価した結果と結合しなければ、どのような予測又はマッチングモードを用いて現在CUの復号化を行うか完全に決定することができない。上記現在CU及び近隣CUの特性の例としては、近隣CUの復号化方式、予測又はマッチングモード、動きベクトル、及びマッチング位置;C種類の復号化方式の若干又は全部を用いて現在CUの部分的プリデコーディングを最初に行った結果の特性;近隣CUの復号再構成画素サンプル及び現在CUの部分的プリデコーディング再構成画素サンプルの特性、例えば、連続階調コンテンツであるか非連続階調コンテンツであるかが挙げられる。上記予測又はマッチングモード一部識別コードがヌルであることも可能であり、この場合、全く現在CU及び近隣CUの特性を分析評価した結果によって、どのような予測又はマッチングモードを用いて現在CUの復号化を行うか決定する。
【0203】
(好適な実施例8:予測又はマッチングモード識別ビット、予測又はマッチングモード識別コード及び予測又はマッチングモード一部識別コードを含む4種類の復号化方式の圧縮ビットストリーム)
上記ビットストリームにおける符号化ユニット即ちCU部分は、
CUヘッダ、予測及びマッチング方式識別ビット又はヌル、予測及びマッチング方式識別コード又は予測及びマッチング方式一部識別コード又はヌル、予測又はマッチングモード識別ビット又はヌル、予測又はマッチングモード識別コード又は予測又はマッチングモード一部識別コード又はヌル、動きベクトル1又は変位ベクトル1又は(変位ベクトル1,マッチング長さ1)又はインデックスマッピング1、マッチング外れ画素サンプル1、動きベクトル2又は変位ベクトル2又は(変位ベクトル2,マッチング長さ2)又はインデックスマッピング2、マッチング外れ画素サンプル2、…、更なる動きベクトル又は変位ベクトル又は(変位ベクトル,マッチング長さ)又はインデックスマッピング、更なるマッチング外れ画素サンプル、予測残差又はマッチング残差、他の符号化結果、を負荷する構文要素から構成される。
【0204】
上記CUヘッダ構文要素を除く全ての上記構文要素は、ビットストリームにおいて唯一の配列順序で配置されておらず、予め決定された合理的な順序のいずれかを用いることができる。いずれか1つの構文要素は、いくつかの部分に分割されてもよく、上記いくつかの部分は、ビットストリームにおける同じ箇所に集中して配置されてもよいし、ビットストリームにおける異なる箇所に個別に配置されてもよい。任意一部の構文要素を1つの構文要素に合わせることもできる。上記CUヘッダ構文要素以外の構文要素は、あるCUの圧縮ビットストリームデータに存在しなくてもよい。
【0205】
上記予測及びマッチング方式識別ビットは、1又は0の値を取ることができる。
【0206】
上記予測及びマッチング方式識別ビットがヌルであれば、上記予測及びマッチング方式識別ビットが予め決定された固定値を取ることが示唆される。
【0207】
上記予測又はマッチングモード識別ビットは、1又は0の値を取ることができる。
【0208】
上記予測又はマッチングモード識別ビットがヌルであれば、上記予測又はマッチングモード識別ビットが予め決定された固定値を取ることが示唆される。
【0209】
他の一実施例において、上述した実施例及び好適な実施形態に記載の技術案を実行するためのソフトウェアが更に提供される。
【0210】
他の一実施例において、上記ソフトウェアが格納される記憶媒体が更に提供され、該記憶媒体は、光ディスク、ソフトディスク、ハードディスク、消去可能メモリ等を含むが、これには限定されない。
【0211】
上述したように、本発明の実施例は、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、更に、複数種の復号化方式を組み合わせて復号ユニットの復号化を行い、符号化又は復号過程を素早くかつ効率よく実現するという技術的効果を達成している。
【0212】
なお、本発明の明細書及び特許請求の範囲並びに上記図面における「第1」、「第2」等の用語は、類似した対象を区別するためのものであり、特定の順番又は前後順序を説明するためのものではない。ここで説明した本発明の実施例をここで図示した又は説明した順番以外の順番で実施可能なものにするために、このように使用された対象は適した場合であれば互いに取り替え可能なことは、理解されるべきである。また、用語である「含む」、「有する」及びそれらのいかなる変形は、排他的にならずに含まれたものをカバーすることがその意図であり、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に示したステップ又はユニットに限定される必要がなく、明確に示していなかったり、これらのプロセス、方法、製品又は機器に固有であったりの他のステップ又はユニットを含むことができる。
【0213】
当業者にとって、上述の本発明の各モジュール又は各ステップは汎用の計算装置によって実現することができ、単独の計算装置に集成させることができれば、複数の計算装置から構成されるネットワークに分布させることもでき、更に計算装置で実行可能なプログラムコードによって実現することもできるので、それらを記憶装置に格納して計算装置によって実行することができ、そして場合によって、示した又は説明したステップを上述と異なる手順で実行することができ、また、それぞれ集積回路モジュールに製作したり、これらのうち複数のモジュール又はステップを単独の集積回路モジュールに製作したりして実現することができることは、明らかなことである。このように、本発明は、いかなる特定のハードウェアとソフトウェアの結合に限定されない。
【0214】
以上は、本発明の好適な実施例に過ぎず、本発明を限定することは意図していない。当業者であれば、本発明に様々な変更や変形が可能である。本発明の思想や原則内のいかなる修正、均等の置き換え、改良なども、本発明の保護範囲内に含まれるべきである。
【産業上の利用可能性】
【0215】
本発明の上記技術案は、画像符号化又は画像復号過程に適用されることができ、現在符号化しようとする符号化ユニット及び当該符号化ユニットの近隣ユニットの画素サンプル特性に基づいて、現在符号化しようとするユニットに最適な符号化方式を決定することにより、関連技術において、画面の符号化又は復号化を効率よく行う技術案がまだなされていない問題を解決し、そのうえ、複数種の符号化方式を組み合わせて符号化ユニットの符号化を行い、符号化又は復号過程を素早くかつ効率よく実現する。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13