特許5807639 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許5807639映像符号化装置および映像復号装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5807639

(24)【登録日】2015年9月18日

(45)【発行日】2015年11月10日

(54)【発明の名称】映像符号化装置および映像復号装置

(51)【国際特許分類】

H04N 19/117 20140101AFI20151021BHJP

H04N 19/157 20140101ALI20151021BHJP

H04N 19/176 20140101ALI20151021BHJP

H04N 19/82 20140101ALI20151021BHJP

H04N 19/86 20140101ALI20151021BHJP

【ＦＩ】

H04N19/117

H04N19/157

H04N19/176

H04N19/82

H04N19/86

【請求項の数】8

【全頁数】28

(21)【出願番号】特願2012-533858(P2012-533858)

(86)(22)【出願日】2011年9月12日

(86)【国際出願番号】JP2011005118

(87)【国際公開番号】WO2012035746

(87)【国際公開日】20120322

【審査請求日】2014年8月4日

(31)【優先権主張番号】特願2010-208891(P2010-208891)

(32)【優先日】2010年9月17日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川誠人

(72)【発明者】

【氏名】蝶野慶一

(72)【発明者】

【氏名】仙田裕三

(72)【発明者】

【氏名】田治米純二

(72)【発明者】

【氏名】青木啓史

(72)【発明者】

【氏名】先崎健太

【審査官】岩井健二

(56)【参考文献】

【文献】特開２００６−１４８８７８（ＪＰ，Ａ）

【文献】特開平０９−１８７００８（ＪＰ，Ａ）

【文献】 Keiichi Chono et al.，Description of video coding technology proposal by NEC Corporation，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，1st Meeting: Dresden, DE，２０１０年４月，JCTVC-A104，pp.1-18

【文献】 Thomas Davies et al.，Suggestion for a Test Model，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，1st Meeting: Dresden, DE，２０１０年４月，JCTVC-A033，pp.1-6,12-15,19-21

【文献】 Greg Conklin and Neelesh Gokhale，Dithering 5-tap Filter for Inloop Deblocking，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)，3rd Meeting: Fairfax, Virginia, USA，２００２年５月，JVT-C056，pp.1-12

【文献】 Test Model under Consideration，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，2nd Meeting: Geneva, CH，２０１０年７月，JCTVC-B205_draft000，pp.1-5,100-110,132-133,140-142

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段とを備え、
前記再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限する
映像符号化装置。

【請求項2】

前記非対称な領域を前記再構築画像ブロックの補助情報を用いて調節する調節手段を備えた請求項１記載の映像符号化装置。

【請求項3】

【請求項4】

前記非対称な領域を前記再構築画像ブロックの補助情報を用いて調節する調節手段を備えた請求項３記載の映像復号装置。

【請求項5】

量子化インデックスを逆量子化して量子化代表値を得て、
得られた量子化代表値を逆変換して再構築画像ブロックを得て、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させ、
前記再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限する
映像符号化方法。

【請求項6】

【請求項7】

コンピュータに、
量子化インデックスを逆量子化して量子化代表値を得る処理と、
得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる処理と、
前記再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限する処理と
を実行させるための映像符号化プログラム。

【請求項8】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化技術が適用された映像符号化装置および映像復号装置に関する。

【背景技術】

【0002】

一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。

【0003】

所定の映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model 方式が知られている（以下、一般的な映像符号化装置という）。

【0004】

図２１を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。

【0005】

図２１に示すように、一般的な映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、歪み除去フィルタ部１０８ａ、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００を備えている。

【0006】

一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）とよばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。

【0007】

図２２は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、簡単のために、輝度の画素値のみに着目して、図２１に示された各部の動作を説明する。

【0008】

ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。以下、符号化対象ＭＢを入力ＭＢという。ＭＢバッファ１０１から供給される入力ＭＢは、スイッチ１００を介して、イントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。以下、予測信号が減じられた入力ＭＢを予測誤差画像ブロックという。

【0009】

イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。

【0010】

フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。

【0011】

なお、イントラＭＢのみで符号化されたフレームはＩフレームと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたフレームはＰフレームと呼ばれる。フレーム間予測信号の生成に１枚の参照画像だけでなく同時に２枚の参照画像を用いるインターＭＢを含めて符号化されたフレームはＢフレームと呼ばれる。

【0012】

符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報（イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報）は、エントロピー符号化部１０４に供給される。

【0013】

また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴ（Discrete Cosine Transform ）の基底ブロックサイズを選択する。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４の３つのブロックサイズがある。入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、周波数変換部１０２およびエントロピー符号化部１０４に供給される。以下、選択された予測信号に関連する情報、選択された整数ＤＣＴの基底サイズなどに関する情報、および後述する量子化パラメータを補助情報と呼ぶ。

【0014】

さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。

【0015】

周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。周波数領域に変換された予測誤差を変換係数という。

【0016】

量子化部１０３は、符号化制御部１１２から供給される量子化パラメータに対応する量子化ステップサイズで、変換係数を量子化する。なお、量子化された変換係数の量子化インデックスはレベルとも呼ばれる。

【0017】

エントロピー符号化部１０４は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。

【0018】

逆量子化部１０５および逆変換部１０６は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化して量子化代表値を得て、さらに逆周波数変換して元の空間領域に戻す。以下、元の空間領域に戻された予測誤差画像ブロックを再構築予測誤差画像ブロックという。

【0019】

ピクチャバッファ１０７には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。以下、ピクチャバッファ１０７において再構築画像によって構成されるピクチャを再構築画像ピクチャという。

【0020】

歪み除去フィルタ部１０８ａは、再構築画像の各ＭＢおよびその内部ブロックの境界にフィルタを適用し、ピクチャバッファ１０７に格納された再構築画像に対して歪み（ブロック歪みとバンディング歪み）を除去する処理を行う。

【0021】

図２３および図２４は、歪み除去フィルタ部１０８ａの動作を説明するための説明図である。

【0022】

歪み除去フィルタ部１０８ａは、図２３に示すように、ＭＢおよびその内部ブロックの水平方向のブロック境界に対してフィルタを適用する。また、図２４に示すように、ＭＢおよびその内部ブロックの垂直方向のブロック境界に対してフィルタを適用する。水平方向のブロック境界は、０，４，８，１２の４×４ブロックの左側のブロック境界、１，５，９，１３の４×４ブロックの左側のブロック境界、２，６，１０，１４の４×４ブロックの左側のブロック境界、および３，７，１１，１５の４×４ブロックの左側のブロック境界である。また、垂直方向のブロック境界は、０，１，２，３の４×４ブロックの上側のブロック境界、４，５，６，７の４×４ブロックの上側のブロック境界、８，９，１０，１１の４×４ブロックの上側のブロック境界、および１２，１３，１４，１５の４×４ブロックの上側のブロック境界である。

【0023】

ただし、８×８ブロックサイズの整数ＤＣＴを用いたＭＢでは、０，４，８，１２の４×４ブロックの左側のブロック境界、２，６，１０，１４の４×４ブロックの左側のブロック境界、０，１，２，３の４×４ブロックの上側のブロック境界、および８，９，１０，１１の４×４ブロックの上側のブロック境界のみが歪み除去対象のブロック境界になる。また、１６×１６ブロックサイズの整数ＤＣＴの基底が１６×１６ブロックサイズのＤＣＴ基底を整数値で近似した基底であり、かつ、１６×１６ブロックサイズの整数ＤＣＴを用いたＭＢでは、０，４，８，１２の４×４ブロックの左側のブロック境界、および、０，１，２，３の４×４ブロックの上側のブロック境界のみが歪み除去対象のブロック境界になる。

【0024】

水平方向のブロック境界に対するフィルタの処理については、ブロック境界を中心とする左側のフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、フィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする右側のフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、フィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。

【0025】

垂直方向のブロック境界に対するフィルタの処理については、ブロック境界を中心とする上側のフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、フィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする下側のフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、フィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。

【0026】

ただし、Ｐ３，Ｐ２，Ｐ１，Ｐ０，Ｑ０，Ｑ１，Ｑ２，Ｑ３は、ｐ３，ｐ２，ｐ１，ｐ０，ｑ０，ｑ１，ｑ２，ｑ３で初期化されているとする。

【0027】

水平方向と垂直方向とでブロック境界に対するフィルタ処理は同じである。そこで、以下、水平方向と垂直方向とを特に区別をせずに、ブロック境界に対するフィルタ処理を説明する。また、歪み除去フィルタ部１０８ａの内部構成を図２５に示す。

【0028】

図２５に示す歪み除去フィルタ部１０８ａにおいて、まず、ブロック境界強度決定部１０８１は、非特許文献１の８．７ Deblocking filter process を参照すると、隣接ブロックの補助情報に基づいてブロック境界強度ｂＳ（０≦ｂＳ≦４）を決定する。図２６は、ｂＳを決定する処理を示すフローチャートである。

【0029】

ブロック境界強度決定部１０８１は、ブロック境界の画素ｐ０と画素ｑ０のいずれかがイントラＭＢの画素である場合には（ステップＳ１０１）、画素ｐ０と画素ｑ０とがＭＢの境界の左右の画素であるか否か判定する（ステップＳ１０２）。画素ｐ０と画素ｑ０とがＭＢの境界の左右の画素である場合にはｂＳを４に決定し、ＭＢの境界の左右の画素ではない場合にはｂＳを３に決定する。

【0030】

ブロック境界強度決定部１０８１は、画素ｐ０と画素ｑ０とのいずれもイントラＭＢの画素でない場合には、画素ｐ０と画素ｑ０がそれぞれ属するブロックのいずれかに量子化インデックスが存在するか否か判定する（ステップＳ１０３）。ブロック境界強度決定部１０８１は、画素ｐ０と画素ｑ０が属するそれぞれブロックのいずれかに量子化インデックスが存在する場合には、ｂＳを２に決定する。画素ｐ０と画素ｑ０がそれぞれ属するブロックに量子化インデックスが存在しない場合には、画素ｐ０と画素ｑ０とで、フレーム間予測に不連続があるか否か判定する（ステップＳ１０４）。フレーム間予測に不連続がある場合にはｂＳを１に決定し、フレーム間予測に不連続がない場合にはｂＳを０に決定する。

【0031】

なお、ｂＳを決定する処理のより詳細な説明が、非特許文献１の８．７．２ Filtering process for a set of samples across a horizontal or vertical block edge に記載されている。

【0032】

ｂＳが大きな値になるほど、ブロック境界の変動量が大きいと判定し、強度の高いフィルタが適用される。ｂＳ＝０では、フィルタは適用されない。

【0033】

次に、ｂＳ＞０のブロック境界についてのみ、ｂＳ＝４とｂＳ＜４の場合に分けて、非特許文献１に基づく非特許文献２における、ブロック境界に対する擬似ランダム雑音を用いたフィルタ処理を説明する。

【0034】

ｂＳ＝４の場合、処理対象のブロック境界の行（水平フィルタ時）または列（垂直フィルタ時）ｐｏｓ（０≦ｐｏｓ≦１６）のエッジ毎に、エッジ判定部１０８２は｜ｐ０−ｑ０｜＜α／４かつ｜ｐ１−ｐ０｜＜βであるエッジをフィルタ対象エッジと決定する。フィルタ部１０８３は、ｐｏｓに対応した擬似ランダム雑音ditherP ［ｐｏｓ］（１≦ditherP ［ｐｏｓ］≦７）を用いた以下の式でＰ０，Ｐ１，Ｐ２をそれぞれ計算する。

【0035】

P0=(p2+2*p1+2*p0+2*q0+q1+ditherP[pos])/8 （１）
P1=(p3+2*p2+2*p1+2*p0+q0+ditherP[pos])/8 （２）
P2=(2*p3+3*p2+p1+p0+q0+ditherP[pos])/8 （３）

【0036】

ただし、αとβはそれぞれ量子化パラメータＱの値が大きくなるほど大きな値となるパラメータであり、ｐｏｓは処理対象のブロック位置の座標に対する位置である。

【0037】

同様に、ｂＳ＝４の場合、処理対象のブロック境界の行（水平フィルタ時）または列（垂直フィルタ時）ｐｏｓ（０≦ｐｏｓ≦１６）のエッジ毎に、エッジ判定部１０８２は｜ｐ０−ｑ０｜＜α／４かつ｜ｑ１−ｑ０｜＜βであるエッジをフィルタ対象エッジと決定する。フィルタ部１０８３は、ｐｏｓに対応した擬似ランダム雑音ditherQ ［ｐｏｓ］（１≦ditherQ ［ｐｏｓ］≦７）を用いた以下の式でＱ０，Ｑ１，Ｑ２を計算する。

【0038】

Q0=(q2+2*q1+2*q0+2*p0+p1+ditherQ[pos])/8 （４）
Q1=(q3+2*q2+2*q1+2*q0+p0+ditherQ[pos])/8 （５）
Q2=(2*q3+3*q2+q1+q0+p0+ditherQ[pos])/8 （６）

【0039】

式（１）から式（６）に示すように擬似ランダム雑音をブロック境界に混入させることによって、ブロック歪みが除去されるだけでなく、バンディング歪みも視覚的に目立ちにくくなる。

【0040】

ｂＳ＜４の場合、処理対象のブロック境界の行（水平フィルタ時）または列（垂直フィルタ時）ｐｏｓ（０≦ｐｏｓ≦１６）のエッジ毎に、エッジ判定部１０８２は｜ｐ０−ｐ２｜＜βであるエッジをフィルタ対象エッジと決定する。フィルタ部１０８３は、以下の式でＰ０を計算する。

【0041】

P0=p0+Clip3{-tc,tc,(2*(q0-p0)+p1-q1+4)/8} （７）

【0042】

ただし、tcは、ｂＳおよび量子化パラメータＱの値が大きいほど大きな値となるパラメータである。

【0043】

同様に、ｂＳ＜４の場合、処理対象のブロック境界の行（水平フィルタ時）または列（垂直フィルタ時）ｐｏｓ（０≦ｐｏｓ≦１６）のエッジ毎に、エッジ判定部１０８２は｜ｑ０−ｑ２｜＜βであるエッジをフィルタ対象エッジと決定する。フィルタ部１０８３は、以下の式でＱ０を計算する。

【0044】

Q0=q0-Clip3{-tc,tc,(2*(q0-p0)+p1-q1+4)/8} （８）

【0045】

デコードピクチャバッファ１０９は、歪み除去フィルタ部１０８ａから供給される、ブロック歪みとリンギング歪みが除去された歪み除去再構築画像ピクチャを参照画像ピクチャとして格納する。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。

【0046】

図２１に示された映像符号化装置は、上述した処理によって、ビットストリームを生成する。

【先行技術文献】

【非特許文献】

【0047】

【非特許文献1】ISO/IEC 14496-10 Advanced Video Coding

【非特許文献2】G. Conklin and N. Gokhale ，”Dithering 5-tap Filter for Inloop Deblocking”，Joint Video Team（JVT ） of ISO/IEC MPEG & ITU-T VCEG ，JVT-C056，2002年 5月

【非特許文献3】”Test Model under Consideration”，Document：JCTVC-B205，Joint Collaborative Team on Video Coding（JCT-VC） of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting ：Geneva，CH，21-28 July，2010

【発明の概要】

【発明が解決しようとする課題】

【0048】

上述した一般的な歪み除去フィルタは、ブロック境界を中心とする対称な領域に擬似ランダム雑音を画像に混入させる。１６×１６画素サイズのＭＢを符号化単位とするJoint Model 方式においては、ＭＢ一行の処理に必要な参照ラインバッファのライン数は４ラインになる（図２７参照）。

【0049】

しかし、周波数変換のブロックサイズが大きいほど、バンディング歪みを視覚的に目立ちにくくするために必要な擬似ランダム雑音の混入領域は広くなる。例えば、周波数変換ブロックサイズが１６×１６の場合は、ブロック境界を中心とする対称な８画素（周波数変換ブロックサイズの一辺の半分）の領域に擬似ランダム雑音を画像に混入させることが望ましい。その場合には、図２８に示すように、ＭＢ一行の処理に必要な参照ラインバッファのライン数は８ラインになる。

【0050】

ゆえに、ＭＢの大きさを１６×１６画素サイズよりも大きくできる非特許文献３に記載されたTest Model under Consideration（ＴＭｕＣ方式）のような映像符号化方式に対して、一般的な歪み除去フィルタをそのまま用いると、その処理に必要な参照ラインバッファのライン数が大きく増大する課題がある。

【0051】

ＴＭｕＣ方式においては、非特許文献３の７節 Unit definition を引用すると、ＭＢに対応する概念がCoding Tree Block （ＣＴＢ）であり、１６×１６固定ではなく、１２８×１２８から８×８の範囲で可変となっている（図２９参照）。なお、最大のCoding Tree BlockをLargest Coding Tree Block（ＬＣＴＢ）、最小のCoding Tree BlockをSmallest Coding Tree Block（ＳＣＴＢ）と呼ぶ。また、本明細書においては、ＣＴＢのブロックをCoding Unit （ＣＵ）と呼ぶ。

【0052】

さらに、ＴＭｕＣ方式においては、Coding Tree Block に対する予測モードの処理単位としてPrediction unit （ＰＵ）という概念（図３０参照）、Coding Tree Block に対する周波数変換の処理単位としてTransform unit（ＴＵ）という概念（図３１参照）が導入されている。ＴＵは、６４×６４から４×４の範囲で可変となっている。なお、図３０の説明図を参照すると、イントラ予測モードでは、図３０に示された形状のうち正方形のみがサポートされている。

【0053】

例えば、ＬＣＴＢのサイズを６４×６４およびＴＵの最大サイズを６４×６４とするＴＭｕＣ方式において、ブロック境界を中心とする対称な周波数変換ブロックサイズの一辺の半分の領域に擬似ランダム雑音を画像に混入させる一般的な歪み除去フィルタは、その処理に必要な参照ラインバッファのライン数は３２ラインになる（図３２参照）。

【0054】

本発明は、擬似ランダム雑音混入処理における参照ラインバッファのライン数を増大させないことを目的とする。

【課題を解決するための手段】

【0055】

本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段とを備え、再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限することを特徴とする。

【0056】

本発明による映像復号装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段とを備え、再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限することを特徴とする。

【0057】

本発明による映像符号化方法は、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させ、再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限することを特徴とする。

【0058】

本発明による映像復号方法は、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させ、再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限することを特徴とする。

【0059】

本発明による映像符号化プログラムは、コンピュータに、量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる処理と、再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限する処理とを実行させることを特徴とする。

【0060】

本発明による映像復号プログラムは、コンピュータに、量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる処理と、再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限する処理とを実行させることを特徴とする。

【発明の効果】

【0061】

本発明による映像符号化装置および映像復号装置は、ブロック境界を中心に非対称に擬似ランダム雑音を画像に混入させる手段を備えているので、大きなブロックサイズを用いる映像符号化においても、擬似ランダム雑音混入処理において参照ラインバッファのライン数を所定のサイズに制約できる。

【図面の簡単な説明】

【0062】

【図1】本発明における参照ラインバッファを説明するための説明図である。

【図2】第１の実施形態の映像符号化装置の構成を示すブロック図である。

【図3】非対称歪み除去フィルタの水平方向のフィルタの適用を説明するための説明図である。

【図4】非対称歪み除去フィルタの垂直方向のフィルタの適用を説明するための説明図である。

【図5】非対称歪み除去フィルタの構成を示すブロック図である。

【図6】ブロック境界強度決定部の動作を示すフローチャートである。

【図7】エッジ判定部の動作を示すフローチャートである。

【図8】擬似ランダム雑音混入領域決定部の動作を示すフローチャートである。

【図9】第２の実施形態の映像復号装置の構成を示すブロック図である。

【図10】Planar予測を説明するための説明図である。

【図11】Planar予測を説明するための説明図である。

【図12】Planar予測を説明するための説明図である。

【図13】ブロック境界強度決定部の動作を示すフローチャートである。

【図14】エッジ判定部の動作を示すフローチャートである。

【図15】擬似ランダム雑音混入領域決定部の動作を示すフローチャートである。

【図16】本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。

【図17】本発明による映像符号化装置の主要部を示すブロック図である。

【図18】本発明による映像復号装置の主要部を示すブロック図である。

【図19】本発明による映像符号化装置の処理を示すフローチャートである。

【図20】本発明による映像復号装置の処理を示すフローチャートである。

【図21】一般的な映像符号化装置の構成を示すブロック図である。

【図22】ブロック分割の例を示す説明図である。

【図23】歪み除去フィルタの水平方向のフィルタの適用を説明するための説明図である。

【図24】歪み除去フィルタの垂直方向のフィルタの適用を説明するための説明図である。

【図25】歪み除去フィルタの構成を示すブロック図である。

【図26】ｂＳの決定処理を示すフローチャートである。

【図27】ライン数が４の場合の参照ラインバッファを説明するための説明図である。

【図28】ライン数が８の場合の参照ラインバッファを説明するための説明図である。

【図29】ＣＴＢを説明するための説明図である。

【図30】ＰＵを説明するための説明図である。

【図31】ＴＵを説明するための説明図である。

【図32】ライン数が３２の場合の参照ラインバッファを説明するための説明図である。

【発明を実施するための形態】

【0063】

本発明では、歪み除去フィルタの処理に必要な参照ラインバッファのライン数が周波数変換のブロックサイズの大きさに応じて増加する問題を回避するために、バンディング歪みを視覚的に目立ちにくくするための条件が「隣接するブロックが覆われるように擬似ランダム雑音が混入すること」であることに着目し、映像符号化装置および映像復号装置は、ブロック境界を中心とする非対称な領域に擬似ランダム雑音混入させる手段を備える。なお、隣接するブロックが覆われるとは、非対称な領域の合計が、ブロックサイズの一辺と同一になるという意味である。

【0064】

つまり、本発明においては、参照ラインバッファのライン数を固定（Ｎ）とし、少なくとも水平方向のブロック境界の歪み除去において、Ｎの２倍以上の一辺［Ｍ（２＊Ｎ≦Ｍ）］を持つＭ×Ｍの周波数変換ブロックのブロック境界に対して、ブロック境界の上側に対する擬似ランダム雑音の混入最大領域をＮで制限し、代わりに、ブロック境界の下側に対する擬似ランダム雑音の混入最大領域をＭ−Ｎまで許容する。ＮにＭ−Ｎを加えるとＭとなるので、非対称な領域に擬似ランダム雑音混入させることによっても、隣接するブロックが覆われることが分かる。Ｎ＝８、Ｍ＝６４の例を図１に示す。

【0065】

実施形態１．
本実施形態においては、参照ラインバッファのライン数を８（Ｎ＝８）と制限し、１６画素以上の一辺［Ｍ×Ｍ（Ｍ＝１６，３２，６４）］の周波数変換ブロックの水平方向と垂直方向のブロック境界に対する歪み除去において、ブロック境界の上側（垂直方向のブロック境界の場合）および左側（水平方向のブロック境界の場合）に対する擬似ランダム雑音の混入最大領域をＮで制限し、代わりに、ブロック境界の下側（垂直方向のブロック境界の場合）および右側（水平方向のブロック境界の場合）に対する擬似ランダム雑音の混入最大領域をＭ−Ｎまで許容する、非対称歪み除去フィルタを用いる映像符号化装置を説明する。つまり、本実施形態において、雑音混入手段の一例である歪み除去フィルタは、Ｍ＝３２と６４の周波数変換ブロックに対して、ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる。

【0066】

図２は、本実施形態の映像符号化装置を示すブロック図である。図２に示す本実施形態の映像符号化装置は、図２１に示す一般的な映像符号化装置と比較すると、歪み除去フィルタ１０８ａが非対称歪み除去フィルタ１０８と置き換わっていることが分かる。以下、本発明の特徴である非対称歪み除去フィルタ１０８の構成と動作を説明する。

【0067】

図３および図４は、非対称歪み除去フィルタ部１０８の動作を説明するための説明図である。

【0068】

非対称歪み除去フィルタ部１０８は、図３に示すように、ＣＵ／ＰＵ／ＴＵの水平方向のブロック境界に対してフィルタを適用する。また、図４に示すように、ＣＵ／ＰＵ／ＴＵの垂直方向のブロック境界に対してフィルタを適用する。上述したように、ＣＵ／ＰＵ／ＴＵのブロックサイズは可変となるので、図３および図４においては、ブロックサイズを指定しない。

【0069】

図３に示す水平方向のブロック境界に対するフィルタの処理については、ブロック境界を中心とする左側のフィルタ前の画素をブロック境界からｐ０，ｐ１，ｐ２，…、フィルタ後の画素をＰ０，Ｐ１，Ｐ２，…とし、ブロック境界を中心とする右側のフィルタ前の画素をブロック境界からｑ０，ｑ１，ｑ２，ｑ３，…、フィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３，…とする。

【0070】

図４に示す垂直方向のブロック境界に対するフィルタの処理については、ブロック境界を中心とする上側のフィルタ前の画素をブロック境界からｐ０，ｐ１，ｐ２，…、フィルタ後の画素をＰ０，Ｐ１，Ｐ２，…とし、ブロック境界を中心とする下側のフィルタ前の画素をブロック境界からｑ０，ｑ１，ｑ２，ｑ３，…、フィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３，…とする。

【0071】

ただし、…，Ｐ３，Ｐ２，Ｐ１，Ｐ０，Ｑ０，Ｑ１，Ｑ２，Ｑ３，…は、…，ｐ３，ｐ２，ｐ１，ｐ０，ｑ０，ｑ１，ｑ２，ｑ３，…でそれぞれ初期化されているとする。

【0072】

水平方向と垂直方向とでブロック境界に対するフィルタ処理は同じである。そこで、以下、水平方向と垂直方向とを特に区別をせずに、ブロック境界に対するフィルタ処理を説明する。また、非対称歪み除去フィルタ部１０８の内部構成を図５に示す。

【0073】

図５に示す非対称歪み除去フィルタ１０８を構成する、ブロック境界強度決定部１０８１、エッジ判定部１０８２、およびフィルタ部１０８３は、図２５に示されたものと同等である。擬似ランダム雑音混入領域決定部１０８４は、図２５に示された歪み除去フィルタ１０８ａに存在しない機能ブロックである。擬似ランダム雑音混入領域決定部１０８４は、ブロック境界強度決定部１０８１から供給されるブロック境界強度（ｂＳ）と外部から供給されるブロックの補助情報を用いて、ブロックの境界を中心とする非対称な擬似ランダム雑音混入領域（擬似ランダム雑音混入範囲）を計算する。計算された擬似ランダム雑音混入範囲はフィルタ部１０８３に供給される。

【0074】

以下、ブロック境界強度決定部１０８１、エッジ判定部１０８２、擬似ランダム雑音混入領域決定部１０８４、フィルタ部１０８３の順でその動作を説明する。

【0075】

ブロック境界強度決定部１０８１は、非対称歪み除去フィルタ１０８の外部から供給されるブロックの補助情報に基づいてブロック境界強度ｂＳ（０≦ｂＳ≦３）を決定する。図６は、ｂＳを決定する処理を示すフローチャートである。

【0076】

ブロック境界強度決定器１０８１は、ブロック境界の画素ｐ０とブロック境界の画素ｑ０のいずれかがイントラＰＵの画素である場合には（ステップＳ１００１）、ｂＳを３に決定する。

【0077】

ブロック境界強度決定器１０８１は、画素ｐ０と画素ｑ０とのいずれもイントラＰＵの画素でない場合には、画素ｐ０と画素ｑ０がそれぞれ属するブロックのいずれかに量子化インデックスが存在するか否か判定する（ステップＳ１００２）。画素ｐ０と画素ｑ０が属するそれぞれブロックのいずれかに量子化インデックスが存在する場合には、ｂＳを２に決定する。

【0078】

ブロック境界強度決定器１０８１は、画素ｐ０と画素ｑ０がそれぞれ属するブロックに量子化インデックスが存在しない場合には、画素ｐ０と画素ｑ０とで、フレーム間予測に不連続があるか否か判定する（ステップＳ１００３）。フレーム間予測に不連続がある場合にはｂＳを１に決定し、フレーム間予測に不連続がない場合にはｂＳを０に決定する。

【0079】

エッジ判定部１０８２は、ブロック境界強度決定器１０８１から供給されるｂＳと外部から供給される再構築画像とを用いて、フィルタ部１０８３でのフィルタ処理を決定する。図７は、そのフローチャートである。

【0080】

エッジ判定部１０８２は、処理対象のブロック境界の８つの行（水平方向ブロック境界）または８つの列（垂直方向ブロック境界）に対応する８つのエッジ毎に、以下の条件１を満たすか否かを判断する。条件１を満たさない場合には、８つのエッジに対してフィルタ処理なしと判断する（ステップＳ２００１）。

【0081】

条件１：
ｂＳが０より大きい、かつ、
d=|p2₂-2*p1₂+p0₂|+|q2₂-2*q1₂+q0₂|+|p2₅-2*p1₅+p0₅|+|q2₅-2*q1₅+q0₅|＜β
を満たす。

【0082】

ただし、条件１における下付きの数字は、非特許文献３の５．４．１節 Deblocking filter process の”Notation of an 8 pixels part of vertical edge for deblocking”に記載される、処理対象８エッジのインデックスである。また、βは、非特許文献３の５．４．１節 Deblocking filter process の”Relation between qp, tc, and beta ”に記載される、量子化パラメータＱＰに依存したパラメータである。

【0083】

エッジ判定部１０８２は、条件１を満たす場合には、８つのエッジの各エッジｉ（０≦ｉ≦７）が、以下の条件２を満たすか否かを判断する。条件２を満たさない場合には、エッジｉに対して後述する弱フィルタを適用すると判断する（ステップＳ２００２）。

【0084】

条件２：
d＜（β/4）、かつ、
（｜p3_i−p0_i｜＋｜q3_i−q0_i｜）＜（β/8）を満たす。かつ、
（｜p0_i−q0_i｜）＜（（5*tc＋１）/2）を満たす。

【0085】

ただし、tcは、非特許文献３の５．４．１節 Deblocking filter process の”Relation between qp, tc, and beta ”に記載される、量子化パラメータＱＰに依存したパラメータである。

【0086】

エッジ判定部１０８２は、条件２を満たす場合には、各エッジｉ（０≦ｉ≦７）が、以下の条件３を満たすか否かを判断する。条件３を満たさない場合には、エッジｉに対して、後述する強フィルタを適用すると判断する（ステップＳ２００３）。条件３を満たす場合には、エッジｉに対して、後述する擬似ランダム混入付き強フィルタを適用すると判断する。

【0087】

擬似ランダム雑音混入領域決定部１０８４は、ブロック境界強度決定部１０８１から供給されるブロック境界強度（ｂＳ）と外部から供給されるブロックの補助情報を用いて、ブロック境界画素ｐ０側の擬似ランダム雑音混入領域のサイズpSize 、および、ブロック境界画素ｑ０側の擬似ランダム雑音混入領域のサイズqSize を計算する。図８は、そのフローチャートである。

【0088】

擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素が属するブロックの補助情報を用いて、ブロックが所定の大きさ（本実施形態では１６×１６）のイントラ予測であるか否かを判断する（ステップＳ３００１）。１６×１６以上のイントラ予測でない場合、擬似ランダム雑音混入領域のサイズを０とする。なお、イントラ予測の大きさだけでなく、エッジ境界とその周辺画素について、例えば、ブロック境界画素がｑ０の場合、｜ｐ０_ｉ−ｑ０_ｉ｜≦１および｜ｑ０_ｉ−ｑ７_ｉ｜≦１を満たす平坦か（ブロック境界画素がｐ０の場合｜ｐ０_ｉ−ｑ０_ｉ｜≦１および｜ｐ０_ｉ−ｐ７_ｉ｜≦１を満たす平坦か）も判断し、平坦でない時には擬似ランダム雑音混入領域のサイズを０としてもよい。また、ステップＳ２００１の条件１で計算したｄが所定のしきい値よりも小さい場合に平坦と判断してもよい。

【0089】

擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素が属するブロックが１６×１６以上のイントラ予測である場合、入力されたブロック境界画素がｐ０であるか否かを判断する（ステップＳ３００２）。入力されたブロック境界画素がｐ０である場合、擬似ランダム雑音混入領域のサイズをＮ（Ｎ＝８）と決定する。そうでない場合、ｑ０の属するブロックＭ×Ｍ（Ｍ＝１６，３２，６４）の一辺のサイズＭを用いて、擬似ランダム雑音混入領域のサイズをＭ−Ｎと決定する。

【0090】

フィルタ部１０８３は、各エッジ（０≦ｉ≦７）に対して、エッジ判定部１０８２が決定したフィルタ処理を適用する。弱フィルタ、強フィルタ、および擬似ランダム混入付き強フィルタのそれぞれを以下で説明する。

【0091】

弱フィルタが適用される場合、エッジｉの画素Ｐ０_ｉおよびＱ０_ｉを以下の式で計算する。

【0092】

P0_i=Clip_0-255(p0_i+Clip(-tc,tc,(13*(q0_i-p0_i)+4*(q1_i-p1_i)-5*(q2_i-p2_i)+16)/32)) （９）
Q0_i=Clip_0-255(q0_i-Clip(-tc,tc,(13*(q0_i-p0_i)+4*(q1_i-p1_i)-5*(q2_i-p2_i)+16)/32)) （１０）

【0093】

強フィルタが適用される場合、エッジｉの画素Ｐ２_ｉ，Ｐ１_ｉ，Ｐ０_ｉ，Ｑ０_ｉ，Ｑ１_ｉ，Ｑ２_ｉを以下の式で計算する。

【0094】

P0_i=Clip_0-255((p2_i+2_*p1_i+2*p0_i+2*q0_i+q1_i+4)/8) （１１）
P1_i=Clip_0-255((p2_i+p1_i+p0_i+q0_i+2)/4) （１２）
P2_i=Clip_0-255((2*p3_i+3_*p2_i+p1_i+p0_i+q0_i+4)/8) （１３）
Q0_i=Clip_0-255((q2_i+2_*q1_i+2*q0_i+2*p0_i+p1_i+4)/8) （１４）
Q1_i=Clip_0-255((q2_i+q1_i+q0_i+p0_i+2)/4) （１５）
Q2_i=Clip_0-255((2*q3_i+3_*q2_i+q1_i+q0_i+p0_i+4)/8) （１６）

【0095】

擬似ランダム混入付き強フィルタが適用される場合、擬似ランダム雑音混入領域決定部１０８４で計算したpSize を用いて、エッジｉの画素Ｐｋ_ｉ（０≦ｋ≦pSize ）を以下の式で計算する。

【0096】

P0_i=Clip_0-255(Clip_0-255((p2_i+2_*p1_i+2*p0_i+2*q0_i+q1_i+4)/8)+n0_i) （１７）
P1_i=Clip_0-255(Clip_0-255((p2_i+p1_i+p0_i+q0_i+2)/4)+n1_i) （１８）
P2_i=Clip_0-255(Clip_0-255((2*p3_i+3_*p2_i+p1_i+p0_i+q0_i+4)/8)+n2_i) （１９）
Pk_i=Clip_0-255(pk_i+nk_i) (3≦k≦pSize) （２０）

【0097】

ただし、nk_i＝LUT［（idxOffset_i−k−１）＆（LUTSize−1）］である。LUT［］は擬似ランダム雑音を格納したルックアップテーブルであり、その要素は−１，０，１のいずれかの値をとる。また、LUTSize はルックアップテーブルのサイズである。ルックアップテーブルのオフセットidxOffset_iは、非対称歪み除去の方向に応じて、以下の式で計算される。

【0098】

【数1】

【0099】

ただし、PUPosXはフレームにおける図３に示す垂直エッジの水平位置、PUPosYはフレームにおける図４に示す水平エッジの垂直位置、PITCH は所定の値（例えば１６）である。

【0100】

同様に、擬似ランダム混入付き強フィルタが適用される場合、擬似ランダム雑音混入領域決定部１０８４で計算したqSize を用いて、エッジｉの画素Ｑｋ_ｉ（０≦ｋ≦qSize ）を以下の式で計算する。

【0101】

Q0_i=Clip_0-255(Clip_0-255((q2_i+2_*q1_i+2*q0_i+2*p0_i+p1_i+4)/8)+n0_i) （２２）
Q1_i=Clip_0-255(Clip_0-255((q2_i+q1_i+q0_i+p0_i+2)/4)+n1_i) （２３）
Q2_i=Clip_0-255(Clip_0-255((2*q3_i+3_*q2_i+q1_i+q0_i+p0_i+4)/8)+n2_i) （２４）
Qk_i=Clip_0-255(qk_i+nk_i) (3≦k≦qSize) （２５）

【0102】

ただし、nk_i＝LUT［（idxOffset_i＋k）＆（LUTSize−1）］である。

【0103】

以上で、本発明の特徴である非対称歪み除去フィルタ１０８の構成と動作の説明を終了する。

【0104】

本実施形態の映像符号化装置は、参照ラインバッファのライン数を固定（Ｎ）とする非対称歪み除去フィルタを用いる。具体的には、少なくとも垂直方向の歪み除去において、Ｎの２倍以上の一辺［Ｍ（２＊Ｎ≦Ｍ）］を持つＭ×Ｍの周波数変換ブロックのブロック境界に対して、ブロック境界の上側に対する擬似ランダム雑音の混入最大領域をＮで制限し、代わりに、ブロック境界の下側に対する擬似ランダム雑音の混入最大領域をＭ−Ｎまで許容する。これによって、バンディング歪みを視覚的に目立ちにくくするための条件「隣接するブロックが覆われるように擬似ランダム雑音が混入すること」を満たしつつ、歪み除去フィルタの処理に必要な参照ラインバッファのライン数が周波数変換のブロックサイズの大きさに応じて増加する問題を克服できる。

【0105】

実施形態２．
本実施形態においては、参照ラインバッファのライン数を８（Ｎ＝８）と制限し、１６画素以上の一辺［Ｍ×Ｍ（Ｍ＝１６，３２，６４）］の周波数変換ブロックの水平方向と垂直方向のブロック境界に対する歪み除去において、ブロック境界の上側（垂直方向のブロック境界の場合）および左側（水平方向のブロック境界の場合）に対する擬似ランダム雑音の混入最大領域をＮで制限し、代わりに、ブロック境界の下側（垂直方向のブロック境界の場合）および右側（水平方向のブロック境界の場合）に対する擬似ランダム雑音の混入最大領域をＭ−Ｎまで許容する、非対称歪み除去フィルタを用いる映像復号装置を説明する。なお、本実施形態の映像復号装置は、第１の実施形態の映像符号化装置に対応する映像復号装置である。

【0106】

図９に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、非対称歪み除去フィルタ１０８、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００を備えている。

【0107】

エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＣＵの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。

【0108】

イントラ予測部２０７は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。

【0109】

フレーム間予測部２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。

【0110】

復号制御部２０９は、エントロピー復号したフレーム間予測に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を供給する。

【0111】

逆量子化部２０２は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化する。

【0112】

逆変換部２０３は、第１の実施形態の逆変換部１０６と同様に、量子化代表値を逆周波数変換して元の空間領域に戻す。

【0113】

ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＣＵが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。

【0114】

非対称歪み除去フィルタ１０８は、現在のフレームに含まれるすべてのＣＵが復号された後、ピクチャバッファ２０４に格納された再構築画像に対して歪みを除去する。なお、非対称歪み除去フィルタ１０８の構成は、図５に示されたとおりである。また、非対称歪み除去フィルタ１０８が実行する処理は、図６〜図８に示されたとおりである。

【0115】

デコードピクチャバッファ２０６は、非対称歪み除去フィルタ１０８から供給される歪み除去された再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。

【0116】

本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。

【0117】

本実施形態の映像復号装置は、対応する映像符号化装置と同様に、バンディング歪みを視覚的に目立ちにくくするための条件「隣接するブロックが覆われるように擬似ランダム雑音が混入すること」を満たしつつ、歪み除去フィルタの処理に必要な参照ラインバッファのライン数が周波数変換のブロックサイズの大きさに応じて増加する問題を克服できる。

【0118】

他の実施形態
非特許文献３のTest Model under Consideration（ＴＭｕＣ方式）においては、５．１．１．３．１節 Specification of intra planar predictionを引用すると、Planar予測という新たな概念のイントラ予測が導入されている。Planar予測では、まず、符号化対象ブロックの右下画像が参照画像を用いた予測符号化に基づいてエンコーダから伝送される（図１０参照）。続いて、Planar予測では，伝送された右下画像と符号化対象ブロック周辺の参照画像を用いて、符号化対象ブロック一番右の列と一番下の行の予測画像を１次元の線形補間で計算する（図１１参照）。最後に、残りの領域の予測画像を２次元の線形補間で計算する（図１２参照）。

【0119】

Planar予測（以後、Planarモードとも呼ぶ）を用いたブロックにおいては予測誤差（原信号と補間画像の差分）を伝送しない。つまり、補間画像がそのまま再構築画像になる。ゆえに、隣接するPlanarモードのブロック境界においては、背景技術の説明で述べた歪み除去とは異なる処理が、非特許文献３の５．４．１節 Deblocking filter process のPlanar mode filtering に記載されている。

【0120】

Planar mode filtering （Planarモードフィルタ）を考慮した場合における、非線形歪み除去フィルタの動作を以下に示す。なお、非線形歪み除去フィルタの構成は変わらない。

【0121】

ブロック境界強度決定部１０８１は、非線形歪み除去フィルタ１０８の外部から供給されるブロックの補助情報に基づいてブロック境界強度ｂＳ（０≦ｂＳ≦４）を決定する。図１３は、ｂＳを決定する処理を示すフローチャートである。

【0122】

ブロック境界強度決定器１０８１は、ブロック境界の画素ｐ０とブロック境界の画素ｑ０とが同じブロックサイズのPlanarモードである場合には（ステップＳ１０００）、ｂＳを４に決定する。

【0123】

ブロック境界強度決定器１０８１は、ブロック境界の画素ｐ０とブロック境界の画素ｑ０とが同じブロックサイズのPlanarモードでない場合には、ブロック境界の画素ｐ０とブロック境界の画素ｑ０のいずれかがイントラＰＵの画素である場合には（ステップＳ１００１’）、ｂＳを３に決定する。

【0124】

【0125】

【0126】

エッジ判定部１０８２は、ブロック境界強度決定器１０８１から供給されるｂＳと外部から供給される再構築画像とを用いて、フィルタ部１０８３でのフィルタ処理を決定する。図１４は、そのフローチャートである。

【0127】

エッジ判定部１０８２は、処理対象のブロック境界の８つの行（水平方向ブロック境界）または８つの列（垂直方向ブロック境界）に対応する８つのエッジ毎に、対応するブロック境界がｂＳ＝４であるかを判断する（ステップＳ２０００）。ｂＳ＝４である場合には、８つのエッジに対してPlanarモードフィルタと判断する。

【0128】

エッジ判定部１０８２は、対応するブロック境界がｂＳ＝４で無い場合、上記の８つのエッジ毎に、以下の条件１を満たすか否かを判断する（ステップＳ２００１）。条件１を満たさない場合には、８つのエッジに対してフィルタ処理なしと判断する。

【0129】

条件１：
ｂＳが０より大きい、かつ、
d=|p2₂-2*p1₂+p0₂|+|q2₂-2*q1₂+q0₂|+|p2₅-2*p1₅+p0₅|+|q2₅-2*q1₅+q0₅|＜β
を満たす。

【0130】

ただし、条件１における下付きの数字は、非特許文献３の５．４．１節 Deblocking filter processの”Notation of an 8 pixels part of vertical edge for deblocking”に記載される、処理対象８エッジのインデックスである。また、βは、非特許文献３の５．４．１節 Deblocking filter processの”Relation between qp, tc, and beta ”に記載される、量子化パラメータＱＰに依存したパラメータである。

【0131】

エッジ判定部１０８２は、条件１を満たす場合には、８つのエッジの各エッジｉ（０≦ｉ≦７）が、以下の条件２を満たすか否かを判断する（ステップＳ２００２）。条件２を満たさない場合には、エッジｉに対して後述する弱フィルタを適用すると判断する。

【0132】

条件２：
d＜（β/4）、かつ、
（｜p3_i−p0_i｜＋｜q3_i−q0_i｜）＜（β/8）を満たす。かつ、
（｜p0_i−q0_i｜）＜（（5*tc＋１）/2）を満たす。

【0133】

ただし、tcは、非特許文献３の５．４．１節 Deblocking filter processの”Relation between qp, tc, and beta ”に記載される、量子化パラメータＱＰに依存したパラメータである。

【0134】

エッジ判定部１０８２は、条件２を満たす場合には、各エッジｉ（０≦ｉ≦７）が、以下の条件３を満たすか否かを判断する（ステップＳ２００３）。条件３を満たさない場合には、エッジｉに対して、後述する強フィルタを適用すると判断する。条件３を満たす場合には、エッジｉに対して、後述する擬似ランダム混入付き強フィルタを適用すると判断する。

【0135】

【0136】

【0137】

擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素が属するブロックが１６×１６以上のイントラ予測である場合、入力されたブロック境界画素がPlanarモードのブロックに属するか否かを判断する（ステップＳ３００２ａ）。入力されたブロック境界画素がPlanarモードのブロックに属さない場合、ステップＳ３００２ｂに進む。入力されたブロック境界画素がPlanarモードのブロックに属する場合、ステップＳ３００２ｃに進む。

【0138】

ステップＳ３００２ｂでは、擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素がｐ０であるか否かを判断する。入力されたブロック境界画素がｐ０である場合、擬似ランダム雑音混入領域のサイズをＮ（Ｎ＝８）と決定する。そうでない場合、ｑ０の属するブロックＭ×Ｍ（Ｍ＝１６，３２，６４）の一辺のサイズＭを用いて、擬似ランダム雑音混入領域のサイズをＭ−Ｎと決定する。

【0139】

ステップＳ３００２ｃでは、擬似ランダム雑音混入領域決定部１０８４は、エッジｉが以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像となる行または列となるかを判断する。エッジｉが以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像となる行または列となる場合、以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像に対して擬似ランダム雑音を混入させないように、擬似ランダム雑音混入領域のサイズを０と決定する。エッジｉが以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像とならない場合、ステップＳ３００２ｄに進む。

【0140】

ステップＳ３００２ｄでは、擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素がｐ０であるか否かを判断する。入力されたブロック境界画素がｐ０である場合、擬似ランダム雑音混入領域のサイズをＮ（Ｎ＝８）と決定する。そうでない場合、ｑ０の属するブロックＭ×Ｍ（Ｍ＝１６，３２，６４）の一辺のサイズＭを用いて、擬似ランダム雑音混入領域のサイズをmin （Ｍ−Ｎ，Ｍ−Ｍ／４）と決定する。min （Ｍ−Ｎ，Ｍ−Ｍ／４）の第２変数の目的は、処理対象ブロックがPlanarモードである場合、Planarモードのブロックサイズに用いて擬似ランダム雑音の混入範囲を制限し、以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像となる擬似ランダム雑音を混入させないことである。

【0141】

フィルタ部１０８３は、各エッジ（０≦ｉ≦７）に対して、エッジ判定部１０８２で決定したフィルタ処理を適用する。Planarモードフィルタ、弱フィルタ、強フィルタ、および擬似ランダム混入付き強フィルタのそれぞれを以下で説明する。

【0142】

Planarモードフィルタが適用される場合、非特許文献３の５．４．１節 Deblocking filter process のPlanar mode filtering に従って、Ｐｋ_ｉ（０≦ｋ≦Ｍ／４−１）およびＱｋ_ｉ（０≦ｋ≦Ｍ／４）を計算する。

【0143】

弱フィルタが適用される場合、エッジｉの画素Ｐ０_ｉおよびＱ０_ｉを以下の式で計算する。

【0144】

P0_i=Clip_0-255(p0_i+Clip(-tc,tc,(13*(q0_i-p0_i)+4*(q1_i-p1_i)-5*(q2_i-p2_i)+16)/32)) （２６）
Q0_i=Clip_0-255(q0_i-Clip(-tc,tc,(13*(q0_i-p0_i)+4*(q1_i-p1_i)-5*(q2_i-p2_i)+16)/32)) （２７）

【0145】

強フィルタが適用される場合、エッジｉの画素Ｐ２_ｉ，Ｐ１_ｉ，Ｐ０_ｉ，Ｑ０_ｉ，Ｑ１_ｉ，Ｑ２_ｉを以下の式で計算する。

【0146】

P0_i=Clip_0-255((p2_i+2_*p1_i+2*p0_i+2*q0_i+q1_i+4)/8) （２８）
P1_i=Clip_0-255((p2_i+p1_i+p0_i+q0_i+2)/4) （２９）
P2_i=Clip_0-255((2*p3_i+3_*p2_i+p1_i+p0_i+q0_i+4)/8) （３０）
Q0_i=Clip_0-255((q2_i+2_*q1_i+2*q0_i+2*p0_i+p1_i+4)/8) （３１）
Q1_i=Clip_0-255((q2_i+q1_i+q0_i+p0_i+2)/4) （３２）
Q2_i=Clip_0-255((2*q3_i+3_*q2_i+q1_i+q0_i+p0_i+4)/8) （３３）

【0147】

擬似ランダム混入付き強フィルタが適用される場合、上述した強フィルタの結果Ｐｋ_ｉ（０≦ｋ≦pSize ）を、擬似ランダム雑音混入領域決定部１０８４で計算したpSize を用いて以下の式で計算する。

【0148】

Pk_i=Clip_0-255(pk_i+nk_i) (0≦k≦pSize) （３４）

【0149】

ただし、nk_i＝LUT［（idxOffset_i−k−１）＆（LUTSize−1）］である。LUT［］は擬似ランダム雑音を格納したルックアップテーブルであり、その要素は−１，０，１のいずれかの値をとる。また、LUTSize はルックアップテーブルのサイズである。ルックアップテーブルのオフセットidxOffset_iは、適応歪み除去の方向に応じて、以下の式で計算される。

【0150】

【数2】

【0151】

【0152】

【0153】

Qk_i=Clip_0-255(qk_i+nk_i) (0≦k≦qSize) （３６）

【0154】

ただし、nk_i＝LUT［（idxOffset_i＋k）＆（LUTSize−1）］である。

【0155】

また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

【0156】

図１６に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、記憶媒体１００３および記憶媒体１００４を備えている。記憶媒体１００３および記憶媒体１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

【0157】

図１６に示された情報処理システムにおいて、プログラムメモリ１００２には、図２、図５、図９のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図２、図５、図９のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。

【0158】

図１７は、本発明による映像符号化装置の主要部を示すブロック図である。図１７に示すように、本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段１１（一例として、逆量子化部１０５）と、逆量子化手段１１によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段１２（一例として、逆周波数変換部１０６）と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段１３（一例として、非対称歪み除去フィルタ部１０８）とを備えている。

【0159】

図１８は、本発明による映像復号装置の主要部を示すブロック図である。図１８に示すように、本発明による映像復号装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段２１（一例として、逆量子化部２０２）と、逆量子化手段２１によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段２２（一例として、逆周波数変換部２０３）と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段２３（一例として、非対称歪み除去フィルタ部１０８）とを備えている。

【0160】

図１９は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図１９に示すように、本発明による映像符号化方法では、量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ１０１）、得られた量子化代表値を逆変換して再構築画像ブロックを得て（ステップＳ１０２）、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる（ステップＳ１０３）。

【0161】

図２０は、本発明による映像復号方法の主要ステップを示すフローチャートである。図２０に示すように、本発明による映像復号方法では、量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ２０１）、得られた量子化代表値を逆変換して再構築画像ブロックを得て（ステップＳ２０２）、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる（ステップＳ２０３）。

【0162】

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0163】

この出願は、２０１０年９月１７日に出願された日本特許出願２０１０−２０８８９１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0164】

１１逆量子化手段
１２逆周波数変換手段
１３雑音混入手段
２１逆量子化手段
２２逆周波数変換手段
２３雑音混入手段
１００スイッチ
１０１ＭＢバッファ
１０２周波数変換部
１０３量子化部
１０４エントロピー符号化部
１０５逆量子化部
１０６逆周波数変換部
１０７ピクチャバッファ
１０８非対称歪み除去フィルタ部
１０８ａ歪み除去フィルタ部
１０８１ブロック境界強度決定部
１０８２エッジ判定部
１０８３フィルタ部
１０８４擬似ランダム雑音混入領域決定部
１０９デコードピクチャバッファ
１１０イントラ予測部
１１１フレーム間予測部
１１２符号化制御部
２００スイッチ
２０１エントロピー復号部
２０２逆量子化部
２０３逆周波数変換部
２０４ピクチャバッファ
２０６デコードピクチャバッファ
２０７イントラ予測部
２０８フレーム間予測部
２０９復号制御部
１００１プロセッサ
１００２プログラムメモリ
１００３記憶媒体
１００４記憶媒体

【図1】