特許 7444599 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240228BHJP

   H04N 19/167 20140101ALI20240228BHJP

   H04N 19/176 20140101ALI20240228BHJP

   H04N 19/593 20140101ALI20240228BHJP

【ＦＩ】

H04N19/105

H04N19/167

H04N19/176

H04N19/593

【請求項の数】 9

(21)【出願番号】P 2019233794

(22)【出願日】2019-12-25

(65)【公開番号】P2020109960

(43)【公開日】2020-07-16

【審査請求日】2022-11-25

(31)【優先権主張番号】P 2018248647

(32)【優先日】2018-12-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】岩村 俊輔

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０２０－０１４１９８（ＪＰ，Ａ）

【文献】国際公開第２０１７／１９０２８８（ＷＯ，Ａ１）

【文献】M. Albrecht, et al.，Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-J0014-v4，10th Meeting: San Diego, US，2018年04月，pp.53-55

【文献】Gagan Rath, Fabrice Urban, and Fabien Racape，CE3.5: Multiple Reference Intra Prediction (tests 5.2.1 and 5.2.2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0162，11th Meeting: Ljubljana, SI，2018年07月，pp.1-6

【文献】Benjamin Bross, et al.，CE3-related: On the combination of multiple reference lines, bilateral reference line filtering, PDPC and 65 directional modes for intra prediction，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0348-v3，11th Meeting: Ljubljana, SI，2018年07月，pp.1-8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

原画像を分割して得た符号化対象ブロックのイントラ予測を行うイントラ予測装置であって、
前記符号化対象ブロックに隣接する隣接参照画素列と前記隣接参照画素列よりも外側に位置する非隣接参照画素列とを含む複数の参照画素列の中から１つの参照画素列を参照して、前記符号化対象ブロックの予測画像を生成する予測画像生成部と、
前記予測画像生成部が前記非隣接参照画素列を参照して前記予測画像を生成する場合、前記隣接参照画素列に含まれる隣接参照画素を用いて、前記予測画像に含まれる予測画素を補正する予測画像補正部と、を備え、
前記予測画像補正部は、前記隣接参照画素と、前記隣接参照画素に隣接する前記予測画素とに対して、重みを用いた加重平均演算を重み付け合成として行うことにより、補正後の予測画素を算出する重み付け合成部を含むことを特徴とするイントラ予測装置。

【請求項2】

前記予測画像生成部は、方向性予測モードにより前記非隣接参照画素列から前記予測画像を生成し、
前記隣接参照画素列は、前記符号化対象ブロックと水平方向に隣接する第１隣接参照画素と、前記符号化対象ブロックと垂直方向に隣接する第２隣接参照画素と、を含み、
前記予測画像補正部は、前記第１隣接参照画素及び前記第２隣接参照画素のいずれか一方を用いて、前記方向性予測モードにより生成された前記予測画素を補正することを特徴とする請求項１に記載のイントラ予測装置。

【請求項3】

前記予測画像生成部は、方向性予測モードにより前記非隣接参照画素列から前記予測画像を生成し、
前記隣接参照画素列は、前記符号化対象ブロックと水平方向に隣接する第１隣接参照画素と、前記符号化対象ブロックと垂直方向に隣接する第２隣接参照画素と、を含み、
前記予測画像補正部は、前記第１隣接参照画素及び前記第２隣接参照画素の両方を用いて、前記方向性予測モードにより生成された前記予測画素を補正することを特徴とする請求項１に記載のイントラ予測装置。

【請求項4】

前記予測画像生成部は、複数の方向性予測モードの中から選択された方向性予測モードを用いて、前記非隣接参照画素列から前記予測画像を生成し、
前記予測画像補正部は、前記選択された方向性予測モードに基づいて、前記重み付け合成に用いる重み係数を設定する重み設定部を備えることを特徴とする請求項１乃至３のいずれか１項に記載のイントラ予測装置。

【請求項5】

前記重み設定部は、前記予測画像における前記予測画素の位置にさらに基づいて、前記重み係数を設定することを特徴とする請求項４に記載のイントラ予測装置。

【請求項6】

原画像を分割して得た符号化対象ブロックのイントラ予測を行うイントラ予測装置であって、
前記符号化対象ブロックに隣接する隣接参照画素列と前記隣接参照画素列よりも外側に位置する第１非隣接参照画素列とを含む複数の参照画素列の中から１つの参照画素列を参照して、前記符号化対象ブロックの予測画像を生成する予測画像生成部と、
前記予測画像生成部が前記第１非隣接参照画素列を参照して前記予測画像を生成する場合、前記隣接参照画素列よりも外側に位置する第２非隣接参照画素列に含まれる非隣接参照画素を用いて、前記予測画像に含まれる予測画素を補正する予測画像補正部と、を備え、
前記第２非隣接参照画素列は、前記第１非隣接参照画素列と同じ参照画素列又は異なる参照画素列であり、
前記予測画像補正部は、前記隣接参照画素と、前記隣接参照画素に隣接する前記予測画素とに対して、重みを用いた加重平均演算を重み付け合成として行うことにより、補正後の予測画素を算出する重み付け合成部を含むことを特徴とするイントラ予測装置。

【請求項7】

請求項１乃至６のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像符号化装置。

【請求項8】

請求項１乃至６のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像復号装置。

【請求項9】

コンピュータを請求項１乃至６のいずれか１項に記載のイントラ予測装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イントラ予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。

【背景技術】

【0002】

従来、ＭＰＥＧに代表される画像符号化方式で用いられている画面内（イントラ）予測では、符号化対象ブロックに隣接する画素を参照画素として用いて符号化対象ブロックを予測し、予測画像を生成している。参照画素とそれに隣接する画素の高い相関を活かした手法であり、参照画素に隣接した予測対象画素に対する予測精度が高い。

【0003】

一方、一般的に隣接する参照画素から距離が離れるほど、予測対象画素の予測効率が徐々に低下し、絵柄によっては平均的に見るとブロック内の予測対象画素の予測精度が必ずしも高くないという欠点があった。

【0004】

この現象に着目し、近年では、符号化対象ブロックの平均的な予測精度を上げるために、符号化対象ブロックに隣接する画素だけではなく、数ラインはなれた画素列に含まれる画素を参照画素として用いて予測を行う複数画素列参照予測が注目されている。

【0005】

例えば、ＭＰＥＧ／ＩＴＵ－Ｔで検討されているＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）の規格案では、隣接画素だけではなく、さらに１又は３ライン水平及び垂直方向にずれた位置の画素列に含まれる参照画素を方向性予測に用いる（非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0006】

【文献】ＪＶＥＴ－Ｌ１００１ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ３）

【発明の概要】

【発明が解決しようとする課題】

【0007】

複数画素列参照予測では、例えば、水平方向予測の際に、符号化対象ブロックから左方向に１又は３ライン離れた参照画素をコピーして予測画素を生成する。この場合、水平予測のため垂直方向の参照画素の情報が反映されないだけでなく、水平方向も１ラインまたは３ライン離れた画素を参照して予測を行うため、水平・垂直いずれの方向のブロック境界部分にも信号のギャップが生じる。

【0008】

これは、複数画素列参照予測では、符号化対象ブロックの平均的な予測精度の改善を目的としているため、隣接画素間の信号相関が利用していないためで、ブロック境界部分に生じるギャップの抑圧を考慮していないという問題がある。

【0009】

そこで、本発明は、複数画素列参照予測においてブロック境界部分に生じるギャップを抑圧することにより符号化効率を改善するイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

第１の態様に係るイントラ予測装置は、原画像を分割して得た符号化対象ブロックのイントラ予測を行うイントラ予測装置であって、前記符号化対象ブロックに隣接する隣接参照画素列と前記隣接参照画素列よりも外側に位置する非隣接参照画素列とを含む複数の参照画素列の中から１つの参照画素列を参照して、前記符号化対象ブロックの予測画像を生成する予測画像生成部と、前記予測画像生成部が前記非隣接参照画素列を参照して前記予測画像を生成する場合、前記隣接参照画素列に含まれる隣接参照画素を用いて、前記予測画像に含まれる予測画素を補正する予測画像補正部とを備えることを要旨とする。

【0011】

第２の態様に係る画像符号化装置は、第１の態様に係るイントラ予測装置を備えることを要旨とする。

【0012】

第３の態様に係る画像復号装置は、第１の態様に係るイントラ予測装置を備えることを要旨とする。

【0013】

第４の態様に係るプログラムは、コンピュータを第１の態様に係るイントラ予測装置として機能させる。

【発明の効果】

【0014】

本発明によれば、複数画素列参照予測においてブロック境界部分に生じるギャップを抑圧することにより符号化効率を改善するイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る画像符号化装置の構成を示す図である。

【図2】実施形態に係るイントラ予測の予測モードの一例を示す図である。

【図3】実施形態に係る複数画素列参照予測を示す図である。

【図4】実施形態に係るイントラ予測装置の構成を示す図である。

【図5】実施形態に係る予測画像補正部の動作例１を示す図である。

【図6】実施形態に係る予測画像補正部の動作例３を示す図である。

【図7】実施形態に係る画像復号装置の構成を示す図である。

【図8】実施形態に係るイントラ予測装置の動作を示す図である。

【発明を実施するための形態】

【0016】

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0017】

＜画像符号化装置の構成＞
まず、本実施形態に係る画像符号化装置について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

【0018】

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

【0019】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数のブロックに分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置が復号を行う単位である。かかるブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

【0020】

減算部１１０は、ブロック分割部１００から入力された符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測画像との差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0021】

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0022】

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。また、直交変換は、計算誤差を考慮して、これらの変換を整数処理化するものも含む。

【0023】

量子化部１２２は、変換部１２１から入力された直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

【0024】

エントロピー符号化部１３０は、量子化部１２２から入力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、ブロック分割部1００から分割に関するシンタックス、変換部120から変換および量子化に関するシンタックス、予測部１７０から予測に関するシンタックスなどが入力され、入力されたシンタックスのエントロピー符号化も行う。

【0025】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0026】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

【0027】

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0028】

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算して符号化対象ブロックを再構成（復号）し、復号したブロック単位の復号画像をメモリ１６０に出力する。かかる復号画像は、再構成画像と呼ばれることがある。

【0029】

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。さらに、メモリ１６０は、インター予測部１７１において算出された動きベクトルをブロックごとに記憶する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

【0030】

予測部１７０は、ブロック単位で予測を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

【0031】

インター予測部１７１は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測画像を生成し、生成したインター予測画像を切替部１７３に出力する。

【0032】

インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

【0033】

イントラ予測部１７２は、メモリ１６０に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１７３に出力する。以下において、イントラ予測の対象となるブロックを対象ブロックと呼ぶ。

【0034】

イントラ予測部１７２は、複数の予測モードの中から、対象ブロックに適用する最適な予測モードを選択し、選択した予測モードを用いてイントラ予測を行う。図２は、本実施形態に係るイントラ予測の予測モードの一例を示す図である。

【0035】

図２に示すように、０から６６までの６７通りの予測モードがある。予測モードのモード「０」はＰｌａｎａｒ予測であり、予測モードのモード「１」はＤＣ予測であり、予測モードのモード「２」乃至「６６」は方向性予測である。図２に示す方向性予測（方向性予測モード）において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。モード「２」～「３３」は、対象ブロックの左側の参照画素を主として参照する予測モードである。一方で、モード「３５」～「６６」は、対象ブロックの上側の参照画素を主として参照する予測モードである。

【0036】

イントラ予測部１７２は、複数画素列参照予測を行う機能を有する。複数画素列参照予測では、対象ブロックの平均的な予測精度を上げるために、対象ブロックに隣接する画素ではなく、数ラインはなれた画素列を参照画素として用いて予測を行う。

【0037】

図３は、本実施形態に係る複数画素列参照予測を示す図である。図３に示す各円は、画素を表している。

【0038】

図３に示すように、複数画素列参照予測は、イントラ予測において、複数の参照画素列のうちいずれか１列の参照画素列を予測に用いて、参照画素列を示すシンタックスもシグナリングする手法である。

【0039】

図３において、複数の参照画素列が、対象ブロックに隣接する隣接参照画素列と、隣接参照画素列よりも外側に位置する非隣接参照画素列１と、非隣接参照画素列１よりも外側に位置する非隣接参照画素列２とを含む一例を示している。非隣接参照画素列１は、対象ブロックから１ラインの間隔を置いた画素列である。非隣接参照画素列２は、対象ブロックから３ラインの間隔を置いた画素列である。但し、非隣接参照画素列２は、対象ブロックから２ラインの間隔を置いた画素列、すなわち、非隣接参照画素列１の外側に隣接する画素列であってもよい。

【0040】

但し、複数画素列予測は、イントラ予測において、映像信号を構成する輝度信号および二つの色差信号の三信号のうちの全て、またはいずれか一つ、もしくは二つの信号に適用されてもよい。

【0041】

複数画素列参照予測は、Ｐｌａｎａｒ予測及びＤＣ予測以外の予測モードに適用されてもよい。すなわち、Ｐｌａｎａｒ予測及びＤＣ予測は、隣接参照画素列のみを参照してもよい。

【0042】

切替部１７３は、インター予測部１７１から入力されるインター予測画像とイントラ予測部１７２から入力されるイントラ予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

【0043】

図４は、本実施形態に係るイントラ予測装置１０の構成を示す図である。

【0044】

図４に示すように、イントラ予測装置１０は、第１参照画素メモリ１６１と、第２参照画素メモリ１６２と、イントラ予測部１７２とを有する。第１参照画素メモリ１６１及び第２参照画素メモリ１６２は、図１に示すメモリ１６０の一部である。

【0045】

第１参照画素メモリ１６１は、図３に示す隣接参照画素列に含まれる各画素値を記憶する。

【0046】

第２参照画素メモリ１６２は、複数画素列参照予測が有効である場合、図３に示す非隣接参照画素列１に含まれる各画素値及び／又は非隣接参照画素列２に含まれる各画素値を記憶する。

【0047】

イントラ予測部１７２は、予測モード選択部１７２１と、予測画像生成部１７２２と、予測画像補正部１７２３とを有する。

【0048】

予測モード選択部１７２１は、図２に示す６７通りの予測モードの中から対象ブロックに適用する予測モードを選択する。また、予測モード選択部１７２１は、複数画素列参照
予測が有効である場合、図３に示す３通りの参照画素列（隣接参照画素列、非隣接参照画素列１、非隣接参照画素列２）の中から対象ブロックの予測の際に参照する参照画素列を選択する。さらに、予測モード選択部１７２１は、選択した予測モードを示すシンタックス及び選択した参照画素列を示すシンタックスを、エントロピー符号化部１３０を介してシグナリングする。

【0049】

本実施形態において、予測モード選択部１７２１は、３通りの参照画素列の中から非隣接参照画素列１又は非隣接参照画素列２を参照画素列として選択するとともに、６７通りの予測モードの中からいずれかの方向性予測モード（モード「２」乃至「６６」のいずれか）を予測モードとして選択するものとする。予測モード選択部１７２１は、選択した参照画素列の情報及び選択した予測モードの情報を予測画像生成部１７２２に出力する。

【0050】

予測画像生成部１７２２は、予測モード選択部１７２１により選択された参照画素列（第２参照画素メモリ１６２に記憶された参照画素列）を参照して、予測モード選択部１７２１により選択された予測モードにより対象ブロックの予測画像を生成し、生成した予測画像を予測画像補正部１７２３に出力する。

【0051】

例えば、予測画像生成部１７２２は、対象ブロック内の画素ごとに、選択された参照画素列に含まれる参照画素のうち、選択された予測モードに応じた方向に位置する参照画素の画素値をコピーすることにより予測画素を生成する。但し、角度を持った予測の場合は、単純なコピーではなく、方向に応じて計算される当該画素位置における画素値を内挿により生成する。

【0052】

予測画像補正部１７２３は、予測画像生成部１７２２が非隣接参照画素列を参照して予測画像を生成する場合、隣接参照画素列（第１参照画素メモリ１６１に記憶された参照画素列）に含まれる隣接参照画素を用いて、予測画像に含まれる予測画素を補正し、補正された予測画像を出力する。

【0053】

具体的には、予測画像補正部１７２３は、隣接参照画素及び予測画素に対して重み付け合成を行うフィルタ処理により、対象ブロックのブロック境界におけるギャップを抑圧する。これにより、複数画素列参照予測においてブロック境界部分に生じるギャップを抑圧できる。

【0054】

予測画像補正部１７２３は、重み設定部１７２３ａと、重み付け合成部１７２３ｂとを有する。

【0055】

重み設定部１７２３ａは、隣接参照画素列に含まれる隣接参照画素と予測画像に含まれる予測画素とに対して重み付け合成（フィルタ処理）を行うための重み係数（フィルタ係数）を設定する。重み設定部１７２３ａは、予測画像における予測画素ごとに、当該予測画素の位置に基づいて重み係数を設定してもよい。

【0056】

重み付け合成部１７２３ｂは、重み設定部１７２３ａにより設定された重み係数を用いて、隣接参照画素列に含まれる隣接参照画素と予測画像に含まれる予測画素とに対して重み付け合成（フィルタ処理）を行う。

【0057】

但し、予測画素補正は、映像信号を構成する輝度信号および二つの色差信号の三信号のうちの全て、またはいずれか一つ、もしくは二つの信号に適用されてもよい。

【0058】

このように、本実施形態に係るイントラ予測装置１０は、原画像を分割して得た符号化対象ブロックのイントラ予測を行う装置である。イントラ予測装置１０は、符号化対象ブロックに隣接する隣接参照画素列と隣接参照画素列よりも外側に位置する非隣接参照画素列とを含む複数の参照画素列の中から１つの参照画素列を参照して、符号化対象ブロックの予測画像を生成する予測画像生成部１７２２と、予測画像生成部１７２２が非隣接参照画素列を参照して予測画像を生成する場合、隣接参照画素列に含まれる隣接参照画素を用いて、予測画像に含まれる予測画素を補正する予測画像補正部１７２３とを有する。

【0059】

以下、予測画像補正部１７２３の動作例１乃至３について説明する。

【0060】

・予測画像補正部１７２３の動作例１
本動作例では、予測画像補正部１７２３は、複数参照画素列予測の水平及び垂直方向予測において、直交する方向に隣接参照画素及び予測画素間でフィルタ処理を適用する。

【0061】

具体的には、複数画素列参照予測が選択される場合、予測画像補正部１７２３は、非隣接参照画素列１又は２を用いて予測を行うことにより予測画像を生成後、予測方向に直交する方向に隣接する参照画素を用いてフィルタ処理を適用する。

【0062】

例えば、図５に示すように、予測画像補正部１７２３は、非隣接参照画素列１又は２を用いて水平方向予測により予測を行って予測画像を生成後、垂直方向に隣接する参照画素を用いて予測画像にフィルタ処理を適用する。

【0063】

ここで、垂直方向の対象ブロックの画素数がｎの場合、重み付け合成部１７２３ｂは、垂直方向の隣接参照画素Ｒｅｆ［ｘ］［０］と予測画素Ｐｒｅｄ［ｘ］［ｙ］（ｙは１からｎ）とをフィルタ処理した後の画素Ｐｒｏｃ［ｘ］［ｙ］を次の式（１）のように求める。

【0064】

Proc[x][y]＝αPred[x][y]＋βRef[x][0] （１）

【0065】

ここで、α及びβは重み設定部１７２３ａにより設定される重み係数であって、αは予測画素に付与される重み係数であり、βは隣接参照画素に付与される重み係数である。α及びβは、合計が１になるように設定されてもよい。

【0066】

ここでは、複数参照画素列予測において水平方向予測を行う一例を説明したが、複数参照画素列予測において垂直方向予測を行う場合、予測画像補正部１７２３は、非隣接参照画素列１又は２を用いて垂直方向予測により予測を行って予測画像を生成後、水平方向に隣接する参照画素を用いて予測画像にフィルタ処理を適用する。また、式（１）においてｘとｙを転置したもので実現する。

【0067】

重み設定部１７２３ａは、ピクチャ単位でα、βを変数として情報を符号化してシグナリングしても良いし、符号化方式として規定する固定値を用いてもよい。

【0068】

重み設定部１７２３ａは、重み係数α、βを、対象ブロックと非隣接参照画素列との間の距離に応じて設定してもよい。例えば、重み設定部１７２３ａは、非隣接参照画素列１を参照する場合と非隣接参照画素列２を参照する場合とで重み係数α、βを異ならせてもよい。

【0069】

また、フィルタ処理に用いる参照画素として、隣接参照画素列に含まれる参照画素だけでなく、次隣接の参照画素列（すなわち、非隣接参照画素列１）に含まれる参照画素あるいは次次隣接の参照画素列に含まれる参照画素を用いてもよい。この場合、α、β、γ、θというように重み係数が増えることになる。

【0070】

或いは、フィルタ処理に用いる参照画素として、隣接参照画素列に含まれる参照画素に代えて、次隣接の参照画素列（すなわち、非隣接参照画素列１）に含まれる参照画素あるいは次次隣接の参照画素列に含まれる参照画素を用いてもよい。例えば、図５に示す例において、予測画像補正部１７２３は、非隣接参照画素列１又は２を用いて水平方向予測により予測を行って予測画像を生成後、非隣接参照画素列１に含まれる参照画素を用いて垂直方向にフィルタ処理を適用する。このような動作とする場合、以下の説明におけるフィルタ処理に用いる「隣接参照画素列」を「非隣接参照画素列」と読み替える。このようなイントラ予測装置１０においては、予測画像生成部１７２２は、符号化対象ブロックに隣接する隣接参照画素列と隣接参照画素列よりも外側に位置する非隣接参照画素列とを含む複数の参照画素列の中から１つの参照画素列を参照して、符号化対象ブロックの予測画像を生成してもよい。そして、予測画像補正部１７２３は、予測画像生成部１７２２が非隣接参照画素列を参照して予測画像を生成する場合、隣接参照画素列に含まれる隣接参照画素を用いて、予測画像に含まれる予測画素を補正してもよい。

【0071】

なお、本動作例では、複数画素列参照予測が選択される場合、予測画像補正部１７２３が、非隣接参照画素列１又は２を用いて予測を行うことにより予測画像を生成後、予測方向に直交する方向に隣接する参照画素を用いてフィルタ処理を適用している。しかしながら、予測画像補正部１７２３は、予測方向と同じ方向に隣接する参照画素を用いてフィルタ処理を適用してもよい。

【0072】

すなわち、予測画像補正部１７２３は、対象ブロックと水平方向に隣接する第１隣接参照画素と、対象ブロックと垂直方向に隣接する第２隣接参照画素との両方を用いて、予測画像生成部１７２２が方向性予測モードにより生成した予測画像（予測画素）を補正してもよい。

【0073】

例えば、垂直方向予測を行う場合、予測画像補正部１７２３は、対象ブロックと水平方向に隣接する第１隣接参照画素を用いてフィルタ処理を適用し、より効率が上がるのであれば、対象ブロックと垂直方向に隣接する第２隣接参照画素も用いてフィルタ処理を適用してもよい。これにより、複数画素列参照予測においてブロック境界部分に生じるギャップをより一層抑圧できる。

【0074】

・予測画像補正部１７２３の動作例２
本動作例では、予測画像補正部１７２３は、複数参照画素列予測における全ての方向性予測モードについて、常に水平及び垂直方向に隣接参照画素及び予測画素間でフィルタ処理を適用する。

【0075】

具体的には、予測画像補正部１７２３は、式（１）に示した垂直方向のフィルタ処理と、式（１）のｘ、ｙを転置した水平方向のフィルタ処理との両方を行う。

【0076】

例えば、予測画像補正部１７２３は、図２に示す予測方向を２から１０、１２から２６、２７から４２、４３から５８のように方向に応じてクラス分けを行い、クラスごとに、水平、垂直方向で異なる重み付けのフィルタ処理を適用する。例えば２から１０の方向であれば左下からの参照予測により、垂直方向のギャップが大きくなるので垂直方向のフィルタを強く作用させ、水平方向のフィルタを若干作用させる。また、１２から２６の方向であれば垂直方向のフィルタを少し強く作用させ、水平方向のフィルタを微小に作用させる。27から42の方向であれば水平・垂直ともに中立的に作用させるといった要領で重み付けα、βを変えて作用させる。

【0077】

例えば、重み設定部１７２３ａは、対象ブロックに対して左方向の参照画素を主として参照する方向性予測モードであるモード「２」～「３３」については、水平方向のフィルタ処理に比べて、垂直方向のフィルタ処理を強く適用してもよい。具体的には、水平方向のフィルタ処理においてＲｅｆに付与される重み係数βよりも、垂直方向のフィルタ処理においてＲｅｆに付与される重み係数βを大きくしてもよい。

【0078】

重み設定部１７２３ａは、対象ブロックに対して上方向の参照画素を主として参照する方向性予測モードであるモード「３５」～「６６」については、垂直方向のフィルタ処理に比べて、水平方向のフィルタ処理を強く適用してもよい。具体的には、垂直方向のフィルタ処理においてＲｅｆに付与される重み係数βよりも、水平方向のフィルタ処理においてＲｅｆに付与される重み係数βを大きくしてもよい。また、予測の方向を考慮して垂直、水平方向にフィルタを適用させるだけではなく、予測方向に応じたαβによって重み付けを決定しても良い。

【0079】

重み設定部１７２３ａは、フィルタ処理の特徴を現すα、βをピクチャやシーケンスごとに変えてもよいし、符号化方式で規定する固定値としても良い。

【0080】

また、動作例１と同様に、Ｒｅｆとして、隣接参照画素列に含まれる参照画素だけでなく、次隣接の参照画素列に含まれる参照画素あるいは次次隣接の参照画素列に含まれる参照画素を用いてもよい。この場合、α、β、γ、θというように重み係数が増えることになる。

【0081】

・予測画像補正部１７２３の動作例３
本動作例は、上述した動作例１及び２をベースとしつつ、予測画像における予測画素ごとに、当該予測画素の位置に基づいて重み係数を設定するものである。

【0082】

重み設定部１７２３ａは、予測画素ごとに、Ｒｅｆ（隣接参照画素）に付与される重み係数βを、Ｒｅｆ（隣接参照画素）と予測画素との間の距離に応じて設定する。例えば、図６に示すように、垂直方向に対象ブロックに隣接する参照画素を用いて垂直方向のフィルタ処理を適用する場合、重み設定部１７２３ａは、隣接参照画素からの距離が離れるほどβを小さくするように設定してもよい。

【0083】

＜画像復号装置の構成＞
次に、本実施形態に係る画像復号装置について説明する。図７は、本実施形態に係る画像復号装置２の構成を示す図である。

【0084】

図７に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

【0085】

エントロピー復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、ブロック分割、直交変換、量子化、予測（イントラ予測及びインター予測）に関するシンタックスを取得し、取得したシンタックスを合成部２２０、逆量子化・逆変換部２１０、予測部２４０に出力する。

【0086】

逆量子化・逆変換部２１０は、復号対象のブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0087】

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

【0088】

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0089】

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像を、ブロック分割情報をもとにピクチャ内の適切な位置情報を格納するメモリ２３０に出力する。

【0090】

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をピクチャ単位で記憶する。メモリ２３０は、ピクチャ単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

【0091】

予測部２４０は、復号対象のブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

【0092】

インター予測部２４１は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２４１は、エントロピー復号部２００から入力されたシンタックス及び動きベクトル情報等に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２４３に出力する。

【0093】

イントラ予測部２４２は、メモリ２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力されたシンタックスに基づいて、復号対象ブロックをイントラ予測により予測することによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２４３に出力する。

【0094】

図４に示すイントラ予測装置１０は、画像復号装置２にも同様に設けられる。但し、画像復号装置２に設けられるイントラ予測装置１０においては、図４に示すメモリ１６０をメモリ２３０に読み替え、図４に示すイントラ予測部１７２をイントラ予測部２４２に読み替える。

【0095】

＜イントラ予測装置の動作＞
図８は、本実施形態に係るイントラ予測装置１０の動作を示す図である。

【0096】

図８に示すように、ステップＳ１において、予測モード選択部１７２１は、対象ブロックの予測の際に参照する参照画素列を選択するとともに、対象ブロックに適用する予測モードを選択する。予測モード選択部１７２１が対象ブロックの予測の際に参照する参照画素列として隣接参照画素列を選択した場合（ステップＳ２：ＮＯ）、従来と同様の動作になる（ステップＳ５）。

【0097】

予測モード選択部１７２１が対象ブロックの予測の際に参照する参照画素列として非隣接参照画素列を選択した場合（ステップＳ２：ＹＥＳ）、ステップＳ３において、予測画像生成部１７２２は、ステップＳ１で選択された参照画素列を参照して、ステップＳ１で選択された予測モード（方向性予測モード）により対象ブロックの予測画像を生成する。

【0098】

ステップＳ４において、予測画像補正部１７２３は、隣接参照画素列に含まれる隣接参照画素を用いて、ステップＳ３で生成された予測画像に含まれる予測画素を補正し、補正された予測画像を出力する。

【0099】

＜その他の実施形態＞
イントラ予測装置１０が行う各処理をコンピュータに実行させるプログラムにより提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0100】

また、イントラ予測装置１０が行う各処理を実行する回路を集積化し、イントラ予測装置１０を有する半導体集積回路（チップセット、ＳｏＣ）を構成してもよい。

【0101】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0102】

１ ：画像符号化装置
２ ：画像復号装置
１０ ：イントラ予測装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１６１ ：第１参照画素メモリ
１６２ ：第２参照画素メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４３ ：切替部
１７２１ ：予測モード選択部
１７２２ ：予測画像生成部
１７２３ ：予測画像補正部
１７２３ａ ：重み設定部
１７２３ｂ ：重み付け合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】