特許 7483422 イントラ予測装置、画像復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】イントラ予測装置、画像復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240508BHJP

   H04N 19/11 20140101ALI20240508BHJP

   H04N 19/136 20140101ALI20240508BHJP

   H04N 19/176 20140101ALI20240508BHJP

【ＦＩ】

H04N19/105

H04N19/11

H04N19/136

H04N19/176

【請求項の数】 7

(21)【出願番号】P 2020043399

(22)【出願日】2020-03-12

(65)【公開番号】P2020156087

(43)【公開日】2020-09-24

【審査請求日】2023-02-10

(31)【優先権主張番号】P 2019049075

(32)【優先日】2019-03-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】井口 和久

(72)【発明者】

【氏名】市ヶ谷 敦郎

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０２０－１３７１１９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００３７２１３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０００７６８８（ＵＳ，Ａ１）

【文献】国際公開第２０１８／０７０８９６（ＷＯ，Ａ１）

【文献】Geert Van der Auwera, et al.，CE3: Simplified PDPC (Test 2.4.1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0063-v2，11th Meeting: Ljubljana, SI，2018年07月，pp.1-6

【文献】Gosala Kulupana, Andre Seixas Dias, and Saverio Blasi，Non-CE3: Combined-Hypothesis Intra-Prediction，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0458-v2，13th Meeting: Marrakech, MA，2019年01月，pp.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

画像復号装置に設けられ、原画像を分割して得た画像ブロックに対するイントラ予測を行うイントラ予測装置であって、
第１予測モードにより前記画像ブロックを予測して第１予測画像を生成する第１予測画像生成部と、
第２予測モードにより前記画像ブロックを予測して第２予測画像を生成する第２予測画像生成部と、
前記第１予測画像及び前記第２予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する重み係数決定部と、
前記重み係数決定部により画素ごとに決定された前記重み係数を用いて、前記第１予測画像及び前記第２予測画像を画素ごとに重み付け合成する画像合成部と、を備え、
前記画像合成部は、前記重み付け合成を行うことを示すシンタックスが符号化側からシグナリングされない場合でも、所定の条件が満たされたことに応じて常に前記重み付け合成を行うことを特徴とするイントラ予測装置。

【請求項2】

前記所定の条件は、前記第１予測モードが方向性イントラ予測であるという条件である
請求項１に記載のイントラ予測装置。

【請求項3】

前記第２予測モードは、Ｐｌａｎａｒ予測又はＰｌａｎｅ予測又はＤＣ予測であることを特徴とする請求項１又は２に記載のイントラ予測装置。

【請求項4】

前記重み係数決定部は、
前記第１予測画像及び前記第２予測画像を画素ごとに重み付け合成する際に、当該画素の位置と前記画像ブロックに隣接する復号済み参照画素との距離が離れるにつれて、前記第１予測画像の画素の重み係数に対する前記第２予測画像の画素の重み係数の比を大きくするように前記重み係数を決定することを特徴とする請求項１乃至３のいずれか１項に記載のイントラ予測装置。

【請求項5】

前記重み係数決定部は、
前記第１予測画像及び前記第２予測画像を画素ごとに重み付け合成する際に用いる前記重み係数を、当該画素の位置と、前記方向性イントラ予測における予測方向とに基づいて決定することを特徴とする請求項２に記載のイントラ予測装置。

【請求項6】

請求項１乃至５のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像復号装置。

【請求項7】

コンピュータを請求項１乃至５のいずれか１項に記載のイントラ予測装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イントラ予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。

【背景技術】

【0002】

従来から、伝送時や保存時の静止画像や動画像のデータ量を圧縮するため映像符号化方式の研究が行われている。近年、映像符号化技術では８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

【0003】

ＭＰＥＧ及びＩＴＵが合同で標準化を行っている次世代映像符号化方式であるＶＶＣ（Ｔｈｅ Ｎｅｘｔ－Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｃｏｄｅｃ）の評価用ソフトウェア（ＶＴＭ）では、フレーム内の空間的な相関を利用したイントラ予測（フレーム間予測）が利用されている（非特許文献１参照）。符号化対象ブロック（Ｃｏｄｉｎｇ Ｕｎｉｔ）周辺の復号済み参照画素を利用し、Ｐｌａｎａｒ予測、ＤＣ予測、及び６５通りの方向性予測からなる計６７通りの予測モードの中から、エンコーダ側で最適なモードが選択され、選択された情報がデコーダ側へ送られる。

【0004】

イントラ予測の予測精度を高めるための手法として、２つのイントラ予測モードによりそれぞれ予測画像を生成し、２つの予測画像の各画素を足し合わせて新しい予測画像を生成する予測画像合成手法が提案されている（非特許文献２参照）。具体的には、上述の６５通りの方向性予測のうちいずれかのモードによって生成した予測画像である方向性予測画像と、Ｐｌａｎａｒモードによって生成した予測画像であるＰｌａｎａｒ予測画像とを足し合わせて予測画像を生成する。

【先行技術文献】

【非特許文献】

【0005】

【文献】ＪＶＥＴ－Ｍ１００１ “Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ４）”

【文献】ＪＶＥＴ－Ｍ０４５８ “Ｎｏｎ－ＣＥ３： Ｃｏｍｂｉｎｅｄ-Ｈｙｐｏｔｈｅｓｉｓ Ｉｎｔｒａ－Ｐｒｅｄｉｃｔｉｏｎ”

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、方向性予測は、参照画素に近い位置の画素の予測精度が高いものの、参照画素から遠ざかるにつれて予測の精度が低くなりうるという欠点を有する。

【0007】

しかしながら、非特許文献２に記載の予測画像合成手法は、方向性予測画像とＰｌａｎａｒ予測画像とを単に画素単位で平均化するに過ぎないものであって、方向性予測の欠点について考慮しておらず、イントラ予測の予測精度をさらに高める点において改善の余地があった。

【0008】

そこで、本発明は、予測画像合成手法によりイントラ予測の予測精度をさらに高めるイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

第１の態様に係るイントラ予測装置は、原画像を分割して得た画像ブロックに対するイントラ予測を行うイントラ予測装置であって、方向性予測である第１イントラ予測モードにより前記画像ブロックを予測して第１予測画像を生成する第１予測画像生成部と、非方向性予測である第２イントラ予測モードにより前記画像ブロックを予測して第２予測画像を生成する第２予測画像生成部と、前記第１予測画像及び前記第２予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する重み係数決定部と、前記重み係数決定部により画素ごとに決定された前記重み係数を用いて、前記第１予測画像及び前記第２予測画像を画素ごとに重み付け合成する画像合成部とを備えることを要旨とする。

【0010】

第２の態様に係る画像符号化装置は、第１の態様に係るイントラ予測装置を備えることを要旨とする。

【0011】

第３の態様に係る画像復号装置は、第１の態様に係るイントラ予測装置を備えることを要旨とする。

【0012】

第４の態様に係るプログラムは、コンピュータを第１の態様に係るイントラ予測装置として機能させることを要旨とする。

【発明の効果】

【0013】

本発明によれば、予測画像合成手法によりイントラ予測の予測精度をさらに高めるイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る画像符号化装置の構成を示す図である。

【図2】実施形態に係るイントラ予測の予測モードを示す図である。

【図3】実施形態に係る画像符号化装置のイントラ予測部の構成を示す図である。

【図4】実施形態に係るイントラ予測部の動作例を示す図である。

【図5】実施形態に係る重み係数決定部の動作例１を示す図である。

【図6】実施形態に係る重み係数決定部の動作例２を示す図である。

【図7】実施形態に係る画像復号装置の構成を示す図である。

【図8】実施形態に係る画像復号装置のイントラ予測部の構成を示す図である。

【図9】実施形態に係るイントラ予測部の動作フロー例を示す図である。

【発明を実施するための形態】

【0015】

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0016】

＜画像符号化装置の構成＞
まず、本実施形態に係る画像符号化装置について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

【0017】

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

【0018】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１
１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（矩形）であってもよい。画像ブロックは、画像符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ画像復号装置が復号を行う単位（復号対象ブロック）である。かかる画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

【0019】

減算部１１０は、ブロック分割部１００から入力された符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測画像との差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0020】

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0021】

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

【0022】

量子化部１２２は、変換部１２１から入力された直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

【0023】

エントロピー符号化部１３０は、量子化部１２２から入力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関するシンタックス等の情報が入力され、入力された情報のエントロピー符号化も行う。

【0024】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0025】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

【0026】

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0027】

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算して符号化対象ブロックを再構成（復号）し、復号したブロック単位の復号画像をメモリ１６０に出力する。かかる復号画像は、再構成画像と呼ばれることがある。

【0028】

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。なお、メモリ１６０の一部は、予測部１７０に含まれていてもよい。

【0029】

予測部１７０は、ブロック単位で予測を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

【0030】

インター予測部１７１は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測画像を生成し、生成したインター予測画像を切替部１７３に出力する。

【0031】

インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

【0032】

イントラ予測部１７２は、メモリ１６０に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１７３に出力する。また、イントラ予測部１７２は、選択した予測モードに関するシンタックスをエントロピー符号化部１３０に出力する。以下において、イントラ予測の対象となる画像ブロックをイントラ予測対象ブロックと呼ぶ。

【0033】

イントラ予測部１７２は、複数の予測モードの中から、イントラ予測対象ブロックに適用する最適な予測モードを選択し、選択した予測モードを用いてイントラ予測対象ブロックを予測する。

【0034】

図２は、本実施形態に係るイントラ予測の予測モードを示す図である。図２に示すように、０から６６までの６７通りの予測モードがある。予測モードのモード「０」はＰｌａｎａｒ予測であり、予測モードのモード「１」はＤＣ予測であり、予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。モード「２」乃至「１８」は、イントラ予測の対象ブロックの左側のみの参照画素を参照する予測モードである。一方で、モード「５０」乃至「６６」は、イントラ予測の対象ブロックの上側のみの参照画素を参照する予測モードである。

【0035】

切替部１７３は、インター予測部１７１から入力されるインター予測画像とイントラ予測部１７２から入力されるイントラ予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

【0036】

図３は、本実施形態に係るイントラ予測部１７２の構成を示す図である。イントラ予測部１７２は、画像符号化装置１に設けられるイントラ予測装置に相当する。

【0037】

図３に示すように、イントラ予測部１７２は、メモリ１６０ａと、第１予測画像生成部１７２ａと、第２予測画像生成部１７２ｂと、重み係数決定部１７２ｃと、画像合成部１７２ｄとを有する。

【0038】

メモリ１６０ａは、図１に示すメモリ１６０の一部である。メモリ１６０ａは、イントラ予測の際に参照される復号済み画素である参照画素を記憶する。

【0039】

第１予測画像生成部１７２ａは、方向性予測である第１イントラ予測モードによりイントラ予測対象ブロックを予測して方向性予測画像（第１予測画像）を生成し、生成した方向性予測画像を画像合成部１７２ｄに出力する。具体的には、第１予測画像生成部１７２ａは、メモリ１６０ａに記憶された参照画素を参照し、６５通りの方向性予測のうちいずれかのモードによって方向性予測画像を生成する。

【0040】

第２予測画像生成部１７２ｂは、非方向性予測である第２イントラ予測モードによりイントラ予測対象ブロックを予測して予測画像（第２予測画像）を生成し、生成した予測画像を画像合成部１７２ｄに出力する。具体的には、第２予測画像生成部１７２ｂは、メモリ１６０ａに記憶された参照画素を参照し、予め定められた非方向性の第２イントラ予測モードによって方向性予測画像を生成する。

【0041】

第２イントラ予測モードは、非方向性の予測モードであればどのような予測モードであってもよいが、本実施形態において第２イントラ予測モードがＰｌａｎａｒ予測である一例について説明する。

【0042】

重み係数決定部１７２ｃは、イントラ予測対象ブロックの画素位置（座標）ごとに重み係数を決定し、決定した重み係数を画像合成部１７２ｄに出力する。重み係数決定部１７２ｃが出力する重み係数は、第１予測画像生成部１７２ａが生成する方向性予測画像及び第２予測画像生成部１７２ｂが生成するＰｌａｎａｒ予測画像を重み付け合成する際に用いられる。具体的には、重み係数決定部１７２ｃは、方向性予測画像及びＰｌａｎａｒ予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する。

【0043】

画像合成部１７２ｄは、重み係数決定部１７２ｃから入力された重み係数を用いて、第１予測画像生成部１７２ａから入力された方向性予測画像及び第２予測画像生成部１７２ｂから入力されたＰｌａｎａｒ予測画像を画素ごとに重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する。

【0044】

図４は、本実施形態に係るイントラ予測部１７２の動作例を示す図である。図４において、イントラ予測対象ブロックが８×８画素の正方形状である一例を例示しているが、イントラ予測対象ブロックは正方形でなくてもよい。また、図４において丸で示す画素は参照画素（復号済み参照画素）を表す。

【0045】

図４（ａ）に示すように、第２予測画像生成部１７２ｂは、Ｐｌａｎａｒ予測によりイントラ予測対象ブロックを予測してＰｌａｎａｒ予測画像を生成する。具体的には、Ｐｌａｎａｒ予測は、図４（ａ）において４つの矢印の始点にある上下左右の４つの参照画素を用いて内挿予測により予測画素値を生成するものである。

【0046】

図４（ｂ）に示すように、第１予測画像生成部１７２ａは、方向性予測モードによりイ
ントラ予測対象ブロックを予測して方向性予測画像を生成する。方向性予測は、参照画素を予測方向に沿って外挿して予測画素値を生成するものであるため、参照画素に近い位置の画素については予測の精度が高いものの、参照画素から遠ざかるにつれて予測の精度が低くなりうるという欠点を有する。

【0047】

重み係数決定部１７２ｃは、方向性予測画像及びＰｌａｎａｒ予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する。本実施形態において、重み係数決定部１７２ｃは、Ｐｌａｎａｒ予測画像に適用する重み係数α（第２重み係数）と、方向性予測画像に適用する重み係数β（第１重み係数）とを決定する。

【0048】

図４（ｃ）に示すように、画像合成部１７２ｄは、第１予測画像生成部１７２ａが生成した方向性予測画像の画素（ｘ，ｙ）ごとに重み係数β（ｘ，ｙ）を適用するとともに、第２予測画像生成部１７２ｂが生成したＰｌａｎａｒ予測画像の画素（ｘ，ｙ）ごとに重み係数α（ｘ，ｙ）を適用し、且つ、方向性予測画像及びＰｌａｎａｒ予測画像を画素単位で合成し、合成後の予測画像をイントラ予測画像として出力する。ここで、予測対象ブロックの左上の頂点を基準として、ｘが水平方向の座標位置を示し、ｙが垂直方向の座標位置を示す。

【0049】

本実施形態において、画像合成部１７２ｄは、下記の式（１）により、Ｐｌａｎａｒ予測画像の画素pred_α(x,y)に重み係数α（ｘ，ｙ）を乗算し、方向性予測画像の画素pred_β(x,y)に重み係数β（ｘ，ｙ）を乗算し、それらを合成した予測画像をイントラ予測画像の画素pred(x,y)として出力する。

【0050】

pred(x,y)=(α(x,y)×pred_α(x,y) + β(x,y)×pred_β(x,y) + 32) >> 6
・・・（１）

【0051】

図５は、本実施形態に係る重み係数決定部１７２ｃの動作例１を示す図である。図５において、イントラ予測対象ブロックが４×４画素の正方形状である一例を例示しているが、イントラ予測対象ブロックは正方形でなくてもよい。また、図５において丸で示す画素は参照画素（復号済み参照画素）を表す。

【0052】

図５に示すように、重み係数決定部１７２ｃは、Ｐｌａｎａｒ予測画像に適用する重み係数α（ｘ，ｙ）と、方向性予測画像に適用する重み係数β（ｘ，ｙ）とを、画素位置（ｘ，ｙ）に基づいて決定する。具体的には、重み係数決定部１７２ｃは、画素位置（ｘ，ｙ）が参照画素に近いほど、α（ｘ，ｙ）に対するβ（ｘ，ｙ）の比を大きくする。言い換えると、重み係数決定部１７２ｃは、画素位置（ｘ，ｙ）が参照画素から離れるにつれて、α（ｘ，ｙ）に対するβ（ｘ，ｙ）の比を小さくする。

【0053】

方向性予測は、参照画素から遠ざかるにつれて予測の精度が低くなりうるという欠点を有する。本実施形態によれば、参照画素から遠ざかるにつれてＰｌａｎａｒ予測画像の画素の重み係数α（ｘ，ｙ）に対する方向性予測画像の画素の重み係数β（ｘ，ｙ）の比を小さくしているため、方向性予測の欠点をＰｌａｎａｒ予測により補うことができる。

【0054】

また、方向性予測は、参照画素に近い位置の画素については予測の精度が高いという利点を有する。本実施形態によれば、参照画素に近づくにつれてＰｌａｎａｒ予測画像の画素の重み係数α（ｘ，ｙ）に対する方向性予測画像の画素の重み係数β（ｘ，ｙ）の比を大きくしているため、方向性予測の利点を活かすことができる。

【0055】

例えば、重み係数決定部１７２ｃは、下記の式（２）により重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）を決定する。

【0056】

α(x,y)= 64 - β(x,y)
β(x,y) = 32 - (z << 5) >> shift
z=min(x,y)
shift = (log₂(width) + log₂(height) + 1) >> 1
・・・（２）

【0057】

但し、widthは予測対象ブロックの幅を示し、heightは予測対象ブロックの高さを示す。

【0058】

式（２）に示すように、画素位置（ｘ，ｙ）に応じてｚの値が変化し、ｚの値の変化に応じて重み係数α（ｘ，ｙ）及び重み係数β（ｘ，ｙ）の値が変化することになる。具体的には、ｘ、ｙの値が大きくなるほどｚの値が大きくなり、それに応じて重み係数β（ｘ，ｙ）の値が小さくなるとともに重み係数α（ｘ，ｙ）の値が大きくなる。

【0059】

図５の例では、ｘ＝１である場合及びｙ＝１である場合、すなわち、参照画素に最も近い画素位置において、α：β＝３２：３２であり、Ｐｌａｎａｒ予測画像の画素値と方向性予測画像の画素値とが等しい割合で合成される一例を示している。しかしながら、参照画素に最も近い画素位置において各画素の画素値が同比率で合成される必要はなく、参照画素に最も近い画素位置において方向性予測画像の画素値の割合が大きくなるように決定してもよい。

【0060】

図６は、本実施形態に係る重み係数決定部１７２ｃの動作例２を示す図である。図６において、イントラ予測対象ブロックが４×４画素の正方形状である一例を例示しているが、イントラ予測対象ブロックは正方形でなくてもよい。また、図６において丸で示す画素は参照画素（復号済み参照画素）を表す。

【0061】

図６に示すように、重み係数決定部１７２ｃは、Ｐｌａｎａｒ予測画像に適用する重み係数α（ｘ，ｙ）と、方向性予測画像に適用する重み係数β（ｘ，ｙ）とを、画素位置（ｘ，ｙ）だけではなく、方向性予測における予測方向（すなわち、方向性予測の予測モード）も考慮して決定する。

【0062】

具体的には、重み係数決定部１７２ｃは、第１予測画像生成部１７２ａが方向性予測画像を生成する際に用いる予測モードを取得し、この予測モードに応じて重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）の決定方法を異ならせる。

【0063】

図６（ａ）に示すように、重み係数決定部１７２ｃは、イントラ予測対象ブロックの左側の参照画素を参照する予測モード「２」乃至「１８」について、左側の参照画素から遠ざかるにつれてＰｌａｎａｒ予測画像の画素の重み係数α（ｘ，ｙ）に対する方向性予測画像の画素の重み係数β（ｘ，ｙ）の比を小さくする。

【0064】

例えば、重み係数決定部１７２ｃは、予測モードが「２」乃至「１８」のいずれかである場合、下記の式（３）により重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）を決定する。

【0065】

α(x,y) = 64 - β(x,y)
β(x,y) = 32 - (x << 5) >> shift
shift = (log₂(width) + log₂(height) + 1) >> 1
・・・（３）

【0066】

式（３）に示すように、水平方向の画素位置ｘの値が大きくなるほど、重み係数β（ｘ
，ｙ）の値が小さくなるとともに、重み係数α（ｘ，ｙ）の値が大きくなる。

【0067】

図６（ｃ）に示すように、重み係数決定部１７２ｃは、イントラ予測対象ブロックの上側の参照画素を参照する予測モード「５０」乃至「６６」について、上側の参照画素から遠ざかるにつれてＰｌａｎａｒ予測画像の画素の重み係数α（ｘ，ｙ）に対する方向性予測画像の画素の重み係数β（ｘ，ｙ）の比を小さくする。

【0068】

例えば、重み係数決定部１７２ｃは、予測モードが「５０」乃至「６６」のいずれかである場合、下記の式（４）により重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）を決定する。

【0069】

α(x,y) = 64 - β(x,y)
β(x,y) = 32 - (y << 5) >> shift
shift = (log₂(width) + log₂(height) + 1) >> 1
・・・（４）

【0070】

式（４）に示すように、水平方向の画素位置ｙの値が大きくなるほど、重み係数β（ｘ，ｙ）の値が小さくなるとともに、重み係数α（ｘ，ｙ）の値が大きくなる。

【0071】

図６（ｂ）に示すように、重み係数決定部１７２ｃは、イントラ予測対象ブロックの左側の参照画素及び上側の参照画素を参照する予測モード「１９」乃至「４９」について、上述した式（２）により重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）を決定する。すなわち、予測モードが「５０」乃至「６６」のいずれかである場合、重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）の決定方法は動作例１と同じである。

【0072】

動作例２では、方向性予測の予測方向に応じて３パターンに場合分けし、方向性予測において実際に参照する参照画素から離れるにつれてＰｌａｎａｒ予測画像の画素値の割合を大きくする一例について説明した。しかしながら、３パターンよりも多くのパターンに場合分けしてもよい。また、重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）を決定するための計算式が方向性予測の数だけ定義されてもよい。

【0073】

＜画像復号装置の構成＞
次に、本実施形態に係る画像復号装置について説明する。図７は、本実施形態に係る画像復号装置２の構成を示す図である。

【0074】

図７に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

【0075】

エントロピー復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関するシンタックスを取得し、取得したシンタックスを予測部２４０に出力する。

【0076】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0077】

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

【0078】

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0079】

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像をメモリ２３０に出力する。

【0080】

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。また、メモリ２３０の一部は、予測部２４０に含まれていてもよい。

【0081】

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

【0082】

インター予測部２４１は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２４１は、エントロピー復号部２００から入力されたシンタックス及び動きベクトル等に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２４３に出力する。

【0083】

イントラ予測部２４２は、メモリ２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力されたシンタックスに基づいて、復号対象ブロックをイントラ予測により予測することによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２４３に出力する。

【0084】

切替部２４３は、インター予測部２４１から入力されるインター予測画像とイントラ予測部２４２から入力されるイントラ予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

【0085】

図８は、本実施形態に係るイントラ予測部２４２の構成を示す図である。イントラ予測部２４２は、画像復号装置２に設けられるイントラ予測装置に相当する。イントラ予測部２４２は、画像符号化装置１に設けられるイントラ予測部１７２と同様な動作を行う。

【0086】

図８に示すように、イントラ予測部２４２は、メモリ２３０ａと、第１予測画像生成部２４２ａと、第２予測画像生成部２４２ｂと、重み係数決定部２４２ｃと、画像合成部２４２ｄとを有する。

【0087】

メモリ２３０ａは、図７に示すメモリ２３０の一部である。メモリ２３０ａは、イントラ予測の際に参照される復号済み画素である参照画素を記憶する。

【0088】

第１予測画像生成部２４２ａは、方向性予測である第１イントラ予測モードによりイントラ予測対象ブロックを予測して方向性予測画像（第１予測画像）を生成し、生成した方向性予測画像を画像合成部２４２ｄに出力する。具体的には、第１予測画像生成部２４２ａは、メモリ２３０ａに記憶された参照画素を参照し、エントロピー復号部２００から入力されたシンタックスが示す方向性予測モードによって方向性予測画像を生成する。

【0089】

第２予測画像生成部２４２ｂは、非方向性予測である第２イントラ予測モードによりイントラ予測対象ブロックを予測して予測画像（第２予測画像）を生成し、生成した予測画像を画像合成部２４２ｄに出力する。具体的には、第２予測画像生成部２４２ｂは、メモリ２３０ａに記憶された参照画素を参照し、予め定められた非方向性の第２イントラ予測モードによって方向性予測画像を生成する。本実施形態において第２イントラ予測モードはＰｌａｎａｒ予測である。

【0090】

重み係数決定部２４２ｃは、方向性予測画像及びＰｌａｎａｒ予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定し、決定した重み係数を画像合成部２４２ｄに出力する。重み係数決定部２４２ｃの動作は、上述した動作例１及び２と同じ動作である。

【0091】

画像合成部２４２ｄは、重み係数決定部２４２ｃから入力された重み係数を用いて、第１予測画像生成部２４２ａから入力された方向性予測画像及び第２予測画像生成部２４２ｂから入力されたＰｌａｎａｒ予測画像を重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する。画像合成部２４２ｄは、上述した式（１）により重み付け合成の処理を行う。

【0092】

＜イントラ予測の動作フロー例＞
次に、本実施形態に係るイントラ予測の動作フロー例について説明する。画像符号化装置１及び画像復号装置２でイントラ予測の動作は同じであるが、ここでは画像復号装置２におけるイントラ予測（イントラ予測部２４２）の動作を説明する。図９は、イントラ予測部２４２の動作フロー例を示す図である。なお、以下で説明するフローは一例に過ぎないものであって、フラグ（シンタックス）の種類や送る順番については適宜変更可能である。

【0093】

第１に、エントロピー復号部２００は、画像符号化装置１により選択されたイントラ予測モードを示すシンタックスを復号する。このシンタックスが方向性予測モード以外のモード（ＤＣ予測又はＰｌａｎａｒ予測）を示す場合（ステップＳ１：ＮＯ）、イントラ予測部２４２は、従来と同様なイントラ予測を行う（ステップＳ７）。

【0094】

第２に、エントロピー復号部２００は、予測画像合成手法を適用するか否かを示すシンタックスを復号する。このシンタックスが予測画像合成手法を適用しないことを示す場合（ステップＳ２：ＮＯ）、イントラ予測部２４２は、従来と同様なイントラ予測を行う。但し、画像符号化装置１により選択されたイントラ予測モードが方向性予測モードである場合、常に予測画像合成手法を適用するとしてもよい。この場合、予測画像合成手法を適用するか否かを示すシンタックスのシグナリングは不要である。

【0095】

第３に、画像符号化装置１により選択されたイントラ予測モードが方向性予測であり（ステップＳ１：ＹＥＳ）、且つ、予測画像合成手法を適用する場合（ステップＳ２：ＹＥＳ）、重み係数決定部２４２ｃは、イントラ予測対象ブロック内の画素位置（ｘ，ｙ）ごとに重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）を決定する（ステップＳ３）。

【0096】

第４に、第１予測画像生成部２４２ａは、画像符号化装置１により選択された方向性予測モードによりイントラ予測対象ブロックを予測して方向性予測画像を生成する（ステップＳ４）。また、第２予測画像生成部２４２ｂは、Ｐｌａｎａｒ予測によりイントラ予測対象ブロックを予測してＰｌａｎａｒ予測画像を生成する（ステップＳ５）。

【0097】

第５に、画像合成部２４２ｄは、ステップＳ３で決定された重み係数α（ｘ，ｙ）及び
β（ｘ，ｙ）を用いて、ステップＳ４で生成された方向性予測画像とステップＳ５で生成されたＰｌａｎａｒ予測画像とを画素位置（ｘ，ｙ）ごとに重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する（ステップＳ６）。

【0098】

＜実施形態のまとめ＞
本実施形態に係る画像符号化装置１及び画像復号装置２は、イントラ予測対象ブロック内の画素位置（ｘ，ｙ）に基づいて重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）を決定し、決定した重み係数α（ｘ，ｙ）及びβ（ｘ，ｙ）を用いて方向性予測画像及びＰｌａｎａｒ予測画像を画素位置（ｘ，ｙ）ごとに重み付け合成する。これにより、予測画像合成手法において、方向性予測画像とＰｌａｎａｒ予測画像とを単に平均化する場合に比べて、イントラ予測の予測精度を高めることができる。

【0099】

＜その他の実施形態＞
上述した実施形態において、第２イントラ予測モードがＰｌａｎａｒ予測である一例について主として説明した。しかしながら、第２イントラ予測モードは、Ｈ．２６４規格で規定されているようなＰｌａｎｅ予測であってもよい。第２イントラ予測モードがＰｌａｎｅ予測である場合、上述した実施形態における「Ｐｌａｎａｒ予測」を「Ｐｌａｎｅ予測」と読み替えればよい。

【0100】

或いは、第２イントラ予測モードは、ＤＣ予測であってもよい。第２イントラ予測モードがＤＣ予測である場合、上述した実施形態における「Ｐｌａｎａｒ予測」を「ＤＣ予測」と読み替えればよい。

【0101】

画像符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0102】

画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0103】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0104】

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１６０ａ ：メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７２ａ ：第１予測画像生成部
１７２ｂ ：第２予測画像生成部
１７２ｃ ：重み係数決定部
１７２ｄ ：画像合成部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２３０ａ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４２ａ ：第１予測画像生成部
２４２ｂ ：第２予測画像生成部
２４２ｃ ：重み係数決定部
２４２ｄ ：画像合成部
２４３ ：切替部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】